JP2021170333A - 分類器をトレーニングするための装置及び方法 - Google Patents

Abstract

【課題】入力信号を分類する分類器をトレーニングするための方法、システム等を提供する。【解決手段】方法は、摂動のセットを提供するステップを有する。方法はさらに、夫々がトレーニングサンプルの第１のデータセットからの入力信号及び対応する所望の出力信号を含む第１のトレーニングサンプルのサブセットを提供し、サブセットからの入力信号及び対応する所望の出力信号用の摂動のセットから第１の摂動を選択し、入力信号、対応する所望の出力信号及び分類器に基づいて第１の摂動を適合化することにより、第１の摂動よりも強い第２の摂動を取得し、入力信号に第２の摂動を適用することにより第１の敵対例を取得し、第２の摂動に対する分類器の強化のために第１の敵対例及び対応する所望の出力信号に基づいて分類器をトレーニングし、摂動のセット内の第１の摂動を、第１の摂動と第２の摂動との線形結合に置き換える各ステップを繰り返す。【選択図】図６

Description

本発明は、分類器をトレーニングするための方法、分類のための方法、アクチュエータを操作するための方法、コンピュータプログラム、機械可読記憶媒体、制御システム及びトレーニングシステムに関する。

背景技術
独国特許出願公開第１０２０１８２００７２４号明細書においては、普遍的な敵対的摂動を生成するための方法が開示されている。

独国特許出願公開第１０２０１８２００７２４号明細書

発明の利点
分類器は、種々の技術的装置において使用される場合がある。しかしながら、それらの装置は、敵対例として知られる悪意を持って変更された入力を誤分類する傾向を有する場合もある。

独国特許出願公開第１０２０１８２００７２４号明細書においては、普遍的な敵対的摂動を生成するための方法が開示されている。ここでは、分類器用のほぼ任意の入力信号に適用することができ、かつ、分類器を欺くことによって、そうでなければ適正に分類される入力信号を誤分類させかねない摂動が得られる。

従って、摂動は、分類器を使用する場合、特に、安全性が重要な製品において分類器を使用する場合には、特別なリスクをもたらす。例えば、分類器は、自律型の車両において、歩行者との衝突回避のため、歩行者を検出することに使用される場合がある。ここでは、普遍的な敵対例は、ともすれば歩行者を分類器から悪意を持って隠し、自律型の車両と衝突するリスクにさらすために使用される可能性がある。

従って、これらの摂動に対して分類器を保護することは、非常に重要である。

請求項１による特徴を備える方法は、普遍的な敵対例としても知られる摂動に対し、より堅牢になるように分類器をトレーニングすることができる。

発明の開示
第１の態様においては、本発明は、分類器に提供される入力信号を分類するための分類器をトレーニングするためのコンピュータ実装された方法に関し、分類器は、入力信号の分類を特徴付ける出力信号を取得するように構成されており、トレーニングするための本方法は、以下のステップ、即ち、
ａ．摂動のセットを提供するステップと、
ｂ．それぞれがトレーニングサンプルの第１のデータセットからの入力信号及び対応する所望の出力信号を含む第１のトレーニングサンプルのサブセットを提供するステップと、
ｃ．サブセットからの入力信号及び対応する所望の出力信号用の摂動のセットから第１の摂動を選択するステップと、
ｄ．入力信号、対応する所望の出力信号及び分類器に基づいて第１の摂動を適合化することにより、第１の摂動よりも強い第２の摂動を取得するステップと、
ｅ．入力信号に第２の摂動を適用することにより、第１の敵対例を取得するステップと、
ｆ．第２の摂動に対する分類器の強化のために第１の敵対例に基づいて分類器をトレーニングすることにより、分類器を適合化するステップと、
ｇ．摂動のセット内の第１の摂動を、第１の摂動と第２の摂動との線形結合に置き換えるステップと、
ステップｂからステップｇまでを繰り返すステップと、
を含む。

「分類器」との用語は、入力信号を受け入れ、入力信号の分類を特徴付ける出力信号を提供する装置を意味するものと理解されたい。このために、分類器は、入力信号を機械学習モデル、特にニューラルネットワークに供給することによって出力信号を取得することができる。さらに、分類器は、入力信号を分類器に供給する前、例えば、入力信号から特徴を抽出する前に、入力信号を適合化することができる。付加的に、分類器は、機械学習モデルの出力信号を後処理することもできる。

分類器は、種々のモダリティの入力信号、特に、例えば、ビデオ画像、レーダ画像、ＬＩＤＡＲ画像及び／又は超音波画像、並びに、赤外線カメラ画像などの画像を受け入れることができる。画像については、分類器は、好適には、畳み込みニューラルネットワークを含み得る。

代替的に、分類器は、入力として、例えば、量子化された信号又はＭＦＣＣなどのオーディオ信号の特徴表現の形式においてオーディオデータを受け入れることができる。オーディオデータについては、分類器は、好適にはトランスフォーマーネットワーク又はリカレントニューラルネットワーク、例えばＬＳＴＭを含み得る。

代替的に、入力信号は、複数のセンサ信号及び／又は異なるモダリティのセンサ信号の組合せであるデータも含み得る。画像データ及びオーディオデータの両方を入力信号において提供する場合、分類器は、好適には入力信号のそれぞれの部分を処理するための異なる種類のニューラルネットワーク、例えば、１つ又は複数の畳み込みニューラルネットワークと１つ又は複数のトランスフォーマーネットワークとの組合せを含み得る。

出力信号によって特徴付けられる分類は、１つ又は複数のクラスラベルを入力信号に割り当てることができる。代替的又は付加的に、出力信号は、特に画像データが入力信号として使用される場合に、物体検出の形態により分類を特徴付けることが想定され得る。代替的又は付加的に、出力信号が、入力信号のセマンティックセグメンテーションを特徴付けることが想定され得る。

オーディオ信号については、分類は、オーディオデータのシーケンス全体にクラスラベルを割り当てる場合がある。代替的又は付加的に、分類は、オーディオシーケンスの特定のオーディオイベント（例えば、マイク録音におけるサイレンなど）の開始及び終了の検出の形態であるものとしてもよい。

摂動のセットからの第１の摂動は、分類器用の敵対例を取得するために、第１のデータセットからの入力信号に適用可能な第２の摂動を生成するための初期化として使用されるものとしてよい。敵対例とは、分類器による誤分類を引き起こすように適合化された入力信号として理解され得る。

入力信号に摂動を適用することは、入力信号を摂動によりオーバーレイすることとして理解することができる。例えば、入力信号として画像を使用する場合、摂動は、敵対例を形成するために、所定の入力画像に重ね合わせ得る小さい画像パッチによって与えられる場合がある。この場合、入力画像内においてパッチを配置する位置は、ランダムに選択されるものとしてよい。代替的又は付加的に、パッチは、入力画像に適用する前に、アフィン変換によって変換するものとしてもよい。オーディオデータについては、敵対例を形成するために、摂動は、オーディオシーケンスのランダム部分に重ね合わせ得る。

摂動及び入力信号が同一の次元を有し、摂動及び入力信号を共に加算することによって、摂動を入力信号に適用することが達成され得ることがさらに想定され得る。例えば、画像データを使用する場合、摂動は、分類器のトレーニング用に使用される画像と同等のサイズを有するものとしてもよい。この場合、敵対例を形成するために、摂動及び画像の画素値を加算するものとしてもよい。付加的に、摂動は、入力画像に適用される前にスカラー値によってスケーリングされるものとしてもよい。それぞれの摂動をオーディオ信号に適用するために、同様の取り組みが所要の変更を加えて使用されるものとしてもよい。

分類器が入力信号用の出力信号を提供する場合、出力信号は、複数のロジット値を含むことがあり、ここで、これらのロジット値の各々は、クラスに対応する。所望のクラスに対応するロジット値が複数のロジット値のなかで最大である場合には、入力信号に所望のクラスを割り当て、出力信号を、適正な分類を特徴付けるものとみなしてもよい。

第２の摂動がより強いかどうか、即ち、分類器を欺くために第１の摂動よりも使いやすいかどうかを評価することについては、第２の摂動は、対応する第２の敵対例の取得のために入力信号に適用するものとしてよく、第１の摂動は、第１の敵対例の取得のために同一の入力信号に適用するものとしてよい。次いで、分類器は、第２の敵対例を入力信号として使用して第２の出力信号を取得し、第１の敵対例を入力信号として使用して第１の出力信号を取得することができる。従って、第２の出力信号は、第２の摂動に対応し、一方、第１の出力信号は、第１の摂動に対応する。

次いで、所望のクラスのロジット値が、第１の出力信号よりも第２の出力信号における方が小さい場合、第２の摂動は、第１の摂動よりも強いとみなされ得る。同様に、第２の出力信号における不所望のクラスの最大ロジット値が、第１の出力信号における不所望のクラスの最大ロジット値よりも大きい場合も、第２の摂動は、第１の摂動よりも強いとみなされ得る。どちらの選択肢も、分類器は、第１の摂動よりも第２の摂動を使用した誤った予測をより確信するものと理解され得る。

代替的又は付加的に、出力信号は、複数の確率値を含むことがあり、ここで、これらの確率値の各々は、クラスに対応し、第１及び第２の出力信号は、従前のように計算されるものとしてよい。この場合、所望のクラスの確率値が第１の出力信号よりも第２の出力信号における方が小さい場合、第２の摂動は、第１の摂動よりも強いとみなされ得る。

提案された方法により分類器をトレーニングすることは、摂動のセット及び分類器がトレーニングされるメタトレーニングの一形態として理解され得る。分類器は、（パフォーマンスとしても周知の）可能な限り高い分類精度の達成を目標としてトレーニングされるが、本方法においては、可能な限り強い摂動のセットを見出すことも要求されている。

従って、強さが増加していく摂動により分類器をトレーニングすることは、強力な敵対攻撃に対する分類器の強化を可能にさせ、分類器を非常に堅牢にする。

トレーニングは、反復的に実行することができる。各トレーニングステップにおいて、本方法は、入力信号及び所望の出力信号の１つ又は複数のタプルを含むトレーニングデータのバッチを選択することができる。次いで、入力信号ごとに、第１の摂動は、摂動のセットからの置き換えによってランダムに引き出されるものとしてよい。次いで、このように引き出された各第１の摂動は、より強い第２の摂動を決定するために、その対応する入力信号に適合化されるものとしてよい。

次いで、分類器は、取得された第２の摂動をそれらの各入力信号に適用すること、及び、取得された出力信号と各入力信号用の所望の出力信号との間の差分を特徴付ける分類損失を最小化することから得られる敵対例を提供することによってトレーニングされるものとしてよい。

さらに、各第１の摂動は、摂動のセットにおいて、第１の摂動自体と第２の摂動との加重総和によって置き換えられるものとしてもよい。これも、好適には、摂動が普遍的に強くなるようにトレーニングする。このトレーニング方法の利点は、分類器が、強さが増加していく摂動から自身で身を守る術を学習しなければならない点にある。その結果、これは、分類器が普遍的に敵対的な攻撃に対して堅牢になっていくために役立つ。

他の態様においては、摂動のセットからの少なくとも１つの摂動が、分類器の第２の敵対例に基づいて提供され、ここで、分類器は、事前トレーニングされた分類器であることがさらに想定され得る。

分類器をトレーニングするプロセスは、多様化すべき摂動を初期化するという恩恵を受ける。この利点は、多様な摂動が、多様な複数の敵対例に対する堅牢性と、ひいては多様な複数の摂動に対する堅牢性とを分類器にもたらす結果に結び付くことにある。

強い摂動の初期セットを取得するために、分類器は、敵対例に対する防御方法なしで事前トレーニングされるものとしてよい。その後、１つ又は複数の第２の敵対例が、例えば、トレーニングデータセット内の画像を周知の敵対攻撃方法によって適合化させることによって、分類器から取得されるものとしてもよく、次いで、１つ又は複数の第２の敵対例を引き起こすために必要な摂動が、トレーニング用の摂動の初期セットとして使用されるものとしてもよい。

この取り組みの利点は、トレーニングの初期化に使用される摂動を、既に、敵対例の形成のために使用することができることにある。従って、第２の摂動を形成するステップは、例えば、反復高速勾配符号法（Ｉ−ＦＧＳＭ）や投影勾配降下法（ＰＧＤ）などの勾配に基づく取り組みのように大幅に高速化され、第１の摂動から第２の摂動を取得するために必要なステップも大幅に減少する。その結果、これは、より高速なトレーニングに結び付き、ひいては、トレーニング中に分類器がより多くのトレーニングサンプルから情報を抽出することができることに結び付く。これは、分類器のパフォーマンスと堅牢性とをさらに向上させるという効果を奏する。

他の態様においては、第２の敵対例が、第１のデータセットからの入力信号のランダムな位置にランダムノイズを適用することに基づいて提供されることがさらに想定され得る。

画像データを入力として使用する場合、ノイズは、画像全体に適用されるものとしてよい。代替的に、ノイズは、パッチの形態により画像のより小さい領域に適用されるものとしてもよい。パッチは、画像に適用される前に、回転、平行移動、又は、スケーリングなどの何らかの形態の変換を受けることがさらに想定され得る。ランダムノイズが、特定の画素の妨害のためにさらに使用されるものとしてもよい。代替的に、ノイズは、画像にわたって融合されるものとしてもよい。

同様に、オーディオ信号を使用する場合、ノイズは、オーディオ信号に適用される前に、例えば、平行移動、振幅のスケーリング、又は、個々の周波数のスケーリングによって変換されるものとしてもよい。アプリケーションについては、ノイズは、元のオーディオ信号にわたって融合されるものとしてもよい。代替的に、元の信号の特定の周波数は、ノイズの特定の周波数に置き換わる可能性がある。

ランダムノイズを初期摂動として使用することは、非常に多様な初期摂動の取得を可能にさせる。この多様性は、幅広い敵対例に対する分類器の保護を可能にさせる。その結果、これは、分類器のパフォーマンスと堅牢性とを向上させる。

摂動のセットからの１つ又は複数の摂動が、以下のステップに従って、即ち、
ｉ．第１のデータセットからの入力信号のサブセットを選択するステップと、
ｊ．サブセット内の入力信号を、入力信号内の複数の値のスケーリングによって適合化するステップと、
ｋ．新たな入力信号のセットを取得するために、適合化された入力信号を摂動として第１のデータセットの入力信号に適用するステップであって、新たな入力信号のセットからの各新たな入力信号は、適合化された入力信号に対応するステップと、
ｌ．適合化された各入力信号用の第１の値を決定するステップであって、第１の値は、摂動として使用される場合に分類器を欺くための対応する適合化された入力信号の能力を特徴付け、第１の値は、分類器（６０）を欺くための適合化された入力信号に対応する新たな入力信号の能力に基づいて決定されるステップと、
ｍ．適合化された入力信号を、それらの対応する第１の値によってランク付けし、摂動として最良にランク付けされた所望の量の適合化された入力信号を提供するステップと、
に従って提供されることがさらに想定され得る。

画像データについては、スケーリングは、強度又は画素値のスケーリングとみなし得る。オーディオデータについては、適合化された入力信号の取得のために、オーディオ信号の振幅がスケーリングされるものとしてよい。

適合化された入力信号を摂動として適用するステップにおいては、各適合化された入力信号が第１のデータセットからの各入力信号に適用されることが想定され得る。

対応する適合化された入力信号用の第１の値は、例えば、適合化された入力信号に対応する不適正に分類された新たな入力信号の数を、適合化された入力信号に対応する総ての新たな入力信号の数により除算することによって、決定されるものとしてもよい。

この取り組みの利点は、適合化された入力信号が多様な内容を示し、従って、多様な摂動を取得するための良好な初期化として役立つ可能性があることにある。その結果、この初期化は、第２の摂動の取得に必要な時間を短縮する。これは、トレーニングの高速化に結び付き、ひいては分類器がより多くのデータを処理することができるようになり、さらに分類器のパフォーマンスの向上に結び付く。

トレーニングするための本方法は、以下のステップ、即ち、
ｎ．分類器を、入力信号と、対応する所望の出力信号とに基づいてトレーニングするステップ
をさらに含むことがさらに想定され得る。この取り組みの利点は、分類器が、敵対例だけでなく、摂動させられていない入力信号についてもなおトレーニングすることにある。これは、分類器に、摂動に対する防御に集中させるだけでなく、摂動させられていない画像についても可能な限り高いパフォーマンスを達成させることを可能にする。

本発明の実施形態は、以下の図面を参照してより詳細に説明される。

その環境内のアクチュエータを制御する分類器を含む制御システムを示した図である。 少なくとも部分的に自律型のロボットを制御する制御システムを示した図である。 自動化されたパーソナルアシスタントを制御する制御システムを示した図である。 アクセス制御システムを制御する制御システムを示した図である。 監視システムを制御する制御システムを示した図である。 分類器をトレーニングするための方法のフローチャートを示した図である。 分類器をトレーニングするためのトレーニングシステムを示した図である。

実施形態の説明
図１には、アクチュエータ１０の実施形態がその環境２０内において示されている。このアクチュエータ１０は、制御システム４０と相互作用する。ここでは、アクチュエータ１０とその環境２０とを連携させてアクチュエータシステムと称する。好適には、等間隔の時点において、センサ３０は、アクチュエータシステムの状態を感知する。センサ３０は、複数のセンサを含む場合がある。好適には、センサ３０は、環境２０の画像を撮影する光学センサである。感知された状態を符号化するセンサ３０の出力信号Ｓ（又は、センサ３０が複数のセンサを含む場合には、各センサの出力信号Ｓ）は、制御システム４０に伝送される。

それにより、制御システム４０は、センサ信号Ｓのストリームを受信する。次いで、センサ信号Ｓのストリームに依存して、一連のアクチュエータ制御コマンドＡが計算され、次いで、それらはアクチュエータ１０に伝送される。

制御システム４０は、任意の受信ユニット５０でセンサ３０のセンサ信号Ｓのストリームを受信する。この受信ユニット５０は、センサ信号Ｓを入力信号ｘに変換する。代替的に、受信ユニット５０が存在しない場合、各センサ信号Ｓは、入力信号ｘとして直接取り込まれるものとしてもよい。この入力信号ｘは、例えば、センサ信号Ｓからの抜粋として与えられるものとしてもよい。代替的に、センサ信号Ｓは、入力信号ｘを生成するために処理されるものとしてもよい。

次いで、入力信号ｘが分類器６０に渡される。

分類器６０は、パラメータのセットΦによってパラメータ化され、これらのパラメータのセットΦは、パラメータストレージＳｔ_１に格納され、当該パラメータストレージＳｔ_１によって提供される。

分類器６０は、入力信号ｘから出力信号ｙを決定する。この出力信号ｙは、１つ又は複数のラベルを入力信号ｘに割り当てる情報を含む。出力信号ｙは、任意の変換ユニット８０に伝送され、この任意の変換ユニットは、出力信号ｙを制御コマンドＡに変換する。次いで、これらのアクチュエータ制御コマンドＡは、それに応じてアクチュエータ１０を制御するためにアクチュエータ１０に伝送される。代替的に、出力信号ｙは、アクチュエータ制御コマンドＡとして直接取り込まれるものとしてもよい。

アクチュエータ１０は、アクチュエータ制御コマンドＡを受信し、それに応じて制御され、アクチュエータ制御コマンドＡに対応する動作を実行する。アクチュエータ１０は、アクチュエータ制御コマンドＡをさらなる制御コマンドに変換する制御論理を含み得る。このさらなる制御コマンドは、次いで、アクチュエータ１０を制御するために使用される。

さらなる実施形態においては、制御システム４０は、センサ３０を含み得る。さらに他の実施形態においては、制御システム４０は、代替的又は付加的に、アクチュエータ１０を含み得る。

一実施形態においては、分類器６０は、例えば、路面及び道路上のマーキングを分類し、マーキング間の路面のパッチとして車線を識別することによって、前方の道路上の車線を識別するように構成されるものとしてよい。次いで、ナビゲーションシステムの出力に基づいて、選択された経路を追跡するための適当な車線を選択することができ、次いで、現在の車線と前記目標車線とに依存して、車両１００が車線を切り替えるべきか又は現在の車線に留まるべきかが決定されるものとしてよい。次いで、アクチュエータ制御コマンドＡは、例えば、識別された動作に対応するデータベースから予め定められた運動パターンを検索することによって計算されるものとしてよい。

付加的又は代替的に、分類器６０は、環境２０内の道路標識及び信号機を検出することもできる。道路標識又は信号機を識別すると、次いで、識別されたタイプの道路標識又は識別された前記信号機の状態に依存して、車両１００の可能な運動パターン上の対応する制約が、例えばデータベースから検索され、計画された車両１００の軌道がこれらの制約に従って計算されるものとしてよく、アクチュエータ制御コマンドＡが、計画された軌道を実行するような車両１００の操縦のために計算されるものとしてよい。

付加的又は代替的に、分類器は、環境２０内の歩行者及び／又は車両を検出することもできる。歩行者及び／又は車両を識別すると、歩行者及び／又は車両の予測される将来的行動が推定され、次いで、この推定された将来的行動に基づいて、識別された歩行者及び／又は車両との衝突を回避するような軌道が選択されるものとしてよく、アクチュエータ制御コマンドＡが、軌道を実行するような車両１００の操縦のために計算されるものとしてよい。

さらなる実施形態においては、制御システム４０が、アクチュエータ１０の代わりに又はアクチュエータ１０に加えて、ディスプレイ１０ａを制御することが想定され得る。

さらに、制御システム４０は、プロセッサ４５（又は複数のプロセッサ）と、複数の命令が格納された少なくとも１つの機械可読記憶媒体４６とを含むものとしてよく、これらの命令は、それらが実行されるときに本発明の態様による方法を制御システム４０に実行させる。

図２は、制御システム４０が、少なくとも部分的に自律型のロボット、例えば、少なくとも部分的に自律型の車両１００を制御するために使用される実施形態を示している。

センサ３０は、１つ以上のビデオセンサ及び／又は１つ以上のレーダセンサ及び／又は１つ以上の超音波センサ及び／又は１つ以上のＬｉＤＡＲセンサ及び／又は１つ以上の位置センサ（例えば、ＧＰＳなど）を含み得る。これらのセンサのいくつか又は総ては、好適には、ただし必ずしもそうというわけではないが、車両１００に統合されている。

代替的又は付加的に、センサ３０は、アクチュエータシステムの状態を決定するための情報システムを含み得る。そのような情報システムの一例は、環境２０内の気象の現在又は将来の状態を決定する気象情報システムである。

例えば、入力信号ｘを使用して、分類器６０は、例えば、少なくとも部分的に自律型のロボットの近傍にある物体を検出することができる。出力信号ｙは、物体が、少なくとも部分的に自律型ロボットの近傍に位置する場所を特徴付ける情報を含み得る。次いで、アクチュエータ制御コマンドＡは、例えば、検出された物体との衝突を回避するために、この情報に従って決定されるものとしてよい。

好適には、車両１００に統合されるアクチュエータ１０は、車両１００のブレーキ、推進システム、エンジン、ドライブトレイン又はステアリングによって与えられるものとしてもよい。アクチュエータ制御コマンドＡは、車両１００が、検出された物体との衝突を回避するようにアクチュエータ（又は複数のアクチュエータ）１０を制御するように決定されるものとしてよい。検出された物体は、分類器６０がそれらを物体と認識する可能性が最も高い、例えば歩行者又は樹木に従って分類されるものとしてよく、アクチュエータ制御コマンドＡは分類に依存して決定されるものとしてよい。

さらなる実施形態においては、少なくとも部分的に自律型のロボットは、例えば、飛行、水泳、潜水又は足踏みによって移動することができる別種の移動型ロボット（図示せず）によって与えられるものとしてよい。この移動型ロボットは、特に、少なくとも部分的に自律型の芝刈り機、又は、少なくとも部分的に自律型の掃除ロボットであるものとしてよい。上記の実施形態の総てにおいて、アクチュエータ制御コマンドＡは、移動型ロボットが、識別された物体との衝突を回避することができるように、移動型ロボットの推進ユニット及び／又はステアリング及び／又はブレーキが制御されるように決定されるものとしてよい。

さらなる実施形態においては、少なくとも部分的に自律型のロボットは、環境２０内の植物の状態を決定するためのセンサ３０、好適には光学センサを使用する園芸ロボット（図示せず）によって与えられるものとしてよい。アクチュエータ１０は、液体を噴霧するためのノズル及び／又は切断装置、例えばブレードを制御することができる。識別された種及び／又は識別された植物の状態に依存して、アクチュエータ制御コマンドＡは、アクチュエータ１０に適当な量の適当な液体を植物に向けて噴霧させるように決定されるものとしてよく、及び／又は、アクチュエータ１０に植物を切断させるように決定されるものとしてよい。

図３には、制御システム４０が、自動化されたパーソナルアシスタント２５０を制御するために使用される実施形態が示されている。このセンサ３０は、光学センサ、例えば、ユーザ２４９のジェスチャのビデオ画像を受信するための光学センサであるものとしてよい。代替的に、センサ３０は、例えば、ユーザ２４９の音声コマンドを受信するためのオーディオセンサであるものとしてもよい。

次いで、制御システム４０は、自動化されたパーソナルアシスタント２５０を制御するためのアクチュエータ制御コマンドＡを決定する。このアクチュエータ制御コマンドＡは、センサ３０のセンサ信号Ｓに依存して決定される。センサ信号Ｓは、制御システム４０に伝送される。例えば、分類器６０は、例えば、ユーザ２４９によって行われたジェスチャを識別するためのジェスチャ認識アルゴリズムを実行するように構成されるものとしてよい。次いで、制御システム４０は、自動化されたパーソナルアシスタント２５０に伝送するためのアクチュエータ制御コマンドＡを決定することができる。次いで、アクチュエータ制御コマンドＡが、自動化されたパーソナルアシスタント２５０に伝送される。

例えば、アクチュエータ制御コマンドＡは、分類器６０によって認識され識別されたユーザジェスチャに従って決定されるものとしてよい。次いで、自動化されたパーソナルアシスタント２５０に、データベースから情報を検索させ、この検索された情報をユーザ２４９による受信に適した形態において出力させる情報を含み得る。

図４には、制御システム４０が、アクセス制御システム３００を制御する実施形態が示されている。このアクセス制御システム３００は、アクセスを物理的に制御するように設計されるものとしてよい。それは、例えばドア４０１を含み得る。センサ３０は、アクセスを許可するかどうかの決定に関連するシーンを検出するように構成することができる。それは、例えば人の顔を検出するための、例えば画像又はビデオデータを提供するための光学センサであるものとしてよい。分類器６０は、この画像又はビデオデータを、例えば、データベースに格納された既知の人物とのアイデンティティの照合を行い、それによって、人物のアイデンティティを特定することによって解釈するように構成されるものとしてよい。次いで、アクチュエータ制御信号Ａは、分類器６０の解釈に依存して、例えば、特定されたアイデンティティに従って決定されるものとしてよい。アクチュエータ１０は、アクチュエータ制御信号Ａに依存して開閉されるロックであるものとしてもよい。

図５には、制御システム４０が、監視システム４００を制御する実施形態が示されている。この実施形態は、図４に示される実施形態とほぼ同一である。それゆえ、異なる態様のみを詳細に説明する。この実施形態においては、センサ３０は、監視下にあるシーンを検出するように構成されている。制御システム４０は、必ずしもアクチュエータ１０を制御する必要はないが、代替的に、ディスプレイ１０ａを制御することもできる。例えば、分類器６０は、シーンの分類を、例えば、光学センサ３０によって検出されたシーンが疑わしいかどうかを決定することができる。次いで、ディスプレイ１０ａに送信されるアクチュエータ制御信号Ａは、例えば、ディスプレイ１０ａに、決定された分類に依存して表示される内容を調整させるように、例えば、分類器６０によって疑義的にみなされる物体を強調させるように構成されるものとしてよい。

図６は、敵対攻撃に対して堅牢であるように、制御システム４０の分類器６０をトレーニングするための方法の実施形態の概要を示すフローチャートである。トレーニングするための本方法は、分類器６０、好適には、事前トレーニングデータセットにより事前トレーニングされるニューラルネットワーク、並びに、入力信号及び対応する所望の出力信号のトレーニングデータセットと共に提供される。

第１のステップ６０１においては、複数の摂動が初期化される。この初期化については、摂動を形成するために、トレーニングデータセットからの入力信号をそれぞれ乱数によりスケーリングすることができる。次いで、各摂動は、複数の新たな入力信号の取得のために、トレーニングデータセットの各入力信号に適用される。次いで、摂動ごとに、適合化された入力信号に対応する総ての新しい入力信号に関して分類器が誤分類を提供するような、適合化された入力信号に対応する新たな入力信号の割合を計算することによって、第１の値が取得される。

代替的に、入力信号は、摂動を取得するためにダウンサンプリング及び／又はトリミングすることができる。これらの摂動は、複数の新たな入力信号の取得のために、トレーニングデータセットの入力信号の一部に適用することができる。例えば、画像を入力信号として使用する場合、これらの摂動は、パッチとしてトレーニングデータセットの入力信号に適用するものとしてもよい。

代替的に、摂動は、入力信号全体又はその一部のいずれかの入力信号に適用されるノイズとして初期化されるものとしてもよく、ここで、これらの摂動の各々は、引き続き分類器を欺くためにトレーニングデータセットからの個々の入力信号にさらに適合化される。これは、例えば、敵対例を作成するためのＩ−ＦＧＳＭ又はＰＧＤ攻撃型アルゴリズムを使用して実現することができる。

次いで、第２のステップ６０２においては、トレーニングデータセットのサブセットがトレーニングバッチとして機能するように選択される。このために、所望の量の入力信号と対応する所望の出力信号とが、トレーニングデータセットからランダムに選択される。

第３のステップ６０３においては、トレーニングバッチからの入力信号と対応する所望の出力信号との対ごとの置き換えによって、複数の摂動からの摂動がランダムに引き出される。

第４のステップ６０４においては、引き出された摂動の各々は、それらの対応する入力信号及び所望の出力信号に適合化され、それによって、摂動がそれぞれの入力信号に適用されるときに分類器６０用の敵対例が作成される。これは、例えば、Ｉ−ＦＧＳＭ又はＰＧＤ攻撃型アルゴリズムを実行することによって実現することができる。摂動ごとに、このステップは、それぞれの入力信号に適合化された第２の摂動に戻る。

第５のステップ６０５においては、分類器６０用の複数の敵対例を取得するために、各第２の摂動がその各入力信号に適用される。

第６のステップ６０６においては、分類器は、先行のステップで取得された敵対例用の所望の出力信号を予測するようにトレーニングされるものとしてよい。このために、分類器は、（確率的）勾配降下法又はその適合化された形態（Ａｄａｍなど）を使用してトレーニングすることができる。分類器６０をこのようにトレーニングする場合、分類器は、敵対例に基づいて出力信号を予測する。次いで、予測された出力信号が、損失関数を使用して所望の出力信号と比較される。次いで、分類器６０は、損失関数から得られた損失値が、敵対例を分類器によって再処理し、次いで、予測された出力信号を所望の出力信号と比較するときに小さくなるように適合化される。例えば、ニューラルネットワークを分類器６０として使用する場合、例えば、ニューラルネットワークの複数のパラメータは、損失値に関するパラメータの負の勾配に従って適合化される。

付加的に、分類器は、変更なしで入力信号と、対応する所望の出力信号とを使用してトレーニングすることもできる。

第７のステップ６０７においては、ランダムに引き出された各摂動は、複数の摂動において、摂動自体とそれに対応する第２の摂動との線形結合によって置き換えられる。この置き換えは、例えば、以下の関係式、
ｌ＝（１−σ）・α_１＋σ・α_２、
に従って得ることができる。ここで、ｌは、線形結合、α_１は、摂動、α_２は、第２の摂動、σは、予め定められた値である。この公式化は、メタ学習を通じて摂動をトレーニングすることとして理解することができる。ここで、σは、勾配に基づく学習アルゴリズムにおける学習率に類似している。

第８のステップ６０８においては、ステップ２乃至７が繰り返される。これらのステップは、例えば、損失値が予め定められた閾値を下回るまで繰り返されるものとしてもよい。代替的に、トレーニングを、予め定められた反復回数だけ実行するものとしてもよい。所望の反復回数を完了した場合、分類器６０は、制御システム４０において使用するものとしてよい。

図７には、図６に示される方法を実行するためのトレーニングシステム１４０の実施形態が示されている。トレーニングデータユニット１５０は、分類器６０に渡される適合化された入力信号χ_ｉを決定するように構成されている。このために、トレーニングデータユニット１５０は、トレーニングデータの少なくとも１つのセットＴが格納されているコンピュータ実装されたトレーニングデータベースＳｔ_２にアクセスする。セットＴは、入力信号の対と、対応する所望の出力信号ｙ_ｉとを含む。トレーニングデータのセットＴは、トレーニングデータのフルセットであるものとしてよい。トレーニングがバッチで実行される場合は、トレーニングデータの選択されたバッチであるものとしてもよい。付加的に、トレーニングデータユニット１５０は、コンピュータ実装された摂動データベースＳｔ_３から摂動のセットξを受信する。次いで、トレーニングデータユニット１５０は、入力信号と所望の出力信号ｙ_ｉとの対を選択し、摂動のセットξから摂動を選択し、選択された摂動を入力信号に適用することによって、適合化された入力信号χ_ｉを決定する。

次いで、取得された適合化された入力信号χ_ｉは、適合化された入力信号χ_ｉから出力信号

を決定する分類器６０に提供される。次いで、この出力信号

は、トレーニングユニット１５０に戻され、そこでは選択された摂動が、投影勾配降下法を使用してより強くなるように適合化される。次いで、適合化された入力信号χ_ｉの取得のために、より強い摂動を入力信号に適用する手順と、適合化された入力信号χ_ｉ用の出力信号ｙ_ｉを決定する手順と、摂動をより強くさせるために適合化させる手順とが、所望の反復回数だけ繰り返される。

所望の反復回数の後、出力信号

及び所望の出力信号が更新ユニット１８０に渡される。付加的に、トレーニングユニット１５０は、選択された摂動を適合化された摂動で置き換えることによって、摂動の更新されたセットξ’を摂動データベースに格納する。

次いで、出力信号

及び所望の出力信号ｙ_ｉに基づいて、更新ユニットは、例えば確率的勾配降下法を使用して、分類器６０用のパラメータの更新されたセットΦ’を決定する。この更新されたパラメータのセットΦ’は、パラメータストレージＳｔ_１に格納される。

次いで、さらなる実施形態においては、トレーニングプロセスは、所望の反復回数だけ繰り返され、ここで、パラメータの更新されたセットΦ’は、各反復においてパラメータストレージＳｔ_１によりパラメータのセットΦとして提供され、摂動の更新されたセットξ’は、摂動データベースＳｔ_３によって摂動のセットξとして提供される。

さらに、トレーニングシステム１４０は、プロセッサ１４５（又は複数のプロセッサ）と、実行時にトレーニングシステム１４０に本発明の態様によるトレーニング方法を実行させる複数の命令が格納された少なくとも１つの機械可読記憶媒体１４６とを含み得る。

さらに他の実施形態においては、トレーニングユニット１５０は、摂動が入力信号に適用されるべきかどうかを反復ごとにランダムに選択する。摂動が入力信号に適用されるべきでないと決定した場合、分類器６０は、適合化された入力信号χ_ｉとして入力信号を提供され、摂動の更新は計算されない。

Claims (13)

1. 分類器（６０）に提供される入力信号（ｘ）を分類するための分類器（６０）をトレーニングするためのコンピュータ実装された方法であって、
   前記分類器（６０）は、前記入力信号（ｘ）の分類を特徴付ける出力信号（ｙ）を取得するように構成されており、
   前記トレーニングするための方法は、
   ａ．摂動のセット（ξ）を提供するステップ（６０１）と、
   ｂ．それぞれがトレーニングサンプルの第１のデータセット（Ｔ）からの入力信号及び対応する所望の出力信号（ｙ_ｉ）を含む第１のトレーニングサンプルのサブセットを提供するステップ（６０２）と、
   ｃ．前記サブセットからの入力信号及び対応する所望の出力信号（ｙ_ｉ）用の摂動のセット（ξ）から第１の摂動を選択するステップ（６０３）と、
   ｄ．前記入力信号、前記対応する所望の出力信号（ｙ_ｉ）及び前記分類器（６０）に基づいて前記第１の摂動を適合化することにより、前記第１の摂動よりも強い第２の摂動を取得するステップ（６０４）と、
   ｅ．前記入力信号に前記第２の摂動を適用することにより、第１の敵対例（χ_ｉ）を取得するステップ（６０５）と、
   ｆ．前記分類器（６０）を前記第２の摂動に対して強化するために、前記分類器（６０）を前記第１の敵対例（χ_ｉ）及び前記対応する所望の出力信号（ｙ_ｉ）に基づいてトレーニングすることによって前記分類器（６０）を適合化するステップ（６０６）と、
   ｇ．前記摂動のセット（ξ）内の前記第１の摂動を、前記第１の摂動と前記第２の摂動との線形結合によって置き換えるステップ（６０７）と、
   ｈ．前記ステップｂから前記ステップｇまでを繰り返すステップ（６０８）と、
   を含む、コンピュータ実装された方法。
2. 前記分類器は、前記第１のデータセット又は他のデータセットで事前トレーニングされ、前記摂動のセットからの１つ又は複数の摂動が、前記分類器の対応する第２の敵対例のセットに基づいて提供される（ステップ６０１）、請求項１に記載の方法。
3. 前記第２の敵対例のセットからの第２の敵対例が、ランダムノイズに基づいて提供される、請求項２に記載の方法。
4. 前記第２の敵対例は、前記第１のデータセットからの入力信号のランダム位置におけるランダムノイズの適用に基づいて提供される、請求項３に記載の方法。
5. ｉ．前記第１のデータセット（Ｔ）からの入力信号のサブセットを選択するステップと、
   ｊ．前記サブセット内の入力信号を、入力信号内の複数の値のスケーリングによって適合化するステップと、
   ｋ．新たな入力信号のセットを取得するために、適合化された入力信号を摂動として前記第１のデータセット（Ｔ）の入力信号に適用するステップであって、各適合化された入力信号は、前記第１のデータセット（Ｔ）の複数の入力信号に適用され、新たな入力信号のセットからの各入力信号は、適合化された入力信号に対応する、ステップと、
   ｌ．前記各適合化された入力信号用の第１の値を決定するステップであって、前記第１の値は、摂動として使用される場合に前記分類器を欺くための対応する適合化された入力信号の能力を特徴付け、前記第１の値は、前記分類器（６０）を欺くための前記適合化された入力信号に対応する新たな入力信号の能力に基づいて決定される、ステップと、
   ｍ．前記適合化された入力信号を、それらの対応する第１の値によってランク付けし、摂動として最良にランク付けされた所望の量の前記適合化された入力信号を提供するステップと、
   に従って、前記摂動のセット（ξ）からの１つ又は複数の摂動が提供される（ステップ６０１）、請求項２に記載の方法。
6. 前記分類器（６０）は、第１の敵対例（χ_ｉ）を前記分類器に供給し、対応する所望の出力信号（ｙ_ｉ）を前記敵対例用の所望の出力信号として使用することによって、トレーニングされる、請求項１乃至５までのいずれか１項に記載の方法。
7. 前記トレーニングするための方法は、
   ｏ．前記分類器（６０）を、前記入力信号と、前記対応する所望の出力信号（ｙ_ｉ）とに基づいてトレーニングするステップ
   をさらに含む、請求項１乃至６までのいずれか１項に記載の方法。
8. 入力信号（ｘ）の分類を特徴付ける出力信号（ｙ）を取得するためのコンピュータ実装された方法であって、
   ｐ．分類器（６０）を、請求項１乃至７までのいずれか１項に記載の方法に従ってトレーニングするステップと、
   ｑ．前記分類器（６０）を、制御システム（４０）に提供するステップと、
   ｒ．前記制御システム（４０）から前記出力信号（ｙ）を取得するステップであって、前記制御システム（４０）は、前記出力信号（ｙ）を取得するために、前記入力信号（ｘ）を前記分類器（６０）に供給する、ステップと、
   を含む、コンピュータ実装された方法。
9. 前記入力信号（ｘ）は、センサ（３０）の信号（Ｓ）に基づいて取得され、及び／又は、アクチュエータ（１０）が、前記出力信号（ｙ）に基づいて制御され、及び／又は、表示装置（１０ａ）が、前記出力信号（ｙ）に基づいて制御される、請求項８に記載の方法。
10. 分類器（６０）の出力信号（ｙ）に基づいてアクチュエータ（１０）及び／又は表示装置（１０ａ）を制御するように構成された制御システム（４０）であって、
    前記分類器は、請求項１乃至７までのいずれか１項に記載の方法によってトレーニングされる、制御システム（４０）。
11. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ（４５，１４５）によって実行されるときに、請求項１乃至９までのいずれか１項に記載の方法の総てのステップをコンピュータに実施させるために構成されているコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムが格納されている機械可読記憶媒体（４６，１４６）。
13. 請求項１乃至７までのいずれか１項に記載の方法を実施するように構成されているトレーニングシステム（１４０）。

Images