JP2021170332A - 分類器をトレーニングするための装置及び方法並びに分類器の堅牢性を評価するための装置及び方法 - Google Patents

Abstract

【課題】分類器（６０）をトレーニングするためのコンピュータ実装された方法に関し、分類器（６０）は、デジタル画像データ及び／又はオーディオデータの入力信号を分類するように構成され、分類器をトレーニングするステップは、複数（ξ）の摂動から提供される摂動を、トレーニングデータセットから提供される入力信号に適用することによって得られる摂動させられた入力信号に基づく。【解決手段】本方法は、・複数の初期摂動を提供するステップと、・複数の初期摂動からの摂動を入力信号に適合化させるステップであって、入力信号は、トレーニングデータセットからランダムに引き出され、摂動は、入力信号への摂動の適用が、第１の入力信号とは異なって分類される第２の入力信号を発生させるように入力信号に適合化される、ステップと、・複数の初期摂動のサブセットを複数（ξ）の摂動として提供するステップと、・複数（ξ）の摂動に基づいて分類器（６０）をトレーニングするステップと、を含む。【選択図】図７

Description

本発明は、分類器をトレーニングするための方法、分類器の堅牢性の値を決定するための方法、アクチュエータを操作するための方法、コンピュータプログラム、機械可読記憶媒体、分類器、制御システム及びトレーニングシステムに関する。

背景技術
独国特許出願公開第１０２０１８２００７２４号明細書においては、普遍的な敵対的摂動を生成するための方法が開示されている。

独国特許出願公開第１０２０１８２００７２４号明細書

発明の利点
分類器、特に機械学習モデルに基づく分類器は、敵対例、即ち、それぞれの分類器による誤分類を引き起こすように変更された入力信号の影響を受けやすい。従って、敵対例に対して堅牢になるように分類器を強化することは、多くの用途にとって重要なタスクである。

例えば、自律型の車両について考察すれば、この自律型の車両は、車両周囲の歩行者を検出し、検出された歩行者のいずれとも衝突しないような軌道を計画するために分類器を使用している。攻撃者が、特定の歩行者が検出されないように分類器を欺く敵対例を作成し、検出し損ねた歩行者との衝突を引き起こす軌道を車両に計画させる可能性があることは、想定することができる。

分類器は、例えば、ＰＧＤに基づく敵対的なトレーニングや普遍的な敵対例を用いたトレーニングなどの敵対的なトレーニング方法を用いてトレーニングすることにより、敵対例に対して堅牢にすることができる。敵対的なトレーニング方法は、トレーニングのプロセス中に敵対例を作成するための初期摂動を必要とする場合がある。初期摂動の適当なセットを取得することは、例えば、強さが増加していく摂動を取得するために、初期摂動をトレーニングに使用されるデータに適合化させる敵対的なトレーニング方法にとって最も重要である。初期摂動が適当でない場合、初期摂動をデータに適合化させるために長い時間がかかる場合がある。

独立請求項１の特徴を備える方法は、敵対的なトレーニングのための初期化として多様な摂動を有利に提供することができる。複数の摂動が提供される手法のため、これらの摂動は、トレーニングデータに調整するためにわずかな時間しか必要とせず、その結果、トレーニングもスピードアップする。このことは、特定の期間中により多くのデータを用いてトレーニングすることができるため、より堅牢な分類器に結び付く。

発明の開示
第１の態様においては、本発明は、分類器をトレーニングするためのコンピュータ実装された方法に関し、分類器は、デジタル画像データ及び／又はオーディオデータの入力信号を分類するように構成されており、分類器をトレーニングするステップは、複数の摂動から提供される摂動を、トレーニングデータセットから提供される入力信号に適用することによって得られる摂動させられた入力信号に基づいており、本方法は、以下のステップ、即ち、
・複数の初期摂動を提供するステップと、
・複数の初期摂動からの摂動を入力信号に適合化させるステップであって、入力信号は、トレーニングデータセットからランダムに引き出され、摂動は、入力信号への摂動の適用が、第１の入力信号とは異なって分類される第２の入力信号を発生させるように入力信号に適合化される、ステップと、
・複数の初期摂動のサブセットを複数の摂動として提供するステップと、
・複数の摂動に基づいて分類器をトレーニングするステップと、
を含む。

「分類器」との用語は、入力信号を受け入れ、入力信号の分類を特徴付ける出力信号を提供する装置を意味するものと理解されたい。このために、分類器は、入力信号を機械学習モデル、特にニューラルネットワークに供給することによって出力信号を取得することができる。さらに、分類器は、入力信号を分類器に供給する前に、例えば、入力信号から特徴を抽出する前に、入力信号を適合化することができる。付加的に、分類器は、機械学習モデルの出力信号を後処理することもできる。

分類器は、種々のモダリティの入力信号、特に、例えば、ビデオ画像、レーダ画像、ＬＩＤＡＲ画像及び／又は超音波画像、並びに、赤外線カメラ画像などの画像を受け入れることができる。画像については、分類器は、好適には、畳み込みニューラルネットワークを含み得る。

代替的に、分類器は、入力として、例えば、量子化された信号又はＭＦＣＣなどのオーディオ信号の特徴表現の形式においてオーディオデータを受け入れることができる。オーディオデータについては、分類器は、好適にはトランスフォーマーネットワーク又はリカレントニューラルネットワーク、例えばＬＳＴＭを含み得る。

代替的に、入力信号は、複数のセンサ信号及び／又は異なるモダリティのセンサ信号の組合せであるデータも含み得る。画像データ及びオーディオデータの両方を入力信号において提供する場合、分類器は、好適には入力信号のそれぞれの部分を処理するための異なる種類のニューラルネットワーク、例えば、１つ又は複数の畳み込みニューラルネットワークと１つ又は複数のトランスフォーマーネットワークとの組合せを含み得る。

出力信号によって特徴付けられる分類は、１つ又は複数のクラスラベルを入力信号に割り当てることができる。代替的又は付加的に、出力信号は、特に画像データが入力信号として使用される場合に、物体検出の形態により分類を特徴付けることが想定され得る。代替的又は付加的に、出力信号が、入力信号のセマンティックセグメンテーションを特徴付けることが想定され得る。

オーディオ信号については、分類は、オーディオデータのシーケンス全体にクラスラベルを割り当てる場合がある。代替的又は付加的に、分類は、オーディオシーケンスの特定のオーディオイベント（例えば、マイク録音におけるサイレンなど）の開始及び終了の検出の形態であるものとしてもよい。

入力信号に摂動を適用することは、入力信号を摂動によりオーバーレイすることとして理解することができる。例えば、入力信号として画像を使用する場合、摂動は、摂動画像を形成するために、所定の入力画像に重ね合わせ得る小さい画像パッチによって与えられる場合がある。この場合、入力画像内においてパッチを配置する位置は、ランダムに選択されるものとしてよい。代替的又は付加的に、パッチは、入力画像に適用する前に、アフィン変換によって変換するものとしてもよい。オーディオデータについては、摂動データを形成するために、摂動は、オーディオシーケンスのランダム部分に重ね合わせ得る。

摂動及び入力信号が同一の次元を有し、摂動及び入力信号を共に加算することによって、摂動を入力信号に適用することが達成され得ることがさらに想定され得る。例えば、画像データを使用する場合、摂動は、分類器のトレーニング用に使用される画像と同等のサイズを有するものとしてもよい。この場合、敵対例を形成するために、摂動及び画像の画素値を加算するものとしてもよい。付加的に、摂動は、入力画像に適用される前にスカラー値によってスケーリングされるものとしてもよい。それぞれの摂動をオーディオ信号に適用するために、同様の取り組みが所要の変更を加えて使用されるものとしてもよい。

分類器が入力信号用の出力信号を提供する場合、出力信号は、複数のロジット値を含むことがあり、ここで、これらのロジット値の各々は、クラスに対応する。所望のクラスに対応するロジット値が複数のロジット値のなかで最大である場合には、入力信号に所望のクラスを割り当て、出力信号を、適正な分類を特徴付けるものとみなしてもよい。

第２の摂動がより強いかどうか、即ち、分類器を欺くために第１の摂動よりも使いやすいかどうかを評価することについては、第２の摂動は、対応する第２の摂動させられた入力信号の取得のために入力信号に適用するものとしてよく、第１の摂動は、第１の摂動させられた入力信号の取得のために同一の入力信号に適用するものとしてよい。次いで、分類器は、第２の摂動させられた入力信号を入力信号として使用して第２の出力信号を取得し、第１の摂動させられた入力信号を入力信号として使用して第１の出力信号を取得することができる。従って、第２の出力信号は、第２の摂動に対応し、一方、第１の出力信号は、第１の摂動に対応する。

次いで、所望のクラスのロジット値が、第１の出力信号よりも第２の出力信号における方が小さい場合、第２の摂動は、第１の摂動よりも強いとみなされ得る。同様に、第２の出力信号における不所望のクラスの最大ロジット値が、第１の出力信号における不所望のクラスの最大ロジット値よりも大きい場合も、第２の摂動は、第１の摂動よりも強いとみなされ得る。どちらの選択肢も、分類器は、第１の摂動よりも第２の摂動を使用した誤った予測をより確信するものと理解され得る。

代替的又は付加的に、出力信号は、複数の確率値を含むことがあり、ここで、これらの確率値の各々は、クラスに対応し、第１及び第２の出力信号は、従前のように計算されるものとしてよい。この場合、所望のクラスの確率値が第１の出力信号よりも第２の出力信号における方が小さい場合、第２の摂動は、第１の摂動よりも強いとみなされ得る。

他の態様においては、複数の初期摂動からの少なくとも１つの摂動が、ノイズ信号をランダムに引き出し、ノイズ信号を摂動として提供することによって提供されることがさらに想定され得る。

分類器をトレーニングするプロセスは、それらが構造によって非常に多様であるように、複数の摂動をランダムに初期化することから恩恵を受ける。これの利点は、多様な摂動が、広範囲の摂動に対する堅牢性を分類器にもたらす結果に結び付き、ひいてはトレーニング後に分類器を欺くことが非常に困難になることにある。

他の態様においては、複数の初期摂動からの少なくとも１つの摂動は、トレーニングデータセット又は第２のデータセットからの入力信号をランダムにサンプリングし、入力信号に含まれる複数の値を適合化させ、当該適合化された入力信号を摂動として提供することによって提供されることがさらに想定され得る。

強い摂動の初期セットを取得するために、分類器は、敵対例に対する防御方法なしで事前トレーニングされるものとしてよい。その後、１つ又は複数の第２の敵対例が、例えば、トレーニングデータセット内の画像を周知の敵対攻撃方法によって適合化させることによって、分類器から取得されるものとしてもよく、次いで、１つ又は複数の第２の敵対例を引き起こすために必要な摂動が、トレーニング用の摂動の初期セットとして使用されるものとしてもよい。

この取り組みの利点は、トレーニングの初期化に使用される摂動を、既に、敵対例の形成のために使用することができることにある。従って、第２の摂動を形成するステップは、例えば、反復高速勾配符号法（Ｉ−ＦＧＳＭ）や投影勾配降下法（ＰＧＤ）などの勾配に基づく取り組みのように大幅に高速化され、第１の摂動から第２の摂動を取得するために必要なステップも大幅に減少する。その結果、これは、より高速なトレーニングに結び付き、ひいては、トレーニング中に分類器がより多くのトレーニングサンプルから情報を抽出することができることに結び付く。これは、分類器のパフォーマンスと堅牢性とをさらに向上させるという効果を奏する。

第２のデータセットを使用する場合、データのタイプは、好適には、トレーニングデータセットのデータのタイプと同一であるものとしてよい。

他の態様においては、摂動を適合化させるステップにおいて、摂動は、摂動させられた入力信号を取得するための入力信号の領域に適用されることがさらに想定され得る。

この取り組みの利点は、分類器が、入力信号全体を目標としない摂動に対しても堅牢になることである。例えば、カメラから入力された画像データを受信する分類器を欺くために、物体のステッカーを使用することを想定することができる。これらの摂動に対して堅牢になるために、分類器は、画像のより小さい領域にのみ適用される摂動によりトレーニングすることができる。適用前に、摂動は、例えば回転又はスケーリングなどのアフィン変換によって変換されるものとしてもよい。

オーディオデータについては、入力信号として使用されるオーディオ信号の特定の期間が、摂動させられた入力信号の取得のために摂動させられるものとしてもよい。

他の態様においては、分類器をトレーニングするステップは、以下のさらなるステップ、即ち、
ａ．複数の摂動から第１の摂動を選択し、トレーニングデータセットから入力信号及び対応する所望の出力信号を選択するステップと、
ｂ．入力信号、対応する所望の出力信号及び分類器に基づいて第１の摂動を適合化することにより、第１の摂動よりも強い第２の摂動を取得するステップと、
ｃ．第２の摂動を入力信号に適用することにより、第１の敵対例を取得するステップと、
ｄ．分類器を第２の摂動に対して強化するために、分類器を第１の敵対例及び対応する所望の出力信号に基づいてトレーニングすることによって分類器を適合化するステップと、
ｅ．複数の摂動における第１の摂動を、第１の摂動と第２の摂動との線形結合によって置き換えるステップと、
ｆ．ステップａからステップｅまでを繰り返すステップと、
を含むことが想定され得る。

提案された方法により分類器をトレーニングすることは、摂動のセット及び分類器がトレーニングされるメタトレーニングの一形態として理解され得る。分類器は、（パフォーマンスとしても周知の）可能な限り高い分類精度の達成を目標としてトレーニングされるが、本方法においては、可能な限り強い摂動のセットを見出すことも要求されている。

従って、強さが増加していく摂動により分類器をトレーニングすることは、強力な敵対攻撃に対する分類器の強化を可能にさせ、分類器を非常に堅牢にする。

トレーニングは、反復的に実行することができる。各トレーニングステップにおいて、本方法は、入力信号及び所望の出力信号の１つ又は複数のタプルを含むトレーニングデータのバッチを選択することができる。次いで、入力信号ごとに、第１の摂動は、摂動のセットからの置き換えによってランダムに引き出されるものとしてよい。次いで、このように引き出された各第１の摂動は、より強い第２の摂動を決定するために、その対応する入力信号に適合化されるものとしてよい。

次いで、分類器は、取得された第２の摂動をそれらの各入力信号に適用すること、及び、取得された出力信号と各入力信号用の所望の出力信号との間の差分を特徴付ける分類損失を最小化することから得られる敵対例を提供することによってトレーニングされるものとしてよい。

さらに、各第１の摂動は、摂動のセットにおいて、第１の摂動自体と第２の摂動との加重総和によって置き換えられるものとしてもよい。これも、好適には、摂動を普遍的に強くなるようにトレーニングする。このトレーニング方法の利点は、分類器が、強さが増加していく摂動から自身で身を守る術を学習しなければならない点にある。その結果、これは、分類器が普遍的に敵対的な攻撃に対して堅牢になっていくために役立つ。

他の態様においては、本発明は、分類器用の堅牢性の値を決定するためのコンピュータ実装された方法に関し、分類器は、デジタル画像データ及び／又はオーディオデータの入力信号を分類するように構成され、本方法は、以下のステップ、即ち、
ｇ．複数の初期摂動を提供するステップと、
ｈ．複数の摂動から第１の摂動を選択し、テストデータセットから入力信号及び対応する所望の出力信号を選択するステップと、
ｉ．入力信号、対応する所望の出力信号及び分類器（６０）に基づいて第１の摂動を適合化することにより、第１の摂動よりも強い第２の摂動を取得するステップと、
ｊ．複数の摂動における第１の摂動を、第１の摂動と第２の摂動との線形結合によって置き換えるステップと、
ｋ．ステップｈからステップｊまでを予め定められた反復回数だけ繰り返すステップと、
ｌ．予め定められた反復回数を完了した後、テストデータセットに関する複数の摂動から最も強い摂動を決定するステップと、
ｍ．最も強い摂動が分類器（６０）による誤分類を引き起こす可能性がある、テストデータセット内の入力信号の割合を決定し、決定された割合を堅牢性の値として提供するステップと、
を含む。

提案された本方法の利点は、分類器を欺くための摂動の適合化の後で、分類器が最もハードな摂動に対して評価されることにある。その結果、これは、分類器の潜在的な入力信号に適用される摂動に対する分類器の脆弱性の非常に正確な推定を可能にする。このために、テストデータセットは、好適には、分類器のトレーニングに使用されるトレーニングデータセットと同一のデータタイプである。

堅牢性の値は、（潜在的に安全性が重要な）装置において分類器を使用するかどうかを決定するときの基準として使用されるものとしてよい。例えば、衝突のないルートを計画するために、少なくとも部分的に自律型の車両において、歩行者を検出するために分類器が使用されるべきであることを想定することができる。分類器は、堅牢性の基準を満たさなければならないこと、例えば、分類器は入力信号の小さい変化（即ち、摂動）に対して堅牢でなければならないことを想定することができる。この堅牢性の基準は、取得した堅牢性の値が予め定められた堅牢性の閾値を超えているかどうかを決定することにより簡単に検査することができる。この場合、分類器は、車両内において使用されるものとしてよい。それ以外の場合は、例えば、付加的なトレーニングデータ及び／又は異なる摂動を用いてトレーニングすることができる。

本発明の実施形態は、以下の図面を参照してより詳細に説明される。

その環境内のアクチュエータを制御する分類器を含む制御システムを示した図である。 少なくとも部分的に自律型のロボットを制御する制御システムを示した図である。 自動化されたパーソナルアシスタントを制御する制御システムを示した図である。 アクセス制御システムを制御する制御システムを示した図である。 監視システムを制御する制御システムを示した図である。 分類器をトレーニングするための方法のフローチャートを示した図である。 分類器をトレーニングするためのトレーニングシステムを示した図である。

実施形態の説明
図１には、アクチュエータ１０の実施形態がその環境２０内において示されている。このアクチュエータ１０は、制御システム４０と相互作用する。ここでは、アクチュエータ１０とその環境２０とを連携させてアクチュエータシステムと称する。好適には、等間隔の時点において、センサ３０は、アクチュエータシステムの状態を感知する。センサ３０は、複数のセンサを含む場合がある。好適には、センサ３０は、環境２０の画像を撮影する光学センサである。感知された状態を符号化するセンサ３０の出力信号Ｓ（又は、センサ３０が複数のセンサを含む場合には、各センサの出力信号Ｓ）は、制御システム４０に伝送される。

それにより、制御システム４０は、センサ信号Ｓのストリームを受信する。次いで、センサ信号Ｓのストリームに依存して、一連のアクチュエータ制御コマンドＡが計算され、次いで、それらはアクチュエータ１０に伝送される。

制御システム４０は、任意の受信ユニット５０でセンサ３０のセンサ信号Ｓのストリームを受信する。この受信ユニット５０は、センサ信号Ｓを入力信号ｘに変換する。代替的に、受信ユニット５０が存在しない場合、各センサ信号Ｓは、入力信号ｘとして直接取り込まれるものとしてもよい。この入力信号ｘは、例えば、センサ信号Ｓからの抜粋として与えられるものとしてもよい。代替的に、センサ信号Ｓは、入力信号ｘを生成するために処理されるものとしてもよい。

次いで、入力信号ｘが分類器６０に渡される。

分類器６０は、パラメータのセットΦによってパラメータ化され、これらのパラメータのセットΦは、パラメータストレージＳｔ_１に格納され、当該パラメータストレージＳｔ_１によって提供される。

分類器６０は、入力信号ｘから出力信号ｙを決定する。この出力信号ｙは、１つ又は複数のラベルを入力信号ｘに割り当てる情報を含む。出力信号ｙは、任意の変換ユニット８０に伝送され、この任意の変換ユニットは、出力信号ｙを制御コマンドＡに変換する。次いで、これらのアクチュエータ制御コマンドＡは、それに応じてアクチュエータ１０を制御するためにアクチュエータ１０に伝送される。代替的に、出力信号ｙは、アクチュエータ制御コマンドＡとして直接取り込まれるものとしてもよい。

アクチュエータ１０は、アクチュエータ制御コマンドＡを受信し、それに応じて制御され、アクチュエータ制御コマンドＡに対応する動作を実行する。アクチュエータ１０は、アクチュエータ制御コマンドＡをさらなる制御コマンドに変換する制御論理を含み得る。このさらなる制御コマンドは、次いで、アクチュエータ１０を制御するために使用される。

さらなる実施形態においては、制御システム４０は、センサ３０を含み得る。さらに他の実施形態においては、制御システム４０は、代替的又は付加的に、アクチュエータ１０を含み得る。

一実施形態においては、分類器６０は、例えば、路面及び道路上のマーキングを分類し、マーキング間の路面のパッチとして車線を識別することによって、前方の道路上の車線を識別するように構成されるものとしてよい。次いで、ナビゲーションシステムの出力に基づいて、選択された経路を追跡するための適当な車線を選択することができ、次いで、現在の車線と前記目標車線とに依存して、車両１００が車線を切り替えるべきか又は現在の車線に留まるべきかが決定されるものとしてよい。次いで、アクチュエータ制御コマンドＡは、例えば、識別された動作に対応するデータベースから予め定められた運動パターンを検索することによって計算されるものとしてよい。

付加的又は代替的に、分類器６０は、環境２０内の道路標識及び信号機を検出することもできる。道路標識又は信号機を識別すると、次いで、識別されたタイプの道路標識又は識別された前記信号機の状態に依存して、車両１００の可能な運動パターン上の対応する制約が、例えばデータベースから検索され、計画された車両１００の軌道がこれらの制約に従って計算されるものとしてよく、アクチュエータ制御コマンドＡが、計画された軌道を実行するような車両１００の操縦のために計算されるものとしてよい。

付加的又は代替的に、分類器は、環境２０内の歩行者及び／又は車両を検出することもできる。歩行者及び／又は車両を識別すると、歩行者及び／又は車両の予測される将来的行動が推定され、次いで、この推定された将来的行動に基づいて、識別された歩行者及び／又は車両との衝突を回避するような軌道が選択されるものとしてよく、アクチュエータ制御コマンドＡが、軌道を実行するような車両１００の操縦のために計算されるものとしてよい。

さらなる実施形態においては、制御システム４０が、アクチュエータ１０の代わりに又はアクチュエータ１０に加えて、ディスプレイ１０ａを制御することが想定され得る。

さらに、制御システム４０は、プロセッサ４５（又は複数のプロセッサ）と、複数の命令が格納された少なくとも１つの機械可読記憶媒体４６とを含むものとしてよく、これらの命令は、それらが実行されるときに本発明の態様による方法を制御システム４０に実行させる。

図２は、制御システム４０が、少なくとも部分的に自律型のロボット、例えば、少なくとも部分的に自律型の車両１００を制御するために使用される実施形態を示している。

センサ３０は、１つ以上のビデオセンサ及び／又は１つ以上のレーダセンサ及び／又は１つ以上の超音波センサ及び／又は１つ以上のＬｉＤＡＲセンサ及び／又は１つ以上の位置センサ（例えば、ＧＰＳなど）を含み得る。これらのセンサのいくつか又は総ては、好適には、ただし必ずしもそうというわけではないが、車両１００に統合されている。

代替的又は付加的に、センサ３０は、アクチュエータシステムの状態を決定するための情報システムを含み得る。そのような情報システムの一例は、環境２０内の気象の現在又は将来の状態を決定する気象情報システムである。

例えば、入力信号ｘを使用して、分類器６０は、例えば、少なくとも部分的に自律型のロボットの近傍にある物体を検出することができる。出力信号ｙは、物体が、少なくとも部分的に自律型ロボットの近傍に位置する場所を特徴付ける情報を含み得る。次いで、アクチュエータ制御コマンドＡは、例えば、検出された物体との衝突を回避するために、この情報に従って決定されるものとしてよい。

好適には、車両１００に統合されるアクチュエータ１０は、車両１００のブレーキ、推進システム、エンジン、ドライブトレイン又はステアリングによって与えられるものとしてもよい。アクチュエータ制御コマンドＡは、車両１００が、検出された物体との衝突を回避するようにアクチュエータ（又は複数のアクチュエータ）１０を制御するように決定されるものとしてよい。検出された物体は、分類器６０がそれらを物体と認識する可能性が最も高い、例えば歩行者又は樹木に従って分類されるものとしてよく、アクチュエータ制御コマンドＡは分類に依存して決定されるものとしてよい。

さらなる実施形態においては、少なくとも部分的に自律型のロボットは、例えば、飛行、水泳、潜水又は足踏みによって移動することができる別種の移動型ロボット（図示せず）によって与えられるものとしてよい。この移動型ロボットは、特に、少なくとも部分的に自律型の芝刈り機、又は、少なくとも部分的に自律型の掃除ロボットであるものとしてよい。上記の実施形態の総てにおいて、アクチュエータ制御コマンドＡは、移動型ロボットが、識別された物体との衝突を回避することができるように、移動型ロボットの推進ユニット及び／又はステアリング及び／又はブレーキが制御されるように決定されるものとしてよい。

さらなる実施形態においては、少なくとも部分的に自律型のロボットは、環境２０内の植物の状態を決定するためのセンサ３０、好適には光学センサを使用する園芸ロボット（図示せず）によって与えられるものとしてよい。アクチュエータ１０は、液体を噴霧するためのノズル及び／又は切断装置、例えばブレードを制御することができる。識別された種及び／又は識別された植物の状態に依存して、アクチュエータ制御コマンドＡは、アクチュエータ１０に適当な量の適当な液体を植物に向けて噴霧させるように決定されるものとしてよく、及び／又は、アクチュエータ１０に植物を切断させるように決定されるものとしてよい。

図３には、制御システム４０が、自動化されたパーソナルアシスタント２５０を制御するために使用される実施形態が示されている。このセンサ３０は、光学センサ、例えば、ユーザ２４９のジェスチャのビデオ画像を受信するための光学センサであるものとしてよい。代替的に、センサ３０は、例えば、ユーザ２４９の音声コマンドを受信するためのオーディオセンサであるものとしてもよい。

次いで、制御システム４０は、自動化されたパーソナルアシスタント２５０を制御するためのアクチュエータ制御コマンドＡを決定する。このアクチュエータ制御コマンドＡは、センサ３０のセンサ信号Ｓに依存して決定される。センサ信号Ｓは、制御システム４０に伝送される。例えば、分類器６０は、例えば、ユーザ２４９によって行われたジェスチャを識別するためのジェスチャ認識アルゴリズムを実行するように構成されるものとしてよい。次いで、制御システム４０は、自動化されたパーソナルアシスタント２５０に伝送するためのアクチュエータ制御コマンドＡを決定することができる。次いで、アクチュエータ制御コマンドＡが、自動化されたパーソナルアシスタント２５０に伝送される。

例えば、アクチュエータ制御コマンドＡは、分類器６０によって認識され識別されたユーザジェスチャに従って決定されるものとしてよい。次いで、自動化されたパーソナルアシスタント２５０に、データベースから情報を検索させ、この検索された情報をユーザ２４９による受信に適した形態において出力させる情報を含み得る。

図４には、制御システム４０が、アクセス制御システム３００を制御する実施形態が示されている。このアクセス制御システム３００は、アクセスを物理的に制御するように設計されるものとしてよい。それは、例えばドア４０１を含み得る。センサ３０は、アクセスを許可するかどうかの決定に関連するシーンを検出するように構成することができる。それは、例えば人の顔を検出するための、例えば画像又はビデオデータを提供するための光学センサであるものとしてよい。分類器６０は、この画像又はビデオデータを、例えば、データベースに格納された既知の人物とのアイデンティティの照合を行い、それによって、人物のアイデンティティを特定することによって解釈するように構成されるものとしてよい。次いで、アクチュエータ制御信号Ａは、分類器６０の解釈に依存して、例えば、特定されたアイデンティティに従って決定されるものとしてよい。アクチュエータ１０は、アクチュエータ制御信号Ａに依存して開閉されるロックであるものとしてもよい。

図５には、制御システム４０が、監視システム４００を制御する実施形態が示されている。この実施形態は、図４に示される実施形態とほぼ同一である。それゆえ、異なる態様のみを詳細に説明する。この実施形態においては、センサ３０は、監視下にあるシーンを検出するように構成されている。制御システム４０は、必ずしもアクチュエータ１０を制御する必要はないが、代替的に、ディスプレイ１０ａを制御することもできる。例えば、分類器６０は、シーンの分類を、例えば、光学センサ３０によって検出されたシーンが疑わしいかどうかを決定することができる。次いで、ディスプレイ１０ａに送信されるアクチュエータ制御信号Ａは、例えば、ディスプレイ１０ａに、決定された分類に依存して表示される内容を調整させるように、例えば、分類器６０によって疑義的にみなされる物体を強調させるように構成されるものとしてよい。

図６は、敵対攻撃に対して堅牢であるように、制御システム４０の分類器６０をトレーニングするための方法の実施形態の概要を示すフローチャートである。トレーニングするための本方法は、分類器６０、好適には、事前トレーニングデータセットにより事前トレーニングされるニューラルネットワーク、並びに、入力信号及び対応する所望の出力信号のトレーニングデータセットと共に提供される。

第１のステップ６０１においては、複数の摂動が初期化される。この初期化については、摂動を形成するために、トレーニングデータセットからの入力信号をそれぞれ乱数によりスケーリングすることができる。次いで、各摂動は、複数の新たな入力信号の取得のために、トレーニングデータセットの各入力信号に適用される。次いで、摂動ごとに、適合化された入力信号に対応する総ての新しい入力信号に関して分類器が誤分類を提供するような、適合化された入力信号に対応する新たな入力信号の割合を計算することによって、第１の値が取得される。

代替的に、入力信号は、摂動を取得するためにダウンサンプリング及び／又はトリミングすることができる。これらの摂動は、複数の新たな入力信号の取得のために、トレーニングデータセットの入力信号の一部に適用することができる。例えば、画像を入力信号として使用する場合、これらの摂動は、パッチとしてトレーニングデータセットの入力信号に適用するものとしてもよい。

代替的に、摂動は、入力信号全体又はその一部のいずれかの入力信号に適用されるノイズとして初期化されるものとしてもよく、ここで、これらの摂動の各々は、引き続き分類器を欺くためにトレーニングデータセットからの個々の入力信号にさらに適合化される。これは、例えば、敵対例を作成するためのＩ−ＦＧＳＭ又はＰＧＤ攻撃型アルゴリズムを使用して実現することができる。

次いで、第２のステップ６０２においては、トレーニングデータセットのサブセットがトレーニングバッチとして機能するように選択される。このために、所望の量の入力信号と対応する所望の出力信号とが、トレーニングデータセットからランダムに選択される。

第３のステップ６０３においては、トレーニングバッチからの入力信号と対応する所望の出力信号との対ごとの置き換えによって、複数の摂動からの摂動がランダムに引き出される。

第４のステップ６０４においては、引き出された摂動の各々は、それらの対応する入力信号及び所望の出力信号に適合化され、それによって、摂動がそれぞれの入力信号に適用されるときに分類器６０の敵対例が作成される。これは、例えば、Ｉ−ＦＧＳＭ又はＰＧＤ攻撃型アルゴリズムを実行することによって実現することができる。摂動ごとに、このステップは、それぞれの入力信号に適合化された第２の摂動に戻る。

第５のステップ６０５においては、分類器６０用の複数の敵対例を取得するために、各第２の摂動がその各入力信号に適用される。

第６のステップ６０６においては、分類器は、先行のステップで取得された敵対例用の所望の出力信号を予測するようにトレーニングされるものとしてよい。このために、分類器は、（確率的）勾配降下法又はその適合化された形態（Ａｄａｍなど）を使用してトレーニングすることができる。分類器６０をこのようにトレーニングする場合、分類器は、敵対例に基づいて出力信号を予測する。次いで、予測された出力信号が、損失関数を使用して所望の出力信号と比較される。次いで、分類器６０は、損失関数から得られた損失値が、敵対例を分類器によって再処理し、次いで、予測された出力信号を所望の出力信号と比較するときに小さくなるように適合化される。例えば、ニューラルネットワークを分類器６０として使用する場合、例えば、ニューラルネットワークの複数のパラメータは、損失値に関するパラメータの負の勾配に従って適合化される。

付加的に、分類器は、変更なしで入力信号と、対応する所望の出力信号とを使用してトレーニングすることもできる。

第７のステップ６０７においては、ランダムに引き出された各摂動は、複数の摂動において、摂動自体とそれに対応する第２の摂動との線形結合によって置き換えられる。この置き換えは、例えば、以下の関係式、
ｌ＝（１−σ）・α_１＋σ・α_２、
に従って得ることができる。ここで、ｌは、線形結合、α_１は、摂動、α_２は、第２の摂動、σは、予め定められた値である。この公式化は、メタ学習を通じて摂動をトレーニングすることとして理解することができる。ここで、σは、勾配に基づく学習アルゴリズムにおける学習率に類似している。

第８のステップ６０８においては、ステップ２乃至７が繰り返される。これらのステップは、例えば、損失値が予め定められた閾値を下回るまで繰り返されるものとしてもよい。代替的に、トレーニングを、予め定められた反復回数だけ実行するものとしてもよい。所望の反復回数を完了した場合、分類器６０は、制御システム４０において使用するものとしてよい。

さらなる実施形態（図示せず）においては、複数の摂動が、分類器６０の堅牢性をテストするために取得されるものとしてよい。この方法は、図６に示されているトレーニングプロセスと大部分が同様であるため、ここでは相違のみを指摘する。

摂動のセット（ξ）と分類器６０とをトレーニングする代わりに、分類器６０をテストすることは、分類器のパラメータΦの適合化を必要としない。代わりに、摂動のセットξは、分類器のトレーニング中に行われるように、分類器６０のトレーニングに使用されるトレーニングデータセットと同一のデータタイプのテストデータセットに適合化される。予め定められたステップ数に対して摂動を適合化させた後、分類器６０の堅牢性は、各摂動をテストデータセットからの入力信号に適用し、このようにして得られた摂動入力信号を分類器６０に提供することによって決定される。

次いで、各摂動について、分類器（６０）によって誤分類された摂動入力信号の数が決定されるものとしてよい。次いで、分類器６０の堅牢性の値は、テストデータセット内の総ての入力信号に関して、単一の摂動に対する摂動させられた入力信号の最大の割合として定義することができる。

図７には、図６に示される方法を実行するためのトレーニングシステム１４０の実施形態が示されている。トレーニングデータユニット１５０は、分類器６０に渡される適合化された入力信号χ_ｉを決定するように構成されている。このために、トレーニングデータユニット１５０は、トレーニングデータの少なくとも１つのセットＴが格納されているコンピュータ実装されたトレーニングデータベースＳｔ_２にアクセスする。セットＴは、入力信号の対と、対応する所望の出力信号ｙ_ｉとを含む。トレーニングデータのセットＴは、トレーニングデータのフルセットであるものとしてよい。トレーニングがバッチで実行される場合は、トレーニングデータの選択されたバッチであるものとしてもよい。付加的に、トレーニングデータユニット１５０は、コンピュータ実装された摂動データベースＳｔ_３から摂動のセットξを受信する。次いで、トレーニングデータユニット１５０は、入力信号と所望の出力信号ｙ_ｉとの対を選択し、摂動のセットξから摂動を選択し、選択された摂動を入力信号に適用することによって、適合化された入力信号χ_ｉを決定する。

次いで、取得された適合化された入力信号χ_ｉは、適合化された入力信号χ_ｉから出力信号

を決定する分類器６０に提供される。次いで、この出力信号

は、トレーニングユニット１５０に戻され、そこでは選択された摂動が、投影勾配降下法を使用してより強くなるように適合化される。次いで、適合化された入力信号χ_ｉの取得のために、より強い摂動を入力信号に適用する手順と、適合化された入力信号χ_ｉ用の出力信号ｙ_ｉを決定する手順と、摂動をより強くさせるために適合化させる手順とが、所望の反復回数だけ繰り返される。

所望の反復回数の後、出力信号

及び所望の出力信号が更新ユニット１８０に渡される。付加的に、トレーニングユニット１５０は、選択された摂動を適合化された摂動で置き換えることによって、摂動の更新されたセットξ’を摂動データベースに格納する。

次いで、出力信号

及び所望の出力信号ｙ_ｉに基づいて、更新ユニットは、例えば確率的勾配降下法を使用して、分類器６０用のパラメータの更新されたセットΦ’を決定する。この更新されたパラメータのセットΦ’は、パラメータストレージＳｔ_１に格納される。

次いで、さらなる実施形態においては、トレーニングプロセスは、所望の反復回数だけ繰り返され、ここで、パラメータの更新されたセットΦ’は、各反復においてパラメータストレージＳｔ_１によりパラメータのセットΦとして提供され、摂動の更新されたセットξ’は、摂動データベースＳｔ_３によって摂動のセットξとして提供される。

さらに、トレーニングシステム１４０は、プロセッサ１４５（又は複数のプロセッサ）と、実行時にトレーニングシステム１４０に本発明の態様によるトレーニング方法を実行させる複数の命令が格納された少なくとも１つの機械可読記憶媒体１４６とを含み得る。

さらに他の実施形態においては、トレーニングユニット１５０は、摂動が入力信号に適用されるべきかどうかを反復ごとにランダムに選択する。摂動が入力信号に適用されるべきでないと決定した場合、分類器６０は、適合化された入力信号χ_ｉとして入力信号を提供され、摂動の更新は計算されない。

Claims (14)

1. 分類器（６０）をトレーニングするためのコンピュータ実装された方法であって、前記分類器（６０）は、デジタル画像データ及び／又はオーディオデータの入力信号を分類するように構成され、前記分類器（６０）をトレーニングするステップは、複数（ξ）の摂動から提供される摂動を、トレーニングデータセットから提供される入力信号に適用することによって得られる摂動させられた入力信号に基づいており、前記方法は、
   ・複数の初期摂動を提供するステップと、
   ・前記複数の初期摂動からの摂動を入力信号に適合化させるステップであって、前記入力信号は、前記トレーニングデータセットからランダムに引き出され、前記摂動は、前記摂動を前記入力信号に適用するステップが、第１の入力信号とは異なって分類される第２の入力信号を発生させるように前記入力信号に適合化され、
   ・前記複数の初期摂動のサブセットを複数の（ξ）摂動として提供するステップと、
   ・前記複数（ξ）の摂動に基づいて前記分類器（６０）をトレーニングするステップと、
   を含む、コンピュータ実装された方法。
2. 前記複数の初期摂動からの少なくとも１つの摂動が、ノイズ信号をランダムに引き出し、前記ノイズ信号を摂動として提供することによって提供される、請求項１に記載の方法。
3. 前記複数の初期摂動からの少なくとも１つの摂動は、前記トレーニングデータセット又は第２のデータセットからの入力信号をランダムにサンプリングし、前記入力信号に含まれる複数の値を適合化させ、当該適合化された入力信号を摂動として提供することによって、提供される、請求項１に記載の方法。
4. 前記摂動を適合化させるステップにおいて、前記摂動は、摂動させられた入力信号を取得するための入力信号の領域に適用される、請求項２又は３に記載の方法。
5. 前記分類器（６０）をトレーニングするステップは、以下のさらなるステップ、即ち、
   ｎ．複数の摂動から第１の摂動を選択し、前記トレーニングデータセットから入力信号及び対応する所望の出力信号を選択するステップ（６０３）と、
   ｏ．前記入力信号、前記対応する所望の出力信号及び前記分類器（６０）に基づいて前記第１の摂動を適合化することにより、前記第１の摂動よりも強い第２の摂動を取得するステップ（６０４）と、
   ｐ．前記第２の摂動を前記入力信号に適用することにより、第１の敵対例を取得するステップ（６０５）と、
   ｑ．前記分類器（６０）を前記第２の摂動に対して強化するために、前記分類器（６０）を前記第１の敵対例及び前記対応する所望の出力信号に基づいてトレーニングすることによって前記分類器（６０）を適合化するステップ（６０６）と、
   ｒ．前記複数の摂動における前記第１の摂動を、前記第１の摂動と前記第２の摂動との線形結合によって置き換えるステップ（６０７）と、
   ｓ．前記ステップａからステップ前記ステップｅまでを繰り返すステップ（６０８）と、
   を含む、請求項１乃至４のいずれか一項に記載の方法。
6. 入力信号（ｘ）の分類を特徴付ける出力信号（ｙ）を提供するためのコンピュータ実装された方法であって、
   ・分類器（６０）を、請求項１乃至５のいずれか一項に記載の方法に従ってトレーニングするステップと、
   ・前記分類器（６０）を、制御システム（４０）に提供するステップと、
   ・前記制御システム（４０）から前記出力信号（ｙ）を取得するステップであって、前記制御システム（４０）は、前記出力信号（ｙ）を取得するために、前記入力信号（ｘ）を前記分類器（６０）に供給する、ステップと、
   ・前記制御システム（４０）を制御するために前記出力信号（ｙ）を提供するステップと、
   を含む、コンピュータ実装された方法。
7. 前記入力信号（ｘ）は、センサ（３０）の信号（Ｓ）に基づいて取得され、及び／又は、アクチュエータ（１０）が、前記出力信号（ｙ）に基づいて制御され、及び／又は、表示装置（１０ａ）が、前記出力信号（ｙ）に基づいて制御される、請求項６に記載の方法。
8. 分類器（６０）用の堅牢性の値を決定するためのコンピュータ実装された方法であって、
   前記分類器（６０）は、デジタル画像データ及び／又はオーディオデータの入力信号を分類するように構成されており、前記方法は、
   ｔ．複数の初期摂動を提供するステップと、
   ｕ．複数の摂動から第１の摂動を選択し、テストデータセットから入力信号及び対応する所望の出力信号を選択するステップと、
   ｖ．前記入力信号、前記対応する所望の出力信号及び前記分類器（６０）に基づいて前記第１の摂動を適合化することにより、前記第１の摂動よりも強い第２の摂動を取得するステップと、
   ｗ．前記複数の摂動における前記第１の摂動を、前記第１の摂動と前記第２の摂動との線形結合によって置き換えるステップと、
   ｘ．前記ステップｈから前記ステップｊまでを予め定められた反復回数だけ繰り返すステップと、
   ｙ．予め定められた反復回数を完了した後、テストデータセットに関する前記複数の摂動から最も強い摂動を決定するステップと、
   ｚ．前記最も強い摂動が前記分類器（６０）による誤分類を引き起こす可能性がある、前記テストデータセット内の入力信号の割合を決定し、前記決定された割合を堅牢性の値として提供するステップと、
   を含む、コンピュータ実装された方法。
9. 前記複数の初期摂動からの少なくとも１つの摂動が、ノイズ信号をランダムに引き出し、前記ノイズ信号を摂動として提供することによって提供される、請求項８に記載の方法。
10. 前記複数の初期摂動からの少なくとも１つの摂動は、前記トレーニングデータセット又は第２のデータセットからの入力信号をランダムにサンプリングし、前記入力信号に含まれる複数の値を適合化させ、当該適合化された入力信号を摂動として提供することによって、提供される、請求項８に記載の方法。
11. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ（４５，１４５）によって実行されるときに、請求項１乃至１０のいずれか一項に記載の方法の総てのステップをコンピュータに実施させるために構成されているコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムが格納されている機械可読記憶媒体（４６，１４６）。
13. 分類器（６０）の出力信号（ｙ）に基づいてアクチュエータ（１０）及び／又は表示装置（１０ａ）を制御するように構成されている制御システム（４０）であって、
    前記分類器は、請求項１乃至５のいずれか一項に記載の方法によってトレーニングされる、制御システム（４０）。
14. 請求項１乃至５のいずれか一項に記載の方法を実施するように構成されているトレーニングシステム（１４０）。

Images