JP2022519594A - 敵対的サンプルに対するロバストネスを改善するためのデバイス及び方法 - Google Patents

Abstract

センサ（３０）から受信されたセンサ信号を分類するための平滑化分類器（ｇ）のロバストネスを評価するためのコンピュータ実装方法であって、前記センサ信号（Ｓ）に依存して入力信号（ｘ）を提供するステップと、前記入力信号（ｘ）がノイズを被っている場合に、前記入力信号（ｘ）が所定の複数のクラスのうちの第１のクラス（ｃＡ）に属するものとして分類される確率を特徴付ける第１の値（ｐＡ）を、平滑化分類器（ｇ）により求めるステップであって、前記第１のクラス（ｃＡ）は、最も確率の高いクラスである、ステップと、前記入力信号（ｘ）が前記ノイズ（特にガウシアンノイズ）を被っている場合に、前記入力信号（ｘ）が前記所定の複数のクラスのうちの第２のクラス（ｃＢ）に属するものとして分類される確率を特徴付ける第２の値（ｐＢ）を、平滑化分類器（ｇ）により求めるステップであって、前記第２のクラス（ｃＢ）は、２番目に確率の高いクラスである、ステップと、前記第１の値（ｐＡ）における標準ガウス累積分布関数（Φ）の第１の逆値（Φ－１（ｐＡ））に依存して、及び／又は、前記第２の値（ｐＢ）における前記標準ガウス累積分布関数（Φ）の第２の逆値（Φ－１（ｐＢ））に依存して、ロバストネス値（Ｒ）を求めるステップと、を含む方法である。

Description

本発明は、平滑化分類器のロバストネスを評価するための方法、平滑化分類器の全体ロバストネスを評価するための方法、平滑化分類器を訓練するための方法、平滑化分類器を操作するための方法、アクチュエータ制御信号を提供する方法、コンピュータプログラム及び機械可読記憶媒体に関する。

背景技術
安全性が重要な用途、例えば、高度な自動運転においては、システムのさらなるアクションのうちいずれが選択されるかに応じて、入力信号の分類及び／又はセマンティックセグメンテーションが正しく行われることが重要である。

Mathias Lecuyer, Vaggelis Atlidakis, Roxana Geambasu, Daniel Hsu, Suman Jana, "Certified Robustness to Adversarial Examples with Differential Privacy", arXiv preprint arXiv:1802.03471v3,2018 Bai Li, Changyou Chen, Wenlin Wang, Lawrence Carin, "Second-Order Adversarial Attack and Certifiable Robustness", arXiv preprint arXiv:1809.03113v1,2018

ただし、適当な対策を講じなければ、例えばニューラルネットワーク分類システムなどの分類器は、容易に欺かれ得ることが広く知られている。深層学習に基づき得る分類器は、小さい摂動に対して敏感であり得ることが広く知られている。かかるシステムを物理的世界に展開するには、システムのロバストネスを証明することが重要である。

「Mathias Lecuyer, Vaggelis Atlidakis, Roxana Geambasu, Daniel Hsu, Suman Jana, “Certified Robustness to Adversarial Examples with Differential Privacy”, arXiv preprint arXiv:1802.03471v3,2018」及び「Bai Li, Changyou Chen, Wenlin Wang, Lawrence Carin, “Second-Order Adversarial Attack and Certifiable Robustness”, arXiv preprint arXiv:1809.03113v1,2018」には、入力信号をクラスＫにマッピングする所与の分類器ｆに基づいて、証明可能なロバストな分類器を作成するランダム化手法が開示されている。この文脈においては、分類器ｆは、ベース分類器とも称される。これらの文献はまた、かかる平滑化分類器の証明可能なロバストな境界を示している。

発明の効果
平滑化分類器ｇは、次のように定義することができる。即ち、入力ｘが与えられると、平滑化分類器ｇにより、ノイズのもとで、特に、入力信号ｘのランダムなガウス摂動のもとで、ベース分類器ｆによる最も確率の高い予測、即ち、

が返される。ここで、所定の分散σ^２について、ε～Ｎ（０，σ^２Ｉ）である。

前記平滑化分類器ｇの分類が正しいことの確証を得るために、ロバストネスが保証されていることが重要である。独立請求項１の特徴を有する方法により、ロバストネス値（ロバストネス境界とも称される）Ｒが生成される。ここで、ロバストネス値Ｒは、平滑化分類器ｇによって生成される分類が、入力信号ｘの周囲の半径Ｒの球内にある全ての入力ベクトルに対して同一であることを保証するものである。

発明の開示
従って、第１の態様においては、本発明は、センサ（３０）から受信されたセンサ信号を分類するための平滑化分類器（ｇ）のロバストネスを評価するためのコンピュータ実装方法に関し、当該方法は、
前記センサ信号に依存して入力信号を特定するステップと、
前記入力信号（ｘ）がノイズを被っている場合に、前記入力信号（ｘ）が所定の複数のクラスのうちの第１のクラス（ｃ_Ａ）に属するものとして分類される確率を特徴付ける第１の値（ｐ_Ａ）を、平滑化分類器（ｇ）により求めるステップであって、前記第１のクラス（ｃ_Ａ）は、最も確率の高いクラスである、ステップと、
前記入力信号（ｘ）が前記ノイズを被っている場合に、前記入力信号（ｘ）が前記所定の複数のクラスのうちの第２のクラス（ｃ_Ｂ）に属するものとして分類される確率を特徴付ける第２の値（ｐ_Ｂ）を、平滑化分類器（ｇ）により求めるステップであって、前記第２のクラス（ｃ_Ｂ）は、２番目に確率の高いクラスである、ステップと、
前記第１の値（ｐ_Ａ）における標準ガウス累積分布関数の第１の逆値（Φ^－１（ｐ_Ａ））に依存して、及び／又は、前記第２の値（ｐ_Ｂ）における前記標準ガウス累積分布関数の第２の逆値（Φ^－１（ｐ_Ｂ））に依存して、ロバストネス値Ｒを求めるステップと、
を含む。

ここで、前記ロバストネス値Ｒが所定の閾値よりも大きい場合にのみ、平滑化分類器（ｇ）がロバストであると判別することができる。

例えば、前記所定の閾値は、センサ信号におけるノイズを特徴付ける量によって与えられるものとしてもよい。

好ましい実施形態においては、前記ロバストネス値Ｒは、Φ^－１（ｐ_Ａ）－Φ^－１（ｐ_Ｂ）、好ましくはσ・（Φ^－１（ｐ_Ａ）－Φ^－１（ｐ_Ｂ））に比例して求められる。

前記ロバストネス値Ｒが、
Ｒ＝σ／２（Φ^－１（ｐ_Ａ）－Φ^－１（ｐ_Ｂ）） （２）
に等しくなるように選択された場合、境界は狭いものとなる。当該境界は、先行して既知となっている境界よりも実質的に大きいため、より有用である。数学的に言えば、ｐ_Ａは、

の下界、ｐ_Ｂは、

の上界である。入力信号ｘの周囲のロバストネス値Ｒを計算するためには、ｐ_Ａ及びｐ_Ｂを計算する必要がある。ただし、入力信号が高次元の場合、可能なクラスＫの集合上の離散分布であるｆ（ｘ＋ε）の分布を正確に計算することは不可能である。これは、ｇ（ｘ）を正確に計算するために、全ての可能な状態ｘ＋εに対してｆ（ｘ＋ε）を計算し、集合Ｓ_Ａ＝｛ｘ＋ε｜ｆ（ｘ＋Ｅ）＝ｃ_Ａ｝に沿ってガウス関数を積分する必要があるためである。

モンテカルロ推定により、モンテカルロサンプル上において任意に高い確率１－αによって、

を満たす境界ｐ_Ａ及びｐ_Ｂを構築することにより、良好な近似を得ることができる。

上位クラスｃ_Ａを同時に識別しながら、ｐ_Ａ及びｐ_Ｂを推定することは、潜在的に非効率的である。単純な実装形態においては、全てのクラスｃ_ｉに対して

を計算し、最大のｐ_ｉを有するクラスとしてｃ_Ａを識別する。これは正確であることが保証されているが、計算にはコストを要する。

１つの方法として、２段階手順がある。まず、ｆ（ｘ＋ε）のｎ_０個のサンプルを使用して、上位クラスｃ_Ａの恒等写像

を推定する。有意に大きい半径は、ｆ（ｘ＋ε）がそのほぼ全ての集団を上位クラスに置く場合にのみ証明することができるため、ｎ_０を非常に小さくすることができ、例えば、ｎ_０＝３である。次に、ｆ（ｘ＋ε）からｎ個のサンプルを使用して、所定のαの値に対して確率１－αで（２）を満たすｐ_Ａ及びｐ_Ｂを取得する。上位クラスｃ_Ａの外側にあるｆ（ｘ＋ε）の集団は、残余の全てのクラスに均一に分散されるよりも、残余の１つのクラスに完全に割り当てられる方が極めて一般的であることがわかる。従って、ｐ_Ｂをｐ_Ｂ＝１－ｐ_Ａとして求めることができる。これは非常に効率的であると同時に、非常に正確な上界である。

本発明のさらなる態様においては、複数のテスト入力信号（ｘ_ｉ）を含むテスト集合に上記の方法を適用することが可能である。上記のように入力信号（ｘ）として前記テスト入力信号（ｘ_ｉ）を使用すると、複数のテストロバストネス値（Ｒ_ｉ）を求めることができ、各々がテスト入力信号（ｘ_ｉ）のうちの１つに対応する。次に、求められたテストロバストネス値（Ｒ_ｉ’）の集合を特徴付ける全体ロバストネス値（Ｒ_ｏｖ）、例えばその最小値を求めることが可能である。

次に、前記全体ロバストネス値Ｒ_ｏｖが所定の閾値よりも大きい場合にのみ、平滑化分類器（ｇ）がロバストであると判別することができる。

代替的に、前記平滑化分類器（ｇ）がロバストであるか否かを、前記ロバストネス値（Ｒ）及び前記全体ロバストネス値（Ｒ_ｏｖ）の相対サイズに基づいて判別することが可能である。前記相対サイズは、前記入力信号（ｘ）がテスト集合によって有意に表現されているか否か、換言すれば、前記入力信号（ｘ）が前記テスト集合を代表しているか否かの指標である。例えば、前記平滑化分類器（ｇ）は、前記相対サイズ、例えば商Ｒ／Ｒ_ｏｖが第２の所定の閾値よりも大きい場合にのみ、ロバストであると判別することができる。

本発明のさらなる態様においては、この平滑化分類器（ｇ）がロバストであるか否かの判別を、前記平滑化分類器（ｇ）の訓練のカットオフ基準として使用することが想定され得る。ここで、前記平滑化分類器（ｇ）が非ロバストであると判別された場合、訓練は継続される。

本発明のさらに他の態様においては、前記平滑化分類器の動作中の訓練に相対サイズを使用することが可能である。前記平滑化分類器（ｇ）がロバストであるか否かを上記の方法を使用して判別し、前記平滑化分類器（ｇ）を操作することを想定することができ、前記平滑化分類器（ｇ）が前記相対サイズに基づいて非ロバストであると判別された場合、前記入力信号（ｘ）をリモートサーバに送信し、前記リモートサーバから前記入力信号（ｘ）の目標分類を受け取り、前記入力信号（ｘ）及び前記目標分類を使用して、前記平滑化分類器（ｇ）をさらに訓練することが想定され得る。例えば、前記目標分類は、人間の専門家によって提供されたものであってもよい。「リモート」とは、前記リモートサーバ及び前記平滑化分類器を実施するコンピュータが単一のユニットに統合されていないことを意味し得る。

本発明のさらに他の態様においては、前記入力信号（ｘ）が提供されたときに前記平滑化分類器（ｇ）の前記ロバストネス値（Ｒ）を、上記の方法を用いて求め、前記ロバストネス値に依存して前記センサ（３０）の動作パラメータを調整することにより、前記ロバストネス値Ｒを精密検査のトリガとして使用することが可能である。特に、前記センサ（３０）は、非ロバストとして分類される領域にズームインするように制御され得る。

本発明のさらに他の態様においては、上記の方法を使用して前記平滑化分類器（ｇ）がロバストであるか否かを評価することにより、アクチュエータの安全な動作のために前記ロバストネス値Ｒを使用することが可能であり、前記評価の結果に従って、前記アクチュエータを制御するためのアクチュエータ制御信号（Ａ）を決定し、特に、前記評価の結果として前記平滑化分類器（ｇ）がロバストでないとみなされた場合、前記アクチュエータ制御信号（Ａ）を決定することにより、前記アクチュエータをセーフモードで動作させることが可能である。

もちろん、上記方法は、自動運転への適用に限定されるものではない。他の用途においては、少なくとも部分的に自律的なロボット（１００）及び／又は製造機械（２００）及び／又はアクセス制御システム（３００）を制御する前記アクチュエータを有することが想定され得る。

本発明の実施形態は、以下の図を参照してより詳細に議論される。

その環境内においてアクチュエータを制御する分類器を備えた制御システムの図である。 少なくとも部分的に自律的なロボットを制御する制御システムを示す図である。 製造機械を制御する制御システムを示す図である。 自動パーソナルアシスタントを制御する制御システムを示す図である。 アクセス制御システムを制御する制御システムを示す図である。 監視システムを制御する制御システムを示す図である。 撮像システムを制御する制御システムを示す図である。 前記分類器の構造の実施形態を示す図である。 ロバストネス値Ｒを求めるアルゴリズムのフローチャート図である。 ロバストネス値Ｒを求めるための代替アルゴリズムの一部のフローチャート図である。 分類器がロバストであるか否かを判別する方法のフローチャート図である。 分類器６０が全体的にロバストであるか否かを判別する方法を示すフローチャート図である。 入力信号ｘがテスト集合において良好に代表されているか否かを判別する方法を示すフローチャート図である。 分類器６０を操作するための他の方法を示すフローチャート図である。 分類器６０を操作するための他の方法を示すフローチャート図である。 分類器６０を操作するための他の方法を示すフローチャート図である。 アクチュエータ制御信号Ａを提供する方法を示すフローチャート図である。

実施形態の説明
図１は、その環境２０におけるアクチュエータ１０の一実施形態を示している。アクチュエータ１０は、制御システム４０との相互作用を有する。アクチュエータ１０及びその環境２０は、合わせてアクチュエータシステムと称される。センサ３０は、好適には均等に離間された間隔において、アクチュエータシステムの状態を測定する。センサ３０は、複数のセンサを含み得る。センサ３０は、環境２０の画像を撮影する光学センサであることが好ましい。測定された状態を符号化するセンサ３０の出力信号Ｓ（又は、センサ３０が複数のセンサを含む場合、センサの各々に対する出力信号Ｓ）が、制御システム４０に送信される。

これにより、制御システム４０は、センサ信号Ｓのストリームを受信する。次に、センサ信号ストリームＳに応じて、一連のアクチュエータ制御コマンドＡが計算され、その後、アクチュエータ１０に送信される。

制御システム４０は、任意手段としての受信ユニット５０において、センサ３０のセンサ信号Ｓのストリームを受信する。受信ユニット５０は、センサ信号Ｓを入力信号ｘに変換する。代替的に、受信ユニット５０がない場合には、各センサ信号Ｓを直接的に入力信号ｘとしてもよい。入力信号ｘは、例えば、センサ信号Ｓから抜粋して与えられるものとしてもよい。代替的に、センサ信号Ｓを処理して入力信号ｘを生成するものとしてもよい。入力信号ｘには、センサ３０によって記録された画像に対応する画像データが含まれる。換言すれば、入力信号ｘは、センサ信号Ｓに従って提供される。

入力信号ｘは、次に、分類器６０に渡されるが、この分類器は、例えば、人工ニューラルネットワークによって与えられるものとしてもよい。

分類器６０は、パラメータφによってパラメータ化される。このパラメータφは、パラメータストレージＳｔ_１に記憶されており、パラメータストレージＳｔ_１によって提供される。

分類器６０は、入力信号ｘから出力信号ｙを求める。出力信号ｙには、上位クラスｃ_Ａ及びロバストネス値Ｒが含まれる。無論、上位クラスｃ_Ａ及びロバストネス値Ｒは、入力信号ｘ全体の分類に対応し得る。代替的に、例えば、バウンディングボックスにクラスを割り当てることにより、セマンティックセグメンテーションとして与えられるものとしてもよい。出力信号ｙは、任意手段としての変換ユニット８０に送信される。変換ユニット８０は、アクチュエータ制御コマンドＡを決定するように構成されている。次に、アクチュエータ制御コマンドＡがアクチュエータ１０に送信され、これに応じてアクチュエータ１０が制御される。代替的に、出力信号ｙを直接的に制御コマンドＡとして取得するものとしてもよい。

アクチュエータ１０は、アクチュエータ制御コマンドＡを受信し、これに応じて制御され、アクチュエータ制御コマンドＡに対応する動作を実行する。アクチュエータ１０は、アクチュエータ制御コマンドＡをさらなる制御コマンドに変換するための制御ロジックを含み得る。この場合、さらなる制御コマンドは、アクチュエータ１０を制御するために使用される。

さらなる実施形態においては、制御システム４０は、センサ３０を含み得る。さらに他の実施形態においては、制御システム４０は、代替的又は付加的にアクチュエータ１０を含み得る。

さらに他の実施形態においては、制御システム４０がアクチュエータ１０の代わりにディスプレイ１０ａを制御することが想定され得る。

さらに、制御システム４０は、単一のプロセッサ４５（又は複数のプロセッサ）及び少なくとも１つの機械可読記憶媒体４６を含み得る。この場合、少なくとも１つの機械可読記憶媒体４６には、実行されるときに、制御システム４０に本発明の一態様による方法を実施させるための命令が記憶されている。

図２は、少なくとも部分的に自律的なロボット、例えば、少なくとも部分的に自律的な車両１００を制御するために制御システム４０が使用される実施形態を示している。

センサ３０には、１つ以上のビデオセンサ及び／又は１つ以上のレーダセンサ及び／又は１つ以上の超音波センサ及び／又は１つ以上のＬｉＤＡＲセンサ及び／又は１つ以上の位置センサ（例えば、ＧＰＳなど）が含まれるものとしてもよい。これらのセンサの一部又は全ては、車両１００に組み込まれることが好ましいが、必ずしもそうでなくてもよい。代替的又は付加的に、センサ３０は、アクチュエータシステムの状態を特定するための情報システムを含み得る。かかる情報システムの一例は、環境２０における気象の現在又は将来の状態を特定する気象情報システムである。

例えば、入力信号ｘを使用して、分類器６０は、例えば、少なくとも部分的に自律的なロボットの近傍にある物体を検出するものとしてもよい。出力信号ｙは、物体が少なくとも部分的に自律的なロボットの近傍に位置する場所を特徴付ける情報を含み得る。次に、制御コマンドＡを、例えば、前記検出された物体との衝突を回避するために、当該情報に従って決定することができる。

好ましくは、車両１００に組み込まれるアクチュエータ１０は、車両１００のブレーキ、推進システム、エンジン、ドライブトレイン又はステアリングによって与えられ得る。アクチュエータ制御コマンドＡを決定して、車両１００が前記検出された物体との衝突を回避するように、単一のアクチュエータ（又は複数のアクチュエータ）１０を制御することができる。検出された物体を、分類器６０が最も可能性が高いとみなしたもの、例えば、歩行者又は樹木によって分類し、分類に応じてアクチュエータ制御コマンドＡを決定することができる。

さらなる実施形態において、少なくとも部分的に自律的なロボットは、例えば、飛行、水泳、潜水又は歩行によって移動し得る他の移動ロボット（図示せず）によって与えられ得る。移動ロボットは、特に、少なくとも部分的に自律的な芝刈り機、又は、少なくとも部分的に自律的な掃除ロボットであるものとしてよい。上記の全ての実施形態において、アクチュエータコマンド制御Ａが決定され、移動ロボットが前記識別された物体との衝突を回避し得るように、移動ロボットの推進ユニット及び／又はステアリング及び／又はブレーキを制御することができる。

さらなる実施形態においては、少なくとも部分的に自律的なロボットは、環境２０内の植物の状態を特定するためにセンサ３０、好ましくは光学センサを使用する園芸ロボット（図示せず）によって与えられ得る。アクチュエータ１０は、化学薬品を噴霧するためのノズルであるものとしてよい。識別された植物の種及び／又は識別された植物の状態に応じて、アクチュエータ制御コマンドＡは、アクチュエータ１０に適当な量の適当な化学物質を植物に散布させるように決定することができる。

さらなる実施形態において、少なくとも部分的に自律的なロボットは、例えば、洗濯機、コンロ、オーブン、電子レンジ又は食器洗浄機のような家電製品（図示せず）によって与えられ得る。センサ３０、例えば光学センサは、家電製品による処理される物体の状態を検出することができる。例えば、家電製品が洗濯機である場合、センサ３０は、洗濯機内の洗濯物の状態を検出するものとしてもよい。この場合、アクチュエータ制御信号Ａは、検出された洗濯物の材料に応じて決定可能である。

図３には、制御システム４０が、例えば、製造ラインの一部として、製造システム２００の製造機械１１（例えば、パンチカッタ、カッタ又はガンドリル）を制御するために使用される実施形態が示されている。制御システム４０がアクチュエータ１０を制御し、アクチュエータ１０が製造機械１１を制御する。

センサ３０は、例えば、製造製品１２の特性を捕捉する光学センサによって与えられ得る。分類器６０は、これらの捕捉された特性から製造製品１２の状態を特定することができる。次に、製造機械１１を制御するアクチュエータ１０が、製造製品１２の後続の製造ステップのために、特定された製造製品１２の状態に応じて制御され得る。代替的に、アクチュエータ１０は、特定された製造製品１２の状態に応じて、後続の製造製品１２の製造中に制御されることが想定され得る。

図４は、自動パーソナルアシスタント２５０を制御するために制御システム４０が使用される実施形態を示している。センサ３０は、例えば、ユーザ２４９のジェスチャのビデオ画像を受信するための光学センサであるものとしてよい。代替的に、センサ３０は、例えば、ユーザ２４９の音声コマンドを受信するためのオーディオセンサであるものとしてもよい。

この場合、制御システム４０は、自動パーソナルアシスタント２５０を制御するためのアクチュエータ制御コマンドＡを決定する。アクチュエータ制御コマンドＡは、センサ３０からのセンサ信号Ｓに従って決定される。センサ信号Ｓは、制御システム４０に送信される。例えば、分類器６０は、ジェスチャ認識アルゴリズムなどを実行して、ユーザ２４９によって行われたジェスチャを識別するように構成されるものとしてもよい。この場合、制御システム４０は、自動パーソナルアシスタント２５０に送信するためのアクチュエータ制御コマンドＡを決定するものとしてもよい。次に、前記アクチュエータ制御コマンドＡが自動パーソナルアシスタント２５０に送信される。

例えば、アクチュエータ制御コマンドＡは、分類器６０によって認識された、識別されたユーザジェスチャに従って決定されるものとしてもよい。これには、自動パーソナルアシスタント２５０にデータベースから情報を取得させ、この取得された情報をユーザ２４９による受信に適した形式において出力させる情報が含まれるものとしてもよい。

さらなる実施形態においては、自動パーソナルアシスタント２５０の代わりに、制御システム４０が、識別されたユーザジェスチャに従って制御される家電製品（図示せず）を制御することが想定され得る。家電製品は、洗濯機、コンロ、オーブン、電子レンジ又は食器洗浄機であるものとしてもよい。

図５は、制御システムがアクセス制御システム３００を制御する実施形態を示している。アクセス制御システムは、アクセスを物理的に制御するように設計することができる。例えば、当該システムには、ドア４０１が含まれるものとしてもよい。センサ３０は、アクセスが許可されるか否かを判別するために関連するシーンを検出するように構成される。センサ３０は、例えば、人間の顔を検出するための画像又はビデオデータを提供するための光学センサであるものとしてよい。分類器６０は、例えば、識別情報をデータベースに記憶されている既知の人々と照合することにより、この画像又はビデオデータを解釈するように構成されているものとしてよく、これにより、個人の識別情報が判別される。次に、アクチュエータ制御信号Ａは、分類器６０の解釈に応じて、例えば、判別された識別情報に従って、決定され得る。アクチュエータ１０は、アクチュエータ制御信号Ａに応じてアクセスを許可する又は許可しないロックであるものとしてよい。非物理的で論理的なアクセス制御も可能である。

図６は、制御システム４０が監視システム４００を制御する実施形態を示している。この実施形態は、図５に示す実施形態とほぼ同様である。従って、異なる点のみを詳細に説明する。センサ３０は、監視下にあるシーンを検出するように構成される。制御システムは必ずしもアクチュエータ１０を制御するものではなく、ディスプレイ１０ａを制御するものである。例えば、機械学習システム６０は、シーンの分類、例えば、光学センサ３０によって検出されたシーンが疑わしいか否かを判別するものとしてもよい。次に、ディスプレイ１０ａに送信されるアクチュエータ制御信号Ａは、例えば、機械学習システム６０によって疑わしいとみなされる物体を強調表示するために、特定された分類に応じてディスプレイ１０ａに表示コンテンツを調整させるように構成されているものとしてよい。

図７は、例えば、ＭＲＩ装置、Ｘ線画像装置又は超音波画像装置などの画像システム５００を制御するための制御システム４０の実施形態を示している。センサ３０は、例えば、撮像センサであるものとしてよい。次に、機械学習システム６０は、測定された画像の全部又は一部の分類を特定することができる。次に、この分類に従ってアクチュエータ制御信号Ａを選択することができ、これにより、ディスプレイ１０ａを制御することができる。例えば、機械学習システム６０は、測定された画像の領域を潜在的に異常であると解釈することができる。この場合、アクチュエータ制御信号Ａは、ディスプレイ１０ａに、潜在的に異常な領域を撮像させ、当該領域を強調表示させるように決定され得る。

図８は、分類器６０の一実施形態の構造を概略的に示している。分類器６０は、平滑化分類器ｇ及びベース分類器ｆ、例えば深層ニューラルネットワークを含む。入力信号ｘは、平滑化分類器ｇに入力され、平滑化分類器ｇは、所定の標準偏差σを有する標準ガウス分布から複数の乱数εをサンプリングし、これらを入力信号ｘに加算するように構成されている。ベース分類器ｆは、乱数εごとに対応する分類ｆ（ｘ＋ε）を返すように構成されている。この複数の分類ｆ（ｘ＋ε）を使用して、平滑化分類器ｇは、例えば、図９及び図１０に示すアルゴリズムを使用して、上位クラスｃ_Ａ及びロバストネス値Ｒを求め、上位クラスｃ_Ａ及びロバストネス値Ｒを合わせて出力信号ｙとして出力するように構成されている。分類器６０の構造上、平滑化分類器ｇ及び分類器６０は、交換可能に使用される。

図９は、ロバストネス値Ｒを求める方法の一実施形態のフローチャート図を示している。最初に、所定の数であるｎ_０個のサンプルが提供され、ｎ_０個の乱数εが、所定の標準偏差σを有する標準ガウス分布からサンプリングされ、入力信号ｘに加算される（９０１）。乱数εごとに、ベース分類器ｆは対応する分類ｆ（ｘ＋ε）を返す。推定上位クラス

は、これらの対応する分類ｆ（ｘ＋ε）の中で最も頻繁に発生するクラスとして求められる。

次に、所定の第２の数であるｎ個のサンプルが提供され、ｎ個の乱数εが、所定の標準偏差σを有する標準ガウス分布からサンプリングされ、入力信号ｘに加算される（９０２）。乱数εごとに、ベース分類器ｆは対応する分類ｆ（ｘ＋ε）を返す。推定上位クラス

の出現回数を数えることにより、推定上位クラス

の相対頻度

が計算される。ここで、推定上位クラス

の出現の絶対頻度は、ｋにより表される。

次に、ｎ個のデータポイントを有する統計サンプルが変動の影響を受けるため、

を満たす下界ｐ_Ａは、少なくとも１－αの確率で信頼限界の下界として計算される（９０３）。当該式は、パラメータｋ及びｎ－ｋ＋１を有するベータ分布のα分位数によって容易に与えられ得る。

例えば、Ｆ_{ａ，ｂ，ｃ}が、パラメータａ及びｂを有するＦ分布の１－ｃ分位数であるとすると、下界ｐ_Ａは、次式
ｐ_Ａ＝（１＋（ｎ－ｋ＋１）／ｋ・Ｆ_{２ｋ，２（ｎ－ｋ＋１），１－α}）^－１
で与えられ得る。上界ｐ_Ｂは、ｐ_Ｂ＝１－ｐ_Ａとして計算される。

次に、ｐ_Ａ≧ｐ_Ｂであるか否かがチェックされる（９０５）。この場合、ロバストネス値Ｒは式（２）を使用して計算される。ｐ_Ａ＜ｐ_Ｂの場合、アルゴリズムは省略され、例えばＲ＝－１に設定され、デフォルトのエラーメッセージが表示される。これにより、この方法は終了する。

図１０は、ｆ（ｘ＋ε）の２つの上位クラスが同等の集団を有する場合に棄権の確率が低い上位クラスｃ_Ａを求めるための方法の代替実施形態を示している。最初に、ｎ個の乱数εが、所定の標準偏差σを有する標準ガウス分布からサンプリングされ、入力信号ｘに加算される（９１１）。乱数εごとに、ベース分類器ｆは対応する分類ｆ（ｘ＋ε）を返す。次に、２つの上位クラスｃ_Ａ、ｃ_Ｂが、これらの分類ｆ（ｘ＋ε）の中で最も頻繁に発生する２つのクラスとして選択される（９１２）。ｎ_Ａ及びｎ_Ｂは、その絶対頻度を示す。次に、ｎ_Ａが二項式（１／２，ｎ_Ａ＋ｎ_Ｂ）から引き出されるという両側二項仮説テストにより、αより小さいｐ値が返されるか否かをチェックする。この場合、上位クラスｃ_Ａが返される。それ以外の場合、アルゴリズムは棄権される。

図１１に、分類器６０がロバストであるか否かを判別する方法の一実施形態のフローチャート図を示している。まず、センサ信号Ｓから得られる入力信号ｘが提供される（１１００）。センサ信号Ｓがノイズを含む可能性があるため、入力信号ｘには、ノイズが含まれる可能性がある。次に、所定の閾値τが提供される（１２００）。例えば、センサ３０が供される環境条件、例えば、センサ３０の周囲の空気の温度又は湿度の値を提供することが可能である。次に、例えばルックアップテーブルによって、前記環境条件に応じて閾値τを求めることができる。センサ３０が画像又はビデオセンサである場合、閾値τを選択して、センサ３０によって生成されるノイズ、例えば、標準偏差又はピクセル値の統計的変動を特徴付けることができる。次に、入力信号ｘに対してロバストネス値Ｒが提供される。次に、ロバストネス値Ｒがτより大きいか否かが判別される（１４００）。ロバストネス値Ｒがτより大きい場合（１５００）、分類器６０は、ロバストであると判別される。それ以外の場合（１６００）、分類器６０は、ロバストではないと判別される。

図１２は、分類器６０が全体的にロバストであるか否かを判別する方法の一実施形態のフローチャート図を示している。この目的のために、テスト入力信号ｘ_ｉを含むテストデータセットが提供される（２１００）。好ましくは、前記テストデータセットは、現実世界の入力データを表している。次に、各テスト入力信号ｘ_ｉに対して、対応するロバストネス値Ｒ_ｉが、例えば、図９に示される方法を使用して、入力信号ｘとしてテスト入力信号ｘ_ｉを提供することによって求められる（２２００）。次に、全体ロバストネス値Ｒ_ｏｖは、ロバストネス値の集合｛Ｒ_ｉ｝から、この集合を特徴付ける値、例えば、最小値、即ち、

を取得することによって求められる（２３００）。代替的に、全体ロバストネス値は、全てのＲ_ｉの中央値又は平均値など、異なる方法によって選択することができる。次に、前記全体ロバストネス値Ｒ_ｏｖが、ステップ（１２００）における閾値τのように提供され得る第２の閾値τ_２より大きいか否かが判別される（２４００）。前記全体ロバストネス値Ｒ_ｏｖが第２の閾値τ_２より大きい場合、分類器６０は、全体的にロバストであるとみなされ（２５００）、それ以外の場合（２６００）、分類器６０は、全体的にロバストではないとみなされる。

図１３は、入力信号ｘがテスト集合｛ｘ_ｉ｝において良好に代表されているか否か、従って、前記テスト集合を使用して訓練された分類器６０が入力信号ｘに対してロバストであるか否かを判別する方法の一実施形態のフローチャート図を示している。

ステップ（２１００）及び（２２００）は、図１２に示した方法におけるステップと同一であり、ステップ（１１００）、（１２００）及び（１３００）は、図１１に示した方法におけるステップと同一である。ロバストネス値Ｒ及び全体ロバストネス値Ｒ_ｏｖが求められた後、これらが不等式
Ｒ≦Ｒ_ｏｖ・ｃ （４）
を満たすか否かが検査される（２６００）。

当該不等式が満たされる場合（２７００）、入力信号ｘがテスト集合において良好に代表されていないとみなされるため、テスト集合を使用して訓練された分類器６０は、ロバストでないとみなされる。それ以外の場合（２８００）、入力信号ｘはテスト集合において良好に代表されているとみなされるため、分類器６０は、ロバストであるとみなされる。

図１４に、平滑化分類器ｇを訓練する方法の一実施形態のフローチャート図を示している。これは、平滑化分類器ｇに関連するベース分類器ｆを訓練することによって容易に実現され、単に「訓練分類器６０」とも称される。最初に、分類器６０が訓練される（３１００）。次に、訓練において使用されたテスト集合に基づいて全体ロバストネスＲ_ｏｖが求められ、分類器６０が全体的にロバストであるか否かが判別される。全体的にロバストであると判別された場合、この方法は終了する（３３００）。それ以外の場合、この方法は分岐して（３１００）に戻り、訓練が続行される。

この場合、アクチュエータ制御信号（Ａ）を前記パラメータｖｕに従って決定することができ（９１６）、アクチュエータ（１０）を前記アクチュエータ制御信号（Ａ）に従って制御することができる。例えば、前記パラメータｖｕが非脆弱性を示す場合、前記アクチュエータ制御信号（Ａ）は通常の動作モードに対応すると判別することが可能であり、一方、前記パラメータｖｕが脆弱性を示す場合、前記アクチュエータ制御信号（Ａ）は、例えば、前記アクチュエータ（１０）の運動のダイナミクスを低減することによるフェールセーフ動作モードに対応すると判別することが可能である。

図１５は、分類器６０を操作する方法の一実施形態のフローチャート図を示している。最初に、分類器６０が動作させられる（４１００）。新規の入力信号ｘが提供されると、請求項９に記載の方法を使用して、分類器６０がロバストであるか否かが判別される（４２００）。ロバストでない場合、この方法は終了する（４５００）。しかし、ロバストである場合、新規の入力信号ｘがリモートサーバに送信され（４３００）、人間の専門家に提示され、例えば、前記リモートサーバは、人間の専門家から手動分類を目標分類として受け取る。この場合、前記目標分類が前記リモートサーバから受け取られ（４４００）、新規の入力信号（ｘ）の対と受信された目標分類とが、動作が再開される前又は後の時点において、分類器６０を訓練するために使用可能な訓練セットに追加される。次に、この方法は分岐してステップ（４１００）に戻る。

図１６は、分類器６０を操作する方法の一実施形態のフローチャート図を示している。最初に、分類器６０が動作させられる（５１００）。新規の入力信号ｘが提供されると、請求項９に記載の方法を使用して、分類器６０がロバストであるか否かが判別される（５２００）。ロバストである場合、この方法は終了する（５４００）。しかし、ロバストでない場合、センサ３０の動作パラメータが調整され（５３００）、特に、分類器６０がロバストでないとされた新規の入力信号ｘの領域に、ズームセンサ３０がズームイン可能となる。

図１７は、分類器６０の出力信号ｙに応じてアクチュエータ１０を制御するためのアクチュエータ制御信号Ａを提供する方法の一実施形態のフローチャート図を示している。最初に、分類器６０が動作させられる（６１００）。新規の入力信号ｘが提供されると、例えば、図９に示すアルゴリズムを使用することにより、分類器６０がロバストであるか否かが判別される（６２００）。アクチュエータ制御信号は、前記評価の結果に従って決定される。分類器６０がロバストであるとみなされた場合（６３００）、アクチュエータ制御信号Ａは、アクチュエータ１０を通常モードで動作させるように決定される。それ以外の場合、前記アクチュエータ制御信号（Ａ）は、アクチュエータ（１０）をセーフモードで動作させるように決定される。

「コンピュータ」なる用語は、所定の計算命令を処理するためのあらゆるデバイスを指す。これらの計算命令は、ソフトウェアの形式若しくはハードウェアの形式、又は、ソフトウェア及びハードウェアの混合形式とすることができる。

さらに、各手順は、既述のように、ソフトウェアのみでは完全には実装し得ないことも理解される。各手順は、ハードウェアにおける実装も、ソフトウェア及びハードウェアの混合形式における実装も可能である。

Claims (16)

1. センサ（３０）から受信されたセンサ信号を分類するための平滑化分類器（ｇ）のロバストネスを評価するためのコンピュータ実装方法であって、
   前記センサ信号（Ｓ）に応じて入力信号（ｘ）を提供するステップと、
   前記入力信号（ｘ）がノイズを被っている場合に、前記入力信号（ｘ）が所定の複数のクラスのうちの第１のクラス（ｃ_Ａ）に属するものとして分類される確率を特徴付ける第１の値（ｐ_Ａ）を、前記平滑化分類器（ｇ）により求めるステップであって、前記第１のクラス（ｃ_Ａ）は、最も確率の高いクラスである、ステップと、
   前記入力信号（ｘ）が前記ノイズを被っている場合に、前記入力信号（ｘ）が前記所定の複数のクラスのうちの第２のクラス（ｃ_Ｂ）に属するものとして分類される確率を特徴付ける第２の値（ｐ_Ｂ）を、前記平滑化分類器（ｇ）により求めるステップであって、前記第２のクラス（ｃ_Ｂ）は、２番目に確率の高いクラスである、ステップと、
   前記第１の値（ｐ_Ａ）における標準ガウス累積分布関数（Φ）の第１の逆値（Φ^－１（ｐ_Ａ））に依存して、及び／又は、前記第２の値（ｐ_Ｂ）における前記標準ガウス累積分布関数（Φ）の第２の逆値（Φ^－１（ｐ_Ｂ））に依存して、ロバストネス値（Ｒ）を求めるステップと、
   を含む方法。
2. 前記ロバストネス値（Ｒ）は、標準偏差（σ）と、前記第１の逆値（Φ^－１（ｐ_Ａ））から前記第２の逆値（Φ^－１（ｐ_Ｂ））を引いた差との積に依存して求められる、
   請求項１に記載の方法。
3. 前記第１の値（ｐ_Ａ）を求める前に、前記方法は、前記所定の複数のクラスのうちのどのクラスが前記第１のクラス（ｃ_Ａ）であるかを推定するステップを含む、
   請求項１又は２に記載の方法。
4. 前記第１の値（ｐ_Ａ）は、前記入力信号（ｘ）が前記ノイズを被っている場合に、前記入力信号（ｘ）が前記第１のクラス（ｃ_Ａ）に属するものとして分類される確率の下界である、
   請求項１乃至３のいずれか一項に記載の方法。
5. 前記第２の値（ｐ_Ｂ）は、前記入力信号（ｘ）が前記ノイズを被っている場合に、前記入力信号（ｘ）が前記第２のクラス（ｃ_Ｂ）に属するものとして分類される確率の上界である、
   請求項１乃至４のいずれか一項に記載の方法。
6. 前記第２の値（ｐ_Ｂ）は、ｐ_Ｂ＝１－ｐ_Ａとして求められる、
   請求項５に記載の方法。
7. 前記ロバストネス値（Ｒ）は、標準偏差（σ）と、前記第１の逆値（Φ^－１（ｐ_Ａ））から前記第２の逆値（Φ^－１（ｐ_Ｂ））を引いた差との積に依存して求められる、
   請求項１乃至６のいずれか一項に記載の方法。
8. センサ（３０）から受信されたセンサ信号を分類するための平滑化分類器（ｇ）の全体ロバストネス（Ｒ_ｏｖ）を評価するためのコンピュータ実装方法であって、
   テスト入力信号（ｘ_ｉ）を含む訓練セットを提供するステップと、
   請求項１乃至７のいずれか一項に記載の方法を用いて、前記センサ（３０）から受信する代わりに、前記入力信号（ｘ）として前記テスト入力信号（ｘ_ｉ）を使用することにより、前記テスト入力信号（ｘ_ｉ）の各々に対するテストロバストネス値を求めるステップと、
   前記全体ロバストネス（Ｒ_ｏｖ）を、前記求められたテストロバストネス値（Ｒ_ｉ）の集合を特徴付ける値として、特にその最小値として求めるステップと、
   を含む方法。
9. 前記平滑化分類器（ｇ）がロバストであるか否かを、前記ロバストネス値（Ｒ）及び前記全体ロバストネス値（Ｒ_ｏｖ）の相対サイズに基づいて判別する、
   請求項１及び７に記載のコンピュータ実装方法。
10. 平滑化分類器（ｇ）を訓練するためのコンピュータ実装方法であって、
    前記平滑化分類器（ｇ）を訓練するステップと、
    請求項８に記載の方法を使用して前記分類器（ｇ）がロバストであるか否かを判別するステップと、
    前記平滑化分類器（ｇ）が非ロバストであると判別された場合に、訓練を継続するステップと、
    を含む方法。
11. 平滑化分類器（ｇ）を操作するためのコンピュータ実装方法であって、
    請求項９に記載の方法を使用して、前記平滑化分類器（ｇ）がロバストであるか否かを判別するステップと、
    前記平滑化分類器（ｇ）が非ロバストであると判別された場合に、
    前記入力信号（ｘ）をリモートサーバに送信するステップと、
    前記リモートサーバから、前記入力信号（ｘ）の目標分類を受け取るステップと、
    前記入力信号（ｘ）及び前記目標分類を使用して、前記平滑化分類器（ｇ）をさらに訓練するステップと、
    を含む方法。
12. 平滑化分類器（ｇ）と、入力信号（ｘ）を前記平滑化分類器（ｇ）に提供するセンサ（３０）とを含むシステムを操作するためのコンピュータ実装方法であって、
    請求項１乃至７のいずれか一項に記載の方法を使用して、前記入力信号（ｘ）が提供されたときに前記平滑化分類器（ｇ）のロバストネス値（Ｒ）を求めるステップと、
    前記ロバストネス値（Ｒ）に依存して、前記センサ（３０）の動作パラメータを調整するステップ、特にズームインを行うステップと、
    を含む方法。
13. 平滑化分類器（ｇ）の出力信号（ｙ）に依存してアクチュエータ（１０）を制御するためのアクチュエータ制御信号（Ａ）を提供するコンピュータ実装方法であって、
    請求項１乃至７のいずれか一項に記載の方法を使用して、前記平滑化分類器（ｇ）がロバストであるか否かを評価し、前記評価の結果に従って前記アクチュエータ制御信号（Ａ）を決定し、特に前記評価の結果として前記平滑化分類器（ｇ）がロバストでないとみなされた場合に前記アクチュエータ制御信号（Ａ）を決定することにより前記アクチュエータ（１０）をセーフモードで動作させる、ステップ
    を含む方法。
14. 前記アクチュエータ（１０）は、少なくとも部分的に自律的なロボット（１００）及び／又は製造機械（２００）及び／又はアクセス制御システム（３００）を制御する、
    請求項１３に記載の方法。
15. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ（４５，１４５）によって実行されるときに、コンピュータに請求項１乃至１４のいずれか一項に記載の方法の全ステップを実施させるために構成されているコンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを記憶した機械可読記憶媒体（４６，１４６）。

Images