JP2021089731A - クラス分類器を訓練するための装置および方法 - Google Patents

Abstract

【課題】分解できない性能メトリックについてクラス分類器の性能を最適化する。【解決手段】訓練システム１４０において、入力信号（ｘｉ）をクラス分類するためのクラス分類器６０、特に２値クラス分類器を訓練するためのコンピュータ実装方法であって、分解できないメトリックが、訓練データセットの入力信号（ｘｉ）に対応するクラス分類（ｙｉ）と、クラス分類器から得られる入力信号の対応する予測されたクラス分類との間の整合性を測定するものであり、分解できないメトリックがクラス分類（ｙｉ）と予測されたクラス分類との混同行列による複数の項にどのように依存するかを特徴付ける、重み付け係数を提供するステップと、提供された前記重み付け係数に応じてクラス分類器６０を訓練するステップと、を含む。【選択図】図８

Description

本発明は、クラス分類器を訓練するための方法、このクラス分類器を使用するための方法、コンピュータプログラムおよび機械可読記憶媒体、制御システム、ならびに訓練システムに関する。

先行技術
Zhan Shi，Xinhua Zhang，and Yaoliang Yu, Bregman divergence for stochastic variance reduction: Saddle-point and adversarial prediction，Advances in Neural Information Processing Systems， 2017の6033-6043頁には、指数関数的なフルサイズの条件付き分布についての最適化を多項式サイズの周辺分布において低減する周辺化を使用する敵対的予測技法を適用して、Ｆ_１スコアメトリックを最適化するための機械学習方法を開示している。

Hong Wang，Wei Xing，Kaiser Asif，and Brian Ziebart, Adversarial prediction games for multivariate losses，Advances in Neural Information Processing Systems， 2015の2710-2718頁には、幾つかの性能メトリックについてクラス分類器を訓練する二重オラクル技法の使用を開示している。

本発明の利点
正解率メトリックは最も一般的な評価測定値であるが、多くの用途では、サンプルごとの測定値への加法分解が行えない、すなわち、評価データセット内の個々のサンプルの寄与の合計として表現することができない、より複雑な評価メトリックの使用が要求される。

現実世界の用途では、機械学習アルゴリズムの性能は、好ましくは、関心対象の問題のために特別にカスタマイズされた評価メトリックによって測定される。このような評価メトリックは、分解できないメトリックであることが多い。

例えば、例えば工業生産環境において生産品が仕様通りに生産されているか否かを自動的に検査するために使用されうる光学検査タスクでは、このような分解できないメトリックの例として、適合率、再現率、特異度、またはＦ_βスコアを使用することが望ましいものとされうる。

例えば、「１」のラベルが「ＯＫ」を意味し、「０」が「ＯＫではない」を意味するものと仮定する。適合率、すなわち真陽性サンプルと予測陽性サンプルとの比率は、どれだけ多くの「１」ラベルが実際に正しいかの割合を測定する。適合率１００％のエンドオブライン検査からは、１つの不良品も出荷されないことになる。高い適合率のために訓練された機械では、全ての「１」ラベルを信頼し、「０」としてラベル付けされた生産品のみについて（非常に高価となりうる）再検査を実施することも想定されうる。

再現率、すなわち、真陽性と実陽性との比率は、実際にどれだけ多くの「ＯＫ」ケースが正しくラベル付けされているかの割合を測定する。再現率が非常に高い場合、「０」としてラベル付けされた商品の高価となる再検査を見送り、同商品を直ちに廃棄することが想定されうる。

特異度、すなわち真陰性と実陰性との比率は、どれだけの数の「ＯＫではない」ケースが「０」として正しくラベル付けされているかの割合を測定する。特異度が高ければ、「１」としてラベル付けされた全ての商品を直ちに出荷することが想定されうる。

Ｆ_βは、高い適合率および高い再現率の両方の目標を満たす、適合率（β＝０）と、適合率および再現率（β＝１）間の調和平均との間の滑らかな補間と考えることができる。

これらのメトリックは、他の用途でも重要である。例えば、例えば受信したビデオ画像のセマンティックセグメンテーションに依存するタスク（例えば、自動運転車における歩行者の検出またはビデオ監視システムにおける不審物の検出など）では、Ｆ_１が重要な最適化目標である。これは、画像の大部分を占めるオブジェクトでは、通常、再現率が適合率よりも高いが、小さなオブジェクトではその逆であるためである。同時に生じる低い再現率および低い適合率にペナルティを科すことにより、得られるセグメンテーションが向上する。

クラス分類器を使用してユーザコマンドを解釈する自動パーソナルアシスタントの場合、自動パーソナルアシスタントが可能な限り多くの実際のコマンドを正しく認識することが所望されうるが、この場合、高い適合率が望ましい評価メトリックとなりうる。

クラス分類器の出力に応じてアクセスを許可しうるアクセス制御システムの場合、権限を有さない人物にアクセスが許可されないことが所望されうる。このようなシステムでは、高い特異度が望ましいものとなりうる。

さらに、Ｆ_βメトリックの使用は、不均衡なデータセットを伴うクラス分類タスクに有用である。医療分野では、例えば撮像システムの画像を評価する際に、再現率、特異度、および情報利用性が良好なクラス分類性能を保証する好ましいメトリックとなる。

言い換えれば、訓練における、このような分解できないメトリックにしたがった最適化は、実用的な価値が高い。しかし、分解できないメトリックについての訓練アルゴリズムは、実用的な用途、特に、典型的には勾配ベースの手法を用いて訓練が行われる深層アーキテクチャの表現力に依存する現在の機械学習用途では、広く利用されてはいない。関心対象となる評価メトリックを最適化するように訓練される代わりに、これらは、分解できないメトリックも間接的に最適化されることを期待して、交差エントロピー誤差を最小化するように訓練されうる。

独立請求項１の特徴を有する方法は、勾配ベースの学習手順を使用して、分解できない広範な性能メトリックについてクラス分類器の性能を最適化でき、これらのメトリックに関する性能の改善がもたらされる、という利点を有する。

更なる改善について、従属請求項に示す。

本発明の開示
第１の態様において、本発明は、分解できないメトリックにしたがって性能を最適化するように入力信号をクラス分類するためのクラス分類器、特に２値クラス分類器を訓練するためのコンピュータ実装方法であって、分解できないメトリックが、訓練データセットの入力信号に対応するクラス分類と、前記クラス分類器から得られる前記入力信号の対応する予測されたクラス分類との間の整合性を測定するものであり（言い換えれば、メトリックは、クラス分類と、対応する予測されたクラス分類とがどの程度良好に一致するかを測定するものであり）、前記方法が、
−前記分解できないメトリックが前記クラス分類と前記予測されたクラス分類との混同行列による複数の項にどのように依存するかを特徴付ける、重み付け係数を提供するステップと、
−提供された前記重み付け係数に応じて前記クラス分類器を訓練するステップと、を含む方法に関する。本発明は、提供された重み付け係数に応じて、分解できない広範なメトリックについてクラス分類器の最適化を自動的に実行できる、という利点を有する。

前記分解できないメトリックは、重み付け係数ａ_ｊ，ｂ_ｊ，ｆ_ｊ，ｇ_ｊを用いる式

によって与えられてよく、ここで、ａ_ｊおよびｂ_ｊはスカラー値であり、ｆ_ｊおよびｇ_ｊはパラメータ化（パラメータなしを含む）関数であり、ＴＰ，ＴＮ，ＰＰ，ＰＮ，ＡＰ，およびＡＮは、前記混同行列のエントリであって、

のように提示されうる。

このような形態で書くことができる分解できないメトリックにより、提供された前記重み付け係数に応じて前記クラス分類器を効率的に訓練できることが判明した。

なお、エントリＰＮおよびＡＮに関する依存性が冗長であり、以下では無視される。

このようなメトリックの例について、次の表に示す。すなわち、

である。

好ましくは、前記最適化は、敵対的予測法として、すなわち、第１のプレーヤ（予測者）と第２のプレーヤ（敵対者）との間の２人用ゲームの均衡、より具体的にはナッシュ均衡を見つけることによって実行され、前記第１のプレーヤが、前記データの（全ての）入力値に対応する第１のクラス分類を見つけようとし、前記第２のプレーヤが、前記データの（全ての）入力値に対応する第２のクラス分類を見つけようとし、前記第１のクラス分類および前記第２のクラス分類に基づいて前記混同行列が評価される前記メトリックの期待値を、前記第１のプレーヤは最大化しようとし、前記第２のプレーヤは最小化しようとし、第２のクラス分類が、モーメントマッチング制約を受ける。

数学では、前記敵対的予測を、

のように定式化することができ、ここで、

は第１のプレーヤの確率的予測であり、

は敵対者の分布であり、

は経験分布である。

敵対的なプレーヤは、特徴の期待値が経験的な特徴の統計値と一致する条件付き確率

を選択することにより、訓練データを近似する必要がある。一方、予測者は、期待されるメトリックを最大化する任意の条件付き確率

を自由に選択する。

ここで、Φが前記クラス分類器の特徴ベクトルを表す。例えば、前記クラス分類器がニューラルネットワークによって与えられる場合、Φは、特徴に対する線形クラス分類器として機能する最後の全結合層への入力である。特徴関数は、加法的、すなわち、Φ（ｘ，ｙ）＝Σ_ｉΦ（ｘ_ｉ，ｙ_ｉ）である。単純化のために、以下では、Φ（ｘ_ｉ，ｙ_ｉ＝０）＝０を仮定することができる（そうでない場合、Φ’（ｘ，０）＝０およびΦ’（ｘ，１）＝Φ（ｘ，１）−Φ（ｘ，０）により、特徴抽出器φをφ’で置き換えることができる。

前記ミニマックス最適化の境界条件は、「モーメントマッチング制約」と呼ばれるものであり、言い換えれば、「モーメントマッチング制約」とは、前記特徴ベクトルΦのテストデータについての経験的な期待値が、入力信号（ｘ）の経験分布

および出力信号（ｙ）の敵対者の予測の条件付き確率

についての前記特徴ベクトルΦの期待値と一致することを意味する。

なお、この説明は、２値クラス分類器に焦点を当てているが、一般的なクラス分類器の訓練に容易に適用しうることに留意されたい。このために、複数の２値クラス分類器を使用して一般的な前記クラス分類器を作ることが想定されうる。例えば、一般的なクラス分類器が入力データをクラス分類する各クラスについて単一の２値クラス分類器を作ることが想定されうるが、ここで、前記２値クラス分類器はそれぞれ、前記入力データが関連するクラスに属するか否かを決定しなければならない。代替的に、２値分岐を有するツリー状の分類で、目標クラスの総数を配置することも想定されうるが、ここで、複数の２値クラス分類器。

当該敵対的予測法で前記最適化を実行することは、敵対者に対して性能メトリックをロバストに最大化する方法である。言い換えれば、得られるクラス分類器は、よりロバストである。本発明は、この敵対的予測フレームワークをクラス分類問題に適用して、分解できないメトリックを訓練中に最適化する方法を示す。

例えば、前記最適化は、前記モーメントマッチング制約に対応するラグランジュ乗数の最適値を見つけることによって実行されてもよく、ここでは、前記２値クラス分類器の全結合層の訓練されたパラメータが、前記ラグランジュ乗数の前記最適値と等しい値に設定される。（なお、前記ラグランジュ乗数はベクトル値化されることに留意されたい）。これは、凸凹鞍点問題の強い二元性を利用しており、

のように書くことができる。

前記全結合層のパラメータは、モーメントマッチング制約の下で、それらをラグランジュ乗数の前記最適値と等しく設定することにより、簡便に最適化できることが判明している。

これを効率的に解くために、好ましくは、前記期待値は、前記第１のクラス分類および／または前記第２のクラス分類の周辺確率に基づいて計算され、ここで、前記周辺確率は、所与の入力値のクラス分類が所定のクラス分類に等しく、かつ全てのクラス分類の合計が所定の合計値に等しくなる、周辺確率を表す。

言い換えれば、前記第１のクラス分類の周辺確率

は、ｎ個の項目（ｎが訓練データセット内のサンプル数である）を有するベクトルとして書くことができ、

（すなわち、ｙ_ｉ＝１かつ

であるイベントの周辺確率）に等しい要素

で表すことができる。

同様に、敵対者の対応する周辺確率についても

と表す。前記第２の（敵対的な）プレーヤのクラス分類の周辺確率は、

によって、

として表される。

合計の周辺確率は、

かつ

として表される。

このことが式（２）の解にどのように寄与するかを理解するために、式（２）の内部ミニマックス問題、すなわち、

について考える。

上記の表記を使用すると、指数関数的なサイズの条件付き確率

および

についての上記のメトリックの期待値を、以下のように、周辺確率変数についての関数の和、すなわち

として表すことができる。

幾つかのメトリック（例えば、適合率、再現率、Ｆ値、感度、特異度）は、ゼロによる除算を避けるために特殊ケースを実施する。真陽性を含むメトリックの場合、特殊ケースは、通常、

のように定義され、一方、真陰性を有するメトリックの場合、これらのケースは、

のように定義される。

ここで、

および

は、クラス分類器が全てのサンプルをそれぞれ陰性および陽性として予測することを意味する。特殊ケースが実施されるようなメトリックである場合、式（３）は、それに応じて修正されなければならない。例えば、真陽性および真陰性の両方の特殊ケースが実施される場合、式（３）は、

のようになる。

各列Ｐ_{（：，ｋ）}が

を表す、ｎ×ｎの周辺分布行列Ｐを表すとする。同様に、

につき、行列Ｑを表すとする。各列が各サンプルの特徴を表す、すなわちΨ_：，ｉ＝Φ（ｘ_ｉ，ｙ_ｉ＝１）およびｍが特徴の数である、ｎ×ｎ行列として、Ψを表すとする。次いで、式（２）を、

のように書き換えることができ、ここで、Δは、

のように表される有効な周辺確率の行列の集合である。

前記最適化を解く非常に効率的な方法として、これらの２人のプレーヤの一方のみにおいて線形プログラムを解くことによって前記２人用ゲームを解くことを想定することができる。これが可能となるのは、式（５）のＱについての内部最小化を、

の形式の線形プログラムとして解くことができるためであり、ここで、ｃ（Ｑ）がＱの線形関数であり、Ｚ（Ｑ）がＱの線形行列値関数であり、これらは両方とも、メトリックの形態によって解析的に定義される。

幾つかの機械学習の設定では、他のメトリックに関する制約を条件として性能メトリックを最適化することが望ましい場合がある。このことは、異なる性能メトリックの間にトレードオフの関係がある場合に生じる。

例えば、機械学習システムは、再現率が事前に定義可能な閾値よりも大きいことを条件として、予測の適合率の最適化を所望することがある。これらのタスクでは、敵対的予測公式は、

のように書くことができ、ここで、ｔはメトリック制約の数であり、τは事前に定義可能な閾値である。上で概説したように、これは

のように計算することができ、ここで、Γは、

のように定義される周辺確率行列の集合である。

したがって、本発明の更なる態様によれば、前記分解できないメトリックにしたがった前記性能の前記最適化は、前記クラス分類と前記予測されたクラス分類との間の整合性を測定する第２のメトリックの期待値の不等式制約をさらに受ける。

これも、

の形式の線形プログラムとして解くことができる。

ここで、μ_ｌが定数であり、Ｂ^（ｌ）が行列であり、これらは両方とも、ｌ番目のメトリック制約およびグランドトゥルースラベルによって解析的に定義される。

本発明の実施形態について、以下の図を参照してより詳細に説明する。

環境中のアクチュエータを制御する、クラス分類器を有する制御システムを示す図である。 少なくとも部分的に自律的なロボットを制御する制御システムを示す図である。 製造機械を制御する制御システムを示す図である。 自動パーソナルアシスタントを制御する制御システムを示す図である。 アクセス制御システムを制御する制御システムを示す図である。 監視システムを制御する制御システムを示す図である。 撮像システムを制御する制御システムを示す図である。 クラス分類器を訓練するための訓練システムを示す図である。 クラス分類器の例示的な構造を示す図である。 前記訓練システムによって実行される訓練方法のフローチャート図である。 この訓練方法の一態様のフローチャート図である。

実施形態の説明
図１に示すのは、アクチュエータ１０の、その環境２０における一実施形態である。アクチュエータ１０は、制御システム４０と相互作用する。アクチュエータ１０は、アクチュエータ制御コマンドＡを受信でき、受信した前記アクチュエータ制御コマンドＡにしたがって動作できる技術的システムであってもよい。アクチュエータ１０およびその環境２０は合わせて、アクチュエータシステムと呼ばれる。好ましくは等間隔の距離で、センサ３０が、アクチュエータシステムの状態を検知する。センサ３０は、複数のセンサを備えてもよい。好ましくは、センサ３０は、環境２０を撮像する光学センサである。検知した状況を符号化するセンサ３０の出力信号Ｓ（またはセンサ３０が複数のセンサを備える場合、センサそれぞれの出力信号Ｓ）が、制御システム４０に送信される。

これにより、制御システム４０は、センサ信号Ｓのストリームを受信する。制御システムは、次いで、センサ信号Ｓのストリームに応じて一連のアクチュエータ制御コマンドＡを計算し、制御コマンドは、次いでアクチュエータ１０に送信される。

制御システム４０は、センサ３０のセンサ信号Ｓのストリームを任意手段としての受信ユニット５０で受信する。受信ユニット５０は、センサ信号Ｓを入力信号ｘに変換する。代替的に、受信ユニット５０がない場合、各センサ信号Ｓは、入力信号ｘとして直接受け取られてもよい。入力信号ｘは、例えば、センサ信号Ｓの一部として与えられてもよい。代替的に、センサ信号Ｓを処理して入力信号ｘを得るようにしてもよい。入力信号ｘは、センサ３０によって記録された画像に対応する画像データを含んでもよいし、例えば、センサ３０がオーディオセンサである場合、オーディオデータを含んでもよい。言い換えれば、入力信号ｘは、センサ信号Ｓにしたがって提供されてもよい。

入力信号ｘは、次いで、クラス分類器６０、例えば画像クラス分類器に送られ、クラス分類器は、例えば、人工ニューラルネットワークによって与えられてもよい。

クラス分類器６０は、パラメータ記憶装置Ｓｔ_１に記憶されるとともに、それによって提供される、パラメータξによってパラメータ化される。

クラス分類器６０は、入力信号ｘから出力信号ｙを決定する。出力信号ｙは、入力信号ｘに１つ以上のラベルを割り当てる情報を含む。出力信号ｙは、任意手段としての変換ユニット８０に送信され、変換ユニットは、出力信号ｙを制御コマンドＡに変換する。アクチュエータ制御コマンドＡは、次いで、それに応じてアクチュエータ１０を制御するためにアクチュエータ１０に送信される。代替的に、出力信号ｙは、制御コマンドＡとして直接取り込まれてもよい。

アクチュエータ１０は、アクチュエータ制御コマンドＡを受信し、それに応じて制御され、アクチュエータ制御コマンドＡに対応する動作を実行する。アクチュエータ１０は、アクチュエータ制御コマンドＡを更なる制御コマンドに変換する制御ロジックを備えてもよく、更なる制御コマンドは、次いで、アクチュエータ１０を制御するために使用される。

更なる実施形態では、制御システム４０は、センサ３０を備えてもよい。また更なる実施形態では、制御システム４０は、代替的にまたは付加的にアクチュエータ１０を備えてもよい。

また更なる実施形態では、制御システム４０が、アクチュエータ１０の代わりにディスプレイ１０ａを制御することが想定されうる。

さらに、制御システム４０は、プロセッサ４５（または複数のプロセッサ）と、実行されると本発明の一態様による方法を制御システム４０に実行させる命令が記憶されている、少なくとも１つの機械可読記憶媒体４６とを備えてもよい。

図２は、少なくとも部分的に自律的なロボット、例えば、少なくとも部分的に自律的な車両１００を、制御システム４０が制御するために使用される実施形態を示す。

センサ３０は、１つ以上のビデオセンサおよび／または１つ以上のレーダセンサおよび／または１つ以上の超音波センサおよび／または１つ以上のＬｉＤＡＲセンサおよび／または１つ以上の（例えばＧＰＳのような）位置センサを備えてもよい。これらセンサの一部または全部が、必須ではないが、好ましくは、車両１００に搭載される。代替的にまたは付加的に、センサ３０は、アクチュエータシステムの状態を決定するための情報システムを備えてもよい。このような情報システムの一例は、環境２０における現在または将来の天候状態を決定する天候情報システムである。

例えば、入力信号ｘを使用して、クラス分類器６０は、例えば、少なくとも部分的に自律的なロボットの近傍にある物体を検出してもよい。出力信号ｙは、少なくとも部分的に自律的なロボットの近傍のどこに物体が位置しているかを特徴付ける情報を含んでもよい。次いで、例えば、検出した前記物体との衝突を回避するために、この情報にしたがって制御コマンドＡを決定してもよい。

アクチュエータ１０は、好ましくは、車両１００に搭載されており、車両１００のブレーキ、推進システム、エンジン、駆動系、またはステアリング部によって与えられてもよい。検出した前記物体との衝突を車両１００が回避するために、アクチュエータ（または複数のアクチュエータ）１０を制御するように、アクチュエータ制御コマンドＡを決定してもよい。また、検出した物体を、例えば歩行者や樹木など、最も可能性が高いとクラス分類器６０が判断するものにしたがってクラス分類し、クラス分類に応じてアクチュエータ制御コマンドＡを決定してもよい。

一実施形態では、クラス分類器６０は、前方の道路上の車線を識別するように、例えば、前記道路上の路面およびマーキングをクラス分類し、前記マーキング間の路面部分として車線を識別するように、設計されてもよい。ナビゲーションシステムの出力に基づいて、次いで、選択した経路を追跡するのに適した目標車線を選択し、現車線および前記目標車線に応じて、次いで、車両１０が車線を変更するべきか、前記現車線に留まるべきかを決定してもよい。次いで、例えば、識別した前記動作に対応する所定の動きパターンをデータベースから取得することにより、制御コマンドＡを計算してもよい。

同様に、道路標識または信号機を識別すると、道路標識の識別した種類または前記信号機の識別した状態に応じて、車両１０の可能な動きパターンに関する対応する制約を、次いで、例えばデータベースから取得してもよく、前記制約に見合った車両１０の将来の経路を計算してもよく、前記軌道を実行すべく車両を操舵するように、前記アクチュエータ制御コマンドＡを計算してもよい。

同様に、歩行者および／または車両を識別すると、前記歩行者および／または車両の将来の挙動を推定してもよく、推定した前記将来の挙動に基づいて、次いで、前記歩行者および／または前記車両との衝突を回避するような軌道を選択してもよく、前記軌道を実行すべく車両を操舵するように、前記アクチュエータ制御コマンドＡを計算してもよい。

更なる実施形態では、少なくとも部分的に自律的なロボットは、別の移動ロボット（図示せず）によって与えられてもよく、移動ロボットは、例えば、飛行、泳行、潜行、または歩行によって移動してもよい。移動ロボットは、とりわけ、少なくとも部分的に自律的な芝刈り機、または少なくとも部分的に自律的な清掃ロボットであってもよい。上記の実施形態の全てにおいて、移動ロボットの推進ユニットおよび／またはステアリング部および／またはブレーキを制御するように、アクチュエータ制御コマンドＡを決定してもよく、これにより、識別した前記物体との衝突を移動ロボットが回避しうる。

更なる実施形態では、少なくとも部分的に自律的なロボットは、環境２０における植物の状態を決定するために、センサ３０、好ましくは光学センサを使用する園芸ロボット（図示せず）によって与えられてもよい。アクチュエータ１０は、化学薬品を散布するためのノズルであってもよい。識別した種および／または植物の識別した状態に応じて、アクチュエータ１０に、適切な化学薬品を植物に適量散布させるように、アクチュエータ制御コマンドＡを決定してもよい。

また更なる実施形態では、少なくとも部分的に自律的なロボットは、例えば、洗濯機、ストーブ、オーブン、電子レンジ、または食洗機のような家電製品（図示せず）によって与えられてもよい。センサ３０、例えば光学センサは、家電製品によって処理される物体の状態を検出してもよい。例えば、家電製品が洗濯機である場合、センサ３０は、画像に基づいて洗濯機内の洗濯物の状態を検出してもよい。次いで、洗濯物の検出した材質に応じてアクチュエータ制御信号Ａを決定してもよい。

図３に示すのは、例えば生産ラインの一部としての、製造システム２００の製造機械１１（例えば、パンチカッタ、カッタ、ガンドリル、またはグリッパー）を制御するために、制御システム４０が使用される実施形態である。制御システム４０は、製造機械１１を制御するアクチュエータ１０を制御する。

センサ３０は、例えば製造された製品１２の特性を捕捉する光学センサによって与えられてもよい。クラス分類器６０は、これらの捕捉された特性から、製造された製品１２の状態、例えば、前記製品１２が不良であるか否かを決定してもよい。製造機械１１を制御するアクチュエータ１０は、次いで、製造された製品１２の後続の製造工程のために、製造された製品１２の決定された状態に応じて制御されてもよい。代替的に、製造された製品１２の決定された状態に応じて、アクチュエータ１０が後続の製造された製品１２の製造中に制御されることが想定されうる。例えば、アクチュエータ１０は、クラス分類器６０によって不良であると識別された製品１２を選択し、それらが廃棄される前に再検査されうる所定のビンに製品を選別するように制御されてもよい。

図４に示すのは、自動パーソナルアシスタント２５０を制御するために制御システム４０が使用される実施形態である。センサ３０は、例えば、ユーザ２４９のジェスチャのビデオ画像を受信するための、光学センサであってもよい。代替的に、センサ３０はまた、例えば、ユーザ２４９の音声コマンドをオーディオ信号として受信するための、オーディオセンサであってもよい。

制御システム４０は、次いで、自動パーソナルアシスタント２５０を制御するためのアクチュエータ制御コマンドＡを決定する。アクチュエータ制御コマンドＡは、センサ３０のセンサ信号Ｓにしたがって決定される。センサ信号Ｓは、制御システム４０に送信される。例えば、クラス分類器６０は、例えば、ユーザ２４９によって行われたジェスチャを識別するためのジェスチャ認識アルゴリズムを実行するように、構成されてもよい。制御システム４０は、次いで、自動パーソナルアシスタント２５０に送信するためのアクチュエータ制御コマンドＡを決定してもよい。制御システムは、次いで、前記アクチュエータ制御コマンドＡを自動パーソナルアシスタント２５０に送信する。

例えば、識別し、クラス分類器６０によって認識したユーザジェスチャにしたがって、アクチュエータ制御コマンドＡを決定してもよい。制御コマンドは、自動パーソナルアシスタント２５０に、データベースから情報を取得させ、この取得された情報をユーザ２４９による受信に適した形態で出力させる情報を含んでもよい。

更なる実施形態では、自動パーソナルアシスタント２５０の代わりに、制御システム４０が、識別されたユーザジェスチャにしたがって制御される家電製品（図示せず）を制御することが想定されうる。家電製品は、洗濯機、ストーブ、オーブン、電子レンジ、または食洗機であってもよい。

図５に示すのは、制御システムがアクセス制御システム３００を制御する実施形態である。アクセス制御システムは、アクセスを物理的に制御するように設計されてもよい。アクセス制御システムは、例えばドア４０１を備えてもよい。センサ３０は、アクセスが許可されるか否かを決定するための関連するシーンを検出するように構成される。センサは、例えば、人物の顔を検出するための画像またはビデオデータを提供するための光学センサであってもよい。クラス分類器６０は、例えば、データベースに記憶されている既知の人物との同一性を照合することにより、この画像またはビデオデータを解釈し、それにより人物の同一性を決定するように構成されてもよい。次いで、クラス分類器６０の解釈に応じて、例えば、決定した同一性にしたがって、アクチュエータ制御信号Ａを決定してもよい。アクチュエータ１０は、アクチュエータ制御信号Ａに応じてアクセスを許可するか、または許可しないロックであってもよい。物理的ではない論理的なアクセス制御も可能である。

図６に示すのは、制御システム４０が監視システム４００を制御する実施形態である。この実施形態は、図５に示した実施形態とほぼ同一である。したがって、異なる態様についてのみ詳細に記載する。センサ３０は、監視下にあるシーンを検出するように構成される。制御システムは、必ずしもアクチュエータ１０を制御せず、ディスプレイ１０ａを制御する。例えば、機械学習システム６０は、シーンのクラス分類、例えば、光学センサ３０によって検出されるシーンが不審であるかどうか、を決定してもよい。ディスプレイ１０ａに送信されるアクチュエータ制御信号Ａは、次いで、例えば、機械学習システム６０によって不審であると判断された物体を強調表示するために、例えば、決定されたクラス分類に応じてディスプレイ１０ａに表示内容を調節させるように構成されてもよい。

図７に示すのは、撮像システム５００、例えば、ＭＲＩ装置、Ｘ線撮像装置、または超音波撮像装置を制御するための制御システム４０の実施形態である。センサ３０は、例えば撮像センサであってもよい。機械学習システム６０は、検知された画像の全部または一部のクラス分類を決定してもよい。次いで、アクチュエータ制御信号Ａは、このクラス分類にしたがって選択され、それによりディスプレイ１０ａを制御してもよい。例えば、機械学習システム６０は、検知された画像のある領域を潜在的に異常であると解釈してもよい。この場合、ディスプレイ１０ａに画像を表示させ、潜在的に異常な領域を強調表示させるように、アクチュエータ制御信号Ａを決定してもよい。

図８に示すのは、クラス分類器６０を訓練するための訓練システム１４０の実施形態である。訓練データユニット１５０が、クラス分類器６０に送られる入力信号ｘを決定する。例えば、訓練データユニット１５０は、少なくとも１セットＴの訓練データが記憶されているコンピュータ実装データベースＳｔ_２にアクセスしてもよい。少なくとも１セットＴは、入力信号ｘ_ｉと、対応する望ましい出力信号ｙ_ｉとの対を含む。望ましい出力信号ｙ_ｉは、評価ユニット１８０に送られる。訓練データのセットＴは、訓練データの完全なセットであってもよい。訓練データのセットはまた、訓練がバッチで行われる場合、訓練データの選択されたバッチであってもよい。

クラス分類器６０は、入力信号ｘ_ｉから出力信号

を計算するように構成される。これらの出力信号

はまた、評価ユニット１８０に送られる。

修正ユニット１６０が、評価ユニット１８０からの入力に応じて、更新されたパラメータξ’を決定する。更新されたパラメータξ’は、パラメータ記憶装置Ｓｔ_１に送信されて、現在のパラメータξを置き換える。

さらに、訓練システム１４０は、プロセッサ１４５（または複数のプロセッサ）と、実行されると本発明の一態様による方法を制御システム１４０に実行させる命令が記憶されている少なくとも１つの機械可読記憶媒体１４６とを備えてもよい。

図９に示すのは、クラス分類器６０の例示的な構造であり、この実施形態では、クラス分類器は、パラメータまたは重みξによってパラメータ化されたニューラルネットワークによって与えられる。入力データｘは、入力層６１に供給され、処理された後、連続して隠れ層６２および６３に送られる。層６３の出力は、特徴マップΦである。クラス分類器６０が畳み込みニューラルネットワークである場合、層６１，６２，および６３は、少なくとも１つの畳み込み層を備える。層６１，６２，および６３をパラメータ化するパラメータをｗと呼ぶ。特徴マップΦは、パラメータξ_ｆによってパラメータ化された全結合層６４に送られる。出力Φ^Ｔ・ξ_ｆは、出力Φ^Ｔ・ξ_ｆのためのソフトマックス変換と、最高のソフトマックススコアに対応するクラス分類のラベルｙをクラス分類器６０の出力信号として選択するａｒｇｍａｘ関数とを計算することを含む最終層６５に送られる。

図１０に示すのは、訓練システム１４０によって実行されうる、クラス分類器６０を訓練するための訓練方法の実施形態を概説するフローチャート図である。第１のステップ（１０００）では、ラグランジュ乗数値θが、例えばランダムに、または所定の値、例えば０として初期化される。全結合層６４のパラメータξ_ｆが、ラグランジュ乗数値θに等しく設定される。式（Ｍ）で定義されるようなメトリックを特徴付けるパラメータａ_ｉ，ｂ_ｉ，ｆ_ｉ，ｇ_ｉと同様に、データセットＴが提供される。任意手段として、式（７）で与えられるような制約を特徴付けるパラメータも提供される。

次いで（１０１０）にて、式（５）（または制約が設けられる場合には（７））の内部ミニマックス問題として記述される最適化問題の最適値Ｑ^＊が計算される。加えて、行列Ψが計算される。この計算の詳細については、図１１に関連して説明する。

次いで（１０２０）にて、インクリメントｄθ＝−Ψ（Ｑ^＊Ｔ１−ｙ_Ｔ）が計算され、ここで、ｙ_Ｔ＝（ｙ１，…ｙ_ｎ）^Ｔは、訓練データセットのクラス分類を有するベクトルである。

次いで（１０３０）にて、例えば、インクリメントｄθの絶対値が所定の閾値未満であるかどうかを検査することにより、方法が収束したかどうかが検査される。

方法が収束した場合、アルゴリズムが停止され、訓練が完了する（１０６０）。

そうでない場合、任意手段としてのステップ（１０４０）で、ｄθに対するインクリメントが、全結合層６４のパラメータξ_ｆに対するインクリメントとして取られ、残りのネットワークを通じて、すなわち、層６３，６２および６１を通じて誤差逆伝播されて、パラメータｗに対するインクリメントｄｗが得られ、方法はステップ（１０５０）へと続く。代替的に、パラメータｗは一定のままであることができ、方法は、ステップ（１０３０）から直接ステップ（１０５０）に分岐する。

ステップ（１０５０）では、パラメータθ，ξ_ｆおよびｗが、
θ←θ＋ｄθ
ｗ←ｗ＋ｄｗ
ξ_ｆ←θ
として更新される。

次いで、方法は、ステップ（１０１０）へと続き、方法がステップ（１０６０）で終了するまで繰り返される。

図１１に示すのは、ステップ（１０１０）にて式（５）（または（７））で記述したような内部ミニマックス問題の最適値Ｑ^＊を計算する方法のフローチャート図である。

まず（２０１０）にて、ベースとなるｎ×ｎ行列Ｄ，Ｅ，Ｆが、

として提供される。

次いで（２０２０）にて、Ｚ（Ｑ）が、
Ｚ（Ｑ）＝ＱＤ^Ｔ＋ｄｉａｇ（１，…，１／ｎ）^２Ｑ１１^ＴＥ^Ｔ１１^Ｔ−ｄｉａｇ（１，…，１／ｎ）ＱＥ^Ｔ１１^Ｔ−ｄｉａｇ（１，…，１／ｎ）Ｑ１１^ＴＥ^Ｔ＋ＱＥ^Ｔ＋ｄｉａｇ（１，…，１／ｎ）Ｆ^Ｔｄｉａｇ（１，…，１／ｎ）Ｑ１１^Ｔ
のような記号表現として提供される。

次いで（２０３０）にて、Ｚ（Ｑ）からＺ’（Ｑ）＝Ｚ（Ｑ）・ｄｉａｇ（１，…，ｎ）によって線形変換された表現Ｚ’（Ｑ）が提供される。

さらに、式（Ｓ１）および（Ｓ２）で定義されるような特殊ケースを実施する必要がない場合、ｃ（Ｑ）がｃ（Ｑ）＝０として計算される。（Ｓ１）を実施したい場合、Ｚ（Ｑ）が、
（ｄｉａｇ（１，…，１／ｎ）１１^ＴＱ^Ｔ−Ｉｄ）ｄｉａｇ（１，…，１／ｎ）１１^Ｔ
によって増加され、ｃ（Ｑ）がｃ（Ｑ）＝１−１^Ｔｄｉａｇ（１，…，１／ｎ）Ｑ１となり、Ｉｄがｎ×ｎ次元の恒等行列である。

（Ｓ２）が実施される場合、Ｚ（Ｑ）がｎ×ｎ次元の行列Ｅによって増加され、この行列は、それがＱ_ｎｎに設定される位置（ｎ，ｎ）を除いて、どこでも０である。

次いで（２０４０）にて、データセットＴ内の全ての入力信号ｘ_ｉが、特徴ベクトルΦ_１（ｘ_ｉ）を得るためにクラス分類器（６０）を通じて伝播される。列が各サンプルの特徴を
Ψ_：，ｉ＝Φ_１（ｘ_ｉ）
として表す、ｎ×ｍ行列Ψ（ｎがデータセットＴ内のデータのサンプル数であり、ｍが特徴の数である）と、行列Ｗとが、
Ｗ＝Ψ^Ｔθ１^Ｔ
として計算される。

式（７）を解く場合、クラス分類器（６０）の得られる出力値も、

として記憶される。

次いで、式（５）を解く場合、（２０５０）にて、Ｑ^＊が、

の線形プログラムの最適値として計算される。

式（７）を解く場合、式（７）の各制約について、行列Ｂ^（ｉ）およびスカラーμ_ｉが、

を計算することにより、定義される。

これは、各制約ｉに対して、ｌ＝Σ_ｌｙ_ｌについて、ベクトル

を定義し、任意のｉについて、（Ｓ１）も（Ｓ２）も実施されない場合、
Ｂ^（ｉ）＝Ｄ^ｉｙ^Ｔ＋Ｅ^ｉ（１−ｙ）^Ｔ＋ｄｉａｇ（１，…，１／ｎ）［Ｆ^ｉ＋（ｎ−ｌ）Ｅ^ｉ］１^Ｔ
μ_ｉ＝０
を設定することによって行われる。

（Ｓ１）が実施される場合、ｌ＝Σ_ｌｙ_ｌ＞０である限り、上述の表現は同じままである。ｌ＝０である場合、上記の変数が、
Ｂ^（ｉ）＝−ｄｉａｇ（１，…，１／ｎ）１１^Ｔ
μ_ｉ＝１
のように設定される。

（Ｓ２）が実施される場合、ｌ＝Σ_ｌｙ_ｌ＜ｎである限り、（Ｓ１の特殊ケースの前の）上述の表現は同じままである。ｌ＝ｎである場合、ｎ×ｎ次元の行列としてμ_ｉ＝０およびＢ^（ｉ）を選択し、この行列は、それが１である位置（ｎ，ｎ）を除いて、どこでも０である。

次いで、

の線形プログラムを解くことにより、Ｑ^＊を最適値として得る。

これにより、方法が終了する。

用語「コンピュータ」は、所定の計算命令を処理するための任意の装置を対象として含む。これらの計算命令は、ソフトウェアの形態であってもよく、ハードウェアの形態であってもよく、またはソフトウェアとハードウェアの混合形態であってもよい。

説明したようにソフトウェアのみにおいてプロシージャが完全に実施されるわけではないことがさらに理解される。プロシージャはまた、ハードウェアの形態でも、ソフトウェアとハードウェアとの混合形態でも実施することができる。

Claims (15)

1. 分解できないメトリックにしたがって性能を最適化するように入力信号（ｘ_ｉ）をクラス分類するためのクラス分類器（６０）、特に２値クラス分類器を訓練するためのコンピュータ実装方法であって、前記分解できないメトリックは、訓練データセットの入力信号（ｘ_ｉ）に対応するクラス分類（ｙ_ｉ）と、前記クラス分類器から得られる前記入力信号の対応する予測されたクラス分類
   

   

   との間の整合性を測定するものであり、前記方法は、
   −前記分解できないメトリックが前記クラス分類（ｙ_ｉ）と前記予測されたクラス分類
   

   

   との混同行列による複数の項（ＲＰ，ＴＮ，ＰＰ，ＡＰ，ＡＮ）にどのように依存するかを特徴付ける、重み付け係数（ａ_ｊ，ｂ_ｊ，ｆ_ｊ，ｇ_ｊ）を提供するステップと、
   −提供された前記重み付け係数（ａ_ｊ，ｂ_ｊ，ｆ_ｊ，ｇ_ｊ）に応じて前記クラス分類器（６０）を訓練するステップと、
   を含む、方法。
2. 前記分解できないメトリックが、式
   

   

   によって与えられ、ここで、ａ_ｊおよびｂ_ｊはスカラー値であり、ｆ_ｊおよびｇ_ｊは関数であり、ＴＰ，ＴＮ，ＰＰ，ＰＮ，ＡＰ，およびＡＮは、前記混同行列のエントリ、すなわちＴＰ＝「真陽性」、ＴＮ＝「真陰性」、ＰＰ＝「予測陽性」、ＰＮ＝「予測陰性」、ＡＰ＝「実陽性」、およびＡＮ＝「実陰性」である、請求項１記載の方法。
3. 前記最適化が、第１のプレーヤ（Ｐ）と第２のプレーヤ（Ｑ）との間の２人用ゲームの均衡を見つけることによって実行され、前記第１のプレーヤ（Ｐ）が、訓練データ（Ｔ）の入力信号（ｘ_ｉ）に対応する第１のクラス分類
   

   

   を見つけようとし、前記第２のプレーヤ（Ｑ）が、前記訓練データ（Ｔ）の入力値（ｘ_ｉ）に対応する第２のクラス分類
   

   

   を見つけようとし、前記第１のクラス分類
   

   

   および前記第２のクラス分類
   

   

   に基づいて前記混同行列が評価される前記メトリックの期待値を、前記第１のプレーヤ（Ｐ）が最大化しようとし、前記第２のプレーヤ（Ｑ）が最小化しようとし、前記第２のクラス分類
   

   

   は、モーメントマッチング制約を受ける、請求項２記載の方法。
4. 前記最適化が、前記モーメントマッチング制約に対応するラグランジュ乗数（θ）の最適値を見つけることによって実行され、前記２値クラス分類器（６０）の全結合層（６４）の訓練されたパラメータが、前記ラグランジュ乗数（θ）の前記最適値と等しく設定される、請求項３記載の方法。
5. 前記期待値が、前記第１のクラス分類
   

   

   および／または前記第２のクラス分類
   

   

   の周辺確率
   

   

   に基づいて計算される、請求項４記載の方法。
6. 前記最適化が、２人のプレーヤ（Ｐ，Ｑ）の一方のプレーヤのみにおいて線形プログラムを解くことによって前記２人用ゲームを解くことを含む、請求項５記載の方法。
7. 前記分解できないメトリックにしたがった前記性能の前記最適化が、前記クラス分類（ｙ_ｉ）と前記予測されたクラス分類
   

   

   との間の整合性を測定する第２のメトリックの期待値の不等式制約をさらに受ける、請求項１から６までのいずれか１項記載の方法。
8. センサ信号をクラス分類するクラス分類器（６０）を使用するためのコンピュータ実装方法であって、前記クラス分類器（６０）は、請求項１から７までのいずれか１項記載の方法によって訓練され、前記方法が、
   −センサ（３０）からのデータを含むセンサ信号（Ｓ）を受信するステップと、
   −前記センサ信号（Ｓ）に依存する入力信号（ｘ）を決定するステップと、
   −前記入力信号（ｘ）を前記クラス分類器（６０）に供給して、前記入力信号（ｘ）のクラス分類を特徴付ける出力信号（ｙ）を得るステップと、
   を含む、方法。
9. アクチュエータ（１０）を制御するためのアクチュエータ制御信号（Ａ）を提供するために、請求項１から７までのいずれか１項記載の方法によって訓練されたクラス分類器（６０）を使用するためのコンピュータ実装方法であって、請求項８記載の方法のステップを全て含み、
   −前記出力信号（ｙ）に応じて前記アクチュエータ制御信号（Ａ）を決定するステップをさらに含む、方法。
10. 前記アクチュエータ（１０）が、少なくとも部分的に自律的なロボット（１００）および／または製造機械（２００）および／またはアクセス制御システム（３００）を制御する、請求項９記載の方法。
11. プロセッサ（４５，１４５）によって実行される際に、請求項１から１０までのいずれか１項記載の方法を、前記方法のステップの全てによってコンピュータに実行させるように構成されている、コンピュータプログラム。
12. 請求項１１記載のコンピュータプログラムが記憶されている、機械可読記憶媒体（４６，１４６）。
13. アクチュエータ（１０）を動作させるための制御システム（４０）であって、前記制御システム（４０）が、請求項１から７までのいずれか１項記載の方法によって訓練されたクラス分類器（６０）を備え、かつ前記クラス分類器（６０）の出力にしたがって前記アクチュエータ（１０）を動作させるように構成されている、制御システム（４０）。
14. 請求項８から１０までのいずれか１項記載の方法を実行するように構成されている、制御システム（４０）。
15. 請求項１から７までのいずれか１項記載の方法を実行するように構成されている、訓練システム（１４０）。

Images