JP2023116599A - 距離に基づく学習信頼度モデル - Google Patents

距離に基づく学習信頼度モデル Download PDF

Info

Publication number
JP2023116599A
JP2023116599A JP2023093008A JP2023093008A JP2023116599A JP 2023116599 A JP2023116599 A JP 2023116599A JP 2023093008 A JP2023093008 A JP 2023093008A JP 2023093008 A JP2023093008 A JP 2023093008A JP 2023116599 A JP2023116599 A JP 2023116599A
Authority
JP
Japan
Prior art keywords
training
query
class
distance
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023093008A
Other languages
English (en)
Inventor
アリク，セルジャン・オメール
Omer Arik Sercan
シン，チェン
Chen Xing
ヂャン，ズーヂャオ
Zizhao Zhang
フィスター，トマス・ジョン
Jon Pfister Tomas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2023116599A publication Critical patent/JP2023116599A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

【課題】トレーニングされたモデルの信頼を定量化する方法及びシステムを提供する。【解決手段】分類モデル（２１０）および信頼度モデル（２２０）を合わせてトレーニングするシステム（１００）は、複数のトレーニングデータサブセット（１１２）を含むトレーニングデータセット（１１０）を受信することと、トレーニング例のサポートセットおよびトレーニング例のクエリセットを選択することと、クラス距離尺度と、トレーニング例のクエリセット内の各トレーニング例について生成されたクエリ符号化に関連付けられる正解距離とに基づいて、分類モデルのパラメータを更新することと、誤分類されたと識別された各トレーニング例について、新たなクエリ符号化をサンプリングすることと、新たなクエリ符号化に基づいて信頼度モデルのパラメータを更新することと、を含む動作をデータ処理ハードウェア（１０４）上で実行する。【選択図】図１

Description

本開示は、距離に基づく学習信頼度モデルに関する。
背景
機械学習モデルは、入力を受信し、受信された入力に基づいて、出力、たとえば、予測された出力を生成する。機械学習モデルは、データ上でトレーニングされる。しかしながら、予測のためにトレーニングされたモデルの信頼を定量化すること（信頼度較正としても知られる）は、課題である。「よく較正された」モデルの場合、より高い信頼度を有する予測は、正確である可能性がより高いはずである。しかしながら、モデル信頼度として誤って解釈される、パイプラインの終わりに得られる予測確率（softmax出力）は、モデ
ルの判定品質の較正が不十分であり、信頼度値は、分類が不正確であるときでさえ大きい傾向がある。
概要
本開示の一態様は、分類モデルおよび信頼度モデルを合わせてトレーニングするための方法を提供する。本方法は、データ処理ハードウェアにおいて、複数のトレーニングデータサブセットを含むトレーニングデータセットを受信することを含む。各トレーニングデータサブセットは、異なるそれぞれのクラスに関連付けられ、それぞれのクラスに属する複数の対応するトレーニング例を有する。トレーニングデータセット内の２つ以上のトレーニングデータサブセットから、本方法は、データ処理ハードウェアが、トレーニング例のサポートセットおよびトレーニング例のクエリセットを選択することも含む。トレーニング例のサポートセットは、２つ以上のトレーニングデータサブセットの各々からサンプリングされたＫ個のトレーニング例を含み、トレーニング例のクエリセットは、トレーニング例のサポートセットに含まれない、２つ以上のトレーニングデータサブセットの各々からサンプリングされたトレーニング例を含む。２つ以上のトレーニングデータサブセットに関連付けられるそれぞれのクラスごとに、本方法は、さらに、データ処理ハードウェアが、分類モデルを用いて、それぞれのクラスに属する、トレーニング例のサポートセット内のＫ個のトレーニング例に関連付けられるＫ個のサポート符号化を平均することによって、重心値を求めることを含む。トレーニング例のクエリセットにおける各トレーニング例について、本方法は、データ処理ハードウェアが、分類モデルを用いて、クエリ符号化を生成することと、データ処理ハードウェアが、クエリ符号化とそれぞれのクラスごとに求められた重心値との間のそれぞれの距離を表すクラス距離尺度を求めることと、データ処理ハードウェアが、クエリ符号化と、トレーニング例のクエリセット内の対応するトレーニング例に関連付けられる正解ラベルとの間の正解距離を求めることと、データ処理ハードウェアが、クラス距離尺度および正解距離に基づいて分類モデルのパラメータを更新することも含む。誤分類されたと識別された、トレーニング例のクエリセットにおける各トレーニング例について、本方法はさらに、データ処理ハードウェアが、信頼度モデルを用いて、対応する誤分類されたトレーニング例について分類モデルによって生成されたクエリ符号化の標準偏差値を生成することと、データ処理ハードウェアが、標準偏差値およびクエリ符号化を用いて、対応する誤分類されたトレーニング例について新たなクエリ符号化をサンプリングすることと、データ処理ハードウェアが、新たなクエリ符号化に基づいて信頼度モデルのパラメータを更新することとを含む。
本開示の実現例は、以下の任意選択の特徴のうちの１つまたは複数を含んでもよい。い
くつかの実現例では、正解ラベルは、距離に基づく表現空間内に正解重心値を含む。いくつかの例では、クラス距離尺度および正解距離に基づいて分類モデルのパラメータを更新することは、クラス内距離を最小化し、クラス間距離を最大化するように、分類モデルをトレーニングする。
いくつかの実現例では、信頼度モデルは、より大きい正解距離について標準偏差値を最大化し、それぞれの正解重心値に近い新たなクエリ符号化をサンプリングするようにトレーニングされる。いくつかの例では、誤分類されたと識別された、トレーニング例のクエリセット内の任意のトレーニング例は、距離閾値を満たさない正解距離を含む、トレーニング例のクエリセット内の任意のトレーニング例を含む。いくつかの実現例では、信頼度モデルは、距離閾値を満たす正解距離を含む、トレーニング例のクエリセットにおけるトレーニング例では、トレーニングされない。いくつかの例では、信頼度モデルのパラメータを更新することは、より大きなクラス距離尺度に関連付けられるクエリ符号化について、より大きな標準偏差値を出力するように信頼度モデルを促すように、信頼度モデルのパラメータを更新することを含む。いくつかの実現例では、トレーニング例は画像データを含む。分類モデルは、ディープニューラルネットワーク（ＤＮＮ）を含んでもよい。いくつかの例では、信頼度モデルはディープニューラルネットワーク（ＤＮＮ）を含む。
本開示の別の態様は、分類モデルおよび信頼度モデルを合わせてトレーニングするためのシステムを提供する。本システムは、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェアによって実行されるとデータ処理ハードウェアに複数のトレーニングデータサブセットを含むトレーニングデータセットを受信することを含む動作を実行させる命令を記憶する。上記動作は、トレーニングデータセット内の２つ以上のトレーニングデータサブセットから、トレーニング例のサポートセットおよびトレーニング例のクエリセットを選択することも含む。トレーニング例のサポートセットは、２つ以上のトレーニングデータサブセットの各々からサンプリングされたＫ個のトレーニング例を含み、トレーニング例のクエリセットは、トレーニング例のサポートセットに含まれない、２つ以上のトレーニングデータサブセットの各々からサンプリングされたトレーニング例を含む。上記動作は、さらに、２つ以上のトレーニングデータサブセットに関連付けられるそれぞれのクラスごとに、データ処理ハードウェアが、分類モデルを用いて、それぞれのクラスに属する、トレーニング例のサポートセット内のＫ個のトレーニング例に関連付けられるＫ個のサポート符号化を平均することによって、重心値を求めることを含む。トレーニング例のクエリセットにおける各トレーニング例について、上記動作は、分類モデルを用いてクエリ符号化を生成することと、クエリ符号化とそれぞれのクラスごとに求められた重心値との間のそれぞれの距離を表すクラス距離尺度を求めることと、クエリ符号化と、トレーニング例のクエリセット内の対応するトレーニング例に関連付けられる正解ラベルとの間の正解距離を求めることと、クラス距離尺度および正解距離に基づいて分類モデルのパラメータを更新することも含む。上記動作はさらに、誤分類されたと識別された、トレーニング例のクエリセット内の各トレーニング例について、信頼度モデルを用いて、対応する誤分類されたトレーニング例について分類モデルによって生成されたクエリ符号化の標準偏差値を生成することと、標準偏差値およびクエリ符号化を用いて、対応する誤分類されたトレーニング例について新たなクエリ符号化をサンプリングすることと、新たなクエリ符号化に基づいて信頼度モデルのパラメータを更新することとを含む。
本開示の実現例は、以下の任意選択の特徴のうちの１つまたは複数を含んでもよい。いくつかの実現例では、正解ラベルは、距離に基づく表現空間内に正解重心値を含む。いくつかの例では、クラス距離尺度および正解距離に基づいて分類モデルのパラメータを更新することは、クラス内距離を最小化し、クラス間距離を最大化するように、分類モデルをトレーニングする。
いくつかの実現例では、信頼度モデルは、より大きい正解距離について標準偏差値を最大化し、正解重心値にできるだけ近い新たなクエリ符号化をサンプリングするようにトレーニングされる。いくつかの例では、誤分類されたと識別された、トレーニング例のクエリセット内の任意のトレーニング例は、距離閾値を満たさない正解距離を含む、トレーニング例のクエリセット内の任意のトレーニング例を含む。いくつかの実現例では、信頼度モデルは、距離閾値を満たす正解距離を含む、トレーニング例のクエリセットにおけるトレーニング例では、トレーニングされない。いくつかの例では、信頼度モデルのパラメータを更新することは、より大きなクラス距離尺度に関連付けられるクエリ符号化について、より大きな標準偏差値を出力するように信頼度モデルを促すように、信頼度モデルのパラメータを更新することを含む。いくつかの実現例では、トレーニング例は画像データを含む。分類モデルは、ディープニューラルネットワーク（ＤＮＮ）を含んでもよい。いくつかの例では、信頼度モデルはディープニューラルネットワーク（ＤＮＮ）を含む。
本開示の１つ以上の実現例の詳細は、添付の図面および以下の説明に記載されている。他の態様、特徴、および利点は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。
分類モデルおよび較正モデルをトレーニングするために距離に基づくエラーからの学習（ＤＢＬＥ）を実現するトレーニングフレームワークを提供する例示的なシステムである。 図１の分類モデルおよび較正モデルをトレーニングするためのＤＢＬＥアーキテクチャの例である。 トレーニング例の距離に基づく表現空間のプロットを示す。 トレーニング例の距離に基づく表現空間のプロットを示す。 分類モデルおよび較正モデルをトレーニングするためにＤＢＬＥを用いるための例示的なアルゴリズムである。 信頼度モデルと並行して分類モデルをトレーニングする方法のための動作の例示的な構成のフローチャートである。 本明細書で説明されるシステムおよび方法を実現するために用いられ得る例示的なコンピューティングデバイスの概略図である。
様々な図面における同様の参照符号は、同様の要素を示す。
詳細な説明
ディープニューラルネットワーク（ＤＮＮ）をトレーニングするための従来の技法は、典型的には、較正不良のＤＮＮをもたらす。ＤＮＮは、多くの重要な意思決定場面において展開されるので、較正不良は、費用が非常にかかり得る誤った判断をもたらし得る。ＤＮＮによって行われた誤った判断に基づいて動作すること防止するために、ＤＮＮが、ＤＮＮによって出力される判断上で信頼度推定を出力することは、望ましい。この目的のために、あるシステムは、低い信頼度でＤＮＮによって出力された決定に基づいて動作するのを控えることができ、そのような決定に基づくことを回避でき、および／または人間の専門家に相談することができ、その結果、これらの低信頼度の決定が信頼され、それらに基づいて動作する場合に、有害な結果を避けることができる。残念ながら、正確な信頼度推定は、ＤＮＮにとって、特に較正不良のＤＮＮにとっては、困難である。
本明細書における実現例は、良好に較正されたニューラルネットワークをもたらすために距離に基づくエラーからの学習（ＤＢＬＥ）を実現するトレーニングフレームワークを対象とする。ＤＢＬＥにおいて、あるシステムは、分類モデル（「予測モデル」とも呼ば
れる）と信頼度モデルとを並行してトレーニングする。ＤＢＬＥを用いた分類モデルのトレーニングは、距離に基づく表現空間を学習し、それによって、距離に基づく表現空間は、所与のテストサンプルに対する分類モデルの性能を較正するために、テストサンプルの、当該テストサンプルの正解クラス中心までのＬ２距離を定義する。したがって、バニラトレーニング（最尤を最適化するための従来のトレーニング）とは異なり、ＤＢＬＥで分類モデルをトレーニングすることは、その決定品質を較正する最高の信頼度測定として用いるための特徴を有する。しかしながら、テストサンプルについてこの距離を計算するには、正解クラス中心についてのラベルが必要であるため、それは、推論で直接取得することはできない。したがって、ＤＢＬＥによる信頼度モデルのトレーニングは、この距離を推論中の信頼度スコアとして推定するように構成される。信頼度モデルをトレーニングするために、ＤＢＬＥは、分類モデルのトレーニング中に、誤分類されたトレーニングサンプルを利用する（トレーニングエラーからの学習）。
図１を参照すると、いくつかの実現例では、システム１００は、リソース１０２を含むコンピューティング環境１３０を含み、リソース１０２は、データ処理ハードウェア１０４（例えば、サーバもしくはＣＰＵ）および／または命令を記憶する遠隔メモリハードウェア１０６を含み、命令は、データ処理ハードウェア１０４上で実行されるとデータ処理ハードウェア１０４に動作を実行させる。分類モデル２１０および信頼度モデル２２０を並行してトレーニングする、距離に基づくエラーからの学習（ＤＢＬＥ）アーキテクチャ２００は、リソース１０２上に存在してもよい。図示の例では、ＤＢＬＥアーキテクチャ２００は、異なるそれぞれのクラスに関連付けられる複数のトレーニング例１１４を各々が含む複数のトレーニングデータサブセット１１２、１１２ａ～ｎを含むトレーニングデータセット１１０上で分類モデル２１０をトレーニングする。各トレーニング例１１４は、トレーニング例１１４が属するそれぞれのクラスを示す対応する正解ラベルを含む。ここで、正解ラベルは、距離に基づく表現空間において正解重心値２１２Ｇを含んでもよい。いくつかの例では、トレーニング例は画像または画像データに対応する。
明らかとなるように、ＤＢＬＥアーキテクチャ２００は、分類モデル２１０を通して距離に基づく表現空間を学習し、この空間内の距離を利用して、充分に較正された分類をもたらすように、構成される。ＤＢＬＥアーキテクチャ２００は、表現空間におけるテストサンプルの位置と、同じクラスにおけるトレーニングサンプルに対するテストサンプルの距離との相関関係が、信頼度推定を誘導するための有用な情報を含むことに依拠する。すなわち、ＤＢＬＥアーキテクチャは、テストサンプルの、正解クラス中心までの距離が、分類モデル２１０の性能を較正することができるように、トレーニングおよび推論のためのプロトタイプ学習を適応させて、分類を通して距離に基づく表現空間を学習するように構成される。本明細書で用いられる場合、プロトタイプ学習とは、表現空間における、サンプルの、それらの対応するクラス中心（「プロトタイプ」とも呼ばれる）までの距離にのみ依存する、トレーニングおよび予測の両方を指し、それによって、関連するサンプルが表現空間において一緒にクラスタリングされるように、クラス内距離を最小化し、クラス間距離を最大化するように、分類モデル２１０のトレーニングを最適化する。推論中、正解クラス中心の正解ラベルは未知であるので、ＤＢＬＥアーキテクチャ２００は、別個の信頼度モデル２２０を分類モデル２１０と合わせてトレーニングし、それによって、テストサンプルの、その正解クラス中心までの距離の推定を可能にする。具体的には、実現例は、トレーニング中に分類モデル２１０によって誤分類されたトレーニングサンプルのみで信頼度モデルをトレーニングすることを対象とする。モデル２１０、２２０は、各々、ディープニューラルネットワーク（ＤＮＮ）を含んでもよい。
図２は、分類モデル２１０および信頼度モデル２２０を並行して合わせてトレーニングするための例示的なＤＢＬＥアーキテクチャ２００を提供し、分類モデル２１０によって誤分類されたと識別されたトレーニング例１１４を用いて信頼度モデル２２０をトレーニ
ングして、信頼度モデル２２０が、距離に基づく表現空間内における、テストサンプルの、その正解中心までの距離を、推論中において、その正解中心が分からない場合に、推定できるようにする。最小バッチ勾配降下の変形に基づく分類のためのバニラトレーニング技術とは対照的に、ＤＢＬＥアーキテクチャは、分類モデル２１０をトレーニングするためにエピソードトレーニングを用い、ＤＢＬＥは、トレーニングデータセット１１０からトレーニング例１１４をランダムにサンプリングしてトレーニング例の２つのセット、つまり、（１）トレーニング例のサポートセット１１４Ｓ、および（２）トレーニング例のクエリセット１１４Ｑを選択することによって、エピソードを作成する。より具体的には、ＤＢＬＥは、最初に、複数のデータサブセット１１２からＮ個のトレーニングデータサブセット１１２をランダムにサンプリング／選択することによって、各エピソードを作成する。その後、ＤＢＬＥは、Ｎ個のトレーニングデータサブセット１１２の各々からＫ個のトレーニング例１１４Ｓａ～ｋをサンプリングすることによってトレーニングサンプルのサポートセット１１４Ｓを選択し、Ｎ個のトレーニングデータサブセット１１２の各々からトレーニングサンプルのサポートセット１１４Ｓに含まれないトレーニング例１１４をサンプリングすることによってトレーニング例のクエリセット１１４Ｑを選択する。いくつかの例では、Ｎ個のトレーニングデータサブセットは、トレーニングデータセット１１０内の２つ以上のトレーニングデータサブセット１１２を含む。Ｎ個のトレーニングデータサブセットは、複数のトレーニングデータサブセット全体を含むことができるが、ＤＢＬＥは、トレーニングデータサブセット全体を用いることを必要とせず、なぜならば、異なるクラスの数が非常に大きい場合、トレーニング例のサポートセットからトレーニング例をバッチでプロセッサメモリに適合させることは、困難であり得るからである。
Ｎ個のトレーニングデータサブセット１１２に関連付けられるそれぞれのクラスごとに、ＤＢＬＥは、分類モデル２１０を用いて、それぞれのクラスに属する、トレーニング例のサポートセット１１４Ｓ内のＫ個のトレーニング例１１４Ｓａ～ｋに関連付けられるＫ個のサポート符号化２１２Ｓ、２１２Ｓａ～ｋを平均することによって、重心値２１４を求める。すなわち、所与のクラスについて、分類モデル２１０は、入力として、トレーニング例のサポートセット１１４Ｓ中のＫ個のトレーニング例１１４の各々を受け取り、出力として、サポートセット中の各トレーニング例について対応するサポート符号化２１２Ｓを生成する。その所与のクラスについて、ＤＢＬＥは、Ｋ個のサポート符号化２１２Ｓを平均して、それぞれの所与のクラスについてそれぞれの重心値２１４を計算／求める。したがって、ＤＢＬＥは、残りのＮ個のトレーニングサブセット２１２について繰り返され、各重心値２１４がＮ個のクラスのそれぞれのクラスを表すように、Ｎ個の重心値２１４が計算される。
分類モデル２１０はさらに、トレーニング例のクエリセット１１４Ｑの各トレーニング例についてそれぞれのクエリ符号化２１２Ｑ、ｈｉを生成し、ＤＢＬＥは、クエリ符号化２１２Ｑとそれぞれのクラスごとに求められた重心値２１４との間のそれぞれの距離を表すクラス距離尺度を求める。ＤＢＬＥはまた、クエリ符号化２２Ｑと、トレーニング例のクエリセット１１４Ｑ内の対応するトレーニング例に関連付けられる正解重心値２１２Ｇとの間の正解距離を求め、クラス距離尺度および正解距離に基づいて分類モデル２１０のパラメータを更新する。具体的には、ＤＢＬＥは、クエリ符号化２１２Ｑと、Ｎ個のそれぞれのクラスの各々について求められた重心値２１４、２１４ａ～ｎとを受け取る、分類のプロト損失２１５を用いて、それぞれのクラス距離尺度を求め／計算し、正解重心値２１２Ｇを受け取って、クエリ符号化２１２Ｑと正解重心値２１２Ｇとの間の正解距離も求める／計算する。したがって、分類モデル２１０は、トレーニング可能なパラメータＱによってパラメータ化される関数であり、以下の式によって表される、トレーニング例のサポートセット１１４Ｓを前提とする、トレーニング例のクエリセット１１４Ｑにおける各トレーニング例の正解重心値２１２Ｇの負の対数尤度に関連付けられる損失を用いる。
Figure 2023116599000002
式中、Ｓｅはトレーニング例のサポートセット１１４Ｓであり、Ｑｅはトレーニング例のクエリセット１１４Ｑであり、ｙｉは正解重心値２１２Ｇであり、ｘｉは分類モデルに入力されるクエリセットトレーニング例１１４Ｑであり、θは分類モデル２１０のトレーニング可能なパラメータを表す。分類のプロトタイプの損失２１５は、以下の式を用いて、Ｎ個のクラスのそれぞれのクラスごとのそれぞれのクラス距離尺度に基づいて、トレーニング例のクエリセット１１４Ｑ内の各トレーニング例ｘｉの予測ラベル分布を計算するように構成される。
Figure 2023116599000003
ここで、ｈｉは、距離に基づく表現空間において対応するトレーニング例ｘｉを表す対応するクエリ符号化２１４Ｑである。したがって、ＤＢＬＥは、等式２を用いてトレーニング例のクエリセット１１４Ｑ内の各トレーニング例ｘｉについて計算される予測ラベル分布
Figure 2023116599000004
を用いて式１によって計算される損失
Figure 2023116599000005
を最小化することによって、分類モデル２１０のトレーニング可能パラメータＱを更新する。したがって、クエリ符号化２１２ＱおよびＮ個のクラスについて求められた重心値２１４の表現空間において、分類モデル２１０のトレーニングは、クラス間距離を最大化し、クラス内距離を最小化する。その結果、同じクラスに属するトレーニング例は一緒にクラスタリングされ、異なるクラスを表すクラスタは表現空間内で押し離される。
分類モデル２１０を用いてトレーニング例のクエリセット１１４Ｑ内の各トレーニング例を分類する一方で、ＤＢＬＥ２００は、分類モデル２１０によって誤分類された任意のトレーニング例を識別する。ＤＢＬＥ２００は、分類モデル２１０によって予測された分類がトレーニング例の対応する正解ラベル２１２Ｇと一致しない場合に、そのトレーニング例を誤認識として識別してもよい。いくつかの例では、ＤＢＬＥ２００は、クエリ符号化２１２Ｑとトレーニング例のクエリセット１１４Ｑ内の対応するトレーニング例に関連付けられる正解重心値２１２Ｇとの間のそれぞれの正解距離が表現空間内で距離閾値を満たさない場合、トレーニング例を誤認識として識別する。そうでない場合、ＤＢＬＥ２００は、クエリ符号化２１２Ｑと、距離閾値を満たす（たとえば距離閾値以下）、トレーニング例のクエリセット１１４Ｑ内の対応するトレーニング例に関連付けられる正解重心値
２１２Ｇとの間に、それぞれの正解距離を有する、トレーニング例のクエリセット１１４Ｑ内の、任意のトレーニング例を、分類モデル２１０によって正しく分類されるとして識別してもよい。
いくつかの実現例では、信頼度モデル２２０は、分類モデル２１０によって誤分類されたと識別された、トレーニング例のクエリセット１１４Ｑ内のトレーニング例で、トレーニングする。一般に、正しく分類されたトレーニング例は、分類モデルのトレーニング中に遭遇するトレーニング例の大部分を構成する。この概念に基づくと、トレーニング例１１４Ｑのすべてを用いることは、信頼度モデル２２０のトレーニングを支配するトレーニング例のクエリセット１１４Ｑにおける正しく分類されたトレーニング例に関連付けられる小さい／短いクラス距離尺度をもたらし、それによって、信頼度モデル２２０が、すべてのトレーニング例１１４Ｑの少数を構成する誤分類されたトレーニング例に関連付けられる、より大きいクラス距離尺度を捕捉することを、より困難にするであろう。
図２の例示的なＤＢＬＥアーキテクチャ２００では、信頼度モデル２２０の周りの破線ボックス、ならびに信頼度モデル２２０に関連付けられるサンプリング動作２２５および較正のプロト損失２５０は、誤分類されたと識別されたトレーニング例のクエリセット１１４Ｑ中の各トレーニング例のみを用いて、分類モデル２１０と並行して信頼度モデル２２０をトレーニングすることを示す。したがって、誤分類されたと識別された、トレーニング例のクエリセット１１４Ｑ内の各トレーニング例について、データ処理ハードウェア１０４上で実行されるＤＢＬＥは、信頼度モデル２２０を用いて、対応する誤分類されたトレーニング例について分類モデル２１０によって生成されたクエリ符号化２１２Ｑについて標準偏差値２２２、σを生成し、標準偏差値２２２およびクエリ符号化２１２Ｑを用いて、対応する誤分類されたトレーニング例について新たなクエリ符号化２２４をサンプリングし、新たなクエリ符号化２２４に基づいて信頼度モデル２２０のパラメータφを更新する。
信頼度モデル２２０は、より大きなクラス距離尺度に関連付けられるクエリ符号化２１２Ｑについて、より大きな標準偏差値２２２、σを出力するようにトレーニングされる。新たなクエリ符号化２２４、ｚｓをサンプリングするために、信頼度モデル２２０は、対応するクエリ符号化２１２Ｑ、ｈｓ、および対応する標準偏差値２２２、σｓによってパラメータ化された等方性ガウス分布からサンプリングするサンプリング動作２２５を用いる。較正のプロト損失２５０は、以下の式を用いて、誤分類されたトレーニング例ｘｓごとにサンプリングされた新たなクエリ符号化２２４ｚｓの予測されたラベル分布を用いてプロトタイプの損失を計算するように構成される。
Figure 2023116599000006
従って、ＤＢＬＥは、より大きなクラス距離尺度に関連付けられるクエリ符号化２１２Ｑについて、より大きな標準偏差値２２２、σを出力するように信頼度モデル２２０を促すように、信頼度モデル２２０のトレーニング可能なパラメータφを更新する。特に、表現空間内において誤分類された各トレーニング例についてクエリ符号化２１２Ｑを固定することにより、式３を最大化すると、新たなクエリ符号化２２４は、それぞれの正解重心値２１２Ｇにできるだけ近くなる。誤分類されたトレーニング例は、正解重心値２１２Ｇからより離れたクエリ符号化２１２Ｑを含むので、より大きい対応する標準偏差値２２２を出力するように信頼度モデル２２０を促すことは、新たなクエリ符号化２２４に、正解重心値２１２Ｇに近くなるよう強いる。図４は、図２で説明したＤＢＬＥ２００を用いた
分類モデルおよび較正モデル２１０、２２０のトレーニングを表す例示的なアルゴリズム４００を提供する。
図３Ａおよび図３Ｂは、表現空間におけるトレーニング例のクエリセット１１４Ｑからのトレーニング例を表すドットの例示的なプロット３００ａ、３００ｂを示す。プロット３００ａ、３００ｂの各々における点線の垂直線は、左右のトレーニング例が異なるそれぞれのクラスに属する決定境界を示す。さらに、点線の円は、対応するクエリ符号化２１２Ｑ、ｈａ－ｈｃについての標準偏差値２２２、σを表し、ｈａ、ｈｂは、誤分類されたトレーニング例１１４Ｑに対応する誤分類されたクエリ符号化２２２Ｑに関連付けられ、ｈｃは、正しく分類されたトレーニング例１１４Ｑに対応する正しく分類されたクエリ符号化２２２Ｑに関連付けられる。図３Ａのプロット３００ａは、信頼モデル２２０のトレーニング可能なパラメータφを更新する前の、誤分類されたクエリ符号化ｈａ、ｈｂおよび正しく分類されたクエリ符号化ｈｃの両方についての短い標準偏差値２２２を示している。図３Ｂのプロット３００ｂは、信頼性モデル２２０のトレーニング可能なパラメータφを更新した後、較正のプロト損失が、誤分類されたトレーニング例からサンプリングされた新たなクエリ符号化ｚａ、ｚｂを、正しいクラスに関連付けられる正解重心値２１２Ｇに可能な限り近く移動させる結果、誤分類されたクエリ符号化ｈａ、ｈｂに対して、より大きな標準偏差値２２２を示す。
再び図２を参照すると、推論中に、データ処理ハードウェア１０４上で実行されるＤＢＬＥ２００は、以下の式を用いて、すべての対応するトレーニング例の表現２１２Ｓを平均することによって、トレーニングセット内のすべてのクラスｃについてクラス中心２１４を計算する。
Figure 2023116599000007
式中、
Figure 2023116599000008
はクラスｋに属する全てのトレーニング例のセットである。次いで、テストサンプルｘｔが与えられると、各クラス中心２１４に対する対応するクエリ符号化２１２Ｑのそれぞれのクラス距離尺度が求められる。ｘｔのラベルの予測は、表現空間において最も近い中心を有するクラスにｘｔが割り当てられるように、クラス距離尺度に基づく。このように、クエリ符号化がそれの正解中心２１４Ｇから離れすぎている場合、それは誤分類される可能性がある。正解重心値２１２Ｇは、推論においてテストサンプルｘｔについて未知であり、すなわち、ラベルは利用可能ではないため、ＤＢＬＥは、トレーニングされた信頼度モデル２２０を用いてそれぞれのクラス距離尺度を推定して、ラベルの予測の際に分類モデル２１０を支援する。すなわち、分類モデル２１０は、対応するクエリ符号化ｈｔ２１２Ｑを用いて、すべてのテストサンプルｘｔのラベルを予測する。次いで、信頼度モデル２２０は、クエリ符号化ｈｔの標準偏差値σｔ２２２を出力し、サンプリング動作２２５は、新たなクエリ符号化２２４をサンプリングする。次いで、ＤＢＬＥは、以下の式を用いて、予測ラベル分布を信頼度推定として平均する。
Figure 2023116599000009
ここで、Ｕは、新たなクエリ符号化ｚｔ２２４の総数であり、
Figure 2023116599000010
は、分類モデル２１０の予測
Figure 2023116599000011
を較正するための信頼度スコアとして用いられる。したがって、信頼度モデルからのより大きな推定変動のため、ＤＢＬＥは、正解クラス中心からより離れた（誤分類される可能性が高い）テスト例に対する表現サンプリングに対して、より多くの無作為性を加える。
図５は、信頼度モデル２２０と並行して分類モデル２１０をトレーニングする方法５００のための動作の例示的な構成のフローチャートである。方法５００は、図１のメモリハードウェア１０６に記憶される命令に基づいて、図１のデータ処理ハードウェア１０４上で実行することができる。動作５０２において、方法５００は、データ処理ハードウェア１０４において、複数のトレーニングデータサブセット１１２を含むトレーニングデータセット１１０を受け取ることを含む。各トレーニングデータサブセット１１２は、異なるそれぞれのクラスに関連付けられ、それぞれのクラスに属する複数の対応するトレーニング例１１４を有する。
動作５０４において、トレーニングデータセット１１０内の２つ以上のトレーニングデータサブセット１１２について、方法５００は、データ処理ハードウェア１０４によって、トレーニング例のサポートセット１１４Ｓおよびトレーニング例のクエリセット１１４Ｑを選択することを含む。トレーニング例のサポートセット１１４Ｓは、２つ以上のトレーニングデータサブセット１１２の各々からサンプリングされたＫ個のトレーニング例１１４を含む。トレーニング例のクエリセット１１４Ｑは、トレーニング例のサポートセット１１４Ｓに含まれない、２つ以上のトレーニングデータサブセット１１２の各々からサンプリングされたトレーニング例１１４を含む。
方法５００は、動作５０６において、データ処理ハードウェア１０４によって、分類モデル２１０を用いて、それぞれのクラスに属するトレーニング例のサポートセット１１４Ｓ内のＫ個のトレーニング例１１４に関連付けられるＫ個のサポート符号化２１５を平均することによって重心値２１４を求めることを含む。動作５０８において、トレーニング例のクエリセット１１４Ｑ内の各トレーニング例について、方法５００は、データ処理ハードウェア１０４が、分類モデル２１０を用いて、クエリ符号化２１２Ｑを生成することと、データ処理ハードウェア１０４が、クエリ符号化２１２Ｑとそれぞれのクラスごとに求められた重心値２１４との間のそれぞれの距離を表すクラス距離尺度を求めることと、データ処理ハードウェア１０４が、クエリ符号化２１２Ｑと、トレーニング例のクエリセット１１４Ｑ内の対応するトレーニング例１１４に関連付けられる正解ラベル２１４Ｇとの間の正解距離を求めることと、データ処理ハードウェア１０４が、クラス距離尺度およ
び正解距離に基づいて分類モデル２１０のパラメータを更新することとを含む。
動作５１０において、誤分類されたと識別されたトレーニング例のクエリセット１１４Ｑ内の各トレーニング例１１４について、方法５００は、データ処理ハードウェア１０４が、信頼度モデル２２０を用いて、対応する誤分類されたトレーニング例について分類モデル２１０によって生成されたクエリ符号化２１２Ｑの標準偏差値２２２を生成することと、データ処理ハードウェア１０４が、標準偏差値２２２およびクエリ符号化２１２Ｑを用いて、対応する誤分類されたトレーニング例について新たなクエリ符号化２２４をサンプリングすることと、データ処理ハードウェア１０４が、新たなクエリ符号化２２４に基づいて信頼度モデル２２０のパラメータを更新することとを含む。
ソフトウェアアプリケーション（すなわち、ソフトウェアリソース）は、コンピューティングデバイスにタスクを実行させるコンピュータソフトウェアを指してもよい。いくつかの例では、ソフトウェアアプリケーションは、「アプリケーション」、「アプリ」、または「プログラム」と呼ばれることがある。アプリケーションの例には、システム診断アプリケーション、システム管理アプリケーション、システム保守アプリケーション、ワード処理アプリケーション、スプレッドシートアプリケーション、メッセージングアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、およびゲームアプリケーションが含まれるが、これらに限定はされない。
非一時的メモリは、コンピューティングデバイスによる使用のためにプログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を一時的または永続的に記憶するために用いられる物理デバイスであってもよい。非一時的メモリは、揮発性および／または不揮発性のアドレス指定可能な半導体メモリであってもよい。不揮発性メモリの例は、フラッシュメモリおよび読み出し専用メモリ（ＲＯＭ）／プログラマブル読み出し専用メモリ（ＰＲＯＭ）／消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）／電子的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）（たとえば、ブートプログラムなどのファームウェアに典型的に用いられる）を含むが、これらに限定されない。揮発性メモリの例には、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、およびディスクまたはテープが含まれるが、これらに限定されない。
図６は、本文書で説明されるシステムおよび方法を実現するために用いられ得る例示的なコンピューティングデバイス６００の概略図である。コンピューティングデバイス６００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことが意図されている。本明細書に示された構成要素、それらの接続および関係、ならびにそれらの機能は、例示的なものにすぎず、本文書に記載および／または特許請求される本発明の実現例を限定するものではない。
コンピューティングデバイス６００は、プロセッサ６１０と、メモリ６２０と、ストレージデバイス６３０と、メモリ６２０および高速拡張ポート６５０に接続する高速インターフェイス／コントローラ６４０と、低速バス６７０およびストレージデバイス６３０に接続する低速インターフェイス／コントローラ６６０とを含む。コンポーネント６１０，６２０，６３０，６４０，６５０，および６６０の各々は、様々なバスを用いて相互接続され、共通のマザーボード上に、または必要に応じて他の方法で実現され得る。プロセッサ６１０は、高速インターフェイス６４０に結合されたディスプレイ６８０などの外部入力／出力装置上にグラフィカルユーザインターフェイス（ＧＵＩ）のためのグラフィカル情報を表示するために、メモリ６２０またはストレージデバイス６３０に記憶された命令
を含む、コンピューティングデバイス６００内で実行するための命令を処理することができる。他の実現例では、複数のプロセッサおよび／または複数のバスが、必要に応じて、複数のメモリおよび複数のタイプのメモリとともに用いられ得る。また、複数のコンピューティングデバイス６００が接続されてもよく、各デバイスは、（たとえば、サーババンクとして、ブレードサーバのグループとして、またはマルチプロセッサシステムとして）必要な動作の部分を提供する。
メモリ６２０は、コンピューティングデバイス６００内で情報を非一時的に記憶する。メモリ６２０は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットであってもよい。非一時的メモリ６２０は、コンピューティングデバイス６００による使用のためにプログラム（たとえば、命令のシーケンス）またはデータ（たとえば、プログラム状態情報）を一時的または永続的に記憶するために用いられる物理デバイスであり得る。不揮発性メモリの例は、フラッシュメモリおよび読み出し専用メモリ（ＲＯＭ）／プログラマブル読み出し専用メモリ（ＰＲＯＭ）／消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）／電子的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）（たとえば、ブートプログラムなどのファームウェアに典型的に用いられる）を含むが、これらに限定されない。揮発性メモリの例には、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、ならびにディスクまたはテープが含まれるが、これらに限定されない。
ストレージデバイス６３０は、コンピューティングデバイス６００のために大容量ストレージを提供することができる。いくつかの実現例では、ストレージデバイス６３０はコンピュータ可読媒体である。様々な異なる実現例では、ストレージデバイス６３０は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイであり得る。さらなる実現例では、コンピュータプログラム製品は、情報担体において有形に具現化される。コンピュータプログラム製品は、実行されると上述の方法などの１つ以上の方法を実行する命令を含む。情報担体は、メモリ６２０、ストレージデバイス６３０、もしくはプロセッサ６１０上のメモリなどの、コンピュータ可読媒体または機械可読媒体である。
高速コントローラ６４０は、コンピューティングデバイス６００のための帯域幅集約型動作を管理し、低速コントローラ６６０は、低帯域幅集約型動作を管理する。そのような役割の割り当ては、例示的なものにすぎない。いくつかの実現例では、高速コントローラ６４０は、メモリ６２０、ディスプレイ６８０（たとえば、グラフィックスプロセッサまたはアクセラレータを通して）、および様々な拡張カード（図示せず）を受け入れ得る高速拡張ポート６５０に結合される。いくつかの実現例では、低速コントローラ６６０は、ストレージデバイス６３０および低速拡張ポート６９０に結合される。様々な通信ポート（たとえば、ＵＳＢ、Bluetooth（登録商標）、イーサネット（登録商標）、無線イーサ
ネット（登録商標））を含み得る低速拡張ポート６９０は、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータなどのネットワーキングデバイスなどの１つ以上の入力／出力装置に、たとえばネットワークアダプタを介して結合され得る。
コンピューティングデバイス６００は、図に示されるように、いくつかの異なる形態で実現され得る。たとえば、それは、標準的なサーバ６００ａとして、もしくはそのようなサーバ６００ａのグループにおいて複数回、ラップトップコンピュータ６００ｂとして、またはラックサーバシステム６００ｃの一部として実現され得る。
本明細書に記載のシステムおよび技術のさまざまな実現例は、デジタル電子および／もしくは光学回路系、集積回路系、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、ならびに／またはそれらの組合せで実現され得る。これらのさまざまな実現例は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラムにおける実現例を含んでいてもよく、当該プロセッサは専用であっても汎用であってもよく、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信するように、かつこれらにデータおよび命令を送信するように結合されている。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる）は、プログラム可能なプロセッサのための機械命令を含み、高水準手続き型および／もしくはオブジェクト指向型プログラミング言語で、ならびに／またはアセンブリ／機械言語で実装することができる。本明細書で使用されるとき、用語「機械可読媒体」および「コンピュータ可読媒体」は、機械命令を機械可読信号として受信する機械可読媒体を含む、機械命令および／またはデータをプログラマブルプロセッサに提供するよう使用される任意のコンピュータプログラム製品、非一時的コンピュータ可読媒体、装置および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。
本明細書に記載されるプロセスおよび論理フローは、入力データを操作し出力を生成することにより機能を実行するよう、データ処理ハードウェアとも呼ばれる１つ以上のプログラマブルプロセッサが１つ以上のコンピュータプログラムを実行することによって実行され得る。本プロセスおよび論理フローは、専用論理回路、たとえば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によっても実行され得る。コンピュータプログラムの実行に好適であるプロセッサは、例として、汎用マイクロプロセッサおよび特殊目的マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含んでもよい。一般に、プロセッサは、リードオンリメモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受取ることになる。コンピュータの必須要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを記憶するための１つ以上のメモリデバイスである。一般に、コンピュータはさらに、たとえば磁気ディスク、光磁気ディスクまたは光ディスクといった、データを格納するための１つ以上の大容量記憶装置を含むか、当該１つ以上の大容量記憶装置からデータを受取るかもしくは当該１つ以上の大容量記憶装置にデータを転送するよう作動的に結合されるか、またはその両方を行う。しかしながら、コンピュータはそのような装置を有する必要はない。コンピュータプログラム命令およびデータを記憶するのに好適なコンピュータ可読媒体は、例として、半導体メモリデバイス、たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス；磁気ディスク、たとえば内蔵ハードディスクまたはリムーバブルディスク；光磁気ディスク；およびＣＤ ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体、ならびにメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路によって補足され得るか、または特殊目的論理回路に組み込まれ得る。
ユーザとの対話を提供するために、本開示の１つ以上の局面は、たとえばＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）モニタまたはタッチスクリーンといったユーザに対して情報を表示するための表示装置と、選択肢的にキーボードおよびたとえばマウス、トラックボールといったユーザがコンピュータに入力を提供可能であるポインティングデバ
イスとを有するコンピュータ上で実現され得る。他の種類のデバイスを用いて、ユーザとの対話を提供することもでき、たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであり得、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む、任意の形態で受信することができる。加えて、コンピュータは、ユーザが使用するデバイスにドキュメントを送信し、ユーザが使用するデバイスからドキュメントを受信することによって、たとえば、ユーザのクライアントデバイス上のウェブブラウザから受信された要求に応答してそのウェブブラウザにウェブページを送信することによって、ユーザと対話し得る。
いくつかの実現例について説明した。それにもかかわらず、本開示の精神および範囲から逸脱することなく、様々な修正がなされ得ることが理解されるであろう。したがって、他の実現例は特許請求の範囲内にある。

Claims (20)

  1. 分類モデル（２１０）および信頼度モデル（２２０）を合わせてトレーニングするための方法（５００）であって、
    データ処理ハードウェア（１０４）において、複数のトレーニングデータサブセット（１１２）を含むトレーニングデータセット（１１０）を受信することを含み、各トレーニングデータサブセット（１１２）は、異なるそれぞれのクラスに関連付けられ、前記それぞれのクラスに属する複数の対応するトレーニング例（１１４）を有し、前記方法はさらに、
    前記トレーニングデータセット（１１０）内の２つ以上のトレーニングデータサブセット（１１２）から、
    前記データ処理ハードウェア（１０４）が、トレーニング例のサポートセット（１１４Ｓ）を選択することを含み、前記トレーニング例のサポートセット（１１４Ｓ）は、前記２つ以上のトレーニングデータサブセット（１１２）の各々からサンプリングされたＫ個のトレーニング例（１１４）を含み、前記方法はさらに、前記トレーニングデータセット（１１０）内の前記２つ以上のトレーニングデータサブセット（１１２）から、
    前記データ処理ハードウェア（１０４）が、トレーニング例のクエリセット（１１４Ｑ）を選択することを含み、前記トレーニング例のクエリセット（１１４Ｑ）は、前記トレーニング例のサポートセット（１１４Ｓ）に含まれない、前記２つ以上のトレーニングデータサブセット（１１２）の各々からサンプリングされたトレーニング例（１１４）を含み、前記方法はさらに、
    前記２つ以上のトレーニングデータサブセット（１１２）に関連付けられるそれぞれのクラスごとに、前記データ処理ハードウェア（１０４）が、前記分類モデル（２１０）を用いて、前記それぞれのクラスに属する、前記トレーニング例のサポートセット（１１４Ｓ）内の前記Ｋ個のトレーニング例（１１４）に関連付けられるＫ個のサポート符号化（２１２Ｓ）を平均することによって、重心値（２１４）を求めることと、
    前記トレーニング例のクエリセット（１１４Ｑ）における各トレーニング例について、
    前記データ処理ハードウェア（１０４）が、前記分類モデル（２１０）を用いて、クエリ符号化（２１２Ｑ）を生成することと、
    前記データ処理ハードウェアが、前記クエリ符号化（２１２Ｑ）とそれぞれのクラスごとに求められた前記重心値（２１４）との間のそれぞれの距離を表すクラス距離尺度を求めることと、
    前記データ処理ハードウェアが、前記クエリ符号化（２１２Ｑ）と、前記トレーニング例のクエリセット（１１４Ｑ）内の対応するトレーニング例に関連付けられる正解ラベル（２１４Ｇ）との間の正解距離を求めることと、
    前記データ処理ハードウェアが、前記クラス距離尺度および前記正解距離に基づいて前記分類モデル（２１０）のパラメータを更新することと、
    誤分類されたと識別された、前記トレーニング例のクエリセット（１１４Ｑ）における各トレーニング例について、
    前記データ処理ハードウェア（１０４）が、前記信頼度モデル（２２０）を用いて、対応する誤分類されたトレーニング例について前記分類モデル（２１０）によって生成された前記クエリ符号化（２１２Ｑ）の標準偏差値（２２２）を生成することと、
    前記データ処理ハードウェア（１０４）が、前記標準偏差値（２２２）および前記クエリ符号化（２１２Ｑ）を用いて、前記対応する誤分類されたトレーニング例について新たなクエリ符号化（２２４）をサンプリングすることと、
    前記データ処理ハードウェア（１０４）が、前記新たなクエリ符号化（２２４）に基づいて前記信頼度モデル（２２０）のパラメータを更新することとを含む、方法。
  2. 前記正解ラベル（２１４Ｇ）は、距離に基づく表現空間内に正解重心値を含む、請求項１に記載の方法（５００）。
  3. 前記クラス距離尺度および前記正解距離に基づいて前記分類モデル（２１０）の前記パラメータを更新することは、クラス内距離を最小化し、クラス間距離を最大化するように、前記分類モデル（２１０）をトレーニングする、請求項１または２に記載の方法（５００）。
  4. 前記信頼度モデルは、より大きい正解距離について前記標準偏差値を最大化し、距離に基づく表現空間内においてそれぞれの正解重心値に近い新たなクエリ符号化（２２４）をサンプリングするようにトレーニングされる、請求項１～３のいずれか１項に記載の方法（５００）。
  5. 誤分類されたと識別された、前記トレーニング例のクエリセット（１１４Ｑ）内の任意のトレーニング例は、距離閾値を満たさない正解距離を含む、前記トレーニング例のクエリセット（１１４Ｑ）内の任意のトレーニング例を含む、請求項１～４のいずれか１項に記載の方法（５００）。
  6. 前記信頼度モデル（２２０）は、距離閾値を満たす正解距離を含む、前記トレーニング例のクエリセット（１１４Ｑ）におけるトレーニング例では、トレーニングされない、請求項１～５のいずれか１項に記載の方法（５００）。
  7. 前記信頼度モデルのパラメータを更新することは、より大きなクラス距離尺度に関連付けられるクエリ符号化（２１２Ｑ）について、より大きな標準偏差値（２２２）を出力するように前記信頼度モデル（２２０）を促すように、前記信頼度モデル（２２０）の前記パラメータを更新することを含む、請求項１～６のいずれか１項に記載の方法（５００）。
  8. 前記トレーニング例（１１４）は画像データを含む、請求項１～７のいずれか１項に記載の方法（５００）。
  9. 前記分類モデル（２１０）は、ディープニューラルネットワーク（ＤＮＮ）を含む、請求項１～８のいずれか１項に記載の方法（５００）。
  10. 前記信頼度モデル（２２０）は、ディープニューラルネットワーク（ＤＮＮ）を含む、請求項１～９のいずれか１項に記載の方法（５００）。
  11. 分類モデル（２１０）および信頼度モデル（２２０）を合わせてトレーニングするためのシステム（１００）であって、
    データ処理ハードウェア（１０４）と、
    前記データ処理ハードウェア（１０４）と通信するメモリハードウェア（１０６）とを備え、前記メモリハードウェア（１０６）は、前記データ処理ハードウェア（１０４）上で実行されると前記データ処理ハードウェア（１０４）に動作を実行させる命令を記憶し、前記動作は、
    複数のトレーニングデータサブセット（１１２）を含むトレーニングデータセット（１１０）を受信することを含み、各トレーニングデータサブセット（１１２）は、異なるそれぞれのクラスに関連付けられ、前記それぞれのクラスに属する複数の対応するトレーニング例（１１４）を有し、前記動作はさらに、
    前記トレーニングデータセット（１１０）内の２つ以上のトレーニングデータサブセット（１１２）から、
    トレーニング例のサポートセット（１１４Ｓ）を選択することを含み、前記トレーニング例のサポートセット（１１４Ｓ）は、前記２つ以上のトレーニングデータサブセット（
    １１２）の各々からサンプリングされたＫ個のトレーニング例（１１４）を含み、前記動作はさらに、前記トレーニングデータセット（１１０）内の前記２つ以上のトレーニングデータサブセット（１１２）から、
    トレーニング例のクエリセット（１１４Ｑ）を選択することを含み、前記トレーニング例のクエリセット（１１４Ｑ）は、前記トレーニング例のサポートセット（１１４Ｓ）に含まれない、前記２つ以上のトレーニングデータサブセット（１１２）の各々からサンプリングされたトレーニング例（１１４）を含み、前記動作はさらに、
    前記２つ以上のトレーニングデータサブセット（１１２）に関連付けられるそれぞれのクラスごとに、前記分類モデル（２１０）を用いて、前記それぞれのクラスに属する、前記トレーニング例のサポートセット（１１４Ｓ）内の前記Ｋ個のトレーニング例（１１４）に関連付けられるＫ個のサポート符号化（２１２Ｓ）を平均することによって、重心値（２１４）を求めることと、
    前記トレーニング例のクエリセット（１１４Ｑ）における各トレーニング例について、
    前記分類モデル（２１０）を用いて、クエリ符号化（２１２Ｑ）を生成することと、
    前記クエリ符号化（２１２Ｑ）とそれぞれのクラスごとに求められた前記重心値（２１４）との間のそれぞれの距離を表すクラス距離尺度を求めることと、
    前記クエリ符号化（２１２Ｑ）と、前記トレーニング例のクエリセット（１１４Ｑ）内の対応するトレーニング例に関連付けられる正解ラベル（２１４Ｇ）との間の正解距離を求めることと、
    前記クラス距離尺度および前記正解距離に基づいて前記分類モデル（２１０）のパラメータを更新することと、
    誤分類されたと識別された、前記トレーニング例のクエリセット（１１４Ｑ）における各トレーニング例について、
    前記信頼度モデル（２２０）を用いて、対応する誤分類されたトレーニング例について前記分類モデル（２１０）によって生成された前記クエリ符号化（２１２Ｑ）の標準偏差値（２２２）を生成することと、
    前記標準偏差値（２２２）および前記クエリ符号化（２１２Ｑ）を用いて、前記対応する誤分類されたトレーニング例について新たなクエリ符号化（２２４）をサンプリングすることと、
    前記新たなクエリ符号化（２２４）に基づいて前記信頼度モデル（２２０）のパラメータを更新することとを含む、システム。
  12. 前記正解ラベル（２１４Ｇ）は、距離に基づく表現空間内に正解重心値を含む、請求項１１に記載のシステム（１００）。
  13. 前記クラス距離尺度および前記正解距離に基づいて前記分類モデル（２１０）の前記パラメータを更新することは、クラス内距離を最小化し、クラス間距離を最大化するように、前記分類モデル（２１０）をトレーニングする、請求項１１または１２に記載のシステム（１００）。
  14. 前記信頼度モデルは、より大きい正解距離について前記標準偏差値を最大化し、距離に基づく表現空間内においてそれぞれの正解重心値に近い新たなクエリ符号化（２２４）をサンプリングするようにトレーニングされる、請求項１１～１３のいずれか１項に記載のシステム（１００）。
  15. 誤分類されたと識別された、前記トレーニング例のクエリセット（１１４Ｑ）内の任意のトレーニング例は、距離閾値を満たさない正解距離を含む、前記トレーニング例のクエリセット（１１４Ｑ）内の任意のトレーニング例を含む、請求項１１～１４のいずれか１項に記載のシステム（１００）。
  16. 前記信頼度モデル（２２０）は、距離閾値を満たす正解距離を含む、前記トレーニング例のクエリセット（１１４Ｑ）におけるトレーニング例では、トレーニングされない、請求項１１～１５のいずれか１項に記載のシステム（１００）。
  17. 前記信頼度モデルのパラメータを更新することは、より大きなクラス距離尺度に関連付けられるクエリ符号化（２１２Ｑ）について、より大きな標準偏差値（２２２）を出力するように前記信頼度モデル（２２０）を促すように、前記信頼度モデル（２２０）の前記パラメータを更新することを含む、請求項１１～１６のいずれか１項に記載のシステム（１００）。
  18. 前記トレーニング例（１１４）は画像データを含む、請求項１１～１７のいずれか１項に記載のシステム（１００）。
  19. 前記分類モデル（２１０）は、ディープニューラルネットワーク（ＤＮＮ）を含む、請求項１１～１８のいずれか１項に記載のシステム（１００）。
  20. 前記信頼度モデル（２２０）は、ディープニューラルネットワーク（ＤＮＮ）を含む、請求項１１～１９のいずれか１項に記載のシステム（１００）。
JP2023093008A 2019-09-24 2023-06-06 距離に基づく学習信頼度モデル Pending JP2023116599A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962904978P 2019-09-24 2019-09-24
US62/904,978 2019-09-24
PCT/US2020/052451 WO2021061951A1 (en) 2019-09-24 2020-09-24 Distance-based learning confidence model
JP2022518767A JP7292506B2 (ja) 2019-09-24 2020-09-24 距離に基づく学習信頼度モデル

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022518767A Division JP7292506B2 (ja) 2019-09-24 2020-09-24 距離に基づく学習信頼度モデル

Publications (1)

Publication Number Publication Date
JP2023116599A true JP2023116599A (ja) 2023-08-22

Family

ID=72811982

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022518767A Active JP7292506B2 (ja) 2019-09-24 2020-09-24 距離に基づく学習信頼度モデル
JP2023093008A Pending JP2023116599A (ja) 2019-09-24 2023-06-06 距離に基づく学習信頼度モデル

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022518767A Active JP7292506B2 (ja) 2019-09-24 2020-09-24 距離に基づく学習信頼度モデル

Country Status (6)

Country Link
US (2) US11487970B2 (ja)
EP (1) EP4035090A1 (ja)
JP (2) JP7292506B2 (ja)
KR (1) KR20220049573A (ja)
CN (1) CN114424212A (ja)
WO (1) WO2021061951A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230386450A1 (en) * 2022-05-25 2023-11-30 Samsung Electronics Co., Ltd. System and method for detecting unhandled applications in contrastive siamese network training
US20240062529A1 (en) * 2022-08-18 2024-02-22 Microsoft Technology Licensing, Llc Determining media documents embedded in other media documents

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991430A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd パターン認識装置
US8068654B2 (en) * 2007-02-02 2011-11-29 Siemens Akteingesellschaft Method and system for detection and registration of 3D objects using incremental parameter learning
US8311319B2 (en) * 2010-12-06 2012-11-13 Seiko Epson Corporation L1-optimized AAM alignment
US8306257B2 (en) * 2011-01-31 2012-11-06 Seiko Epson Corporation Hierarchical tree AAM
US9396412B2 (en) * 2012-06-21 2016-07-19 Siemens Aktiengesellschaft Machine-learnt person re-identification
US20150302317A1 (en) * 2014-04-22 2015-10-22 Microsoft Corporation Non-greedy machine learning for high accuracy
US10332028B2 (en) 2015-08-25 2019-06-25 Qualcomm Incorporated Method for improving performance of a trained machine learning model
US20170068906A1 (en) * 2015-09-09 2017-03-09 Microsoft Technology Licensing, Llc Determining the Destination of a Communication
US20170068904A1 (en) * 2015-09-09 2017-03-09 Microsoft Technology Licensing, Llc Determining the Destination of a Communication
US10423874B2 (en) * 2015-10-02 2019-09-24 Baidu Usa Llc Intelligent image captioning
US11080918B2 (en) * 2016-05-25 2021-08-03 Metail Limited Method and system for predicting garment attributes using deep learning
US11194846B2 (en) * 2016-11-28 2021-12-07 Here Global B.V. Method and apparatus for providing automated generation of parking restriction data using machine learning
AU2018324122B2 (en) * 2017-09-01 2021-09-09 Percipient.ai Inc. Identification of individuals in a digital file using media analysis techniques
US10657391B2 (en) * 2018-01-05 2020-05-19 Uatc, Llc Systems and methods for image-based free space detection
US10679330B2 (en) 2018-01-15 2020-06-09 Tata Consultancy Services Limited Systems and methods for automated inferencing of changes in spatio-temporal images
US11068737B2 (en) * 2018-03-30 2021-07-20 Regents Of The University Of Minnesota Predicting land covers from satellite images using temporal and spatial contexts
US10789755B2 (en) * 2018-04-03 2020-09-29 Sri International Artificial intelligence in interactive storytelling
US10878296B2 (en) * 2018-04-12 2020-12-29 Discovery Communications, Llc Feature extraction and machine learning for automated metadata analysis
US11630995B2 (en) * 2018-06-19 2023-04-18 Siemens Healthcare Gmbh Characterization of amount of training for an input to a machine-learned network
US10832003B2 (en) * 2018-08-26 2020-11-10 CloudMinds Technology, Inc. Method and system for intent classification
US10878297B2 (en) * 2018-08-29 2020-12-29 International Business Machines Corporation System and method for a visual recognition and/or detection of a potentially unbounded set of categories with limited examples per category and restricted query scope
US11087177B2 (en) * 2018-09-27 2021-08-10 Salesforce.Com, Inc. Prediction-correction approach to zero shot learning
US10885384B2 (en) * 2018-11-15 2021-01-05 Intel Corporation Local tone mapping to reduce bit depth of input images to high-level computer vision tasks
US20200193552A1 (en) * 2018-12-18 2020-06-18 Slyce Acquisition Inc. Sparse learning for computer vision
US11756291B2 (en) * 2018-12-18 2023-09-12 Slyce Acquisition Inc. Scene and user-input context aided visual search
US11941493B2 (en) * 2019-02-27 2024-03-26 International Business Machines Corporation Discovering and resolving training conflicts in machine learning systems
US11657094B2 (en) * 2019-06-28 2023-05-23 Meta Platforms Technologies, Llc Memory grounded conversational reasoning and question answering for assistant systems
US11631029B2 (en) * 2019-09-09 2023-04-18 Adobe Inc. Generating combined feature embedding for minority class upsampling in training machine learning models with imbalanced samples

Also Published As

Publication number Publication date
CN114424212A (zh) 2022-04-29
KR20220049573A (ko) 2022-04-21
JP7292506B2 (ja) 2023-06-16
EP4035090A1 (en) 2022-08-03
WO2021061951A1 (en) 2021-04-01
JP2022549006A (ja) 2022-11-22
US20230120894A1 (en) 2023-04-20
US11487970B2 (en) 2022-11-01
US20210279517A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
JP7303377B2 (ja) ラベルノイズが存在する状態でのロバストな訓練
US10606982B2 (en) Iterative semi-automatic annotation for workload reduction in medical image labeling
US20210117760A1 (en) Methods and apparatus to obtain well-calibrated uncertainty in deep neural networks
JP2023116599A (ja) 距離に基づく学習信頼度モデル
US11823058B2 (en) Data valuation using reinforcement learning
JP7304488B2 (ja) 強化学習ベースの局所解釈可能モデル
US10929578B2 (en) Minimizing uncertainty envelopes in trajectories of evolving ensemble members
US20190311258A1 (en) Data dependent model initialization
US11687804B2 (en) Latent feature dimensionality bounds for robust machine learning on high dimensional datasets
JP6172317B2 (ja) 混合モデル選択の方法及び装置
CN111950647A (zh) 分类模型训练方法和设备
CN114253605A (zh) 机器学习数据处理流水线的运行时间估计
WO2020173270A1 (zh) 用于分析数据的方法、设备和计算机存储介质
US11455531B2 (en) Trustworthy predictions using deep neural networks based on adversarial calibration
JP2016194912A (ja) 混合モデルの選択方法及び装置
CN112348161A (zh) 神经网络的训练方法、神经网络的训练装置和电子设备
JP2020191006A (ja) 学習装置、学習方法、および、学習プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230615