JP2021502650A - 時不変分類 - Google Patents

時不変分類 Download PDF

Info

Publication number
JP2021502650A
JP2021502650A JP2020526410A JP2020526410A JP2021502650A JP 2021502650 A JP2021502650 A JP 2021502650A JP 2020526410 A JP2020526410 A JP 2020526410A JP 2020526410 A JP2020526410 A JP 2020526410A JP 2021502650 A JP2021502650 A JP 2021502650A
Authority
JP
Japan
Prior art keywords
vector
label
autoencoder
style
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020526410A
Other languages
English (en)
Other versions
JP2021502650A5 (ja
Inventor
ヘウェージ，エミール
アーミテイジ，オリバー
デル ヴェシュハイゼン，ジョシアス ファン
デル ヴェシュハイゼン，ジョシアス ファン
エドワーズ，トリスタン
Original Assignee
バイオス ヘルス リミテッド
バイオス ヘルス リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイオス ヘルス リミテッド, バイオス ヘルス リミテッド filed Critical バイオス ヘルス リミテッド
Publication of JP2021502650A publication Critical patent/JP2021502650A/ja
Publication of JP2021502650A5 publication Critical patent/JP2021502650A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Abstract

オートエンコーダを操作およびトレーニングするための方法および装置が提供される。オートエンコーダは、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力する。潜在ベクトルは、ラベルベクトルｙおよびスタイルベクトルｚを含む。スタイルベクトルｚは、入力データに関連付けられたラベルベクトルｙのセットに時不変性をもたらすために、トレーニング中に正則化される。オートエンコーダの最適化を制御するための方法および装置がさらに提供される。オートエンコーダは、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力する。潜在ベクトルは、ラベルベクトルｙおよびスタイルベクトルｚを含む。スタイルベクトルｚの正則化は、ラベルベクトルｙの時不変性を増加または減少させるように制御される。オートエンコーダは、分類中に入力データに関連付けられたラベルベクトルｙのセットで時不変性をもたらすためにスタイルベクトルｚを正則化する、上記のトレーニングされたオートエンコーダに基づいて構成される。

Description

本出願は、時不変分類のためのシステム、装置および方法（複数可）に関する。
システムが機械学習（ＭＬ）技術を使用して時変入力データ信号（複数可）の分類を実行する場合、入力信号（複数可）を確実に分類する堅牢なシステムには、一般に適切にラベル付けされたトレーニングデータが必要となる。大部分のアプリケーションでは、適切にラベル付けされたトレーニングデータセットはアプリオリに利用できず、生成する必要があり、これは、時間のかかる困難なプロセスである。半教師付きおよび／または教師なしのＭＬ技術（複数可）を用いることで、時変入力データ信号（複数可）を分類するための、適切にラベル付けされたデータおよび／または信頼性の高い分類システムを生成する際のいくつかの困難を軽減することができる。
高周波では、時変入力データ信号（複数可）（神経信号（複数可）など）は、半教師付きおよび／または教師なしのＭＬ技術（複数可）でさえ、そのような信号（複数可）の分類を確実に実行するのに困難を伴う場合がある。これは、高周波時変入力データ信号（複数可）に含まれる情報が（全てではないにしても）大部分が保持されるように、高周波時変入力データ信号（複数可）をサンプリングすることから生じる大量のシーケンシャルデータが原因である。さらに、そのような高周波時変入力データ信号（複数可）は、各ラベル付けインスタンスで正確に何が発生しているかを決定するために必要とされる高い忠実度のために、一般的にラベル付けが不十分であったり、ラベル付けされていないことさえある。
そのような高周波時変する入力データ信号（複数可）のラベル付けは、入力データ信号（複数可）のための複数の真の状態またはクラスラベルまたはグラウンドトゥルース状態／クラスの確立に使用するために、対象または物体に対してトレーニングされ、同じ速度でセンサデータを出力することができる少なくとも１つ以上のセンサ（複数可）を必要とする場合がある。さらに、高周波時変入力データ信号（複数可）の真の状態またはクラスラベルは、一般に高価であり、かつ／または正確にキャプチャすることが困難であり、通常は別のシステムを使用して生成される。例えば、対象の動きに関連する神経信号（複数可）を分析する場合、対象の姿勢は、モーションまたは骨格追跡システムを使用して分析することができ、例として、Ｖｉｃｏｎ（ＲＴＭ）モーションキャプチャシステムまたはＫｉｎｅｔｉｃ（ＲＴＭ）などがあるが、これらに限定されない。
図１ａ〜１ｃは、高周波時変入力データ信号（複数可）を分類しようとするＭＬ技術（複数可）で遭遇する可能性があるいくつかの一般的な問題（複数可）を示している。図１ａは、この例では１つ以上の神経信号（複数可）であり得る高周波時変入力データ信号（複数可）１０２の分類および／またはタスク／クラスのラベル付け１００を示す概略図である。「？」でマークされた状態は、状態ラベルが不明であることを示しているので、タスク／クラスのラベル付けが必要になる場合がある。高周波時変入力データ信号（複数可）１０２は、本明細書では１つ以上の神経信号（複数可）として説明することができるが、これは単なる例であり、この種類の信号に限定されない。しかし、本明細書の説明は、任意の種類の高周波時変入力データ信号（複数可）１０２に適用されることが当業者に理解されるであろう。
図１ａでは、１つ以上の神経信号（複数可）１０２は、複数の連続する時間間隔に時間的に分割され、神経信号（複数可）１０２は、連続する時間間隔の各々でサンプリングされ、連続する複数の神経サンプルデータ配列１０４ａから１０４ｌを生成する。各配列１０４ａ〜１０４ｌは、連続する時間間隔のうちの１つに対応する。神経信号（複数可）１０２の連続する時間間隔の各々は、１つ以上の真の状態（複数可）またはその時間間隔の間の神経信号（複数可）の情報内容（または関心情報）の一部を記述し得るクラスラベルＳ（複数可）１〜Ｓｎ（グラウンドトゥルース状態／クラス／タスクラベルとしても既知である）に対応し得る。例えば、状態Ｓ１は、対象１０６がホッピングしていることを神経信号（複数可）が示す場合に対応し、段階Ｓ２は、対象１０６が「下向きの犬」のヨガのポーズを実行していることを神経信号（複数可）が示す場合に対応し、状態Ｓ３は、対象１０６が跳躍操縦を実行していることを神経信号（複数可）が示す場合に対応する。
さらに、既知の状態Ｓ１〜Ｓｎの数は、信頼性が低いか、あるいは疎である可能性があり、すなわち、それらの状態が十分に既知でないか、あるいは事前に定義されていない可能性がある。また、各時間間隔における神経信号（複数可）１０２と、１つ以上の特定の状態Ｓ１〜ＳＮとの間には、未知であるが可能性のある予測関係が存在してもよく、１つ以上の未知の状態も存在してもよい。ＭＬ技術を使用して、この未知の関係を学習し、神経信号（複数可）１０２を各状態Ｓ１〜Ｓｎに分類するだけでなく、さらに信頼できる密度の高い状態または真の状態ラベルを作成するために未知の状態を見出すこともできる。
図１ａに示されるように、各神経サンプルデータ配列１０４ａ〜１０４ｌは、連続する時間間隔のうちの１つに対応する。複数の連続する神経サンプルデータ配列１０４ａ〜１０４ｌは、１つ以上の次元の時系列の神経サンプルデータ配列を形成する。例えば、１つ以上の神経信号（複数可）１０２がＭ個のチャネルを有するマルチチャネル神経信号に対応する場合、複数の連続する神経サンプルデータ配列１０４ａ〜１０４ｌは、次元Ｍの時系列の神経データサンプルになる。複数の連続する神経サンプルデータ配列１０４ａ〜１０４ｌと特定の状態Ｓ１〜Ｓｎとの間に未知ではあるが可能性のある予測関係があることを考えると、これらは分類のためのＭＬ技術に入力されてもよい。
その結果、ＭＬ技術では、次元Ｎの潜在空間において、対応する複数の時間依存状態推定ラベルベクトルγ１、γ２、．．．、γ１２を出力してもよく、Ｎは、神経サンプルデータ配列１０４ａ〜１０４ｌを分類するために使用される状態またはクラスの数に依存し得る任意の数である。異なるラベルベクトルγ１、γ２、．．．、γ１２は、同じ真の状態Ｓ１〜Ｓｎに属し得る場合がある。例えば、図１ａにおいて、ラベルベクトルγ１は真の状態Ｓ３に属し、ラベルベクトルγ２、γ３、γ８およびγ１１（ここで、γｎは必ずしもγｎ＋ｘと等しいとは限らないが、γｎとγｎ＋１は時間的に隣接している）は同じ真の状態Ｓ１に属しており、ラベルベクトルγ７は真の状態Ｓ３に属し、他のラベルベクトルγ４、．．．、γ６およびγ９、γ１０、およびγ１２は未知の真の状態を有する。
ＭＬ技術から出力されたラベルベクトルを分類し得る方法の１つとして、ラベルベクトルγ１、γ２、．．．、γ１２のクラスタを識別し、クラスタ内のラベルベクトルに同じ状態を割り当て得る方法がある。これは言うは易し、行うは難しである。ラベルベクトルγ１、γ２、．．．、γ１２のベクトル空間内の１つ以上の領域または境界が定義され、１つ以上の状態Ｓ１〜Ｓｎが割り当てられていてもよい。次に、ある領域または境界内でクラスタ化されたラベルベクトルγ１、γ２、．．．、γ１２は、その領域または境界に割り当てられた状態に属していると仮定することができる。しかし、状況によっては、異なる状態に属するラベルベクトルγ１、γ２、．．．、γ１２がクラスタ化してしまうような、領域または境界の定義が悪い場合がある。これは曖昧さを生み出し、そのようなラベルを分類することは困難である。
あるいは、ラベル付けの悪いデータまたはラベル付けのないデータでは、ラベルベクトルγ１、γ２、．．．、γ１２が全くクラスタ化していないかどうか、およびそれらのクラスタ化されたラベルベクトルγ１、γ２、．．．、γ１２が同じ真の状態に関連付けられているかどうかを判断する必要があり得る。そうでない場合には、任意のＭＬ技術は、同じ領域にクラスタ化されていても、実際には異なる状態に属しているラベルベクトルγ１、γ２、．．．、γ１２を分類するのに困難を伴ったり、エラーを起こしたりする。これも進行中の問題である。
これらの問題または曖昧さの一部は、半教師付きまたは教師なしのＭＬ技術（複数可）で発生する可能性があり、設計または誤用により、不注意に、高周波時変入力データ信号（複数可）の直近／先行の連続または隣接する時間間隔に過度の重みを付け得る。これは、次に、隣接する神経サンプルデータ配列１０４ａ〜１０４ｌがより重く重み付けされ得、したがって、異なる状態に属する隣接するベクトルラベルγ１、γ２、．．．、γ１２が相関関係になる可能性があることを意味し得る。これは、高周波時変入力データ信号１０２の各時間間隔の分類に深刻な悪影響を与える可能性がある。
図１ｂは、図１ａの例示的な分類１００を示し、２つのランダムな時間窓１０６ａおよび１０６ｂ（例えば、ＴＷＮおよびＴＷＮ＋１）である。図１ｃは、時間窓１０６ａおよび１０６ｂのクラスタ領域１１２、１１４、および１１６におけるベクトルラベルγ１、γ２、．．．、γ１２のクラスタ化を示す例示的なクラスタ図１１０を示す概略図である。両方の時間窓１０６ａおよび１０６ｂにおいて、異なる真の状態に属するベクトルラベルは一緒にクラスタ化されている。
時間窓１０６ａにおいて、ベクトルラベルγ２、γ３およびγ４は、ベクトルラベルγ２およびγ４が真の状態Ｓ１に属し、ベクトルラベルγ３が真の状態Ｓ２に属するクラスタ領域１１２に一緒にクラスタ化している。クラスタ領域１１２は混合された真の状態Ｓ１およびＳ２を有するので、分類器はベクトルラベルの不正確な分類を行うであろう。時間窓１０６ｂにおいて、ベクトルラベルγ７、γ８およびγ９は、ベクトルラベルγ７およびγ９が真の状態Ｓ２に属し、ベクトルラベルγ８が真の状態Ｓ１に属するクラスタ領域１１４に一緒にクラスタ化している。クラスタ領域１１４はまた、混合された真の状態Ｓ１およびＳ２を有するので、この時間インスタンスにおける分類器は、ベクトルラベルのさらなる不正確な分類を行うであろう。
また、時間窓１０６ａにおいて、真の状態Ｓ１に属するベクトルラベルγ２および４が、同じく真の状態Ｓ１に属する時間窓１０６ｂにおけるベクトルラベルγ８と比較して、非常に異なる位置にあることも注目される。同様に、時刻窓１０６ａにおいて、真の状態Ｓ２に属するベクトルラベルγ３は、真の状態Ｓ２に属する時刻窓１０６ｂにおけるベクトルラベルγ７およびγ９と比較して、非常に異なる位置にある。理想的には、同じ状態に属するベクトルラベルは、複数の時間窓にわたって同じクラスタ領域内にクラスタ化する必要がある。
図１ａ〜１ｃは、ＭＬ技術がクラスタ化されているが異なる状態に属するベクトルラベルを出力する場合のシナリオを示す。これは、隣接する神経サンプルデータ配列１０４ａ〜１０４ｌの間の時間的相関によって引き起こされてもよく、神経サンプルデータ配列１０４ａ〜１０４ｌ内の「時間的パターン」の発生を過剰に表現するＭＬ技術によって引き起こされてもよい。クラスタ領域１１２または１１４は、同じ状態に属するベクトルラベルのみを含むように分割される可能性があるが、これもＭＬ技術の過剰適合と、堅牢性の低い分類器または高周波時変入力データ信号（複数可）１０２の変化に非常に敏感な分類器をもたらす。簡単に言えば、時間的に隣接している異なる状態は、異なるクラスタ領域にマッピングする必要がある。同様に、異なるクラスタ領域にある異なるベクトルラベルは、異なる状態にマッピングする必要がある。
ラベル付けが不十分なデータセットまたはラベル付けされていないデータセットから改善されたラベル付けされたデータセットを生成する際に、高周波時変入力データ信号（複数可）１０２の隣接する時間間隔間の時間的相関を介して分類器エラーを減少させ、ＭＬ技術の堅牢性を改善するために、ＭＬ技術（複数可）を支援するための機構が望まれている。
以下に説明する実施形態は、上述の既知の手法の不利な点のいずれかまたは全てを解決する実装形態に限定されない。
本概要は、以下の詳細な説明でさらに説明される概念の選択を簡略化した形式で紹介するために提供されるものである。本概要は、主張された主題の主要な特徴または本質的な特徴を識別することを意図しておらず、主張された主題の範囲を決定するために使用されることも意図していない。
本開示は、入力データを分類する際に潜在ベクトル空間からの潜在ベクトルを使用する機械学習技術のための方法および装置を提供し、潜在ベクトルは、ラベルベクトルｙおよびスタイルベクトルｚを含み、スタイルベクトルｚの少なくとも一部は、正則化されており、機械学習手法は、機械学習手法がスタイルベクトルｚを正則化しない場合と比較して、実質的に時不変、時不変、またはより時不変であるラベルベクトルｙを出力する。
第１の態様では、本開示は、オートエンコーダをトレーニングするためのコンピュータ実装方法であって、オートエンコーダが、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、潜在ベクトルが、ラベルベクトルｙおよびスタイルベクトルｚを含み、方法が、入力データに関連付けられたラベルベクトルｙのセットに時不変性をもたらすために、トレーニング中にスタイルベクトルｚを正則化することを含む、コンピュータ実装方法を提供する。
好ましくは、スタイルベクトルｚを正則化することは、選択された１つ以上の確率分布（複数可）Ｐ（Ａｉ）および対応する１つ以上のベクトル（複数可）Ａｉに基づいており、スタイルベクトルｚは、１つ以上のベクトル（複数可）Ａｉを含む、コンピュータ実装方法。
好ましくは、スタイルベクトルｚを正則化することは、スタイルベクトルｚの少なくとも一部分に選択された確率分布を適用するために入力トレーニングデータでオートエンコーダのエンコーダネットワークをトレーニングすることをさらに含む、コンピュータ実装方法。
好ましくは、スタイルベクトルｚを正則化することにより、トレーニング中にラベルベクトルｙのセットの時不変性を増加させる、コンピュータ実装方法。
好ましくは、スタイルベクトルｚを正則化することが、オートエンコーダをトレーニングする前に、スタイルベクトルｚを分割するための１つ以上のベクトル（複数可）Ａｉの数を選択すること、選択されたベクトル（複数可）Ａｉに対応するいくつかの１つ以上の確率分布（複数可）Ｐ（Ａｉ）を選択することをさらに含み、スタイルベクトルｚを正則化することが、対応する選択された確率分布Ｐ（Ａｉ）に基づいて、選択されたベクトル（複数可）Ａｉの各々を正則化することをさらに含み、スタイルベクトルｚが、選択されたベクトル（複数可）Ａｉに分割される、コンピュータ実装方法。
好ましくは、ｚを正則化することが、１つ以上の選択された確率分布（複数可）Ｐ（Ａｉ）およびスタイルベクトルｚを分割する対応する１つ以上の選択されたベクトル（複数可）Ａｉを含むハイパーパラメータのセットを取得することをさらに含み、ハイパーパラメータのセットが、１つ以上の選択された確率分布（複数可）Ｐ（Ａｉ）および対応する１つ以上の選択されたベクトル（複数可）Ａｉに基づいて、トレーニング中にスタイルベクトルｚを正則化することによって実質的に時不変のラベルベクトル（複数可）ｙを出力するようにトレーニングされ得るオートエンコーダ構造を定義する、コンピュータ実装方法。
好ましくは、トレーニング中にスタイルベクトルｚを正則化することにより、入力データに関連付けられたラベルベクトルｙがラベルベクトルｙの複数または２つ以上のクラスタを形成し、各々が、実質的に同じまたは類似するラベルベクトルｙのサブグループを含み、ラベルベクトルｙのセットが、実質的に時不変である、コンピュータ実装方法。
好ましくは、各クラスタが、領域または境界によって定義され、各クラスタのラベルベクトルｙのサブグループが、定義された領域または境界内に含まれ、ラベルベクトルｙが、同じクラスタの領域または境界内に含まれる場合、実質的に同じか類似しており、クラスタが、真の状態またはクラスラベルに関連する、コンピュータ実装方法。
好ましくは、ラベルベクトルｙのセットをクラスタ化して、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含む、ラベルベクトルｙの複数のクラスタを形成することと、ラベルベクトルｙのクラスタの各々を、入力データの分類でトレーニングされたオートエンコーダが使用するために、入力データに関連付けられたクラスまたは状態ラベルＳのセットからのクラスまたは状態ラベルにマッピングすることと、をさらに含む、コンピュータ実装方法。
好ましくは、入力データが１つ以上の高周波時変入力信号（複数可）に基づく入力データを含むコンピュータ実装方法。
好ましくは、入力データが１つ以上の神経信号（複数可）に関連する神経サンプルデータを含むコンピュータ実装方法。
好ましくは、オートエンコーダが、潜在空間のスタイルベクトルｚを出力する潜在表現層であって、スタイルベクトルｚが、１つ以上の選択されたベクトル（複数可）Ａｉを含む、潜在表現層と、１つ以上の正則化ネットワーク（複数可）であって、各正則化ネットワークが、入力層、１つ以上の隠れ層（複数可）を含む弁別器ネットワーク、および生成器損失関数ＬＧＡｉを出力および／または評価するための出力層を含み、入力層が、スタイルベクトルｚの１つ以上の選択されたベクトル（複数可）Ａｉのうちの対応する１つに接続される、１つ以上の正則化ネットワーク（複数可）と、をさらに含み、方法が、潜在ベクトルｚを正則化することをさらに含み、正則化ネットワーク（複数可）の各々について、潜在ベクトルｚの対応ベクトルＡｉと、対応する選択された確率分布Ｐ（Ａｉ）から生成されたサンプルベクトルとを区別するために各正則化ネットワークをトレーニングすることであって、サンプルベクトルは、潜在ベクトルｚのベクトルＡｉと同じ次元のものである、トレーニングすることと、潜在ベクトルｚのベクトルＡｉに確率分布Ｐ（Ａｉ）を適用するためにエンコーダネットワークをトレーニングする際にオートエンコーダが使用する生成器損失関数値ＬＧＡｉを出力することと、をさらに含む、コンピュータ実装方法。
好ましくは、オートエンコーダが、潜在空間のラベルベクトルｙを出力する潜在表現層と、入力層、１つ以上の隠れ層（複数可）、およびラベルベクトルｙに関連する生成器損失関数ＬＧＹを出力および／または評価するための出力層を含む結合された敵対的ネットワークと、をさらに含み、敵対的ネットワークの入力層は、ラベルベクトルｙに接続され、潜在表現層によって生成されたラベルベクトルｙと、ラベルベクトルｙと同じ次元の１つのホットベクトルのセットのカテゴリカル分布からのサンプルベクトルとを区別するために敵対的ネットワークをトレーニングすることと、ラベルベクトルｙにカテゴリカル分布を適用するために、エンコーダネットワークをトレーニングする際にオートエンコーダが使用するラベルベクトルｙに関連付けられた生成器損失関数値ＬＧＹを出力することと、をさらに含む、コンピュータ実装方法。
好ましくは、コンピュータ実装方法であって、オートエンコーダが、潜在表現層に結合された復号ネットワークをさらに含み、入力データのトレーニングセットが、神経サンプルベクトル配列
のトレーニングセットを含み、１≦ｉ≦Ｌｋおよび１≦ｋ≦Ｔであり、Ｌｋが、ｋ番目の神経サンプルベクトル配列の長さであり、Ｔが、オートエンコーダを通過するｋ番目の神経活動に対応する各ｋ番目の神経サンプルベクトル配列ごとのトレーニング神経サンプルベクトル配列の数であり、方法が、１つ以上の正則化ネットワークおよび／または敵対的ネットワークの出力に基づいて損失関数またはコスト関数を生成することであって、ｋ番目の神経サンプルベクトル配列の推定値が、復号ネットワークからの

出力として表され、元のｋ番目の神経サンプルベクトル配列（ｘｉ）ｋである、生成することと、生成されたコスト関数の損失に基づいて、符号化ネットワークおよび／または復号ネットワークの隠れ層（複数可）の重みを更新することと、をさらに含む、コンピュータ実装方法。
第２の態様では、本開示は、オートエンコーダを最適化するためのコンピュータ実装方法であって、オートエンコーダが、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、潜在ベクトルが、ラベルベクトルｙおよびスタイルベクトルｚを含み、方法が、スタイルベクトルｚの正則化を制御して、ラベルベクトルｙの時不変性を増加または減少させることを含む、コンピュータ実装方法を提供する。
好ましくは、スタイルベクトルｚの正則化を制御することが、１つ以上の確率分布（複数可）Ｐ（Ａｉ）および対応する１つ以上のベクトル（複数可）Ａｉを選択することを含み、スタイルベクトルｚが、１つ以上のベクトル（複数可）Ａｉを含み、選択された確率分布（複数可）に基づいてスタイルベクトルｚを正則化する、コンピュータ実装方法。
好ましくは、スタイルベクトルｚを正則化することが、スタイルベクトルｚの少なくとも一部に選択された確率分布を実施するために入力トレーニングデータでオートエンコーダのエンコーダネットワークをトレーニングすることをさらに含む、コンピュータ実装方法。
好ましくは、スタイルベクトルｚの正則化を制御して、正則化することなくオートエンコーダから出力されるラベルベクトルｙの対応するセットと比較して、ラベルベクトルｙのセットの時不変性を増加させることをさらに含む、コンピュータ実装方法。
好ましくは、スタイルベクトルｚの正則化を制御することが、スタイルベクトルｚを分割するための１つ以上のベクトル（複数可）Ａｉの数を選択すること、選択されたベクトル（複数可）Ａｉに対応するいくつかの１つ以上の確率分布（複数可）Ｐ（Ａｉ）を選択することをさらに含み、選択されたベクトル（複数可）Ａｉおよび選択された確率分布（複数可）Ｐ（Ａｉ）に基づいてスタイルベクトルｚを正則化することが、対応する選択された確率分布Ｐ（Ａｉ）に基づいて選択されたベクトル（複数可）Ａｉの各々を正則化することをさらに含み、スタイルベクトルｚが、選択された１つ以上のベクトルＡｉの連結体である、コンピュータ実装方法。
好ましくは、スタイルベクトルｚを分割するために選択される複数のベクトルＡｉまたは複数のベクトルＡｉが存在する、コンピュータ実装方法。
好ましくは、ｚの正則化が、オートエンコーダの複数のトレーニングサイクルにわたって制御される、コンピュータ実装方法。
好ましくは、ｚの正則化を制御することが、複数のハイパーパラメータのセットを生成することであって、ハイパーパラメータの各セットが、１つ以上の選択された確率分布（複数可）Ｐ（Ａｉ）と、スタイルベクトルｚを分割する対応する１つ以上の選択されたベクトル（複数可）Ａｉを含み、ハイパーパラメータの各セットが、オートエンコーダ構造を定義する、生成することと、複数のハイパーパラメータのセットのハイパーパラメータの各セットについて、オートエンコーダのラベルベクトルｙのクラスタ化および時不変性の性能を、ハイパーパラメータのセットに基づいてオートエンコーダを構成することと、入力データに対して構成済みのオートエンコーダをトレーニングすることにより、ハイパーパラメータのセットに基づいてスタイルベクトルｚを正則化することと、トレーニングされたオートエンコーダおよび入力データに基づいて、ラベルベクトルのセットｙを生成することと、ラベルベクトルｙの複数または２つ以上のクラスタを決定することと、各クラスタに実質的に同じまたは類似するラベルベクトルｙのサブグループが含まれているかどうかを検出することと、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含むことの検出に応答して、ラベルベクトルｙのセットが実質的に時不変であるかどうかを検出することと、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含むことの検出、およびラベルベクトルｙのセットが実質的に時不変であることの検出に応答して、選択されたハイパーパラメータのセットを最適化されたハイパーパラメータデータセットに保存することであって、最適化されたハイパーパラメータデータセット内のハイパーパラメータのセットが、トレーニング中にスタイルベクトルｚを正則化することにより、実質的に時不変のラベルベクトル（複数可）ｙを出力するようにトレーニングされ得るオートエンコーダ構造を定義する、保存することと、によって、決定することと、をさらに含む、コンピュータ実装方法。
好ましくは、各クラスタが、領域または境界によって定義され、各クラスタのラベルベクトルｙのサブグループが、定義された領域または境界内に含まれ、ラベルベクトルｙが、同じクラスタの領域または境界内に含まれる場合、実質的に同じか類似している、コンピュータ実装方法。
好ましくは、ラベルベクトルｙのセットをクラスタ化して、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含む、ラベルベクトルｙの複数のクラスタを形成することと、ラベルベクトルｙのクラスタの各々を、入力データの分類でハイパーパラメータのセットによって定義されたオートエンコーダが使用するために、入力データに関連付けられたクラスまたは状態ラベルＳのセットからのクラスまたは状態ラベルにマッピングすることと、をさらに含む、コンピュータ実装方法。
好ましくは、オートエンコーダ構成データのセットが、最適化されたオートエンコーダ構成データセットに保存することをさらに含み、オートエンコーダ構成データのセットが、最適化されたハイパーパラメータデータセットに保存されているハイパーパラメータのセットを表すデータ、ラベルベクトルｙのクラスタを表すデータ、クラスまたは状態ラベルＳへのラベルベクトルｙのクラスタの各々のマッピングを表すデータ、およびトレーニングされたオートエンコーダに関連付けられた１つ以上のニューラルネットワーク（複数可）および／または隠れ層（複数可）の重みおよび／またはパラメータを表すデータのグループからの１つ以上を表すデータを含む、コンピュータ実装方法。
好ましくは、最適化されたオートエンコーダ構成データセットからオートエンコーダ構成データのセットを選択することと、オートエンコーダ構成データのセットに基づいてオートエンコーダを構成することであって、オートエンコーダが、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、潜在ベクトルが、ラベルベクトルｙおよびスタイルベクトルｚを含み、オートエンコーダが、オートエンコーダ構成データのセットのトレーニングされたオートエンコーダに関連付けられた１つ以上のニューラルネットワーク（複数可）および／または隠れ層（複数可）の重みおよび／またはパラメータを表すデータに基づいて構成され、トレーニングされたオートエンコーダが、スタイルベクトルｚを正則化し、実質的に時不変のラベルベクトル（複数可）ｙを出力する、構成することと、をさらに含む、コンピュータ実装方法。
ハイパーパラメータのセットが、エンコーダ状態の長さを含む、オートエンコーダサイズ、初期学習率または減衰、バッチサイズであって、サンプルの数を含み、オートエンコーダニューラルネットワークまたは隠れ層（複数可）の重みまたはパラメータの更新を定義する、バッチサイズ、ラベルベクトルｙのサイズ、ラベルベクトルｙに関連付けられたクラスまたは状態の数、隠れ層（複数可）、ニューラルネットワークセル、および／または長期短期記憶セルの数、フィードサイズであって、データサイズまたはバッチごとの時間ステップ数を含む、フィードサイズ、損失重み付け係数であって、オートエンコーダが弁別器および／または生成器ニューラルネットワークコンポーネントを使用するときに生成的および弁別的損失に与える相対的重み付けを含む、損失重み付け係数、オートエンコーダニューラルネットワーク構造（複数可）の重みを最適化するための最適化関数、重み更新アルゴリズムの種類またはオートエンコーダニューラルネットワーク構造（複数可）の重みの手順、学習率減衰係数であって、オートエンコーダのプラトーまたは停滞の損失コスト関数に関連する損失が発生したときに学習率を調整するために使用される、学習率減衰係数および、学習率を調整する頻度を決定するための１つ以上の性能チェックポイント（複数可）のグループからの１つ以上をさらに含む、コンピュータ実装方法。
好ましくは、選択された１つ以上の確率分布および選択された１つ以上のベクトル（複数可）Ａｉを取得することであって、取得された確率分布（複数可）および対応するベクトル（複数可）Ａｉに基づくスタイルベクトルｚの正則化が、スタイルベクトルｚがトレーニング中に正則化されていない場合と比較して、ラベルベクトルｙの時不変性を増加させる、取得することと、取得された確率分布（複数可）に対応するベクトル（複数可）Ａｉに基づいて、第２のオートエンコーダの正則化コンポーネントを構成することと、ラベルベクトルｙのセットを生成するための入力データセットに基づいて、第２のオートエンコーダをトレーニングし、潜在ベクトルｚを正則化することであって、ラベルベクトルｙのセットが、入力データに関連付けられた状態またはクラスラベルのセットにマッピングする、トレーニングすることと、追加データをトレーニングされた第２のオートエンコーダに入力し、出力ラベルベクトルｙを状態またはクラスラベルのセットにマッピングすることにより、追加データを分類することであって、出力ラベルベクトルｙが、取得された確率分布（複数可）および対応するベクトル（複数可）Ａｉに基づいて、実質的に時不変である、分類することと、をさらに含む、コンピュータ実装方法。
好ましくは、入力データが１つ以上の高周波時変入力信号（複数可）に基づく入力データを含む、コンピュータ実装方法。
好ましくは、入力データが１つ以上の神経信号（複数可）に関連する神経サンプルデータを含む、コンピュータ実装方法。
好ましくは、オートエンコーダが、潜在空間のスタイルベクトルｚを出力する潜在表現層であって、スタイルベクトルｚが、１つ以上の選択されたベクトル（複数可）Ａｉを含む、潜在表現層と、１つ以上の正則化ネットワーク（複数可）であって、各正則化ネットワークが、入力層、１つ以上の隠れ層（複数可）を含む弁別器ネットワーク、および生成器損失関数ＬＧＡｉを出力および／または評価するための出力層を含み、入力層が、スタイルベクトルｚの１つ以上の選択されたベクトル（複数可）Ａｉのうちの対応する１つに接続される、１つ以上の正則化ネットワーク（複数可）と、をさらに含み、方法が、潜在ベクトルｚを正則化することをさらに含み、正則化ネットワーク（複数可）の各々について、潜在ベクトルｚの対応ベクトルＡｉと、対応する選択された確率分布Ｐ（Ａｉ）から生成されたサンプルベクトルとを区別するために各正則化ネットワークをトレーニングすることであって、サンプルベクトルは、潜在ベクトルｚのベクトルＡｉと同じ次元のものである、トレーニングすることと、潜在ベクトルｚのベクトルＡｉに確率分布Ｐ（Ａｉ）を適用するためにエンコーダネットワークをトレーニングする際にオートエンコーダが使用する生成器損失関数値ＬＧＡｉを出力することと、をさらに含む、コンピュータ実装方法。
好ましくは、オートエンコーダが、潜在空間のラベルベクトルｙを出力する潜在表現層と、入力層、１つ以上の隠れ層、およびラベルベクトルｙに関連する発生器損失関数ＬＧＹを出力するための出力層を含む結合された敵対的ネットワークと、をさらに含み、敵対的ネットワークの入力層は、ラベルベクトルｙに接続され、方法は、ラベルベクトルｙと、ラベルベクトルｙと同じ次元の１つのホットベクトルのセットのカテゴリカル分布からのサンプルベクトルとを区別するために、敵対的ネットワークをトレーニングすることと、ラベルベクトルｙにカテゴリカル分布を適用するために、エンコーダネットワークをトレーニングしてオートエンコーダにより使用するため、ラベルベクトルｙに関連付けられた発生器損失関数値ＬＧＹを出力することをさらに含む、コンピュータ実装方法。
好ましくは、オートエンコーダが、潜在表現層に結合された復号ネットワークをさらに含み、入力データのトレーニングセットが、神経サンプルベクトル配列
のトレーニングセットを含み、１≦ｉ≦Ｌｋおよび１≦ｋ≦Ｔであり、Ｌｋが、ｋ番目の神経サンプルベクトル配列の長さであり、Ｔが、オートエンコーダを通過するｋ番目の神経活動に対応する各ｋ番目の神経サンプルベクトル配列ごとのトレーニング神経サンプルベクトル配列の数であり、方法が、１つ以上の正則化ネットワークおよび／または敵対的ネットワークの出力に基づいて損失関数またはコスト関数を生成することであって、ｋ番目の神経サンプルベクトル配列の推定値が、復号ネットワークからの

出力として表され、元のｋ番目の神経サンプルベクトル配列（ｘｉ）ｋである、生成することと、生成されたコスト関数の損失に基づいて、符号化ネットワークおよび／または復号ネットワークの隠れ層（複数可）の重みを更新することと、をさらに含む、コンピュータ実装方法。
好ましくは、選択された１つ以上の確率分布の各確率分布が、ラプラシアン、ガンマ、正規分布、ガウス分布、対数正規分布、二峰性分布、均一分布、マルチモーダル分布、多項分布、多変量分布、前述の分布の２つ以上の順列、平均および／または分散などの異なる特性を持つ前述の分布の２つ以上の順列、および入力データに関連付けられたラベルベクトル（複数可）ｙの時不変性に寄与するその他の確率分布のグループからの１つ以上の確率分布またはそれらの組み合わせを含む、コンピュータ実装方法。
第３の態様では、本開示は、オートエンコーダのためのコンピュータ実装方法であって、オートエンコーダが、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、潜在ベクトルが、ラベルベクトルｙおよびスタイルベクトルｚを含み、方法が、トレーニングされたオートエンコーダ構造を表すデータの取得することであって、スタイルベクトルｚが、トレーニング中に正則化され、１つ以上のラベルベクトル（複数可）ｙが実質的に時不変であることを確実にする、取得することと、取得したオートエンコーダ構造に基づいてオートエンコーダを構成することと、入力データに関連付けられた１つ以上のラベルベクトル（複数可）ｙを分類することであって、１つ以上のラベルベクトル（複数可）ｙが、実質的に時不変である、分類することと、を含む、コンピュータ実装方法を提供する。
好ましくは、オートエンコーダ構造が、本明細書に記載され、かつ／または第１の態様を参照して説明された方法に従ってトレーニングされたオートエンコーダに基づく、コンピュータ実装方法。
好ましくは、オートエンコーダ構造が、本明細書に記載され、かつ／または第２の態様に関して説明された方法に従って最適化および／またはトレーニングされたオートエンコーダに基づく、コンピュータ実装方法。
第４の態様では、本開示は、メモリユニット、プロセッサユニット、通信インターフェースおよびメモリユニットに接続されたプロセッサユニットを備える装置であって、プロセッサユニット、ストレージユニット、通信インターフェースが、本明細書に記載および／または第１の態様に関して説明した方法を実行するように構成される、装置を提供する。
第５の態様では、本開示は、メモリユニット、プロセッサユニット、通信インターフェースおよびメモリユニットに接続されたプロセッサユニットを備える装置であって、プロセッサユニット、ストレージユニット、通信インターフェースが、本明細書に記載および／または第２の態様に関して説明した方法を実行するように構成される、装置を提供する。
第６の態様では、本開示は、メモリユニット、プロセッサユニット、通信インターフェースおよびメモリユニットに接続されたプロセッサユニットを備える装置であって、プロセッサユニット、ストレージユニット、通信インターフェースが、本明細書に記載および／または第３の態様に関して説明した方法を実行するように構成される、装置を提供する。
第７の態様では、本開示は、プロセッサ上で実行されると、プロセッサに本明細書に記載および／または第１の態様を参照して説明した方法を実行させる、プログラムコードが保存されたコンピュータ可読媒体を提供する。
第７の態様では、本開示は、プロセッサ上で実行されると、プロセッサに本明細書に記載および／または第２の態様を参照して説明した方法を実行させる、プログラムコードが保存されたコンピュータ可読媒体を提供する。
第８の態様では、本開示は、プロセッサ上で実行されると、プロセッサに本明細書に記載および／または第３の態様を参照して説明した方法を実行させる、プログラムコードが保存されたコンピュータ可読媒体を提供する。
第９の態様では、本開示は、符号化ネットワークと、復号ネットワークと、潜在空間のスタイルベクトルｚおよび出力ラベルベクトルｙを出力する潜在表現層であって、スタイルベクトルｚが、１つ以上の選択された確率分布（複数可）に対応する１つ以上の選択されたベクトル（複数可）Ａｉを含み、符号化ネットワークの出力が、潜在表現層に接続され、潜在表現層が、復号ネットワークの入力に接続される、潜在表現層と、潜在表現層に接続された正則化コンポーネントであって、正則化コンポーネントが、装置のトレーニング中にスタイルベクトルｚを正則化し、装置が入力データを分類するときに実質的に時不変の出力ラベルベクトルｙをもたらすように構成された正則化コンポーネントと、を備える、装置を提供する。
好ましくは、正則化コンポーネントが、１つ以上の正則化ネットワーク（複数可）であって、各正則化ネットワークが、入力層、１つ以上の隠れ層（複数可）を含む弁別器ネットワーク、および生成器損失関数ＬＧＡｉを出力するための出力層を含み、入力層が、スタイルベクトルｚの１つ以上の選択されたベクトル（複数可）Ａｉのうちの対応する１つに接続される、１つ以上の正則化ネットワーク（複数可）と、をさらに含み、正則化ネットワーク（複数可）の各々は、トレーニング中に潜在ベクトルｚの対応するベクトルＡｉと、対応する選択された確率分布Ｐ（Ａｉ）から生成されたサンプルベクトルとを区別するために弁別器ネットワークをトレーニングし、サンプルベクトルは、潜在ベクトルｚのベクトルＡｉと同じ次元のものであり、潜在ベクトルｚのベクトルＡｉに確率分布Ｐ（Ａｉ）を適用するためにエンコーダネットワークをトレーニングする際にオートエンコーダが使用する生成器損失関数値ＬＧＡｉを出力するように構成されている、装置。
好ましくは、オートエンコーダが、入力層、１つ以上の隠れ層（複数可）、およびラベルベクトルｙに関連する生成器損失関数ＬＧＹを出力するための出力層を含む結合された敵対的ネットワークをさらに含み、敵対的ネットワークの入力層は、ラベルベクトルｙに接続され、敵対的ネットワークは、トレーニング中に、ラベルベクトルｙと、ラベルベクトルｙと同じ次元の１つのホットベクトルのセットのカテゴリカル分布からのサンプルベクトルとを区別するために１つ以上の隠れ層（複数可）をトレーニングし、ラベルベクトルｙにカテゴリカル分布を適用するために、エンコーダネットワークをトレーニングしてラベルベクトルｙに関連付けられた生成器損失関数値ＬＧＹを出力するように構成されている、装置。
第１０の態様では、本開示は、オートエンコーダのためのコンピュータ実装方法であって、オートエンコーダが、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、潜在ベクトルが、ラベルベクトルｙおよびスタイルベクトルｚを含み、方法が、スタイルベクトルｚの正則化を制御して、１つ以上の確率分布（複数可）Ｐ（Ａｉ）および対応する１つ以上のベクトル（複数可）Ａｉを選択することにより、ラベルベクトルｙの時不変性を増加または減少させることであって、スタイルベクトルｚが、１つ以上のベクトル（複数可）Ａｉを含む、制御することと、選択された確率分布（複数可）に基づいてスタイルベクトルｚを正則化することと、を含み、制御する方法が、複数のハイパーパラメータのセットを生成することであって、ハイパーパラメータの各セットが、１つ以上の選択された確率分布（複数可）Ｐ（Ａｉ）と、スタイルベクトルｚを分割する対応する１つ以上の選択されたベクトル（複数可）Ａｉを含み、ハイパーパラメータの各セットが、オートエンコーダ構造を定義する、生成することと、複数のハイパーパラメータのセットのハイパーパラメータの各セットについて、オートエンコーダのラベルベクトルｙのクラスタ化および時不変性の性能を、ハイパーパラメータのセットに基づいてオートエンコーダを構成することと、入力データに対して構成済みのオートエンコーダをトレーニングすることにより、ハイパーパラメータのセットに基づいてスタイルベクトルｚを正則化することと、トレーニングされたオートエンコーダおよび入力データに基づいて、ラベルベクトルのセットｙを生成することと、ラベルベクトルｙの複数または２つ以上のクラスタを決定することと、各クラスタに実質的に同じまたは類似するラベルベクトルｙのサブグループが含まれているかどうかを検出することと、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含むことの検出に応答して、選択されたハイパーパラメータのセットを最適化されたハイパーパラメータデータセットに保存することであって、最適化されたハイパーパラメータデータセット内のハイパーパラメータのセットが、トレーニング中にスタイルベクトルｚを正則化することにより、実質的に時不変のラベルベクトル（複数可）ｙを出力するようにトレーニングされ得るオートエンコーダ構造を定義する、保存することと、によって、決定することと、をさらに含む、コンピュータ実装方法を提供する。
好ましくは、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含むことの検出に応答して、ラベルベクトルｙのセットが実質的に時不変であるかどうかを検出することと、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含むことの検出、およびラベルベクトルｙのセットが実質的に時不変であることの検出に応答して、選択されたハイパーパラメータのセットを最適化されたハイパーパラメータデータセットに保存することであって、最適化されたハイパーパラメータデータセット内のハイパーパラメータのセットが、トレーニング中にスタイルベクトルｚを正則化することにより、実質的に時不変のラベルベクトル（複数可）ｙを出力するようにトレーニングされ得るオートエンコーダ構造を定義する、保存することと、をさらに含む、コンピュータ実装方法。
好ましくは、各クラスタが、領域または境界によって定義され、各クラスタのラベルベクトルｙのサブグループが、定義された領域または境界内に含まれ、ラベルベクトルｙが、同じクラスタの領域または境界内に含まれる場合、実質的に同じか類似している、コンピュータ実装方法。
好ましくは、ラベルベクトルｙのセットをクラスタ化して、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含む、ラベルベクトルｙの複数のクラスタを形成することと、ラベルベクトルｙのクラスタの各々を、入力データの分類でハイパーパラメータのセットによって定義されたオートエンコーダが使用するために、入力データに関連付けられたクラスまたは状態ラベルＳのセットからのクラスまたは状態ラベルにマッピングすることと、をさらに含む、コンピュータ実装方法。
好ましくは、オートエンコーダ構成データのセットが、最適化されたオートエンコーダ構成データセットに保存することをさらに含み、オートエンコーダ構成データのセットが、最適化されたハイパーパラメータデータセットに保存されているハイパーパラメータのセットを表すデータ、ラベルベクトルｙのクラスタを表すデータ、クラスまたは状態ラベルＳへのラベルベクトルｙのクラスタの各々のマッピングを表すデータ、およびトレーニングされたオートエンコーダに関連付けられた１つ以上のニューラルネットワーク（複数可）および／または隠れ層（複数可）の重みおよび／またはパラメータを表すデータのグループからの１つ以上を表すデータを含む、コンピュータ実装方法。
好ましくは、スタイルベクトルｚを正則化することが、スタイルベクトルｚの一部分を正則化することをさらに含む、いずれかの態様のコンピュータ実装方法または装置。
好ましくは、スタイルベクトルｚを正則化することが、スタイルベクトルｚのセクションを正則化することをさらに含む、いずれかの態様のコンピュータ実装方法または装置。
好ましくは、スタイルベクトルｚを正則化することが、スタイルベクトルｚのサブベクトルを正則化することをさらに含む、いずれかの態様のコンピュータ実装方法または装置。
好ましくは、スタイルベクトルｚのサブベクトルが、選択されたベクトルＡｉのサブグループを含む、いずれかの態様のコンピュータ実装方法または装置。
好ましくは、スタイルベクトルｚのサブベクトルの長さが、スタイルベクトルｚの長さよりも短い、いずれかの態様のコンピュータ実装方法または装置。
好ましくは、スタイルベクトルｚが部分的に正則化される、いずれかの態様のコンピュータ実装方法または装置。
好ましくは、スタイルベクトルｚが完全に正則化される、いずれかの態様のコンピュータ実装方法または装置。
好ましくは、スタイルベクトルｚを正則化することが、選択されたベクトル（複数可）Ａｉおよび対応する選択された確率分布Ｐ（Ａｉ）のサブグループを選択することと、スタイルベクトルｚの選択されたベクトル（複数可）Ａｉのサブグループのみを正則化することと、をさらに含み、ベクトル（複数可）Ａｉのサブグループ内のベクトル（複数可）Ａｉの数が、選択されたベクトル（複数可）Ａｉの数よりも少ない、いずれかの態様のコンピュータ実装方法または装置。
好ましくは、ラベルベクトルｙが敵対的ネットワークによって制約または制限されていない場合、オートエンコーダが、ラベルベクトルｙに結合された分類コンポーネントまたは技術がラベルベクトルｙに作用し、かつ／または分類するような潜在空間のラベルベクトルｙを出力する潜在表現層をさらに含む、いずれかの態様のコンピュータ実装方法または装置。
好ましくは、いずれかの態様のコンピュータ実装方法または装置であり、ラベルベクトルｙはソフトベクトルである。
好ましくは、いずれかの態様のコンピュータ実装方法または装置であり、ラベルベクトルｙは、ワンホット状ベクトルではない。
好ましくは、いずれかの態様のコンピュータ実装方法または装置であり、ラベルベクトルｙは、密なソフトベクトルである。
好ましくは、ラベルベクトルｙが、ベクトル、テンソルまたはその他を含み、ベクトル、テンソルまたはその他が、ワンホットベクトルと、エントロピーの尺度と、Ｌ１ Ｌ２またはその両方に正則化されたものと、離散的なボルツマン分布ベクトルと、先行クラス状態の表現と、既知の機能または構成セットと、のグループからの少なくとも１つ以上を含む、第１、第２または第３の態様のコンピュータ実装方法。
好ましくは、スタイルベクトルｚが、ベクトル、テンソルまたはその他を含み、ベクトル、テンソルまたはその他が、確率分布と、Ｌ１ Ｌ２またはその他の基準と、迷惑変数と、エラー変数と、のグループからの少なくとも１つ以上によってペナルティが課されるか、正則化される、第１、第２または第３の態様のコンピュータ実装方法。
本明細書に記載された方法は、例えば、プログラムがコンピュータ上で実行され、コンピュータプログラムがコンピュータ可読媒体上に具現化されている場合に、本明細書に記載された方法の全てのステップを実行するように適合されたコンピュータプログラムコード手段を含むコンピュータプログラムの形で、有形記憶媒体上の機械可読形式のソフトウェアによって実行されてもよい。有形（または非一時的）記憶媒体の例には、ディスク、サムドライブ、メモリカードなどが含まれ、伝播信号は含まれない。ソフトウェアは、方法のステップを任意の好適な順序で、または同時に実行することができるように、並列プロセッサまたは直列プロセッサでの実行に好適な場合がある。
このアプリケーションは、ファームウェアおよびソフトウェアが価値を有し、個別に取引可能な商品である可能性があることを認めている。「ダム」または標準ハードウェアで実行または制御するソフトウェアを包含して、目的の機能を実行することを目的としている。また、シリコンチップの設計またはユニバーサルプログラマブルチップの構成に使用されるＨＤＬ（ハードウェア記述言語）ソフトウェアなどのハードウェアの構成を「記述」または定義して、目的の機能を実行するソフトウェアも含まれる。
好ましい特徴は、当業者には明らかであるように、適切に組み合わせることができ、本発明の任意の態様と組み合わせることができる。
本発明の実施形態は、例として、以下の図面を参照して説明される。
高周波時変入力データ信号（複数可）の分類例を示す概略図である。 図１ａによる高周波時変入力データ信号（複数可）の分類例を示す概略図である。 図１ａおよび１ｂによる高周波時変入力データ信号（複数可）のベクトルラベルのクラスタ化の例を示す概略図である。 本発明による例示的なＭＬ技術を示す概略図である。 本発明による図２ｂのＭＬ技術で使用するための例示的な弁別器を示す概略図である。 本発明による図２ｂのＭＬ技術で使用するための例示的な正則化ネットワークを示す概略図である。 本発明による別の例示的なＭＬ技術を示す概略図である。 本発明による図２ｂのＭＬ技術で使用するための別の例示的な正則化ネットワークを示す概略図である。 ベクトルラベルの理想的なクラスタ化を示す概略図である。 本発明によるＭＬ技術（複数可）のためのハイパーパラメータを選択するための例示的な最適化方法を示すフロー図である。 本発明によるＭＬ技術のベクトルラベルの例示的なｔ−ＳＮＥプロットを示すグラフである。 図４ｂのベクトルラベルの時間分散の例示的なｔ−ＳＮＥプロットを示すグラフである。 スタイルベクトルｚの正則化なしでトレーニングされたオートエンコーダのベクトルラベルのｔ−ＳＮＥプロットおよび時間分散の例示的なｔ−ＳＮＥプロットを示すグラフである。 本発明によるＭＬ技術（複数可）で使用するための例示的なコンピューティングデバイスを示す概略図である。 本発明によるＭＬ技術（複数可）で使用するための例示的な装置またはデバイスを示す概略図である。
同様の特徴を示すために、図面全体を通して共通の参照番号が使用されている。
本発明の実施形態は、例としてのみ以下に説明される。これらの例は、これを達成することができる唯一の方法ではないが、出願人に現在既知の本発明を実施する最良の方法を表す。本説明は、例の機能と、例を構築および操作するための一連のステップを示している。しかしながら、同じまたは同等の機能および配列は、異なる例によって達成されてもよい。
本発明者らは、入力データを分類するための潜在ベクトル空間からの潜在ベクトル（複数可）を使用、慎重に操作、および／または処理することにより、入力データを分類する機械学習技術（複数可）をより堅牢にすることができることを有利に見出した。潜在ベクトルは、ラベルベクトルｙおよびスタイルベクトルｚが含み得、ラベルベクトルｙは、入力データの分類に使用され、スタイルベクトルｚの少なくとも一部が正則化され得るか、またはスタイルベクトルｚが全体的に正則化され得ることにより、機械学習技術に、実質的に時不変、時不変、または機械学習技術がスタイルベクトルｚを正則化しない場合と比較してより時不変であるラベルベクトルｙを出力させる。これにより、対応する機械学習技術（複数可）の高周波時変入力データに対する分類精度、堅牢性、および性能が大幅に向上する。
図２ａは、本発明による入力データサンプル２０１ａを分類する際に使用するための例示的なＭＬ技術２００を示す概略図である。この例では、ＭＬ技術２００はオートエンコーダである。オートエンコーダ２００は、符号化ネットワーク２０２ａ、復号ネットワーク２０２ｂ、および入力データサンプルを分類する際に使用するためのＮ次元潜在空間の潜在ベクトルを出力する潜在空間表現層２０４を含む。符号化ネットワーク２０２ａおよび復号ネットワーク２０２ｂは、潜在空間表現層２０４に結合される。符号化ネットワーク２０２ａは、潜在表現層２０４に出力する。潜在表現層２０４は、ラベルベクトルｙ２０６およびスタイルベクトルｚ２０８を含む潜在ベクトルから構成される。デコーダネットワーク２０２ｂは、潜在表現層２０４から潜在ベクトルを受け取り、再構成された入力データサンプル２０１ｂの形で入力データサンプル２０１ａの推定値を出力する。オートエンコーダ２００は、ラベルベクトルｙ２０８をよりワンホットでラベル状にして使用するための敵対的ネットワーク２１０を含む。オートエンコーダ２００は、潜在表現層２０４のスタイルベクトルｚ２０８に接続された正則化ネットワークまたはコンポーネント２１２を含み、正則化ネットワーク２１２は、オートエンコーダのトレーニング中にスタイルベクトルｚを正則化し、トレーニングされたオートエンコーダが入力データサンプル２０１ａを分類するときに実質的に時不変の出力ラベルベクトルｙをもたらすように構成される。
特に、図２ｂを参照すると、オートエンコーダの敵対的ネットワーク２１０は、入力層２１０ａと、１つ以上の隠れ層（複数可）２１０ｃおよび２１０ｄと、ラベルベクトルｙ２０６に関連付けられたラベルベクトル生成器損失関数値ＬＧＹを評価するために使用される出力層２１０ｅとを含んでもよい。敵対的ネットワーク２１０の入力層２１０ａは、ラベルベクトルｙ２０６およびラベルベクトルｙ２０６と同じ次元のワンホットベクトル２１０ａのセットのカテゴリカル分布に接続される。敵対的ネットワーク２１０は、トレーニング中に、ラベルベクトルｙ２０６と同じ次元のワンホットベクトル２１０ａのセットのカテゴリカル分布からラベルベクトルｙ２０６とサンプルベクトルとを区別するように、１つ以上の隠れ層（複数可）２１０ｃ、２１０ｄをトレーニングするように構成されてもよい。ラベルベクトル生成器損失関数値ＬＧＹは、ラベルベクトルｙ２０６に関連付けられ、ワンホットベクトルのセット２１０ａのカテゴリカル分布をラベルベクトルｙ２０６に適用するようにエンコーダネットワーク２０２ａをトレーニングする際に使用するためのものである。ラベルベクトルｙ２０６のサイズは、入力データサンプル２０１ａから分類されるクラス、カテゴリ、および／または状態の数に基づいてもよい。
さらに、オートエンコーダ２００の正則化ネットワーク２１２は、潜在表現層２０４に接続されている。特に、正則化ネットワーク２１２は、スタイルベクトルｚ２０８に接続され、オートエンコーダ２００のトレーニング中にスタイルベクトルｚ２０８を正則化し、トレーニングされたオートエンコーダ２００が入力データを分類するときに実質的に時不変の出力ラベルベクトルｙ２０６をもたらすように構成される。図２ｃを参照すると、正則化ネットワーク２１２は、入力層２１３ａと、１つ以上の隠れ層（複数可）２１３ｂ、２１３ｃと、スタイルベクトル生成器損失関数値ＬＧＺを出力するための出力層２１３ｄとを含み、入力層２１３ａは、スタイルベクトルｚ２０８と選択された確率分布Ｐ（ｚ）２１４とに接続される。正則化ネットワーク２１２は、オートエンコーダ２００のトレーニング中に、対応するスタイルベクトルｚ２０８と、対応する選択された確率分布Ｐ（ｚ）２１４から生成されたサンプルベクトルとを区別するように弁別器ネットワークをトレーニングするように構成されており、サンプルベクトルは、スタイルベクトルｚ２０８と同じ次元のものである。出力スタイルベクトル生成器損失関数値ＬＧＺは、エンコーダネットワーク２０２ａをトレーニングして、潜在ベクトルのスタイルベクトルｚに確率分布Ｐ（ｚ）を適用するために使用される。
確率分布Ｐ（ｚ）２１４は、ラプラシアン分布、ガンマ分布、ガウス分布、および入力データに関連付けられたラベルベクトル（複数可）ｙ２０６の時不変性を改善すると見なされる、分散およびその他の確率分布などの異なる特性を持つ前述の分布の順列からなるグループからの１つ以上の確率分布またはそれらの組み合わせから選択されてもよい。
オートエンコーダ２００は、限定ではなく例として、生成器損失、図２ａの例でのラベルベクトル生成器損失関数値ＬＧＹ、およびスタイルベクトル生成器損失関数値ＬＧＺの組み合わせ、復号ネットワーク２０２ｂからの出力２０１ｂおよびエンコーダネットワーク２０２ａに入力された元の入力データサンプル２０１ａに基づく再構成損失に基づいて、２１６で表される損失またはコスト関数を使用して、入力データサンプル２０１ａでトレーニングされてもよい。符号化ネットワーク２０２ａおよび／または復号ネットワーク２０２ｂの隠れ層（複数可）の重みは、コストモジュール２１６の生成されたコスト損失関数に基づいて更新される。
高周波時変入力データ信号の例は、限定ではなく例として、対象の１つ以上のニューロン集団の神経活動に関連する神経信号であり得る。神経受信機または神経センサは、対象の神経細胞集団の１つ以上の神経細胞の神経活動を検出および測定し、神経活動を代表する神経信号ｘｉ（ｔ）またはｘｊ（ｔ）を出力することができる任意の装置、機構またはデバイスを含むかまたは表すことができる。本質的に、神経活動は、１つ以上の神経または神経組織のセクション（複数可）をしばしば構成する１つ以上のニューロン（またはニューロン集団）に存在する任意の電気的、機械的、化学的または時間的活動を含むかまたは表すことができる。神経活動は、限定ではなく例として、対象の身体に関連する情報および／または対象の身体に影響を与える環境に関する情報を伝えることができる。神経活動によって伝えられる情報には、神経データを表すデータ、神経情報、神経意向、末端効果、組織状態、身体状態、神経状態または身体の状態を代表するデータ、変数または情報、ならびに／または神経活動によって運ばれるかまたは含まれ、ニューロンもしくはニューロン集団によって解釈され、および／もしくは対象者の身体に渡される情報を代表する他のデータ、変数または情報を含むことができる。例えば、神経データは、１つ以上のニューロンまたはニューロン集団の神経活動により含まれるかまたは伝えられる情報またはデータを表す任意のデータを含んでもよい。神経データは、限定ではなく例として、対応する神経活動に関連する１つ以上の身体変数（複数可）の推定値を代表するデータ、あるいは神経活動によって運ばれるか、または含まれるか、または伝えられる情報を代表する他のデータ、変数、または情報を含むことができる。
この情報は、身体に関連する１つ以上の変数として情報理論的観点で表すことができ、本明細書では身体変数（複数可）と呼ばれる。身体変数は、中枢神経系（ＣＮＳ）に伝達される、または中枢神経系（ＣＮＳ）から伝達される、所望の最終効果または組織状態を含むか、またはそれを表すものであり、中枢神経系（ＣＮＳ）自体は、この情報の役割または機能、および身体、ＣＮＳまたは付属デバイスによるその使用に基づいて、感覚、制御、または他の変数として分類されてもよい。１つ以上の神経位置における神経活動の１つ以上のインスタンスは、１つ以上の身体変数の符号化であると言うことができる。例えば、神経の１つ以上のニューロン（複数可）の神経活動は、身体の他の部分が受け取る１つ以上の身体変数を符号化するために身体の一部によって生成または変調されてもよく、身体変数へのアクセスを得るために神経活動を復号する。身体変数の符号化および復号の両方をＣＮＳおよび／または身体組織で行うことができるため、対象の体の周りの情報の伝達が容易となる。
別の例では、体性神経系（ＳｏＮＳ）では、ＣＮＳによって生成された１つ以上の身体変数（複数可）が、１つ以上のモーションのインスタンス（例えば、各身体変数は、四肢の異なるモーションまたは動きに関連付けられている場合がある）に関連付けられた遠心性神経活動として末梢神経系（ＰＮＳ）を介して伝達されてもよい。別の例では、自律神経系（ＡＮＳ）において、身体変数の各インスタンスは、器官機能の修正、器官機能を修正すること、または身体機能を修正することに関連していてもよい（例えば、１つ以上の身体変数（複数可）は、より多くまたはより少ないインスリンの産生に関連していてもよい；または血圧測定に関連していてもよい；など）。ＣＮＳはまた、感覚神経情報に対応する身体変数（例えば、感覚身体変数）を符号化する求心性神経活動を受信してもよく、この場合、感覚身体変数は、四肢、器官または組織などに関連付けられた１つ以上のニューロン（複数可）または１つ以上のニューロン集団（複数可）によって生成された四肢の状態または器官もしくは組織の状態に関する感覚情報の符号化を表す。ＣＮＳは、求心性神経活動を受信し、この神経活動を解読または復号して感覚身体変数（複数可）を理解し、それに応じて応答する。
身体変数のいくつかの例を説明したが、これは、単純化のためであり、例としてのみであるが、本開示はそれほど限定されるものではなく、対象の身体によって生成され得、身体部分間または身体の周りに神経活動として送られ得る身体変数が複数存在することは、当業者に理解されるであろう。
オートエンコーダ２００の例は、例としてのみであるがこれに限定されない、対象に結合された対応する複数の神経受信機（複数可）またはセンサ（複数可）から出力されるマルチチャネル神経信号ｘ１（ｔ）、．．．、ｘｉ（ｔ）、ｘｊ（ｔ）、．．．、ｘＭ（ｔ）などの、高周波時変入力データ信号（複数可）を分類するために使用され得る。神経信号ｘ１（ｔ）、．．．、ｘｎ（ｔ）は、神経活動として符号化された身体変数の情報豊富なデータ表現として、ラベルベクトル（複数可）ｙ２０６のセットを推定するためにトレーニングされた１つ以上のＭＬ技術（複数可）を使用して処理され、それに応じてラベルベクトルｙ２０６のセットを分類する。ｘｉ（ｔ）またはｘｊ（ｔ）と表記される神経信号は、対象のＣＮＳによって生成される身体変数に応答して、１つ以上の神経受信機またはセンサに局所的に検出および／または測定されるように、ニューロン集団の電気空間的および時間的活動に関連する時間領域信号を含むか、または表すことができる。対象のＣＮＳは、身体変数を神経活動として符号化し、これは、ニューロン集団に関連する１つ以上の神経に沿って伝達される。
オートエンコーダ２００は、１≦ｉ≦Ｌｋおよびｋ≧１のためのｋ番目の神経サンプルベクトル配列（ｘｉ）ｋ２０１ａの形式で、１つ以上の身体変数（複数可）を符号化するｋ番目の神経活動を代表するデータとして、マルチチャネル神経信号ｘ１（ｔ）、．．．、ｘｉ（ｔ）、ｘｊ（ｔ）、．．．、ｘＭ（ｔ）を受信するように構成されてもよく、ｘｉは、Ｍ次元ベクトルであるマルチチャネル神経信号ｘ１（ｔ）、．．．、ｘｉ（ｔ）、ｘｊ（ｔ）、．．．、ｘＭ（ｔ）のｉ番目のサンプルベクトルであり、ｘｉ＝［ｘ１（ｔｉ）、．．．、ｘｍ（ｔｉ）、．．．、ｘＭ（ｔｉ）］Ｔの各要素は、１≦ｉ≦Ｌｋのサンプリング時間ステップｉで取られた１≦ｍ≦Ｍの対応するｍ番目のチャネルからのサンプルを表し、Ｍはチャネル数であり、Ｌｋは、１つ以上の身体変数（複数可）を符号化するｋ番目の神経活動をキャプチャするのに十分なサンプル配列の長さまたはサンプルの数である。したがって、１つ以上の身体変数（複数可）を符号化するｋ番目の神経活動を表すデータは、Ｌｋ×Ｍ個のサンプルから構成されていてもよい。
復号ネットワーク２０２ｂは、入力されたｋ番目の神経サンプルベクトル配列（ｘｉ）ｋ２０１ａ １≦ｉ≦Ｌｋおよびｋ≧１の再構成であるｋ番目の神経サンプルベクトル配列
２０１ｂ １≦ｉ≦Ｌｋおよびｋ≧１の推定値を出力するために、復号出力層に接続された１つ以上の隠れ層に接続された潜在空間表現層２０４をさらに含む。ｋ番目の神経サンプルベクトル配列（ｘｉ）ｋ２０１ａについて、エンコーダネットワーク２０２ａの潜在空間表現層２０４は、ラベルベクトルｙｋ２０６および連続潜在変数ベクトルｚｋ２０８を含む潜在ベクトルを形成するように構成される。ｙｋ２０６の要素の数は、分類される固有の身体変数ラベルの数に対応し得る。あるいは、ｙｋ２０６の要素の数はまた、ラベル付けされていない身体変数トレーニングデータセットを使用するときに見出され得る身体変数ラベルの予想される数に対応し得る。あるいは、ｙｋ２０６の要素の数は、ラベル付けされていない身体変数トレーニングデータセット内にある無相関または固有の神経サンプルベクトル配列の数に対応し得る。代替的に、オートエンコーダ２００が同じラベル付けされていない身体変数トレーニングデータセットでトレーニングされるときに、一意の身体変数ベクトル推定値の数がどのように変化するかを観察することにより、試行錯誤によってｙｋの要素の数を決定することができる。
オートエンコーダ２００は、配列間再帰ニューラルネットワークモデルに基づくことができ、ここで、敵対的ネットワーク２１０は、対象の神経系の一部の対応する１つ以上のニューロン集団（複数可）に配置された１つ以上の神経受信機（複数可）によって受信された神経信号から対象（図示せず）の行動を推測する際に使用するためのワッサースタイン生成敵対的ネットワーク（ＷＧＡＮ）２１０である。例えば、神経信号は、一例として、限定するものではないが、遠心性神経の１つ以上のニューロン集団から神経受信機（複数可）によって受信されてもよい。ＷＧＡＮ２６２は、配列間ネットワーク２６０の潜在表現をラベルのようなものに制約するために使用され、これは、１つ以上の身体変数またはそれらの組み合わせを符号化する神経活動に関連する潜在表現の分類／ラベル付けを可能にする。例えば、ラベル付けは、身体変数が検出されたときに、身体変数（複数可）に関連する受信された神経信号（複数可）の部分を、対象に関連するセンサデータと照合することによって達成することができる。これにより、一致したセンサデータに基づいて身体変数（複数可）を識別し、身体変数のラベルを割り当てて、身体変数（複数可）を符号化する関連する神経活動を分類する潜在表現にラベル付けすることができる。
前述したように、マルチチャネル神経信号ｘ１（ｔ）、．．．、ｘｉ（ｔ）、ｘｊ（ｔ）、．．．、ｘＭ（ｔ）は、ｉ≧１のマルチチャネル神経信号サンプル（ｘｉ）を形成するために、多数のＭ個の神経受信機から受信されてもよく、ｘｉは、マルチチャネル神経信号のＭ次元ベクトル空間のｉ番目のサンプルベクトルであり、ｘｉの各要素は、１≦ｍ≦Ｍの対応するｍ番目のチャネルからのｉ番目のサンプルを表す。神経活動（例えば、神経インパルス（複数可）のセット）を示すマルチチャネル神経信号ｘ１（ｔ）、．．．、ｘｉ（ｔ）、ｘｊ（ｔ）、．．．、ｘＭ（ｔ）の各ｋ番目のセクションは、１≦ｉ≦Ｌｋ、ｋ≧１のためのサンプルベクトル配列（ｘｉ）ｋ２０１ａとしてサンプリングされて保存されてもよく、Ｌｋは、１つ以上の身体変数（複数可）またはその組み合わせを符号化するｋ番目の神経活動をキャプチャするｋ番目のサンプル配列の長さまたはｋ番目のセクションから取得されたサンプルの数である。１つ以上の身体変数またはそれらの組み合わせを符号化するｋ番目の神経活動を表すデータは、Ｌｋ×Ｍ個のサンプルから構成されてもよい。したがって、神経サンプルベクトル配列のセットが収集され得、｛（ｘｉ）ｋ｝として表される。
神経サンプルベクトル配列のトレーニングセットは、神経サンプルベクトル配列のセット｛（ｘｉ）ｋ｝から生成され得、
のように表される。ここで、Ｔはトレーニングセット内の神経サンプルベクトル配列の数である。トレーニングセット
は、以前に記録または保存されたマルチチャネルの神経信号から生成され得、この信号は、多数の神経活動を識別し、各識別された神経活動は、１つ以上の身体変数（複数可）またはその組み合わせを符号化する。このトレーニングセット
は、多チャネル神経信号が記録／保存／サンプリングされ、収集されたのと同時に記録／保存／収集された対応するセンサデータ（例えば、動画、オーディオ、モーショントラッキング、血液、心拍数など）と、識別された神経活動の各々を分析し、比較することによって、｛（ｘｉ）ｋ｝から生成されてもよい。この比較は、対象の行動（複数可）を識別するために使用され得、したがって、各ｋ番目の神経活動１≦ｋ≦Ｔを識別するために使用されてもよく、これは、神経活動に関連してオートエンコーダ２００から出力されるラベルベクトルｙ２０６を分類するために使用されてもよい。
あるいは、トレーニングセット
は、エンコーダネットワーク２０２ａから、入力された神経サンプルベクトル配列｛（ｘｉ）ｋ｝の各々についてのラベルベクトルｙ２０６（例えば、これはソフトベクトルであってもよい）を出力する分類器としてのオートエンコーダ２００を使用して、ラベル付けされていない神経サンプルベクトル配列｛（ｘｉ）ｋ｝２０１ａの収集されたセットから生成されてもよい。これにより、神経活動に符号化された身体変数に関連する複数の真の状態またはクラスにマッピングすることができるラベルベクトルｙのセットが生成される。例えば、ラベルベクトルｙ２０６のセットを使用して、ラベルベクトルｙ２０６のセットがクラスタ領域を形成しているかどうかを観察することによって、身体変数ラベル（例えば、真の状態またはクラス）を決定するために使用されてもよく、その場合、各クラスタ領域は身体変数ラベルでラベル付けされてもよい。各クラスタ領域の身体変数ラベルは、最初に、クラスタ領域内にラベルベクトルｙ２０６を生成する｛（ｘｉ）ｋ｝の各神経活動（例えば、自動的に分析される）の各々を、マルチチャネル神経信号サンプルベクトル配列｛（ｘｉ）ｋ｝が記録／保存／サンプリングされ、収集されたのと同時に記録／保存／収集された対応するセンサデータ（動画、オーディオ、モーショントラッキング、血液、心拍数など）と比較することによって識別されてもよい。これは、クラスタ領域に関連する神経活動および対応するセンサデータを分析し、分析された神経活動および対応するセンサデータに基づいて身体変数ラベルを決定するために使用される。したがって、クラスタ領域から身体変数ラベルまたは真の状態／クラスへのマッピングが生成され得、身体変数ラベルまたは真の状態／クラスなどに従ってラベルベクトルｙを分類するために使用される。Ｔ個の固有の身体変数ラベル（例えば、真の状態／クラス）のセットとそれに関連する神経信号サンプルベクトル配列｛（ｘｉ）ｋ｝が生成され得、ラベル付けされた身体変数トレーニングデータセット
として保存される。これは、１つ以上のＭＬ技術（複数可）をさらにトレーニングするために使用することができる。
所与の神経サンプルベクトル配列｛（ｘｉ）ｋ｝のセットが非常に大きく、手動による人間の分析には微妙な特徴を含む可能性があるため、オートエンコーダ２００のようなＭＬ技術は、対象の身体機能を管理するための１つ以上のデバイス（複数可）に出力するのに好適な神経サンプルベクトル配列｛（ｘｉ）ｋ｝の分析、学習、およびラベル付け表現を支援することができる。この例では、オートエンコーダ２００は、半教師付き配列間モデルに基づいている。オートエンコーダ２００は、１≦ｉ≦Ｌｋおよびｋ≧１の所与の神経サンプルベクトル配列（ｘｉ）ｋ２０１ａを固定サイズの連続ベクトル表現または潜在ベクトル表現に符号化する配列間モデルである。オートエンコーダ２００は、エンコーダネットワーク２０２ａおよびデコーダネットワーク２０２ｂを含み、これらは両方とも、例としてのみであるがこれらに限定されないが、長期短期記憶（ＬＳＴＭ）再帰ニューラルネットワーク（ＲＮＮ）である。説明したように、オートエンコーダは、エンコーダネットワーク２０２ａによって生成されたラベルベクトルｙ２０６と、カテゴリカル分布２１０ａからのサンプル（例えば、ワンホットベクトルサンプル）を区別するようにトレーニングされた敵対的弁別器２１０で拡張される。この拡張により、エンコーダネットワーク２０２ａは、ラベル付けされていない収集されたマルチチャネル神経信号サンプルベクトル配列｛（ｘｉ）ｋ｝から有益なラベルのような潜在ベクトルｙ２０６を学習するようにトレーニングでき、これは、１つ以上の身体変数（複数可）を符号化する対応する神経活動を識別するためにラベル付けされ得る次に、受信されたマルチチャネル神経信号サンプルベクトル配列｛（ｘｉ）ｋ｝は、真の状態／クラスの身体変数ラベルに基づいて分類され得る。
オートエンコーダ２００は、限定ではなく例として、第２のＷＧＡＮ敵対的弁別器ネットワーク２１３ｂ〜２１３ｄに基づく正則化ネットワーク２１２も含み、これは、スタイルベクトルｚ２０８表現をよりガウス分布化するように促すために用いられる。ガウス分布または正規分布が説明されているが、これは単なる例であり、本発明はそれに限定されず、当業者は、限定ではなく例として、任意の他の確率分布など、またはネットワーク２０２ａ、２０２ｂの収束をさらに改善し、潜在空間または潜在ベクトルの表現を改善し、ラベルベクトルｙ２０６の時不変性を改善し、かつ／もしくは本発明のラベル付け／分類および任意の他の態様を改善する任意の他の確率分布を使用することができることを理解されたい。
第２の敵対的弁別器ネットワーク２１３ｂ〜２１３ｄは、エンコーダネットワーク２０２ａによって生成された潜在ベクトルのスタイルベクトルｚ２０８と、この場合はガウス分布Ｎ（ｚ｜０，Ｉ）、２１４である確率分布Ｐ（ｚ）からのサンプルとを区別するようにトレーニングされる。エンコーダネットワーク２０２ａによって生成されたスタイルベクトルｚ２０８およびガウスサンプルは、第２の敵対的弁別器の隠れ層（複数可）２１３ｂおよび２１３ｃに入力される。出力層２１３ｄは、スタイルベクトルｚ２０８のエンコーダネットワークの推定値２０２ａがガウスサンプル／分布にどれだけ近いかを評価することによって、よりガウス状になるように改善するために使用される線形ガウス結果またはスタイルベクトル生成器損失関数値（ＬＧＺ）を出力する。例えば、コストモジュール２１６は、このガウス結果またはスタイルベクトル発生損失関数値（ＬＧＺ）を使用してもよく、スタイルベクトルｚ２０８の潜在空間表現をさらに改善し、ガウス分布ベクトルにより近くなると推定される。第２の敵対的ニューラルネットワークは、第１の敵対的ニューラルネットワークについて説明したのと同様の方法でトレーニングされる。これは、エンコーダネットワーク２０２ａから出力されるラベルベクトルｙ２０６の時不変性を改善する。スタイルベクトルｚ２０８を正則化すると、エンコーダネットワーク２０２ａおよびデコーダネットワーク２０２ｂが、入力神経サンプルベクトル配列｛（ｘｉ）ｋ｝２０１ａ内の「時間的パターン」の発生を過剰に表すようにトレーニングされる可能性が低くなる。これにより、ｚ２０８に対する追加の制約により、潜在空間を通る情報の流れが以前よりも制約されるため、隣接する入力神経サンプルベクトル配列｛（ｘｉ）ｋ｝２０１ａ間の相関が減少および／または最小化される。したがって、ｙは、同じ再構成を可能にするために、より良いものでなければならず、したがって、ラベルベクトルｙ２０６の時不変性の増加、またはラベルベクトル（複数可）ｙ２０６が実質的に時不変であること、すなわち、入力された神経サンプルベクトル配列｛（ｘｉ）ｋ｝２０１ａに応答してオートエンコーダ２００から出力されることを可能にしなければならない。さらに、同じ身体変数ラベルまたは真の状態／クラスラベルに関連付けられたラベルベクトル（複数可）ｙ２０６のセットは、一緒にクラスタ化される可能性が高くなるため、身体変数ラベル（または真の状態／クラスラベル）にマッピングするクラスタ化領域を定義することができる。すなわち、オートエンコーダ２００が一緒にクラスタ化するが、異なる身体変数ラベルまたは状態に属する身体変数ベクトルラベルｙ２０６を出力するシナリオには、大幅な減少がある。したがって、スタイルベクトルｚ２０８を正則化すると、結果の分類器の堅牢性が向上し、入力神経サンプルベクトル配列｛（ｘｉ）ｋ｝２０１ａの変化に対する分類器の感度が低下する。
さらに、これにより、特定のｙ表現を選択し、
ガウス分布から
をサンプリングし、
および
の連結体をデコーダネットワーク２０２ｂへの入力として使用することにより、任意のカテゴリの信号を生成することができる。さらに、これによりｙの混合カテゴリを生成できる。したがって、エンコーダネットワーク２０２ａは、２つの固定サイズの潜在ベクトル表現潜在ベクトル
およびラベルベクトル
を生成し、これは身体変数の推定値として使用され、それに応じてラベル付けされ得る。
ガウス分布変数またはガウス分布および／または正規分布が記載されているが、これは単なる例であり、本発明はそれに限定されず、当業者は、限定ではなく例として、任意の他の確率分布など、またはネットワーク２０２ａ、２０２ｂの収束をさらに改善し、潜在空間または潜在ベクトルの表現を改善し、ラベルベクトル（複数可）ｙ２０６の時不変性を改善し、かつ／もしくは本発明のラベル付け／分類および任意の他の態様を改善する任意の他の確率分布を使用することができることを理解されたい。
この例では、オートエンコーダ２００は、限定ではなく例として、エンコーダネットワーク２０２ａおよびデコーダネットワーク２０２ｂとして単一層ＬＳＴＭを利用する。ＬＳＴＭでは複数の層を使用することができるが、簡単にするために単一層のＬＳＴＭについて説明する。エンコーダネットワーク２０２ａは、任意の長さ（または本明細書に先に記載されているように）の神経ベクトルサンプル配列ｘｉ＝（ｘｉ）ｋ２０１ａについて、１≦ｉ≦Ｌｋおよびｋ≧１のための２つの固定サイズの潜在表現、スタイルベクトルｚ２０８およびラベルベクトルｙ２０６を生成し、ｑ（ｚ，ｙ｜ｘｉ）と表記される。次に、デコーダネットワーク２０２ｂは、スタイルベクトルｚ２０８およびラベルベクトルｙ２０６の両方の表現を使用して、１≦ｉ≦Ｌｋおよびｋ≧１の元の入力神経ベクトルサンプル配列（ｘｉ）ｋ２０１ａを再構築する。デコーダネットワーク２０２ｂの各時間ステップｉまたはｔｉにおいて、状態メモリのｙセクションは、元のｙによって置換され、ベクトルの残りの部分は時間の経過と共に変化するように残されている。これにより、デコーダネットワーク２０２ｂが各時間ステップで使用するための有益なｙ表現を生成することがより重要となる。真の入力ｘｉ＝（ｘｉ）ｋまたはＬＳＴＭの前の時間ステップからの出力の間の各トレーニング反復でデコーダネットワーク２０２ｂへの入力を交互に使用することにより、トレーニングが安定し、オートエンコーダ２００がより堅牢になる。さらに、復号時に出力を逆にすることで、オートエンコーダ２００が低範囲の相関で開始することができるようになり、トレーニングがより簡単かつ迅速になる。
あるいは、Ｌｋマルチチャネル神経サンプルベクトル（ｘｉ）ｋ２０１ａ（１≦ｉ≦Ｌｋ）のｋ番目の配列は、１≦ｎ≦のＮマルチチャネル神経サンプルベクトルのＮ＜Ｌｋデータ点またはサブグループ／サブ配列にグループ化することができる。ここで、Ｌｋ／Ｎは整数であり、各データ点またはサブグループは、Ｌｋマルチチャネル神経サンプルベクトル（ｘｉ）ｋ（１≦ｉ≦Ｌｋ）のｋ番目のセットまたはｋ番目の配列から連続的に選択されたＮ個のマルチチャネル神経サンプルベクトルから構成されるＮ個のマルチチャネル神経サンプルベクトル（例えば、各マルチチャネル神経サンプルベクトルはＭ次元ベクトルである）のＮ×Ｍ行列として、Ｘｎ２０１ａと表記されてもよい。したがって、Ｌｋマルチチャネル神経サンプルベクトル（ｘｉ）ｋ１≦ｉ≦Ｌｋの各ｋ番目の配列を符号化するために使用され得る１≦ｎ≦Ｎの合計Ｎ個の時間ステップ、およびＬｋマルチチャネル神経サンプルベクトル（ｘｉ）ｋ１≦ｉ≦Ｌｋの入力ｋ番目の配列を復号または再構成するために使用され得る１≦ｎ≦Ｎの合計Ｎ個の時間ステップが存在してもよい。１≦ｎ≦Ｎの各時間ステップｎまたはｔｎにおいて、マルチチャネル神経サンプルベクトルのデータ点またはサブグループＸｎは、時間ステップＮまでに、１≦ｉ≦Ｌｋの任意の長さの神経ベクトルサンプル配列ｘｉ＝（ｘｉ）ｋの２つの固定サイズ潜在表現、スタイルベクトルｚ２０８およびラベルベクトルｙ２０６を生成するのに使用するためにエンコーダネットワーク２０２ａに入力され、ｑ（ｚ，ｙ｜ｘｉ）と表記されてもよい。したがって、Ｎ個の時間ステップの後、エンコーダネットワーク２０２ａは、２つの固定サイズの潜在表現、スタイルベクトルｚ２０８およびラベルベクトルｙ２０６を生成する。デコーダネットワーク２０２ｂでは、本質的に逆のことが起こり、状態メモリのｙセクションは、元のｙによって置換され、ベクトルの残りの部分は時間の経過と共に変化するように残されている。これにより、デコーダネットワーク２０２ｂが各時間ステップｎで使用するための有益なｙ表現を生成することがより重要となる。真の入力ｘ＝（ｘｉ）ｋまたはＬＳＴＭの前の時間ステップからの出力の間の各トレーニング反復でデコーダネットワーク２０２ｂへの入力を交互に使用することにより、トレーニングが安定し、オートエンコーダ２００がより堅牢になる。さらに、復号時に出力を逆にすることで、オートエンコーダ２００が低範囲の相関で開始することを可能にし、トレーニングがより簡単かつ迅速になる。
ラベルベクトルｙ２０６の表現がラベルに似ていることを確実にするために、弁別器ネットワーク２１０は、コスト関数の追加の損失項として使用される。オートエンコーダの敵対的コンポーネント２１０は、監視されていない方法でのデータのクラスタ化を可能にする。弁別器ネットワーク２１０は、生成器がエンコーダ再帰ニューラルネットワーク２０２ａであり、弁別器ネットワーク２１０は、カテゴリカル分布２１０ａからのサンプル（例えば、ランダムなワンホットベクトル）と、エンコーダネットワーク２０２ａによって生成されたラベルベクトルｙ２０６表現とを区別するために学習する、生成敵対的ネットワークアプローチに従う。これにより、ラベル空間ｙ２０６の表現が縮退分布に収束し、そこから入力神経ベクトルサンプル配列（ｘｉ）ｋに関連付けられた行動を推測しながら、分布を連続空間に維持することができる。ｙでのモード崩壊を防ぎ、トレーニングを安定させるために、弁別器ネットワーク２１０は、バッチ正則化およびミニバッチ弁別が使用されたワッサースタイン生成敵対的ネットワークに基づいている。
この例では、弁別器ネットワーク２１０の第１の隠れ層２１０ｃは、第２の隠れ層２１０ｄ（例えば、２０単位）よりも多くの隠れ単位（例えば、５０単位）を有するように構成され得る。この後に、ミニバッチ弁別が続き、その後、ラベルベクトル生成損失関数値ＬＧＹとしてスカラー値に線形変換され、エンコーダネットワーク２０２ａおよびデコーダネットワーク２０２ｂのトレーニングに関連するコスト関数モジュール２１６に入力される。バッチ正則化は、入力と弁別器の最初にアクティブ化された隠れ層に適用することができる。
オートエンコーダ２００は、３つの別個の段階でトレーニングされてもよい。最初に、エンコーダネットワーク２０２ａおよびデコーダネットワーク２０２ｂを含むオートエンコーダ２００が、再構成エラーに対してトレーニングされる。例えば、Ｎ＜Ｌｋの場合、Ｌｋ／Ｎは整数であり、各データ点またはサブグループは、ＸｎをＮマルチチャネル神経サンプルベクトルのＮ×Ｍ行列として表記することができ（例えば、各マルチチャネル神経サンプルベクトルはＭ次元ベクトルである）、これは、Ｌｋマルチチャネル神経サンプルベクトル（ｘｉ）ｋ、１≦ｉ≦Ｌｋのｋ番目のセットまたはｋ番目の配列から連続して選択されたＮマルチチャネル神経サンプルベクトルから構成され、ｋ番目のマルチチャネル神経サンプルのデータ点をサンプリングし、サンプルベクトル配列は（Ｘｎ）ｋとして表すことができ、ここで、ＸｎのＮｘＭサンプルはｎ番目の時間ステップでの入力として表記され、再構成された入力はｎ番目の時間ステップで
として表記される。単純化のために、例としてのみ、ｎ番目の時間ステップでの入力はｘｎで表記され、再構成された入力はｎ番目の時間ステップで
で表記され、オートエンコーダ２００の損失コスト関数ＬＡＥが、次のように定義され得る。
第２の段階では、次の損失関数ＬＤＹを使用して、弁別器関数ｆが、生成関数ｇ（ｘｎ）とカテゴリカルサンプルｙ’から生成されたラベルベクトルｙ２０６との区別を学習する。

ここで、各ｙ’ｎは、カテゴリカル分布２１０ａからランダムにサンプリングされる。効果的に、弁別器ネットワーク２１０は、入力が生成されるときに負の値を生成し、入力がカテゴリカル分布２１０ａからサンプリングされるときに正の値を生成するようにトレーニングされる。
第３の段階では、エンコーダネットワーク２０２ａ（例えば、生成器）は、弁別器ネットワーク２１０を「だます」ことによりワンホット状ラベルベクトルｙ２０６表現を生成するようにトレーニングされる。次の損失関数ＬＧＹは、エンコーダネットワーク２０２ａがラベルベクトルｙ２０６を生成するように促すか、またはトレーニング／適応し、現在固定されている弁別器関数ｆが正の値を生成するようにする。
弁別器ネットワーク２１０は、エンコーダネットワーク２０２ａ（例えば、生成器）の更新毎に数回（例えば、３回）更新されてもよい。これにより、弁別器ネットワーク２１０が、エンコーダネットワーク２０２ａ（例えば、生成器）を、エンコーダネットワーク２０２ａの更新ステップの各々において正しい方向に向けるか、または指し示すことを確実にする。
特に、第２の段階では、追加の弁別器関数ｆは、生成関数ｇ（ｘｎ）から生成されたスタイルベクトルｚ２０８とガウス分布２１４からサンプルｚ’の間の差を次の損失関数ＬＤＺによって学習する。

ここで、各ｚ’ｎはガウス分布２１４からランダムにサンプリングされる。効果的に、弁別器ネットワーク２１０は、入力が生成されるときに負の値を生成し、入力がカテゴリカル分布２１０ａからサンプリングされるときに正の値を生成するようにトレーニングされる。
第３の段階では、エンコーダネットワーク２０２ａ（例えば、生成器）は、弁別器ネットワーク２１２を「だます」ことによってガウス状スタイルベクトルｚ２０８表現を生成するようにトレーニングされる。次の損失関数ＬＧＺは、エンコーダネットワーク２０２ａがスタイルベクトルｚ２０８を生成するように促すか、またはトレーニング／適応し、現在固定されている弁別関数ｆ（）が正の値を生成するようにする。
弁別器ネットワーク２１２は、エンコーダネットワーク２０２ａ（例えば、生成器）の更新毎に数回（例えば、３回）更新されてもよい。これにより、弁別器ネットワーク２１２が、エンコーダネットワーク２０２ａ（例えば、生成器）を、エンコーダネットワーク２０２ａの更新ステップの各々において正しい方向に向けるか、または指し示すことを確実にする。
ｚ表現の正則化ネットワーク２１２弁別器および生成器トレーニング更新は、カテゴリカルｙをガウス分布２１４からのサンプルｚで置換することを除いて、ラベルベクトルｙについて上で詳述したものと同じである。モデルの全てのネットワークは、トレーニング中に同じ頻度で更新される。
オートエンコーダ２００の試験の例として、対象の左前脚から４時間分の１５個のチャネル神経信号サンプルデータ（例えば、Ｍ＝１５）が収集された。神経信号サンプルデータは、限定ではなく例として、３０ｋＨｚでサンプリングされ、神経信号サンプルデータ内の身体変数（複数可）を符号化する神経活動を表すスパイクは、限定ではなく例として、２６ｍＶの電圧閾値を用いて検出された。必要な感度に応じて他の電圧閾値レベルを使用することができることは、当業者に理解されるであろう。オートエンコーダ２００がどれだけ良好に機能したかを決定するために、２つのデータセットが使用された。第１のデータセットは、１５個のチャネル全てからの生の神経信号で構成されているが、一例として、スパイク（神経活動）がいずれかのチャネルで検出された後の５０個の時間ステップに限定されない。この場合、記録された期間に合計２５０，９１１個の神経活動のスパイクが検出された。第２のデータセットは、ほんの一例として０．０１秒のビン内の各チャネルのスパイクの数で構成されていた。両方のセットは０から１の範囲に正則化され、５０個の連続したカウントのセグメントにスライスされ、合計６，８４０個のデータ点になる。このデータの変化により、生データに存在するノイズの一部が減少し、対象の行動を実行するのにかかる長い期間が考慮され得る。この例では、両方のデータセットについて、１つのデータ点に５０個の時間ステップと１５個の変数がある。
１５個のチャネル神経信号サンプルデータが収集されている間、センサデータも収集された。この試験では、センサデータは、２４分間収集された対象の動画映像であった。対象の動画映像が分析され、対象によって実行された５つの異なる行動が識別され、したがって、５つの異なる神経活動があり、各々が１つ以上の身体変数（複数可）またはその組み合わせの異なるセットの符号化を表している。これらの行動は、前方に歩くこと、立つこと、シャッフルすること、反転すること、および曲がることである。記録された神経信号サンプルデータに動画映像を同期させた場合、神経信号のサンプルベクトル配列または時系列のセグメントは、０．１秒の粒度で識別された行動に応じてラベル付けされた。生のスパイクデータとカウントデータのデータ点の総数のうち、３００３と７４がそれぞれラベル付けされた。これらのラベル付けされたデータ点により、これらのデータ点をプロキシとして分類する際の精度を使用することによって、生成されたラベルベクトルｙ２０６の表現がどの程度優れているかを判断することを可能にした。ラベル付けされたデータはデータセットから削除され、トレーニング中に使用されなかった。
オートエンコーダ２００が期待通りに動作したかどうかを確認するために、それは、他の２つのデータセットで評価された。第１は、４つのクラス（正弦波、余弦波、のこぎり波、方形波）の合成データセットである。ここで、１，０００，０００個のサンプルが、単位振幅と４〜３０個の時間ステップのランダムな周期で生成された。全ての波形の長さは５０個の時間ステップである。２００，０００個のデータ点が試験用に用意された。第２のデータセットは、修正された国立標準技術研究所（ＭＮＩＳＴ）データベースからの画像の低解像度バージョンである。この場合、ＭＮＩＳＴ画像は２８ｘ２８ピクセルのサイズから７ｘ７にサイズ変更された。画像はスキャンライン順に処理され、配列が短いほどモデルの学習が容易となった。
各データセットについて、トレーニングデータを８０：２０（トレーニング：検証）の比率でランダムに分割することにより、検証セットが作成された。最良のモデルは、トレーニング中に達成された最小の再構成エラーに基づいて選択された。より小さいカウントと合成データセットの過剰適合を防ぐために、ラベルベクトルｙ２０６のサイズは２０に設定され、スタイルベクトルｚ２０８のサイズは４４に設定された。生のスパイクとＭＮＩＳＴデータの場合、ラベルベクトルｙ２０６のサイズは３０に設定され、スタイルベクトルｚ２０８のサイズは９８に設定された。より大きなｙ表現が選択され、より正確な分類が行われた。
オートエンコーダ２００が各データセットに対して達成する分類精度を確立するために、次の評価プロトコルが適用された。ラベルベクトルｙ２０６の各次元ｉについて、この次元ｑ（ｙｉ｜ｘ）で最大の確率を持つｘのデータ点のセットの確率が見出された。次に、真のクラスラベルがこれらの確率によって重み付けされ、選択されたサンプルのセット全体で最大平均をもつクラスがハッシュマップによってｙｉに割り当てられる。次に、各データ点に割り当てられたラベルに基づいて精度が計算される。
以下の表１に、４つのデータセットで得られた分類精度を示す。
報告される精度は、１０回の独立した実行の平均である。試験セットで達成された損失の二乗は、オートエンコーダ２００で達成されたデータ再構成の有効性を示すために計算された。合成データセットおよびＭＮＩＳＴデータセットの両方で高い精度が達成され、オートエンコーダ２００が期待通りに動作することが確認された。ＭＮＩＳＴデータの場合、ＭＮＩＳＴ画像の低解像度バージョンが使用されていて、一部の桁数を区別することが困難であるため、精度は通常よりも低くなった。生のスパイクデータセットと比較して、カウントデータセットでより高い分類精度が達成された。これは、カウントデータセットが長期間にわたって行動を監視していることによる可能性が高く、より多くの情報とノイズの堅牢性を提供するものである。オートエンコーダ２００は、対象の行動を表すラベルベクトルｙ２０６の連続ベクトル空間を有することが、離散的アプローチと比較してモデリングの観点から実質的な利益を提供することを示した。さらに、身体変数（複数可）またはその組み合わせの推定値を表すラベルベクトルｙ２０６の連続ベクトル空間は、身体機能または対象の１つ以上の身体部分を管理または操作するための１つ以上のデバイス（複数可）によって使用され得るデータフレンドリーな表現である。
オートエンコーダ２００の修正は、オートエンコーダ２００の大部分を特定の対象にとらわれないようにするために、異なる対象から収集されたデータセットをつなぎ合わせることを含み得る。オートエンコーダ２００は、ＬＳＴＭの代わりに畳み込みニューラルネットワークに基づくように、かつ／またはＷａｖｅＮｅｔ生成モデルに基づくようにさらに修正されてもよい。ＷａｖｅＮｅｔ生成モデルは、完全畳み込みニューラルネットワークを含み、畳み込み層は、その受容野が深さに応じて指数関数的に成長し、数千個の時間ステップをカバーすることを可能にする様々な拡張因子を有し、これは神経学的時系列の分析を改善する可能性がある。
図２ｄは、本発明による入力データサンプル２０１ａを分類する際に使用するための別の例示的なＭＬ技術２２０を示す概略図である。この例では、ＭＬ技術２２０は、１つ以上または複数の正則化ネットワーク２１２ａ〜２１２ｎを含めることによって、図２ａ〜２ｃのオートエンコーダ２００を修正する。オートエンコーダ２２０は、符号化ネットワーク２０２ａ、復号ネットワーク２０２ｂ、および入力データサンプルを分類する際に使用するためのＮ次元潜在空間の潜在ベクトルを出力する潜在空間表現層２０４を含む。符号化ネットワーク２０２ａおよび復号ネットワーク２０２ｂは、潜在空間表現層２０４に結合される。符号化ネットワーク２０２ａは、潜在表現層２０４に出力する。潜在表現層２０４は、ラベルベクトルｙ２０６およびスタイルベクトルｚ２０８を含む潜在ベクトルを出力する。
オートエンコーダ２２０は、スタイルベクトルｚ２０８をいくつかの１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎまたは複数のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎに分割することによってさらに修正される。ベクトルＡｉ２０８ａが１つしかない場合、図２ａに関して説明したように、ベクトルＡｉ２０８ａはスタイルベクトルｚ２０８であることに留意されたい。しかしながら、複数のベクトルＡｉ２０８ａ〜２０８ｎがある場合、スタイルベクトルｚ２０８は、別個のベクトルＡｉ２０８ａ〜２０８ｎに分割される。ベクトルＡｉ２０８ａ〜２０８ｎは連結されてスタイルベクトルｚ２０８を形成する。次に、スタイルベクトルｚ２０８の正則化が、対応する選択された１つ以上の確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎに基づいて、ベクトルＡｉ２０８ａ〜２０８ｎの各々に対して実行される。したがって、各ベクトルＡｉ２０８ａは、スタイルベクトルｚ２０８の各ベクトルＡｉ２０８ａに対して対応する選択された確率分布Ｐ（Ａｉ）２１４ａを適用するために個別に正則化される。
デコーダネットワーク２０２ｂは、潜在表現層２０４から潜在ベクトルを受け取り、再構成された入力データサンプル２０１ｂの形で入力データサンプル２０１ａの推定値を出力する。オートエンコーダ２２０は、ラベルベクトルｙ２０８を適用的にワンホットまたはラベル状にして使用するための敵対的ネットワーク２１０を含む。オートエンコーダ２２０は、潜在表現層２０４のスタイルベクトルｚ２０８に接続された正則化ネットワークまたはコンポーネント２１２を含み、正則化ネットワーク２１２は、オートエンコーダのトレーニング中にスタイルベクトルｚを正則化し、トレーニングされたオートエンコーダが入力データサンプル２０１ａを分類するときに実質的に時不変の出力ラベルベクトルｙをもたらすように構成される。
特に、図２ｂを参照すると、オートエンコーダの敵対的ネットワーク２１０は、入力層２１０ａと、１つ以上の隠れ層（複数可）２１０ｃおよび２１０ｄと、ラベルベクトルｙ２０６に関連付けられたラベルベクトル生成器損失関数値ＬＧＹを評価するために使用される出力層２１０ｅとを含んでもよい。敵対的ネットワーク２１０の入力層２１０ａは、ラベルベクトルｙ２０６およびラベルベクトルｙ２０６と同じ次元のワンホットベクトル２１０ａのセットのカテゴリカル分布に接続される。敵対的ネットワーク２１０は、トレーニング中に、ラベルベクトルｙ２０６と同じ次元のワンホットベクトル２１０ａのセットのカテゴリカル分布からラベルベクトルｙ２０６とサンプルベクトルとを区別するように、１つ以上の隠れ層（複数可）２１０ｃ、２１０ｄをトレーニングするように構成されていてもよい。ラベルベクトル生成器損失関数値ＬＧＹは、ラベルベクトルｙ２０６に関連付けられ、ワンホットベクトルのセット２１０ａのカテゴリカル分布をラベルベクトルｙ２０６に適用するようにエンコーダネットワーク２０２ａをトレーニングする際に使用するためのものである。ラベルベクトルｙ２０６のサイズは、入力データサンプル２０１ａから分類されるクラス、カテゴリ、および／または状態の数に基づいてもよい。
さらに、オートエンコーダ２２０の１つ以上の正則化ネットワーク（複数可）２１２ａ〜２１２ｎは、潜在表現層２０４の対応する１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎに接続される。特に、各正則化ネットワーク２１２ａは、スタイルベクトルｚ２０８の対応する選択されたベクトルＡｉ２０８ａに接続され、オートエンコーダ２２０のトレーニング中にスタイルベクトルｚ２０８のそのベクトルＡｉ２０８ａのみを正則化するように構成される。したがって、複数のベクトルＡｉ２０８ａ〜２０８ｎは、個別に正則化され得る。これは、トレーニングされたオートエンコーダ２２０が入力データを分類するとき、実質的に時不変の出力ラベルベクトルｙ２０６をもたらす。図２ｅを参照すると、正則化ネットワーク（複数可）２１２ａ〜２１２ｎの各々は、入力層２１３ａと、１つ以上の隠れ層（複数可）２１３ｂおよび２１３ｃを含む弁別器ネットワークと、スタイルベクトル生成器損失値ＬＧＡｉを評価するための出力層２１３ｄとを含み、入力層２１３ａは、スタイルベクトルｚ２０８のベクトルＡｉ２０８ａ〜２０８ｎの対応する１つ、および選択された確率分布Ｐ（複数可）（Ａｉ）２１４ａ〜２１４ｎの対応する１つに接続される。
各正則化ネットワーク２１２ａは、オートエンコーダ２２０のトレーニング中に、対応するスタイルベクトルｚ２０８の対応するベクトルＡｉ２０８ａと、対応する選択された確率分布Ｐ（Ａｉ）２１４ａから生成されたサンプルベクトルとを区別するように弁別器ネットワークをトレーニングするように構成されており、サンプルベクトルは、スタイルベクトルｚ２０８の対応するベクトルＡｉ２０８ａと同じ次元のものである。このように、ベクトルＡｉ２０８ａ〜２０８ｎに対応する複数の出力スタイルベクトル生成器損失関数値ＬＧＡ１、ＬＧＡ２、．．．、ＬＧＡｉ、．．．、ＬＧＡｎは、潜在ベクトルのスタイルベクトルｚ２０８の対応するベクトルＡｉ２０８ａ〜２０８ｎに選択された確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎの各々を適用するために、エンコーダネットワーク２０２ａをトレーニングするために使用される。
正則化ネットワーク（複数可）２１２ａ〜２１２ｎは、入力データに関連付けられたラベルベクトルｙのセットにおける時不変性をもたらすためのトレーニング中に、スタイルベクトルｚのベクトルＡｉ２０８ａ〜２０８ｎの各々を正則化するために使用される。この場合、スタイルベクトルｚ２０８を正則化することは、選択された１つ以上の確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎおよび対応する１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎに基づいている、スタイルベクトルｚ２０８は、１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎを含む。スタイルベクトルｚ２０８を正則化することは、スタイルベクトルｚ２０８の対応する部分に選択された各確率分布Ｐ（Ａｉ）２１４ａ〜２１４ｎを適用するために入力トレーニングデータまたは入力データサンプル２０１ａでオートエンコーダ２２０のエンコーダネットワーク２０２ａをトレーニングすることをさらに含む。スタイルベクトルｚ２０８を正則化することは、トレーニング中にラベルベクトルｙのセットの時不変性を増加させる。
オートエンコーダ２２０をトレーニングする前に、スタイルベクトルｚ２０８を分割することができる１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎの数が選択または指定される。同様に、１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎの各々のベクトルサイズ（複数可）も選択または指定される。１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎの各々のベクトルサイズ（複数可）が選択されない場合、スタイルベクトルｚ２０８は、選択された数の１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎにわたって均等に分割されると想定され得る。スタイルベクトルｚ２０８を分割するために選択されるベクトル（複数可）Ａｉ２０８ａ〜２０８ｎの数は、スタイルベクトルｚ２０８に対して、またはスタイルベクトルｚ２０８を分割するベクトル（複数可）Ａｉ２０８ａ〜２０８ｎの各々に対して正則化が実行されない場合と比較して、ラベルベクトルｙ２０６の時不変性を増加させるか、または少なくとも改善するように選択されてもよい。
さらに、選択された数のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎに対応するいくつかの１つ以上の確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎも選択される。スタイルベクトルｚ２０８を正則化することは、選択されたベクトル（複数可）Ａｉ２０８ａ〜２０８ｎおよび選択された確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎに基づいており、スタイルベクトルｚ２０８は選択されたベクトル（複数可）Ａｉ２０８ａ〜２０８ｎに分割される。選択されたベクトル（複数可）Ａｉ２０８ａ〜２０８ｎおよび選択された確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎに基づいてスタイルベクトルｚ２０８を正則化することは、対応する選択された確率分布Ｐ（Ａｉ）２１４ａ〜２１４ｎに基づいて選択されたベクトル（複数可）Ａｉ２０８ａ〜２０８ｎの各々を正則化することをさらに含んでもよい。
１つ以上のベクトルＡｉ２０８ａ〜２０８ｎに対応する選択された１つ以上の確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎの各々は、異なり得る。あるいは、選択された１つ以上の確率分布Ｐ（Ａｉ）２１４ａ〜２１４ｎは同じであってもよい。あるいは、選択された確率分布Ｐ（Ａｉ）２１４ａ〜２１４ｎおよび対応するベクトルＡｉは、選択された確率分布２１４ａ〜２１４ｎおよび対応するベクトルＡｉの１つ以上のグループに分割され、ここで、各グループ内の選択された確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎは同じである。選択された確率分布（複数可）（Ａｉ）２１４ａ〜２１４ｎは、ラベルベクトルｙ２０６の時間分散を増加させるか、または少なくとも改善する１つ以上の確率分布から選択される。
１つ以上の確率分布Ｐ（Ａｉ）２１４ａ〜２１４ｎは、ラプラシアン分布、ガンマ分布、ガウス分布、および、スタイルベクトルｚ２０８で正則化が実行されない場合の入力データに関連付けられたラベルベクトル（複数可）ｙ２０６と比較して、入力データに関連付けられたラベルベクトル（複数可）ｙ２０６の時不変性を改善すると見なされる、分散およびその他の確率分布などの異なる特性を持つ前述の分布の順列からなるグループからの１つ以上の確率分布またはそれらの組み合わせから選択されてもよい。
オートエンコーダ２２０は、限定ではなく例として、ラベルベクトル生成器損失関数値ＬＧＹ、スタイルベクトル生成器損失関数値（複数可）ＬＧＡ１、ＬＧＡ２、．．．、ＬＧＡｉ、．．．、ＬＧＡｎの１つ以上、復号ネットワーク２０２ｂから出力された入力データサンプル２０１ｂの再構成推定値、およびエンコーダネットワーク２０２ａに入力された元の入力データサンプル２０１ａに基づいて、２１６で表される損失またはコスト関数を使用して入力データサンプル２０１ａでトレーニングされてもよい。符号化ネットワーク２０２ａおよび／または復号ネットワーク２０２ｂの隠れ層（複数可）の重みは、コストモジュール２１６の生成されたコスト損失関数に基づいて更新される。
オートエンコーダ２２０はまた、３つの別個の段階でトレーニングされてもよい。最初に、エンコーダネットワーク２０２ａおよびデコーダネットワーク２０２ｂを含むオートエンコーダ２２０が、再構成エラーに対してトレーニングされる。例えば、Ｎ＜Ｌｋの場合、Ｌｋ／Ｎは整数であり、各データ点またはサブグループは、ＸｎをＮマルチチャネル神経サンプルベクトルのＮ×Ｍ行列として表記することができ（例えば、各マルチチャネル神経サンプルベクトルはＭ次元ベクトルである）、これは、Ｌｋマルチチャネル神経サンプルベクトル（ｘｉ）ｋ、１≦ｉ≦Ｌｋのｋ番目のセットまたはｋ番目の配列から連続して選択されたＮマルチチャネル神経サンプルベクトルから構成され、ｋ番目のマルチチャネル神経サンプルのデータ点をサンプリングし、サンプルベクトル配列は（Ｘｎ）ｋとして表すことができ、ここで、ＸｎのＮｘＭサンプルはｎ番目の時間ステップでの入力として表記され、再構成された入力はｎ番目の時間ステップで
として表記される。単純化のために、例としてのみ、ｎ番目の時間ステップでの入力はｘｎで表記され、再構成された入力はｎ番目の時間ステップで

で表記され、オートエンコーダ２２０の損失コスト関数ＬＡＥが、次のように定義され得る。
第２の段階では、次の損失関数ＬＤＹを使用して、弁別器関数ｆ（）が、生成関数ｇ（ｘｎ）とカテゴリカルサンプルｙ’から生成されたラベルベクトルｙ２０６の違いを学習する。

ここで、各ｙ’ｎは、カテゴリカル分布２１０ａからランダムにサンプリングされる。効果的に、弁別器ネットワーク２１０は、入力が生成されるときに負の値を生成し、入力がカテゴリカル分布２１０ａからサンプリングされるときに正の値を生成するようにトレーニングされる。
第３の段階では、エンコーダネットワーク２０２ａ（例えば、生成器）は、弁別器ネットワーク２１０を「だます」ことによりワンホット状ラベルベクトルｙ２０６表現を生成するようにトレーニングされる。次の損失関数ＬＧＹは、エンコーダネットワーク２０２ａがラベルベクトルｙ２０６を生成するように促すか、またはトレーニング／適応し、現在固定されている弁別器関数ｆが正の値を生成するようにする。
弁別器ネットワーク２１０は、エンコーダネットワーク２０２ａ（例えば、生成器）の更新毎に数回（例えば、３回）更新されてもよい。これにより、弁別器ネットワーク２１０が、エンコーダネットワーク２０２ａ（例えば、生成器）を、エンコーダネットワーク２０２ａの更新ステップの各々において正しい方向に向けるか、または指し示すことを確実にする。
特に、第２の段階では、スタイルベクトルｚ２０８の１つ以上の選択されたベクトル（複数可）Ａｉ２０８ａ〜２０８ｎに対応する１つ以上の弁別器関数ｆ（）が存在する。弁別器関数ｆ（）の各々は、生成関数ｇ（ｘｎ）から生成されたスタイルベクトルｚ２０８の対応する選択されたベクトルＡｉ２０８ａと、対応する確率分布２１４ａからのサンプルＡｉ’との差を次の損失関数ＬＤＡｉによって学習する。

ここで、各Ａｉ’ｎは確率分布Ｐ（Ａｉ）２１４ａからランダムにサンプリングされる。効果的に、弁別器ネットワーク２１２ａは、入力が生成されるときに負の値を生成し、入力が確率分布Ｐ（Ａｉ）２１４ａからサンプリングされるときに正の値を生成するようにトレーニングされる。これは、１つ以上のベクトルＡｉ２０８ａ〜２０８ｎの各々について実行される。
第３の段階では、エンコーダネットワーク２０２ａ（例えば、生成器）は、弁別器ネットワーク２１３ａ〜２１３ｅを「だます」ことによって、対応する確率分布Ｐ（Ａｉ）２１４ａに近似または収束するスタイルベクトルｚ２０８の１つ以上のベクトルＡｉ２０８ａ〜２０８ｎの各々の表現を生成するようにトレーニングされる。このように、ベクトルＡｉ２０８ａ〜２０８ｎに対応する次の損失関数値ＬＧＡ１、ＬＧＡ２、．．．、ＬＧＡｉ、．．．、ＬＧＡｎは、潜在ベクトルのスタイルベクトルｚ２０８の対応するベクトルＡｉ２０８ａ〜２０８ｎに選択された確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎの各々を適用するために、エンコーダネットワーク２０２ａをトレーニングするために使用される。したがって、これらの損失関数値、ＬＧＡ１、ＬＧＡ２、．．．、ＬＧＡｉ、．．．、ＬＧＡｎは、現在固定された弁別器関数ｆ（）が正の値をもたらすようなスタイルベクトルｚ２０８の１つ以上のベクトルＡｉ２０８ａ〜２０８ｎを生成するように、エンコーダネットワーク２０２ａを促すか、またはトレーニング／適応させる。各損失関数値ＬＧＡｉは、次のようになる。
弁別器ネットワーク２１２ａ〜２１２ｎの各々は、エンコーダネットワーク２０２ａ（例えば、生成器）の更新ごとに数回（例えば、３回）更新されてもよい。これにより、弁別器ネットワーク２１２ａ〜２１２ｎが、エンコーダネットワーク２０２ａ（例えば、生成器）を、エンコーダネットワーク２０２ａの更新ステップの各々において正しい方向に向けるか、または指し示すことを確実にする。
ｚ表現の正則化ネットワーク（複数可）２１２ａ〜２１２ｎ弁別器（複数可）および生成器（複数可）トレーニング更新は、カテゴリカルｙをガウス分布２１４からのサンプルｚで置換することを除いて、ラベルベクトルｙについて上で詳述したものと同じである。モデルの全てのネットワークは、トレーニング中に同じ頻度で更新される。
図２ａ〜２ｅは、敵対的ネットワーク２１０を有するオートエンコーダ２００および２２０を説明しているが、これは単なる例であり、オートエンコーダ２００および２２０はそのように限定されず、ｚを正則化するオートエンコーダは、ラベルベクトルｙをさらに時不変にし得るために、ラベルベクトルｙを制約したり、カテゴリカル分布に適用的に準拠させたり、敵対的ネットワーク２１０によって制限したりする必要はなく、その代わりに、敵対的ネットワーク２１０の代わりに使用される１つ以上または他の分類技術（複数可）が適用可能であり得ることが、当業者に理解されるであろう。したがって、敵対的ネットワーク２１０は、ラベルベクトルｙが実質的に時不変か、またはスタイルベクトルｚが正則化されていない場合と比較して時不変であるようなスタイルベクトルｚを正則化したままである間に、１つ以上の他の分類技術（複数可）によって置換され、かつ／または１つ以上の他の分類技術（複数可）に基づいて修正されてもよい。
敵対的ネットワーク２１０を除去し、ラベルベクトルｙを操作するための任意の好適な分類技術で置換することにより、オートエンコーダ２００または２２０にさらなる修正を加えることができる。スタイルベクトルｚを正則化する利点は、ラベルベクトルｙがワンホット状ベクトルであることを必要としないことを理解されたい。例えば、修正オートエンコーダ２００または２２０は、ラベルベクトルｙが敵対的ネットワークによって制約または制限されないような敵対的ネットワーク２１０を除去することによって構成されてもよく、オートエンコーダは、ラベルベクトルｙに結合された分類コンポーネントまたは技術がラベルベクトルｙに作用し、かつ／または分類するような潜在空間のラベルベクトルｙを出力する潜在表現層をさらに含んでもよい。ラベルベクトルｙがワンホットラベル状ベクトルに制限されていない場合、ラベルベクトルｙは、限定ではなく例として、ソフトベクトル、ワンホット状ベクトルではない任意の他の表現、ワンホット状ベクトルであるが敵対的ネットワーク２１０に基づいて生成されたものではない任意の他の表現、またはラベルベクトルｙが密なソフトベクトルであるラベルベクトルｙの他のデータ表現、または好適な分類技術に適したラベルベクトルｙの任意の他のデータ表現であってもよい。
図２ａ〜２ｅは、スタイルベクトルｚが正則化されていること、または１つ以上の選択されたベクトル（複数可）Ａｉが正則化されていることを示しているが、これは単なる例であり、オートエンコーダ２００または２２０は限定されないが、スタイルベクトルｚを正則化することは、限定ではなく例として、スタイルベクトルｚの一部を正則化すること、スタイルベクトルｚのセクションを正則化すること、スタイルベクトルｚのサブベクトルを正則化することをさらに含んでもよいことが、当業者に理解されるであろう。ここで、スタイルベクトルｚのサブベクトルは、選択されたベクトルＡｉのサブグループであり、かつ／またはスタイルベクトルｚのサブベクトルの長さは、スタイルベクトルｚの長さよりも短い。代替的または追加的に、スタイルベクトルｚを正則化することは、選択されたベクトル（複数可）Ａｉおよび対応する選択された確率分布（複数可）Ｐ（Ａｉ）のサブグループを選択することと、スタイルベクトルｚの選択されたベクトル（複数可）Ａｉのサブグループのみを正則化することと、をさらに含んでもよく、ベクトルＡｉのサブグループ内のベクトル（複数可）Ａｉの数は、選択されたベクトル（複数可）Ａｉの数よりも少ない。あるいは、スタイルベクトルｚは部分的に正則化されてもよく、またはスタイルベクトルｚは完全に正則化されてもよい。
図２ａ〜２ｅのオートエンコーダ（複数可）２００および２２０は、スタイルベクトルｚの正則化を制御して、ラベルベクトルｙの時不変性を増加または減少させることによって最適化することができる。ｚ２０８の正則化は、オートエンコーダ２００または２２０の複数のトレーニングサイクルにわたって制御され得る。スタイルベクトルｚの正則化を制御するために調整され得るオートエンコーダ（複数可）２００、２２０の多くの態様が存在しており、これには、スタイルベクトルｚが１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎを含む１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎに対応する１つ以上の確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎを選択することと、選択された確率分布（複数可）２１４ａ〜２１４ｎに基づいてスタイルベクトルｚ２０８を正則化することと、が含まれる。ベクトル（複数可）Ａｉ２０８ａ〜２０８ｎおよび確率分布（複数可）２１４ａ〜２１４ｎは、スタイルベクトルｚ２０８を正則化することが、スタイルベクトルｚ２０８の少なくとも一部分に選択された確率分布２１４ａ〜２１４ｎを適用するために、オートエンコーダ（複数可）２００または２２０のエンコーダネットワーク２０２ａを入力トレーニングデータでトレーニングすることをさらに含むことを確実にするために選択される。ベクトル（複数可）Ａｉ２０８ａ〜２０８ｎおよび確率分布（複数可）２１４ａ〜２１４ｎは、スタイルベクトルｚ２０８の正則化が、正則化なしでオートエンコーダ２００または２２０から出力される対応するラベルベクトルｙ２０６のセットと比較して、ラベルベクトルｙ２０６のセットの時不変性を増加させることを確実にするように選択される。
オートエンコーダ２００または２２０をトレーニングする前に、スタイルベクトルｚ２０８を分割するための１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎの数が選択されてもよく、かつ／または、１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎの各々のサイズ（複数可）と共に選択されてもよい。いくつかの確率分布または複数の確率分布から選択して、選択されたベクトル（複数可）Ａｉ２０８ａ〜２０８ｎに対応する１つ以上の確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎも選択することができる。スタイルベクトルｚ２０８は、選択されたベクトル（複数可）Ａｉ２０８ａ〜２０８ｎおよび選択された確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎに基づいて正則化することができ、スタイルベクトルｚ２０８は、選択されたベクトル（複数可）Ａｉ２０８ａ〜２０８ｎに分割されるか、または選択されたベクトル（複数可）Ａｉ２０８ａ〜２０８ｎの連結体である。
図２ａ〜２ｅに関して先に説明したように、スタイルベクトルｚ２０８を分割する１つ以上の確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎおよび対応する１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎは、スタイルベクトルｚ２０８の正則化がラベルベクトル（複数可）ｙ２０６の時不変性を改善または増加させ、かつ／またはラベルベクトル（複数可）ｙ２０６が実質的に時不変であるか、または時不変であることを確実にするような方法で選択されてもよい。これらの選択は、オートエンコーダ２００または２２０の構成を変更するか、構成するため、オートエンコーダ２００または２２０のハイパーパラメータと考えることができる。したがって、１つ以上の選択された確率分布（複数可）Ｐ（Ａｉ）、およびスタイルベクトルｚを分割する対応する１つ以上の選択されたベクトル（複数可）Ａｉは、ハイパーパラメータのセットの一部であり得る。
さらなる修正として、ラベルベクトルｙ２０６は、限定ではなく例として、ベクトル、テンソル、またはその他を含んでもよく、ここで、ベクトル、テンソル、またはその他は、限定ではなく例として、１つのホットベクトル、エントロピーの尺度、Ｌ１ Ｌ２またはその両方、または他の基準に正則化されたもの、離散ボルツマン分布ベクトル、先行クラス状態の表現、既知の機能または構成セットのグループからの少なくとも１つ以上を含む。代替的または追加的に、スタイルベクトルｚ２０８は、限定ではなく例として、ベクトル、テンソルなどを含むことができ、ベクトル、テンソルまたはその他は、限定ではなく例として、確率分布、Ｌ１ Ｌ２またはその両方、またはその他の基準、迷惑変数およびエラー変数のグループの中から少なくとも１つ以上によってペナルティが課されるか、または正則化されている。Ｌ１とＬ２は、十分に既知である「距離」測度、またはベクトル内の全ての要素の合計値の測度である。この測定を使用してペナルティを課したり、正則化したりすることは、この測定を最小化することである。
図３は、潜在ベクトルｚがハイパーパラメータの理想的または最適なセットを使用するＭＬ技術に対して正則化された、ラベルベクトル（複数可）ｙ２０６のセットの例示的なクラスタ化３００を示す概略図である。この例は、クラスタ領域３０２でクラスタ化されたＭＬ技法によって出力された全てのベクトルラベルが真の状態Ｓ１に属し、クラスタ領域３０４でクラスタ化された全てのベクトルラベルが真の状態Ｓ２に属し、クラスタ領域３０６でクラスタ化された全てのベクトルラベルが真の状態Ｓ３に属するという理想化されたシナリオを例示している。この場合、ＭＬ技術がクラスタ化し、同じ状態に属するベクトルラベルを出力することを考えると、これは、隣接する入力データサンプル（神経サンププルデータ配列など）間の時間的相関が最小限に抑えられたり、取り除かれたりしたことを示している可能性がある。したがって、ＭＬ技術は、入力データサンプル内の「時間的パターン」の発生を過剰に表さないようにトレーニングされている。したがって、これは、ＭＬ技術と関連する分類器が非常に堅牢であり、高周波時変入力データ信号（複数可）の時間的変化に対処することができることを示している。簡単に言えば、時間的に隣接している異なる状態は、異なるクラスタ領域にマッピングする必要がある。同様に、異なるクラスタ領域にある異なるベクトルラベルは、異なる状態にマッピングする必要がある。したがって、ハイパーパラメータのセット、特にスタイルベクトルｚ２０８を分割する１つ以上の確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎと対応する１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎの選択は、スタイルベクトルｚ２０８上の正則化が実行されるときに、ラベルベクトルｙ２０６のクラスタ化および時不変性に影響を与える。
図４ａは、スタイルベクトルｚの正則化を制御し、したがって本発明による図２ａ〜２ｅの例示的なＭＬ技術（複数可）２００または２２０で使用するための好適なハイパーパラメータを選択する例示的な最適化方法４００を示すフロー図である。図２ａ〜２ｅに関して先に説明したように、スタイルベクトルｚ２０８を分割する１つ以上の確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎおよび対応する１つ以上のベクトル（複数可）Ａｉ２０８ａ〜２０８ｎは、スタイルベクトルｚ２０８の正則化がラベルベクトル（複数可）ｙ２０６の時不変性を改善または増加させ、かつ／またはラベルベクトル（複数可）ｙ２０６が実質的に時不変であるか、または時不変であることを確実にするような方法で選択されてもよい。これらの選択は、オートエンコーダ２００または２２０の構成を変更するか、構成するため、オートエンコーダ２００または２２０のハイパーパラメータと考えることができる。したがって、１つ以上の選択された確率分布（複数可）Ｐ（Ａｉ）、およびスタイルベクトルｚを分割する対応する１つ以上の選択されたベクトル（複数可）Ａｉは、ハイパーパラメータのセットの一部であり得る。以下の最適化方法は、限定ではなく例として、以下のステップを含む。
ステップ４０２では、複数のハイパーパラメータのセットが生成され、ハイパーパラメータの各セットは、１つ以上の選択された確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎと、スタイルベクトルｚを分割する対応する１つ以上の選択されたベクトル（複数可）Ａｉ２０８ａ〜２０８ｎを表すデータ（例えば、ベクトルの数、サイズ（複数可）、またはベクトルなど）を含み、ハイパーパラメータの各セットは、オートエンコーダ構造を定義する。ハイパーパラメータの各セットは、ラベルベクトルｙ２０６の時不変性を増加させるか、またはラベルベクトルｙ２０６が時不変または実質的に時不変であることを確実にするハイパーパラメータのそれらのセットを見出すために、ハイパーパラメータ空間上で検索を実行することを可能にするセットのハイパーパラメータに関連付けられた範囲、ステップサイズ、ならびに他の要因から自動的および／または手動で選択されてもよい。生成されると、方法はステップ４０４に進む。
ステップ４０４では、複数のハイパーパラメータのセットのハイパーパラメータの各セットについて、ハイパーパラメータのセットが複数のハイパーパラメータのセットから選択される。次に、方法４００は、ハイパーパラメータのセットによって構成されたオートエンコーダのラベルベクトル（複数可）ｙ２０６のセットのクラスタ化および時不変性能を決定するために進む。
ステップ４０６において、オートエンコーダ２００または２２０は、選択されたハイパーパラメータのセットに基づいて構成され得る。一旦構成されると、ステップ４０８において、スタイルベクトルｚは、入力データセット（例えば、高周波時変入力データサンプルまたは神経信号（複数可）など）で構成されたオートエンコーダ２００または２２０をトレーニングすることにより、ハイパーパラメータのセットに基づいて正則化される。ステップ４１０では、トレーニングされたオートエンコーダ２００または２２０および入力データセットに基づいて、ラベルベクトルのセットｙが生成される。
ステップ４１２では、複数のクラスタ（または２つ以上のクラスタ）が、ラベルベクトルｙ２０６の出力セットに基づいて決定され得る。これは、クラスタの各々が実質的に同じかまたは類似しているラベルベクトルｙ２０６のサブグループを含むかどうかを検出することを含み得る。各クラスタは、領域または境界によって定義されてもよく、各クラスタのラベルベクトルｙ２０６のサブグループは、定義された領域または境界内に含まれ、ラベルベクトルｙ２０６は、同じクラスタの領域または境界内に含まれる場合、実質的に同じか類似している。ラベルベクトルｙ２０６のセットがクラスタ化されていると見なされる場合（例えば「はい」）、方法４００はステップ４１４に進み、そうでない場合（例えば「いいえ」）、ステップ４０４に進み、別のハイパーパラメータのセットを選択する。
ステップ４１４では、各クラスタが実質的に同じまたは類似するラベルベクトルｙ２０６のサブグループを含むことの検出に応答して、方法は、ラベルベクトルｙ２０６のセットが実質的に時不変であるかどうかを検出する。これは、時間領域におけるベクトルｙ２０６の分布を分析して、ベクトルｙ２０６が、限定ではなく例として、時不変、時間依存、または実質的に時不変であるかどうかを決定することを含み得る。ラベルベクトルｙのセットは、同じ入力データセットで生成された先行ラベルベクトルｙのセットと比較することができるが、ハイパーパラメータのセットは異なる。先行のラベルベクトルｙのセットは、時不変性が異なる場合があるため、ラベルベクトルｙの出力セットをスコアリングするために使用することができる。あるいは、オートエンコーダの潜在空間を可視化するために、タイミング情報と組み合わせたｔ分布確率的近傍埋め込み（ｔ−ＳＮＥ）プロットを分析し、最適化方法４００の他の反復と比較して、ラベルベクトルｙの時不変性が増加したかどうかを決定してもよい。ラベルベクトルｙ２０６のセットが増加した時不変性を有するか、または実質的に時不変であると見なされる場合（例えば、「はい」）、方法４００はステップ４１６に進み、そうでない場合（例えば、「いいえ」）、方法はステップ４０４に進み、別のハイパーパラメータのセットを選択する。
ステップ４１６では、各クラスタが、実質的に同一または類似するラベルベクトルｙ２０６のサブグループを含み、ラベルベクトルｙ２０６のセットが実質的に時不変であることを検出したことに応答して、選択されたハイパーパラメータのセットは、最適化されたハイパーパラメータデータセットに保存され得るハイパーパラメータのセットであると考えられる。最適化されたハイパーパラメータデータセット内のハイパーパラメータの各セットは、トレーニング中にスタイルベクトルｚ２０８を正則化することにより、実質的に時不変なラベルベクトル（複数可）ｙ２０６を出力するように、または時不変性を増加させたラベルベクトル（複数可）ｙ２０６を出力するようにトレーニングすることができるオートエンコーダ構造を定義する。
したがって、この方法４００は、複数のハイパーパラメータのセットに対して実行され、どのハイパーパラメータのセットが、トレーニング中にスタイルベクトルｚ２０８を正則化することによって、実質的に時不変または時不変のラベルベクトル（複数可）ｙ２０６として出力するオートエンコーダ構造をもたらすのかを決定することができる。
ハイパーパラメータのセットは、１つ以上の選択された確率分布（複数可）Ｐ（Ａｉ）２１４ａ〜２１４ｎと、対応する１つ以上の選択された、スタイルベクトルｚを分割するベクトル（複数可）Ａｉ２０８ａ〜２０８ｎ（例えば、ベクトルの数、サイズ（複数可）、ベクトルなど）を表すデータを含むが、ハイパーパラメータのセットが、エンコーダ状態の長さを含む、オートエンコーダサイズ、初期学習率または減衰、バッチサイズであって、サンプルの数を含み、オートエンコーダニューラルネットワークまたは隠れ層（複数可）の重みまたはパラメータの更新を定義する、バッチサイズ、ラベルベクトルｙのサイズ、ラベルベクトルｙに関連付けられたクラスまたは状態の数、隠れ層（複数可）、ニューラルネットワークセル、および／または長期短期記憶セルの数、フィードサイズであって、データサイズまたはバッチごとの時間ステップ数を含む、フィードサイズ、損失重み付け係数であって、オートエンコーダが弁別器および／または生成器ニューラルネットワークコンポーネントを使用するときに生成的および弁別的損失に与える相対的重み付けを含む、損失重み付け係数、オートエンコーダニューラルネットワーク構造（複数可）の重みを最適化するための最適化関数、重み更新アルゴリズムの種類またはオートエンコーダニューラルネットワーク構造（複数可）の重みの手順、学習率減衰係数であって、オートエンコーダのプラトーまたは停滞の損失コスト関数に関連する損失が発生したときに学習率を調整するために使用される、学習率減衰係数および、学習率を調整する頻度を決定するための１つ以上の性能チェックポイント（複数可）のグループからの１つ以上をさらに含み得る。
ハイパーパラメータのセットは、オートエンコーダサイズであって、アプリケーションに応じて、２０〜１５００の範囲のエンコーダ状態の長さ、またはそれ以上を含む、オートエンコーダサイズ、アプリケーションに応じて、０．０００１〜０．１、またはそれ以下またはそれ以上の範囲の初期学習率または減衰、バッチサイズであって、サンプルの数を含み、オートエンコーダニューラルネットワークまたは隠れ層（複数可）の重みまたはパラメータの更新を定義し、アプリケーションに応じて、６４〜１０２８の範囲またはそれ以上になり得る、バッチサイズ、ラベルベクトルｙのサイズ、アプリケーションに応じて任意の数にし得る、ラベルベクトルｙに関連付けられたクラスまたは状態の数、隠れ層（複数可）、ニューラルネットワークセル、および／または長期短期記憶セルの数（これらは、アプリケーションに応じて１〜３以上の範囲になり得る）、フィードサイズであって、データ点またはバッチごとの時間ステップ数を含み、アプリケーションに応じて１００〜５００の範囲、またはそれ以上またはそれ以上になり得る、フィードサイズ、損失重み付け係数であって、オートエンコーダが弁別器および／または生成器ニューラルネットワークコンポーネントを使用するときに生成的および弁別的損失に与える相対的重み付けを含み、アプリケーションに応じて０．１〜１の範囲、またはそれ以下またはそれ以上になり得る、損失重み付け係数、オートエンコーダニューラルネットワーク構造（複数可）の重みを最適化するための最適化関数、重み更新アルゴリズムのタイプまたはオートエンコーダニューラルネットワーク構造（複数可）の重みの手順、学習率減衰係数であって、オートエンコーダのプラトーまたは停滞の損失コスト関数に関連する損失が発生したときに学習率を調整するために使用される、学習率減衰係数および、学習率を調整する頻度を決定するための１つ以上の性能チェックポイント（複数可）のグループからの１つ以上をさらに含み得る。
さらに、最適化方法４００は、ラベルベクトルｙのセットをクラスタ化して、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含む、ラベルベクトルｙの複数のクラスタを形成することと、ラベルベクトルｙのクラスタの各々を、入力データの分類でハイパーパラメータのセットによって定義されたオートエンコーダが使用するために、入力データに関連付けられたクラスまたは状態ラベルＳのセットからのクラスまたは状態ラベルにマッピングすることと、をさらに含み得る。
限定ではなく例として、オートエンコーダ構成データのセットなどのオートエンコーダの構造を表すさらなるデータは、オートエンコーダを構成するために後で取得するために保存され得る。例えば、オートエンコーダ構成データのセットは、最適化されたオートエンコーダ構成データセットに保存でき、オートエンコーダ構成データのセットは、最適化されたハイパーパラメータデータセットに保存されているハイパーパラメータのセットを表すデータ、ラベルベクトルｙのクラスタを表すデータ、クラスまたは状態ラベルＳへのラベルベクトルｙのクラスタの各々のマッピングを表すデータ、およびトレーニングされたオートエンコーダに関連付けられた１つ以上のニューラルネットワーク（複数可）および／または隠れ層（複数可）の重みおよび／またはパラメータを表すデータのグループからの１つ以上を表すデータを含む。
したがって、オートエンコーダ構成データのセットは、最適化されたオートエンコーダ構成データセットから選択され、オートエンコーダに適用されてもよい。オートエンコーダは、オートエンコーダ構成データのセットに基づいて構成でき、オートエンコーダは、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、潜在ベクトルは、ラベルベクトルｙ２０６およびスタイルベクトルｚ２０８を含み、オートエンコーダは、オートエンコーダ構成データのセットのトレーニングされたオートエンコーダに関連付けられた１つ以上のニューラルネットワーク（複数可）および／または隠れ層（複数可）の重みおよび／またはパラメータを表すデータに基づいて構成され、トレーニングされたオートエンコーダは、スタイルベクトルｚ２０８を正則化し、実質的に時不変のラベルベクトル（複数可）ｙ２０６を出力する。
代替的または追加的に、オートエンコーダシステムまたはユーザは、選択された１つ以上の確率分布および選択された１つ以上のベクトル（複数可）Ａｉを取得することができ、取得された確率分布（複数可）および対応するベクトルＡｉ（複数可）に基づくスタイルベクトルｚの正則化は、スタイルベクトルｚがトレーニング中に正則化されていない場合と比較して、ラベルベクトルｙの時不変性を増加させる。取得された分布およびベクトルを使用して、取得された確率分布（複数可）および対応するベクトル（複数可）Ａｉに基づいて、オートエンコーダの正則化コンポーネント／ネットワーク２１２または２１２ａ〜２１２ｎを構成することができる。潜在ベクトルｚの正則化がラベルベクトルｙのセットを生成するための入力データセットに基づいているように、オートエンコーダがトレーニングされてもよく、ラベルベクトルｙのセットが、入力データに関連付けられた状態またはクラスラベルのセットにマッピングする。追加データをトレーニングされたオートエンコーダに入力し、出力ラベルベクトルｙを状態またはクラスラベルのセットにマッピングすることにより、追加データを分類し、出力ラベルベクトルｙは、取得された確率分布（複数可）および対応するベクトル（複数可）Ａｉに基づいて、実質的に時不変である。
本明細書で説明するように、入力データは、１つ以上の時変入力信号（複数可）または１つ以上の高周波時変入力信号（複数可）に基づく任意の入力データを含むことができる。例えば、入力データは、限定ではなく例として、１つ以上の神経信号（複数可）に関連する神経サンプルデータを含み得る。したがって、オートエンコーダは、神経サンプルデータのトレーニングデータセットに基づいてトレーニングされてもよい。オートエンコーダは、ニューラルサンプルデータのトレーニングデータセットに基づいてトレーニングされてもよく、ニューラルサンプルデータは、ニューラルサンプルデータの相互に排他的なサブセットに分割され、ニューラルサンプルデータの各サブセットは、そこに含まれるニューラルサンプルデータを識別する状態またはクラスラベルに対応する。ラベルベクトルｙは、神経サンプルデータのトレーニングセットからの神経サンプルデータの各部分を１つ以上の神経データラベルに分類することができる神経データラベルベクトルに対応する。
したがって、方法４００は、対応する確率分布に基づいてスタイルベクトルｚの１つ以上のベクトル（複数可）Ａｉを正則化することによるラベルベクトルｙの時不変性の増加を確実にする、適切な１つ以上の確率分布と対応する１つ以上のベクトル（複数可）Ａｉとを含むハイパーパラメータの最適セットを発見するために使用されてもよい。
図４ｂおよび４ｃは、図２ａおよびオートエンコーダ２００を参照して説明された試験に関連して、真の状態／クラスによって色付けされた図４ｂの例示的なｔ−ＳＮＥクラスタリンググラフ４３０および記録時間によって色付けされた図４ｃの例示的なｔ−ＳＮＥ時間領域グラフ４４０を例示する、グラフィカルなｔ分布確率的近傍埋め込み（ｔ−ＳＮＥ）ダイアグラムである。ｔ−ＳＮＥは、散布図の形式でラベルベクトルｙ２０６のセットのような高次元データセットの可視化に特に適している、次元削減のためのいくつかの技術、例えばアイソマップまたは主成分分析の１つである。
試験では、選択されたハイパーパラメータのセットは、１つ以上のベクトルＡｉが１つのベクトルＡ１（例えば、スタイルベクトルｚ＝［Ａ１］）である数と、選択された確率分布が、平均が０に等しく単位分散（例えば、Ｐ（Ａ１）＝Ｎ（Ａ１｜０，Ｉ）を有する標準ガウス分布または正規分布である数とを含んでいた。この試験では、高周波時変入力データは、入力マルチチャネル神経サンプル信号（複数可）内に含まれる神経活動を分類するために５つの真の状態が定義された対象からの１５個のマルチチャネル神経サンプル信号（複数可）であった。５つの真の状態は、「立つ」、「歩く」、「シャッフルする」、「反転する」、および「曲がる」であった。図２ａのオートエンコーダ２００は、スタイルベクトルｚ２０８が正規分布に基づいて正則化された入力神経サンプル信号（複数可）でトレーニングされた。ラベルベクトルのセットｙ２０６は、５つの真の状態に基づいて決定および分類された。
図４ｂは、トレーニング後にオートエンコーダ２００から出力されたラベルベクトルのセットｙのｔ−ＳＮＥクラスタ化グラフ４３０である。図に見られるように、いくつかのクラスタ４３２ａ、４３２ｂおよび４３４が形成された。クラスタ４３２ａおよび４３２ｂは、主に真の状態「立つ」に関連することが識別され、クラスタ４３４は、主に真の状態「シャッフルする」に関連することが識別された。トレーニング後のオートエンコーダ２００は、ラベルベクトルｙのいくつかの適切に形成されたクラスタを形成することができた。入力神経サンプル信号（複数可）が神経生データセットの高周波時変入力データサンプルであるとすると、ｔ−ＳＮＲプロットにクラス間重複がいくつかあった。ここで、各データ点（例えば、ラベルベクトルｙ）はたった０．００１６７秒の時間に及ぶため、ラベルが付けられた行動／クラスに関連しないいくつかのデータ点が存在する可能性がある。さらに、各点に真の状態を正確に割り当てることは非常に非現実的で不正確である。また、ｔ−ＳＮＥプロットのクラスタは、必ずしも各ラベルベクトルｙ表現の最大値から派生したラベルの最終的なクラスタではないことにも留意されたい。
図４ｃは、ｔ−ＳＮＥ時間領域グラフ４４０であり、これは、データ点（例えば、ラベルベクトルｙ）が記録の時間に関して単純にクラスタ化されないことを確実にするために使用された。ｔ−ＳＮＥ時間領域グラフ４４０は、記録時間のカラーバーでオーバーレイされたｔ−ＳＮＥクラスタ化グラフ４３０である。このカラーバーから、クラスタにはさまざまな時点のデータ点が含まれていることがわかる。これは、ラベルベクトルｙのクラスタが時不変であり、スタイルベクトルｚの正則化によるトレーニング後のオートエンコーダ２００が、隣接する入力神経サンプル信号（複数可）の時間的相関の量を減少または最小化したことを示している。
図４ｄは、スタイルベクトルｚの正則化なしでトレーニングした後、オートエンコーダ２００から出力されたラベルベクトルｙのセットのオーバーレイされた時間領域グラフ４５０を伴うｔ−ＳＮＥクラスタ化グラフである。このプロットから、ｔ−ＳＮＥ空間内の均一な点群によって示される状態／クラスの分離可能性がないことは明らかである。さらに、プロットのコーナーは同じレベルの灰色の強度を示し、オートエンコーダが入力神経サンプル信号（複数可）内の「時間的パターン」の発生を過剰に表していることを示している。図４ｄは、ラベルベクトルｙが時間依存であり、スタイルベクトルｚの正則化を行わずにトレーニングした後のオートエンコーダ２００が、図４ｂおよび図４ｃのように、スタイルベクトルｚの正則化を行ってオートエンコーダ２００をトレーニングした場合と比較して、入力された神経サンプル信号（複数可）の隣接する時間的相関の量が増加していることを示している。
図５ａは、本発明に従ったスタイルベクトルｚの正則化を伴うＭＬ技術（複数可）の１つ以上の態様を実装するために使用され得る例示的なコンピューティングデバイス５００を示す概略図であり、かつ／または図１ａ〜４ｃを参照して説明された方法および／またはオートエンコーダ（複数可）／システム（複数可）および装置を含む。コンピューティングデバイス５００は、１つ以上のプロセッサユニット（複数可）５０２、メモリユニット５０４、および１つ以上のプロセッサユニット（複数可）５０２がメモリユニット５０４および通信インターフェース５０６に接続されている通信インターフェース５０６を含む。通信インターフェース５０６は、コンピューティングデバイス５００を、対象、１つ以上のデバイス（複数可）、１つ以上のセンサ（複数可）、外部またはクラウドストレージまたは処理システム（複数可）と接続することができる。メモリユニット５０４は、限定ではなく例として、追加データおよび／もしくは追加のプログラム命令、機能の実装に関連するコードおよび／もしくはコンポーネントおよび／もしくは１つ以上の機能（複数可）および／もしくは１つ以上のオートエンコーダ（複数可）に関連する機能、最適化方法（複数可）、データセット（複数可）の生成のラベル付けもしくはトレーニング、またはその両方、図１ａ〜４ｃ（複数可）の少なくとも１つを参照して説明したオートエンコーダ（複数可）および／もしくは最適化システム（複数可）／プラットフォームの１つ以上の方法（複数可）および／もしくはプロセスを保存するためにコンピューティングデバイス５０２およびデータストア５０４ｂを操作するためのオペレーティングシステム５０４ａのような１つ以上のプログラム命令、コードまたはコンポーネントを保存することができる。
コンピューティングデバイス５００は、オートエンコーダを実装するように構成されてもよく、オートエンコーダは、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、潜在ベクトルは、ラベルベクトルｙおよびスタイルベクトルｚを含み、通信インターフェース５０６は、（例えば、１つ以上の外部システムまたはクラウドストレージまたは処理システムから）トレーニングされたオートエンコーダ構造を表すデータを取得するように構成されてもよく、スタイルベクトルｚは、トレーニング中に正則化され、１つ以上のラベルベクトル（複数可）ｙが実質的に時不変であることを確実にする。コンピュータデバイス５００は、取得されたオートエンコーダ構造に基づいてオートエンコーダを構成してもよく、入力データに関連付けられた１つ以上のラベルベクトル（複数可）ｙを分類してもよく、１つ以上のラベルベクトル（複数可）ｙは、実質的に時不変である。
オートエンコーダ構造を表すデータは、図１ａ〜４ｃを参照して説明した方法（複数可）および／またはプロセスに従ってトレーニングされたオートエンコーダに基づいている。
図５ｂは、本発明に従ったスタイルベクトルｚの正則化を伴うＭＬ技術（複数可）の１つ以上の態様を実装するために使用され得る例示的な装置またはデバイス５１０を示す概略図であり、かつ／または図１ａ〜４ｃを参照して説明された方法および／またはオートエンコーダ（複数可）／システム（複数可）および装置を含む。装置５１０は、１つ以上のプロセッサユニット（複数可）、１つ以上のメモリユニット（複数可）、および／または通信インターフェースを含んでもよく、１つ以上のプロセッサユニット（複数可）は、メモリユニットおよび／または通信インターフェースに接続される。装置またはデバイス５００は、符号化ネットワーク５１２、復号ネットワーク５１４、潜在空間のスタイルベクトルｚおよび出力ラベルベクトルｙを出力するための潜在表現層５１６を含み得る。スタイルベクトルｚは、１つ以上の選択された確率分布（複数可）に対応する１つ以上の選択されたベクトル（複数可）Ａｉを含み得る。符号化ネットワーク５１２の出力は潜在表現層５１６に接続され、潜在表現層５１６は復号ネットワーク５１４の入力に接続される。装置またはデバイス５００は、潜在表現層５１６に接続された正則化コンポーネント／ネットワーク５１８をさらに含み、正則化コンポーネント／ネットワーク５１８は、入力データサンプルに対する装置またはデバイス５１０のトレーニング中にスタイルベクトルｚを正則化するように構成されており、これにより、装置５１０がトレーニング中およびトレーニング後に、またはリアルタイム動作中に入力データサンプルを分類するときに、実質的に時不変の出力ラベルベクトルｙを確実にまたは効果的に得ることができる。
装置５００の正則化コンポーネント／ネットワーク５１８は、１つ以上の正則化ネットワーク（複数可）をさらに含み得、各正則化ネットワークは、入力層、１つ以上の隠れ層（複数可）を含む弁別器ネットワーク、および生成器損失関数ＬＧＡｉを出力するための出力層を含み、入力層が、スタイルベクトルｚの１つ以上の選択されたベクトル（複数可）Ａｉのうちの対応する１つに接続される。正則化ネットワーク（複数可）の各々は、トレーニング中に、潜在ベクトルｚの対応するベクトルＡｉと、対応する選択された確率分布Ｐ（Ａｉ）から生成されたサンプルベクトルを区別するために、それらの弁別器ネットワークをトレーニングするように構成される。サンプルベクトルは、潜在ベクトルｚのベクトルＡｉと同じ次元のものである。各正則化ネットワークは、スタイルベクトルｚの対応するベクトルＡｉに確率分布Ｐ（Ａｉ）を適用するために、エンコーダネットワークをトレーニングして生成器損失関数値ＬＧＡｉを出力する。
装置５１０は、ラベルベクトルｙに結合された敵対的ネットワーク５２０をさらに含み得る。敵対的ネットワーク５２０は、入力層、１つ以上の隠れ層（複数可）、およびラベルベクトルｙに関連する生成器損失関数ＬＧＹを出力するための出力層を含むことができる。敵対的ネットワーク５２０の入力層は、ラベルベクトルｙに接続され、そこで、敵対的ネットワーク５２０は、トレーニング中に、１つ以上の隠れ層（複数可）をトレーニングして、ラベルベクトルｙと同じ次元の１つのホットベクトルのセットのカテゴリカル分布からのラベルベクトルｙとサンプルベクトルとを区別するように、構成されている。敵対的ネットワークは、ラベルベクトルｙに関連付けられた生成器損失関数値ＬＧＹを出力し、エンコーダネットワークをトレーニングして、ラベルベクトルｙにカテゴリカル分布を適用する。
装置５００は、限定ではなく例として、生成器損失、ラベルベクトル生成器損失関数値、およびスタイルベクトル生成器損失関数値の組み合わせ、復号ネットワーク５１６からの出力およびエンコーダネットワーク５１２に入力された元の入力データサンプルに基づく再構成損失に基づいて、５２２で表される損失またはコスト関数を使用して、入力データサンプルでトレーニングされてもよい。符号化ネットワーク５１２および／または復号ネットワーク５１６の隠れ層（複数可）の重みは、コストモジュール５２２の生成されたコスト損失関数に基づいて更新されてもよい。
図５ｂは、敵対的ネットワーク５２０を有する装置５００を説明しているが、これは単なる例であり、装置５００はそのように限定されないが、ラベルベクトルｙをより時不変にするためにｚを正則化している間は、装置５００が必ずしも敵対的ネットワーク５２０を必要としないことが、当業者に理解されるだろう。したがって、装置５００は、ラベルベクトルｙが制約されること、カテゴリカル分布に適用されることを強いられること、または敵対的ネットワーク５２０によって制限されることを必要としない可能性がある。代わりに、敵対的ネットワーク５２０は、敵対的ネットワーク５２０の代わりに、またはそれと組み合わせて使用するために適用可能であり得る１つ以上のまたは任意の他の分類技術（複数可）によって置換または組み合わせることができる。したがって、敵対的ネットワーク５２０は、装置５００が、ラベルベクトルｙが実質的に時不変またはスタイルベクトルｚが正則化されていない場合と比較して時不変であるようなスタイルベクトルｚを正則化し得る間に、１つ以上の他の分類技術（複数可）によって置換され、かつ／または１つ以上の他の分類技術（複数可）に基づいて修正されてもよい。
敵対的ネットワーク２１０を除去し、ラベルベクトルｙを操作するための任意の好適な分類技術で置換することにより、オートエンコーダ２００または２２０にさらなる修正を加えることができる。スタイルベクトルｚを正則化する利点は、ラベルベクトルｙがワンホット状ベクトルであることを必要としないことを理解されたい。例えば、修正オートエンコーダ２００または２２０は、ラベルベクトルｙが敵対的ネットワークによって制約または制限されないような敵対的ネットワーク２１０を除去することによって構成されてもよく、オートエンコーダは、ラベルベクトルｙに結合された分類コンポーネントまたは技術がラベルベクトルｙに作用し、かつ／または分類するような潜在空間のラベルベクトルｙを出力する潜在表現層をさらに含んでもよい。ラベルベクトルｙがワンホットラベル状ベクトルに制限されていない場合、ラベルベクトルｙは、限定ではなく例として、ソフトベクトル、ワンホット状ベクトルではない任意の他の表現、ワンホット状ベクトルであるが敵対的ネットワーク２１０に基づいて生成されたものではない任意の他の表現、またはラベルベクトルｙが密なソフトベクトルであるラベルベクトルｙの他のデータ表現、または好適な分類技術に適したラベルベクトルｙの任意の他のデータ表現であってもよい。
図２ａ〜２ｅは、スタイルベクトルｚが正則化されていること、または１つ以上の選択されたベクトル（複数可）Ａｉが正則化されていることを示しているが、これは単なる例であり、オートエンコーダ２００または２２０は限定されないが、スタイルベクトルｚを正則化することは、限定ではなく例として、スタイルベクトルｚの一部を正則化すること、スタイルベクトルｚのセクションを正則化すること、スタイルベクトルｚのサブベクトルを正則化することをさらに含んでもよいことが、当業者に理解されるであろう。ここで、スタイルベクトルｚのサブベクトルは、選択されたベクトルＡｉのサブグループであり、かつ／またはスタイルベクトルｚのサブベクトルの長さは、スタイルベクトルｚの長さよりも短い。スタイルベクトルｚのサブベクトルは、２つ以上の選択されたベクトルＡｉの連結体であり得、サブベクトルの長さはスタイルベクトルｚより小さい。代替的または追加的に、スタイルベクトルｚを正則化することは、選択されたベクトル（複数可）Ａｉおよび対応する選択された確率分布Ｐ（Ａｉ）のサブグループを選択することと、スタイルベクトルｚの選択されたベクトル（複数可）Ａｉのサブグループのみを正則化することと、をさらに含んでもよく、ベクトル（複数可）Ａｉのサブグループ内のベクトル（複数可）Ａｉの数は、選択されたベクトル（複数可）Ａｉの数よりも少ない。
本発明のさらなる態様は、通信インターフェース、メモリユニット、およびプロセッサユニットを含む１つ以上の装置および／またはデバイスを含むことができ、プロセッサユニットは、通信インターフェースおよびメモリユニットに接続され、プロセッサユニット、ストレージユニット、通信インターフェースは、図１ａ〜図５ｂを参照して本明細書で説明されるように、オートエンコーダ（複数可）、方法（複数可）および／またはプロセスまたはそれらの組み合わせを実行するように構成される。
上記の実施形態では、サーバは、単一のサーバまたはサーバのネットワークを含むことができる。いくつかの例では、サーバの機能は、サーバの世界的な分散ネットワークなどの地理的領域全体に分散されたサーバのネットワークによって提供されてもよく、ユーザは、ユーザの位置に基づいてサーバのネットワークの適切なネットワークのうちの１つに接続されてもよい。
上記の説明は、明確にするために単一のユーザを参照して本発明の実施形態を考察している。実際には、システムは複数のユーザによって共有されてもよく、非常に多数のユーザによって同時に共有される可能性があることが理解されよう。
上記の実施形態は完全に自動である。いくつかの例では、システムのユーザまたはオペレータは、実行される方法のいくつかのステップを手動で指示することができる。
本発明の説明されている実施形態では、システムは、任意の形態のコンピューティングデバイスおよび／または電子デバイスとして実装され得る。そのようなデバイスは、ルーティング情報を収集および記録するためにデバイスの動作を制御するコンピュータ実行可能命令を処理するためのマイクロプロセッサ、コントローラまたは他の任意の好適な種類のプロセッサであり得る１つ以上のプロセッサを含み得る。いくつかの例では、例えば、システムオンチップアーキテクチャが使用される場合、プロセッサは、方法の一部をハードウェア（ソフトウェアまたはファームウェアではなく）で実装する１つ以上の固定機能ブロック（アクセラレータとも呼ばれる）を含んでもよい。オペレーティングシステムまたは任意の他の好適なプラットフォームソフトウェアを含むプラットフォームソフトウェアは、アプリケーションソフトウェアがデバイス上で実行されることを可能にするために、コンピューティングベースのデバイスに提供されてもよい。
本明細書で説明される様々な機能は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせで実装されてもよい。ソフトウェアで実装される場合、機能は、コンピュータ可読媒体上の１つ以上の命令またはコードに保存または送信することができる。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体を含み得る。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実装される揮発性または不揮発性、取り外し可能または取り外し不可能媒体を含んでもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な記憶媒体であり得る。限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリデバイス、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形で所望のプログラムコードを運搬または記憶するために使用され得、コンピュータによってアクセス可能な任意の他の媒体を含み得る。本明細書で使用されるディスクおよびディスクには、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、およびブルーレイディスク（ＢＤ）が含まれる。さらに、伝播された信号は、コンピュータ可読記憶媒体の範囲内には含まれない。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体も含む。例えば、接続は通信媒体であり得る。例えば、ソフトウェアが同軸ケーブルを使用してＷｅｂサイト、サーバ、またはその他のリモートソースから送信される場合、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、ラジオ、マイクロ波などの無線技術が通信媒体の定義に含まれる。上記の組み合わせもコンピュータ可読媒体の範囲内に含まれるべきである。
あるいは、またはさらに、本明細書で説明される機能は、少なくとも部分的に、１つ以上のハードウェア論理コンポーネントによって実行することができる。例えば、使用可能なハードウェアロジックコンポーネントには、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラム固有集積回路（ＡＳＩＣ）、プログラム固有標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑プログラマブルロジックデバイス（ＣＰＬＤ）などがあり得る。
単一のシステムとして示されているが、本明細書に記載されているコンピューティングデバイス、装置、または機能のいずれかは、限定ではなく例として１つ以上のサーバ（複数可）、１つ以上のクラウドコンピューティングシステム（複数可）などの分散コンピューティングシステム上で実行することができることを理解されたい。したがって、例えば、いくつかのデバイスは、ネットワーク接続を介して通信していてもよく、コンピューティングデバイスによって実行されるものとして説明されているタスクを集合的に実行してもよい。
ローカルデバイスとして示されているが、コンピューティングデバイスは、リモートに配置され、ネットワークまたは他の通信リンクを介して（例えば、通信インターフェースを使用して）アクセスされ得ることが理解されよう。
「コンピュータ」という用語は、本明細書では、命令を実行することができるような処理能力を備えた任意のデバイスを指すために使用される。当業者は、そのような処理能力が多くの異なるデバイスに組み込まれ、したがって「コンピュータ」という用語がＰＣ、サーバ、携帯電話、携帯情報端末、および他の多くのデバイスを含むことを理解するであろう。
当業者は、プログラム命令を記憶するために利用されるストレージデバイスがネットワークにわたって分散され得ることを理解するであろう。例えば、リモートコンピュータは、ソフトウェアとして説明されたプロセスの例を保存することができる。ローカルまたはターミナルコンピュータはリモートコンピュータにアクセスし、プログラムを実行するためにソフトウェアの一部または全てをダウンロードすることができる。あるいは、ローカルコンピュータは、必要に応じてソフトウェアの一部をダウンロードするか、ローカル端末でソフトウェア命令を実行したり、リモートコンピュータ（またはコンピュータネットワーク）でソフトウェア命令を実行してもよい。当業者はまた、当業者に既知の従来の技術を利用することにより、ソフトウェア命令の全てまたは一部がＤＳＰ、プログラム可能論理アレイなどの専用回路によって実行されてもよいことを認識するであろう。
上述の利益および利点は、一実施形態に関係する場合もあれば、いくつかの実施形態に関係する場合もあることが理解されよう。実施形態は、述べられた問題のいずれかまたは全てを解決するもの、または述べられた利益および利点のいずれかまたは全てを有するものに限定されない。
「ａｎ」という項目への言及は、それらの項目の１つ以上を指す。「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、本明細書では、識別された方法ステップまたは要素を含むことを意味するために使用されるが、そのようなステップまたは要素は排他リストを含まず、方法または装置は追加のステップまたは要素を含み得る。
本明細書で使用される場合、「コンポーネント」および「システム」という用語は、プロセッサによって実行されたときに特定の機能を実行させるコンピュータ実行可能命令で構成されるコンピュータ可読データストレージを包含するものとする。コンピュータ実行可能命令は、ルーチン、関数などを含み得る。また、コンポーネントまたはシステムは、単一のデバイスにローカライズすることも、いくつかのデバイスに分散させることもできることを理解されたい。
さらに、本明細書で使用される場合、「例示的」という用語は、「何らかの例証または例示としての役割を果たす」ことを意味することを意図している。
さらに、「含む（ｉｎｃｌｕｄｅｓ）」という用語が詳細な説明または特許請求の範囲のいずれかで使用されている限り、そのような用語は、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語がクレームの中で経過語として用いられた場合に「含む（ｃｏｍｐｒｉｓｉｎｇ）」が解釈されるように、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語と同様の方法で包括的であることが意図されている。
図は、例示的な方法を示している。方法は、特定の配列で実行される一連の動作として示され、説明されているが、方法は配列の順序によって限定されないことを理解および認識されたい。例えば、いくつかの行為は、本明細書に記載されているものとは異なる順序で発生する可能性がある。さらに、ある行為は別の行為と同時に発生する可能性がある。さらに、いくつかの例では、本明細書で説明される方法を実装するために全ての行為が必要とされるわけではない場合がある。
さらに、本明細書で説明される動作は、１つ以上のプロセッサによって実装され、かつ／またはコンピュータ可読媒体に保存され得るコンピュータ実行可能命令を含み得る。コンピュータ実行可能命令は、ルーチン、サブルーチン、プログラム、実行スレッドなどを含むことができる。さらに、方法の動作の結果は、コンピュータ可読媒体に保存され、表示デバイスに表示され、かつ／または同様のものとすることができる。
本明細書に記載される方法のステップの順序は例示的なものであるが、ステップは、任意の好適な順序で、または適切な場合は同時に実行されてもよい。さらに、本明細書で説明する主題の範囲から逸脱することなく、ステップを追加または置換することができ、または個々のステップを任意の方法から削除することができる。上記の例のいずれかの態様を、記載された他の例のいずれかの態様と組み合わせて、求められる効果を失うことなく、さらなる例を形成することができる。
好ましい実施形態の上記の説明は、例としてのみ与えられており、当業者によって様々な修正が行われ得ることが理解されるであろう。上記で説明したものは、１つ以上の実施形態の例を含む。もちろん、前述の態様を説明する目的で、上記のデバイスまたは方法の考えられる全ての修正および変更を説明することは不可能であるが、当業者は、さまざまな態様の多くのさらなる修正および置換が可能であることを認識することができる。したがって、説明された態様は、添付の特許請求の範囲の範囲内に含まれるそのような全ての変更、修正、および変形を包含することが意図されている。

Claims (65)

  1. オートエンコーダをトレーニングするためのコンピュータ実装方法であって、前記オートエンコーダが、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、前記潜在ベクトルが、ラベルベクトルｙおよびスタイルベクトルｚを含み、前記方法が、前記入力データに関連付けられたラベルベクトルｙのセットに時不変性をもたらすために、トレーニング中に前記スタイルベクトルｚを正則化することを含む、コンピュータ実装方法。
  2. 前記スタイルベクトルｚを正則化することが、選択された１つ以上の確率分布Ｐ（Ａｉ）および対応する１つ以上のベクトルＡｉに基づいており、前記スタイルベクトルｚが、前記１つ以上のベクトルＡｉを含む、請求項１に記載のコンピュータ実装方法。
  3. 前記スタイルベクトルｚを正則化することが、入力トレーニングデータで前記オートエンコーダのエンコーダネットワークをトレーニングして、前記スタイルベクトルｚの少なくとも一部分に選択された確率分布を適用することをさらに含む、請求項１または２に記載のコンピュータ実装方法。
  4. 前記スタイルベクトルｚを正則化することが、トレーニング中に前記ラベルベクトルｙのセットの前記時不変性を増加させる、請求項１〜３のいずれか一項に記載のコンピュータ実装方法。
  5. 前記スタイルベクトルｚを正則化することが、前記オートエンコーダをトレーニングする前に、
    前記スタイルベクトルｚを分割するための１つ以上のベクトルＡｉの数を選択すること、
    前記選択されたベクトルＡｉに対応する１つ以上の確率分布Ｐ（Ａｉ）の数を選択することをさらに含み、
    前記スタイルベクトルｚを正則化することが、前記対応する選択された確率分布Ｐ（Ａｉ）に基づいて、前記選択されたベクトルＡｉの各々を正則化することをさらに含み、前記スタイルベクトルｚが、前記選択されたベクトルＡｉに分割される、請求項１〜４のいずれか一項に記載のコンピュータ実装方法。
  6. ｚを正則化することが、１つ以上の選択された確率分布Ｐ（Ａｉ）および前記スタイルベクトルｚを分割する対応する１つ以上の選択されたベクトルＡｉを含むハイパーパラメータのセットを取得することをさらに含み、前記ハイパーパラメータのセットが、前記１つ以上の選択された確率分布Ｐ（Ａｉ）および対応する１つ以上の選択されたベクトルＡｉに基づいて、トレーニング中にスタイルベクトルｚを正則化することによって実質的に時不変のラベルベクトルｙを出力するようにトレーニングされ得るオートエンコーダ構造を定義する、請求項１〜５のいずれか一項に記載のコンピュータ実装方法。
  7. トレーニング中に前記スタイルベクトルｚを正則化することにより、入力データに関連付けられた前記ラベルベクトルｙがラベルベクトルｙの複数または２つ以上のクラスタを形成し、各々が、実質的に同じまたは類似するラベルベクトルｙのサブグループを含み、前記ラベルベクトルｙのセットが、実質的に時不変である、請求項１〜６のいずれか一項に記載のコンピュータ実装方法。
  8. 各クラスタが、領域または境界によって定義され、各クラスタのラベルベクトルｙの前記サブグループが、前記定義された領域または境界内に含まれ、ラベルベクトルｙが、前記同じクラスタの前記領域または境界内に含まれる場合、実質的に同じか類似しており、前記クラスタが、真の状態またはクラスラベルに関連する、請求項７に記載のコンピュータ実装方法。
  9. 前記ラベルベクトルｙのセットをクラスタ化して、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含む、ラベルベクトルｙの複数のクラスタを形成することと、
    ラベルベクトルｙの前記クラスタの各々を、入力データの分類で前記トレーニングされたオートエンコーダが使用するために、前記入力データに関連付けられたクラスまたは状態ラベルＳのセットからのクラスまたは状態ラベルにマッピングすることと、をさらに含む、請求項７または８に記載のコンピュータ実装方法。
  10. 前記入力データが、１つ以上の高周波時変入力信号に基づく入力データを含む、請求項１〜９のいずれか一項に記載のコンピュータ実装方法。
  11. 前記入力データが、１つ以上の神経信号に関連する神経サンプルデータを含む、請求項１〜１０のいずれか一項に記載のコンピュータ実装方法。
  12. 前記オートエンコーダが、
    前記潜在空間のスタイルベクトルｚを出力するための潜在表現層であって、前記スタイルベクトルｚが、前記１つ以上の選択されたベクトルＡｉを含む、潜在表現層と、
    １つ以上の正則化ネットワークであって、各正則化ネットワークが、入力層、１つ以上の隠れ層を含む弁別器ネットワーク、および生成器損失関数ＬＧＡｉを評価するための出力層を含み、前記入力層が、スタイルベクトルｚの前記１つ以上の選択されたベクトルＡｉのうちの対応する１つに接続される、１つ以上の正則化ネットワークと、をさらに含み、前記方法が、
    前記潜在ベクトルｚを正則化することであって、前記正則化ネットワークの各々について、
    潜在ベクトルｚの前記対応するベクトルＡｉと、前記対応する選択された確率分布Ｐ（Ａｉ）から生成されたサンプルベクトルとを区別するために、前記各正則化ネットワークをトレーニングすることであって、前記サンプルベクトルが、前記潜在ベクトルｚのベクトルＡｉと同じ次元のものである、トレーニングすることと、
    前記潜在ベクトルｚの前記ベクトルＡｉに前記確率分布Ｐ（Ａｉ）を適用するためにエンコーダネットワークをトレーニングする際に前記オートエンコーダが使用する前記生成器損失関数値ＬＧＡｉを出力することと、をさらに含む、正則化することをさらに含む、請求項２〜１１のいずれか一項に記載のコンピュータ実装方法。
  13. 前記オートエンコーダが、
    前記潜在空間の前記ラベルベクトルｙを出力する前記潜在表現層と、
    入力層、１つ以上の隠れ層、およびラベルベクトルｙに関連付けられた生成器損失関数ＬＧＹを評価するための出力層を含む、結合された敵対的ネットワークと、をさらに含み、前記敵対的ネットワークの前記入力層が、前記ラベルベクトルｙに接続され、前記方法が、
    前記潜在表現層によって生成されたラベルベクトルｙと、前記ラベルベクトルｙと同じ次元の１つのホットベクトルのセットのカテゴリカル分布からのサンプルベクトルとを区別するために前記敵対的ネットワークをトレーニングすることと、
    前記ラベルベクトルｙに前記カテゴリカル分布を適用するために、エンコーダネットワークをトレーニングする際に前記オートエンコーダが使用するラベルベクトルｙに関連付けられた前記生成器損失関数値ＬＧＹを出力することと、をさらに含む、請求項２〜１２のいずれか一項に記載のコンピュータ実装方法。
  14. 前記オートエンコーダが、前記潜在表現層に結合された復号ネットワークをさらに含み、前記入力データのトレーニングセットが、神経サンプルベクトル配列

    のトレーニングセットを含み、１≦ｉ≦Ｌｋと１≦ｋ≦Ｔであり、Ｌｋがｋ番目の神経サンプルベクトル配列の長さであり、Ｔが、前記オートエンコーダを通過するｋ番目の神経活動に対応するｋ番目の神経サンプルベクトル配列ごとのトレーニング神経サンプルベクトル配列の数であり、前記方法が、
    前記１つ以上の正則化ネットワークおよび／または前記敵対的ネットワークの前記出力に基づいて損失関数またはコスト関数を生成することであって、ｋ番目の神経サンプルベクトル配列の推定値が、前記復号ネットワークからの

    出力として表され、元のｋ番目の神経サンプルベクトル配列（ｘｉ）ｋである、生成することと、
    前記生成されたコスト関数の損失に基づいて、前記符号化ネットワークおよび／または復号ネットワークの前記隠れ層の重みを更新することと、をさらに含む、請求項１２または１３に記載のコンピュータ実装方法。
  15. オートエンコーダを最適化するためのコンピュータ実装方法であって、前記オートエンコーダが、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、前記潜在ベクトルが、ラベルベクトルｙおよびスタイルベクトルｚを含み、前記方法が、前記スタイルベクトルｚの正則化を制御して、前記ラベルベクトルｙの時不変性を増加または減少させることを含む、コンピュータ実装方法。
  16. 前記スタイルベクトルｚの正則化を制御することが、１つ以上の確率分布Ｐ（Ａｉ）および対応する１つ以上のベクトルＡｉを選択することであって、前記スタイルベクトルｚが、前記１つ以上のベクトルＡｉを含む、選択することと、前記選択された確率分布に基づいてスタイルベクトルｚを正則化することと、を含む、請求項１５に記載のコンピュータ実装方法。
  17. スタイルベクトルｚを正則化することが、入力トレーニングデータで前記オートエンコーダのエンコーダネットワークをトレーニングして、前記スタイルベクトルｚの少なくとも一部分に選択された確率分布を適用することをさらに含む、請求項１５または１６に記載のコンピュータ実装方法。
  18. 前記スタイルベクトルｚの正則化を制御して、正則化することなくオートエンコーダから出力されるラベルベクトルｙの対応するセットと比較して、前記ラベルベクトルｙのセットの前記時不変性を増加させる、請求項１５〜１７のいずれか一項に記載のコンピュータ実装方法。
  19. 前記スタイルベクトルｚの正則化を制御することが、
    前記スタイルベクトルｚを分割するための１つ以上のベクトルＡｉの数を選択すること、
    前記選択されたベクトルＡｉに対応する１つ以上の確率分布Ｐ（Ａｉ）の数を選択することをさらに含み、
    前記選択されたベクトルＡｉおよび選択された確率分布Ｐ（Ａｉ）に基づいて前記スタイルベクトルｚを正則化することが、前記対応する選択された確率分布Ｐ（Ａｉ）に基づいて前記選択されたベクトルＡｉの各々を正則化することをさらに含み、前記スタイルベクトルｚが、前記選択された１つ以上のベクトルＡｉの連結体である、請求項１５〜１８のいずれか一項に記載のコンピュータ実装方法。
  20. 前記スタイルベクトルｚを分割するために選択される複数のベクトルＡｉまたは複数のベクトルＡｉが存在する、請求項１６〜１９のいずれか一項に記載のコンピュータ実装方法。
  21. 前記ｚの正則化が、前記オートエンコーダの複数のトレーニングサイクルにわたって制御される、請求項１５に記載のコンピュータ実装方法。
  22. 前記ｚの正則化を制御することが、
    複数のハイパーパラメータのセットを生成することであって、ハイパーパラメータの各セットが、１つ以上の選択された確率分布Ｐ（Ａｉ）と、前記スタイルベクトルｚを分割する対応する１つ以上の選択されたベクトルＡｉを含み、前記ハイパーパラメータの各セットが、オートエンコーダ構造を定義する、生成することと、
    前記複数のハイパーパラメータのセットのハイパーパラメータの各セットについて、前記オートエンコーダの前記ラベルベクトルｙの前記クラスタ化および時不変性の性能を、
    前記ハイパーパラメータのセットに基づいて前記オートエンコーダを構成することと、
    入力データに対して前記構成済みのオートエンコーダをトレーニングすることにより、前記ハイパーパラメータのセットに基づいて前記スタイルベクトルｚを正則化することと、
    前記トレーニングされたオートエンコーダおよび入力データに基づいて、ラベルベクトルｙのセットを生成することと、
    前記ラベルベクトルｙの複数または２つ以上のクラスタを決定することと、
    各クラスタに実質的に同じまたは類似するラベルベクトルｙのサブグループが含まれているかどうかを検出することと、
    各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含むことの検出に応答して、前記ラベルベクトルｙのセットが実質的に時不変であるかどうかを検出することと、
    各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含むことの検出、および前記ラベルベクトルｙのセットが実質的に時不変であることの検出に応答して、前記選択されたハイパーパラメータのセットを最適化されたハイパーパラメータデータセットに保存することであって、前記最適化されたハイパーパラメータデータセット内の前記ハイパーパラメータの各セットが、トレーニング中にスタイルベクトルｚを正則化することにより、実質的に時不変のラベルベクトルｙを出力するようにトレーニングされ得るオートエンコーダ構造を定義する、保存することと、によって、決定することと、をさらに含む、請求項１〜２１のいずれか一項に記載のコンピュータ実装方法。
  23. 各クラスタが、領域または境界によって定義され、各クラスタのラベルベクトルｙの前記サブグループが、前記定義された領域または境界内に含まれ、ラベルベクトルｙが、前記同じクラスタの前記領域または境界内に含まれる場合、実質的に同じか類似している、請求項２２に記載のコンピュータ実装方法。
  24. 前記ラベルベクトルｙのセットをクラスタ化して、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含む、ラベルベクトルｙの複数のクラスタを形成することと、
    ラベルベクトルｙの前記クラスタの各々を、入力データの分類で前記ハイパーパラメータのセットによって定義されたオートエンコーダが使用するために、前記入力データに関連付けられたクラスまたは状態ラベルＳのセットからのクラスまたは状態ラベルにマッピングすることと、をさらに含む、請求項２２または２３に記載のコンピュータ実装方法。
  25. オートエンコーダ構成データのセットを最適化されたオートエンコーダ構成データセットに保存することであって、前記オートエンコーダ構成データのセットが、
    前記最適化されたハイパーパラメータデータセットに保存された前記ハイパーパラメータのセットを表すデータ、
    ラベルベクトルｙの前記クラスタを表すデータ、
    クラスまたは状態ラベルＳへのラベルベクトルｙの前記クラスタの各々の前記マッピングを表すデータ、および
    前記トレーニングされたオートエンコーダに関連付けられた１つ以上のニューラルネットワークおよび／または隠れ層の前記重みおよび／またはパラメータを表すデータの群からの１つ以上を表すデータを含む、保存することをさらに含む、請求項２２〜２４のいずれか一項に記載のコンピュータ実装方法。
  26. 前記最適化されたオートエンコーダ構成データセットからオートエンコーダ構成データのセットを選択することと、
    前記オートエンコーダ構成データのセットに基づいてオートエンコーダを構成することであって、前記オートエンコーダが、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、前記潜在ベクトルが、ラベルベクトルｙおよびスタイルベクトルｚを含み、前記オートエンコーダが、前記オートエンコーダ構成データのセットの前記トレーニングされたオートエンコーダに関連付けられた１つ以上のニューラルネットワークおよび／または隠れ層の前記重みおよび／またはパラメータを表すデータに基づいて構成され、前記トレーニングされたオートエンコーダが、前記スタイルベクトルｚを正則化し、実質的に時不変のラベルベクトルｙを出力する、構成することと、をさらに含む、請求項２５に記載のコンピュータ実装方法。
  27. 前記ハイパーパラメータのセットが、
    前記エンコーダ状態の長さを含む、オートエンコーダサイズ、
    初期学習率または減衰、
    バッチサイズであって、サンプルの数を含み、前記オートエンコーダニューラルネットワークまたは隠れ層の重みまたはパラメータの前記更新を定義する、バッチサイズ、
    前記ラベルベクトルｙのサイズ、
    前記ラベルベクトルｙに関連付けられたクラスまたは状態の数、
    隠れ層、ニューラルネットワークセル、および／または長期短期記憶セルの数、
    フィードサイズであって、データ点またはバッチごとの時間ステップ数を含む、フィードサイズ、
    損失重み付け係数であって、前記オートエンコーダが弁別器および／または生成器ニューラルネットワークコンポーネントを使用するときに生成的および弁別的損失に与える相対的重み付けを含む、損失重み付け係数、
    前記オートエンコーダニューラルネットワーク構造の前記重みを最適化するための最適化関数、
    重み更新アルゴリズムの種類または前記オートエンコーダニューラルネットワーク構造の前記重みの手順、
    学習率減衰係数であって、前記オートエンコーダのプラトーまたは停滞の損失コスト関数に関連する前記損失が発生したときに学習率を調整するために使用される、学習率減衰係数、および
    学習率を調整する頻度を決定するための１つ以上の性能チェックポイントの群からの１つ以上をさらに含む、請求項６または２２〜２６のいずれか一項に記載のコンピュータ実装方法。
  28. 選択された１つ以上の確率分布および選択された１つ以上のベクトルＡｉを取得することであって、前記取得された確率分布および対応するベクトルＡｉに基づく前記スタイルベクトルｚの正則化が、スタイルベクトルｚがトレーニング中に正則化されていない場合と比較して、前記ラベルベクトルｙの前記時不変性を増加させる、取得することと、
    前記取得された確率分布および対応するベクトルＡｉに基づいて、前記第２のオートエンコーダの正則化コンポーネントを構成することと、
    ラベルベクトルｙのセットを生成するための入力データセットに基づいて、前記第２のオートエンコーダをトレーニングし、潜在ベクトルｚを正則化することであって、前記ラベルベクトルｙのセットが、前記入力データに関連付けられた状態またはクラスラベルのセットにマッピングする、トレーニングすることと、
    追加データを前記トレーニングされた第２のオートエンコーダに入力し、出力ラベルベクトルｙを前記状態またはクラスラベルのセットにマッピングすることにより、前記追加データを分類することであって、前記出力ラベルベクトルｙが、前記取得された確率分布および対応するベクトルＡｉに基づいて、実質的に時不変である、分類することと、をさらに含む、請求項１６〜２７のいずれか一項に記載のコンピュータ実装方法。
  29. 前記入力データが、１つ以上の高周波時変入力信号に基づく入力データを含む、請求項１５〜２８のいずれか一項に記載のコンピュータ実装方法。
  30. 前記入力データが、１つ以上の神経信号に関連する神経サンプルデータを含む、請求項１５〜２８のいずれか一項に記載のコンピュータ実装方法。
  31. 前記オートエンコーダが、
    前記潜在空間のスタイルベクトルｚを出力するための潜在表現層であって、前記スタイルベクトルｚが、前記１つ以上の選択されたベクトルＡｉを含む、潜在表現層と、
    １つ以上の正則化ネットワークであって、各正則化ネットワークが、入力層、１つ以上の隠れ層を含む弁別器ネットワーク、および生成器損失関数ＬＧＡｉを評価するための出力層を含み、前記入力層が、スタイルベクトルｚの前記１つ以上の選択されたベクトルＡｉのうちの対応する１つに接続される、１つ以上の正則化ネットワークと、をさらに含み、前記方法が、
    前記潜在ベクトルｚを正則化することであって、前記正則化ネットワークの各々について、
    潜在ベクトルｚの前記対応するベクトルＡｉと、前記対応する選択された確率分布Ｐ（Ａｉ）から生成されたサンプルベクトルとを区別するために、前記各正則化ネットワークをトレーニングすることであって、前記サンプルベクトルが、前記潜在ベクトルｚのベクトルＡｉと同じ次元のものである、トレーニングすることと、
    前記潜在ベクトルｚの前記ベクトルＡｉに前記確率分布Ｐ（Ａｉ）を適用するためにエンコーダネットワークをトレーニングする際に前記オートエンコーダが使用する前記生成器損失関数値ＬＧＡｉを出力することと、をさらに含む、正則化することをさらに含む、請求項１５〜３０のいずれか一項に記載のコンピュータ実装方法。
  32. 前記オートエンコーダが、
    前記潜在空間の前記ラベルベクトルｙを出力する前記潜在表現層と、
    入力層、１つ以上の隠れ層、およびラベルベクトルｙに関連付けられた生成器損失関数ＬＧＹを評価するための出力層を含む、結合された敵対的ネットワークと、をさらに含み、前記敵対的ネットワークの前記入力層が、前記ラベルベクトルｙに接続され、前記方法が、
    前記潜在表現層によって生成されたラベルベクトルｙと、前記ラベルベクトルｙと同じ次元の１つのホットベクトルのセットのカテゴリカル分布からのサンプルベクトルとを区別するために前記敵対的ネットワークをトレーニングすることと、
    前記ラベルベクトルｙに前記カテゴリカル分布を適用するために、エンコーダネットワークをトレーニングする際に前記オートエンコーダが使用するラベルベクトルｙに関連付けられた前記生成器損失関数値ＬＧＹを出力することと、をさらに含む、請求項３１に記載のコンピュータ実装方法。
  33. 前記オートエンコーダが、前記潜在表現層に結合された復号ネットワークをさらに含み、前記入力データのトレーニングセットが、神経サンプルベクトル配列

    のトレーニングセットを含み、１≦ｉ≦Ｌｋと１≦ｋ≦Ｔであり、Ｌｋがｋ番目の神経サンプルベクトル配列の長さであり、Ｔが、前記オートエンコーダを通過するｋ番目の神経活動に対応するｋ番目の神経サンプルベクトル配列ごとのトレーニング神経サンプルベクトル配列の数であり、前記方法が、
    前記１つ以上の正則化ネットワークおよび／または前記敵対的ネットワークの前記出力に基づいて損失関数またはコスト関数を生成することであって、ｋ番目の神経サンプルベクトル配列の推定値が、前記復号ネットワークからの
    出力として表され、元のｋ番目の神経サンプルベクトル配列（ｘｉ）ｋである、生成することと、
    前記生成されたコスト関数の損失に基づいて、前記符号化ネットワークおよび／または復号ネットワークの前記隠れ層の重みを更新することと、をさらに含む、請求項３１または３２に記載のコンピュータ実装方法。
  34. 前記選択された１つ以上の確率分布の各確率分布が、
    正規分布、
    ガウス分布、
    ラプラシアン、
    ガンマ、
    前述の分布の１つ以上の順列、
    分散または平均などの異なるプロパティを持つ前述の分布の１つ以上の順列、および
    前記入力データに関連付けられた前記ラベルベクトルｙの前記時不変性に寄与する任意の他の確率分布の群からの１つ以上の確率分布またはそれらの組み合わせを含む、請求項１〜３３のいずれか一項に記載のコンピュータ実装方法。
  35. オートエンコーダのためのコンピュータ実装方法であって、前記オートエンコーダが、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、前記潜在ベクトルが、ラベルベクトルｙおよびスタイルベクトルｚを含み、前記方法が、
    トレーニングされたオートエンコーダ構造を表すデータを取得することであって、前記スタイルベクトルｚが、トレーニング中に正則化され、１つ以上のラベルベクトルｙが実質的に時不変であることを確実にする、取得することと、
    前記取得したオートエンコーダ構造に基づいて前記オートエンコーダを構成することと、
    前記入力データに関連付けられた１つ以上のラベルベクトルｙを分類することであって、前記１つ以上のラベルベクトルｙは実質的に、時不変である、分類することと、を含む、コンピュータ実装方法。
  36. 前記オートエンコーダ構造が、請求項１〜１４、３４、および４７〜６５のいずれか一項に記載の方法に従ってトレーニングされたオートエンコーダに基づく、請求項３５に記載のコンピュータ実装方法。
  37. 前記オートエンコーダ構造が、請求項１５〜３４、および４７〜６５のいずれか一項に記載の方法に従って最適化および／またはトレーニングされたオートエンコーダに基づく、請求項３５または３６に記載のコンピュータ実装方法。
  38. 装置であって、
    通信インターフェースと、
    メモリユニットと、
    プロセッサユニットと、を備え、前記プロセッサユニットが、前記通信インターフェースおよび前記メモリユニットに接続され、前記プロセッサユニット、ストレージユニット、通信インターフェースが、請求項１〜１４、３４および４７〜６５のいずれか一項に記載の方法を実行するように構成されている、装置。
  39. 装置であって、
    通信インターフェースと、
    メモリユニットと、
    プロセッサユニットと、を備え、前記プロセッサユニットが、前記通信インターフェースおよび前記メモリユニットに接続され、前記プロセッサユニット、ストレージユニット、通信インターフェースが、請求項１５〜３４および４７〜６５のいずれか一項に記載の方法を実行するように構成されている、装置。
  40. 装置であって、
    通信インターフェースと、
    メモリユニットと、
    プロセッサユニットと、を備え、前記プロセッサユニットが、前記通信インターフェースおよび前記メモリユニットに接続され、前記プロセッサユニット、ストレージユニット、通信インターフェースが、請求項３５〜３７および４７〜６５のいずれか一項に記載の方法を実行するように構成されている、装置。
  41. プロセッサ上で実行されると、前記プロセッサに請求項１〜１４、３４および４７〜６５のいずれか一項に記載の方法を実行させるプログラムコードが保存されたコンピュータ可読媒体。
  42. プロセッサ上で実行されると、前記プロセッサに請求項１５〜３４および４７〜６５のいずれか一項に記載の方法を実行させるプログラムコードが保存されたコンピュータ可読媒体。
  43. プロセッサ上で実行されると、前記プロセッサに請求項３５〜３７および４７〜６５のいずれか一項に記載の方法を実行させるプログラムコードが保存されたコンピュータ可読媒体。
  44. 装置であって、
    符号化ネットワークと、
    復号ネットワークと、
    潜在空間のスタイルベクトルｚおよび出力ラベルベクトルｙを出力する潜在表現層であって、前記スタイルベクトルｚが、１つ以上の選択された確率分布に対応する１つ以上の選択されたベクトルＡｉを含み、前記符号化ネットワークの出力が、前記潜在表現層に接続され、前記潜在表現層が、前記復号ネットワークの入力に接続される、潜在表現層と、
    前記潜在表現層に接続された正則化コンポーネントであって、前記正則化コンポーネントが、前記装置のトレーニング中に前記スタイルベクトルｚを正則化し、前記装置が入力データを分類するときに実質的に時不変の出力ラベルベクトルｙをもたらすように構成された、正則化コンポーネントと、を備える、装置。
  45. 前記正則化コンポーネントが、
    １つ以上の正則化ネットワークであって、各正則化ネットワークが、入力層、１つ以上の隠れ層を含む弁別器ネットワーク、および生成器損失関数ＬＧＡｉを評価するための出力層を含み、前記入力層が、スタイルベクトルｚの前記１つ以上の選択されたベクトルＡｉのうちの対応する１つに接続される、１つ以上の正則化ネットワークと、をさらに含み、
    前記正則化ネットワークの各々が、トレーニング中に、
    潜在ベクトルｚの前記対応するベクトルＡｉと、前記対応する選択された確率分布Ｐ（Ａｉ）から生成されたサンプルベクトルとを区別するために、前記弁別器ネットワークをトレーニングし、前記サンプルベクトルが、前記潜在ベクトルｚのベクトルＡｉと同じ次元のものであり、
    前記潜在ベクトルｚの前記ベクトルＡｉに前記確率分布Ｐ（Ａｉ）を適用するためにエンコーダネットワークをトレーニングして前記生成器損失関数値ＬＧＡｉを出力するように構成されている、請求項４４に記載の装置。
  46. 入力層、１つ以上の隠れ層、およびラベルベクトルｙに関連付けられた生成器損失関数ＬＧＹを評価するための出力層を含む、結合された敵対的ネットワークと、をさらに含み、前記敵対的ネットワークの前記入力層が、前記ラベルベクトルｙに接続され、前記敵対的ネットワークが、トレーニング中に、
    ラベルベクトルｙと、前記ラベルベクトルｙと同じ次元の１つのホットベクトルのセットのカテゴリカル分布からのサンプルベクトルとを区別するために前記１つ以上の隠れ層をトレーニングし、
    前記ラベルベクトルｙに前記カテゴリカル分布を適用するために、前記エンコーダネットワークをトレーニングしてラベルベクトルｙに関連付けられた前記生成器損失関数値ＬＧＹを出力するように構成されている、請求項４５に記載の装置。
  47. オートエンコーダのためのコンピュータ実装方法であって、前記オートエンコーダが、入力データを分類するためのＮ次元潜在空間の潜在ベクトルを出力し、前記潜在ベクトルが、ラベルベクトルｙおよびスタイルベクトルｚを含み、前記方法が、スタイルベクトルｚの前記正則化を制御して、１つ以上の確率分布Ｐ（Ａｉ）および対応する１つ以上のベクトルＡｉを選択することにより、前記ラベルベクトルｙの時不変性を増加または減少させることであって、前記スタイルベクトルｚが、前記１つ以上のベクトルＡｉを含む、制御することと、前記選択された確率分布に基づいてスタイルベクトルｚを正則化することと、を含み、前記制御する方法が、
    複数のハイパーパラメータのセットを生成することであって、ハイパーパラメータの各セットが、１つ以上の選択された確率分布Ｐ（Ａｉ）と、前記スタイルベクトルｚを分割する対応する１つ以上の選択されたベクトルＡｉを含み、前記ハイパーパラメータの各セットが、オートエンコーダ構造を定義する、生成することと、
    前記複数のハイパーパラメータのセットのハイパーパラメータの各セットについて、前記オートエンコーダの前記ラベルベクトルｙの前記クラスタ化および時不変性の性能を、
    前記ハイパーパラメータのセットに基づいて前記オートエンコーダを構成することと、
    入力データに対して前記構成済みのオートエンコーダをトレーニングすることにより、前記ハイパーパラメータのセットに基づいて前記スタイルベクトルｚを正則化することと、
    前記トレーニングされたオートエンコーダおよび入力データに基づいて、ラベルベクトルｙのセットを生成することと、
    前記ラベルベクトルｙの複数または２つ以上のクラスタを決定することと、
    各クラスタに実質的に同じまたは類似するラベルベクトルｙのサブグループが含まれているかどうかを検出することと、
    各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含むことの検出に応答して、前記選択されたハイパーパラメータのセットを最適化されたハイパーパラメータデータセットに保存することであって、前記最適化されたハイパーパラメータデータセット内の前記ハイパーパラメータの各セットが、トレーニング中にスタイルベクトルｚを正則化することにより、実質的に時不変のラベルベクトルｙを出力するようにトレーニングされ得るオートエンコーダ構造を定義する、保存することと、によって、決定することと、をさらに含む、コンピュータ実装方法。
  48. オートエンコーダのためのコンピュータ実装方法であって、前記方法が、
    各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含むことの検出に応答して、前記ラベルベクトルｙのセットが実質的に時不変であるかどうかを検出することと、
    各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含むことの検出、および前記ラベルベクトルｙのセットが実質的に時不変であることの検出に応答して、前記選択されたハイパーパラメータのセットを最適化されたハイパーパラメータデータセットに保存することであって、前記最適化されたハイパーパラメータデータセット内の前記ハイパーパラメータの各セットが、トレーニング中にスタイルベクトルｚを正則化することにより、実質的に時不変のラベルベクトルｙを出力するようにトレーニングされ得るオートエンコーダ構造を定義する、保存することと、をさらに含む、コンピュータ実装方法。
  49. 各クラスタが、領域または境界によって定義され、各クラスタのラベルベクトルｙの前記サブグループが、前記定義された領域または境界内に含まれ、ラベルベクトルｙが、前記同じクラスタの前記領域または境界内に含まれる場合、実質的に同じか類似している、請求項４７または４８のいずれか一項に記載のコンピュータ実装方法。
  50. 前記ラベルベクトルｙのセットをクラスタ化して、各クラスタが実質的に同じまたは類似するラベルベクトルｙのサブグループを含む、ラベルベクトルｙの複数のクラスタを形成することと、
    ラベルベクトルｙの前記クラスタの各々を、入力データの分類で前記ハイパーパラメータのセットによって定義されたオートエンコーダが使用するために、前記入力データに関連付けられたクラスまたは状態ラベルＳのセットからのクラスまたは状態ラベルにマッピングすることと、をさらに含む、請求項４７〜４９のいずれか一項に記載のコンピュータ実装方法。
  51. オートエンコーダ構成データのセットを最適化されたオートエンコーダ構成データセットに保存することであって、前記オートエンコーダ構成データのセットが、
    前記最適化されたハイパーパラメータデータセットに保存された前記ハイパーパラメータのセットを表すデータ、
    ラベルベクトルｙの前記クラスタを表すデータ、
    クラスまたは状態ラベルＳへのラベルベクトルｙの前記クラスタの各々の前記マッピングを表すデータ、および
    前記トレーニングされたオートエンコーダに関連付けられた１つ以上のニューラルネットワークおよび／または隠れ層の前記重みおよび／またはパラメータを表すデータの群からの１つ以上を表すデータを含む、保存することをさらに含む、請求項４７〜５０のいずれか一項に記載のコンピュータ実装方法。
  52. 前記スタイルベクトルｚを正則化することが、前記スタイルベクトルｚの一部分を正則化することをさらに含む、請求項１〜１４、１５〜３４、３５〜３７、または４７〜５１のいずれか一項に記載のコンピュータ実装方法。
  53. 前記スタイルベクトルｚを正則化することが、前記スタイルベクトルｚのセクションを正則化することをさらに含む、請求項１〜１４、１５〜３４、３５〜３７、または４７〜５２のいずれか一項に記載のコンピュータ実装方法。
  54. 前記スタイルベクトルｚを正則化することが、前記スタイルベクトルｚのサブベクトルを正則化することをさらに含む、請求項１〜１４、１５〜３４、３５〜３７、または４７〜５３のいずれか一項に記載のコンピュータ実装方法。
  55. 前記スタイルベクトルｚの前記サブベクトルが、前記選択されたベクトルＡｉのサブグループを含む、請求項５４に記載のコンピュータ実装方法。
  56. 前記スタイルベクトルｚの前記サブベクトルの長さが、前記スタイルベクトルｚの長さよりも短い、請求項５５に記載のコンピュータ実装方法。
  57. 前記スタイルベクトルｚを正則化することが、前記選択されたベクトルＡｉおよび対応する選択された確率分布Ｐ（Ａｉ）のサブグループを選択することと、前記スタイルベクトルｚの前記選択されたベクトルＡｉの前記サブグループのみを正則化することと、をさらに含み、前記ベクトルＡｉの前記サブグループ内のベクトルＡｉの数が、前記選択されたベクトルＡｉの数よりも少ない、請求項１〜１４、１５〜３４、３５〜３７、または４７〜５３のいずれかに記載のコンピュータ実装方法。
  58. 前記ラベルベクトルｙが敵対的ネットワークによって制約または制限されていない場合、前記オートエンコーダが、
    前記潜在空間の前記ラベルベクトルｙを出力する潜在表現層と、
    前記ラベルベクトルｙを操作および分類するために前記ラベルベクトルｙに結合された分類コンポーネントと、をさらに含む、請求項１〜１４、１５〜３４、３５〜３７、または４７〜５７のいずれかに記載のコンピュータ実装方法。
  59. 前記ラベルベクトルｙが、ソフトベクトルである、請求項５８に記載のコンピュータ実装方法。
  60. 前記ラベルベクトルｙが、ワンホット状ベクトルではない、請求項５８または５９に記載のコンピュータ実装方法。
  61. 前記ラベルベクトルｙが、密なソフトベクトルである、請求項５８〜６０のいずれか一項に記載のコンピュータ実装方法。
  62. 前記スタイルベクトルｚが、部分的に正則化されている、請求項１〜１４、１５〜３４、３５〜３７のいずれか一項に記載のコンピュータ実装方法。
  63. 前記スタイルベクトルｚが、完全に正則化されている、請求項１〜１４、１５〜３４、３５〜３７のいずれか一項に記載のコンピュータ実装方法。
  64. 前記ラベルベクトルｙが、ベクトル、テンソルまたはその他を含み、前記ベクトル、テンソルまたはその他が、
    ワンホットベクトルと、
    エントロピーの尺度と、
    Ｌ１ Ｌ２またはその両方に正則化されたものと、
    離散的なボルツマン分布ベクトルと、
    先行クラス状態の表現と、
    既知の機能または構成セットと、の群からの少なくとも１つ以上を含む、請求項１、１５、３５、４７および４８のいずれか１項に記載のコンピュータ実装方法。
  65. 前記スタイルベクトルｚが、ベクトル、テンソルまたはその他を含み、前記ベクトル、テンソルまたはその他が、
    確率分布と、
    Ｌ１ Ｌ２またはその他の基準と、
    迷惑変数と、
    エラー変数と、の群からの少なくとも１つ以上によってペナルティが課されるか、正則化される、請求項１、１５、３５、４７、４８および６４のいずれか一項に記載のコンピュータ実装方法。
JP2020526410A 2017-11-13 2018-11-13 時不変分類 Pending JP2021502650A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1718756.8 2017-11-13
GBGB1718756.8A GB201718756D0 (en) 2017-11-13 2017-11-13 Neural interface
GBGB1719257.6A GB201719257D0 (en) 2017-11-13 2017-11-20 Time invariant classification
GB1719257.6 2017-11-20
PCT/GB2018/053287 WO2019092459A1 (en) 2017-11-13 2018-11-13 Time invariant classification

Publications (2)

Publication Number Publication Date
JP2021502650A true JP2021502650A (ja) 2021-01-28
JP2021502650A5 JP2021502650A5 (ja) 2021-12-23

Family

ID=60788365

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020526410A Pending JP2021502650A (ja) 2017-11-13 2018-11-13 時不変分類

Country Status (8)

Country Link
US (1) US11610132B2 (ja)
EP (1) EP3710997A1 (ja)
JP (1) JP2021502650A (ja)
KR (1) KR20210011361A (ja)
AU (1) AU2018363299A1 (ja)
CA (1) CA3082657A1 (ja)
GB (2) GB201718756D0 (ja)
WO (1) WO2019092459A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494582B2 (en) * 2018-02-08 2022-11-08 Western Digital Technologies, Inc. Configurable neural network engine of tensor arrays and memory cells
US11164073B2 (en) 2018-02-08 2021-11-02 Western Digital Technologies, Inc. Systolic neural network processor with feedback control
CN109858046B (zh) * 2018-02-09 2024-03-08 谷歌有限责任公司 利用辅助损失来学习神经网络中的长期依赖性
US11514313B2 (en) * 2018-09-27 2022-11-29 Google Llc Sampling from a generator neural network using a discriminator neural network
US11783176B2 (en) 2019-03-25 2023-10-10 Western Digital Technologies, Inc. Enhanced storage device memory architecture for machine learning
US10929058B2 (en) 2019-03-25 2021-02-23 Western Digital Technologies, Inc. Enhanced memory device architecture for machine learning
US11442417B2 (en) * 2019-03-29 2022-09-13 Microsoft Technology Licensing, Llc Control system using autoencoder
JP7202260B2 (ja) * 2019-06-07 2023-01-11 株式会社日立製作所 ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法
US11455527B2 (en) * 2019-06-14 2022-09-27 International Business Machines Corporation Classification of sparsely labeled text documents while preserving semantics
EP3792830A1 (en) * 2019-09-10 2021-03-17 Robert Bosch GmbH Training a class-conditional generative adverserial network
US11711310B2 (en) 2019-09-18 2023-07-25 Tweenznet Ltd. System and method for determining a network performance property in at least one network
KR20210039598A (ko) * 2019-10-02 2021-04-12 삼성전자주식회사 응답 추론 방법 및 장치
US11716338B2 (en) * 2019-11-26 2023-08-01 Tweenznet Ltd. System and method for determining a file-access pattern and detecting ransomware attacks in at least one computer network
US11410083B2 (en) * 2020-01-07 2022-08-09 International Business Machines Corporation Determining operating range of hyperparameters
WO2022028687A1 (en) * 2020-08-05 2022-02-10 Nokia Solutions And Networks Oy Latent variable decorrelation
CN112697268B (zh) * 2020-12-04 2022-06-24 佳木斯电机股份有限公司 一种基于t-sne的电机异常检测集成算法
CN112991171B (zh) * 2021-03-08 2023-07-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
GB202106969D0 (en) * 2021-05-14 2021-06-30 Samsung Electronics Co Ltd Method and apparatus for improving model efficiency
CN113361971B (zh) * 2021-07-13 2023-04-07 浙江菲达环保科技股份有限公司 石膏脱水脱硫废水联控方法及系统
CN113890109B (zh) * 2021-09-05 2023-08-25 三峡大学 具有时间空间相关性的多风电场功率日场景生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094899A1 (en) * 2015-12-02 2017-06-08 Preferred Networks, Inc. Generative machine learning systems for drug design
WO2017094267A1 (ja) * 2015-12-01 2017-06-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
US20170213000A1 (en) * 2016-01-25 2017-07-27 Shenzhen University Metabolic mass spectrometry screening method for diseases based on deep learning and the system thereof

Family Cites Families (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2868343A1 (en) 2013-10-31 2015-05-06 Ecole Polytechnique Federale De Lausanne (EPFL) EPFL-TTO System to deliver adaptive electrical spinal cord stimulation to facilitate and restore locomotion after a neuromotor impairment
JP6390239B2 (ja) * 2014-07-25 2018-09-19 富士ゼロックス株式会社 情報処理装置、及びプログラム
CN107205641A (zh) 2014-08-29 2017-09-26 因赛飞公司 用于增强神经功能的方法和装置
WO2016154298A1 (en) 2015-03-23 2016-09-29 Temple University-Of The Commonwealth System Of Higher Education System and method for automatic interpretation of eeg signals using a deep learning statistical model
CN105550744A (zh) * 2015-12-06 2016-05-04 北京工业大学 一种基于迭代的神经网络聚类方法
RU2625053C1 (ru) * 2016-07-29 2017-07-11 Акционерное общество "Лаборатория Касперского" Устранение ложных срабатываний антивирусных записей
US10624558B2 (en) * 2017-08-10 2020-04-21 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US10679129B2 (en) * 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
DE102017218476A1 (de) * 2017-10-16 2019-04-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln von Emissionen
US11250329B2 (en) * 2017-10-26 2022-02-15 Nvidia Corporation Progressive modification of generative adversarial neural networks
US11468262B2 (en) * 2017-10-30 2022-10-11 Nec Corporation Deep network embedding with adversarial regularization
US20210342570A1 (en) * 2017-11-27 2021-11-04 Deciphex Automated clustering of anomalous histopathology tissue samples
WO2019102042A1 (en) * 2017-11-27 2019-05-31 Deciphex Automated screening of histopathology tissue samples via classifier performance metrics
US10803347B2 (en) * 2017-12-01 2020-10-13 The University Of Chicago Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture
EP3788512A4 (en) * 2017-12-30 2022-03-09 Target Brands, Inc. HIERARCHICAL, PARALLEL MODELS FOR REAL-TIME EXTRACTING HIGH VALUE INFORMATION FROM DATA STREAMS AND THE ASSOCIATED CREATION SYSTEM AND METHOD
CA3091480A1 (en) * 2018-02-17 2019-08-22 Regeneron Pharmaceuticals, Inc. Gan-cnn for mhc peptide binding prediction
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
GB201805293D0 (en) * 2018-03-29 2018-05-16 Benevolentai Tech Limited Attention filtering for multiple instance learning
US10650245B2 (en) * 2018-06-08 2020-05-12 Adobe Inc. Generating digital video summaries utilizing aesthetics, relevancy, and generative neural networks
US20210117733A1 (en) * 2018-06-29 2021-04-22 Nec Corporation Pattern recognition apparatus, pattern recognition method, and computer-readable recording medium
JP7047664B2 (ja) * 2018-08-23 2022-04-05 日本電信電話株式会社 学習装置、学習方法および予測システム
US20210350179A1 (en) * 2018-10-05 2021-11-11 Imperial College Of Science, Technology And Medicine Method for detecting adverse cardiac events
US11398297B2 (en) * 2018-10-11 2022-07-26 Chun-Chieh Chang Systems and methods for using machine learning and DNA sequencing to extract latent information for DNA, RNA and protein sequences
US11544530B2 (en) * 2018-10-29 2023-01-03 Nec Corporation Self-attentive attributed network embedding
US11423282B2 (en) * 2018-10-30 2022-08-23 Huawei Technologies Co., Ltd. Autoencoder-based generative adversarial networks for text generation
US10854109B2 (en) * 2018-10-31 2020-12-01 Sony Interactive Entertainment Inc. Color accommodation for on-demand accessibility
US11610435B2 (en) * 2018-11-14 2023-03-21 Nvidia Corporation Generative adversarial neural network assisted video compression and broadcast
US20200160176A1 (en) * 2018-11-16 2020-05-21 Royal Bank Of Canada System and method for generative model for stochastic point processes
US11664108B2 (en) * 2018-11-29 2023-05-30 January, Inc. Systems, methods, and devices for biophysical modeling and response prediction
US11178170B2 (en) * 2018-12-14 2021-11-16 Ca, Inc. Systems and methods for detecting anomalous behavior within computing sessions
US11449537B2 (en) * 2018-12-18 2022-09-20 Adobe Inc. Detecting affective characteristics of text with gated convolutional encoder-decoder framework
EP3674983A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Machine-learning for 3d modeled object inference
EP4383689A2 (en) * 2019-02-22 2024-06-12 Shubharanjan Dasgupta Automated closed-loop actions in a network using a distributed ledger
US11715016B2 (en) * 2019-03-15 2023-08-01 International Business Machines Corporation Adversarial input generation using variational autoencoder
CN113892020A (zh) * 2019-05-27 2022-01-04 昭和电工株式会社 图像分析装置、方法、以及程序
US20220237905A1 (en) * 2019-05-28 2022-07-28 Toyota Motor Europe Method and system for training a model for image generation
EP3748544A1 (en) * 2019-06-03 2020-12-09 IMRA Europe S.A.S. Mixture distribution estimation for future prediction
US11514691B2 (en) * 2019-06-12 2022-11-29 International Business Machines Corporation Generating training sets to train machine learning models
GB201908530D0 (en) * 2019-06-13 2019-07-31 Microsoft Technology Licensing Llc Robutness against manipulations n machine learning
EP3751467A1 (en) * 2019-06-14 2020-12-16 Robert Bosch GmbH A machine learning system
US20210019541A1 (en) * 2019-07-18 2021-01-21 Qualcomm Incorporated Technologies for transferring visual attributes to images
US11443137B2 (en) * 2019-07-31 2022-09-13 Rohde & Schwarz Gmbh & Co. Kg Method and apparatus for detecting signal features
US11321066B2 (en) * 2019-08-12 2022-05-03 Nec Corporation Securing software installation through deep graph learning
US10803646B1 (en) * 2019-08-19 2020-10-13 Neon Evolution Inc. Methods and systems for image and voice processing
US10658005B1 (en) * 2019-08-19 2020-05-19 Neon Evolution Inc. Methods and systems for image and voice processing
US20220327389A1 (en) * 2019-09-04 2022-10-13 Georgia Tech Research Corporation Detecting and Classifying Anomalies in Artificial Intelligence Systems
US10957026B1 (en) * 2019-09-09 2021-03-23 Adobe Inc. Learning from estimated high-dynamic range all weather lighting parameters
EP3798916A1 (en) * 2019-09-24 2021-03-31 Another Brain Transformation of data samples to normal data
US11783518B2 (en) * 2019-09-30 2023-10-10 Lawrence Livermore National Security, Llc Few-view computed tomography reconstruction using deep neural network inference
US11537898B2 (en) * 2019-10-02 2022-12-27 Samsung Electronics Co., Ltd. Generative structure-property inverse computational co-design of materials
US11537881B2 (en) * 2019-10-21 2022-12-27 The Boeing Company Machine learning model development
US11157772B2 (en) * 2019-10-28 2021-10-26 Element Ai Inc. System and method for generating adversarial examples
US11657290B2 (en) * 2019-10-28 2023-05-23 Robert Bosch Gmbh System and method with a robust deep generative model
WO2021097426A1 (en) * 2019-11-15 2021-05-20 Brain Corporation Systems and methods for training neural networks on a cloud server using sensory data collected by robots
US11710046B2 (en) * 2019-11-29 2023-07-25 42Maru Inc. Method and apparatus for generating Q and A model by using adversarial learning
EP4092555A4 (en) * 2020-01-17 2023-01-11 Fujitsu Limited CONTROL METHOD, INFORMATION PROCESSING DEVICE AND CONTROL PROGRAM
US11748629B2 (en) * 2020-01-21 2023-09-05 Moxa Inc. Device and method of handling anomaly detection
US11354792B2 (en) * 2020-02-07 2022-06-07 Adobe Inc. System and methods for modeling creation workflows
US11776180B2 (en) * 2020-02-26 2023-10-03 Adobe Inc. Controlled style-content image generation based on disentangling content and style
US11704804B2 (en) * 2020-04-02 2023-07-18 GE Precision Healthcare LLC Domain adaptation using post-processing model correction
US11301724B2 (en) * 2020-04-30 2022-04-12 Robert Bosch Gmbh Semantic adversarial generation based function testing method in autonomous driving
GB202006809D0 (en) * 2020-05-07 2020-06-24 Microsoft Technology Licensing Llc Variational auto encoder for mixed data types
US11210275B2 (en) * 2020-05-13 2021-12-28 Sap Se Synthetic workload generation for workload classification
US20210358164A1 (en) * 2020-05-15 2021-11-18 Nvidia Corporation Content-aware style encoding using neural networks
US20210374525A1 (en) * 2020-05-28 2021-12-02 International Business Machines Corporation Method and system for processing data records
JP2022003451A (ja) * 2020-06-23 2022-01-11 富士通株式会社 最適解獲得プログラム、最適解獲得方法および情報処理装置
US11663486B2 (en) * 2020-06-23 2023-05-30 International Business Machines Corporation Intelligent learning system with noisy label data
US11735197B2 (en) * 2020-07-07 2023-08-22 Google Llc Machine-learned differentiable digital signal processing
US20220012568A1 (en) * 2020-07-07 2022-01-13 Nvidia Corporation Image generation using one or more neural networks
US11475332B2 (en) * 2020-07-12 2022-10-18 International Business Machines Corporation Selecting forecasting models by machine learning based on analysis of model robustness
US20220028180A1 (en) * 2020-07-27 2022-01-27 Raytheon Company Shape-based vehicle classification using laser scan and neural network
US20220076135A1 (en) * 2020-09-08 2022-03-10 Nec Laboratories America, Inc. Meta-learning system and method for disentangled domain representation learning
US10930066B1 (en) * 2020-09-11 2021-02-23 Mythical, Inc. Systems and methods for using natural language processing (NLP) to automatically generate three-dimensional objects in a virtual space
KR20220038907A (ko) * 2020-09-21 2022-03-29 삼성에스디에스 주식회사 생성적 대립 신경망(gan) 기반의 데이터 예측 방법, 그리고 이를 구현하기 위한 장치
US20220101122A1 (en) * 2020-09-25 2022-03-31 Nvidia Corporation Energy-based variational autoencoders
US20220108183A1 (en) * 2020-10-01 2022-04-07 Salesforce.Com, Inc. Momentum contrastive autoencoder
CA3194695A1 (en) * 2020-10-01 2022-04-07 Thomas KEHLER Probabilistic graphical networks
US11670072B2 (en) * 2020-10-02 2023-06-06 Servicenow Canada Inc. Systems and computer-implemented methods for identifying anomalies in an object and training methods therefor
US20220108434A1 (en) * 2020-10-07 2022-04-07 National Technology & Engineering Solutions Of Sandia, Llc Deep learning for defect detection in high-reliability components
US20220129712A1 (en) * 2020-10-27 2022-04-28 Raytheon Company Deep neural network hardener
US20220129758A1 (en) * 2020-10-27 2022-04-28 Raytheon Company Clustering autoencoder
US11631156B2 (en) * 2020-11-03 2023-04-18 Adobe Inc. Image generation and editing with latent transformation detection
US20220148188A1 (en) * 2020-11-06 2022-05-12 Tasty Tech Ltd. System and method for automated simulation of teeth transformation
US11948083B2 (en) * 2020-11-16 2024-04-02 UMNAI Limited Method for an explainable autoencoder and an explainable generative adversarial network
US11544281B2 (en) * 2020-11-20 2023-01-03 Adobe Inc. Query-oriented approximate query processing based on machine learning techniques
KR102429411B1 (ko) * 2020-11-24 2022-08-04 주식회사 유비무환 영유아의 영양 및 소화흡수 상태 모니터링에 의한 맞춤형 hmr 이유식 제공방법 및 제공시스템
EP4244854A1 (en) * 2020-12-11 2023-09-20 Google LLC Unsupervised learning of disentangled speech content and style representation
US11568961B2 (en) * 2020-12-16 2023-01-31 Ro5 Inc. System and method for accelerating FEP methods using a 3D-restricted variational autoencoder
US20220198286A1 (en) * 2020-12-16 2022-06-23 Ro5 Inc. System and method for molecular reconstruction from molecular probability distributions
EP4027300B1 (en) * 2021-01-12 2023-12-27 Fujitsu Limited Apparatus, program, and method for anomaly detection and classification
DE102021200789A1 (de) * 2021-01-28 2022-07-28 Robert Bosch Gesellschaft mit beschränkter Haftung Computer-implementiertes Verfahren und Vorrichtung zur Manipulationserkennung für Abgasnachbehandlungssysteme mithilfe Verfahren künstlicher Intelligenz
US11694018B2 (en) * 2021-01-29 2023-07-04 Salesforce, Inc. Machine-learning based generation of text style variations for digital content items
US20220253639A1 (en) * 2021-02-01 2022-08-11 Inception Institute of Artificial Intelligence Ltd Complementary learning for multi-modal saliency detection
US20220254152A1 (en) * 2021-02-08 2022-08-11 Nec Laboratories America, Inc. Learning orthogonal factorization in gan latent space
US20220269937A1 (en) * 2021-02-24 2022-08-25 Nvidia Corporation Generating frames for neural simulation using one or more neural networks
US11763135B2 (en) * 2021-03-01 2023-09-19 Robert Bosch Gmbh Concept-based adversarial generation method with steerable and diverse semantics
US20220309292A1 (en) * 2021-03-12 2022-09-29 International Business Machines Corporation Growing labels from semi-supervised learning
EP4057292A1 (en) * 2021-03-12 2022-09-14 Siemens Healthcare GmbH On-site training of a machine-learning algorithm for generating synthetic imaging data
US20220308242A1 (en) * 2021-03-25 2022-09-29 Rensselaer Polytechnic Institute X-ray photon-counting data correction through deep learning
US20210319240A1 (en) * 2021-06-23 2021-10-14 Intel Corporation Generator exploitation for deepfake detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094267A1 (ja) * 2015-12-01 2017-06-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
WO2017094899A1 (en) * 2015-12-02 2017-06-08 Preferred Networks, Inc. Generative machine learning systems for drug design
US20170213000A1 (en) * 2016-01-25 2017-07-27 Shenzhen University Metabolic mass spectrometry screening method for diseases based on deep learning and the system thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
三好 康祐: "SCAN", 全脳アーキテクチャ開発部オフ会[ONLINE], JPN6022055770, 9 November 2017 (2017-11-09), ISSN: 0004959453 *
立花 亮介 ほか: "深層学習における敵対的ネットワークによるラベル推定と半教師あり学習", 人工知能学会全国大会（第30回）論文集, JPN6022055769, 6 June 2016 (2016-06-06), pages 1 - 4, ISSN: 0004959452 *

Also Published As

Publication number Publication date
WO2019092459A1 (en) 2019-05-16
KR20210011361A (ko) 2021-02-01
EP3710997A1 (en) 2020-09-23
CA3082657A1 (en) 2019-05-16
US11610132B2 (en) 2023-03-21
US20200387798A1 (en) 2020-12-10
GB201719257D0 (en) 2018-01-03
GB201718756D0 (en) 2017-12-27
AU2018363299A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
JP2021502650A (ja) 時不変分類
CN110020623B (zh) 基于条件变分自编码器的人体活动识别系统及方法
Heo et al. Uncertainty-aware attention for reliable interpretation and prediction
Burrello et al. Hyperdimensional computing with local binary patterns: One-shot learning of seizure onset and identification of ictogenic brain regions using short-time iEEG recordings
Livezey et al. Deep learning as a tool for neural data analysis: speech classification and cross-frequency coupling in human sensorimotor cortex
CN113627518A (zh) 利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法
US20190005384A1 (en) Topology aware graph neural nets
KR101779800B1 (ko) 기계학습 기반 다면적 성장 평가 방법 및 시스템
Shen et al. Multivariate time series forecasting based on elastic net and high-order fuzzy cognitive maps: a case study on human action prediction through EEG signals
Zhang et al. Multivariate time series missing data imputation using recurrent denoising autoencoder
Kachuee et al. Dynamic feature acquisition using denoising autoencoders
KR102198302B1 (ko) 성장 예측 방법 및 그 장치
Dong et al. Subject sensitive EEG discrimination with fast reconstructable CNN driven by reinforcement learning: A case study of ASD evaluation
US20220180512A1 (en) Method for predicting disease based on medical image
Hartvigsen et al. Recurrent halting chain for early multi-label classification
McKearney et al. Auditory brainstem response detection using machine learning: a comparison with statistical detection methods
Nafiz et al. Automated Detection of COVID-19 Cough Sound using Mel-Spectrogram Images and Convolutional Neural Network
KR20220107940A (ko) 의료 영상의 병변 평가 방법
Redhya et al. Refining PD classification through ensemble bionic machine learning architecture with adaptive threshold based image denoising
CN116469148A (zh) 一种基于面部结构识别的概率预测系统及预测方法
CN114224354B (zh) 心律失常分类方法、装置及可读存储介质
Pandian et al. Effect of data preprocessing in the detection of epilepsy using machine learning techniques
Al-Shedivat et al. Personalized survival prediction with contextual explanation networks
Francis et al. Deep learning and pattern-based methodology for multivariable sensor data regression
Zeng et al. Use of Deep Learning for Continuous Prediction of Mortality for All Admissions in Intensive Care Units

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230410

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230912