JP2021170330A - システムのローカルフィールド行列の更新 - Google Patents

システムのローカルフィールド行列の更新 Download PDF

Info

Publication number
JP2021170330A
JP2021170330A JP2021064945A JP2021064945A JP2021170330A JP 2021170330 A JP2021170330 A JP 2021170330A JP 2021064945 A JP2021064945 A JP 2021064945A JP 2021064945 A JP2021064945 A JP 2021064945A JP 2021170330 A JP2021170330 A JP 2021170330A
Authority
JP
Japan
Prior art keywords
matrix
variables
local field
optimization problem
updating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021064945A
Other languages
English (en)
Inventor
バーゲルベイク・ムハマド
Bagherbeik Mohammad
シェイコレスラミ・アリ
Sheikholeslami Ali
泰孝 田村
Yasutaka Tamura
浩一 神田
Koichi Kanda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2021170330A publication Critical patent/JP2021170330A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Operations Research (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

【課題】多項式時間において最適化問題を解くためのアルゴリズムを提供する。【解決手段】方法は、システムに関連付けられた最適化問題に関連する第１行列を取得するステップと、最適化問題に関連付けられた第２行列を取得するステップと、変数それぞれの重みにより影響される前記システムの変数同士の相互作用を示すローカルフィールド行列を取得するステップと、最適化問題を解く間のシステムの１つ以上の変数の状態変化に応答して、ローカルフィールド行列を更新するステップと、更新されたローカルフィールド行列に基づきシステムのエネルギ値を更新するステップと、エネルギ値に基づき最適化問題の解を決定するステップと、を含む。【選択図】図３

Description

本願明細書で議論される実施形態は、システムのローカルフィールド行列の更新に関する。
組合せ最適化問題は、しばしば、ＮＰ困難（NP-hard）又はＮＰ完全（NP-complete）問題のようなＮＰ問題（非決定性多項式時間問題、Nondeterministic Polynomial time Problems）として分類される。多項式時間においてこのような問題を解くための既知のアルゴリズムは存在しない。このような組合せ最適化問題は、レイアウト設計のビアの数の最小化、株式投資からの利益の最大化、航空機路線の経路決定、及び無線センサネットワーク、のような多数のアプリケーションにおいて現れ得る。
本願明細書で請求される主題は、任意の欠点を解決する実施形態又は上述のような環境でのみ動作する実施形態に限定されない。むしろ、この背景技術は、本願明細書に記載の幾つかの実施形態が実施され得る一例である技術領域を説明するためにのみ提供される。
一実施形態の一態様によると、動作は、システムに関連付けられた最適化問題に関連する第１行列を取得するステップと、前記最適化問題に関連付けられた第２行列を取得するステップと、を含んでよい。前記第１行列及び前記第２行列は、前記システムのそれぞれの変数に与えられる対応する重みに関連してよい。ここで、前記対応する重みは、前記それぞれの変数と１つ以上の他の変数との間の関係に関連してよい。当該動作は、変数それぞれの重みにより影響される前記システムの変数同士の相互作用を示すローカルフィールド行列を取得するステップを含んでよい。前記相互作用は、前記最適化問題を解く間の、前記変数の状態の変化に関連してよい。前記最適化問題を解く間の前記システムの１つ以上の変数の状態変化に応答して、前記動作は、前記ローカルフィールド行列を更新するステップを含んでよい。前記ローカルフィールド行列を更新するステップは、前記１つ以上の変数に対応する前記ローカルフィールド行列の第３部分に対応する、前記第１行列の第１部分及び前記第２行列の第２部分に関して、１つ以上の算術演算を実行するステップを含んでよい。当該動作は、前記更新されたローカルフィールド行列に基づき前記システムのエネルギ値を更新するステップと、前記エネルギ値に基づき前記最適化問題の解を決定するステップと、を含んでよい。
実施形態の目的及び利点は、請求項において特に指摘される要素、特徴、及び組み合わせにより少なくとも実現され達成される。
前述の一般的説明及び以下の詳細な説明は両方とも例として与えられ、説明のためであり、請求される本発明の限定ではない。
例示的な実施形態は、以下の添付の図面の使用を通じて更なる特殊性及び詳細事項により記載され説明される。
最適化問題を解くよう構成される例示的な環境を表す図である。
ローカルフィールド行列の更新に関連する例示的な技術を示す。
ローカルフィールド行列の更新に関連する他の例示的な技術を示す。
ローカルフィールド行列の更新に関連する他の例示的な技術を示す。
ローカルフィールド行列の更新に関連する他の例示的な技術を示す。
ローカルフィールド行列の更新に関連する他の例示的な技術を示す。
レプリカ交換処理を実行するよう構成される例示的なコンピューティングシステムのブロック図を示す。
最適化問題を解く例示的な方法のフローチャートを示す。
組合せ最適化問題は、システムのエネルギ又はコスト関数の最大又は最小値を決定するために使用される、あるクラスの最適化問題を含んでよい。例えば、組合せ最適化問題は、特に、回路レイアウト設計のビアの数を最小化するため、株式利益を最大化するため、航空路線の経路決定及びスケジューリングを最適化するため、無線センサネットワークの構成のため、に使用されてよい。
幾つかの例では、最適化問題を解くために、イジングモデル（Ising Model）が使用されてよい。特に、イジングモデルのイジングエネルギ（「energy」）は、特定の最適化問題に対応する特定のシステムの状態空間全体の表現であってよい。エネルギの最小値を決定する最小化技術、又はエネルギの最大値を決定する最大化技術が、最適化問題を解くために使用されてよい。例えば、決定された最小又は最大エネルギに対応する特定のシステムの状態は、特定の最適化問題の解として使用されてよい。最小エネルギ又は最大エネルギを決定することの言及は、システムの絶対最小エネルギ又は絶対最大エネルギを決定することに限定されない。むしろ、最小エネルギ又は最大エネルギを決定することの言及は、システムのエネルギに関して最小化又は最大化動作を実行することを含んでよく、このような動作の出力が、対応する最適化問題の解として使用される。
後述するように、特定のシステムの変数の状態が変化するときの、特定のシステムのエネルギの変化量を示すために、ローカルフィールド行列が使用されてよい。ローカルフィールド行列は、変数のうちの１つ以上の状態の変化に関して変数それぞれの重みにより影響されるような、特定のシステムの変数同士の相互作用に基づく値を含む。後に詳細に議論されるように、本開示の１つ以上の実施形態によると、特定の技術は、メモリ要件及び／又は処理要件を低減する方法で、対応する最適化問題を解く間に、ローカルフィールド行列及び／又はシステムのエネルギを決定し更新するために使用されてよい。例えば、上述のように、ローカルフィールド行列は、特定のシステムの変数に対応する重みに基づいてよい。更に、エネルギは、重みに基づいてよい。以下に詳細に説明するように、ローカルフィールド行列及び／又はエネルギは、最適化問題を解く間に関連する重みの値を決定することにより、最適化問題を解く間に更新されてよい。重みの決定は、従って、重みの値を含む重み行列を保存して、次にローカルフィールド行列及び／又はエネルギの更新のために重みにアクセスするのではなく、適切にリアルタイムに行われてよい。
重み行列は非常に大きな行列であり得るので、重み行列の記憶を回避する能力は、大幅なメモリの節約を提供し得る。代わりに、後述するように、非常に小さな行列は格納されてよく、それらの対応する値は、重み値を決定するために使用されてよい。このように、最適化問題を解く際に使用されるメモリ量が削減され得る。追加又は代替として、幾つかの実施形態では、低減される記憶要件は、記憶の全部を単一の処理チップ上で（例えば、チップのキャッシュを介して）実行可能にし得る。これは、オフチップに格納され得るメモリへの呼び出しを削減し又は回避することにより、最適化問題を解く処理速度を向上し得る。従って、最適化問題を解く際に使用されるコンピューティングシステムは、最適化問題を解くことに関する該システムのメモリ要件を低減することにより、向上され得る。
本開示の実施形態は、添付の図面を参照して説明される。
図１Ａは、本開示に記載される少なくとも１つの実施形態に従い構成される、最適化問題を解くよう構成される例示的な環境１００を示す図である。環境１００は、システム１０６のシステム更新１０４を更新し及び出力するよう構成されるエネルギ決定エンジン１０２（エネルギエンジン１０２）を含んでよい。これら又は他の実施形態では、環境１００は、システム更新１０４に基づきローカルフィールド行列１１０（ＬＦＭ（local field matrix）１１０）を更新するよう構成されるローカルフィールド行列エンジン１０８（ＬＦＭエンジン１０４）を含んでよい。
システム１０６は、解かれ得る最適化問題の任意の適切な表現を含んでよい。例えば、幾つかの実施形態では、システム１０６は、変数のセットを含み得る状態ベクトルＸを含んでよく、該変数は、それぞれ、最適化問題に関連する特性を表してよい。状態ベクトルＸは、従って、システム１０６の異なる状態を表してよい。例えば、第１状態ベクトルＸ１は、変数の各々が第１値を有し、システム１０６の第１状態を表してよい。第２状態ベクトルＸ２は、変数の各々が第２値を有し、システム１０６の第２状態を表してよいこれら又は他の実施形態では、状態ベクトルＸ１とＸ２との間の差は、異なる値を有するＸ１及びＸ２の両者の中の１つの対応する変数のみから、異なる値を有するＸ１及びＸ２の中のあらゆる変数へ、のどこであってもよい。
例として、システム１０６は、任意の適切な数のノード（「ニューロン」とも呼ばれる）を含んでよいニューラルネットワークであってよい。これら又は他の実施形態では、システム１０６の状態ベクトルＸは、ニューラルネットワークのニューロンの各々の状態を表してよい。例えば、各ニューロンは、「０」又は「１」の値を有し得るビットであってよく、状態ベクトルＸは、ニューラルネットワークの各ニューロンについて「１」値又は「０」値を有してよい。これら又は他の実施形態では、ニューラルネットワークは、任意の適切な方法で、１つ以上の異なる種類の最適化問題を解くよう構成されてよい。
幾つかの実施形態では、システム１０６のニューラルネットワークは、ボルツマンマシン（Boltzmann machine）として構成されてよい。これら又は他の実施形態では、ボルツマンマシンは、ボルツマンマシンのニューロンがクラスタにグループ化され得るクラスタ型ボルツマンマシン（clustered Boltzmann machine (CBM)）として構成されてよい。クラスタは、同じクラスタ内にニューロン間の接続が存在しないように（例えば、１つのクラスタのニューロン間の重みは「０」であってよい）、形成されてよい。これら又は他の実施形態では、ＣＢＭは、任意の所与のクラスタの中の「ｎ」個のニューロンがアクティブである（例えば「１」の値を有する）ａｔ−ｍｏｓｔ−ｎ制約を有するよう構成されてよい。例えば、ＣＢＭは、常にクラスタ内のニューロンのうちの正確に１個がアクティブであり、該クラスタ内の残りのニューロンがインアクティブ（「０」のビット値を有する）でなければならない、ｅｘａｃｔｌｙ−１（ワンホット符号化（１-hot encoding））制約を有してよい。使用され得る例示的なクラスタ化は、状態行列Ｘの行及び列に関する行クラスタ化及び／又は列クラスタ化である。これら又は他の実施形態では、クラスタはクロスクラスタ（cross cluster）を形成するよう結合されてよい。例えば、行クラスタは、列クラスタと結合されて、クロスクラスタを形成してよい。ｅｘａｃｔｌｙ−１制約を有するこのようなクロスクラスタ構成は、状態行列Ｘの各行及び各列の中で１つのニューロンだけがアクティブであるよう、状態行列Ｘを制約してよい。
幾つかの実施形態では、状態行列Ｘは、クラスタ化を用いてサイズを削減されてよい。例えば、ｅｘａｃｔｌｙ−１制約を有する所与のクラスタ（特定の行）では、１つのニューロンだけがアクティブであってよく、従ってクラスタの全てのニューロンの状態を示す値を各応するのではなく、代わりに、クラスタ内のどのニューロンがアクティブであるかを示す単一のインデックス値が格納されてよい。このような例では、状態行列Ｘは、状態ベクトルＸにより表されてよい。
追加又は代替として、システム１０６は、システム１０６に対応する最適化問題のイジングエネルギを表すために最適化問題にマッピングされるイジングモデルを含んでよい。例えば、２値状態を有する変数を有するシステムのイジングエネルギは、次式（１）により表されてよい。
Figure 2021170330
 上式（１）、ｘｉは、対応する状態行列Ｘを表す状態ベクトルＸのｉ番目の変数であり、０又は１であり得る。ｘｊは、状態ベクトルＸのｊ番目の変数であり、０又は１であり得る。ｗｉｊは、Ｘのｉ番目の変数とｊ番目の変数の間の接続（connection）である。ｂｉは、ｉ番目の要素に関連付けられたバイアス（bias）である。
エネルギエンジン１０２は、コンピューティングシステムが一緒に記載される動作のうちの１つ以上を実行できるようにするよう構成されるコード及びルーチンを含んでよい。追加又は代替として、エネルギエンジン１０２は、任意の数のプロセッサ、（例えば、１つ以上の動作を実行する又は実行を制御する）マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、又はＡＳＩＣ（application-specific integrated circuit）、又はそれらのうちの２つ以上の任意の適切な組合せを含むハードウェアを用いて実装されてよい。
代替として又は累加で、エネルギエンジン１０２は、ハードウェア及びソフトウェアの組み合わせを用いて実装されてよい。本開示では、エネルギエンジン１０２により実行されるとして記載される動作は、エネルギエンジン１０２が対応するシステムに実行するよう指示し得る動作を含んでよい。
幾つかの実施形態では、エネルギエンジン１０２は、状態ベクトルＸの１つ以上の変数に対して提案される変化をランダムに（例えば、確率的処理により）生成するよう構成されてよい。例えば、幾つかの実施形態では、ｅｘａｃｔｌｙ−１制約を有するＣＢＭでは、提案される変化は、非アクティブなニューロンをアクティブになるよう変化すること、及びその結果、アクティブなニューロンを非アクティブに変化すること、を含んでよい。従って、２つの変化（例えば、ビットフリップ）は、任意の所与のクラスタに関して生じてよい。追加又は代替として、結合された行クラスタ及び結合された列クラスタ構成のような、ｅｘａｃｔｌｙ−１制約を有するクロスクラスタ構成では、特定の行の中のニューロンの状態を変化することが、変化したニューロンの属する列にも影響するので、提案される変化は、４ビットフリップを含んでよい。
幾つかの実施形態では、特定のクラスタについて特定の変化を受け入れるかどうかに関する決定は、任意の適切な確率関数に基づいてよい。これら又は他の実施形態では、確率関数は、特定の変化により引き起こされ得るシステムエネルギの変化に基づいてよい。幾つかの実施形態では、システムエネルギの変化は、ＬＦＭ１１０を用いて決定されてよい。
ＬＦＭ１１０は、変数の状態の変化に関する変数それぞれの重みにより影響されるとき、システム１０６の変数同士の相互作用を示してよい。例えば、ＬＦＭ１１０のシステム１０６の変数の値は、式（２）で以下のように表される。
Figure 2021170330
式（２）で、ｈｉ（ｘ）は、ローカルフィールド行列Ｈのｉ番目の変数のローカルフィールド値であり、ローカルフィールド行列Ｈのｉ番目の変数は、対応する状態行列Ｘのｉ番目の変数に対応する。ｘｊは、状態ベクトルＸのｊ番目の変数であり、０又は１であり得る。ｗｉｊは、Ｘのｉ番目の変数とｊ番目の変数との間の接続重みである。ｂｉは、ｉ番目に関連付けられたバイアスである。
上述のように、幾つかの実施形態では、提案された変化に関するシステムエネルギの変化は、ＬＦＭ１１０に基づいてよい。例えば、（例えば、ＣＢＭの行クラスタについて）非クロスクラスタ化ＣＢＭのシステムエネルギの変化は、式（３）で以下のように決定されてよい。
Figure 2021170330
式（３）で、ｋは、対応する状態ベクトルＸＲＣによりインデックス付けされるとき、状態行列Ｘの所与の行を表す。ｈｋ，ｊ及びｈｋ，ｉは、提案される変化に含まれるニューロンに対応する。式（３）で、ｈｋ，ｊは、ｘｋ，ｊをアクティブにし及びｘｋ，ｉを非アクティブにし得る提案されるスワップの前に非アクティブであるニューロンｘｋ，ｊに対応するローカルフィールド行列値であり、ｈｋ，ｉは、アクティブであるニューロンｘｋ，ｉに対応するローカルフィールド行列値である。
別の例では、（例えば、行／列クロスクラスタ化ＣＢＭについて）クロスクラスタ化ＣＢＭのシステムエネルギの変化は、式（４）で以下のように決定されてよい。
Figure 2021170330
式（４）で、ｋ及びｋ’は、対応する状態ベクトルＸＸＣによりインデックス付けされるとき、状態行列Ｘの行を表す。ｌ及びｌ’は、それぞれ、状態ベクトルＸＸＣの中の行ｋ及びｋ’の中のアクティブなニューロンのインデックスを表す。ｈｋ，ｌ、ｈｋ’，ｌ’、ｈｋ，ｌ’、及びｈｋ’，ｌは、上述と同様の提案される変化に含まれるニューロンに対応する。ｗｋ，ｌ，ｋ’，ｌ’及びｗｋ，ｌ’，ｋ’，ｌは、提案される変化に関する問題のニューロンに対応し得る重みに対応する。以下に更に詳細に説明するように、幾つかの実施形態では、エネルギエンジン１０２は、式（４）の中のｗｋ，ｌ，ｋ’，ｌ’及びｗｋ，ｌ’，ｋ’，ｌの値を、第１行列１１２及び第２行列１１４に基づき、例えば後述する式（１３）及び（１４）のうちの１つ以上を用いて決定するよう構成されてよい。
上述のように、１つ以上の変数に対する提案される変化を受け入れるかどうかの確率は、提案される変化に応答して生じ得るシステムエネルギの変化に基づいてよい。例えば、エネルギの変化が上述の式（３）に基づき決定される（例えば、ＣＢＭの行クラスタについて）非クロスクラスタ化ＣＢＭのシステムの提案される変化の受け入れ確率は、式（５）で以下のように決定されてよい。
Figure 2021170330
式（５）で、ΔＥＲＣ（ＸＲＣ，ｋ）は、式（３）から決定されたエネルギ変化であってよく、ｔは、変化を行うか否かに影響を与えるために使用され得るスケーリング係数であってよい。例えば、ｔは、レプリカ交換（「並列焼き戻し（パラレルテンパリング、parallel tempering）」とも呼ばれる）のようなシミュレートされた又はデジタル焼きなまし（アニーリング）処理を実行するときのスケーリング係数として使用される「温度（temperature）」であってよい。
別の例では、エネルギの変化が上述の式（４）に基づき決定される（例えば、ＣＢＭの行／列クロスクラスタについて）クロスクラスタ化ＣＢＭのシステムの提案される変化の受け入れ確率は、式（６）で以下のように決定されてよい。
Figure 2021170330
式（６）で、ΔＥＲＣ（ＸＸＣ，ｋ，ｋ’）は、式（４）から決定されたエネルギ変化であってよく、ｔは、式（５）に関して上述したようなスケーリング係数であってよい。
エネルギエンジン１０２は、システム更新１０４を出力してよい。システム更新１０４は、１つ以上の提案される変化を受け入れることに応答して生じ得るシステム１０６に対する更新を含んでよい。
幾つかの実施形態では、エネルギエンジン１０２は、焼きなましシステム（例えば、デジタル焼きなましシステム又は量子焼きなましシステム）に含まれ又はその部分であってよい。これら又は他の実施形態では、エネルギエンジン１０２は、システム１０６に関してマルコフチェーンモンテカルロ（Markov Chain Monte Carlo (MCMC)）処理を実行するよう構成されてよい。例えば、エネルギエンジン１０２は、システム１０６のエネルギを最小化し得る状態ベクトルＸｍｉｎを発見するためにレプリカ交換を実行するよう構成されてよい。別の例では、エネルギエンジン１０２は、システム１０６のエネルギを最大化し得る状態ベクトルＸｍａｘを発見するためにレプリカ交換を実行するよう構成されてよい。レプリカ交換は、システム１０６のＭ個のコピーを同時に、しかし、システム１０６のコピーの実行中にシステムに変化が生じるかどうかに影響する異なるスケーリング係数で、実行することを含んでよい。従って、幾つかの実施形態では、エネルギエンジン１０２は、異なる温度レベルでシステム１０６の複数のレプリカに関して上述の更新動作を実行してよい。
ＬＦＭエンジン１０８は、システム更新１０４の中で反映されてよいシステム１０６の更新に基づき、ＬＦＭ１１０を更新するよう構成されてよい。追加又は代替として、ＬＦＭエンジン１０８は、対応する最適化問題の解法の初期化により、システム１０６に基づきＬＦＭ１１０を初めに生成するよう構成されてよい。
上述の式（２）により示されるように、ＬＦＭ１１０の値は、状態行列Ｘの値、及びシステム１０６の変数同士の接続重みに基づいてよい。システム１０６の接続重みは、第１行列１１２及び第２行列１１４に対応してよい。
第１行列１１２及び第２行列１１４は、それぞれ、システム１０６の変数同士の重みを生成し得る対応する最適化問題の特長を表し得る行列であってよい。例えば、二次割り当て問題（Quadratic Assignment Problem (QAP)）では、第１行列１１２は対応するフロー（flow）行列であってよく、第２行列は対応する距離（distance）行列であってよい。第１行列１１２及び第２行列１１４は、ＱＡＰのフロー及び距離行列と同様の方法で使用されてよい任意の他の適用可能な問題の任意の他の適切な行列に対応してよい。
ＬＦＭエンジン１０８は、ＬＦＭ１１０を更新するために使用され得る重みの値を決定するために、第１行列１１２及び第２行列１１４を使用するよう構成されてよい。幾つかの実施形態では、ＬＦＭエンジン１０８は、新しいシステム更新１０４が生じる度に、進行中に及び動的にこの決定を行ってよい。ＬＦＭエンジン１０８は、既に格納された重みの全部を含む格納された重み行列にアクセスする代わりに、進行中にこの動的方法で重みを取得するために、第１行列１１２及び第２行列１１４を使用するよう構成されてよい。
幾つかの実施形態では、第１行列１１２及び第２行列１１４の転置行列は、重みを取得するために使用されてよい。例えば、第１行列１１２及び／又は第２行列１１４が非対称である例では、第１行列１１２及び第２行列１１４の転置行列は、更に詳細に後述するように、重みを決定するために使用されてよい。これら又は他の実施形態では、第１行列１１２及び第２行列１１４が対称である例では、これらの行列の転置行列が使用されない又は必要でなくてよい。
重み行列の代わりに、第１行列１１２及び第２行列１１４を使用することは、環境１００の記憶及び／又は性能特性を向上し得る。例えば、重み行列の要素の数は、通常、第１行列１１２及び第２行列１１４の要素の数より遙かに桁が多い。例えば、重み行列はｎ４個の要素を有してよく、第１行列１１２及び第２行列１１４は、それぞれｎ２個の要素を有してよく、従ってそれらの結合は２ｎ２個の要素を有してよい。従って、重み行列を格納するのではなく、重みを決定するために第１行列１１２及び第２行列１１４を使用することは、有意なメモリの節約をもたらし得る。例えば、第１行列１１２及び第２行列１１４は、コンピュータ可読記憶媒体１１６（computer-readable storage media、「ＣＲＭ１１６」）に格納されてよく、重み値を追跡するために使用され得る重み行列より遙かに少ない記憶空間（例えば、９９％少ない）を占有してよい。
第１行列１１２及び第２行列１１４の転置行列が使用され格納され得る例でも、メモリ節約は依然として実質的に十分であり得る。例えば、このようなシナリオで格納される要素の総数は４ｎ２であってよく、これは、ｎのサイズに依存して、依然としてｎ４より有意に小さくなり得る。
幾つかの実施形態では、記憶の節約は、ＬＦＭエンジン１０８及びＣＲＭ１１６が同じチップ上に存在できるようにしてよい。これは、第１行列１１２及び第２行列１１４に関してＣＲＭ１１６に格納されたデータのフェッチ時間を削減することにより、処理速度を向上し得る。従って、幾つかの実施形態では、第１行列１１２及び第２行列１１４を格納したＬＦＭエンジン１０８及びＣＲＭ１１６は、同じチップ上に存在してよい。追加又は代替として、第１行列１１２及び第２行列１１４を格納したＬＦＭエンジン１０８及びＣＲＭ１１６は、異なるチップ上に存在してよい。
更に、ＬＦＭエンジン１０８がソフトウェア命令として実装される例では、ＬＦＭエンジン１０８は、第１行列１１２及び第２行列１１４と同じＣＲＭ１１６上に格納されてもよい。追加又は代替として、ＬＦＭエンジン１０８がソフトウェア命令として実装される例では、ＬＦＭエンジン１０８は、第１行列１１２及び第２行列１１４と異なるＣＲＭ１１６上に格納されてもよい。
幾つかの実施形態では、ＬＦＭエ１１０は、第１行列１１２及び第２行列１１４と同じＣＲＭ１１６上に格納されてもよい。これら又は他の実施形態では、結合された、ＬＦＭ１１０、第１行列１１２、及び第２行列１１４は、依然として、重み行列より遙かに小さな量のメモリ空間を占有してよい。
追加又は代替として、ＬＦＭエ１１０は、第１行列１１２及び第２行列１１４と異なるＣＲＭ１１６上に格納されてよい。これら又は他の実施形態では、ＬＦＭ１１０、第１行列１１２、第２行列１１４、ＬＦＭエンジン１０８、及びエネルギエンジン１０２は、１つ以上のＣＲＭの任意の適切な構成に関して一緒に又は単独で格納されてよい。
上述のように、ＬＦＭエンジン１０８は、システム更新１０４の中で更新される変数に対応する重みを決定するために、第１行列１１２及び第２行列１１４を用いてＬＦＭ１１０を更新するよう構成されてよい。これらの又は他の実施形態では、決定された重みは、ＬＦＭ１１０を更新するために使用されてよい。
例えば、第１行列１１２及び第２行列１１４は、それぞれ対称なフロー行列「Ｆ」及び距離行列「Ｄ」であってよい。更に、システム１０６は、行／列クロスクラスタ化ボルツマンマシンを含んでよく、システム更新１０４は、システム１０６の特定の行「ｒ」及び特定の列「ｃ」に対する変化を含んでよい。このような例では、サブ重み行列「ｗｒ，ｃ」は、それぞれ、式（７）に従い以下のようにシステム１０６の特定の行「ｒ」及び特定の列「ｃ」に対応する、行列「Ｆ」及び「Ｄ」の行「Ｆｒ，＊」及び「Ｄｃ，＊」のテンソル積を決定することにより決定されてよい。
Figure 2021170330
式（２）及び（７）に基づき、ＬＦＭエンジン１０８は、以下の式（８）に従いシステム更新１０４（「ｈｉ，＊」）に対応するＬＦＭ１１０の部分を変更してよい。
Figure 2021170330
式（８）で、次式
Figure 2021170330
 から決定された値は、ＬＦＭ１１０を更新するために、ｈｉ，＊の値に加算されてよい。更に、ｋ及びｋ’は、状態変化に対応する状態行列Ｘの行を表す。ｌ及びｌ’は、それぞれ、行ｋ及びｋ’の中の変化した変数のインデックスを表す。
幾つかの実施形態では、ＬＦＭエンジン１０８は、個々の乗算演算を実行するよう構成されてよく、ＬＦＭ１１０の問題の対応する４個の変数を順に更新する。例えば、図１Ｂは、行／列クロスクラスタ化ボルツマンマシンのシステム更新１０４の部分として、ニューロン（アルゴリズム１５０では「ビット」とも呼ばれる）ｘｋ，ｌ及びｘｋ’，ｌ’が非アクティブになっており、ニューロンｘｋ’，ｌ及びｘｋ，ｌ’がアクティブになっている例で、ＬＦＭ１１０を順に更新するために使用され得る例示的なアルゴリズム１５０を示す。アルゴリズム１５０は、ｘｋ，ｌ及びｘｋ’，ｌ’、並びにｘｋ’，ｌ及びｘｋ，ｌ’に対応するＬＦＭ１１０の要素を順番に更新するよう構成される。アルゴリズム１５０は、ソフトウェア及び／又はハードウェアの任意の適切な実装を用いて実装されてよい。
例えば、図１Ｂは、アルゴリズム１５０を実施するよう構成されるＬＦＭエンジン１０８の例示的なハードウェア実装１５２も示す。実装１５２では、全部の要素が同じチップ上に格納されてよい。実装１５２は、幾つかの実施形態における図２のコンピューティングシステム２０２の例示的な実装であってよく、又はその１つ以上の要素を含んでよい。追加又は代替として、実装１５２は、幾つかの実施形態における処理機能のうちの１つ以上を実行するために、ＧＰＵ（graphics processing unit）及び／又はＦＰＧＡ（field programmable gate array）を使用してよい。
更に、ＬＦＭ１１０は、「Ｈ」により表されてよく、第１行列１１２及び第２行列１１４は、それぞれ「Ｆ」及び「Ｄ」により表されてよい。追加で、図示の例では、「Ｈ」、「Ｆ」、及び「Ｄ」は、実装１５２のオンチップメモリ１５４に格納されてよい。「Ｆ」行列は、「ＤＩＭ×ＤＩＭ」行列であってよく、実装１５２のＤｉｍ−Ｔｏ−１ ＭＵＸ１５６は、アルゴリズム１５０の演算を実行する際に、「Ｆ」の関連部分を選択するよう構成されてよい。更に、実装１５２は、アルゴリズム１５０の現在実実行中の演算に関連付けられた「Ｆ」及び「Ｄ」の個々の要素の各々に関してアルゴリズム１５０の関連する乗算及び加算演算を実行するよう構成される算術要素１５８を含んでよい。
例えば、算術要素１５８は、アルゴリズム１５０の行「１」及び「２」の以下の演算を順に実行してよい：
Figure 2021170330
 次に、算術要素１５８は、アルゴリズム１５０の行「３」及び「４」の以下の演算を実行してよい：
Figure 2021170330
 次に、算術要素１５８は、アルゴリズム１５０の行「５３」及び「６」の以下の演算を実行してよい：
Figure 2021170330
 次に、算術要素１５８は、アルゴリズム１５０の行「７」及び「８」の以下の演算を実行してよい：
Figure 2021170330
追加又は代替として、ＬＦＭエンジン１０８は、問題の４個の変数に関して、式（８）の更新演算のうちの２つ以上を同時に実行するよう構成されてよい。例えば、図１Ｃは、行／列クロスクラスタ化ボルツマンマシンのシステム更新１０４の部分として、ｘｋ，ｌ及びｘｋ’，ｌ’が非アクティブになっており、ニューロンｘｋ’，ｌ及びｘｋ，ｌ’がアクティブになっていることに関して、ＬＦＭ１１０を更新するために使用され得る別の例示的なアルゴリズム１６０を示す。アルゴリズム１６０は、ｘｋ，ｌ及びｘｋ’，ｌ’の非アクティブ化に基づき、ｘｋ，ｌ及びｘｋ’，ｌ’に対応するＬＦＭ１１０の要素をほぼ同時に更新するよう構成される。アルゴリズム１６０は、また、ｘｋ’，ｌ及びｘｋ，ｌ’のアクティブ化に基づき、ｘｋ’，ｌ及びｘｋ，ｌ’に対応する要素をほぼ同時に更新するよう構成される。このように、アルゴリズム１６０は、アルゴリズム１５０より約２倍速くなり得る。アルゴリズム１６０は、ソフトウェア及び／又はハードウェアの任意の適切な実装を用いて実装されてよい。
例えば、図１Ｃは、アルゴリズム１６０を実施するよう構成されるＬＦＭエンジン１０８の例示的なハードウェア実装１６２も示す。実装１６２では、全部の要素が同じチップ上に格納されてよい。実装１６２は、幾つかの実施形態における図２のコンピューティングシステム２０２の例示的な実装であってよく、又はその１つ以上の要素を含んでよい。追加又は代替として、実装１６２は、幾つかの実施形態における処理機能のうちの１つ以上を実行するために、ＧＰＵ（graphics processing unit）及び／又はＦＰＧＡ（field programmable gate array）を使用してよい。
更に、ＬＦＭ１１０は、「Ｈ」により表されてよく、第１行列１１２及び第２行列１１４は、それぞれ「Ｆ」及び「Ｄ」により表されてよい。追加で、図示の例では、「Ｈ」、「Ｆ」、及び「Ｄ」は、実装１６２のオンチップメモリ１６４に格納されてよい。「Ｆ」行列は、「ＤＩＭ×ＤＩＭ」行列であってよく、実装１６２のＤｉｍ−Ｔｏ−１ ＭＵＸ１６６は、アルゴリズム１６０の演算を実行する際に、「Ｆ」の関連部分を選択するよう構成されてよい。
更に、実装１６２は、「Ｆ」及び「Ｄ」の対応する要素に関してアルゴリズム１６０の行「１」及び「２」の乗算及び加算演算を実行するよう構成される算術要素１６８ａを含んでよい。追加又は代替として、実装１６２は、「Ｆ」及び「Ｄ」の対応する要素に関してアルゴリズム１６０の行「３」及び「４」の関連する乗算及び加算演算を実行するよう構成される算術要素１６８ｂを含んでよい。これら又は他の実施形態では、実装１６２は、「Ｆ」の適切な値が適切なときに算術要素１６８ａへ送信されるように構成されるシフトレジスタ１６５を含んでよい。
別の例として、図１Ｄは、行／列クロスクラスタ化ボルツマンマシンのシステム更新１０４の部分として、ｘｋ，ｌ及びｘｋ’，ｌ’が非アクティブになっており、ニューロンｘｋ’，ｌ及びｘｋ，ｌ’がアクティブになっていることに関して、ＬＦＭ１１０を更新するために使用され得る別の例示的なアルゴリズム１７０を示す。アルゴリズム１７０は、ｘｋ，ｌ及びｘｋ’，ｌ’、並びにｘｋ’，ｌ及びｘｋ，ｌ’に対応するＬＦＭ１１０の要素を実質的に同じに更新するよう構成される。このように、アルゴリズム１７０は、アルゴリズム１６０の約２倍の速さであってよく、アルゴリズム１５０より約４倍速くなり得る。アルゴリズム１７０は、ソフトウェア及び／又はハードウェアの任意の適切な実装を用いて実装されてよい。
例えば、図１Ｄは、アルゴリズム１７０を実施するよう構成されるＬＦＭエンジン１０８の例示的なハードウェア実装１７２も示す。実装１７２では、全部の要素が同じチップ上に格納されてよい。実装１７２は、幾つかの実施形態における図２のコンピューティングシステム２０２の例示的な実装であってよく、又はその１つ以上の要素を含んでよい。追加又は代替として、実装１７２は、幾つかの実施形態における処理機能のうちの１つ以上を実行するために、ＧＰＵ（graphics processing unit）及び／又はＦＰＧＡ（field programmable gate array）を使用してよい。
更に、ＬＦＭ１１０は、「Ｈ」により表されてよく、第１行列１１２及び第２行列１１４は、それぞれ「Ｆ」及び「Ｄ」により表されてよい。追加で、図示の例では、「Ｈ」、「Ｆ」、及び「Ｄ」は、実装１７２のオンチップメモリ１７４に格納されてよい。「Ｆ」行列は、「ＤＩＭ×ＤＩＭ」行列であってよく、実装１７２のＤｉｍ−Ｔｏ−１ ＭＵＸ１７６は、アルゴリズム１７０の演算を実行する際に、「Ｆ」の関連部分を選択するよう構成されてよい。
更に、実装１７２は、算術要素１７８ａ、算術要素１７８ｂ、算術要素１７８ｃ、及び算術要素１７８ｄを含んでよい。算術要素１７８ａは、「Ｆ」及び「Ｄ」の対応する要素に関してアルゴリズム１７０の行「２」の以下の乗算及び加算演算を実行するよう構成されてよい。
Figure 2021170330
 算術要素１７８ｂは、「Ｆ」及び「Ｄ」の対応する要素に関してアルゴリズム１７０の行「３」の以下の乗算及び加算演算を実行するよう構成されてよい。
Figure 2021170330
 算術要素１７８ｃは、「Ｆ」及び「Ｄ」の対応する要素に関してアルゴリズム１７０の行「２」の以下の乗算及び加算演算を実行するよう構成されてよい。
Figure 2021170330
 算術要素１７８ｄは、「Ｆ」及び「Ｄ」の対応する要素に関してアルゴリズム１７０の行「３」の以下の乗算及び加算演算を実行するよう構成されてよい。
Figure 2021170330
これら又は他の実施形態では、実装１７２は、「Ｆ」の適切な値が適切なときに算術要素１７８ｂ及び１７８ｄへ送信されるように構成されるシフトレジスタ１７５ａを含んでよい。これら又は他の実施形態では、実装１７２は、「Ｄ」の適切な値が適切なときに算術要素１７８ａ及び１７８ｂへ送信されるように構成されるシフトレジスタ１７５ｂを含んでよい。
別の例として、幾つかの実施形態では、式（８）は、ＬＦＭエンジン１０８が対象のＬＦＭ１１０の４個の要素を以下の式（９）に従い同時に更新し得るよう簡略化されてよい。
Figure 2021170330
図１Eは、行／列クロスクラスタ化ボルツマンマシンのシステム更新１０４の部分として、ｘｋ，ｌ及びｘｋ’，ｌ’が非アクティブになっており、ニューロンｘｋ’，ｌ及びｘｋ，ｌ’がアクティブになっていることに関して、式（９）に基づきＬＦＭ１１０を更新するために使用され得る別の例示的なアルゴリズム１８０を示す。アルゴリズム１８０は、ｘｋ，ｌ及びｘｋ’，ｌ’、並びにｘｋ’，ｌ及びｘｋ，ｌ’に対応するＬＦＭ１１０の要素を実質的に同じに更新するよう構成される。このように、アルゴリズム１８０は、アルゴリズム１６０の約２倍の速さであってよく、アルゴリズム１５０より約４倍速くなり得る。アルゴリズム１８０は、ソフトウェア及び／又はハードウェアの任意の適切な実装を用いて実装されてよい。
例えば、図１Eは、アルゴリズム１８０を実施するよう構成されるＬＦＭエンジン１０８の例示的なハードウェア実装１８２も示す。実装１８２では、全部の要素が同じチップ上に格納されてよい。実装１８２は、幾つかの実施形態における図２のコンピューティングシステム２０２の例示的な実装であってよく、又はその１つ以上の要素を含んでよい。追加又は代替として、実装１８２は、幾つかの実施形態における処理機能のうちの１つ以上を実行するために、ＧＰＵ（graphics processing unit）及び／又はＦＰＧＡ（field programmable gate array）を使用してよい。
更に、ＬＦＭ１１０は、「Ｈ」により表されてよく、第１行列１１２及び第２行列１１４は、それぞれ「Ｆ」及び「Ｄ」により表されてよい。追加で、図示の例では、「Ｈ」、「Ｆ」、及び「Ｄ」は、実装１８２のオンチップメモリ１８４に格納されてよい。更に、実装１８２では、「Ｆ」及び「Ｄ」は、アルゴリズム１８０の実行速度を向上するのを助けるために、２回格納されてよい。「Ｆ」及び「Ｄ」行列は、それぞれ「ＤＩＭ×ＤＩＭ」行列であってよい。実装１８２のＤｉｍ−Ｔｏ−１ ＭＵＸ１８６ａ及び１８６ｂは、アルゴリズム１８０の動作を実行する際に、「Ｆ」及び「Ｄ」の関連部分を選択するよう構成されてよい。
更に、実装１８２は、算術要素１８８ａ、算術要素算術要素１８８ｂ、及び算術要素１８８cを含んでよい。算術要素１８８ａは、「Ｆｄｉｆｆ」を取得するために「Ｆ」の対応する要素に関してアルゴリズム１８０の行「３」の以下の加算演算を実行するよう構成されてよい。
Figure 2021170330
 算術要素１８８ｂは、「Ｄ」の対応する要素に関してアルゴリズム１８０の行「１」の以下の加算演算を実行するよう構成されてよく、
Figure 2021170330
 次式を得る。
Figure 2021170330
 算術要素１８８ｃは、算術要素１８８ａ及び１８８ｂにより提供された結果に関して、アルゴリズム１８０の行「４」の以下の乗算及び加算演算を実行するよう構成されてよい。
Figure 2021170330
図１Ｆは、アルゴリズム１８０を実施するよう構成されるＬＦＭエンジン１０８の例示的なハードウェア実装１９２も示す。実装１９２では、全部の要素が同じチップ上に格納されてよい。実装１９２は、幾つかの実施形態における図２のコンピューティングシステム２０２の例示的な実装であってよく、又はその１つ以上の要素を含んでよい。追加又は代替として、実装１９２は、幾つかの実施形態における処理機能のうちの１つ以上を実行するために、ＧＰＵ（graphics processing unit）及び／又はＦＰＧＡ（field programmable gate array）を使用してよい。
更に、ＬＦＭ１１０は、「Ｈ」により表されてよく、第１行列１１２及び第２行列１１４は、それぞれ「Ｆ」及び「Ｄ」により表されてよい。追加で、図示の例では、「Ｈ」、「Ｆ」、及び「Ｄ」は、実装１９２のオンチップメモリ１９４に格納されてよい。「Ｆ」行列は、「ＤＩＭ×ＤＩＭ」行列であってよい。実装１８２のＤｉｍ−Ｔｏ−１ ＭＵＸ１９６は、アルゴリズム１８０の動作を実行する際に、「Ｆ」の関連部分を選択するよう構成されてよい。
更に、実装１８２は、算術要素１９８ａ、算術要素算術要素１９８b、及び算術要素１９８cを含んでよい。算術要素１９８ａは、「Ｆ」の対応する要素に関してアルゴリズム１８０の行「３」の以下の加算演算を実行するよう構成されてよい。
Figure 2021170330
 算術要素１９８ｂは、「Ｄ」の対応する要素に関してアルゴリズム１８０の行「１」の以下の加算演算を実行するよう構成されてよい。
Figure 2021170330
 算術要素１９８cは、算術要素１９８ａ及び１９８ｂにより提供された結果に関して、アルゴリズム１８０の行「４」の以下の乗算及び加算演算を実行するよう構成されてよい。
Figure 2021170330
これら又は他の実施形態では、実装１９２は、「Ｆ」の適切な値が適切なときに算術要素１９８ａへ送信されるように構成されるシフトレジスタ１９５ａを含んでよい。これら又は他の実施形態では、実装１９２は、「Ｄ」の適切な値が適切なときに算術要素１９８ｂへ送信されるように構成されるシフトレジスタ１９５ｂを含んでよい。
図１Ａを参照すると、幾つかの実施形態では、第１行列１１２及び／又は第２行列１１４は非対称であってよい。これら又は他の実施形態では、１つ以上の前処理演算が、非対称行列に対して実行されてよく、該非対称行列を対称にする。追加又は代替として、このような例のうちの幾つかでは（例えば、前処理が実行されない例、又は非対称行列を対称にできない例）、ＬＦＭ１１０を更新するための重みの決定は、転置された第１行列１１２及び／又は転置された第２行列１１４に基づいてよい。
例えば、第１行列１１２及び第２行列１１４は、それぞれ非対称なフロー行列「Ｆ」及び距離行列「Ｄ」であってよい。このような例では、サブ重み行列「ｗｒ，ｃ」は、上述のように行列「Ｆ」及び「Ｄ」の行「Ｆｒ，＊」及び「Ｄｃ，＊」のテンソル積を決定することにより、それぞれ行列「Ｆ」及び「Ｄ」の転置行列「ＦＴ」及び「ＤＴ」のテンソル積
Figure 2021170330
 も考慮して、以下の式（７）に従い、それぞれ決定されてよい。
Figure 2021170330
式（２）及び（１０ａ）に基づき、システム更新１０４（「ｈｉ，＊」）に対応するＬＦＭ１１０の部分（「ｈｉ，＊」）は、このような非対称の場合に以下の式（１１ａ）に従いを変更されてよい。
Figure 2021170330
追加又は代替として、式（２）及び（１０ａ）に基づき、システム更新１０４（「ｈｉ，＊」）に対応するＬＦＭ１１０の部分
Figure 2021170330
 は、このような非対称の場合に以下のキャッシュ局所性を向上し得る以下の式（１１）に従い変更されてよい。
Figure 2021170330
幾つかの実施形態では、１つ以上の変数は、図１Ｂ〜１Ｆに関して上述したアルゴリズム及び／又はハードウェア実装のために、非対称行列に関して実行され得る追加された演算に対応するために、生成されてよい。例えば、転置された「Ｆ」及び「Ｄ」行列も、オンチップメモリに格納されてよい。更に、１つ以上の算術要素、ＭＵＸ、及び／又はレジスタは、実行され得る追加の演算に対応するために使用されてよい。追加又は代替として、式（１１）の１つ以上の演算は、順に実行されてよい。これら又は他の実施形態では、式（１１）の１つ以上の演算のうちの２つ以上は、一緒に実行されてよい。追加又は代替として、式（１１）の演算は、全部実質的に同時に実行されてよい。
例えば、幾つかの実施形態では、式（１１ａ）は、ＬＦＭエンジン１０８が対象のＬＦＭ１１０の４個の要素を以下の式（１２ａ）に従い同時に更新し得るよう簡略化されてよい。
Figure 2021170330
追加又は代替として、式（１１ｂ）は、以下の式（１２ｂ）に従い簡略化されてよい。
Figure 2021170330
更新されたＬＦＭ１１０は、幾つかの実施形態では、上述したように新しいシステム更新１０４を生成するために、エネルギエンジン１０２により使用されてよい。例えば、エネルギエンジン１０２は、上述の式（３）又は式（４）に基づき、ＬＦＭ１１０の更新された値を用いてシステム１０６のエネルギ値を更新してよい。これら又は他の実施形態では、エネルギエンジン１０２は、第１行列１１２及び第２行列１１４に基づき、次式の値を決定するよう構成されてよい。
Figure 2021170330
例えば、第１行列１１２及び第２行列１１４が対称的な「Ｆ」及び「Ｄ」行列である例では、エネルギエンジン１０２は、式（４）の中の
Figure 2021170330
 の値を、以下のように式（１３）に従い決定してよい。
Figure 2021170330
別の例として、第１行列１１２及び第２行列１１４が非対称的な「Ｆ」及び「Ｄ」行列である例では、エネルギエンジン１０２は、式（４）の中の
Figure 2021170330
 の値を、以下のように式（１４）に従い決定してよい。
Figure 2021170330
エネルギエンジン１０２は、次に、上述の式（５）又は式（６）を用いて、システム１０６に対する提案された変化を受け入れるか否かを決定するために、更新したエネルギ値を使用してよい。ＬＦＭエンジン１０８は、次に、上述と同様に、ここでも、新しいシステム更新１０４に基づきＬＦＭ１１０を更新してよい。幾つかの実施形態では、このような演算は、システム１０６に関連付けられた最適化問題に対する解が取得されるまで、繰り返し実行されてよい。例えば、演算は、システム１０６の状態が最大又は最小イジングエネルギに関連付けられるまで、実行されてよい。
変更、追加、又は省略が、本開示の範囲から逸脱することなく図１Ａ〜１Ｆに対して行われてよい。例えば、図１Ｂ〜１Ｆに関して説明したアルゴリズム及び実装は単なる例であり、限定ではない。更に、互いに別個であるとして図示され説明されたが、エネルギエンジン１０２及びＬＦＭエンジン１０８は、幾つかの実施形態では、結合されてよい。追加又は代替として、エネルギエンジン１０２及び／又はＬＦＭエンジン１０８により実行されるとして説明された演算は、本願明細書に説明されるものと正確に同じでなくてよい任意の適用可能な実装により実行されてよい。更に、環境１００は、図示され本開示で説明されるよりも多数又は少数の要素を含んでよい。更に、特定の装置又はシステムの中の要素の特定の構成、関連付け、又は包含は、特定の実装に依存して変化し得る。
図２は、本開示の少なくとも１つの実施形態による、本願明細書で説明された１つ以上の演算を実行するよう構成される例示的なコンピューティングシステム２０２のブロック図を示す。例えば、コンピューティングシステム２０２は、幾つかの実施形態では、図１Ａのエネルギエンジン１０２及び／又はＬＦＭ１０８に関連付けられた１つ以上の演算を実装する又は指示するよう構成されてよい。幾つかの実施形態では、コンピューティングシステム２０２は、焼きなまし（アニーリング）システムに含まれ又はその部分であってよい。コンピューティングシステム２０２は、プロセッサ２５０、メモリ２５２、及びデータ記憶装置２５４を含んでよい。プロセッサ２５０、メモリ２５２、及びデータ記憶装置２５４は、通信可能に結合されてよい。
通常、プロセッサ２５０は、種々のコンピュータハードウェア又はソフトウェアモジュールを含む、任意の適切な専用又は汎用コンピュータ、コンピューティングエンティティ、又は処理装置を含んでよく、任意の適切なコンピュータ可読記憶媒体に格納された命令を実行するよう構成されてよい。例えば、プロセッサ２５０は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、又はプログラム命令を解釈し及び／又は実行し及び／又はデータを処理するよう構成される任意の他のデジタル若しくはアナログ回路を含んでよい。図２には単一のプロセッサとして示されるが、プロセッサ２５０は、個々に又は集合的に本開示に記載の任意の数の動作を実行する又は実行を指示するよう構成される任意の数のプロセッサを含んでよい。さらに、プロセッサのうちの１つ以上は、異なるサーバのような１つ以上の異なる電子装置上に存在してよい。
幾つかの実施形態では、プロセッサ２５０は、プログラム命令を解釈し及び／又は実行し、及び／又はメモリ２５２、データ記憶装置２５４、又はメモリ２５２及びデータ記憶装置２５４に格納されたデータを処理するよう構成されてよい。幾つかの実施形態では、プロセッサ２５０は、プログラム命令をデータ記憶装置２５４からフェッチし、プログラム命令をメモリ２５２にロードしてよい。プログラム命令がメモリ２５２にロードされた後に、プロセッサ２５０は、プログラム命令を実行してよい。例えば、幾つかの実施形態では、図１Ａのエネルギエンジン１０２及び／又はＬＦＭエンジン１０８は、メモリ２５２にロードされプロセッサ２５０により実行され得るプログラム命令であってよいソフトウェアモジュールであってよい。
メモリ２５２及びデータ記憶装置２５４は、格納されたコンピュータ実行可能命令又はデータ構造を運ぶ又は有するコンピュータ可読記憶媒体を含んでよい。このようなコンピュータ可読記憶媒体は、プロセッサ２５０のような汎用又は専用コンピュータによりアクセスされ得る任意の市販の非一時的媒体を含んでよい。例として、限定ではなく、このようなコンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、又は他の光ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶装置、フラッシュメモリ素子（例えば、個体メモリ装置）、又はコンピュータ実行可能命令若しくはデータ構造の形式で特定のプログラムコードを運ぶ又は格納するために使用され得る且つ汎用又は専用コンピュータによりアクセスされ得る任意の他の非一時的記憶媒体、を含む有形又は非一時的コンピュータ可読媒体を含んでよい。これら及び他の実施形態では、本開示で説明されるような用語「非一時的」は、Federal Circuit decision of In re Nuijten, ５００ F.３d １３４６ (Fed. Cir. ２００７)における特許可能な主題の範囲に含まれない一時的媒体の種類のみを除外するものと考えられるべきである。
上記の組み合わせも、コンピュータ可読記憶媒体の範囲に含まれてよい。コンピュータ実行可能命令は、例えば、プロセッサ２５０に特定動作または一群の動作を実行させるよう構成される命令及びデータを含んでよい。
変更、追加、又は省略が、本開示の範囲から逸脱することなくコンピューティングシステム２０２に対して行われてよい。例えば、幾つかの実施形態では、コンピューティングシステム２０２は、明示され又は記載されないことのある任意の数の他のコンポーネントを含んでよい。追加又は代替として、コンピューティングシステム２０２は、より少ない要素を含んでよく、又は異なるように構成されてよい。例えば、メモリ２５２及び／又はデータ記憶装置２５４は、省略されてよく、又は同じコンピュータ可読記憶媒体の部分であってよい。更に、本開示におけるハードウェア又はハードウェアにより実行される動作についての言及は、コンピューティングシステム２０２の要素のうちの１つ以上の任意の適切な動作、構成、又は結合を表してよい。
図３は、本開示に記載される少なくとも１つの実施形態による、最適化問題を解く例示的な方法３００のフローチャートを示す。方法３００の動作は、任意の適切なシステム、機器、又は装置により実行されてよい。例えば、図１Ａのエネルギエンジン１０２及び／又はＬＦＭエンジン１０８、又は図２のコンピューティングシステム２０２は、方法３００に関連付けられた動作のうちの１つ以上を実行してよい。別個のブロックにより示したが、方法３００のブロックのうちの１つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
ブロック３０２で、システムに関連付けられた最適化問題に関連する第１行列が取得されてよい。第１行列を取得するステップは、コンピュータ可読媒体に格納された第１行列にアクセスするステップを含んでよい。追加又は代替として、第１行列を取得するステップは、コンピュータ可読媒体に第１行列を格納するステップを含んでよい。
図１Ａの第１行列１１２は、第１行列の一例であってよい。幾つかの実施形態では、最適化問題は、二次割り当て問題であってよく、第１行列は、二次割り当て問題の距離行列であってよい。幾つかの実施形態では、第１行列は対称であってよい。追加又は代替として、第１行列は非対称であってよい。第１行列が非対称である幾つかの例では、１つ以上の適用可能な動作が、第１行列に対して実行されてよく、該第１行列を対称にする。
幾つかの実施形態では、第１行列は、方法３００の動作を実行するよう構成されるプロセッサを含むチップのローカルメモリに格納されてよい。追加又は代替として、第１行列は、方法３００の動作を実行するよう構成されるプロセッサと同じチップに存在しないメモリ又はデータ記憶装置に格納されてよい。
幾つかの実施形態では、第１行列の転置行列である転置された第１行列が取得されてよい。例えば、第１行列が非対称である例で、転置された第１行列が取得されてよい。幾つかの例では、転置された第１行列は、既に生成されていてよく、アクセス又は格納されてよい。追加又は代替として、転置された第１行列は、第１行列に関して適用可能な転置操作を実行することにより生成されてよい。
幾つかの実施形態では、転置された第２行列は、方法３００の動作を実行するよう構成されるプロセッサを含むチップのローカルメモリに格納されてよい。追加又は代替として、転置された第２行列は、方法３００の動作を実行するよう構成されるプロセッサと同じチップに存在しないメモリ又はデータ記憶装置に格納されてよい。
ブロック３０４で、最適化問題に関連する第２行列が取得されてよい。第２行列を取得するステップは、コンピュータ可読媒体に格納された第２行列にアクセスするステップを含んでよい。追加又は代替として、第２行列を取得するステップは、コンピュータ可読媒体に第２行列を格納するステップを含んでよい。
図１Ａの第２行列１１４は、第２１行列の一例であってよい。幾つかの実施形態では、最適化問題は、二次割り当て問題であってよく、第２行列は、二次割り当て問題のフロー行列であってよい。幾つかの実施形態では、第２行列は対称であってよい。追加又は代替として、第２行列は非対称であってよい。第１行列が非対称である幾つかの例では、１つ以上の適用可能な動作が、第１行列に対して実行されてよく、該第１行列を対称にする。
幾つかの実施形態では、第２行列は、方法３００の動作を実行するよう構成されるプロセッサを含むチップのローカルメモリに格納されてよい。追加又は代替として、第２行列は、方法３００の動作を実行するよう構成されるプロセッサと同じチップに存在しないメモリ又はデータ記憶装置に格納されてよい。
幾つかの実施形態では、第２行列の転置行列である転置された第２行列が取得されてよい。例えば、第２行列が非対称である例で、転置された第２行列が取得されてよい。幾つかの例では、転置された第２行列は、既に生成されていてよく、アクセス又は格納されてよい。追加又は代替として、転置された第２行列は、第２行列に関して適用可能な転置操作を実行することにより生成されてよい。
幾つかの実施形態では、転置された第２行列は、方法３００の動作を実行するよう構成されるプロセッサを含むチップのローカルメモリに格納されてよい。追加又は代替として、転置された第２行列は、方法３００の動作を実行するよう構成されるプロセッサと同じチップに存在しないメモリ又はデータ記憶装置に格納されてよい。
第１行列及び第２行列は、システムのそれぞれの変数に与えられる対応する重みに関連してよい。ここで、対応する重みは、それぞれの変数とシステムの１つ以上の他の変数との間の関係に関連してよい。システムは、最適化問題を解くために使用され得る及び／又は最適化問題に対応し得る任意の適用可能なシステムを含んでよい。図１Ａのシステム１０６は、システムの一例である。
ブロック３０６で、最適化問題に関連するローカルフィールド行列が取得されてよい。ローカルフィールド行列は、それぞれの重みにより影響されるシステムの変数同士の相互作用を示す行列であってよい。ここで、相互作用は、最適化問題を解く間の変数の状態の変化に関連する。図１ＡのＬＦＭ１１０は、取得され得るローカルフィールド行列の一例である。
ローカルフィールド行列を取得するステップは、コンピュータ可読媒体に格納されたローカルフィールド行列にアクセスするステップを含んでよい。追加又は代替として、ローカルフィールド行列を取得するステップは、コンピュータ可読媒体にローカルフィールド行列を格納するステップを含んでよい。幾つかの実施形態では、ローカルフィールド行列を取得するステップは、システムの状態変数行列に基づき、及び第１行列及び第２行列に基づき、ローカルフィールド行列を生成するステップを含んでよい。追加又は代替として、ローカルフィールド行列は、第１転置行列及び／又は第２転置行列に基づき生成されてよい。例えば、ローカルフィールド行列は、図１Ａに関して上述した、式（２）及び式（７）〜（１１）のうちの１つ以上に基づき生成されてよい。
ブロック３０８で、ローカルフィールド行列が更新されてよい。幾つかの実施形態では、ローカルフィールド行列は、最適化問題を解く間のシステムの１つ以上の変数の状態変化に応答して更新されてよい。上述のように、状態変化は、システムに関して決定され得るエネルギ値に基づき受け入れられてよい。
ローカルフィールド行列を更新するステップは、更新される１つ以上の変数に対応するローカルフィールド行列の第３部分に対応する、第１行列の第１部分及び第２行列の第２部分に関して、１つ以上の算術演算を実行するステップを含んでよい。これら又は他の実施形態では、更新するステップは、（例えば、第１行列及び／又は第２行列が非対称である例では）転置された第１行列及び／又は転置された第２行列に関して１つ以上の算術演算を実行するステップを含んでよい。
例えば、ローカルフィールド行列は、幾つかの実施形態では、図１Ａ〜１Ｆに関して上述したような第１行列の第１部分と第２行列の第１部分との間の差に関して、１つ以上のテンソル積演算を実行することにより更新されてよい。追加又は代替として、図１Ａ〜１Ｆに関しても上述したように、算術演算は、転置された第１行列及び／又は転置された第２行列に関する１つ以上のテンソル積演算を含んでよい。
上述のように、更新するステップは、第１行列及び第２行列に基づき（幾つかの例では、転置された第１行列及び転置された第２行列に基づき）、重みを動的に決定することにより、実行されてよい。従って、グローバル重み行列の記憶は省略されてよい。上述したように、グローバル重み行列の記憶を省略することは、最適化問題を解く際に使用され得るメモリリソースの量を削減し得る。更に、上述したように、メモリリソースの量の削減は、最適化問題を解く際に使用される情報のオンチップ記憶を可能にすることにより、最適化問題を解くための時間量も削減し得る。
ブロック３１０で、システムのエネルギ値は、更新されたローカルフィールド行列に基づき更新されてよい。例えば、システムのエネルギ値は、上述の式（３）又は式（４）に基づき、ローカルフィールド行列の更新された値を用いて更新されてよい。
ブロック３１２で、最適化問題に対する解は、エネルギ値に基づき決定されてよい。例えば、システムが更新されてよく、その結果、システムの状態が最大又は最小イジングエネルギを有するエネルギ値に関連付けられるまで、反復的方法で任意の回数だけ、ローカルフィールド行列が更新されてよい。このような状況におけるシステム状態は、最適化問題に対する解として使用されてよい。
変更、追加、又は省略が、本開示の範囲から逸脱することなく方法３００に対して行われてよい。例えば、方法３００の動作は、異なる順序で実施されてよい。追加又は代替として、２以上の動作が同時に実行されてよい。さらに、概説された工程及び動作は例として提供されたものであり、工程及び動作の幾つかは、開示した実施形態の本質を減じることなく、任意であり、少ない工程及び動作に結合され、又は追加の工程及び動作に拡張されてよい。
本開示で使用されるとき、用語「モジュール」又は「コンポーネント」は、モジュール又はコンポーネントの動作を実行するよう構成される特定ハードウェア実装、及び／又は、コンピューティングシステムの汎用ハードウェア（例えば、コンピュータ可読媒体、処理装置、等）により格納され及び／又は実行され得るソフトウェアオブジェクト又はソフトウェアルーチンを表してよい。幾つかの実施形態では、本明細書に記載されたものと異なるコンポーネント、モジュール、エンジン、及びサービスが、コンピューティングシステム上で実行するオブジェクト又はプロセス（例えば、別個のスレッド）として実装されてよい。本明細書に記載されたシステム及び方法のうちの一部は、概して（汎用ハードウェアに格納される及び／又はそれにより実行される）ソフトウェアで実装されるとして記載されたが、専用ハードウェア実装又はソフトウェア及び専用ハードウェア実装の組み合わせも、可能であり想定される。この記載において、「コンピューティングエンティティ」は、本開示において前述した任意のコンピューティングシステム、又はコンピューティングシステム上で実行する任意のモジュール若しくはモジュールの組み合わせであってよい。
本開示で及び特に添付の特許請求の範囲（例えば、添付の請求項本体）で使用される用語は、通常、「広義」の用語として意図される（例えば、用語「含む」は「含むが、これに限定されない」と解釈されるべきであり、用語「有する」は「有するが、これに限定されない」と解釈されるべきである、等）。
さらに、特定数の導入された請求項の列挙が意図される場合、このような意図は、請求項中に明示的に示され、このような列挙のない場合、このような意図は存在しない。例えば、理解の支援として、以下の添付の請求項は、請求項の列挙を導入するために、導入フレーズ「少なくとも１つ」及び「１つ以上」の使用を含み得る。しかしながら、このようなフレーズの使用は、同じ請求項が導入フレーズ「１つ以上」又は「少なくとも１つ」及び不定冠詞「ａ」又は「ａｎ」を含むときでも（例えば、「ａ」及び／又は「ａｎ」は「少なくとも１つ」又は「１つ以上」を意味すると解釈されるべきである）、不定冠詞「ａ」又は「ａｎ」による請求項の列挙の導入が、このような導入された請求項の列挙を含む任意の特定の請求項を、１つのこのような列挙のみを含む実施形態に限定することを意味すると考えられるべきではない。つまり、同じことが、請求項の列挙を導入するために使用される定冠詞の使用にも当てはまる。
さらに、特定数の導入された請求項の列挙が明示的に記載される場合、当業者は、このような列挙が、少なくとも列挙された数を意味すると解釈されるべきであることを理解する（例えば、他の修飾のない「２つの列挙」の記載は、少なくとも２つの列挙、又は２以上の列挙を意味する）。さらに、「Ａ、Ｂ、及びＣ等のうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣ等のうちの１つ以上」又は「Ａ、Ｂ、又はＣ等のうちの少なくとも１つ」又は「Ａ、Ｂ、又はＣ等のうちの１つ以上」と同様の記載が使用される例では、通常、このような構成は、Ａ単独で、Ｂ単独で、Ｃ単独で、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、又はＡ、Ｂ、及びＣを一緒に、等を含むことを意図する。更に、用語「及び／又は」の使用は、この方法で解釈されることが意図される。
さらに、２以上の選択的な用語を表す任意の離接的な語又はフレーズは、説明、請求項、又は図面にあるかにかかわらず、用語のうちの１つ、用語のうちのいずれか、又は両方の用語を含む可能性を想定すると理解されるべきである。例えば、フレーズ「Ａ又はＢ」は、用語「及び／又は」が他の場所で使用される場合でも、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むと理解されるべきである。
本開示に記載された全ての例及び条件付き言語は、読者が本開示及び本開示が技術を更に発展させることに貢献する概念を理解するのを支援する教示目的を意図しており、そのような具体的に列挙された例及び条件に限定されないと解釈されるべきである。本開示の実施形態は詳細に記載されたが、本開示の精神及び範囲から逸脱することなく、これらに種々の変更、代替、及び選択が行われ得る。
以上の実施形態に加えて、更に以下の付記を開示する。
（付記１）
方法であって、
システムに関連する最適化問題に関連付けられた第１行列を取得するステップと、
前記最適化問題に関連付けられた第２行列を取得するステップであって、前記第１行列及び前記第２行列は、前記システムのそれぞれの変数に対して与えられた対応する重みに関連し、前記対応する重みは前記それぞれの変数と１つ以上の他の変数との間の関係に関連する、ステップと、
それぞれの重みに影響される前記システムの前記変数同士の相互作用を示すローカルフィールド行列を取得するステップであって、前記相互作用は、前記最適化問題を解く間の前記変数の状態の変化に関連する、ステップと、
前記最適化問題を解く間の前記システムの１つ以上の変数の状態変化に応答して、前記ローカルフィールド行列を更新するステップであって、前記更新するステップは、前記１つ以上の変数に対応する前記ローカルフィールド行列の第３部分に対応する、前記第１行列の第１部分及び前記第２行列の第２部分に関して、１つ以上の算術演算を実行するステップを含む、ステップと、
前記更新されたローカルフィールド行列に基づき、エネルギ値を更新するステップと、
前記エネルギ値に基づき、前記最適化問題の解を決定するステップと、
を含む方法。
（付記２）
前記最適化問題は二次割り当て問題であり、前記第１行列は前記二次割り当て問題の距離行列であり、前記第２行列は前記二次割り当て問題のフロー行列である、付記１に記載の方法。
（付記３）
前記第１行列及び第２行列は対称的であり、前記ローカルフィールド行列を更新するステップは、前記１つ以上の算術演算として、前記第１行列の前記第１部分と前記第２行列の前記第２部分との間の差に関してテンソル積演算を実行するステップを含む、付記１に記載の方法。
（付記４）
前記第１行列及び第２行列は非対称的であり、前記ローカルフィールド行列を更新するステップは、転置された第１行列および転置された第２行列に関して１つ以上の算術演算を実行するステップを含む、付記１に記載の方法。
（付記５）
前記最適化問題を解く間に前記重みのグローバル重み行列を格納することを省略するとともに、前記第１行列、前記第２行列、及び前記ローカルフィールド行列を格納するステップを更に含む、付記１に記載の方法。
（付記６）
前記システムは、ボルツマンマシンとして構成されるニューラルネットワークである、付記１に記載の方法。
（付記７）
前記１つ以上の変数の前記状態変化は、前記エネルギ値に基づき受け入れられる、付記１に記載の方法。
（付記８）
命令を格納するよう構成される１つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されることに応答して、システムに動作を実行させ、前記動作は、
システムに関連する最適化問題に関連付けられた第１行列を取得するステップと、
前記最適化問題に関連付けられた第２行列を取得するステップであって、前記第１行列及び前記第２行列は、前記システムのそれぞれの変数に対して与えられた対応する重みに関連し、前記対応する重みは前記それぞれの変数と１つ以上の他の変数との間の関係に関連する、ステップと、
それぞれの重みに影響される前記システムの前記変数同士の相互作用を示すローカルフィールド行列を取得するステップであって、前記相互作用は、前記最適化問題を解く間の前記変数の状態の変化に関連する、ステップと、
前記最適化問題を解く間の前記システムの１つ以上の変数の状態変化に応答して、前記ローカルフィールド行列を更新するステップであって、前記更新するステップは、前記１つ以上の変数に対応する前記ローカルフィールド行列の第３部分に対応する、前記第１行列の第１部分及び前記第２行列の第２部分に関して、１つ以上の算術演算を実行するステップを含む、ステップと、
前記更新されたローカルフィールド行列に基づき、エネルギ値を更新するステップと、
前記エネルギ値に基づき、前記最適化問題の解を決定するステップと、
を含む、１つ以上の非一時的コンピュータ可読記憶媒体。
（付記９）
前記最適化問題は二次割り当て問題であり、前記第１行列は前記二次割り当て問題の距離行列であり、前記第２行列は前記二次割り当て問題のフロー行列である、付記８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
（付記１０）
前記第１行列及び第２行列は対称的であり、前記ローカルフィールド行列を更新するステップは、前記１つ以上の算術演算として、前記第１行列の前記第１部分と前記第２行列の前記第２部分との間の差に関してテンソル積演算を実行するステップを含む、付記８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
（付記１１）
前記第１行列及び第２行列は非対称的であり、前記ローカルフィールド行列を更新するステップは、転置された第１行列および転置された第２行列に関して１つ以上の算術演算を実行するステップを含む、付記８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
（付記１２）
前記動作は、前記最適化問題を解く間に前記重みのグローバル重み行列を格納することを省略するとともに、前記第１行列、前記第２行列、及び前記ローカルフィールド行列を格納するステップを更に含む、付記８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
（付記１３）
前記システムは、ボルツマンマシンとして構成されるニューラルネットワークである、付記８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
（付記１４）
前記１つ以上の変数の前記状態変化は、前記エネルギ値に基づき受け入れられる、付記８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
（付記１５）
動作を実行するよう構成されるハードウェアを含むシステムであって、前記動作は、
システムに関連する最適化問題に関連付けられた第１行列を取得するステップと、
前記最適化問題に関連付けられた第２行列を取得するステップであって、前記第１行列及び前記第２行列は、前記システムのそれぞれの変数に対して与えられた対応する重みに関連し、前記対応する重みは前記それぞれの変数と１つ以上の他の変数との間の関係に関連する、ステップと、
それぞれの重みに影響される前記システムの前記変数同士の相互作用を示すローカルフィールド行列を取得するステップであって、前記相互作用は、前記最適化問題を解く間の前記変数の状態の変化に関連する、ステップと、
前記最適化問題を解く間の前記システムの１つ以上の変数の状態変化に応答して、前記ローカルフィールド行列を更新するステップであって、前記更新するステップは、前記１つ以上の変数に対応する前記ローカルフィールド行列の第３部分に対応する、前記第１行列の第１部分及び前記第２行列の第２部分に関して、１つ以上の算術演算を実行するステップを含む、ステップと、
前記更新されたローカルフィールド行列に基づき、エネルギ値を更新するステップと、
前記エネルギ値に基づき、前記最適化問題の解を決定するステップと、
を含むシステム。
（付記１６）
前記最適化問題は二次割り当て問題であり、前記第１行列は前記二次割り当て問題の距離行列であり、前記第２行列は前記二次割り当て問題のフロー行列である、付記１５に記載のシステム。
（付記１７）
前記第１行列及び第２行列は対称的であり、前記ローカルフィールド行列を更新するステップは、前記１つ以上の算術演算として、前記第１行列の前記第１部分と前記第２行列の前記第２部分との間の差に関してテンソル積演算を実行するステップを含む、付記１５に記載のシステム。
（付記１８）
前記第１行列及び第２行列は非対称的であり、前記ローカルフィールド行列を更新するステップは、転置された第１行列および転置された第２行列に関して１つ以上の算術演算を実行するステップを含む、付記１５に記載のシステム。
（付記１９）
前記動作は、前記最適化問題を解く間に前記重みのグローバル重み行列を格納することを省略するとともに、前記第１行列、前記第２行列、及び前記ローカルフィールド行列を格納するステップを更に含む、付記１５に記載のシステム。
（付記２０）
前記１つ以上の変数の前記状態変化は、前記エネルギ値に基づき受け入れられる、付記１５に記載のシステム。
１０６ システム
１０２ エネルギエンジン
１１０ ローカルフィールド行列
１０４ システム更新
１１２ 第1行列
１１４ 第2行列
１０８ ローカルフィールド行列エンジン

Claims (20)

  1. 方法であって、
    システムに関連する最適化問題に関連付けられた第１行列を取得するステップと、
    前記最適化問題に関連付けられた第２行列を取得するステップであって、前記第１行列及び前記第２行列は、前記システムのそれぞれの変数に対して与えられた対応する重みに関連し、前記対応する重みは前記それぞれの変数と１つ以上の他の変数との間の関係に関連する、ステップと、
    それぞれの重みに影響される前記システムの前記変数同士の相互作用を示すローカルフィールド行列を取得するステップであって、前記相互作用は、前記最適化問題を解く間の前記変数の状態の変化に関連する、ステップと、
    前記最適化問題を解く間の前記システムの１つ以上の変数の状態変化に応答して、前記ローカルフィールド行列を更新するステップであって、前記更新するステップは、前記１つ以上の変数に対応する前記ローカルフィールド行列の第３部分に対応する、前記第１行列の第１部分及び前記第２行列の第２部分に関して、１つ以上の算術演算を実行するステップを含む、ステップと、
    前記更新されたローカルフィールド行列に基づき、エネルギ値を更新するステップと、
    前記エネルギ値に基づき、前記最適化問題の解を決定するステップと、
    を含む方法。
  2. 前記最適化問題は二次割り当て問題であり、前記第１行列は前記二次割り当て問題の距離行列であり、前記第２行列は前記二次割り当て問題のフロー行列である、請求項１に記載の方法。
  3. 前記第１行列及び第２行列は対称的であり、前記ローカルフィールド行列を更新するステップは、前記１つ以上の算術演算として、前記第１行列の前記第１部分と前記第２行列の前記第２部分との間の差に関してテンソル積演算を実行するステップを含む、請求項１に記載の方法。
  4. 前記第１行列及び第２行列は非対称的であり、前記ローカルフィールド行列を更新するステップは、転置された第１行列および転置された第２行列に関して１つ以上の算術演算を実行するステップを含む、請求項１に記載の方法。
  5. 前記最適化問題を解く間に前記重みのグローバル重み行列を格納することを省略するとともに、前記第１行列、前記第２行列、及び前記ローカルフィールド行列を格納するステップを更に含む、請求項１に記載の方法。
  6. 前記システムは、ボルツマンマシンとして構成されるニューラルネットワークである、請求項１に記載の方法。
  7. 前記１つ以上の変数の前記状態変化は、前記エネルギ値に基づき受け入れられる、請求項１に記載の方法。
  8. 命令を格納するよう構成される１つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されることに応答して、システムに動作を実行させ、前記動作は、
    システムに関連する最適化問題に関連付けられた第１行列を取得するステップと、
    前記最適化問題に関連付けられた第２行列を取得するステップであって、前記第１行列及び前記第２行列は、前記システムのそれぞれの変数に対して与えられた対応する重みに関連し、前記対応する重みは前記それぞれの変数と１つ以上の他の変数との間の関係に関連する、ステップと、
    それぞれの重みに影響される前記システムの前記変数同士の相互作用を示すローカルフィールド行列を取得するステップであって、前記相互作用は、前記最適化問題を解く間の前記変数の状態の変化に関連する、ステップと、
    前記最適化問題を解く間の前記システムの１つ以上の変数の状態変化に応答して、前記ローカルフィールド行列を更新するステップであって、前記更新するステップは、前記１つ以上の変数に対応する前記ローカルフィールド行列の第３部分に対応する、前記第１行列の第１部分及び前記第２行列の第２部分に関して、１つ以上の算術演算を実行するステップを含む、ステップと、
    前記更新されたローカルフィールド行列に基づき、エネルギ値を更新するステップと、
    前記エネルギ値に基づき、前記最適化問題の解を決定するステップと、
    を含む、１つ以上の非一時的コンピュータ可読記憶媒体。
  9. 前記最適化問題は二次割り当て問題であり、前記第１行列は前記二次割り当て問題の距離行列であり、前記第２行列は前記二次割り当て問題のフロー行列である、請求項８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
  10. 前記第１行列及び第２行列は対称的であり、前記ローカルフィールド行列を更新するステップは、前記１つ以上の算術演算として、前記第１行列の前記第１部分と前記第２行列の前記第２部分との間の差に関してテンソル積演算を実行するステップを含む、請求項８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
  11. 前記第１行列及び第２行列は非対称的であり、前記ローカルフィールド行列を更新するステップは、転置された第１行列および転置された第２行列に関して１つ以上の算術演算を実行するステップを含む、請求項８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
  12. 前記動作は、前記最適化問題を解く間に前記重みのグローバル重み行列を格納することを省略するとともに、前記第１行列、前記第２行列、及び前記ローカルフィールド行列を格納するステップを更に含む、請求項８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
  13. 前記システムは、ボルツマンマシンとして構成されるニューラルネットワークである、請求項８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
  14. 前記１つ以上の変数の前記状態変化は、前記エネルギ値に基づき受け入れられる、請求項８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
  15. 動作を実行するよう構成されるハードウェアを含むシステムであって、前記動作は、
    システムに関連する最適化問題に関連付けられた第１行列を取得するステップと、
    前記最適化問題に関連付けられた第２行列を取得するステップであって、前記第１行列及び前記第２行列は、前記システムのそれぞれの変数に対して与えられた対応する重みに関連し、前記対応する重みは前記それぞれの変数と１つ以上の他の変数との間の関係に関連する、ステップと、
    それぞれの重みに影響される前記システムの前記変数同士の相互作用を示すローカルフィールド行列を取得するステップであって、前記相互作用は、前記最適化問題を解く間の前記変数の状態の変化に関連する、ステップと、
    前記最適化問題を解く間の前記システムの１つ以上の変数の状態変化に応答して、前記ローカルフィールド行列を更新するステップであって、前記更新するステップは、前記１つ以上の変数に対応する前記ローカルフィールド行列の第３部分に対応する、前記第１行列の第１部分及び前記第２行列の第２部分に関して、１つ以上の算術演算を実行するステップを含む、ステップと、
    前記更新されたローカルフィールド行列に基づき、エネルギ値を更新するステップと、
    前記エネルギ値に基づき、前記最適化問題の解を決定するステップと、
    を含むシステム。
  16. 前記最適化問題は二次割り当て問題であり、前記第１行列は前記二次割り当て問題の距離行列であり、前記第２行列は前記二次割り当て問題のフロー行列である、請求項１５に記載のシステム。
  17. 前記第１行列及び第２行列は対称的であり、前記ローカルフィールド行列を更新するステップは、前記１つ以上の算術演算として、前記第１行列の前記第１部分と前記第２行列の前記第２部分との間の差に関してテンソル積演算を実行するステップを含む、請求項１５に記載のシステム。
  18. 前記第１行列及び第２行列は非対称的であり、前記ローカルフィールド行列を更新するステップは、転置された第１行列および転置された第２行列に関して１つ以上の算術演算を実行するステップを含む、請求項１５に記載のシステム。
  19. 前記動作は、前記最適化問題を解く間に前記重みのグローバル重み行列を格納することを省略するとともに、前記第１行列、前記第２行列、及び前記ローカルフィールド行列を格納するステップを更に含む、請求項１５に記載のシステム。
  20. 前記１つ以上の変数の前記状態変化は、前記エネルギ値に基づき受け入れられる、請求項１５に記載のシステム。
JP2021064945A 2020-04-15 2021-04-06 システムのローカルフィールド行列の更新 Pending JP2021170330A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/849,887 US11562211B2 (en) 2020-04-15 2020-04-15 System local field matrix updates
US16/849887 2020-04-15

Publications (1)

Publication Number Publication Date
JP2021170330A true JP2021170330A (ja) 2021-10-28

Family

ID=74586868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021064945A Pending JP2021170330A (ja) 2020-04-15 2021-04-06 システムのローカルフィールド行列の更新

Country Status (4)

Country Link
US (1) US11562211B2 (ja)
EP (1) EP3896585A1 (ja)
JP (1) JP2021170330A (ja)
CN (1) CN113536222A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562211B2 (en) * 2020-04-15 2023-01-24 Fujitsu Limited System local field matrix updates
US20220414184A1 (en) 2021-06-18 2022-12-29 Fujitsu Limited Data processing apparatus and data processing method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2224256A1 (en) * 2009-02-25 2010-09-01 C.R.F. Società Consortile per Azioni Reliability estimate of an apparatus
US9501747B2 (en) * 2012-12-18 2016-11-22 D-Wave Systems Inc. Systems and methods that formulate embeddings of problems for solving by a quantum processor
CN108369668B (zh) * 2015-10-16 2022-05-31 D-波系统公司 用于创建和使用量子玻尔兹曼机的系统和方法
JP6773970B2 (ja) * 2016-09-09 2020-10-21 富士通株式会社 情報処理装置、イジング装置及び情報処理装置の制御方法
US10248906B2 (en) * 2016-12-28 2019-04-02 Intel Corporation Neuromorphic circuits for storing and generating connectivity information
US20190391807A1 (en) 2018-06-20 2019-12-26 Fujitsu Limited Computer-readable recording medium storing optimization problem computing program and optimization problem computing system
JP7071638B2 (ja) * 2018-07-31 2022-05-19 富士通株式会社 最適化装置、最適化装置の制御方法及び最適化装置の制御プログラム
JP7111966B2 (ja) * 2018-09-03 2022-08-03 富士通株式会社 最適化装置及び最適化装置の制御方法
JP7197789B2 (ja) * 2019-03-01 2022-12-28 富士通株式会社 最適化装置及び最適化装置の制御方法
JP7256378B2 (ja) * 2019-04-10 2023-04-12 富士通株式会社 最適化システムおよび最適化システムの制御方法
US11562211B2 (en) * 2020-04-15 2023-01-24 Fujitsu Limited System local field matrix updates

Also Published As

Publication number Publication date
EP3896585A1 (en) 2021-10-20
CN113536222A (zh) 2021-10-22
US11562211B2 (en) 2023-01-24
US20210326679A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
US11593623B2 (en) Spiking neural network accelerator using external memory
KR101959376B1 (ko) 멀티 코어 최적화된 순환 신경망을 위한 시스템 및 방법
US8131660B2 (en) Reconfigurable hardware accelerator for boolean satisfiability solver
JP5865456B1 (ja) 半導体装置
Fidjeland et al. Accelerated simulation of spiking neural networks using GPUs
US11366998B2 (en) Neuromorphic accelerator multitasking
JP2016051349A (ja) 半導体装置
US20190188569A1 (en) Parallel Forward and Backward Propagation
US11663452B2 (en) Processor array for processing sparse binary neural networks
JP2021170330A (ja) システムのローカルフィールド行列の更新
Han et al. A novel ReRAM-based processing-in-memory architecture for graph traversal
Mandal et al. COIN: Communication-aware in-memory acceleration for graph convolutional networks
Jin et al. GPUSGD: A GPU‐accelerated stochastic gradient descent algorithm for matrix factorization
CN108805277A (zh) 基于多fpga的深度信念网络加速平台及其设计方法
Zou et al. Massively simulating adiabatic bifurcations with FPGA to solve combinatorial optimization
Zhao et al. Distributed optimization of graph convolutional network using subgraph variance
US20210150323A1 (en) Methods and apparatus to implement a neural network
US11070205B1 (en) Glitch-free multiplexer
Zhou et al. Hygraph: Accelerating graph processing with hybrid memory-centric computing
US11544189B2 (en) System and method for memory management
Lin et al. Accelerating GNN training on cpu multi-FPGA heterogeneous platform
JP2016066378A (ja) 半導体装置および情報処理方法
US20210232366A1 (en) Dynamic directional rounding
US11900239B2 (en) Systems and methods for accelerating sparse neural network execution
Chang et al. Guest editorial: IEEE transactions on computers special section on emerging non-volatile memory technologies: From devices to architectures and systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240111