JP2021121068A - 学習装置 - Google Patents

学習装置 Download PDF

Info

Publication number
JP2021121068A
JP2021121068A JP2020014085A JP2020014085A JP2021121068A JP 2021121068 A JP2021121068 A JP 2021121068A JP 2020014085 A JP2020014085 A JP 2020014085A JP 2020014085 A JP2020014085 A JP 2020014085A JP 2021121068 A JP2021121068 A JP 2021121068A
Authority
JP
Japan
Prior art keywords
learning
codeword
decoding
unit
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020014085A
Other languages
English (en)
Inventor
竜太 吉沢
Ryota Yoshizawa
竜太 吉沢
憲一郎 古田
Kenichiro Furuta
憲一郎 古田
悠真 吉永
Yuma YOSHINAGA
悠真 吉永
修 鳥井
Osamu Torii
修 鳥井
知也 児玉
Tomoya Kodama
知也 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kioxia Corp
Original Assignee
Kioxia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kioxia Corp filed Critical Kioxia Corp
Priority to JP2020014085A priority Critical patent/JP2021121068A/ja
Priority to US17/005,270 priority patent/US11418219B2/en
Publication of JP2021121068A publication Critical patent/JP2021121068A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/29—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes
    • H03M13/2906—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes using block codes
    • H03M13/2927—Decoding strategies
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/11—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits using multiple parity bits
    • H03M13/1102—Codes on graphs and decoding on graphs, e.g. low-density parity check [LDPC] codes
    • H03M13/1191—Codes on graphs other than LDPC codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/11—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits using multiple parity bits
    • H03M13/1102—Codes on graphs and decoding on graphs, e.g. low-density parity check [LDPC] codes
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/37—Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35
    • H03M13/45—Soft decoding, i.e. using symbol reliability information
    • H03M13/451—Soft decoding, i.e. using symbol reliability information using a set of candidate code words, e.g. ordered statistics decoding [OSD]
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/65—Purpose and implementation aspects
    • H03M13/6597—Implementations using analogue techniques for coding or decoding, e.g. analogue Viterbi decoder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Error Detection And Correction (AREA)

Abstract

【課題】誤り訂正符号の復号で用いられる重みの学習をより効率的に実行できる学習装置を提供する。【解決手段】実施形態の学習装置は、雑音生成部と、復号部と、生成部と、学習部と、を備える。雑音生成部は、第１符号語に対して雑音を付加した第２符号語を出力する。復号部は、第２符号語を復号して第３符号語を出力する。生成部は、第３符号語に基づいて、伝達するメッセージに重みが付加されるメッセージパッシング復号における重みを学習するための学習データを生成する。学習部は、学習データを用いてメッセージパッシング復号における重みを学習する。【選択図】図３

Description

以下の実施形態は、学習装置に関する。
誤り訂正符号の復号法の１つとして、タナーグラフ上での確率伝播法（ＢＰ:Belief-Propagation）がある。タナーグラフ上でのＢＰは、ニューラルネットワークによって等価に表現することが可能である。このようなニューラルネットワークを用いることで、ＢＰで伝播されるメッセージにかける重みを学習してＢＰの性能をより向上させる技術（Ｗｅｉｇｈｔｅｄ−ＢＰ）が提案されている。
米国特許出願公開第２０１８／０３５７５３０号明細書
Eliya Nachmani et al., Thomas Huang, "Deep Learning Methods for Improved Decoding of Linear Codes", in arXiv: 1706.07043v2 1 Jan. 2018.
しかしながら、従来技術では、復号が不可能なほど雑音が付加されたデータも学習対象とするため、学習が阻害される場合があった。
本発明の一つの実施形態は、Ｗｅｉｇｈｔｅｄ−ＢＰで用いられる重みの学習をより効率的に実行できる学習装置を提供することを目的とする。
実施形態の学習装置は、雑音生成部と、復号部と、生成部と、学習部と、を備える。雑音生成部は、第１符号語に対して雑音を付加した第２符号語を出力する。復号部は、第２符号語を復号して第３符号語を出力する。生成部は、第３符号語に基づいて、伝達するメッセージに重みが付加されるメッセージパッシング復号における重みを学習するための学習データを生成する。学習部は、学習データを用いてメッセージパッシング復号における重みを学習する。
図１は、Ｗｅｉｇｈｔｅｄ−ＢＰで用いられるタナーグラフの一例を示す図である。 図２は、タナーグラフ上でのメッセージ伝播をニューラルネットワークに変換した例を示す図である。 図３は、第１の実施形態にかかる学習装置の構成の一例を示すブロック図である。 図４は、第１の実施形態における学習処理の一例を示すフローチャートである。 図５は、変形例における学習処理の一例を示すフローチャートである。 図６は、第２の実施形態にかかる学習装置の構成の一例を示すブロック図である。 図７は、第２の実施形態における学習処理の一例を示すフローチャートである。 図８は、第３の実施形態にかかる学習装置の構成の一例を示すブロック図である。 図９は、第３の実施形態における学習処理の一例を示すフローチャートである。 図１０は、第１から第３の実施形態にかかる学習装置のハードウェア構成例を示す説明図である。 図１１は、第４の実施形態に係るメモリシステムの概略構成例を示すブロック図である。 図１２は、第４の実施形態における学習処理の一例を示すフローチャートである。
以下に添付図面を参照して、実施形態に係る学習装置を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
以下では、Ｗｅｉｇｈｔｅｄ−ＢＰの重みを学習する学習装置の構成例を説明する。適用可能な復号法はＷｅｉｇｈｔｅｄ−ＢＰに限られるものではなく、例えば、伝達するメッセージに重みが付加される他のメッセージパッシング復号であってもよい。また、復号処理を表すニューラルネットワークの重みを学習する例を説明するが、ニューラルネットワーク以外のモデルを用いて、このモデルに適用可能な学習方法により重みを学習するように構成してもよい。
まず、Ｗｅｉｇｈｔｅｄ−ＢＰの概要について説明する。図１は、Ｗｅｉｇｈｔｅｄ−ＢＰで用いられるタナーグラフの一例を示す図である。なお、適用可能なグラフはタナーグラフに限られるものではなく、因子グラフ（Factor Graph）などの他の２部グラフ（Bipartile Graph）を用いてもよい。タナーグラフは、復号の対象となる符号が満たすべきルール構造を表現したグラフであると解釈することができる。図１は、７ビットのハミング符号（符号語の一例）に対するタナーグラフの例である。
変数ノード１０〜１６は、７ビットの符号ビットＣ０〜Ｃ６に相当する。チェックノード２１〜２３は、３つのルールＲ１、Ｒ２、Ｒ３に相当する。符号ビットは７ビットに限られるものではない。またルールの個数は３に限られるものではない。図１では、接続されている符号ビットをすべて加算すると値が０になる、というルールが用いられる。例えばルールＲ３は、対応するチェックノード２３に接続される変数ノード１０、１１、１２および１４に対応する符号ビットＣ０、Ｃ１、Ｃ２、および、Ｃ４の加算値が０になるというルールを示す。
ＢＰでは、例えばタナーグラフを用いた軟判定復号が実行される。軟判定復号は、各符号ビットが０である確率を示す情報を入力とする復号方法である。例えば、符号ビットが０である尤度と１である尤度との比を対数で表した対数尤度比（ＬＬＲ：Log-Likelihood Ratio）が、軟判定復号の入力として用いられる。
タナーグラフ上での軟判定復号では、各変数ノードは、チェックノードを介して他の変数ノードとの間でＬＬＲを受け渡す。そして、最終的に各変数ノードの符号ビットが０であるか、１であるかが判断される。なお、このようにして受け渡されるＬＬＲが、ＢＰ（メッセージパッシング復号の一例）で伝達されるメッセージの例である。
例えば以下のような手順でタナーグラフ上での軟判定復号が実行される。
（１）変数ノードは、入力されたＬＬＲ（チャネルＬＬＲ）を、接続されたチェックノードに送信する。
（２）チェックノードは、各変数ノード（送信元）に対して、接続されている他の変数ノードのＬＬＲおよび対応するルールに基づいて、送信元の変数ノードのＬＬＲを決定して返送する。
（３）変数ノードは、チェックノードから返送されたＬＬＲ、および、チャネルＬＬＲに基づいて、自ノードのＬＬＲを更新し、チェックノードに送信する。
変数ノードは、（２）および（３）を繰り返した後に得られるＬＬＲに基づいて、自ノードに対応する符号ビットが０であるか、１であるかを決定する。
このような方法では、ある変数ノードが送信したＬＬＲに基づくメッセージ（ＬＬＲ）がチェックノードを介して当該変数ノードに戻ってくることにより、復号性能が劣化する場合がある。
Ｗｅｉｇｈｔｅｄ−ＢＰは、このような復号性能の劣化を低減するための手法である。Ｗｅｉｇｈｔｅｄ−ＢＰでは、タナーグラフ上のメッセージに重みを付加することにより、戻ってくるメッセージの影響を減衰させることが可能となる。
メッセージごとに最適な重みの値を理論的に求めるのは困難である。このため、Ｗｅｉｇｈｔｅｄ−ＢＰでは、タナーグラフ上でのメッセージ伝播をニューラルネットワークに変換して表現し、本ニューラルネットワークを学習することにより、最適な重みが求められる。
図２は、タナーグラフ上でのメッセージ伝播をニューラルネットワークに変換した例を示す図である。なお図２は、符号ビット数が６、タナーグラフ上のエッジ数が１１の、ある符号に対して、反復回数が３回のＢＰを実施する場合のメッセージ伝播を表現するニューラルネットワークの例を示している。
ニューラルネットワークは、入力層２０１、奇数番目の中間層である奇数層２１１、２１３、２１５、偶数番目の中間層である偶数層２１２、２１４、２１６、および、出力層２０２を含む。入力層２０１および出力層２０２は、タナーグラフの変数ノードに相当する。また、奇数層２１１、２１３、２１５は、タナーグラフ上のある変数ノードからチェックノードへと伝播するメッセージに対応する。偶数層２１２、２１４、２１６は、タナーグラフ上のあるチェックノードから変数ノードへと伝播するメッセージに対応する。ＢＰでは、ある変数ノード（変数ノードＡとする）からあるチェックノード（チェックノードＢとする）へと伝播するメッセージを計算する際、変数ノードＡに伝播されてくる全メッセージのうち、チェックノードＢから伝播されてくるメッセージを除いたメッセージを用いて計算を行い、演算を実行したメッセージをチェックノードＢに送信する。例えば入力層２０１から奇数層２１１への遷移は、このようにして変数ノードで実行される演算に相当する。このような演算は、例えばニューラルネットワークにおける活性化関数に対応する。
Ｗｅｉｇｈｔｅｄ−ＢＰでは、ニューラルネットワークのノード間の遷移に割り当てられる重みが学習される。図２の例では、太線で表されたノード間（入力層２０１と奇数層２１１、偶数層２１２と奇数層２１３、偶数層２１４と奇数層２１５、偶数層２１６と出力層２０２）の遷移に割り当てられた重みが学習される。
ニューラルネットワークの奇数層、偶数層、および、出力層での演算は、それぞれ例えば以下の（１）式、（２）式、および、（３）式で表される。
Figure 2021121068
Figure 2021121068
Figure 2021121068
ｉは、中間層の順序を表す数値であり、例えば１〜２Ｌ（Ｌは中間層の総数を２で除算した値であり、ＢＰ復号の反復回数に対応）の値をとる。ｅ＝（ｖ，ｃ）は、変数ノードｖおよびチェックノードｃを接続する遷移（エッジ）を識別する値である。ｘｉ，ｅ＝（ｖ，ｃ）は、ｉ番目の中間層の、ｅ＝（ｖ，ｃ）で識別されるエッジが接続されるノード（変数ノードｖまたはチェックノードｃ）に対する出力を表す。ｏｖは、出力層の各ノードに対する出力を表す。
ｉ＝１の場合、すなわち、最初の奇数層（図２の例では奇数層２１１）の場合は、前にチェックノードが接続されないため、前の層からの出力に相当するｘｉ−１，ｅ’が得られない。この場合、例えばｘｉ−１，ｅ’＝ｘ０，ｅ’＝０として（１）式を用いればよい。なお、この場合の（１）式による演算は、（１）式の右辺第２項が存在しない式による演算と等価である。
ｌｖは、入力されるＬＬＲ（チャネルＬＬＲ）を表す。ｌｖは、最初の奇数層２１１以外でも用いられる。図２では、例えば線２２１に示すような短い太線が、チャネルＬＬＲが入力されることを表している。
ｗｉ，ｖは、ｉ番目の中間層でｌｖに割り当てられる重みを表す。ｗｉ，ｅ，ｅ’は、処理対象となるエッジｅ以外のエッジｅ’を介する前の層からの出力（ｘｉ−１，ｅ’）に割り当てられる重みを表す。ｗ２Ｌ＋１，ｖは、出力層でｌｖに割り当てられる重みを表す。ｗ２Ｌ＋１，ｖ，ｅ’は、処理対象となるエッジｅ以外のエッジｅ’を介する前の層からの出力（ｘ２Ｌ，ｅ’）に割り当てられる重みを表す。
σは、例えばσ（ｘ）＝（１＋ｅ−ｘ）−１で表されるシグモイド関数である。
Ｗｅｉｇｈｔｅｄ−ＢＰでは、上記の（１）式および（３）式に含まれる重みが学習される。重みの学習方法はどのような方法であってもよいが、例えば、誤差逆伝播法（勾配降下法）などが適用できる。
なお図２のニューラルネットワークは、データが一方向に流れるフィードフォワードニューラルネットワークの例であるが、再帰構造を含む再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）が用いられてもよい。再帰型ニューラルネットワークの場合、学習する重みを共通化することが可能となる。
学習では、例えば、符号語に対して雑音を付加した符号語に相当するＬＬＲと、正解データに相当する符号語とを含む学習データが用いられる。すなわち、ＬＬＲがニューラルネットワークに入力され、ニューラルネットワークから出力される出力（復号結果に相当）が正解データにより近くなるように、重みが学習される。
以下の実施形態では、学習が阻害されないように学習データを使用または生成する。以下、各実施形態について説明する。
（第１の実施形態）
図３は、第１の実施形態にかかる学習装置１００の構成の一例を示すブロック図である。図３に示すように、本実施形態の学習装置１００は、取得部１０１と、雑音付加部１０２と、復号部１０３と、生成部１０４と、学習部１０５と、出力制御部１０６と、記憶部１２１と、を備える。
取得部１０１は、学習装置１００による各種処理で用いられる各種データを取得する。例えば取得部１０１は、学習に用いられる符号語（第１符号語）を取得する。取得部１０１によるデータの取得方法はどのような方法であってもよいが、例えばネットワークを介して外部の装置（サーバ装置など）からデータを取得する方法、および、記憶媒体に記憶されたデータを読み出すことにより取得する方法などを適用できる。ネットワークはどのような形態であってもよいが、例えばインターネットおよびＬＡＮ（ローカルエリアネットワーク）などである。またネットワークは、有線であっても無線であってもよい。また、第１符号語は、学習のたびに異なるものを用いてもよいし、固定の符号語を用いてもよい。例えば、線形符号であれば、符号ビットがすべてゼロの符号語のみを第１符号語として用いることも可能である。
雑音付加部１０２は、取得された符号語に対して雑音を付加した符号語（第２符号語）を出力する。例えば雑音付加部１０２は、取得された符号語に対して雑音を付加した符号語に相当するＬＬＲを、雑音を付加した符号語として出力する。雑音付加部１０２は、例えば、符号ビットが０である尤度、および、１である尤度がそれぞれ正規分布に従うと仮定してＬＬＲを算出し、雑音を付加した符号語として出力する。
以下では、取得部１０１により取得された符号語を送信語といい、雑音付加部１０２により雑音が付加された符号語を受信語という場合がある。
復号部１０３は、受信語を復号し、復号結果である符号語（第３符号語）を出力する。復号部１０３による復号結果は、送信語が学習データとして使用できるかを判定するために用いられる。復号部１０３による復号方法はどのような方法であってもよいが、例えば、事後確率最大化（ＭＡＰ：Maximum a posteriori）復号、および、ＯＳＤ（Ordered Statistics Decoding）復号などを適用できる。復号の精度を優先する場合はＭＡＰ復号を適用し、処理速度を優先する場合はＯＳＤ復号を適用するなどのように、精度および処理速度を考慮して適用する復号方法を決定すればよい。
生成部１０４は、復号部１０３により出力され符号語に基づいて、Ｗｅｉｇｈｔｅｄ−ＢＰの重みを学習するための学習データを生成する。例えば生成部１０４は、送信語と、復号部１０３により復号された符号語とを比較し、両者が一致するか否かを示す判定結果を生成する。判定結果は、例えば両者が一致する場合にＯＮとなり、一致しない場合にＯＦＦとなる信号で表されてもよい。生成部１０４は、送信語と、受信語と、判定結果とを含む学習データを生成する。
学習部１０５は、生成部１０４により生成された学習データを用いて、Ｗｅｉｇｈｔｅｄ−ＢＰの重みを学習する。学習部１０５は、例えば、誤差逆伝播法（勾配降下法）などにより、上記のようなニューラルネットワークの重みを学習する。
学習データに含まれる受信語は、Ｗｅｉｇｈｔｅｄ−ＢＰによる復号対象、すなわち、Ｗｅｉｇｈｔｅｄ−ＢＰを表すニューラルネットワークへの入力として用いられる。学習データに含まれる送信語は、正解データとして用いられる。すなわち、学習部１０５は、入力された受信語に対するＷｅｉｇｈｔｅｄ−ＢＰによる復号結果が、正解データである送信語により近くなるように重みを学習する。
受信語は、復号が不可能なほど雑音が付加される場合がある。復号が不可能なほど雑音が付加された受信語を学習に用いないようにするため、本実施形態では判定結果が用いられる。すなわち学習部１０５は、学習データに含まれる判定結果が、送信語と復号部１０３により復号された符号語とが一致することを示す場合に、学習を実行する。これにより、復号部１０３による復号で復号可能である受信語のみを学習に用いることが可能となる。従って、学習が阻害されるような学習データの使用を排除し、誤り訂正符号の復号で用いられる重みの学習をより効率的に実行可能となる。
出力制御部１０６は、各種データの出力を制御する。例えば出力制御部１０６は、学習部１０５により学習された重みを含むニューラルネットワークのパラメータを、Ｗｅｉｇｈｔｅｄ−ＢＰによる復号を実行する復号装置に出力する。復号装置は、学習された重みを用いたＷｅｉｇｈｔｅｄ−ＢＰによる復号処理を実行可能となる。
上記各部（取得部１０１、雑音付加部１０２、復号部１０３、生成部１０４、学習部１０５、出力制御部１０６）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
記憶部１２１は、学習装置１００による各種処理で用いられる各種データを記憶する。例えば記憶部１２１は、取得部１０１による取得された符号語などのデータ、学習データ、および、Ｗｅｉｇｈｔｅｄ−ＢＰを表すニューラルネットワークのパラメータ（重みなど）を記憶する。記憶部１２１は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
次に、このように構成された第１の実施形態にかかる学習装置１００による学習処理について説明する。図４は、第１の実施形態における学習処理の一例を示すフローチャートである。
取得部１０１は、送信語を取得する（ステップＳ１０１）。雑音付加部１０２は、取得された送信語に雑音を付加した受信語を出力する（ステップＳ１０２）。復号部１０３は、受信語に対して復号を実行する（ステップＳ１０３）。生成部１０４は、送信語と、復号部１０３による復号結果とが一致するか否かを判定する（ステップＳ１０４）。
一致する場合（ステップＳ１０４：Ｙｅｓ）、生成部１０４は、一致することを示す判定結果（例えばＯＮ）を設定する（ステップＳ１０５）。一致しない場合（ステップＳ１０４：Ｎｏ）、生成部１０４は、一致しないことを示す判定結果（例えばＯＦＦ）を設定する（ステップＳ１０６）。生成部１０４は、送信語と受信語と判定結果とを含む学習データを生成し、学習部１０５に出力する（ステップＳ１０７）。なお生成部１０４は、生成した学習データを記憶部１２１などに出力し、学習部１０５は、記憶部１２１などに出力された学習データを使用するように構成してもよい。
学習部１０５は、学習データに含まれる判定結果がＯＮを示す場合に、学習データに含まれる送信語および受信語を用いて、Ｗｅｉｇｈｔｅｄ−ＢＰの重みを学習する（ステップＳ１０８）。出力制御部１０６は、学習結果を例えば復号装置に出力する（ステップＳ１０９）。
学習部１０５が学習を実行するタイミングはどのように設定されてもよい。例えば生成部１０４が学習データを生成するごとに学習を実行してもよいし（オンライン学習）、一定数の学習データが生成された場合に学習を実行してもよい（オフライン学習、ミニバッチ学習）。一定数の学習データを対象として学習を実行する場合は、学習部１０５は、例えば判定結果がＯＮである一定数の学習データが入力されたときに、学習を実行すればよい。
（変形例）
一定数の学習データを学習対象とする場合は、判定結果を含まない学習データを生成するように構成してもよい。図５は、判定結果を含まない学習データを用いるように構成される変形例における学習処理の一例を示すフローチャートである。ステップＳ２０１からステップＳ２０４は、図４のステップＳ１０１からステップＳ１０４と同様である。
変形例では、生成部１０４は、送信語と復号部１０３による復号結果とが一致する場合に（ステップＳ２０４：Ｙｅｓ）、送信語および受信語を含み、判定結果を含まない学習データを生成する（ステップＳ２０５）。送信語と復号部１０３による復号結果とが一致しない場合（ステップＳ２０４：Ｎｏ）、生成部１０４は学習データの生成処理を実行しない。
変形例では、学習部１０５は、判定結果を含まない学習データを用いて学習を実行する（ステップＳ２０６）。例えば学習部１０５は、判定結果がＯＮであるか否かを判定する処理を実行せず、生成部１０４により生成された学習データを学習に用いる。出力制御部１０６は、学習結果を例えば復号装置に出力する（ステップＳ２０７）。
変形例では、学習が阻害されるような学習データの生成処理が省略されるため、上記実施形態と同様に、誤り訂正符号の復号で用いられる重みの学習をより効率的に実行可能となる。
（第２の実施形態）
図６は、第２の実施形態にかかる学習装置１００−２の構成の一例を示すブロック図である。図６に示すように、本実施形態の学習装置１００−２は、取得部１０１と、雑音付加部１０２と、復号部１０３と、生成部１０４−２と、学習部１０５と、出力制御部１０６と、記憶部１２１と、を備える。
第２の実施形態では、生成部１０４−２の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる学習装置１００のブロック図である図３と同様であるので、同一符号を付し、ここでの説明は省略する。
生成部１０４−２は、受信語と、復号部１０３により復号された符号語（復号結果）とを含む学習データを生成する。すなわち、本実施形態では、送信語の代わりに復号部１０３による復号結果が正解データとして用いられる。
復号結果は、送信語に雑音が付加された受信語に対して、復号部１０３によって復号処理が実行された結果である。すなわち、本実施形態では、受信語は、少なくとも復号部１０３により復号が可能な程度に雑音が付加された受信語である。従って、生成部１０４−２により生成される学習データは、復号が不可能なほど雑音が付加された受信語が含まれることはない。
本実施形態では、学習部１０５は、上記変形例と同様に、生成部１０４−２により生成されたすべての学習データを用いて学習を実行することができる。
次に、このように構成された第２の実施形態にかかる学習装置１００−２による学習処理について説明する。図７は、第２の実施形態における学習処理の一例を示すフローチャートである。ステップＳ３０１からステップＳ３０３は、図４のステップＳ１０１からステップＳ１０３と同様である。
生成部１０４−２は、受信語と、復号部１０３により復号された符号語（復号結果）とを含む学習データを生成する（ステップＳ３０４）。学習部１０５は、生成部１０４−２により生成された学習データを用いて、Ｗｅｉｇｈｔｅｄ−ＢＰの重みを学習する（ステップＳ３０５）。出力制御部１０６は、学習結果を例えば復号装置に出力する（ステップＳ３０６）。
このように、本実施形態では、受信語と、受信語を復号部１０３により復号した復号結果とを含む学習データが生成され、生成された学習データが重みの学習に用いられる。学習データは、復号が不可能なほど雑音が付加された受信語を含まないため、学習が阻害されることを回避し、重みの学習をより効率的に実行することが可能となる。
第１の実施形態では、復号不可能な受信語は学習データとして用いられないため、使用されない学習データの生成処理を行う時間が無駄になり、学習の速度が阻害される可能性がある。一方、本実施形態では、生成した学習データをすべて利用することができる。
（第３の実施形態）
図８は、第３の実施形態にかかる学習装置１００−３の構成の一例を示すブロック図である。図８に示すように、本実施形態の学習装置１００−３は、取得部１０１と、雑音付加部１０２と、復号部１０３と、生成部１０４−３と、学習部１０５と、出力制御部１０６と、記憶部１２１と、を備える。
第３の実施形態では、生成部１０４−３の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる学習装置１００のブロック図である図３と同様であるので、同一符号を付し、ここでの説明は省略する。
生成部１０４−３は、送信語と、復号部１０３により復号された符号語とを比較し、両者が一致する場合は、送信語と受信語とを含む学習データを生成する。両者が一致しない場合は、生成部１０４−３は、送信語に復号可能となるように受信語を変換し、変換後の受信語（第４符号語）と、送信語とを含む学習データを生成する。例えば生成部１０４−３は、送信語と復号結果との間で不一致となるビットに対応する正負の符号を反転するように、受信語であるＬＬＲを変換する。仮に、変換されたＬＬＲに対して復号部１０３により復号を行った場合には復号結果として送信語が得られるため、変換されたＬＬＲは、送信語に対して復号が可能な程度に雑音が付加された受信語である。すなわち、本実施形態において学習データに含まれる受信語は、送信語に復号が不可能なほど雑音が付加された受信語となることはない。
次に、このように構成された第３の実施形態にかかる学習装置１００−３による学習処理について説明する。図９は、第３の実施形態における学習処理の一例を示すフローチャートである。ステップＳ４０１からステップＳ４０４は、図４のステップＳ１０１からステップＳ１０４と同様である。
送信語と復号結果とが一致する場合（ステップＳ４０４：Ｙｅｓ）、生成部１０４−３は、送信語と受信語とを含む学習データを生成する（ステップＳ４０５）。送信語と復号結果とが一致しない場合（ステップＳ４０４：Ｙｅｓ）、生成部１０４−３は、受信語を、送信語に復号可能となるように変換し、変換した受信語と送信語とを含む学習データを生成する（ステップＳ４０６）。
学習部１０５は、生成部１０４−３により生成された学習データを用いて、Ｗｅｉｇｈｔｅｄ−ＢＰの重みを学習する（ステップＳ４０７）。出力制御部１０６は、学習結果を例えば復号装置に出力する（ステップＳ４０８）。
このように、本実施形態では、送信語と復号結果とが一致しない場合には、送信語に復号可能となるように変換した受信語を含む学習データを生成する。学習データは、復号が不可能なほど雑音が付加された受信語を含まないため、学習が阻害されることを回避し、重みの学習をより効率的に実行することが可能となる。また、第２の実施形態と同様に生成した学習データをすべて利用することができるため、学習の速度が阻害されることを抑制可能となる。
次に、第１から第３の実施形態にかかる学習装置のハードウェア構成について図１０を用いて説明する。図１０は、第１から第３の実施形態にかかる学習装置のハードウェア構成例を示す説明図である。
第１から第３の実施形態にかかる学習装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。
第１から第３の実施形態にかかる学習装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。
第１から第３の実施形態にかかる学習装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
さらに、第１から第３の実施形態にかかる学習装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１から第３の実施形態にかかる学習装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
第１から第３の実施形態にかかる学習装置で実行されるプログラムは、コンピュータを上述した学習装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
第１から第３の実施形態にかかる学習装置は、例えば図１０に示すようなハードウェア構成を備えるサーバ装置およびパーソナルコンピュータなどにより実現できる。学習装置のハードウェア構成はこれらに限られるものではなく、例えばクラウド環境上のサーバ装置として構築されてもよい。
（第４の実施形態）
上記実施形態では、Ｗｅｉｇｈｔｅｄ−ＢＰによる復号を実行する装置（復号装置）と、学習装置とは異なる装置である例を説明した。復号を実行する装置が、学習装置としての機能を備えるように構成してもよい。第４の実施形態では、記憶装置から読み出したデータ（受信語）を復号する機能を備えるメモリシステムが、学習装置としての機能を備える例を説明する。
適用可能なシステムはメモリシステムに限られるものではない。例えば、ネットワークを介して送信されるデータをＷｅｉｇｈｔｅｄ−ＢＰにより復号する機能を有する通信装置が、上記実施形態のような学習装置としての機能をさらに備えるように構成してもよい。
また以下では第１の実施形態の学習装置１００の機能をメモリシステムが備える例を説明するが、変形例、第２の実施形態、または、第３の実施形態の学習装置の機能をメモリシステムが備えるように構成することも可能である。
図１１は、第４の実施形態に係るメモリシステムの概略構成例を示すブロック図である。図１１に示すように、メモリシステム４０１は、メモリコントローラ４１０と不揮発性メモリ４２０とを備える。メモリシステム４０１は、ホスト４３０と接続可能であり、図１１ではホスト４３０と接続された状態が示されている。ホスト４３０は、例えば、パーソナルコンピュータ、携帯端末などの電子機器であってよい。
不揮発性メモリ４２０は、データを不揮発に記憶する不揮発性メモリであり、例えば、ＮＡＮＤ型フラッシュメモリ（以下、単にＮＡＮＤメモリという）である。以下の説明では、不揮発性メモリ４２０としてＮＡＮＤメモリが用いられた場合を例示するが、不揮発性メモリ４２０として３次元構造フラッシュメモリ、ＲｅＲＡＭ（Resistance Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）等のＮＡＮＤメモリ以外の記憶装置を用いることも可能である。また、不揮発性メモリ４２０が半導体メモリであることは必須ではなく、半導体メモリ以外の種々の記憶媒体に対して本実施形態を適用することも可能である。
メモリシステム４０１は、メモリコントローラ４１０と不揮発性メモリ４２０とが１つのパッケージとして構成されるメモリカード等であってもよいし、ＳＳＤ（Solid State Drive）等であってもよい。
メモリコントローラ４１０は、ホスト４３０からの書込み要求に従って不揮発性メモリ４２０への書込みを制御する。また、ホスト４３０からの読出し要求に従って不揮発性メモリ４２０からの読出しを制御する。メモリコントローラ４１０は、ホストＩ／Ｆ（ホストインタフェース）４１５、メモリＩ／Ｆ（メモリインタフェース）４１３、制御部４１１、符号化／復号部（コーデック）４１４、データバッファ４１２、復号部１０３−４、生成部１０４−４、および、学習部１０５−４を備える。ホストＩ／Ｆ４１５、メモリＩ／Ｆ４１３、制御部４１１、符号化／復号部４１４およびデータバッファ４１２は、内部バス４１６で相互に接続されている。
ホストＩ／Ｆ４１５は、ホスト４３０との間のインタフェース規格に従った処理を実施し、ホスト４３０から受信した命令、書込み対象のユーザデータなどを内部バス４１６に出力する。また、ホストＩ／Ｆ４１５は、不揮発性メモリ４２０から読出されて復元されたユーザデータ、制御部４１１からの応答などをホスト４３０へ送信する。
メモリＩ／Ｆ４１３は、制御部４１１の指示に基づいて、不揮発性メモリ４２０への書込み処理を行う。また、メモリＩ／Ｆ４１３は、制御部４１１の指示に基づいて、不揮発性メモリ４２０からの読出し処理を行う。
データバッファ４１２は、メモリコントローラ４１０がホスト４３０から受信したユーザデータを不揮発性メモリ４２０へ記憶するまでに一時記憶する。また、データバッファ４１２は、不揮発性メモリ４２０から読出したユーザデータをホスト４３０へ送信するまでに一時記憶する。データバッファ４１２には、例えば、ＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）などの汎用メモリを用いることができる。
制御部４１１は、メモリシステム４０１の各構成要素を統括的に制御する。制御部４１１は、ホスト４３０からホストＩ／Ｆ４１５経由で命令を受けた場合に、その命令に従った制御を行う。例えば、制御部４１１は、ホスト４３０からの命令に従って、不揮発性メモリ４２０へのユーザデータおよびパリティの書込みをメモリＩ／Ｆ４１３へ指示する。また、制御部４１１は、ホスト４３０からの命令に従って、不揮発性メモリ４２０からのユーザデータおよびパリティの読出しをメモリＩ／Ｆ４１３へ指示する。
また、制御部４１１は、ホスト４３０からユーザデータの書込み要求を受信した場合、データバッファ４１２に蓄積されるユーザデータに対して、不揮発性メモリ４２０上の記憶領域（メモリ領域）を決定する。すなわち、制御部４１１は、ユーザデータの書込み先を管理する。ホスト４３０から受信したユーザデータの論理アドレスと該ユーザデータが記憶された不揮発性メモリ４２０上の記憶領域を示す物理アドレスとの対応はアドレス変換テーブルとして記憶される。
また、制御部４１１は、ホスト４３０から読出し要求を受信した場合、読出し要求により指定された論理アドレスを上述のアドレス変換テーブルを用いて物理アドレスに変換し、該物理アドレスからの読出しをメモリＩ／Ｆ４１３へ指示する。
ＮＡＮＤメモリでは、ＮＡＮＤメモリ内の同一のワード線に接続される複数のメモリセルをメモリセルグループと呼ぶ。ＮＡＮＤメモリでは、一般に、メモリセルグループ単位で書込みが行われ、ページと呼ばれるデータ単位で読出しが行われ、ブロックと呼ばれるデータ単位で消去が行われる。メモリセルがシングルレベルセル（ＳＬＣ）である場合は、１つのメモリセルグループが１ページに対応する。メモリセルがマルチレベルセル（ＭＬＣ）である場合は、１つのメモリセルグループが複数ページに対応する。また、各メモリセルはワード線に接続するとともにビット線にも接続される。従って、各メモリセルは、ワード線を識別するアドレスとビット線を識別するアドレスとで識別することが可能である。
ホスト４３０から送信されるユーザデータは、内部バス４１６に転送されてデータバッファ４１２に一旦記憶される。符号化／復号部４１４は、不揮発性メモリ４２０に記憶されるユーザデータを符号化して符号語を生成する。また、符号化／復号部４１４は、不揮発性メモリ４２０から読出された受信語を復号してユーザデータを復元する。そこで符号化／復号部４１４は、符号化器（Encoder）４１７と復号器（Decoder）４１８を備える。なお、符号化／復号部４１４により符号化されるデータには、ユーザデータ以外にも、メモリコントローラ４１０内部で用いる制御データ等が含まれてもよい。
次に、本実施形態の書込み処理について説明する。制御部４１１は、不揮発性メモリ４２０へのユーザデータの書込み時に、ユーザデータの符号化を符号化器４１７に指示する。その際、制御部４１１は、不揮発性メモリ４２０における符号語の記憶場所（記憶アドレス）を決定し、決定した記憶場所もメモリＩ／Ｆ４１３へ指示する。
符号化器４１７は、制御部４１１からの指示に基づいて、データバッファ４１２上のユーザデータを符号化して符号語を生成する。符号化方式としては、例えば、ＢＣＨ（Bose-Chandhuri-Hocquenghem）符号やＲＳ（リード・ソロモン）符号を用いた符号化方式を採用することができる。メモリＩ／Ｆ４１３は、制御部４１１から指示された不揮発性メモリ４２０上の記憶場所へ符号語を記憶する制御を行う。
次に、本実施形態の不揮発性メモリ４２０からの読出し時の処理について説明する。制御部４１１は、不揮発性メモリ４２０からの読出し時に、不揮発性メモリ４２０上のアドレスを指定してメモリＩ／Ｆ４１３へ読出しを指示する。また、制御部４１１は、復号器４１８へ復号の開始を指示する。メモリＩ／Ｆ４１３は、制御部４１１の指示に従って、不揮発性メモリ４２０の指定されたアドレスから受信語を読出し、読出した受信語を復号器４１８に入力する。復号器４１８は、不揮発性メモリ４２０から読出された受信語を復号する。
本実施形態では、復号器４１８は、Ｗｅｉｇｈｔｅｄ−ＢＰにより受信語を復号する。Ｗｅｉｇｈｔｅｄ−ＢＰに用いる重みなどのパラメータは、例えばデータバッファ４１２に記憶される。すなわち、第１の実施形態の記憶部１２１の機能は、例えばデータバッファ４１２により実現することができる。
また本実施形態では、Ｗｅｉｇｈｔｅｄ−ＢＰの重みの学習に関する機能として、復号部１０３−４と、生成部１０４−４と、学習部１０５−４と、が備えられる。
本実施形態では、不揮発性メモリ４２０から読み出された受信語が、符号語（送信語）に対して雑音を付加した符号語として用いられる。従って、第１の実施形態の取得部１０１および雑音付加部１０２に相当する機能は備えられる必要はない。また外部の復号装置などに学習結果を出力しなくてもよいため、第１の実施形態の出力制御部１０６に相当する機能は備えられる必要はない。
復号部１０３−４は、不揮発性メモリ４２０から読み出された受信語に対して復号を実行する。復号部１０３−４による復号方法はどのような方法であってもよいが、例えば、ＭＡＰ復号およびＯＳＤ復号などを適用できる。
生成部１０４−４は、復号部１０３−４により出力され符号語に基づいて、Ｗｅｉｇｈｔｅｄ−ＢＰの重みを学習するための学習データを生成する。例えば生成部１０４−４は、送信語と、復号部１０３により復号された符号語とを比較し、両者が一致するか否かを示す判定結果（一致する場合ＯＮ、一致しない場合ＯＦＦなど）を生成する。生成部１０４−４は、送信語と、受信語と、判定結果とを含む学習データを生成する。
学習部１０５−４は、生成部１０４−４により生成された学習データを用いて、Ｗｅｉｇｈｔｅｄ−ＢＰの重みを学習する。学習部１０５−４は、学習結果（学習された重み）を例えばデータバッファ４１２に記憶する。記憶した重みは、その後の復号器４１８による復号処理で利用される。
次に、このように構成された第４の実施形態にかかるメモリシステム４０１による学習処理について説明する。図１２は、第４の実施形態における学習処理の一例を示すフローチャートである。
なお、学習処理のタイミングはどのように設定してもよい。例えば、不揮発性メモリ４２０から受信語が読み出されるごとに学習処理が実行されてもよい。所定の条件を満たした受信語のみを選択するように学習処理のタイミングを設定してもよい。例えば、メモリシステム４０１における誤り訂正処理として、最初に高速な誤り訂正処理を実行し、復号が失敗した場合により強力であるが低速な復号へと段階的に復号処理を切り替えていく方法が用いられている場合がある。このような場合、例えば、最初の高速な誤り訂正処理で復号に失敗したタイミング、または、段階が進み、低速な復号としてＢＰ復号が行われたタイミングで学習処理を実行するように構成してもよい。学習処理は、例えば制御部４１１の指示により、以下のように復号部１０３−４、生成部１０４−４、および、学習部１０５−４により実行される。
第４の実施形態において、学習処理を第１の実施形態、第１の実施形態の変形例、または、第３の実施形態に基づいて行う場合は、学習の際に送信語（不揮発性メモリ４２０への書込み値）が必要となる。このため、不揮発性メモリ４２０に書込みの際には、書き込んだ符号語をデータバッファ４１２上に保持しておく。学習時には、必要となる符号語をデータバッファ４１２から読み込んで学習処理を行い、例えば、処理が終わった時点で当該符号語をデータバッファ４１２から削除するようにしてもよい。なお、第４の実施形態において、学習処理を第２の実施形態に基づいて行う場合には、学習の際に送信語を用いる必要がないため、書き込んだ符号語をデータバッファ４１２上に保持する処理は不要となる。
制御部４１１は、学習処理を実行するかしないかをメモリシステム４０１の稼働状況に応じて判断する機構を有してもよい。例えば制御部４１１は、メモリシステム４０１のＣＰＵ稼働率がある閾値以下のときのみ学習処理の実行を指示するようにしてもよい。また、例えば制御部４１１は、前回学習処理を行った時刻からある一定以上の時間が経過するまでは、次の学習処理の実行指示を出さないようにしてもよい。
復号部１０３−４は、不揮発性メモリ４２０から読み出された受信語に対して復号を実行する（ステップＳ５０１）。生成部１０４−４は、送信語と、復号部１０３−４による復号結果とが一致するか否かを判定する（ステップＳ５０２）。
一致する場合（ステップＳ５０２：Ｙｅｓ）、生成部１０４−４は、一致することを示す判定結果（ＯＮ）を設定する（ステップＳ５０３）。一致しない場合（ステップＳ５０２：Ｎｏ）、生成部１０４−４は、一致しないことを示す判定結果（ＯＦＦ）を設定する（ステップＳ５０４）。生成部１０４−４は、送信語と受信語と判定結果とを含む学習データを生成し、学習部１０５−４に出力する（ステップＳ５０５）。
学習部１０５−４は、学習データに含まれる判定結果がＯＮを示す場合に、学習データに含まれる送信語および受信語を用いて、Ｗｅｉｇｈｔｅｄ−ＢＰの重みを学習する（ステップＳ５０６）。なお学習部１０５−４は、学習結果を例えばデータバッファ４１２に記憶する。
このように、本実施形態では、復号を実行する装置が、Ｗｅｉｇｈｔｅｄ−ＢＰで用いられる重みを学習する機能も備える。学習時には、復号が不可能なほど雑音が付加された受信語を含まない学習データが用いられるため、学習が阻害されることを回避し、重みの学習をより効率的に実行することが可能となる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１００、１００−２、１００−３ 学習装置
１０１ 取得部
１０２ 雑音付加部
１０３、１０３−４ 復号部
１０４、１０４−２、１０４−３、１０４−４ 生成部
１０５、１０５−４ 学習部
１０６ 出力制御部
１２１ 記憶部
４０１ メモリシステム
４１０ メモリコントローラ
４１１ 制御部
４１２ データバッファ
４１３ メモリＩ／Ｆ
４１４ 符号化／復号部
４１５ ホストＩ／Ｆ
４１６ 内部バス
４１７ 符号化器
４１８ 復号器
４２０ 不揮発性メモリ
４３０ ホスト

Claims (8)

  1. 第１符号語に対して雑音を付加した第２符号語を出力する雑音生成部と、
    前記第２符号語を復号して第３符号語を出力する復号部と、
    前記第３符号語に基づいて、伝達するメッセージに重みが付加されるメッセージパッシング復号における前記重みを学習するための学習データを生成する生成部と、
    前記学習データを用いて前記メッセージパッシング復号における前記重みを学習する学習部と、
    を備える学習装置。
  2. 前記生成部は、前記第１符号語と、前記第２符号語と、前記第１符号語と前記第３符号語とが一致するか否かを示す判定結果と、を含む前記学習データを生成し、
    前記学習部は、前記判定結果が、前記第１符号語と前記第３符号語とが一致することを示す場合に、前記第２符号語を入力とし、前記第１符号語を正解として前記メッセージパッシング復号における前記重みを学習する、
    請求項１に記載の学習装置。
  3. 前記生成部は、前記第１符号語と前記第３符号語とが一致する場合に、前記第１符号語と前記第２符号語とを含む前記学習データを生成する、
    請求項１に記載の学習装置。
  4. 前記生成部は、前記第３符号語と前記第２符号語とを含む前記学習データを生成する、
    請求項１に記載の学習装置。
  5. 前記生成部は、前記第１符号語と前記第３符号語とが一致する場合に、前記第１符号語と、前記第２符号語とを含む前記学習データを生成し、前記第１符号語と前記第３符号語とが一致しない場合に、前記第３符号語と、前記第２符号語を変換した第４符号語とを含む前記学習データを生成する、
    請求項１に記載の学習装置。
  6. 前記メッセージパッシング復号は、伝達するメッセージに重みが付加される確率伝播法である、
    請求項１に記載の学習装置。
  7. 前記メッセージパッシング復号は、前記重みをパラメータとするニューラルネットワークにより表され、
    前記学習部は、前記ニューラルネットワークのパラメータである前記重みを学習する、
    請求項１に記載の学習装置。
  8. 前記復号部は、ＭＡＰ（Maximum A Posteriori）復号、または、ＯＳＤ（Ordered Statistics Decoding）復号により、前記第２符号語を復号して前記第３符号語を出力する、
    請求項１に記載の学習装置。
JP2020014085A 2020-01-30 2020-01-30 学習装置 Pending JP2021121068A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020014085A JP2021121068A (ja) 2020-01-30 2020-01-30 学習装置
US17/005,270 US11418219B2 (en) 2020-01-30 2020-08-27 Learning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020014085A JP2021121068A (ja) 2020-01-30 2020-01-30 学習装置

Publications (1)

Publication Number Publication Date
JP2021121068A true JP2021121068A (ja) 2021-08-19

Family

ID=77062395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020014085A Pending JP2021121068A (ja) 2020-01-30 2020-01-30 学習装置

Country Status (2)

Country Link
US (1) US11418219B2 (ja)
JP (1) JP2021121068A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11356305B2 (en) * 2020-02-24 2022-06-07 Qualcomm Incorporated Method to convey the TX waveform distortion to the receiver
JP2021149286A (ja) * 2020-03-17 2021-09-27 キオクシア株式会社 学習装置
US11742901B2 (en) * 2020-07-27 2023-08-29 Electronics And Telecommunications Research Institute Deep learning based beamforming method and apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0464132A (ja) 1990-07-03 1992-02-28 Fujitsu Ltd ルール部全結合ニューロの学習方法
US5796611A (en) 1994-10-04 1998-08-18 Nippon Telegraph And Telephone Corporation Weather forecast apparatus and method based on recognition of echo patterns of radar images
US11842280B2 (en) * 2017-05-05 2023-12-12 Nvidia Corporation Loss-scaling for deep neural network training with reduced precision
US10382067B2 (en) * 2017-06-08 2019-08-13 Western Digital Technologies, Inc. Parameterized iterative message passing decoder
US20180357530A1 (en) 2017-06-13 2018-12-13 Ramot At Tel-Aviv University Ltd. Deep learning decoding of error correcting codes
EP3418948B1 (en) * 2017-06-19 2020-06-03 Nokia Technologies Oy Data transmission network configuration
US11522564B2 (en) * 2017-06-22 2022-12-06 Telefonaktiebolaget Lm Ericsson (Publ) Neural networks for forward error correction decoding

Also Published As

Publication number Publication date
US11418219B2 (en) 2022-08-16
US20210242888A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
JP5039160B2 (ja) 不揮発性半導体記憶システム
US11501170B2 (en) Electronic device and method of operating the same
JP2021121068A (ja) 学習装置
US9385754B2 (en) Controller, information processing system, method of controlling controller, and program
KR102588969B1 (ko) 오류 정정 디코더 및 이를 포함하는 메모리 시스템
JP2013080450A (ja) メモリ装置
US10574272B2 (en) Memory system
US11356124B2 (en) Electronic device
JP6957392B2 (ja) メモリシステム
JP2018182735A (ja) プリサチュレーション補償付き低密度パリティチェック（ｌｄｐｃ）デコーダ
JP6847796B2 (ja) メモリシステム
JP2019125910A (ja) メモリシステム
US20180276069A1 (en) Memory controller, memory system, and control method
KR20190125866A (ko) 에러 정정 회로 및 이의 동작 방법
JP2022124682A (ja) メモリシステム
US20210091792A1 (en) Memory system
KR20200033688A (ko) 에러 정정 회로 및 이의 동작 방법
US8429508B2 (en) Data storage apparatus with encoder and decoder
US20200264951A1 (en) Memory system and method of controlling non-volatile memory
KR20230132697A (ko) 일반 연결 코드 코드워드를 디코딩하는 장치, 저장 시스템 및 그 제어 방법
US20230083269A1 (en) Multidimensional encoding and decoding in memory system
US20210058097A1 (en) Memory system and method for controlling non-volatile memory
US11567830B2 (en) Memory system
JP2021141369A (ja) メモリシステム
JP2021149286A (ja) 学習装置