DE60219228T2

DE60219228T2 - Verfahren zur Herstellung einer Kunststofffolie

Info

Publication number: DE60219228T2
Application number: DE60219228T
Authority: DE
Inventors: Tadahiro Kegasawa; Ryuichi Katsumoto; Masanori Takase; Hidetoshi Okamura
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2001-02-16
Filing date: 2002-02-15
Publication date: 2008-01-03
Also published as: US20040163769A1; EP1232846A1; EP1693195A2; EP1693195A3; US20020112813A1; DE60219228D1; DE60219228T9; US6896832B2; EP1232846B1; US7111657B2

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft im Allgemeinen das Gebiet der Fehler korrigierenden Codes für Datenspeicherung und Datenübertragung, und im Speziellen das Bewerten und das Optimieren von Fehler korrigierenden Codes für Datenblöcke mit mittleren Längen.
Hintergrund der Erfindung
Ein fundamentales Problem auf dem Gebiet der Datenspeicherung und -Kommunikation ist es, optimale oder nahezu optimale Fehler korrigierende Codes (ECC) für Daten mit einer gegebenen Blocklänge und Übertragungsrate zu erzeugen, die auch praktikabel dekodiert werden können. Dieses Problem ist nun nahezu gelöst für kleine Blocklängen, zum Beispiel Blöcke einer Länge N < 100 Bits, und für sehr große Blocklängen, zum Beispiel N > 10⁶ Bits. Allerdings haben Fehler korrigierende Codes, die in vielen Anwendungen verwendet werden, zum Beispiel in drahtloser Kommunikation, typischerweise Blocklängen in einem mittleren Bereich um N = 2000 Bits. Es bleibt ein Problem, für diese Blocklängen optimale Codes zu erzeugen.
Eine hohe Anzahl von Fehler korrigierenden Codes sind für kleine Blocklängen bekannt, wobei viele von diesen als optimal oder nahezu optimal gelten. So lange die Blocklänge klein genug ist, können dieses ECC praktikabel dekodiert werden und größte Wahrscheinlichkeit(„maximum likelihood")-Dekodierer optimal verwendet werden.
Das Problem, optimale Codes für sehr große Blocklängen zu finden, wurde im Wesentlichen durch Paritätsprüfungen gelöst, die durch generalisierte Paritätsprüfmatrizen definiert wurden. Diese Arten von Codes wurden zuerst von R.G. Gallager in „Low density parity check codes", Bd. 21, Research Monograph Series, MIT press, 1963, beschrieben, aber wurden bis vor kurzem nicht besonders gewürdigt. In letzter Zeit wurden verbesserte Codes beschrieben, die durch wenig generalisierte Paritätsprüfungsmatrizen definiert wurden, wie Turbocodes, irreguläre Low-Density-Parity-Check(LDPC)-Codes, Kanter-Saad-Codes, Repeat-Accumulate-Codes und irreguläre Repeat-Accumulate-Codes.
Diese verbesserten Codes haben drei besonders erwähnenswerte Vorteile. Erstens können die Codes effizient dekodiert werden, in dem iterative Belief-Propagation(BP)-Dekodierung verwendet wird. Zweitens kann die Performance dieser Codes oft theoretisch a nalysiert werden, in dem ein Dichtebewertungsverfahren („density evaluation method") in dem Grenzbereich unendlicher Blocklängen verwendet wird. Drittens, in dem ein Dichtebewertungsverfahren verwendet wird, kann gezeigt werden, dass diese Codes nahezu optimale Codes sind. In dem Grenzbereich unendlicher Blocklängen dekodiert eine BP-Dekodierung dieser Codes alle Datenblöcke, die einen Rauschlevel unter einen Schwellenwertlevel haben, und dieser Schwellenwertelevel ist oft nicht weit entfernt von dem Shannon-Limit.
Der bevorzugte Weg des Standes der Technik für die Erzeugung verbesserter Codes ist gewesen, die Codes für das unendliche Blocklängenlimit zu optimieren, in dem eine Dichteevolution verwendet wird, wie beschrieben von T. J. Richardson und R. L. Urbanke in „The capacity of low-density parity-check codes under message-passing decoding", IEEE Trans. Inform. Theory, Bd. 47, Nr. 2, Februar 2001, Seiten 599-612, und zu hoffen, dass eine herabskalierte Version noch immer auf einen nahezu optimalen Code hinausläuft. Das Problem mit diesem Verfahren ist, dass zumindest für N < 10⁴ die Blocklänge noch merklich weit weg von dem unendlichen Blocklängen-Limit ist. Insbesondere werden viele Dekodierungsfehler bei Rauschleveln weit unterhalb des Schwellenwertlevels, der durch unendliche Blocklängen-Rechnungen ermittelt wurde, gefunden. Des Weiteren muss es sogar nicht notwendigerweise einen Weg geben, um die über das Dichteevolutionsverfahren erhaltenen Codes herabzuskalieren.
Zum Beispiel haben die bekanntesten irregulären LDPC-Codes bei einer gegebenen Rate in dem N → ∞ – Grenzbereich variable Knoten, die in Hunderten oder sogar Tausenden von Paritätsprüfungen teilnehmen sollen, was nicht sinnvoll ist, falls die gesamte Zahl von Paritätsprüfungen 100 oder weniger ist.
Dichte-Bewertungsverfahren für einen binären Auslöschungskanal (BEC)
Das Dichtebewertungsverfahren ist einfach für einen binären Auslöschungskanal. Ein binärer Löschkanal ist ein binärer Input-Kanal mit drei Output-Symbolen: 0, 1 und eine Auslöschung, die durch ein Fragezeichen „?" repräsentiert werden kann. Weil dieses Verfahren einen wichtigen Hintergrund für das Verfahren gemäß der vorliegenden Erfindung darstellt, wird es im Folgenden genauer beschrieben.
Paritätsprüfcodes
Binäre Fehler korrigierende lineare Blockcodes können in Form von einer Prüfmatrix definiert werden. In einer Prüfmatrix A repräsentieren die Spalten übertragene variable Bits, und die Zeilen definieren Beschränkungen oder Prüfungen zwischen den variablen Bits. Genauer, die Matrix A definiert eine Menge von gültigen Vektoren oder Codewörtern z, so dass jede Komponente von z entweder 0 oder 1 ist, und Az = 0 (1)gilt, wobei alle Multiplikationen und Additionen Modulo 2 sind.
Falls die Paritätsprüfmatrix N Spalten und N-k Zeilen hat, definiert in diesem Fall die Paritätsprüfung einen Fehler korrigierenden Code mit der Blocklänge N und der Übertragungsrate k/N, es sei denn, dass einige der Zeilen linear abhängig sind, wobei in diesem Fall einige der Paritätsprüfungen redundant sind, und der Code tatsächlich eine höhere Übertragungsrate besitzt.
Wie in der 1 gezeigt wird gibt es eine korrespondierende Tanner-Darstellung für jede Paritätsprüfmatrix, siehe R. M. Tanner, „A recursive method to low complexity codes", IEEE Trans. Info. Theory, IT – 27, Seiten 533-547, 1981. Der Tanner-Graph 100 ist eine zweiteilige grafische Darstellung mit zwei Typen von Knoten: Variable Knoten i, die mit Kreisen dargestellt sind, und Prüfknoten a, die mit Quadraten dargestellt sind. In der Tanner-Darstellung ist jeder variabler Knoten mit dem Prüfknoten verbunden, der an der Prüfung für den variablen Knoten i teilnimmt. Zum Beispiel wird die Paritätsprüfmatrix
durch die zweiteilige Tanner-Darstellung, die in der 1 gezeigt ist, dargestellt.
Es versteht sich, dass in praktischen Anwendungen diese grafischen Darstellungen typischerweise Tausende von Knoten umfasst, die in einer beliebigen Zahl von unterschiedlichen Weisen miteinander verknüpft sind und viele Schleifen enthalten. Es ist schwierig, solche Darstellungen zu analysieren, um optimale Konfigurationen zu bestimmen.
Fehler korrigierende Codes, die über Paritätsprüfmatrizen definiert wurden, sind linear. Dies heißt, dass jedes Codewort eine lineare Kombination von anderen Codewörtern ist. In einer Prüfmatrix gibt es 2^k mög liche Prüfwörter, jedes mit einer Länge von N. Im Falle des Beispiels von oben sind die Codewörter 000000, 001011, 010110, 011101, 100110, 101101, 110011, 111000. Wegen der linearen Eigenschaft ist jedes der Codewörter repräsentativ. Für den Zweck, einen Code zu analysieren, wird deswegen gewöhnlich angenommen, dass das Ausschließlich-Nullen-Codewort übertragen wurde.
Belief-Propagation-Dekodierung in dem BEC
Ein Input-Bit passiert den binären Löschkanal als eine Auslöschung mit der Wahrscheinlichkeit x und wird mit der Wahrscheinlichkeit 1-x korrekt empfangen. Es ist wichtig zu beachten, dass der BEC niemals Bits von 0 zu 1 flippt, oder umgekehrt. Falls Ausschließlich-Nullen-Codewörter übertragen werden muss das empfangene Wort ausschließlich aus Nullen und Löschungen bestehen.
Der Empfänger verwendet einen Belief-Propagation(BP)-Dekodierer (übersetzt etwa „Vertrauensfortpflanzungsdekodierer"), um die Input-Bits zu dekodieren, in dem diskrete Nachrichten zwischen den Knoten des Tanner-Graphen übergeben werden. Eine Nachricht m_ia wird von jedem variablen Knoten i zu jedem Prüfknoten, der mit diesem verbunden ist, geschickt. Die Nachricht repräsentiert den Status des variablen Knoten i. Im Allgemeinen kann die Nachricht in drei Zuständen sein: 1, 0 oder „?", aber weil das Ausschließlich-Nullen-Codewort immer übertragen wird, kann die Wahrscheinlichkeit, dass m_ia den Wert 1 hat, ignoriert werden.
Auf ähnliche Weise wird eine Nachricht m_ai von jedem Prüfknoten a an alle variablen Knoten i, die mit dem Prüfknoten verbunden sind, geschickt. Diese Nachrichten werden als Direktiven von dem Prüfknoten a an den variablen Knoten i interpretiert, in welchem Status der variable Knoten sich befinden sollte. Diese Nachricht basiert auf den Zuständen der anderen variablen Knoten, die mit dem Prüfknoten verbunden sind. Die „check-to-bit"-Nachrichten können im Prinzip die Werte 0, 1 oder „?" haben, aber es sind wieder nur die beiden Nachrichten 0 und ? relevant, wenn das Ausschließlich-Nullen-Codewort übertragen wird.
In dem BP-Dekodierprozess für den BEC ist eine Nachricht m_ia von einem variablen Knoten i an einen Prüfknoten a gleich einer empfangenen Nicht-Auslöschung-Nachricht, weil solche Nachrichten immer korrekt in dem BEC sind, oder gleich einer Auslöschung, falls alle eingehenden Nachrichten Auslöschungen sind. Eine Nachricht m_ia von einem Prüfknoten a an einen variablen Knoten i ist eine Auslöschung, falls irgend eine Nachricht von einem anderen Knoten, der an dieser Prüfung teilnimmt, eine Auslöschung ist; andernfalls nimmt es den Wert der binären Summe von allen eingehenden Nachrichten der Knoten, die an der Prüfung teilnehmen, an.
Das BP-Dekodieren ist iterativ. Die Nachrichten werden so initialisiert, dass alle variablen Knoten, die nicht durch den Kanal ausgelöscht sind, Nachrichten aussenden, die gleich dem entsprechenden empfangenen Bit sind, und alle anderen Nachtrichten sind am Anfang Auslöschungen. Das Iterieren des BP-Nachrichten-Prozesses führt schließlich zu einem Konvergieren zu stationären Nachrichten, weil die Konvergenz von BP-Dekodierung für den besonders einfachen BEC garantiert ist, jedoch nicht für andere Kanäle. Der endgültige dekodierte Wert von irgendeinem ausgelöschten variablen Knoten ist gerade der Wert von irgend einer Nicht-Auslöschung-Nachricht, die in den Knoten hineingeht, ausgenommen der Fall, dass es keine hineingehende Nicht-Auslöschung-Nachricht gibt. In diesem letzteren Fall endet der BP-Dekodier-Prozess und verfehlt es, den bestimmten variablen Knoten zu dekodieren.
Dichte-Evolution
Im Folgenden wird nun die durchschnittliche Wahrscheinlichkeit eines Fehlers für das BP-Dekodieren über viele Blöcke betrachtet. Eine reelle Zahl p_ia, die die Wahrscheinlichkeit darstellt, dass die Nachricht m_ia eine Auslöschung ist, wird mit jeder Nachricht m_ia assoziiert. Auf ähnliche Weise wird eine reelle Zahl q_ai, die die Wahrscheinlichkeit darstellt, dass die Nachricht m_ai eine Auslöschung ist, mit jeder Nachricht m_ai assoziiert. In dem Dichte-Evolutionsverfahren werden die Wahrscheinlichkeiten p_ia und q_ai in einer Art und Weise bestimmt, die exakt ist, so lange der Tanner-Graph, der den Fehler korrigierenden Code darstellt, keine Schleifen besitzt.
Die Gleichung für p_ia ist
wobei b ∊ N(i)\a alle Prüfknoten darstellt, die direkt mit einem benachbarten variablen Knoten i verbunden sind, außer dem Prüfknoten a. Diese Gleichung kann aus der Tatsache abgeleitet werden, dass, damit eine Nachricht m_ia eine Auslöschung ist, der variable Knoten i in der Übertragung ausgelöscht werden muss, und alle eingehenden Nachrichten von anderen Prüfungen ebenfalls Auslöschungen sind. Falls die eingehen den Nachrichten korreliert sind, ist diese Gleichung natürlich nicht korrekt. Allerdings ist in einem Tanner-Graphen ohne Schleifen jede eingehende Nachricht unabhängig von allen anderen Nachrichten.
Auf ähnliche Weise kann die Gleichung
von der Tatsache abgeleitet werden, dass eine Nachricht q_ai nur in einem Zustand 0 oder 1 sein kann, wenn alle eingehenden Nachrichten entweder im 0-Zustand oder 1-Zustand sind.
Die Dichte-Evolutionsgleichungen (3) und (4) können durch Iteration gelöst werden. Eine gute Initialisierung ist p_ia = c für alle Nachrichten von variablen Knoten an Prüfknoten und q_ai = 0 für alle Nachrichten von Prüfknoten an variable Knoten, so lange die Iteration mit den q_ai Nachrichten beginnt. Die BEC-Dichte-Evolutionsgleichungen konvergieren ultimativ. Dies kann für Codes garantiert werden, die durch Graphen ohne Schleifen definiert werden können. Es ist möglich, b_i, was die Wahrscheinlichkeit des Misserfolgs ist, an dem variablen Knoten i zu dekodieren, durch die Formel
zu bestimmen.
Exakte Lösung eines kurzen Codes
Wie oben ausgeführt wurde sind die Dichte-Evolutionsgleichungen (3), (4) und (5) exakt, falls der Code eine Darstellung als Tanner-Graph ohne Schleifen aufweist.
Betrachte den Fehler korrigierenden Code, der durch eine Paritätsprüfmatrix
definiert wird und durch einen entsprechenden Tanner-Graphen dargestellt wird, der in der 2 gezeigt ist. Dieser Code hat vier Codewörter: 0000, 0011, 1101 und 1110. Falls die 0000-Nachricht übertragen wird, gibt es 16 möglich empfangene Nachrichten: 0000, 000?, 00?0, 00??, 0?00 und so weiter. Die Wahrscheinlichkeit, eine Nachricht mit n_e Auslöschungen zu empfangen, ist x^ne(1 – x)^4-ne. Nachrichten könnten teilweise oder vollständig durch den BP-Dekodierer dekodiert werden; zum Beispiel wird die empfangene Nachricht ?00? vollständig zu 0000 dekodiert, aber die Nachricht 0??? wird nur teilweise zu 00?? dekodiert, weil nicht genug Information vorhanden ist um festzustellen, ob das übertragene Codewort entweder 0000 oder 0011 war.
Es ist einfach, die exakte Wahrscheinlichkeit zu bestimmen, dass ein gegebenes Bit nach dem Dekodieren eine Auslöschung bleibt, in dem man über die 16 möglich empfangenen Nachrichten summiert, wobei diese jeweils durch ihre Wahrscheinlichkeit gewichtet sind. Zum Beispiel wird das erste Bit nur als eine Auslöschung dekodiert, falls eine der folgenden Nachrichten empfangen wird: ???0, ??0? oder ????, so dass die korrekte Wahrscheinlichkeit, dass das erste Bit nicht dekodiert ist, 2x³(1 – x) + x⁴ = 2x³ – x⁴ ist.
Fall der Fokus auf dem letzten Bit liegt, dann wird die Nachricht dekodiert, ausgenommen, eine der folgenden Nachrichten wird gesendet: 00??, 0???, ??0? oder Deswegen ist die gesamte Wahrscheinlichkeit, dass das vierte Bit nicht dekodiert wird, x²(1 – x) + 3x³(1 – x) + x⁴ = x² + x³ – x⁴. In dem Dichte-Evolutionsverfahren werden die Werte für die folgenden Variablen:
p₁₁, p₂₁, p₂₂, p₃₂, p₄₂, q₁₁, q₁₂, q₂₂, q₂₃, q₂₄, b₁, b₂, b₃, b₄
durch die Gleichungen p11 = x (7) p21 = xq22 (8) p22 = xq12 (9) p32 = x (10) p42 = xq11 = p21 (11) p12 = p11 (12) p22 = 1 – (1 – p32)(1 – p42) (13) p23 = 1 – (1 – p22)(1 – p42) (14) p24 = 1 – (1 – p22)(1 – p42) (15) und b1 = xq11 (16) b2 = xq12q22 (17) b3 = xq23 (18) b4 = xq24 (19)bestimmt.
Das Lösen der Gleichungen ergibt p11 = x (20) p21 = 2x2 – x3 (21) p22 = x2 (22) p32 = x (23) p42 = x (24) p11 = 2x2 – x3 (25) und q12 = x (26) q22 = 2x – x2 (27) q23 = x + x2 – x3 (28) q24 = x + x2 – x3 (29) und b1 = 2x3 – x4 (30) b2 = 2x3 – x4 (31) b3 = x2 + x3 – x4 (32) b4 = x2 + x3 – x4 (33)
Untersucht man die Ergebnisse für b₁ und b₄ stellt man fest, dass die Dichte-Evolutionslösung exakt mit der direkten Vorgehensweise für diesen Code übereinstimmt.
Das große Blocklängen-Limit
Falls alle lokalen Nachbarschaften in dem Tanner-Graphen identisch sind, können die Gleichungen der Dichteevolution vereinfacht werden. Zum Beispiel, falls jeder variable Knoten i mit d_v Paritätsprüfungen verbunden ist, und jeder Prüfknoten a mit d_c variablen Knoten verbunden ist, dann sind all die p_ia gleich dem selben Wert p, all die q_ai sind gleich dem selben Wert q, und all die b_i sind gleich dem selben Wert b. Dann gilt
und
wobei dies die Dichteevolutionsgleichungen für (d_v, d_c) reguläre Gallager-Codes sind, gültig im Limit N → ∞. Ein regulärer Gallager-Code ist eine Zufallsparitätsprüfmatrix (engl. „sparse random parity check matrix"), die durch die Beschränkung gekennzeichnet ist, dass jede Zeile exakt d_c Einsen aufweist, und jede Spalte exakt d_v Einsen besitzt.
Der intuitive Grund, dass diese Gleichungen im unendlichen Blocklängen-Limit gültig sind, ist, dass mit N → ∞ die Größe von typischen Schleifen in dem Tanner-Graphen von einem regulären Gallager-Code gegen Unendlich streben, so dass alle eingehenden Nachrichten in einem Knoten unabhängig sind, und ein regulärer Gallager-Code sich wie ein Code verhält, der durch einen Graphen ohne Schleifen definiert ist. Das Lösen der Gleichungen (34) und (35) für spezifische Werte von d_v und d_c führt zu einem Ergebnis, dass p = q = b = 0 unterhalb eines kritischen Auslöschungslimit von x_c ist. Dass heißt, dass das Dekodieren perfekt ist. Oberhalb x_c hat b eine Lösung ungleich Null, was dem Vorliegen von Dekodierfehlern entspricht. Der Wert von x_c ist numerisch einfach zu bestimmen. Zum Beispiel, falls d_v = 3 und d_c = 5 gilt, ist x_c ≈ 0,51757.
Die Dichteevolutionsrechnungen können zu irregulären Gallager-Codes verallgemeinert werden, oder zu anderen Codes, wie irreguläre Wiederhole-Akkumuliere-Codes (engl. „repeat-acculumate codes"), die eine begrenzte Anzahl von verschiedenen Klassen von Knoten mit verschiedenen Nachbarschaften haben. In dieser Verallgemeinerung kann man ein Gleichungssystem ableiten, typischerweise mit einer Gleichung für die Nachrichten, die jede Knoten-Klasse verlassen. Durch das Lösen des Gleichungssystems kann man wieder einen kritischen Schwellenwert x_c finden, unterhalb dem das Dekodieren perfekt ist. Solche Codes können folglich in dem N → ∞ Limit optimiert werden, in dem der Code gefunden wird, der einen maximalen Rausch-Schwellenwert x_c hat.
Unglücklicherweise ist das Dichteevolutionsverfahren fehlerhaft für Codes mit begrenzter Blocklänge. Man könnte denken, dass es möglich ist, die Gleichungen (3) und (4) für jeden begrenzten Code zu lösen und hoffen, dass das Ignorieren der Anwesenheit von Schleifen nicht zu zu bedeutenden Fehlern führt. Allerdings klappt dies nicht, was gesehen werden kann, wenn reguläre Gallager-Codes betrachtet werden. Die Gleichungen (3, 4 und 5) für einen reguläre Gallager-Code mit begrenzter Blocklänge haben exakt die selben Lösungen, die man im unendlichen Blocklängen-Limit finden würde, so dass man nicht irgendwelche begrenzte-Größen-Effekte vorhersagen würde. Allerdings ist es bekannt, dass die wirkliche Performance von regulären Gallager-Codes mit begrenzter Blocklänge erheblich schlechter ist als die, die mit einer solch naiven Methode vorhergesagt wird.
Deswegen gibt es einen Bedarf für ein Verfahren, Fehler korrigierende Codes mit einer endlichen Länge korrekt zu evaluieren, dass nicht unter den Problemen der Verfahren des Standes der Technik leidet.
Zusammenfassung der Erfindung
Die vorliegende Erfindung schafft ein Verfahren für das Bewerten eines Fehler korrigierenden Codes für einen Datenblock mit einer endlichen Größe in einem binären Auslöschungskanal oder einem AWGN-Kanal (engl. „additive White Gaussian noise channel"). Ein Fehler korrigierender Code wird definiert über eine verallgemeinerte Paritätsprüfmatrix, in der Spalten variable Bits repräsentieren und Zeilen Paritätsbits repräsentieren. In einer Notation der Matrix werden „versteckte" variable Bits, die nicht über den Kanal übertragen werden, durch einen Balken über der korrespondierenden Spalte der verallgemeinerten Paritätsprüfmatrix dargestellt. Die generalisierte Paritätsprüfmatrix wird als eine zweiteilige graphische Darstellung dargestellt. Ein einzelner Knoten in der zweiteiligen graphischen Darstellung wird iterativ renormiert (im Folgenden wird als Synonym auch der Begriff „renormalisieren" verwendet), bis die Anzahl der Knoten in dem zweiteiligen Graphen kleiner ist als ein vorher festgelegter Schwellenwert.
Während der iterativen Renormalisation wird ein bestimmter variabler Knoten als Zielknoten ausgewählt, und ein Abstand zwischen dem Zielknoten und jedem anderen Knoten in der zweigeteilten graphischen Darstellung wird gemessen. Danach, falls es zumindest einen variablen „Ast"-Knoten gibt, renormiere einen variablen Astknoten, der am weitesten von dem Zielknoten entfernt ist, andernfalls, renormiere einen Prüfastknoten, der am weitesten von dem Zielknoten entfernt ist, und andernfalls, renormiere einen vari ablen Knoten, der am weitesten von dem Zielknoten entfernt ist, und der am wenigsten direkt verbundene Prüfknoten aufweist. Astknoten sind in der Darstellung nur mit einem anderen Knoten verbunden.
Falls die Anzahl der Knoten in dem Graphen kleiner ist als der vorbestimmte Schwellenwert, wird die Dekodierfehlerrate für den Zielknoten exakt bestimmt.
Die vorliegende Erfindung schafft ein Verfahren für die Optimierung von Fehler korrigierenden Codes, in dem nach dem Fehler korrigierenden Code einer spezifischen Datenblockgröße und Übertragungsrate mit der besten Performance gesucht wird im Hinblick auf Dekodierfehler als eine Funktion des Rauschens. Die Dekodierfehlerraten für übertragene variable Bits werden verwendet, um die Suche nach einem optimalen Code zu lenken.
Kurze Beschreibung der Zeichnungen
1 zeigt einen zweigeteilte graphische Darstellung gemäß des Stands der Technik, die einen Fehler korrigierenden Code, der eine Schleife enthält, darstellt;
2 zeigt eine zweigeteilte graphische Darstellung, die einen einfachen Fehler korrigierenden Code gemäß dem Stand der Technik darstellt;
3a–3e sind zweigeteilte graphische Darstellungen, die gemäß der Erfindung renormiert sind;
4 ist eine zweigeteilte graphische Darstellung, die gemäß der Erfindung renormiert werden soll;
5 ist eine zweigeteilte graphische Darstellung mit Schleifen, die renormiert werden soll;
6 zeigt eine Erweiterung einer zweigeteilten graphischen Darstellung, die renormiert werden soll;
7 ist eine zweigeteilte graphische Darstellung mit einer Schleife, die eine generalisierte Paritätsprüfmatrix darstellt, die renormiert werden soll;
8 ist eine graphische Darstellung, die Verfahren zur Bewertung von Fehler korrigierenden Codes vergleicht.
9 ist ein Flussdiagramm eines Renormierungsgruppe-Verfahrens gemäß der Erfindung;
10 ist ein Flussdiagramm des Verfahrens gemäß der Erfindung für eine graphische Darstellung mit Schleifen.
Ausführliche Beschreibung der bevorzugten Ausführungsform
Renormierungsgruppe-Verfahren
Unsere Erfindung bewertet Fehler korrigierende Codes, in dem Renormierungsgruppe-Transformationen im reellen Raum verwendet werden. Unser Renormierungsgruppe(RG)-Verfahren basiert auf Techniken für die Analyse von magnetischen Spinsystemen, beschrieben von T. Niemeijer und J. M. J. van Leeuwen in „Phasenübergänge und kritische Phänomene", Editoren C. Domb und M. S. Green, Bd. 6, Academic Press, London, 1976. Renormierungsgruppen wurden niemals für Fehler korrigie rende Codes, die für die Speicherung und Übertragung verwendet werden, angewendet.
Um die Performance von einem großen aber endlichen Fehler korrigierenden Code zu bewerten, ersetzen wir iterativ den großen Code mit einem etwas kleineren Code, der die selbe oder fast die selbe Performance, dass heißt, die Dekodierfehlerrate, besitzt. Insbesondere behalten wir für jeden Schritt in unserem iterativen Verfahren einen Tanner-Graphen und einen Satz an Wahrscheinlichkeitsvariablen p_ia und q_ai, die mit den Nachrichten, die von den Knoten des Graphen übertragen werden, verknüpft sind. Im Rahmen der Beschreibung der Erfindung bezeichnen wir die Kombination des Tanner-Graphen und der p und q – Variablen als einen „dekorierten Tanner-Graphen". Die Grundlage unseres RG-Verfahrens ist die RG-Transformation, mit der wir iterativ einzelne Knoten in dem dekorierten Tanner-Graphen eliminieren, dass heißt, „renormieren", und die verbleibenden Werte der p und q Nachrichten so anpassen, so dass der kleinere Fehler korrigierende Code eine Dekodierfehlerrate so nahe wie möglich an der des ersetzten Codes hat.
Auf diese Weise schrumpft mit jedem Renormierungsschritt der dekorierte Tannergraph, der unseren Code darstellt, um einen Knoten, bis der Graph letztlich klein genug ist, dass die Performance des Fehler korrigierenden Codes in einer effizienten Weise bestimmt werden kann. Im Gegensatz dazu ändern die Dichteevolutionsmethoden gemäß des Stands der Technik nie die Anzahl der Knoten oder die Art, wie die Knoten miteinander verbunden sind. Ihre Graphen sind, in anderen Worten, statisch, während unsere Graphen sich dynamisch während der Renormierung ändern. Wenn unser Graph klein genug ist, dass heißt, wenn die Anzahl der verbleibenden Knoten kleiner ist als ein zuvor festgelegter Schwellenwert, kann die Fehlerrate leicht bestimmt werden. In einer Ausführungsform reduzieren wir den Graphen bis auf einen einzelnen Knoten.
Die 9 zeigt die Schritte des generellen Verfahrens 900 gemäß unserer Erfindung. Für jeden ausgewählten variablen „Ziel"-Knoten i in unserem dekorierten Tannergraphen, für den die Dekodierfehlerrate b_i zu bestimmen ist, renormiere wiederholt einen einzelnen Knoten von dem Graphen, wobei dieser Knoten ein anderer ist als der Zielknoten, bis ein vorbestimmter Schwellenwert 950 erreicht ist. Der Schwellenwert kann entweder als eine gewünschte Anzahl von Knoten ausgedrückt werden, oder als eine gewünschte Fehlerrate für den verbleibenden Knoten. Die Knoten werden wie folgt renormiert.
Messe 910 die „Abstände" zwischen jedem anderen Knoten und dem Zielknoten i. Der Abstand zwischen zwei Knoten ist das Minimum der Anzahl von Knoten, die man passiert, um von einem Knoten zum anderen Knoten zu gelangen, dass heißt, die Anzahl der intervenierenden Knoten.
Fall es irgendwelche variablen „Ast"-Knoten gibt, renormiere 920 in diesem Falle einen Astknoten, der am weitesten von dem Zielknoten entfernt ist. Ein Knoten ist ein Astknoten, falls dieser Knoten nur mit einem anderen Knoten in dem Graphen verbunden ist. Bindungen im Abstand können zufällig gebrochen werden.
Andernfalls, falls es keine variablen Astknoten gibt, renormiere 930 in diesem Falle einen Prüf"Ast"knoten, der am weitesten von dem Zielknoten entfernt ist. Wieder können Bindungen zufällig gebrochen werden.
Andernfalls, falls es keine Prüfastknoten gibt, renormiere 940 einen variablen Knoten aus der Menge der Knoten, die am weitesten von dem Zielknoten entfernt sind, der mit der geringsten Anzahl von Prüfknoten direkt verbunden ist. Wieder können Bindungen zufällig gebrochen werden.
Die Renormierungsschritte werden iterativ wiederholt, bis der Graph bis zu der gewünschten Anzahl von Knoten reduziert wurde. Die Details dieser Schritte werden weiter unten ausführlicher beschrieben.
Die obigen Schritte können auf so viele Zielknoten wie gewünscht angewendet werden. Zum Beispiel kann die durchschnittliche Fehlerrate von jedem Knoten in dem Graphen bestimmt werden. In einer praktischen Anwendung wird die Renormierung für Zielknoten verwendet, die Gruppen von „Like"-Knoten (engl. „like nodes") darstellen. Dann kann bestimmt werden, ob die Gruppe der Knoten „stark" oder „schwach" in Bezug ihrer Fehler-korrigierenden Fähigkeiten ist. Diese Information kann dann dazu verwendet werden, die gesamte Performance der Fehler korrigierenden Codes zu verbessern. Zum Beispiel können Knoten in schwachen Gruppen mit mehr Paritätsprüfungen verbunden werden. Auf diese Weise schafft die Erfindung Mittel für die Verbesserung von Fehler korrigierenden Codes in einer strukturierten Art und Weise.
Die RG Transformation für dekorierte Tannergraphen ohne Schleifen
Zuerst betrachten wir Tannergraphen ohne Schleifen und bestimmen die RG-Transformationen, die ausreichend sind, um exakte Fehlerraten für derartige Fehler korrigierende Codes zu liefern. Dann dehnen wir die RG-Transformationen aus, um gute genäherte Ergebnisse für Tannergraphen mit Schleifen zu erhalten.
Wir initialisieren unseren dekorierten Tannergraphen immer so, dass alle b_i = x, p_ia = x, und alle q_ai = 0 sind. Wir sind an der Dekodierfehlerrate b_i an dem spezifizierten variablen Zielknoten i interessiert. Unser Verfahren 900 erhält b_i, in dem wiederholt Knoten renormiert werden, je ein Knoten zu einer Zeit, wie oben beschrieben, wobei der Knoten ein anderer als der variable Zielknoten i selbst ist.
Die erste Möglichkeit ist es, den variablen Astknoten, der am weitesten weg ist und mit dem Zielknoten i verbunden ist, zu renormieren. Es ist offensichtlich, dass, wenn der Astknoten „verschwindet", die p_ia und q_ai auch verworfen werden. Wir renormieren ebenfalls all die q_aj Variablen, die von dem Zielknoten i zu anderen variablen Knoten j führen. Unsere Formel für diese Renormierung ist: qaj ← 1 – (1 – qaj)(1 – pia) (37)wobei der linke Pfeil indiziert, dass wir den alten Wert von q_aj mit dem neuen Wert ersetzen. Es ist zu beachten, dass jede Renormierung von q_aj deren Wert erhöht.
Wenn wir einen Prüfastknoten a renormieren, der nur mit einem einzelnen variablen Knoten verbunden ist, passen wir die Werte von all den p_ib Variablen an, die zu anderen Prüfknoten b führen, mit denen der Zielknoten i verbunden ist. Die Renormierungsgruppentransformation ist pib ← pibqai (38)
Beachte, dass jede Renormierung von p_ib deren Wert erniedrigt. Zur gleichen Zeit sollten wir ebenfalls die b_i wie folgt renormieren: bi ← biqai (39)
Die Renormierung des Schritts 940 wird weiter unten ausführlicher beschrieben für Graphen mit Schleifen.
Falls nur der Zielknoten i übrig bleibt, verwenden wir den aktuellen Wert des Knotens b_i als unsere RG-Vorhersage der durchschnittlichen Fehlerrate. Wie oben ausgeführt wurde, können diese Schritte für jede beliebige Anzahl von Zielknoten wiederholt werden.
Beispiel
Um das RG-Verfahren gemäß unserer Erfindung besser zu beschreiben, geben wir im Folgenden ein einfaches Beispiel. Erinnern Sie sich an den Fehler korrigierenden Code, der definiert ist durch die Paritätsprüfmatrix
Wir möchten die Dekodierfehlerrate an dem zweiten variablen Knoten b₂ bestimmen. Wir initialisieren p = p₂₁ = p₂₂ = p₃₂ = p₄₂ = x, q₁₁ = q₁₂ = q₂₂ = q₂₃ = q₂₄ = 0 und b₂ = 0.
Wie in der 3(a) gezeigt wird, haben wir den Tannergraphen für diesen Code „dekoriert". Alle variablen Knoten außer des variablen Knotens 2 sind Astknoten, so dass wir jeden von diesen renormieren können. Gemäß unserer allgemeinen Methode 900 renormieren wir den Knoten, der am weitesten von dem Knoten 2 weg ist, wobei Bindungen zufällig gebrochen werden. Falls wir den variablen Knoten 4 auswählen, dann verwerfen wir p₄₂ und q₂₄, und erhalten neue Werte q₂₂ = x und q₂₃ = x, in dem wir die Gleichung (37) verwenden.
Der neue, in seiner Größe reduzierte Tannergraph wird in der 3(b) gezeigt. Im nächsten Schritt renormieren wir den variablen Knoten 3. Wir verwerfen die Knoten p₃₂ und q₂₃ und renormieren den Knoten q₂₂ zu dem Wert 1 – (1 – x)² = 2x – x². Der noch kleinere dekorierte Tannergraph wird in der 3(c) gezeigt. Als nächstes renormieren wir den variablen Knoten 1. Wir verwerfen die Knoten p₁₁ und q₁₁, und erhalten einen noch kleineren renormierten Wert q₁₂ = x. Der Tannergraph wird in der 3(d) gezeigt. Als nächstes renormieren wir den Prüfknoten 2. Wir können die Knoten p₂₂ und q₂₂ verwerfen und erhalten p₂₁ = b₂ = 2x² – x³, wie für den Tannergraphen in 3(e) gezeigt wird. Zum Schluss renormieren wir den Prüfknoten 1. Dies belässt uns nur einen einzelnen variablen Knoten, unseren ursprünglichen Zielknoten 2, und b₂ wird renormiert zu seinem korrekten Fehler, b₂ = 2x³ – x⁴, wie oben beschrieben wurde.
Dieses Beispiel verdeutlicht, warum das RG-Verfahren für ein Codewort, dass über einen Graphen ohne Schleifen definiert ist, exakt ist. Die RG-Trans formationen rekonstruieren im Wesentlichen die Dichteevolutionsgleichungen gemäß des Stands der Technik, und wir wissen, dass Dichteevolution exakt ist für einen derartigen Fehler korrigierenden Code. Der Vorteil unseres RG-Verfahrens ist, dass es eine viel bessere Näherung für Fehler korrigierende Codes liefert, die durch zweiteilige graphische Darstellungen dargestellt werden, die Schleifen enthalten. Es ist wohlverstanden, dass gute Fehler korrigierende Codes, sogar mit moderater Größe, immer Schleifen haben werden, hauptsächlich deswegen, weil Schleifen eine Redundanz ermöglichen, ohne substantiell die Größe des Codes zu erhöhen.
Das RG-Verfahren für einen Graphen mit Schleifen
Für einen Fehler korrigierenden Code, der durch einen Graphen mit Schleifen dargestellt wird, müssen wir letztendlich einen Knoten renormieren 940, der kein Astknoten ist. Es ist zu beachten, dass wir nie einen Prüf-Nichtastknoten renormieren müssen. Um dies auszuführen, sammeln wir zunächst all die Prüfknoten a, b, etc., die mit dem Zielknoten i verbunden sind. Wir verwerfen q_ai, q_bi, p_ia, p_ib, etc. Für einen beliebigen gegebenen Prüfknoten, der mit dem Knoten i verbunden ist, zum Beispiel Prüfknoten a, sammeln wir ebenfalls all die anderen variablen Knoten j, die mit dem Knoten a verbunden sind, und renormieren die Werte von q_aj.
Die Renormierung von den q_aj Variablen kann mit einem unterschiedlichen Grad an Genauigkeit durchgeführt werden. Die einfachste Methode verwendet die Gleichung (37) direkt. Das Problem mit dieser Methode ist, dass der Wert von p_ia immer eine Überabschätzung ist. Man erinnere sich daran, dass p_ia mit jeder Re normierung abnimmt. Weil wir den i-ten Knoten renormieren, bevor er ein Astknoten geworden ist, ist p_ia noch nicht völlig renormiert, und ist auf diese Weise überabgeschätzt.
Anstatt p_ia direkt zu verwenden, könnten wir den Wert verwenden, den dieser haben würde, nachdem wir all die Prüfknoten, die mit diesem verbunden sind, renormiert haben. Dass heißt, wir könnten p_ia in Gleichung (37) mit einem effektiven p_ia ^eff ersetzen, der gegeben ist durch
Auf der anderen Seite wissen wir, dass die Werte der q_bi unter-abgeschätzt sind, weil diese auch noch nicht völlig renormiert worden sind, so dass p_ia ^eff ebenfalls eine Unterabschätzung ist. Wir könnten versuchen, diesen Fehler zu korrigieren, in dem wir eine Ebene weiter gehen. Bevor wir einen p_ia ^eff abschätzen, schätzen wir zuerst die q_bi erneut ab, welche darin eingehen. Auf diese Weise ersetzen wir die p_ia in der Gleichung (37) mit einem effektiven p_ia ^eff, der gegeben ist durch
wobei q_bi ^eff wiederum gegeben ist durch
Fügen wir all dies zusammen, erhalten wir schließlich die RG-Transformation
Die RG-Transformation der Gleichung (44) ist es wert, sie ausführlicher zu beschreiben.
In der 4 zeigen wir den Tannergraphen, bei dem der variable Knoten i mit drei Prüfknoten a, b und c verbunden ist, und bei dem der Prüfknoten a mit einem variablen Knoten j verbunden ist. Die Prüfknoten b und c sind mit variablen Knoten verbunden, die mit k, 1, m und n gekennzeichnet sind. Wir möchten gerne die Wahrscheinlichkeit q_aj kennen, dass der Prüfknoten a an den variablen Knoten j eine Auslöschungs-Nachricht schickt, wobei die Information berücksichtigt wird, die durch den variablen Knoten i fließt.
Wir haben schon eine vorherig angehäufte Wahrscheinlichkeit q_aj, dass der Prüfknoten a an den variablen Knoten j eine Auslöschungs-Nachricht sendet, aufgrund von anderen Knoten, die vorher mit dem Prüfknoten a verbunden waren und schon renormiert wurden.
Die neue Wahrscheinlichkeit einer Auslöschungs-Nachricht kann mit einem logischen Argument bestimmt werden:
„m_aj ist eine Auslöschung, falls es schon eine Auslöschung war, oder falls m_ia eine Auslöschung ist
und
(m_bi oder m_kb oder m_lb sind Auslöschungen) und (m_ci oder m_mc oder m_nc sind Auslöschungen)."
Das Übertragen eines derartigen logischen Argumentes in eine Gleichung für Wahrscheinlichkeiten ist unkompliziert. Falls wir „m₁ und m₂" für zwei Nachrichten in eniem logischen Argument haben, dann übersetzen wir diese Terme in (p₁p₂) für die korrespondierenden Wahrscheinlichkeiten, während sich „m₁ oder m₂" in (1 – (1 – p1)(1 – p2)) übersetzt. Das Konvertieren unseres gesamten logischen Arguments für die 4 in eine Gleichung für Wahrscheinlichkeiten versetzt uns in die Lage, ein Beispiel für die RG-Transformation der Gleichung (44) zurückzugewinnen.
Wir haben immer eine RG-Transformation für q_aj, die mit der Logik der lokalen Nachbarschaft um den variablen Knoten i herum, den wir renormieren, korrespondiert. In der Tat ist die RG-Transformation, die in Gleichung (44) aufgeführt ist, zutreffend, falls die lokale Nachbarschaft des Knotens i baumartig ist, aber sollte angepasst werden, wenn es Schleifen in der lokalen Nachbarschaft gibt.
Zum Beispiel zeigt die Darstellung in der 5 einen Fall, bei dem ein variabler Knoten k mit zwei Prüfknoten b und c verbunden ist, welche wiederum mit einem variablen Knoten i verbunden sind, der zu renormieren ist. Es ist zu beachten, dass, bevor die Prüfknoten b und c renormiert werden, die Wahrscheinlichkeiten p_kb und p_kc, dass der variable Knoten k eine Auslöschung aussendet, identisch sein müssen, weil alle Renormierungen von p_kb und p_kc hintereinander ablaufen.
Unser logisches Argument dafür, ob der Prüfknoten a dem variablen Knoten j eine Auslöschungsnachricht schickt, ist folglich:
„m_aj ist eine Auslöschung, falls es schon eine Auslöschung gewesen ist oder falls ((m_ia ist eine Auslöschung)
und
((m_kb ist eine Auslöschung) oder (m_bi und m_ci sind Auslöschungen)))."
An diesem Punkt des Renormierungsprozesses muss, falls m_kb eine Auslöschung ist, m_kc ebenso eine Auslöschung sein. Wenn wir unser logisches Argument in eine RG-Transformation konvertieren, erhalten wir qaj ← 1 – (1 – qaj)(1 – pia(1 – (1 – pkb)(1 – qbiqci))) (45)
Der Schritt für die Renormierung eines variablen Nicht-Ast-Knoten i kann zunehmend akkurater gemacht werten, in dem die Größe der Nachbarschaft um den Knoten erhöht wird, die korrekt behandelt wurde. Natürlich müssen wir, wenn wir die Größe der Nachbarschaft erhöhen, die erhöhte Genauigkeit mit höherem Rechenaufwand bezahlen.
Die 10 fasst ein Verfahren für die Renormierung eines variablen Knotens, der kein Astknoten ist, zusammen, dass heißt, Schritt 940 der 9.
Der Schritt 1010 zählt alle Prüfknoten a, b, etv. durch, die mit dem variablen Knoten, der renormiert werden soll, verbunden sind, nd verwirf all die Wahrscheinlichkeitsvariablen p_ia, p_ib, q_ai, q_bi, etc. zwischen diesen Prüfknoten und dem variablen Knoten.
Für jeden variablen Knoten j, der mit einem der benachbarten Prüfknoten a verbunden ist, renormiere den Wert von q_aj gemäß der folgenden Unterschritte:
Schritt 1020 findet alle Prüfknoten und variable Knoten in der lokalen Nachbarschaft bis zu einem vorbestimmten Abstand von dem variablen Knoten i, der renormiert werden soll. Die Abstände werden gemessen, wie oben beschrieben.
Verwende ein logisches Argument, um festzustellen 1030, welche Kombinationen von Auslöschungsnachrichten es bewirken, dass die Nachricht von dem Prüfknoten a an den variablen Knoten j ebenfalls eine Auslöschung ist.
Übersetzte 1040 das logische Argument in eine RG-Transformation für q_aj, wie oben beschrieben.
Exaktes Beenden der RG-Transformation
Wie oben ausgeführt wurde kann unser RG-Verfahren immer Knoten renormieren, bis nur der Zielkonten i übrig ist, und dann die Dekodierfehlerrate b_i bestimmen. Andererseits können wir ebenso eine ausreichende Anzahl von Knoten renormieren, um eine exakte Bestimmung zu machen.
Für den Zweck, die exakte Bestimmung zu beschreiben, stellen wir dafür den Fehler korrigierenden Code durch einen Tannergraphen mit N Knoten dar und assozieren eine Auslöschungswahrscheinlichkeit x_i mit jedem Knoten i des Graphen. Dieser „Auslöschungsgraph" ist verschieden zu den dekorierten Tannergraphen 301-305, die oben beschrieben wurden. Die Dekodierfehlerrate kann für einen Auslöschungsgraphen exakt bestimmt werden, aber die exakte Berechnung ist nur praktikabel, wenn die Anzahl der Knoten in dem Auslöschungswahrscheinlichkeitsgraphen klein ist. Wir beschreiben, wie man die Dekodierfehlerrate für einen Auslöschungswahrscheinlichkeitsgraphen exakt bestimmt, und stellen nachfolgend dar, wir man einen dekorierten Graphen gemäß der Erfindung in einen äquivalenten Auslöschungsgraphen konvertiert.
Um die Dekodierfehlerrate eines gegebenen Knotens i exakt zu bestimmen, generieren wir alle 2^N möglich erhaltenen Nachrichten, die den Bereich von den Alles-Nullen Nachrichten bis zu den Alles-Auslöschungen-Nachrichten umfassen, und dekodieren jede Nachricht, in dem wir den BP-Dekoder verwenden.
Jede Nachricht hat eine Wahrscheinlichkeit von p = ΠxiΠ(1 – xj) (46)wobei das erste Produkt über alle Knoten gebildet wird, die ausgelöscht werden, und das zweite Produkt über alle Knoten gebildet wird, die nicht ausgelöscht werden. Wir bestimmen b_i, in dem wir den gewichteten Durchschnitt über alle möglich erhaltenen Nachrichten von der Wahrscheinlichkeit bilden, dass der Knoten i zu einer Auslöschung dekodiert wird. Weil die Komplexität der exakten Rechnung von der Ordnung O(2^N) ist, beschränken wir uns auf ein kleines N, aber nichtsdestotrotz können wir einige Genauigkeit erreichen, in dem wir in eine exakte Rechnung übergehen, nach dem eine ausreichende Anzahl von Knoten renormiert wurde.
Die eine Subtilität in der exakten finalen Rechungen ist, dass wir nun den Fehler korrigierenden Code durch einen Tannergraphen und assoziierte Auslöschungswahrscheinlichkeiten x_i an jedem variablen Knoten i darstellen. Im Gegensatz dazu verwendet die allgemeine RG-Methode bloß einen dekorierten Tannergraphen. Glücklicherweise ist es möglich, einen dekorierten Tannergraphen in einen Auslöschungsgraphen zu konvertieren. Es ist zu beachten, dass bei jedem Schritt des RG-Verfahrens all die Wahrschein lichkeiten q_ai, die von dem Prüfknoten a wegführen, gleich sind, dass heißt, q_ai = q_a, und all die Wahrscheinlichkeiten p_ia, die von dem variablen Knoten i wegführen, gleich sind, dass heißt, p_ia = pi.
Wir können all die q_a Wahrscheinlichkeiten gleich Null setzen, in dem ein neuer variabler Knoten k in dem Auslöschungsgraphen zum Knoten a hinzugefügt wird mit einer Wahrscheinlichkeit von p_ka = q_a. Wenn wir mit einem dekorierten Tannergraphen zurückbleiben machen wir diesen derart, dass alle q Wahrscheinlichkeiten Null sind, und alle p_ia Wahrscheinlichkeiten, die aus jedem variablen Knoten herausführen, gleich p_i sind. Wir interpretieren _Pi als die Auslöschungswahrscheinlichkeiten der variablen Knoten.
6 zeigt ein Beispiel der Expansion eines dekorierte Tannergraphen 601 in einen äquivalenten Auslöschungs-Tannergraphen 602 mit Auslöschungswahrscheinlichkeiten.
Erweiterung für generalisierte Paritätsprüfmatrizen
Generalisierte Paritätsprüfmatrizen definieren viele von den modernen Fehler korrigierenden Codes, wie Turbo-Codes, Kanter-Saad-Codes und Wiederhole-Akkumuliere-Codes. In der generalisierten Paritätsprüfmatrix sind zusätzliche Spalten zu einer Paritätsprüfmatrix hinzugefügt, um „versteckte" Knoten zu repräsentieren. Versteckte Knoten haben Zustandsvariablen, die nicht an andere Knoten übergeben werden, dass heißt, die Zustände der versteckten Knoten sind „versteckt". Eine gute Notation für die versteckten Zustandsvariablen ist eine horizontale Linie über den korrespondierenden Spalten. Zum Beispiel schreiben wir
um einen Code zu kennzeichnen, in dem der erste variable Knoten ein versteckter Knoten ist. Um zu kennzeichnen, dass in unserem graphischen Modell ein variabler Knoten ein versteckter Knoten ist, verwenden wir einen offenen Kreis anstatt einen gefüllten Kreis. Eine derartige Darstellung, die Tannergraphen verallgemeinert, wird als ein „Wiberg-Graph" bezeichnet, siehe N. Wiberg, „Codes and decoding an general graphs", PH. D. Thesis, University of Linkoping", 1996, und N. Wiberg et al., „Codes and iterative decoding an general graphs", Euro. Trans. Telecomm, Bd. 6, Seiten 513-525, 1995.
7 zeigt einen Wiberggraphen, der einen Fehler korrigierenden Code darstellt, der durch die generalisierte Paritätsprüfmatrix aus Gleichung (47) definiert ist.
Für die Generalisierung unseres RG-Verfahrens 900 so dass dieses Wiberggraphen handhaben kann, initialisieren wir die Wahrscheinlichkeiten p_ia, die aus einem versteckten Knoten herauskommen, mit Eins anstatt mit einer Auslöschungsrate x, wie wir dies für gewöhnliche übertragene variablen Knoten tun. Dies spiegelt die Tatsache wieder, dass versteckte Knoten immer ausgelöscht werden, während dessen gewöhnliche variable Knoten mit einer Wahrscheinlichkeit von x ausgelöscht werden.
Vergleich mit numerischen Lösungen
Wir beschreiben nun einige experimentelle Vorhersagen von unserer RG-Methode. Wir definieren einen (3, 5) regulären Gallager Fehler korrigierenden Code durch einen Paritätsprüfmatrix korrespondierend mit N = 60 und k = 36. Dass heißt, dass jede der 36 Zeilen in der Paritätsprüfmatrix fünf Einträge hat, die Einsen sind, und der Rest Nullen sind, und jede der 60 Spalten hat drei Einträge, die Nullen sind. Es gibt keine versteckten Knoten. Keine zwei Paritätsprüfungen teilen sich mehr als einen variablen Knoten. Dies bedeutet, dass alle lokalen Nachbarschaften der Knoten baumartig sind. Deswegen verwenden wir die RG-Transformation (44), wann immer wir einen variablen Nicht-Ast-Knoten renormieren. Wir renormieren Knoten, bis sieben Knoten übrig geblieben sind, und beenden dann die Bestimmung exakt.
Wir betrachten Auslöschungsraten x in Intervallen von 0,05 zwischen x = 0 und x = 1. Wenn wir die RG-Näherung verwenden, bilden wir den Durchschnitt von der Dekodierfehlerrate b_i über alle Knoten i, um eine gesamte Bitfehlerrate zu erhalten. Unser Experiment enthält etwa tausend Versuche bei der jeweiligen Auslöschungsrate, während wir gemäß der Standard BP-Dekodiermethode dekodieren.
Die 8 zeigt unsere experimentellen Ergebnisse. In der 8 ist die x-Achse die Auslöschungsrate, und die y-Achse ist die Bitfehlerrate. Die Kurve 801 ist die Vorhersage nach der Dichteevolution gemäß des Stands der Technik, die Kurve 802 ist die theoretische RG-Vorhersage, und die offenen Kreise 803 sind unsere experimentellen Ergebnisse. 8 zeigt deutlich, dass die Vorhersage der Dichteevolu tion ein schwellenwertartiges Verhalten hat und völlig inkorrekt für kleine oder mittlere Blocklängen ist, wohingegen das RG-Verfahren gemäß der Erfindung diese Eigenschaft nicht aufweist.
Erweiterung zu einem Gaußschen Rauschkanal
Wir erweitern unser RG-Verfahren so, dass es auch mit einem additiven weißen Gaußschen Rausch (engl. „additive White Gaussian noise" = AWGN)-Kanal verwendet werden kann. Wir führen dies durch, in dem wir eine Gaußsche Näherung an die Dichteevolution für den AWGN anpassen, wie beschrieben von Chung et. al. in „Analysis of Sum-Product Decoding of Low-Density parity-Checj Coes Using a Gaussian Approximation", IEEE Trans. Info. Theory, Bd. 47, Nr. 2, Seiten 657-670, 2001. Zunächst werden wir diese Näherung beschreiben.
In dem AWGN-Kanal gibt es nur zwei mögliche Eingaben, 0 und 1, hingegen ist die Ausgabe eine Menge von reellen Zahlen. Falls x die Eingabe ist, dann ist die Ausgabe y = (–1)^x + z, wobei z eine Gaußsche Zufallsvariable ist mit dem Mittelwert (Erwartungswert) 0 und der Varianz σ². Für jedes in dem Code empfangene Bit i bestimmt das logarithmische Wahrscheinlichkeitsverhältnis m_i ⁰ = ln(p(y_i|x_l = 0)/p(y_i|x_l = 1)) das relative logarithmische Wahrscheinlichkeitsverhältnis, dass das übertragene Bit i Null gewesen ist, unter der Vorraussetzung, dass die empfangene reelle Zahl y_i ist.
Der Fehler korrigierende Code ist definiert durch die generalisierten Paritätsprüfmatrizen, wie oben beschrieben. Die Alles-Nullen-Codewörter werden übertragen, und der Dekodierprozess ist der Summe- Produkt – BP („Belief Propagation")-Prozess. In diesem Dekodierprozess werden reellwertige Nachrichten als Funktionen voneinander iterativ gelöst. Die Arten von reellwertigen Nachrichten, die verwendet werden, sind m_ia von variablen Knoten i zu Prüfknoten a, und m_ai von Prüfknoten a zu variablen Knoten i.
Die Nachrichten m_ia sind logarithmische Wahrscheinlichkeitsverhältnisse wobei der variable Knoten i den Prüfknoten a über seine Wahrscheinlichkeit informiert, entweder eine Null oder eine Eins zu sein. Zum Beispiel bedeutet m_ia → ∞, dass der Knoten i mit Sicherheit eine Null ist, während m_ia = 1 bedeutet, dass der variable Knoten i dem Prüfknoten a signalisiert, dass ln(p(x_l = 0)/p(x_l = 1)) = 1. Die Nachrichten m_ia sind logarithmische Wahrscheinlichkeitsverhältnisse, die als Information über den Zustand des variablen Knotens i von dem Prüfknoten a an den variablen Knoten i interpretiert werden.
Im Summe-Produkt-Dekodieren werden die Nachrichten iterativ gemäß der Aktualisierungsregeln gelöst:
falls der Knoten i ein versteckter Knoten ist, wird m_i ⁰ ausgelassen, und
In dem Dichte-Evolutionsverfahren für den AWGN-Kanal betrachtet man die Wahrscheinlichkeitsverteilungen p(m_ia) und p(m_ai) für die Nachrichten, bei denen die Wahrscheinlichkeitsverteilung ein Mittelwert über alle möglich empfangenen Blöcke ist. Eine Verteilung f(x) wird als konsistent bezeichnet, falls f(x) = f(–x)e^x für alle x gilt. Diese Konsistenzbedingung bleibt für die Nachrichtenwahrscheinlichkeitsverteilung für alle Nachrichten bei Summe-Produkt-Dekodieren erhalten.
Falls die Wahrscheinlichkeitsverteilungen p(m_ia) und p(m_ai) als Gaußsche Verteilungen genähert werden, dann bedeutet die Konsistenzbedingung, dass die Mittelwerte ⎕ von diesen Verteilungen mit den Varianzen ⎕² über ⎕² = 2⎕ in Beziehung stehen. Dies heißt, dass die Nachrichtenwahrscheinlichkeitsverteilungen durch einen einzelnen Parameter charakterisiert werden können: ihren Mittelwert.
Auf diese Weise, in dem die Näherung gemacht wird, dass die Nachrichtenwahrscheinlichkeitsverteilungen gaußartig sind, können die Dichteevolutionsgleichungen für den AWGN-Kanal zu selbstkonsistenten Gleichungen für die Mittelwerte u_ia der Wahrscheinlichkeitsverteilungen der Nachrichten von den variablen Knoten i zu den Prüfknoten a und für die Mittelwerte ν_ai der Wahrscheinlichkeitsverteilungen der Nachrichten von den Prüfknoten a zu den variablen Knoten i reduziert werden. Diese Gleichungen sind
wobei u₀ der Mittelwert von m_i ⁰ ist und weggelassen wird für versteckte Knoten, und
wobei ϕ(x) eine Funktion ist, die definiert ist durch
RG-Transformationen für den AWGN-Kanal
Die Dichteevolutionsgleichungen (50) und (51) für den AWGN-Kanal mit Gaußscher Näherung sind analog den Dichteevolutionsgleichungen (4) und (3) für den BEC-Kanal. Unsere RG-Prozedur für den AWGN-Kanal ist im Wesentlichen die gleiche als wie für den BEC-Kanal. Der Hauptunterschied ist, dass wir die RG-Transformationen ändern.
Genauso wie vorher konstruieren wir einen Satz von RG-Transformationen, die die Dichteevolutionsgleichungen für einen baumartigen Graphen exakt reproduzieren. Wir generieren für den Code einen dekorierten Tanner-/Wiberggraphen, in dem wir u_ai und ⎕_ia-Variablen zwischen jedem Paar von verbundenen Knoten behalten. Die u_ai-Variablen werden mit Unendlich initialisiert, während dessen die ⎕_ia-Variablen mit u⁰ initialisiert werden, wenn nicht der i-te Knoten ein versteckter Knoten ist, wobei in diesem Falle die ⎕_ia mit Null initialisiert werden. Wir führen ebenfalls die Variablen h_l ein, analog zu den b_i in dem BEC, die wie die ⎕_ia-Variablen initialisiert werden.
Fall wir einen Prüfastknoten a renormieren, der mit einem variablen Knoten i verbunden ist, dann finden wir die anderen Prüfknoten b, die mit i verbunden sind, und wenden die RG-Transformationen an υib ← νih + uai (53) und hi ← hi + uai (54)·
Falls wir einen variablen Astknoten i renormieren, der mit einem Prüfknoten a verbunden ist, finden wir die anderen variablen Knoten j, die mit dem Prüfknoten a verbunden sind, und wenden die RG-Transformation an uaj ← ϕ–1(1 – (1 – ϕ(uaj))(1 – ϕ(υmia))) (55).
Es ist zu beachten, dass mit jeder Renormierung von ⎕_ib der Wert von ⎕_ib ansteigt, während dessen mit jeder Renormierung von u_aj der Wert von u_aj abnimmt.
Wenn wir einen variablen Nicht-Ast-Knoten i renormieren, der mit den Prüfknoten a, b, etc verbunden ist, renormieren wir die Variablen wie u_aj, wobei j ein anderer variabler Knoten ist, der mit dem Prüfknoten a verbunden ist. Genauso wie für den BEC betrachten wir eine lokale Nachbarschaft von Knoten um den Knoten i herum. Zum Beispiel verwenden wir, falls die Nachbarschaft von Prüfknoten, die mit i verbunden sind, und anderen variablen Knoten, die mit diesen Prüfknoten verbunden sind, baumartig ist, die RG-Transformation uai ← ϕ–1(1 – (1 – ϕ(uaj))(1 – ϕ(υeffia ))) (56),wobei
Das RG-Verfahren verläuft weiter wie in dem BEC-Fall, bis zur Bestimmung der Bitfehlerrate. Für den AWGN-Kanal ist es normalerweise unbequem, das RG-Verfahren zu stoppen, bevor runter bis zum Zielknoten renormiert wurde, weil es nicht einfach ist, auch mit bloß wenigen Knoten in dem Graphen eine exakte Berechnung durchzuführen.
Wenn wir all Knoten bis auf unseren Zielknoten i renormiert haben, bleibt uns ein endgültiger renormierter Wert von h_i übrig. Die Gaußsche Näherung sagt uns, dass die Wahrscheinlichkeitsverteilung, dass der Knoten i als eine Null dekodiert wird, gaußförmig mit dem Erwartungswert h_i und der Varianz 2h_i ist. Dekodierfehler korrespondieren zu den Teilen der Wahrscheinlichkeitsverteilung, die unterhalb Null sind. Auf diese Weise ist unsere Vorhersage für die Bitfehlerrate (ber_i) am Knoten i
Generieren von Fehler korrigierenden Codes
Unter der Voraussetzung, dass die Dichteevolutionsmethode als eine Anleitung verwendet wurde, den am besten bekanntesten praktischen Fehler korrigierenden Code zu generieren, können wir hingegen noch bessere Codes generieren, in dem wir unser RG-Verfahren verwenden. Mit dem RG-Verfahren gemäß unserer Erfindung können wir einen Code eingeben, der durch eine willkürliche generalisierte Paritätsprüfmatrix definiert ist, und erhalten als Ausgabe eine Vorhersage der Bitfehlerrate an jedem Knoten.
Wir können diese Ausgabe in einer objektiven Funktion für eine gelenkte Suche durch den Raum von möglichen verbesserten Codes verwenden. Zum Beispiel können wir versuchen, einen N = 100 Blocklängen, Übertragungsrate ½ Code mit keinen versteckten Zuständen zu finden, der einen Bitfehlerrate von weniger als 10^–4 bei dem kleinstmöglichen Signal – zu Rauschverhältnis für den AWGN-Kanal erreicht. Wir erreichen dies, in dem wir Codes mit der korrekten Blocklänge und Rate iterativ evaluieren, in dem wir unser RG-Verfahren und irgend eine bekannte Suchtechnik verwenden, zum Beispiel „Greedy Descent", „Simulated Annealing", „Genetic Process", etc., um den Raum von gültigen Paritätsprüfmatrizen zu durchsuchen.
Weil wir uns eher direkt auf den korrekten Maßstab der Leistung konzentrieren, dass heißt, auf die Bitfehlerrate selbst, als auf den Schwellenwert in dem unbegrenzten Blocklängen-Grenzfall, verbessert die Suche gemäß der Erfindung die Ergebnisse, die durch die Verwendung des Dichteevolutionsverfahrens gemäß des Stands der Technik erhalten werden. Wir können die Suche lenken, weil wir Informationen über die Bitfehlerrate an jedem Knoten haben. Zum Beispiel kann es sinnvoll sein, einen schwachen variablen Knoten mit einer hohen Bitfehlerrate zu „stärken", in dem zusätzliche Paritätsprüfknoten hinzugefügt werden, oder wir können starke Knoten mit einer niedrigen Bitfehlerrate „schwächen", in dem wir die schwachen Knoten in versteckte Knoten umwandeln, und auf diese Weise die Übertragungsrate erhöhen.
Auf der anderen Seite verlangsamt die Bestimmung der Bitfehlerrate von jedem Knoten eine Suche. Es könnte, zumindest für große Blocklängen, lohnenswert sein, sich auf solche Codes zu beschränken, für die es nur eine kleine Anzahl von verschiedenen Knotenklassen gibt, definiert bezüglich der lokalen Nachbarschaft der Knoten. Die meisten der am bekanntesten Codes sind von dieser Art. Anstatt die Bitfehlerrate für jeden variablen Knoten zu bestimmen, können wir eher die Bitfehlerrate für bloß einen repräsentativen Knoten von jeder Klasse von variablen Knoten bestimmen.
Zum Beispiel hat für einen regulären Gallager-Code jeder Knoten die gleiche lokale Nachbarschaft, so dass jeder Knoten als ein Repräsentant von all den Knoten in der Nachbarschaft ausgewählt werden kann. Der Fehler, der mit dieser Methode gemacht wird, wird abgeschätzt, in dem die Bitfehlerraten von verschiedenen Knoten derselben Klasse verglichen werden. Für wirkliche reguläre Gallager-Codes mit endlicher Größe finden wir, dass das RG-Verfahren sehr ähnliche Vorhersagen für jeden der Knoten liefert, so dass der Fehler, der gemacht wird, in dem bloß ein einzelner variabler Knoten als ein Repräsentant für alle von diesen betrachtet wird, ziemlich klein ist.
Obwohl die Erfindung anhand von bevorzugten Ausführungsbeispielen beschrieben wurde, ist es selbstverständlich, dass unterschiedliche andere Adaptionen und Modifikationen innerhalb des Rahmens der Erfindung gemacht werden können. Deswegen ist es das Ziel der beigefügten Ansprüche, alle solche Variationen und Modifikationen abzudecken, die im Rahmen der Erfindung liegen.

Claims

Verfahren zum Bewerten eines Fehler korrigierenden Codes für einen Datenblock endlicher Größe, welches aufweist: Definieren eines Fehler korrigierenden Codes durch eine Paritätsprüfmatrix; Darstellen der Paritätsprüfmatrix als eine zweiteilige graphische Darstellung; iteratives Renormalisieren (920, 930, 940) einzelner Knoten in der zweigeteilten graphischen Darstellung, bis ein vorbestimmter Schwellenwert (950) erreicht ist, wobei die Renormalisierung einzelner Knoten die Eliminierung einzelner Knoten in der zweigeteilten graphischen Darstellung ist; und Einstellen von Wahrscheinlichkeiten von Nachrichten in einer verbleibenden zweigeteilten graphischen Darstellung, wobei die verbleibende zweigeteilte graphische Darstellung die nach der Renormalisierung verbleibende zweigeteilte graphische Darstellung ist, so dass der kleinere Fehler korrigierende Code, der durch die verbleibende zweigeteilte graphische Darstellung dargestellt ist, eine Decodierfehlerrate hat, die so nahe wie möglich an derjenigen des Fehler korrigierenden Codes ist, der durch die Paritätsprüfmatrix definiert ist; wobei die zweigeteilte graphische Darstellung variable Knoten enthält, die variable Bits des Datenblocks darstellen, sowie Prüfknoten, die Paritätsbits des Datenblocks darstellen, und wobei die Renormalisierung weiterhin aufweist: Auswählen eines bestimmten variablen Knotens als einen Zielknoten; Auswählen eines bestimmten, zu renormalisierenden Knotens; Messen eines Abstands (910) zwischen den Zielknoten und jedem anderen Knoten in der zweigeteilten graphischen Darstellung; wenn zumindest ein variabler Astknoten vorhanden ist, Renormalisieren (920) eines bestimmten variablen Astknotens, der am weitesten von dem Zielknoten entfernt ist, und anderenfalls, wenn zumindest ein Prüfastknoten vorhanden ist, Renormalisieren (930) eines bestimmten Prüfastknotens, der am weitesten von dem Zielknoten entfernt ist, und anderenfalls Renormalisieren (940) eines variablen Knotens, der kein Astknoten ist, am weitesten von dem Zielknoten entfernt ist und die wenigsten direkt verbundenen Prüfknoten hat.
Verfahren nach Anspruch 1, bei dem der vorbestimmte Schwellenwert (950) eine minimale Anzahl von verbleibenden Knoten ist.
Verfahren nach Anspruch 1, bei dem die zweigeteilte graphische Darstellung schleifenfrei ist.
Verfahren nach Anspruch 1, bei dem die zweigeteilte graphische Darstellung zumindest eine Schleife enthält.
Verfahren nach Anspruch 1, bei dem ein Übertragungskanal ein binärer Löschkanal ist, und weiterhin aufweisend: Versehen der zweigeteilten graphischen Darstel lung mit Zahlen pia, die Wahrscheinlichkeiten von Nachrichten von variablen Knoten zu Prüfknoten darstellen, und mit Zahlen q_ai, die Wahrscheinlichkeiten (940) des variablen Knotens, der kein Astknoten ist, darstellen, weiterhin aufweisend: Aufzählen (1010) aller Prüfknoten a, die mit dem variablen Knoten, der kein Astknoten ist, verbunden sind; Aufzählen aller anderen variablen Knoten j, die an den Prüfknoten a angebracht sind, und Transformieren der Zahlen q_aj.
Verfahren nach Anspruch 5, bei dem die Transformierung der Zahlen q_aj weiterhin aufweist: Aufzählen (1020) aller Prüfknoten und variablen Knoten bis zu einem vorbestimmten Abstand von dem Zielknoten; Bilden (1030) eines logischen Arguments zum Bestimmen von Löschkombinationen, die bewirken, dass eine bestimmte Nachricht von dem Prüfknoten a zu dem variablen Knoten j eine Löschung ist; Übersetzen (1040) des logischen Arguments in eine Transformation für die Zahl q_aj.
Verfahren nach Anspruch 6, weiterhin aufweisend die Beendigung der Renormalisierung bei Erreichen des vorbestimmten Schwellenwerts, um zu einer genauen Bestimmung der Decodierfehlerrate des Zielknotens nach der Beendigung der Renormalisierung zu schalten.
Verfahren nach Anspruch 7, bei dem die verbleibende zweigeteilte graphische Darstellung N Knoten enthält, und weiterhin aufweisend für die genaue Bestimmung: Umwandeln der mit Zahlen q_ai und p_ia versehenen graphischen Darstellung in eine graphische Löschdarstellung, die eine zweigeteilte graphische Darstellung mit einer Löschwahrscheinlichkeit x_i, die mit jedem Knoten i der zweigeteilten graphischen Darstellung assoziiert ist, ist; Erzeugen aller 2^N möglichen Nachrichten im Bereich von einer Nachricht, die vollständig Null ist, bis zu einer Nachricht, die vollständig löschend ist, wodurch eine Möglichkeit, dass eine Nachricht einen Wert von 1 hat, ignoriert wird; und Decodieren jeder der 2^N Nachrichten unter Verwendung eines Vertrauensfortpflanzungs-Decodierers, wobei jede Nachricht eine Wahrscheinlichkeit p = Πx₁Π(1 – x_j) hat, wobei das erste Produkt über alle Knoten ist, die gelöscht sind, und das zweite Produkt über alle Knoten ist, die nicht gelöscht sind.
Verfahren nach Anspruch 5, bei dem alle Zahlen q_ai auf Null initialisiert sind, und alle Zahlen p_ia auf eine Löschrate des Übertragungskanals initialisiert sind.
Verfahren nach Anspruch 5, weiterhin aufweisend: Definieren des Fehler korrigierenden Codes durch eine verallgemeinerte Paritätsprüfmatrix, in der Spalten variable Bits darstellen und Reihen Paritätsbits definieren, und wobei ein Überbalken über Spalten angeordnet wird, die versteckte variable Bits darstellen, die nicht übertragen werden; und Darstellen der versteckten variablen Bits durch versteckte Knoten in der zweigeteilten graphischen Darstellung.
Verfahren nach Anspruch 10, bei dem der Übertragungskanal ein binärer Löschkanal ist und bei dem der Fehler korrigierende Code durch eine verallgemeinerte Paritätsprüfmatrix definiert ist, und weiterhin aufweisend: Initialisieren der Zahlen p_ia für versteckte Knoten i auf 1.
Verfahren nach Anspruch 1, bei dem der Übertragungskanal ein zusätzlicher Kanal für weißes Gaußsches Rauschen ist, und weiterhin aufweisend: Darstellen von Nachrichten zwischen Knoten in der zweigeteilten graphischen Darstellung durch Gaußsche Verteilungen.
Verfahren nach Anspruch 1, weiterhin aufweisend: Auswählen eines Satzes von Kriterien, durch die Fehler korrigierende Codes zu bewerten sind; Erzeugen mehrerer Fehler korrigierender Codes; Suchen in den mehreren Fehler korrigierenden Codes nach einem optimalen Fehler korrigierenden Code gemäß dem Satz von Kriterien.
Verfahren nach Anspruch 13, weiterhin aufweisend: Bewerten einer Fehlerrate für jeden Fehler korrigierenden Code bei mehreren Knoten; Erzeugen des optimalen Fehler korrigierenden Codes gemäß der bewerteten Fehlerrate.
Verfahren nach Anspruch 1, weiterhin aufweisend: Bewerten einer Fehlerrate für die renormalisierte zweigeteilte graphische Darstellung.