DE112017003708T5

DE112017003708T5 - Technologien zur hochleistungs-einzelstrom-lz77-kompression querverweis auf verwandte anmeldungen

Info

Publication number: DE112017003708T5
Application number: DE112017003708.5T
Authority: DE
Inventors: Vinodh Gopal; James D. Guilford; Daniel F. Cutter; Kirk S. Yap
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2016-07-22
Filing date: 2017-06-20
Publication date: 2019-04-18
Also published as: US10735835B2; CN109313582A; DE112017003691T5; US20180027685A1; WO2018017248A1; US20180027058A1; WO2018017266A1; WO2018017230A1; US10823920B2; WO2018017253A1; WO2018017278A1; US20180026654A1; US20180024306A1; CN109328351A; DE112017003711T5; US10033404B2; WO2018017244A1; CN113254381A; EP3488338A4; US20180024776A1

Abstract

Technologien zur Hochleistungs-Einzelstrom-Datenkompression enthalten eine Rechenvorrichtung, die eine Indexdatenstruktur basierend auf einem Eingangsdatenstrom aktualisiert. Der Eingangsdatenstrom wird in mehrere Segmente geteilt. Jedes Segment hat eine vorgegebene Länge, wie 136 Bytes, und überlappt das vorherige Segment um ein vorgegebenes Maß, wie acht Bytes. Die Rechenvorrichtung verarbeitet mehrere Segmente in paralleler Weise unter Verwendung der Indexdaten, um mehrere Token-Ströme zu generieren. Die Token enthalten literale Token und Referenz-Token, die sich auf übereinstimmende Daten zu einem früheren Zeitpunkt im Eingangsdatenstrom beziehen. Die Rechenvorrichtung sucht daher parallel nach übereinstimmenden Daten. Die Rechenvorrichtung vereint die Token-Ströme, um einen einzelnen Token-Ausgangsstrom zu generieren. Die Rechenvorrichtung kann ein Token-Paar von zwei verschiedenen Segmenten vereinen, um einen oder mehrere synchronisierte Token zu generieren, die an den Token-Ausgangsstrom ausgegeben werden. Andere Ausführungsformen sind beschrieben und beansprucht.

Description

Die vorliegende Anmeldung beansprucht Priorität der US Gebrauchsmusteranmeldung, Seriennr. 15/395,702, mit dem Titel „TECHNOLOGIES FOR HIGH-PERFORMANCE SINGLE-STREAM LZ77 COMPRESSION“, die am 30. Dezember 2016 eingereicht wurde und Priorität der vorläufigen US Patentanmeldung Nr. 62/365,969 , eingereicht am 22. Juli 2016, der vorläufigen US Patentanmeldung Nr. 62/376,859 , eingereicht am 18. August 2016, und der vorläufigen US Patentanmeldung Nr. 62/427,268 , eingereicht am 29. November 2016 beansprucht.
HINTERGRUND
Datenkompression ist eine wichtige Computeroperation, die in vielen Rechenanwendungen, enthaltend sowohl Server- als auch Client-Anwendungen, verwendet wird. Zum Beispiel kann Datenkompression zur Verringerung von Netzbandbreitenanforderungen und/oder Datenspeicheranforderungen für Cloud-Rechenanwendungen verwendet werden.
Viele allgemeine verlustlose Kompressionsformate beruhen auf dem LZ77-Kompressionsalgorithmus. Daten, die unter Verwendung von LZ77-basierten Algorithmen komprimiert werden, enthalten typischerweise einen Strom von Symbolen (oder „Token“). Jedes Symbol kann literale Daten enthalten, die in den Ausgang oder eine Referenz kopiert werden, um Daten zu wiederholen, die bereits dekomprimiert sind. Der DEFLATE-Algorithmus verwendet LZ77-Kompression in Kombination mit Huffman-Codierung zum Generieren eines komprimierten Ausgangs. Typische Kompressionsalgorithmen wie DEFLATE können höhere Kompressionsverhältnisse (z.B. Level 9- oder L9-Verhältnisse) durch Durchführen zusätzlicher Berechnungen unterstützen.
Figurenliste
Die hier beschriebenen Konzepte sind als Beispiel und nicht zur Einschränkung in den beiliegenden Figuren dargestellt. Der Einfachheit und Deutlichkeit der Darstellung wegen sind Elemente, die in den Figuren dargestellt sind, nicht unbedingt im Maßstab gezeichnet. Falls es als angemessen erachtet wurde, wurden Bezugszeichen in den Figuren wiederholt, um entsprechende oder analoge Elemente anzugeben.

1 ist eine schematische Darstellung einer konzeptionellen Übersicht eines Rechenzentrums, in dem eine oder mehrere hier beschriebene Techniken gemäß verschiedenen Ausführungsformen implementiert sein können;
2 ist eine schematische Darstellung einer beispielhaften Ausführungsform einer logischen Konfiguration eines Racks des Rechenzentrums von 1;
3 ist eine schematische Darstellung einer beispielhaften Ausführungsform eines anderen Rechenzentrums, in dem eine oder mehrere hier beschriebene Techniken gemäß verschiedenen Ausführungsformen implementiert sein können;
4 ist eine schematische Darstellung einer anderen beispielhaften Ausführungsform eines Rechenzentrums, in dem eine oder mehrere hier beschriebene Techniken gemäß verschiedenen Ausführungsformen implementiert sein können;
5 ist eine schematische Darstellung eines Konnektivitätsschemas, das für eine Link-Schicht-Konnektivität repräsentativ ist, die unter verschiedenen Sleds der Rechenzentren von 1, 3, und 4 errichtet sein kann;
6 ist eine schematische Darstellung einer Rack-Architektur, die für eine Architektur eines bestimmten der Racks, die in 1-4 dargestellt sind, gemäß einigen Ausführungsformen repräsentativ sein kann;
7 ist eine schematische Darstellung einer beispielhaften Ausführungsform eines Sleds, das mit der Rack-Architektur von 6 verwendet werden kann;
8 ist eine schematische Darstellung einer beispielhaften Ausführungsform einer Rack-Architektur, um eine Unterstützung für Sleds bereitzustellen, die Erweiterungsfähigkeiten besitzen;
9 ist eine schematische Darstellung einer beispielhaften Ausführungsform eines Racks, das gemäß der Rack-Architektur von 8 implementiert ist;
10 ist eine schematische Darstellung einer beispielhaften Ausführungsform eines Sleds, der zur Verwendung in Verbindung mit dem Rack von 9 gestaltet ist;
11 ist eine schematische Darstellung einer beispielhaften Ausführungsform eines Rechenzentrums, in dem eine oder mehrere hier beschriebene Techniken gemäß verschiedenen Ausführungsformen implementiert sein können;
12 ist ein vereinfachtes Blockdiagramm zumindest einer Ausführungsform einer Rechenvorrichtung zur Hochleistungs-Einzelstrom-Datenkompression;
13 ist ein vereinfachtes Blockdiagramm zumindest einer Ausführungsform einer Umgebung der Rechenvorrichtung von 12;
14 ist ein vereinfachtes Flussdiagramm zumindest einer Ausführungsform eines Verfahrens zur Hochleistungs-Einzelstrom-Datenkompression, das durch die Rechenvorrichtung von 12-13 ausgeführt werden kann;
15 ist ein schematisches Diagramm, das eine Eingangsdatenblockorganisation zeigt, die durch die Rechenvorrichtung von 12-13 errichtet sein kann;
16 ist ein schematisches Diagramm, das eine Segmentzuweisung zeigt, die durch die Rechenvorrichtung von 12-13 errichtet sein kann;
17 ist ein vereinfachtes Flussdiagramm zumindest einer Ausführungsform eines Verfahrens zum Suchen passender Substrings, das durch die Rechenvorrichtung von 12-13 ausgeführt werden kann;
18 ist ein vereinfachtes Flussdiagramm zumindest einer Ausführungsform eines Verfahrens zum Vereinen von Ausgangs-Token, das durch die Rechenvorrichtung von 12-13 ausgeführt werden kann;
19 ist ein schematisches Diagramm, das Token-Vereinigungsregeln zeigt, die durch das Verfahren von 18 ausgeführt werden können; und
20 ist ein tabellenförmiges Diagramm, das Token-Vereinigungsregeln zeigt, die durch das Verfahren von 18 ausgeführt werden können.

AUSFÜHRLICHE BESCHREIBUNG DER ZEICHNUNGEN
Während die Konzepte der vorliegenden Offenbarung verschiedenen Abänderungen und alternativen Formen zuträglich sind, wurden spezielle Ausführungsformen anhand eines Beispiels in den Zeichnungen gezeigt und werden hier ausführlich beschrieben. Es sollte jedoch klar sein, dass nicht beabsichtigt ist, die Konzepte der vorliegenden Offenbarung auf die besonderen offenbarten Formen zu beschränken, sondern die Absicht im Gegenteil ist, alle Abänderungen, Äquivalente und Alternativen in Übereinstimmung mit der vorliegenden Offenbarung und den beiliegenden Ansprüchen abzudecken.
Bezugnahmen in der Beschreibung auf „eine einzige Ausführungsform“, „eine Ausführungsform“, „eine veranschaulichende Ausführungsform“ usw., geben an, dass die beschriebene Ausführungsform ein besonderes Merkmal, eine besondere Struktur oder Eigenschaft enthalten kann, aber jede Ausführungsform das besondere Merkmal, die besondere Struktur oder Eigenschaft enthalten oder nicht unbedingt enthalten kann. Ferner beziehen sich solche Phrasen nicht unbedingt auf dieselbe Ausführungsform. Ferner, wenn ein besonderes Merkmal, eine besondere Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, wird davon ausgegangen, dass es in der Kenntnis eines Fachmanns auf dem Gebiet liegt, ein solches Merkmal, eine solche Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen auszuführen, ob dies nun ausdrücklich beschrieben ist oder nicht. Zusätzlich sollte klar sein, das Artikel, die in einer Liste in der Form von „zumindest ein A, B und C“ enthalten sind, (A); (B); (C); (A und B); (A und C); (B und C); oder (A, B, und C) bedeuten kann. Ebenso können Artikel, die in der Form „zumindest eines von A, B oder C“ aufgelistet sind, (A); (B); (C); (A und B); (A und C); (B und C); oder (A, B, und C) bedeuten kann.
Die offenbarten Ausführungsformen können in einigen Fällen in Hardware, Firmware, Software oder einer Kombination davon implementiert sein. Die offenbarten Ausführungsformen können auch als Anweisungen implementiert sein, die durch ein transitorisches oder nicht transitorisches, maschinenlesbares (z.B. computerlesbares) Datenspeichermedium befördert werden oder auf diesem gespeichert sind, die durch einen oder mehrere Prozessoren gelesen und ausgeführt werden können. Ein maschinenlesbares Datenspeichermedium kann als jede Datenspeichervorrichtung, jeder Mechanismus oder jede andere physische Struktur zum Speichern oder Übertragen von Informationen in einer Form, die durch eine Maschine (z.B. einen flüchtigen oder nicht flüchtigen Speicher, eine Medien-Disc oder andere Medienvorrichtung) lesbar ist, verkörpert sein.
In den Zeichnungen können einige Struktur- oder Verfahrensmerkmale in speziellen Anordnungen und/oder Reihenfolgen dargestellt sein. Es sollte jedoch klar sein, dass solche speziellen Anordnungen und/oder Reihenfolgen nicht erforderlich sein können. Vielmehr können in einigen Ausführungsformen solche Merkmale in einer anderen Weise und/oder Reihenfolge als in den veranschaulichenden Figuren dargestellt angeordnet sein. Zusätzlich soll die Aufnahme eines Struktur- oder Verfahrensmerkmals in einer bestimmten Figur nicht implizieren, dass ein solches Merkmal in allen Ausführungsformen erforderlich ist, und in einigen Ausführungsformen nicht enthalten oder mit anderen Merkmalen implementiert sein kann.
1 zeigt eine konzeptionelle Übersicht über ein Rechenzentrum 100, das im Allgemeinen für ein Rechenzentrum oder eine andere Art von Rechennetzwerk repräsentativ sein kann in dem/für das eine oder mehrere hier beschriebene Techniken gemäß verschiedenen Ausführungsformen implementiert sein können. Wie in 1 dargestellt, kann das Rechenzentrum 100 im Allgemeinen eine Vielzahl von Racks enthalten, von welchen jedes Rechengeräte beherbergen kann, die einen entsprechenden Satz physischer Ressourcen umfassen. In dem besonderen, nicht einschränkenden Beispiel, das in 1 dargestellt ist, enthält das Rechenzentrum 100 vier Racks 102A bis 102D, die Rechengeräte beherbergen, die die entsprechenden Sätze physischer Ressourcen 105A bis 105D umfassen. Gemäß diesem Beispiel enthält ein gemeinsamer Satz physischer Ressourcen 106 von Rechenzentrum 100 die verschiedenen Sätze physischer Ressourcen 105A bis 105D, die unter Racks 102A bis 102D verteilt sind. Die physischen Ressourcen 106 können Ressourcen mehrerer Arten enthalten, wie - zum Beispiel - Prozessoren, Co-Prozessoren, Beschleuniger, feldprogrammierbare Gate Arrays (FPGAs), Speicher und Datenspeicher. Die Ausführungsformen sind nicht auf diese Beispiele beschränkt.
Das veranschaulichende Rechenzentrum 100 unterscheidet sich von typischen Rechenzentren in vielerlei Hinsicht. Zum Beispiel sind in der veranschaulichenden Ausführungsform die Leiterplatten („Sleds“), auf welchen Komponenten wie CPUs, Speicher und andere Komponenten platziert sind, zur erhöhten thermischen Leistung gestaltet. Insbesondere sind in der veranschaulichenden Ausführungsform die Sleds seichter als typische Platten. Mit anderen Worten, die Sleds sind von der Vorder- zur Rückseite kürzer, wo sich Kühlgebläse befinden. Dies verringert die Länge des Wegs, den Luft über die Komponenten auf der Platte zurücklegen muss. Ferner sind die Komponenten auf dem Sled weiter voneinander beabstandet als in typischen Leiterplatten und die Komponenten sind so angeordnet, dass eine Schattenbildung (d.h. eine Komponente in Luftstrom einer anderen Komponente) reduziert oder eliminiert wird. In der veranschaulichenden Ausführungsform befinden sich Verarbeitungskomponenten wie die Prozessoren an einer oberen Seite eines Sleds, während ein naher Speicher, wie Dual-Inline-Speichermodule (DIMMs), an der Bodenseite des Sleds liegen. Infolge des verstärkten Luftstroms, der durch dieses Design bereitgestellt wird, können die Komponenten bei höheren Frequenzen und Strompegeln als in typischen Systemen arbeiten, wodurch Leistung erhöht wird. Überdies sind die Sleds konfiguriert, blind mit Strom- und Datenkommunikationskabeln in jedem Rack 102A, 102B, 102C, 102D zusammenzupassen, wodurch ihre Fähigkeit, rasch entfernt, aufgerüstet, erneut installiert und/oder ersetzt zu werden, verbessert wird. Ebenso sind einzelne Komponenten, die sich auf den Sleds befinden, wie Prozessoren, Beschleuniger, Speicher, und Datenspeicherlaufwerke, konfiguriert, aufgrund ihres erhöhten Abstands zueinander leicht aufgerüstet zu werden. In der veranschaulichenden Ausführungsform enthalten die Komponenten zusätzlich Hardware-Bestätigungsmerkmale zum Beweis ihre Authentizität.
Überdies verwendet in der veranschaulichenden Ausführungsform das Rechenzentrum 100 eine einzelne Netzwerkarchitektur („Fabric“), die mehrere andere Netzwerkarchitekturen unterstützt, enthaltend Ethernet und Omni-Path. Die Sleds sind in der veranschaulichenden Ausführungsform über optische Fasern, die eine höhere Bandbreite und geringere Latenz als typische verdrillte Doppelverkabelung (z.B. Kategorie 5, Kategorie 5e, Kategorie 6 usw.) bereitstellen, mit Schaltern gekoppelt. Aufgrund der Zwischenverbindungen mit hoher Bandbreite, geringer Latenz und der Netzwerkarchitektur kann das Rechenzentrum 100 in Verwendung Ressourcen, wie Speicher, Beschleuniger (z.B. Grafikbeschleuniger, FPGAs, anwendungsspezifische integrierte Schaltungen (ASICs) usw.) und Datenspeicherlaufwerke, die physisch getrennt sind, poolen, und sie den Rechenressourcen (z.B. Prozessoren) auf einer Bedarfsbasis bereitstellen, wodurch die Rechenressourcen imstande sind, auf die gepoolten Ressourcen zuzugreifen, als wären diese lokal. Das veranschaulichende Rechenzentrum 100 empfängt zusätzlich Nutzungsinformationen für die verschiedenen Ressourcen, sagt eine Ressourcennutzung für verschiedene Arten von Arbeitslasten auf Basis einer vorherigen Ressourcennutzung voraus und ordnet Ressourcen auf Basis dieser Informationen dynamisch neu zu.
Die Racks 102A, 102B, 102C, 102D des Rechenzentrums 100 können physische Designmerkmale enthalten, die die Automatisierung zahlreicher Arten von Wartungsaufgaben erleichtern. Zum Beispiel kann Rechenzentrum 100 unter Verwendung von Racks implementiert sein, die so gestaltet sind, dass auf sie durch einen Roboter zugegriffen werden kann, und dass sie durch einen Roboter manipulierbare Ressourcen-Sleds annehmen und beherbergen können. Überdies enthalten in der veranschaulichenden Ausführungsform die Racks 102A, 102B, 102C, 102D integrierte Stromquellen, die eine höhere Spannung empfangen, als für Stromquellen typisch ist. Die erhöhte Spannung ermöglicht den Stromquellen, den Komponenten auf jedem Sled zusätzlichen Strom bereitzustellen, wodurch die Komponenten imstande sind, bei höheren als typischen Frequenzen zu arbeiten.
2 zeigt eine beispielhafte logische Konfiguration eines Racks 202 des Rechenzentrums 100. Wie in 2 dargestellt, kann das Rack 202 im Allgemeinen eine Vielzahl von Sleds beherbergen, von welchen jedes einen entsprechenden Satz physischer Ressourcen beherbergen kann. In einem besonderen, nicht einschränkenden Beispiel, das in 2 dargestellt ist, beherbergt Rack 202 Sleds 204-1 bis 204-4, die entsprechende Sätze physischer Ressourcen 205-1 bis 205-4 umfassen, von welchen jeder eine Abschnitt des gemeinsamen Satzes physischer Ressourcen 206 bildet, die in Rack 202 enthalten sind. Unter Bezugnahme auf 1, falls Rack 202 für - zum Beispiel - Rack 102A repräsentativ ist, können physische Ressourcen 206 den physischen Ressourcen 105A entsprechen, die in Rack 102A enthalten sind. Im Kontext dieses Beispiels können physische Ressourcen 105A somit aus den entsprechenden Sätzen physischer Ressourcen bestehen, enthaltend physische Datenspeicherressourcen 205-1, physische Beschleunigerressourcen 205-2, physische Speicherressourcen 205-3 und physische Rechenressourcen 205-5, die in den Sleds 204-1 bis 204-4 von Rack 202 enthalten sind. Die Ausführungsformen sind nicht auf dieses Beispiel beschränkt. Jeder Sled kann einen Pool jeder der verschiedenen Arten physischer Ressourcen (z.B. Rechner, Speicher, Beschleuniger, Datenspeicher) enthalten. Mit den durch Roboter zugänglichen und durch Roboter manipulierbaren Sleds, die getrennte Ressourcen umfassen, kann jede Art von Ressource unabhängig und bei ihrer eigenen optimierten Auffrischungsrate aufgerüstet werden.
3 zeigt ein Beispiel eines Rechenzentrums 300, das im Allgemeinen für eines repräsentativ ist, in dem/für das eine oder mehrere hier beschriebene Techniken gemäß verschiedenen Ausführungsformen implementiert sein können. In einem besonderen, nicht einschränkenden Beispiel, dargestellt in 3, umfasst Rechenzentrum 300 Racks 302-1 bis 302-32. In verschiedenen Ausführungsformen können die Racks von Rechenzentrum 300 so angeordnet sein, dass sie verschiedene Zugangspfade definieren und/oder aufnehmen. Wie zum Beispiel in 3 dargestellt, können die Racks von Rechenzentrum 300 so angeordnet sein, dass sie Zugangspfade 311A, 311B, 311C, und 311D definieren und/oder aufnehmen. In einigen Ausführungsformen kann das Vorhandensein solcher Zugangspfade im Allgemeinen automatisierte Wartungsgeräte ermöglichen, wie robotische Wartungsgeräte, um physisch auf die Rechengeräte zuzugreifen, die in den verschiedenen Racks von Rechenzentrum 300 beherbergt sind, und automatisierte Wartungsaufgaben durchzuführen (z.B. einen fehlerhaften Sled zu ersetzen, einen Sled aufzurüsten). In verschiedenen Ausführungsformen können die Dimensionen der Zugangspfade 311A, 311B, 311C, und 311D, die Dimensionen der Racks 302-1 bis 302-32 und/oder ein oder mehrere andere Aspekte des physischen Layouts des Rechenzentrums 300 so gewählt werden, dass sie solche automatisierten Operationen erleichtern. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
4 zeigt ein Beispiel eines Rechenzentrums 400, das im Allgemeinen für eines repräsentativ sein kann, in dem/für das eine oder mehrere hier beschriebene Techniken gemäß verschiedenen Ausführungsformen implementiert sein können. Wie in 4 dargestellt, kann das Rechenzentrum 400 ein optisches Fabric 412 aufweisen. Das optische Fabric 412 kann im Allgemeinen eine Kombination aus optischen Signalisierungsmedien (wie optische Verkabelung) und optischer Schaltinfrastruktur sein, über die ein bestimmter Sled im Rechenzentrum 400 Signale zu jedem der anderen Sleds in Rechenzentrum 400 senden (und von diesen Signale empfangen) kann. Die Signalisierungskonnektivität, die das optische Fabric 412 für jeden bestimmten Sled bereitstellt, kann eine Konnektivität sowohl zu anderen Sleds im selben Rack als auch zu Sleds in anderen Racks enthalten. In einem besonderen, nicht einschränkenden Beispiel, dargestellt in 4, enthält Rechenzentrum 400 vier Racks 402A bis 402D. Racks 402A bis 402D beherbergen entsprechende Paare von Sleds 404A-1 und 404A-2, 404B-1 und 404B-2, 404C-1 und 404C-2, und 404D-1 und 404D-2. Daher umfasst in diesem Beispiel Rechenzentrum 400 insgesamt acht Sleds. Über das optische Fabric 412 kann jeder solcher Sled eine Signalisierungskonnektivität mit jedem der sieben anderen Sleds im Rechenzentrum 400 besitzen. Zum Beispiel kann Sled 404A-1 in Rack 402A über das optische Fabric 412 eine Signalisierungskonnektivität mit Sled 404A-2 in Rack 402A wie auch den sechs anderen Sleds 404B-1, 404B-2, 404C-1, 404C-2, 404D-1 und 404D-2 besitzen, die unter den anderen Racks 402B, 402C und 402D von Rechenzentrum 400 verteilt sind. Die Ausführungsformen sind nicht auf dieses Beispiel beschränkt.
5 zeigt eine Übersicht über ein Konnektivitätsschema 500, das im Allgemeinen für eine Link-Schicht-Konnektivität repräsentativ sein kann, die in einigen Ausführungsformen unter den verschiedenen Sleds eines Rechenzentrums errichtet werden kann, wie einen der beispielhaften Rechenzentren 100, 300 und 400 von 1, 3 und 4. Das Konnektivitätsschema 500 kann unter Verwendung eines optischen Fabrics implementiert werden, das eine optische Dualmodus-Schaltinfrastruktur 514 aufweist. Eine optische Dualmodus-Schaltinfrastruktur 514 kann im Allgemeinen eine Schaltinfrastruktur umfassen, die imstande ist, Kommunikationen gemäß mehreren Link-Schicht-Protokollen über denselben vereinheitlichten Satz optischer Signalisierungsmedien zu empfangen und solche Kommunikationen richtig zu vermitteln. In verschiedenen Ausführungsformen kann eine optische Dualmodus-Schaltinfrastruktur 514 unter Verwendung eines oder mehrerer optischer Dualmodus-Schalter 515 implementiert sein. In verschiedenen Ausführungsformen können optische Dualmodus-Schalter 515 im Allgemeinen High-Radix-Schalter umfassen. In einigen Ausführungsformen können optische Dualmodus-Schalter 515 mehrlagige Schalter wie vierlagige Schalter umfassen. In verschiedenen Ausführungsformen können optische Dualmodus-Schalter 515 integrierte Siliziumphotonik aufweisen, die ihnen ermöglicht, Kommunikationen mit signifikant verringerter Latenz im Vergleich zu herkömmlichen Schaltvorrichtungen zu vermitteln. In einigen Ausführungsformen können optische Dualmodus-Schalter 515 Blattschalter 530 in einer Leaf-Spine-Architektur bilden, die zusätzlich einen oder mehrere optische Dualmodus-Spine-Schalter 520 enthält.
In verschiedenen Ausführungsformen, können optische Dualmodus-Schalter imstande sein, sowohl Ethernet-Protokoll-Kommunikationen, die Internet Protokoll (IP-Pakete) tragen, als auch Kommunikationen gemäß einem zweiten Hochleistungsrechen- (HPC) Link-Schicht-Protokoll (z.B. Infiniband der Omni-Path Architecture von Intel) über optische Signalisierungsmedien eines optischen Fabrics empfangen. Wie in 5 in Bezug auf ein bestimmtes Paar von Sleds 504A und 504B, das optische Signalisierungskonnektivität mit dem optischen Fabric aufweist, erkennbar, kann ein Konnektivitätsschema 500 somit eine Unterstützung für eine Link-Schicht-Konnektivität sowohl über Ethernet-Links als auch HPC-Links bereitstellen. Somit können sowohl Ethernet- als auch HPC-Kommunikationen durch ein einzelnes Schalt-Fabric hoher Bandbreite, geringer Latenz bereitgestellt werden. Die Ausführungsformen sind nicht auf dieses Beispiel beschränkt.
6 zeigt eine allgemeine Übersicht über eine Rack-Architektur 600, die für eine Architektur eines bestimmten der Racks, die in 1 bis 4 dargestellt sind, gemäß einigen Ausführungsformen repräsentativ sein kann. Wie in 6 erkennbar, kann die Rack-Architektur 600 im Allgemeinen eine Vielzahl von Sled-Räumen aufweisen, in die Sleds eingesetzt werden können, von welchen jeder über einen Rack-Zugangsbereich 601 für einen Roboter zugänglich sein kann. In einem besonderen, nicht einschränkenden Beispiel, das in 6 dargestellt ist, weist die Rack-Architektur 600 fünf Sled-Räume 603-1 bis 603-5 auf. Die Sled-Räume 603-1 bis 603-5 weisen entsprechende Mehrzweckverbindermodule (MPCMs) 616-1 bis 616-5 auf.
7 zeigt ein Beispiel eines Sleds 704, der für einen Sled einer solchen Art repräsentativ sein kann. Wie in 7 dargestellt, kann der Sled 704 einen Satz physischer Ressourcen 705 wie auch ein MPCM 716 aufweisen, das gestaltet ist, mit einem Gegenstück-MPCM gekoppelt zu werden, wenn Sled 704 in einen Sled-Raum wie einen der Sled-Räume 603-1 bis 603-5 von 6 eingesetzt wird. Sled 704 kann auch einen Erweiterungsverbinder 717 aufweisen. Der Erweiterungsverbinder 717 kann im Allgemeinen eine Buchse, einen Schlitz oder eine andere Art von Verbindungselement aufweisen, das imstande ist, eine oder mehrere Arten von Erweiterungsmodulen aufzunehmen, wie einen Erweiterungs-Sled 718. Durch Kopplung mit einem Verbindergegenstück am Erweiterungs-Sled 718 kann der Erweiterungsverbinder 717 physische Ressourcen 705 mit Zugang zu ergänzenden Rechenressourcen 705B bereitstellen, die sich auf dem Erweiterungs-Sled 718 befinden. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
8 zeigt ein Beispiel einer Rack-Architektur 800, die für eine Rack-Architektur repräsentativ sein kann, die implementiert werden kann, um eine Unterstützung für Sleds bereitzustellen, die Erweiterungsfähigkeiten aufweisen, wie Sled 704 von 7. In einem besonderen, nicht einschränkenden Beispiel, dargestellt in 8, enthält die Rack-Architektur 800 sieben Sled-Räume 803-1 bis 803-7, die entsprechende MPCMs 816-1 bis 816-7 aufweisen. Die Sled-Räume 803-1 bis 803-7 enthalten entsprechende primäre Bereiche 803-1A bis 803-7A und entsprechende Erweiterungsbereiche 803-1B bis 803-7B. Unter Bezugnahme auf jeden solchen Sled-Raum, wenn das entsprechende MPCM mit einem Gegenstück-MPCM eines eingesetzten Sleds gekoppelt ist, kann der primäre Bereich im Allgemeinen einen Bereich des Sled-Raums bilden, der den eingesetzten Sled physisch aufnimmt. Der Erweiterungsbereich kann im Allgemeinen einen Bereich des Sled-Raums bilden, der ein Erweiterungsmodul, wie einen Erweiterungs-Sled 718 von 7 physisch aufnehmen kann, falls der eingesetzte Sled mit einem solchen Modul konfiguriert ist.
9 zeigt ein Beispiel eines Racks 902 gemäß einigen Ausführungsformen, das für ein Rack repräsentativ sein kann, das gemäß Rack-Architektur 800 von 8 implementiert ist. In einem besonderen, nicht einschränkenden Beispiel, dargestellt in 9, weist Rack 902 sieben Sled-Räume 903-1 bis 903-7 auf, die entsprechende primäre Bereiche 903-1A bis 903-7A und entsprechende Erweiterungsbereiche 903-1B bis 903-7B enthalten. In verschiedenen Ausführungsformen kann eine Temperatursteuerung in Rack 902 unter Verwendung eines Luftkühlsystems implementiert sein. Wie zum Beispiel in 9 erkennbar ist, kann Rack 902 eine Vielzahl von Gebläsen 919 aufweisen, die im Allgemeinen angeordnet sind, eine Luftkühlung innerhalb der verschiedenen Sled-Räume 903-1 bis 903-7 bereitzustellen. In einigen Ausführungsformen ist die Höhe des Sled-Raums größer als die herkömmliche „1U“ Server-Höhe. In solchen Ausführungsformen können Gebläse 919 im Allgemeinen relativ langsame Kühlgebläse mit großem Durchmesser im Vergleich zu Gebläsen umfassen, die in herkömmlichen Rack-Konfigurationen verwendet werden. Wenn Kühlgebläse mit großem Durchmesser bei niedrigeren Geschwindigkeiten laufen, kann die Lebensdauer der Gebläse relativ zu Kühlgebläsen mit kleinerem Durchmesser, die bei höheren Geschwindigkeiten laufen, verlängert werden, während weiterhin dasselbe Ausmaß an Kühlung bereitgestellt wird. Die Sleds sind physisch seichter als herkömmliche Rack-Dimensionen. Ferner sind Komponenten auf jedem Sled angeordnet, um eine thermische Schattenbildung zu reduzieren (d.h. sind nicht in Reihe in der Richtung eines Luftstroms angeordnet). Infolgedessen erlauben die breiteren, seichteren Sleds eine Erhöhung der Vorrichtungsleistung, da die Vorrichtungen bei einer höheren Wärmehülle (z.B. 250W) aufgrund der verbesserten Kühlung (d.h. keine thermische Schattenbildung, mehr Raum zwischen Vorrichtungen, mehr Raum für größere Wärmesenken usw.) betrieben werden können.
MPCMs 916-1 bis 916-7 können konfiguriert sein, eingesetzte Sleds mit Zugang zu Strom bereitzustellen, der durch entsprechende Strommodule 920-1 bis 920-7 zugeleitet wird, von welchen jedes Strom von einer externen Stromquelle 921 erhalten kann. In verschiedenen Ausführungsformen können externe Stromquelle 921 Wechselstrom (AC) zum Rack 902 leiten und Strommodule 920-1 bis 920-7 können konfiguriert sein, einen solchen Wechselstrom AC in Gleichstrom (DC) umzuwandeln, der den eingesetzten Sleds zugeführt wird. In einigen Ausführungsformen können zum Beispiel Strommodule 920-1 bis 920-7 konfiguriert sein, 277-Volt AC in 12-Volt DC zur Bereitstellung an eingesetzte Sleds über entsprechende MPCMs 916-1 bis 916-7 umzuwandeln. Die Ausführungsformen sind nicht auf dieses Beispiel beschränkt.
MPCMs 916-1 bis 916-7 können auch angeordnet sein, eingesetzten Sleds eine optische Signalisierungskonnektivität zu einer optischen Dualmodus-Schaltinfrastruktur 914 bereitzustellen, die dieselbe - oder eine ähnliche - wie die optische Dualmodus-Schaltinfrastruktur 514 von 5 sein kann. In verschiedenen Ausführungsformen können optische Verbinder, die in MPCMs 916-1 bis 916-7 enthalten sind, gestaltet sein, mit optischen Gegenstückverbindern gekoppelt zu sein, die in MPCMs eingesetzter Sleds enthalten sind, um solchen Sleds eine optische Signalisierungskonnektivität zur optischen Dualmodus-Schaltinfrastruktur 914 über entsprechende Längen einer optischen Verkabelung 922-1 bis 922-7 bereitzustellen. In einigen Ausführungsformen kann sich jede derartige Länge einer optischen Verkabelung von ihrem entsprechenden MPCM zu einem optischen Verbindungskabelbaum 923 erstrecken, der extern zu den Sled-Räumen des Racks 902 ist. In verschiedenen Ausführungsformen kann der optische Verbindungskabelbaum 923 angeordnet sein, durch eine Stützsäule oder eine andere Art von lasttragendem Element von Rack 902 zugehen. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt. Da eingesetzte Sleds mit einer optischen Schaltinfrastruktur über MPCMs verbunden sind, können die Ressourcen, die typischerweise beim manuellen Konfigurieren der Rack-Verkabelung aufgewendet werden, um einen neu eingesetzten Sled aufzunehmen, gespart werden.
10 zeigt ein Beispiel eines Sleds 1004 gemäß einigen Ausführungsformen, der für einen Sled repräsentativ sein kann, der zur Verwendung in Verbindung mit Rack 902 von 9 gestaltet ist. Sled 1004 kann ein MPCM 1016 aufweisen, das einen optischen Verbinder 1016A und einen Stromstecker 1016B umfasst und das zur Kopplung mit einem Gegenstück-MPCM eines Sled-Raums in Verbindung mit einem Einsetzen des MPCM 1016 in diesen Sled-Raum gestaltet ist. Ein Koppeln des MPCM 1016 mit einem solchen Gegenstück MPCM kann bewirken, dass der Stromstecker 1016 mit einem Stromstecker gekoppelt wird, der im Gegenstück-MPCM enthalten ist. Dies kann im Allgemeinen physischem Ressourcen 1005 des Sleds 1004 ermöglichen, Strom von einer externen Quelle über Stromstecker 1016 und Stromübertragungsmedien 1024 zu erhalten, die den Stromstecker 1016 leitfähig an physische Ressourcen 1005 koppeln.
Sled 1004 kann auch einen optischen Dualmodus-Netzwerkschnittstellenschaltkreis 1026 enthalten. Der optische Dualmodus-Netzwerkschnittstellenschaltkreis 1026 kann im Allgemeinen einen Schaltkreis umfassen, der imstande ist, über optische Signalisierungsmedien gemäß jedem von mehreren Link-Schicht-Protokollen zu kommunizieren, die durch die optische Dualmodus-Schaltinfrastruktur 914 von 9 unterstützt werden. In einigen Ausführungsformen kann der optische Dualmodus-Netzwerkschnittstellenschaltkreis 1026 sowohl zu Ethernet-Protokollkommunikationen als auch Kommunikationen gemäß einem zweiten Hochleistungsprotokoll imstande sein. In verschiedenen Ausführungsformen kann der optische Dualmodus-Netzwerkschnittstellenschaltkreis 1026 ein oder mehrere optische Sender/Empfänger-Module 1027 enthalten, von welchen jedes zum Senden und Empfangen optischer Signale über jeden von mehreren optischen Kanälen imstande sein kann. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
Ein Koppeln eines MPCM 1016 mit einem Gegenstück MPCM eines Sled-Raums in einem bestimmten Rack kann bewirken, dass der optische Verbinder 1016A mit einem optischen Verbinder gekoppelt wird, der im Gegenstück-MPCM enthalten ist. Das kann im Allgemeinen eine optische Konnektivität zwischen einer optischen Verkabelung des Sleds und optischen Dualmodus-Netzwerkschnittstellenschaltkreises 1026 über jeden eines Satzes optischer Kanäle 1025 bewirken. Der optische Dualmodus-Netzwerkschnittstellenschaltkreis 1026 kann mit den physischen Ressourcen 1005 von Sled 1004 über elektrische Signalisierungsmedien 1028 kommunizieren. Zusätzlich zu den Dimensionen der Sleds und der Anordnung von Komponenten auf den Sleds zum Bereitstellen einer verbesserten Kühlung und zum Ermöglichen eines Betriebs bei einer relativ höheren thermischen Hülle (z.B. 250W), wie oben unter Bezugnahme auf 9 beschrieben, kann ein Sled in einigen Ausführungsformen ein oder mehrere zusätzliche Merkmale zum Erleichtern einer Luftkühlung enthalten, wie ein Wärmerohr und/oder Wärmesenken, die zum Streuen von Wärme angeordnet sind, die durch physische Ressourcen 1005 erzeugt wird. Es muss festgehalten werden, dass, obwohl der beispielhafte Sled 1004, dargestellt in 10, keinen Erweiterungsverbinder aufweist, jeder gegebene Sled, der die Designelemente von Sled 1004 aufweist, auch einen Erweiterungsverbinder gemäß einigen Ausführungsformen aufweisen kann. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
11 zeigt ein Beispiel eines Rechenzentrums 1100, das im Allgemeinen für eines repräsentativ sein kann, in dem/für das eine oder mehrere hier beschriebene Techniken gemäß verschiedenen Ausführungsformen implementiert sein können. Wie in 11 erkennbar ist, kann ein physisches Infrastrukturmanagement-Framework 1150A implementiert sein, um eine Verwaltung einer physischen Infrastruktur 1100A von Rechenzentrum 1100 zu erleichtern. In verschiedenen Ausführungsformen kann eine Funktion eines physischen Infrastrukturmanagement-Frameworks 1150A eine Verwaltung automatisierter Wartungsfunktionen innerhalb des Rechenzentrums 1100 sein, wie die Verwendung von Wartungsrobotern zum Instandhalten von Rechengeräten innerhalb einer physischen Infrastruktur 1100A. In einigen Ausführungsformen kann die physische Infrastruktur 1100A ein hochentwickeltes Telemetriesystem aufweisen, das eine Telemetriemeldung durchführt, die ausreichend robust ist, um eine automatisierte Fernverwaltung einer physischen Infrastruktur 1100A zu unterstützen. In verschiedenen Ausführungsformen können Telemetrieinformationen, die durch ein solches hochentwickeltes Telemetriesystem bereitgestellt werden, Merkmale wie Fehlervorhersage/-verhinderungsfähigkeiten und Kapazitätsplanungsfähigkeiten unterstützen. In einigen Ausführungsformen kann das physische Infrastrukturmanagement-Framework 1150A auch zum Verwalten einer Authentifizierung von physischen Infrastrukturkomponenten unter Verwendung von Hardwarebestätigungstechniken implementiert sein. Zum Beispiel könne Roboter die Authentizität von Komponenten vor einer Installation durch Analysieren von Informationen bestätigen, die aus einem Funkfrequenzkennzeichnungs- (RFID) Tag erhalten werden, das mit jeder zu installierenden Komponente verknüpft ist. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
Wie in 11 dargestellt ist, kann die physische Infrastruktur 1100A von Rechenzentrum 1100 ein optisches Fabric 1112 umfassen, das eine optische Dualmodus-Schaltinfrastruktur 1114 enthalten kann. Das optische Fabric 1112 und die optische Dualmodus-Schaltinfrastruktur 1114 können dasselbe - oder ähnlich - wie das optische Fabric 412 von 4 bzw. die optische Dualmodus-Schaltinfrastruktur 514 von 5 sein und können eine Mehrfach-Protokollkonnektivität hoher Bandbreite, niedriger Latenz unter Sleds von Rechenzentrum 1100 bereitstellen. Wie oben unter Bezugnahme auf 1 besprochen, kann in verschiedenen Ausführungsformen die Verfügbarkeit einer solchen Konnektivität ein Trennen und dynamisches Poolen von Ressourcen, wie Beschleuniger, Speicher und Datenspeicher, durchführbar machen. In einigen Ausführungsformen können zum Beispiel ein oder mehrere gepoolte Beschleuniger-Sleds 1130 in der physischen Infrastruktur 1100A von Rechenzentrum 1100 enthalten sein, von welchen jeder einen Pool von Beschleunigerressourcen - wie zum Beispiel Co-Prozessoren und/oder FPGAs - enthalten kann, der über das optische Fabric 1112 und die optische Dualmodus-Schaltinfrastruktur 1114 global für andere Sleds zugänglich ist.
In einem anderen Beispiel können in verschiedenen Ausführungsformen ein oder mehrere gepoolte Datenspeicher-Sleds 1132 in der physischen Infrastruktur 1100A von Rechenzentrum 1100 enthalten sein, von welchen jeder einen Pool von Datenspeicherressourcen enthalten kann, die über das optische Fabric 1112 und die optische Dualmodus-Schaltinfrastruktur 1114 global für andere Sleds zugänglich sind. In einigen Ausführungsformen können solche gepoolten Datenspeicher-Sleds 1132 Pools von Festkörper-Datenspeichervorrichtungen enthalten, wie Solid-State-Laufwerke (SSDs). In verschiedenen Ausführungsformen können ein oder mehrere Hochleistungsverarbeitungs-Sleds 1134 in der physischen Infrastruktur 1100A von Rechenzentrum 1100 enthalten sein. In einigen Ausführungsformen können, Hochleistungsverarbeitungs-Sleds 1134 Pools von Hochleistungsprozessoren wie auch Kühlungsmerkmale enthalten, die eine Luftkühlung verbessern können, um eine höhere thermisch Hülle von bis zu 250W oder mehr zu erhalten. In verschiedenen Ausführungsformen kann jeder gegebene Hochleistungsverarbeitungs-Sled 1134 einen Erweiterungsverbinder 1117 aufweisen, der ein Fernspeichererweiterungs-Sled aufnehmen kann, sodass der Fernspeicher, der lokal für diesen Hochleistungsverarbeitungs-Sled 1134 verfügbar ist, von Prozessoren und Nahspeicher getrennt ist, die auf diesem Sled enthalten sind. In einigen Ausführungsformen kann ein solcher Hochleistungsverarbeitungs-Sled 1134 mit einem Fernspeicher unter Verwendung eines Erweiterungs-Sleds konfiguriert sein, der einen SSD-Datenspeicher niedriger Latenz verwendet. Die optische Infrastruktur erlaubt, dass Rechenressourcen auf einem Sled einen fernen Beschleuniger-/FPGA, Speicher und/oder SSD Ressourcen verwenden, die getrennt auf einem Sled sind, der sich auf demselben Rack oder einem anderen Rack im Rechenzentrum befindet. Die fernen Ressourcen können einen Schaltersprung entfernt oder zwei Schaltersprünge entfernt in der Spine-Leaf-Netzwerkarchitektur liegen, die oben unter Bezugnahme auf 5 beschrieben wurde. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
In verschiedenen Ausführungsformen können eine oder mehrere Abstraktionsschichten bei den physischen Ressourcen der physischen Infrastruktur 1100A angewendet werden, um eine virtuelle Infrastruktur, wie eine Software-definierte Infrastruktur 1100B, zu definieren. In einigen Ausführungsformen können virtuelle Rechenressourcen 1136 einer Software-definierten Infrastruktur 1100B zugeordnet werden, um die Bereitstellung von Cloud-Diensten 1140 zu unterstützen. In verschiedenen Ausführungsformen können bestimmte Sätze virtueller Rechenressourcen 1136 zur Bereitstellung für Cloud-Dienste 1140 in der Form von SDI-Diensten 1138 gruppiert werden. Beispiele für Cloud-Dienste 1140 können - ohne Einschränkung - Software als Service- (SaaS) Dienste 1142, Plattform als Service- (PaaS) Dienste 1144 und Infrastruktur als Service- (IaaS) Dienste 1146 enthalten.
In einigen Ausführungsformen kann eine Verwaltung einer Software-definierten Infrastruktur 1100B unter Verwendung eines virtuellen Infrastrukturmanagement-Frameworks 1150B durchgeführt werden. In verschiedenen Ausführungsformen kann ein virtuelles Infrastrukturmanagement-Framework 1150B gestaltet sein, Arbeitslastfingerabdrucktechniken und/oder Maschinenlerntechniken in Verbindung mit einer Verwaltung einer Zuordnung virtueller Rechenressourcen 1136 und/oder SDI-Dienste 1138 zu Cloud-Diensten 1140 zu implementieren. In einigen Ausführungsformen kann das virtuelle Infrastrukturmanagement-Framework 1150B Telemetriedaten in Verbindung mit einer Durchführung einer solchen Ressourcenzuordnung verwenden/zu Rate ziehen. In verschiedenen Ausführungsformen kann ein Anwendungs-/Dienstverwaltungs-Framework 1150C implementiert sein, um Dienstgüte-(QoS) Verwaltungsfähigkeiten für Cloud-Dienste 1140 bereitzustellen. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
Unter Bezugnahme nun auf 12 enthält eine veranschaulichende Rechenvorrichtung 1200 zur Hochleistungs-Einzelstrom-Datenkompression einen Prozessor 1220, ein Eingabe-/Ausgabe-, (I/O-), ein Teilsystem 1222, einen Speicher 1224 und eine Datenspeichervorrichtung 1226. Die Rechenvorrichtung 1200 kann als Servercomputer, Rack-Server, Blade-Server, Rechenknoten und/oder Sled in einem Rechenzentrum, wie einem Sled 204, wie oben in Verbindung mit 2 beschrieben, einem Sled der physischen Infrastruktur 1100A, wie oben in Verbindung mit 11 beschrieben, oder einem anderen Sled des Rechenzentrums verkörpert sein.
In Verwendung, wie unten beschrieben, teilt die Rechenvorrichtung 1200 einen Eingangsdatenstrom in relativ kleine, überlappende Segmente. Zum Beispiel kann jedes Segment 136 Bytes lang sein und das vorherige Segment um acht Bytes überlappen. Die Rechenvorrichtung 1200 sucht parallel nach übereinstimmenden Daten im Eingangsdatenstrom für jedes Segment und generiert entsprechende LZ77-Token-Ströme. Die Rechenvorrichtung 1200 vereint die Token-Ströme, die mit jedem Segment verknüpft sind, in einem einzigen Token-Ausgangsstrom. Die Rechenvorrichtung 1200 codiert den Token-Strom, um einen Ausgangsdatenblock zu generieren. Durch Durchführen der parallelen Suche nach übereinstimmenden Daten kann die Rechenvorrichtung 1200 die Übereinstimmungsleistung deutlich verbessern. Ferner, wie unten beschrieben, bewahrt die Rechenvorrichtung 1200 das Kompressionsverhältnis selbst für kleine Segmentgrößen, da die Suche nach Übereinstimmungen einen großen Verlauf verwenden kann und da sich Übereinstimmungen über Segmentgrenzen erstrecken können. Somit kann die Rechenvorrichtung 1200 eine Datenkompression mit hohen Kompressionsverhältnissen durchführen, vergleichbar mit traditionellen L9-Kompressoren mit geringer Latenz und hoher Einzelstromleistung. Insbesondere kann die Rechenvorrichtung 1200 imstande sein, eine Einzelstromkompression mit einer Leistung durchzuführen, die für Netzwerkverbindungen hoher Bandbreite (z.B. 25 Gb/sec Netzwerke) geeignet ist. Zusätzlich kann die Rechenvorrichtung 1200 eine Hochleistungskompression unter Verwendung eines kleineren Puffers und/oder mit geringer Latenz als Kompressionsmethoden durchführen, die einen grobkörnigen Parallelismus verwenden. Zum Beispiel kann ein grobkörniger Parallelismus ein Aufbrechen großer Dateien in mehrere Abschnitte erfordern, die unabhängig verarbeitet werden und somit relativ große Datenpuffer und/oder große Latenzen erfordern können, die für eine hohe Einzelstromleistung ungeeignet sind. Im Gegensatz dazu kann die Rechenvorrichtung 1200 eine hohe Einzelstromleistung für sehr kleine Datenpuffer bereitstellen, da die Rechenvorrichtung 1200 mit feinkörnigen Segmenten (z.B. in der Größenordnung von 128 Bytes) arbeitet.
Der Prozessor 1220 kann als jede Art von Prozessor bereitgestellt sein, der imstande ist, die hier beschriebenen Funktionen durchzuführen. Zum Beispiel kann der Prozessor 1220 als Einzel- oder Mehrfachkern-Prozessor(en), Digitalsignalprozessor, Mikrosteuerung oder als ein anderer Prozessor oder Verarbeitungs-/Steuerungsschaltkreis verkörpert sein. Ebenso kann der Speicher 1224 als eine Art von flüchtiger oder nicht flüchtiger Speicher oder Datenspeicher verkörpert sein, der imstande ist, die hier beschriebenen Funktionen durchzuführen. In Betrieb kann der Speicher 1224 verschiedene Daten und Software, die während des Betriebs der Rechenvorrichtung 1200 verwendet werden, solche Betriebssysteme, Anwendungen, Programme, Bibliotheken und Treiber speichern. Der Speicher 1224 ist kommunikativ über das I/O Teilsystem 1222, das als Schaltkreis implementiert sein kann, und/oder Komponenten zum Erleichtern von Eingabe-/Ausgabeoperationen mit dem Prozessor 1220, dem Speicher 1224 und anderen Komponenten der Rechenvorrichtung 1200 an den Prozessor 1220 gekoppelt. Zum Beispiel kann das I/O Teilsystem 1222 als Speichersteuerungs-Hubs, Eingabe-/Ausgabesteuer-Hubs, Sensor-Hubs, Firmware-Vorrichtungen, Kommunikationslinks (d.h. Punkt-zu-Punkt-Links, Bus-Links, Drähte, Kabel, Lichtleiter, gedruckte Leiterplattenbahnen usw.) und/oder andere Komponenten und Teilsysteme verkörpert sein oder diese auf andere Weise enthalten, um die Eingabe-/Ausgabeoperationen zu erleichtern. In einigen Ausführungsformen kann das I/O Teilsystem 1222 einen Teil eines System-on-a-Chip (SoC) bilden und gemeinsam mit dem Prozessor 1220, dem Speicher 1224 und anderen Komponenten der Rechenvorrichtung 1200 auf einem einzelnen integrierten Schaltungs-Chip enthalten sein.
Die Datenspeichervorrichtung 1226 kann als eine Art von Vorrichtung oder Vorrichtungen verkörpert sein, die für eine kurzfristige oder langfristige Datenspeicherung konfiguriert sind, wie zum Beispiel Speichervorrichtungen und Schaltungen, Speicherkarten, Festplattenlaufwerke, Solid-State-Laufwerke, nicht flüchtiger Flash-Speicher oder andere Datenspeichervorrichtungen. Die Rechenvorrichtung 1200 kann auch ein Kommunikationsteilsystem 1228 enthalten, das als eine Kommunikationsschaltung, -vorrichtung oder Sammlung davon implementiert ist, imstande, Kommunikationen zwischen der Rechenvorrichtung 1200 und anderen Fernvorrichtungen über ein Computernetzwerk (nicht dargestellt) zu ermöglichen. Das Kommunikationsteilsystem 1228 kann konfiguriert sein, eine oder mehrere Kommunikationstechnologien (z.B. verdrahtete oder drahtlose Kommunikationen) und zugehörige Protokolle (z.B. Ethernet, InfiniBand®, Bluetooth®, Wi-Fi®, WiMAX, 3G, 4G LTE usw.) zur Ausführung einer solchen Kommunikation zu verwenden.
Die Rechenvorrichtung 1200 kann ferner eine oder mehrere periphere Vorrichtungen 1230 enthalten. Die peripheren Vorrichtungen 1230 können eine beliebige Anzahl zusätzlicher Eingabe-/Ausgabevorrichtungen, Schnittstellenvorrichtungen, Hardware-Beschleuniger und/oder anderer peripherer Vorrichtungen enthalten. Zum Beispiel können die peripheren Vorrichtungen 1230 in einigen Ausführungsformen einen Berührungsbildschirm, Grafikschaltkreis, eine grafische Verarbeitungseinheit (GPU) und/oder Prozessorgrafik, eine Audiovorrichtung, ein Mikrophon, eine Kamera, eine Tastatur, eine Maus, eine Netzwerkschnittstelle und/oder andere Eingabe-/Ausgabevorrichtungen, Schnittstellenvorrichtungen und/oder periphere Vorrichtungen enthalten.
Unter Bezugnahme nun auf 13 errichtet die Rechenvorrichtung 1200 in einer veranschaulichenden Ausführungsform eine Umgebung 1300 während eines Betriebs. Die veranschaulichende Umgebung 1300 enthält einen Aktualisierer 1302, mehrere Such-Slices 1304, einen Vereiner 1308 und einen Codierer 1310. Die verschiedenen Komponenten der Umgebung 1300 können als Hardware, Firmware, Software oder eine Kombination davon verkörpert sein. Als solches können eine oder mehrere der Komponenten der Umgebung 1300 in einigen Ausführungsformen als Schaltkreis oder Sammlung elektrischer Vorrichtungen (z.B. Aktualisiererschaltkreis 1302, Such-Slice-Schaltkreis 1304, Vereinigungsschaltkreis 1308 und/oder Codiererschaltkreis 1310) implementiert sein. Es sollte klar sein, dass in solchen Ausführungsformen einer oder mehrere von dem Aktualisiererschaltkreis 1302, dem Such-Slice-Schaltkreis 1304, dem Vereinigungsschaltkreis 1308 und/oder der Codiererschaltkreis 1310 einen Abschnitt des Prozessors 1220, des I/O-Teilsystems 1222, des Kommunikationsteilsystems 1228 und/oder anderer Komponenten der Rechenvorrichtung 1200 bilden können. Zusätzlich können in einigen Ausführungsformen eine oder mehrere der veranschaulichenden Komponenten einen Abschnitt einer anderen Komponente bilden und/oder eine oder mehrere der veranschaulichenden Komponenten können voneinander unabhängig sein.
Der Aktualisierer 1302 ist konfiguriert, eine Indexdatenstruktur basierend auf einem Eingangsdatenstrom zu aktualisieren. Die Indexdatenstruktur enthält Indexdaten, die mit Versätzen im Eingangsdatenstrom verknüpft sind. Der Eingangsdatenstrom ist in mehrere Segmente geteilt. Jedes Segment hat eine vorgegebene Länge und kann das vorherige Segment um ein vorgegebenes Maß an Daten überlappen.
Jede der Such-Slices 1304 ist konfiguriert, einen unzusammenhängenden Teilsatz der Segmente des Eingangsdatenstroms, um einen entsprechenden Token-Strom zu generieren, unter Verwendung der Indexdaten zu verarbeiten. Zum Beispiel können die Segmente auf die Such-Slices 1304 aufgeteilt werden, indem jedes folgende Segment einer anderen Such-Slice 1304 zugewiesen wird. Obwohl die Segmente überlappende Daten enthalten können, wird somit jedes Segment nur durch eine Such-Slice 1304 verarbeitet. Jede Such-Slice 1304 kann ein Segment unter Verwendung von Indexdaten verarbeiten, die in einem entsprechenden Slice-Speicher 1306 gespeichert sind. Der Aktualisierer 1302 kann ferner konfiguriert sein, die Indexdaten aus der Indexdatenstruktur den Slice-Speichern 1306 bereitzustellen. Die Indexdaten können zum Beispiel Hash-Tabelleneinträge für Eingangsdaten enthalten, die den Segmenten entsprechen, die dieser Such-Slice 1304 zugewiesen sind. Wenn mehrere Such-Slices 1304 enthalten sind, kann die Rechenvorrichtung 1200 mehrere Segmente gleichzeitig oder in paralleler Weise verarbeiten. Zusätzlich, obwohl zwei Such-Slices 1304a, 1304b dargestellt sind, sollte klar sein, dass die Rechenvorrichtung 1200 in einigen Ausführungsformen zusätzliche Such-Slices 1304a, 1304b (z.B. 16 Slices 1304) enthalten kann.
Der Vereiner 1308 ist konfiguriert, die Token-Ströme, die durch die Such-Slices 1304 generiert werden, zu vereinen, um einen einzigen Token-Ausgangsstrom zu generieren. Ein Vereinen der Token-Ströme kann ein Lesen eines Paares aufeinanderfolgender Token aus den Token-Strömen und ein Bestimmen, ob das Token-Paar von demselben Token-Strom (d.h. von derselben Such-Slice 1304) stammt, enthalten. Falls ja, können die Tokens an den Token-Ausgangsstrom ausgegeben werden. Falls die Token von verschiedenen Token-Strömen stammen (d.h. einer der Token ist der letzte Token, der von einer Such-Slice 1304 für ein bestimmtes Segment ausgegeben wird, und der andere Token wird von einer anderen Such-Slice 1304 für das nächste Segment generiert), ist der Vereiner 1308 konfiguriert, die Token zu einem oder mehreren synchronisierten Token zu vereinen, die an den Token-Ausgangsstrom ausgegeben werden. zum Synchronisieren der Token kann der Vereiner 1308 eine der mehreren vorgegebenen Vereinigungsregeln, wie unten beschrieben, auswählen und anwenden.
Unter Bezugnahme nun auf 14 kann die Rechenvorrichtung 1200 in Verwendung ein Verfahren 1400 zur Hochleistungs-Einzelstrom-Datenkompression ausführen. Es sollte klar sein, dass in einigen Ausführungsformen die Operationen des Verfahrens 1400 durch eine oder mehrere Komponenten der Umgebung 1300 der Rechenvorrichtung 1200 durchgeführt werden können, wie in 13 dargestellt. Das Verfahren 1400 beginnt in Block 1402, in dem die Rechenvorrichtung 1200 überlappende Segmente eines Eingangsdatenstroms Such-Slices 1304 zuweist. Der Eingangsdatenstrom kann als ein Strom binärer Daten verkörpert sein, die zu komprimieren sind, wie eine Eingangsdatei, ein Netzwerkstrom oder andere Eingangsdaten. Jedes der Segmente kann als ein feinkörniger Abschnitt des Eingangsstroms verkörpert sein, der das vorherige Segment in einem geringen Ausmaß überlappen kann. Zum Beispiel kann jedes Segment (nach einem anfänglichen Segment) 136 Bytes lang sein und das vorherige Segment um 8 Bytes überlappen. Überlappungen unterschiedlicher Größen können in anderen Ausführungsformen verwendet werden. Im Allgemeinen können größere Überlappungen das Kompressionsverhältnis verbessern, das durch die Rechenvorrichtung 1200 erreicht wird, können aber auch einen Leistungsmehraufwand erhöhen. Zum Beispiel kann in einigen Ausführungsformen eine Nullüberlappung zwischen den Segmenten eine annehmbare Leistung, aber ein reduziertes Kompressionsverhältnis im Vergleich zu typischen L9 Kompressionsalgorithmen bereitstellen und eine Überlappung von acht Bytes kann eine annehmbare Leistung mit Kompressionsverhältnissen bereitstellen, die mit L9 Kompressionsalgorithmen vergleichbar sind. In einigen Ausführungsformen können Überlappungen größer als 12 Bytes abnehmende Erträge für das Kompressionsverhältnis im Vergleich zu L9 Kompressionsalgorithmen bereitstellen. In Block 1404 teilt die Rechenvorrichtung 1200 die Segmente zwischen den Such-Slices 1304 auf. Die Rechenvorrichtung 1200 kann zum Beispiel jedes folgendes Segment einer anderen Slice 1304 zuweisen. Nach dem Teilen ist somit jeder Slice 1304 ein eigenständiger Teilsatz der Segmente zugewiesen.
Unter Bezugnahme nun auf 15 zeigt die schematische Darstellung 1500 eine Teilung eines Eingangsdatenstroms 1502 in Segmente. In der veranschaulichenden Ausführungsform ist jedes Segment (nach dem anfänglichen Segment) 136 Bytes lang und überlappt das vorherige Segment um 8 Bytes. Wie dargestellt, reicht das veranschaulichende Segment 1504 von Byte 120 zu Byte 255 und das veranschaulichende Segment 1506 reicht von Byte 248 zu Byte 383. Das Segment 1506 überlappt das Segment 1504 bei Bytes 248 bis 255. Da das anfängliche Segment kein vorheriges Segment zum Überlappen hat, ist das anfängliche Segment 128 Bytes lang und reicht von Byte 0 (d.h. dem Start des Eingangsdatenstroms) zu Byte 127. Das Segment 1504 überlappt das anfängliche Segment bei Bytes 120 bis 127.
Unter Bezugnahme nun auf 16 zeigt eine schematische Darstellung 1600 Segmente, die zwischen den Such-Slices 1304 aufgeteilt sind. Ein Eingangsdatenstrom 1602 ist in Segmente 1604 aufgeteilt dargestellt. Die veranschaulichende Ausführungsform enthält vier Such-Slices 1304a bis 204d. Jedes folgende Segment 1604 wird einer andere Such-Slice 1304 zugewiesen; das heißt, Segment 1604a wird Slice 1304a zugewiesen, Segment 1604b wird Slice 1304b zugewiesen und so weiter. Nach Zuweisung eines Segments 1604 zur letzten Slice 1304d geht die Rechenvorrichtung 1200 zu Slice 1304a zurück und wiederholt die Zuweisung von Segmenten 1604 in derselben Reihenfolge. Daher werden in der veranschaulichenden Ausführungsform jeder Slice 1304 Segmente 1604 zugewiesen, die durch drei andere, nicht zugewiesene Segmente 1604 getrennt sind. Zum Beispiel werden der Slice 1304b zur Veranschaulichung die Segmente 1604b, 1604f, 1604j zugewiesen.
Unter erneuter Bezugnahme auf 14 indiziert die Rechenvorrichtung 1200 in Block 1406, nach Zuweisung der überlappenden Segmente, den Eingangsdatenstrom und aktualisiert eine oder mehrere Indexdatenstrukturen. Wie in der Folge näher beschrieben ist, können die Indexdatenstrukturen durch die Such-Slices 1304 zum Identifizieren übereinstimmender Substrings innerhalb eine Suchverlaufsfensters des Eingangsdatenstroms verwendet werden. Das Suchfenster kann zum Beispiel 32 kB des Eingangsdatenstroms sein. Die Indexdatenstrukturen können zum Beispiel als eine Hash-Tabelle, die Drei-Byte-Abfolgen des Eingangsdatenstroms indiziert, und eine Überlauftabelle zum Speichern von Indexdaten im Fall von Hash-Kollisionen verkörpert sein. Die Rechenvorrichtung 1200 kann die Indexdatenstrukturen für jede Position (z.B. jeden Byte-Versatz) des Eingangsdatenstroms aktualisieren. Zum Bereitstellen einer hohen Einzelstromleitung kann die Rechenvorrichtung 1200 in einigen Ausführungsformen Aktualisierungen für mehrere Positionen in jedem Taktzyklus ausführen (z.B. drei Bytes des Eingangsdatenstroms in jedem Taktzyklus des Prozessors 1220, des I/O-Teilsystems 1222, des Kommunikationsteilsystems 1228 oder einer anderen Komponente der Rechenvorrichtung 1200 verarbeiten).
In Block 1408 stellt die Rechenvorrichtung 1200 Indexdaten für jedes Segment bei der zugehörigen Such-Slice 1304 bereit. Insbesondere kann die Rechenvorrichtung 1200 die Indexdaten, die mit jeder Position (z.B. Byte-Versatz) innerhalb eines Segments verknüpft sind, bei der zugehörigen Such-Slice 1304 bereitstellen. In einigen Ausführungsformen kann die Rechenvorrichtung 1200 in Block 1410 eine oder mehrere Hash-Tabelleneinträge entsprechend dem Segment zum Slice-Speicher 1306 der entsprechenden Such-Slice 1304 kopieren. Da die Segmente überlappen, kann die Rechenvorrichtung 1200 denselben Hash-Tabelleneintrag zu mehr als einem Slice-Speicher 1306 kopieren.
Nach Bereitstellen der Indexdaten bei den Such-Slices 1304 fährt das Verfahren 1400 parallel mit mehreren Instanzen von Block 1412 fort. Jede Instanz des Blocks 1412 kann durch eine Such-Slice 1304 ausgeführt werden. In Block 1412 verarbeitet die Rechenvorrichtung 1200 jedes Segment des Eingangsdatenstroms und generiert einen Token-Ausgangsstrom. Somit generiert jede Instanz des Blocks 1412 einen separaten Token-Strom. Jeder Token-Strom enthält literale Token und Referenz-Token (auch als Pointer-Token oder Übereinstimmungs-Token bezeichnet). Jeder (literale und Referenz-) Token entspricht einem bestimmten Versatz oder Bereich von Versätzen innerhalb des Eingangsdatenstroms. Jeder literale Token identifiziert ein Byte oder ein anderes Symbol aus dem Eingangsdatenstrom. Jeder Referenz-Token enthält einen Rückwärtsversatz und eine Länge, die ein wiederholtes Segment des Eingangsdatenstroms identifiziert. Die Rechenvorrichtung 1200 kann den Eingangsdatenstrom nach übereinstimmenden Substrings durchsuchen und einen Referenz-Token für die beste gefundenen Übereinstimmung ausgeben. Zum Beispiel kann die Rechenvorrichtung 1200 Indexdaten, die durch den Aktualisierer 1302 generiert werden, zum Identifizieren möglicher Übereinstimmungen in einem Verlaufspuffer verwenden und dann die Daten bei diesen möglichen Übereinstimmungen mit den aktuellen Daten des Eingangsdatenstroms vergleichen. Basierend auf den Ergebnissen dieser Übereinstimmungen gibt die Rechenvorrichtung 1200 einen Token-Strom aus, der literale Token und/oder Referenz-Token enthält. Eine mögliche Ausführungsform eines Verfahren zum Verarbeiten der Segmente und zum Ausgeben eines Token-Stroms ist unten in Verbindung mit 17 beschrieben.
Nach dem parallelen Verarbeiten der Segmente fährt das Verfahren 1400 mit Block 1414 fort, in dem die Rechenvorrichtung 1200 die Token-Ströme, die durch die Such-Slices 1304 generiert wurden, zu einem einzigen Token-Ausgangsstrom vereint. Im allgemeinen Fall kann die Rechenvorrichtung 1200 einfach folgende Token, die durch dieselbe Such-Slice 1304 generiert wurden, ausgeben. An den Grenzen zwischen Segmenten kann die Rechenvorrichtung 1200 Token vereinen, die durch zwei verschiedene Such-Slices 1304 generiert wurden. Die Rechenvorrichtung 1200 vereint die Token durch Synchronisieren von Token-Grenzen (z.B. der abschließende Versatz für einen bestimmten Token und der anfängliche Versatz für den nächsten Token) zwischen den zwei Slices 1304. Die Rechenvorrichtung 1200 kann die Token vereinen, indem Token unverändert ausgegeben werden oder indem Token fallengelassen, Token gekürzt, Referenz-Token durch literale Token ersetzt oder die Token-Ströme, die von den Such-Slices 1304 ausgegeben werden, auf andere Weise verändert werden. Eine mögliche Ausführungsform eines Verfahrens und zugehöriger Regeln zum Vereinen von Token ist in der Folge in Verbindung mit 18-20 beschrieben.
In Block 1416 führt die Rechenvorrichtung 1200 eine Huffman-Codierung am Token-Ausgangsstrom aus und generiert die komprimierten Ausgangsdaten. Die komprimierten Ausgangsdaten können zum Beispiel als ein Ausgangsdatenblock oder andere komprimierte Daten verkörpert sein, die mit dem DEFLATE-Algorithmus kompatibel sind. Nach Generieren der Ausgangsdaten ist das Verfahren 1400 fertig. Die Rechenvorrichtung 100 kann das Verfahren 1400 erneut ausführen, um zusätzliche Eingangsdaten zu komprimieren.
Obwohl in 14 eine aufeinanderfolgende Durchführung der Operationen des Verfahrens 1400 dargestellt ist, sollte klar sein, dass die Rechenvorrichtung 1200 in einigen Ausführungsformen diese Operationen gleichzeitig, parallel oder in einer beliebigen anderen Reihenfolge ausführen kann. Zum Beispiel kann in einigen Ausführungsformen die Indexdatenstruktur durch den Aktualisierer 1302 aktualisiert werden, während die Segmente durch die Slices 1304 parallel verarbeitet werden. In diesem Beispiel kann der Aktualisierer 1302 den Eingangsdatenstrom bei einer schnelleren Rate verarbeiten als eine einzelne Such-Slice 1304, sodass, wenn eine Such-Slice 1304 eine Verarbeitung eines Segments beendet und zum nächsten zugewiesenen Segment springt, der Aktualisierer 1302 ein Aktualisieren der Indexdatenstruktur für das nächste Segment beendet hat.
Die ungefähre Leistung der Rechenvorrichtung 1200 kann unter Verwendung folgender Gleichung 1 modelliert werden, wobei N die Anzahl von Slices 1304 ist, C die vergleichsweise Leistung jeder Slice 1304 (in Zyklen/verarbeitetem Byte) ist und U die Aktualisierungsleistung des Aktualisierers 1302 (in Bytes/Zyklus) ist Wenn Zum Beispiel C 5,3 Zyklen/Byte ist und U 3 Bytes/Zyklus ist, dann ist N etwa 16. In Fortsetzung dieses Beispiels braucht jede Slice 1304 für eine Segmentgröße von 136 Bytes mit einer Überlappung von 8 Bytes etwa 720 Zyklen zur Verarbeitung eines Segments. Der Aktualisierer 1302 benötigt etwa 683 Zyklen zur Verarbeitung der Eingangsstromdaten für einen Satz von 16 Segmenten (entsprechend allen 16 Slices 1304). Da der Aktualisierer 1302 und die Slices 1304 parallel laufen können, ist die gesamte Zeit zur Verarbeitung von 16 Segmenten (entsprechend 2048 Bytes Eingangsdaten) 720 Zyklen. Da der Aktualisierer 1302 die Verarbeitung schneller beendet als die 1304, müssen die Slices 1304 nicht auf den Aktualisierer 1302 warten, wenn sie für die Verarbeitung eines neuen Segments bereit sind. $N = C \times U$
Unter Bezugnahme nun auf 17 kann die Rechenvorrichtung 1200 in Verwendung ein Verfahren 1700 zur Suche nach übereinstimmenden Substrings durchführen. Es sollte klar sein, dass in einigen Ausführungsformen die Operationen des Verfahrens 1700 durch eine oder mehrere Komponenten der Umgebung 1300 der Rechenvorrichtung 1200 durchgeführt werden können, wie in 13 dargestellt. Insbesondere kann das Verfahren 1700 durch eine Such-Slice 1304 wie oben in Verbindung mit dem Block 1412 von 14 beschrieben durchgeführt werden.
Das Verfahren 1700 beginnt in Block 1702, in dem die Rechenvorrichtung 1200 im Eingangsverlauf nach Substrings sucht, die mit der aktuellen Position im Eingangsdatenstrom übereinstimmen. Die Rechenvorrichtung 1200 kann nach Übereinstimmungen unter Verwendung eines globalen Verlaufspuffers oder einer anderen Verlaufsdatenstruktur suchen, die für den gesamten Eingangsdatenstrom geführt wird. Zum Beispiel kann der Verlaufspuffer als ein einziger Puffer verkörpert sein, der mehrfache Anschlüsse hat und/oder zeitlich geteilt ist, oder in einigen Ausführungsformen können mehrere Kopien des Verlaufspuffers vorhanden sein (z.B. eine Kopie des Verlaufspuffers pro Such-Slice 1304), Die Rechenvorrichtung 1200 kann jede geeignete Technik zum Durchsuchen des Eingabeverlaufs verwenden. Zum Beispiel kann die Rechenvorrichtung 1200 Indexdaten verwenden die durch den Aktualisierer 1302 generiert werden (z.B. einen oder mehrere Hash-Tabelleneinträge) um mögliche Übereinstimmungen im Verlaufspuffer zu identifizieren und dann die Daten bei diesen möglichen Übereinstimmungen mit den aktuellen Daten des Eingangsdatenstroms zu vergleichen. Die Indexdaten können in einer globalen Datenstruktur wie einer oder mehreren Hash-Tabellen und/oder Überlauftabellen gespeichert werden, oder in einigen Ausführungsformen kann eine bestimmte Such-Slice 1304 auf Indexdaten (z.B. Hash-Tabelleneinträge) aus einem bestimmten dedizierten Slice-Speicher 1306 zugreifen. Die Rechenvorrichtung 1200 kann mehrere mögliche Übereinstimmungen im Verlaufsspeicher auswerten, um die beste Übereinstimmung mit den aktuellen Daten (z.B. die längste Übereinstimmung, die kürzeste Distanz im Verlaufspuffer oder eine andere Metrik) zu identifizieren. Jede Übereinstimmung beginnt im aktuellen Segment, kann sich aber über das Ende des aktuellen Segments erstrecken, entweder zur maximalen Vergleichslänge oder zum Ende des Eingangsdatenstroms.
In Block 1704 gibt die Rechenvorrichtung 1200 einen Token für die aktuelle Position aus. Wie oben beschrieben, kann der Token ein literaler Token sein, der ein Byte oder ein anderes Symbol aus dem Eingangsdatenstrom identifiziert, oder eine Referenz-Token, der einen übereinstimmenden Substring im Eingangsverlauf identifiziert. In Block 1706 schaltet die Rechenvorrichtung 1200 die Art des Ausgangs-Tokens ein. Falls der Token ein literaler Token ist, zweigt das Verfahren 1700 zu Block 1708 ab, in dem die Rechenvorrichtung 1200 aktuelle Position zur nächsten Position (z.B. dem nächsten Byte) im Eingangsdatenstrom bewegt. Unter erneuter Bezugnahme auf Block 1706, falls der Token ein Referenz-Token ist, zweigt das Verfahren 1700 zu Block 1710 ab, in dem die Rechenvorrichtung 1200 die aktuelle Position zum Ende der Übereinstimmung verschiebt.
Nach Bewegen der aktuellen Position vergleicht die Rechenvorrichtung 1200 in Block 1712 die aktuelle Position mit dem Ende des aktuellen Segments. In Block 1714 bestimmt die Rechenvorrichtung 1200, ob die aktuelle Position über dem Ende des aktuellen Segments liegt. Zum Beispiel kann sich die aktuelle Position nach Ausgabe eines Referenz-Tokens und Springen zum Ende der Übereinstimmung über das Ende des aktuellen Segments hinaus erstrecken. Falls die aktuelle Position sich nicht über das Ende des aktuellen Segments hinaus erstreckt, kehrt das Verfahren 1700 zu Block 1702 zurück, um mit der Suche nach Substring-Übereinstimmungen fortzufahren. Falls sich die aktuelle Position über das Ende des aktuellen Segments hinaus erstreckt, geht das Verfahren 1700 weiter zu Block 1716, in dem die Rechenvorrichtung 1200 die aktuelle Position zum Beginn des nächsten Segments verschiebt, der der Slice zugewiesen ist. Der Beginn des nächsten Segments kann als eine Funktion der Länge jedes Segments und der Anzahl von Such-Slices 1304 bestimmt werden. Zum Beispiel kann die Startposition durch Addieren des Produkts der Länge jedes Segments (minus der Überlappung mit dem vorherigen Segment) und der Anzahl von Such-Slices 1304 zur Startposition des aktuellen Segments bestimmt werden. Für eine veranschaulichende Rechenvorrichtung 1200 mit sechzehn Such-Slices 1304, die 136-Byte Segmente mit 8-Byte Überlappung verarbeiten, kann somit der nächste Start des nächsten Segments 2048 Bytes nach dem Beginn des aktuellen Segments sein. Nach dem Sprung zum Beginn des nächsten Segments kehrt das Verfahren 1700 zu Block 1702 zurück, um mit der Suche nach übereinstimmenden Substrings fortzufahren.
Unter Bezugnahme nun auf 18 kann die Rechenvorrichtung 1200 in Verwendung ein Verfahren 1800 zum Vereinen von Ausgangs-Token ausführen. Es sollte klar sein, dass in einigen Ausführungsformen die Operationen des Verfahrens 1800 durch eine oder mehrere Komponenten der Umgebung 1300 der Rechenvorrichtung 1200 durchgeführt werden könne, wie in 13 dargestellt. Insbesondere kann das Verfahren 1800 durch den Vereiner 1308 durchgeführt werden, wie oben in Verbindung mit Block 1414 von 14 beschrieben ist. Das Verfahren 1800 beginnt in Block 1802, in dem die Rechenvorrichtung 1200 den nächsten Token-Ausgang von einer Such-Slice 1304 liest. Wie in der Folge näher beschrieben ist, arbeitet die Rechenvorrichtung 1200 in Form einer Pipeline gleichzeitig an zwei Token, die als der vorherige Token und der nächste Token bezeichnet werden. Die Token können zum Beispiel in einem Zwei-Element-Array oder einem anderen Puffer gespeichert werden. Die Token werden der Reihe nach aus jeder Slice 1304 gelesen. Wenn der letzte Token, der mit einem bestimmten Segment des Eingangsdatenstroms verknüpft ist, aus einer Slice 1304 gelesen ist, liest die Rechenvorrichtung 1200 das nächste Segment aus der nächsten Slice 1304. Zum Beispiel unter Bezugnahme auf die Darstellung von 16, nachdem der letzte Token gelesen wurde, der mit dem Segment 1604a (generiert durch die Slice 1304a) verknüpft ist, liest die Rechenvorrichtung 1200 den nächsten Token, der mit dem Segment 1604b verknüpft ist, aus der Slice 1304b.
In Block 1804 bestimmt die Rechenvorrichtung 1200, ob sich der vorherige Token in der Verarbeitungs-Pipeline befindet. Der vorherige Token kann zum Beispiel nicht vorhanden sein, wenn der Kompressionsprozess gestartet wird, oder wenn die Pipeline geleert wurde. Falls kein vorheriger Token vorhanden ist, springt das Verfahren 1800 nach vorne zu Block 1812, der in der Folge beschrieben ist. Falls ein vorheriger Token vorhanden ist, fährt das Verfahren 1800 mit Block 1806 fort.
In Block 1806 bestimmt die Rechenvorrichtung 1200, ob der nächste Token durch dieselbe Slice 1304 generiert wurde die der vorherige Token. Wie oben beschrieben, werden die Token üblicherweise durch dieselbe Slice 1304 generiert. In Block 1808 prüft die Rechenvorrichtung 1200, ob der nächste Token und der vorherige Token durch dieselbe Slice 1304 generiert wurden. Falls nicht, springt das Verfahren 1800 zu Block 1814, wie in der Folge beschrieben. Falls der vorherige Token und der nächste Token durch dieselbe Slice 1304 generiert wurden, fährt das Verfahren 1800 mit Block 1810 fort.
In Block 1810 gibt die Rechenvorrichtung 1200 den vorherigen Token an den Token-Ausgangsstrom aus. Wie oben beschrieben, können die Token nach Ausgabe zur Ausgabe in den komprimierten Ausgangsdaten codiert werden. In Block 1812 kopiert die Rechenvorrichtung 1200 den nächsten Token auf den vorherigen Token. Nach Kopieren des nächsten Tokens kehrt das Verfahren 1800 zu Block 1802 zurück, um mit dem Lesen der Token-Ströme aus den Such-Slices 1304 fortzufahren.
Unter erneuter Bezugnahme auf Block 1808, falls der nächste Token und der vorherige Token nicht durch dieselbe Slice 1304 generiert wurden, zweigt das Verfahren 1800 zu Block 1814 ab. In Block 1814 vergleicht die Rechenvorrichtung 1200 die Endposition des nächsten Tokens mit der Endposition des vorherigen Tokens. Wie oben beschrieben, entspricht jeder Token einem Bereich von Versätzen innerhalb des Eingangsdatenstroms. In Block 1816 bestimmt die Rechenvorrichtung 1200, ob die Endposition des nächsten Tokens größer ist als (d.h. danach eintritt) oder gleich der Endposition des vorherigen Tokens ist. Falls nicht, fährt das Verfahren 1800 mit Block 1818 fort, in dem die Rechenvorrichtung 1200 den nächsten Token aus der aktuellen Slice 1304 liest (wobei der vorherige Wert des nächsten Tokens verworfen wird). Nach Lesen des nächsten Tokens kehrt das Verfahren 1800 zu Block 1814 zurück, um die Endpositionen des neuen nächsten Tokens und des vorherigen Tokens zu vergleichen. Somit überspringt die Rechenvorrichtung 1200 Token aus der aktuellen Slice 1304, bis sie einen nächsten Token mit einer Endposition, die größer oder gleich der Endposition des vorherigen Tokens ist, erreicht.
Unter erneuter Bezugnahme auf Block 1816, falls die Endposition des nächsten Tokens größer oder gleich der Endposition des vorherigen Tokens ist, zweigt das Verfahren 1800 zu Block 1820 ab. In Block 1820 vereint die Rechenvorrichtung 1200 den vorherigen Token und den nächsten Token gemäß einem Satz vorgegebener Vereinigungsregeln. Jede Vereinigungsregel definiert eine oder mehrere Maßnahmen, die auf Basis der Eingabebedingungen des nächsten Tokens und des vorherigen Tokens zu ergreifen sind. Insbesondere kann die Vereinigungsregel durch einen Vergleich der Anfangspositionen und Endpositionen des nächsten Tokens und des vorherigen Tokens ausgewählt werden. Maßnahmen, die durch die Rechenvorrichtung 1200 zum Vereinen der Token durchgeführt werden, können Ausgeben von Token, Fallenlassen von Token, Kürzen von Token und/oder Umwandeln von Referenz-Token in literale Token enthalten. 19 und 20, wie in der Folge beschrieben, zeigen eine mögliche Ausführungsform der Vereinigungsregeln und der entsprechenden Eingabebedingungen der Token. Nach dem Vereinen des vorherigen Tokens und des nächsten Tokens kehrt das Verfahren 1800 zu Block 1802 zurück, um mit dem Vereinen von Token fortzufahren.
Unter Bezugnahme nun auf 19 zeigt eine schematische Darstellung 1900 die Ergebnisse einer Anwendung der Vereinigungsregeln an Token unter verschiedenen Eingabebedingungen. Wie oben in Verbindung mit Block 1820 von 18 beschrieben, kann die Rechenvorrichtung 1200 die Eingabebedingungen eines vorherigen Tokens 1902 und eines nächsten Tokens 1904 mit mehreren vorgegebenen Bedingungen abstimmen. Die schematische Darstellung 1900 zeigt die relativen Positionen des vorherigen Tokens 1902 und des nächsten Tokens 1904 für jede dieser Eingabebedingungen. Nach Auswahl einer Übereinstimmungsbedingung führt die Rechenvorrichtung 1200 eine oder mehrere Maßnahmen zum Generieren eines entsprechenden Ergebnisses durch. Jedes Ergebnis der schematischen Darstellung 1900 zeigt die Token, die an den Token-Ausgangsstrom ausgegeben werden.
Wie in 19 dargestellt, tritt eine Bedingung 1906 ein, wenn die Endposition des vorherigen Tokens 1902 gleich der Endposition des nächsten Tokens 1904 ist. Ergebnis 1908 wird für die Bedingung 1906 generiert. Wie dargestellt, lässt das Ergebnis 1908 den nächsten Token 1904 fallen und gibt den vorherigen Token 1902 unverändert aus. Bedingung 1910 tritt ein, wenn die Startposition des nächsten Tokens 1904 kleiner ist als (d.h. früher ist als) die Startposition des vorherigen Tokens 1902. Ergebnis 1912 wird für die Bedingung 1910 generiert. Das Ergebnis 1912 lässt den vorherigen Token 1902 fallen und kürzt den nächsten Token 1904, um einen gekürzten nächsten Token 1904' zu generieren, der an der Startposition des vorherigen Tokens 1902 beginnt. Bedingung 1914 tritt ein, wenn die Startposition des vorherigen Tokens 1902 und die Startposition des nächsten Tokens 1904 gleich sein. Ergebnis 1916 wird für die Bedingung 1914 generiert. Das Ergebnis 1916 lässt den vorherigen Token 1902 fallen und gibt den nächsten Token 1904 unverändert aus.
Bedingung 1918 tritt ein, wenn die Startposition des nächsten Tokens 1904 größer ist als (d.h. später ist als) die Startposition des vorherigen Tokens 1902. Wie dargestellt, kann eines von möglichen Ergebnissen 1920, 1922, 1924 für die Bedingung 1918 generiert werden. Die Ergebnisse 1920, 1922, 1924 können durch einen Vergleich der Distanz δ₁ zwischen der Startposition des vorherigen Tokens 1902 und der Startposition des nächsten Tokens 1904 und der Distanz δ₂ zwischen der Endposition des vorherigen Tokens 1902 und der Endposition des nächsten Tokens 1904 mit einer vorgegebenen Schwellendistanz generiert werden. Wie dargestellt, gibt das Ergebnis 1920 den vorherigen Token 1902 unverändert aus und kürzt den nächsten Token 1904 auf einen gekürzten nächsten Token 1904', der an der Endposition des vorherigen Tokens 1902 beginnt. Das Ergebnis 1922 gibt den vorherigen Token 1902 unverändert aus und kürzt den nächsten Token 1904 auf einen gekürzten nächsten Token 1904', der an der Endposition des vorherigen Tokens 1902 beginnt und nur literale Token λ enthält. Das Ergebnis 1924 kürzt den vorherigen Token 1902 auf einen gekürzten vorherigen Token 1902', der an der Startposition des nächsten Tokens 1904 endet und nur literale Token λ enthält. Das Ergebnis 1924 gibt auch den nächsten Token 1904 unverändert aus.
Unter Bezugnahme nun auf 20 zeigt eine schematische Darstellung 2000 die verschiedenen Vereinigungsregeln, die durch die Rechenvorrichtung 1200 angewendet werden können. Tabelle 2002 zeigt vier Vereinigungsregeln 2004, die durch die Rechenvorrichtung 1200 der Reihe nach ausgewertet werden können. Jede Vereinigungsregel 2004 definiert eine Bedingung 2006, die durch die Rechenvorrichtung 1200 ausgewertet wird. Jede Vereinigungsregel 2004 definiert auch eine Maßnahme für den vorherigen Token 2008 und eine Maßnahme für den nächsten Token 2010. Falls die Bedingung 2006 für eine Regel 2004 als wahr ausgewertet wird, führt die Rechenvorrichtung 1200 die zugehörige Maßnahme für den vorherigen Token 2008 und die Maßnahme für den nächsten Token 2010 aus. Falls die Bedingung 2006 für eine Vereinigungsregel 2004 als falsch ausgewertet wird, wertet die Rechenvorrichtung 1200 die nächste Vereinigungsregel 2004 aus.
Wie in Tabelle 2002 dargestellt, gilt die Vereinigungsregel 1, wenn die Endposition des nächsten Tokens gleich der Endposition des vorherigen Tokens ist. Falls Vereinigungsregel 1 gilt, wird der vorherige Token unverändert ausgegeben und der nächste Token fallenglassen. Die Vereinigungsregel 1 entspricht der Bedingung 1906 und dem Ergebnis 1908 von 19. Die Vereinigungsregel 2 gilt, wenn die Startposition des nächsten Tokens kleiner ist als die Startposition des vorherigen Tokens. Falls Vereinigungsregel 2 gilt, wird der vorherige Token fallengelassen und der nächste Token wird gekürzt, um an der Startposition des vorherigen Tokens zu beginnen. Die Vereinigungsregel 2 entspricht der Bedingung 1910 und dem Ergebnis 1912 von 19. Die Vereinigungsregel 3 gilt, wenn die Startposition des nächsten Tokens gleich der Startposition des vorherigen Tokens ist. Falls Vereinigungsregel 3 gilt, wird der vorherige Token fallengelassen und der nächste Token unverändert ausgegeben. Die Vereinigungsregel 3 entspricht der Bedingung 1914 und dem Ergebnis 1916 von 19. Die Vereinigungsregel 4 gilt, wenn die Startposition des nächsten Tokens größer ist als die Startposition des vorherigen Tokens. Falls Vereinigungsregel 4 gilt, werden eine oder mehrere Teilregeln ausgewertet, um die Maßnahme für den vorherigen Token 2008 und die Maßnahme für den nächsten Token 2010 zu bestimmen. Die Vereinigungsregel 4 entspricht der Bedingung 1918 und den Ergebnissen 1920, 1922, 1924 von 19.
Tabelle 2012 zeigt Teilregeln 2014 der Vereinigungsregel 4. Ähnlich wie die Vereinigungsregeln 2004 der Tabelle 2002, definiert jede Teilregel 2014 eine Teilbedingung 2016 wie auch eine Maßnahme für den vorherigen Token 2008 und eine Maßnahme für den nächsten Token 2010. Wie in Tabelle 2012 dargestellt, gilt Teilregel 4.a, wenn die Distanz δ₁ zwischen der Startposition des vorherigen Tokens und der Startposition des nächsten Tokens größer ist als eine vorgegebene Schwellendistanz T und die Distanz δ₂ zwischen der Endposition des vorherigen Tokens und der Endposition des nächsten Tokens größer ist als die Distanz T. Die vorgegebene Schwellendistanz T kann als eine kleine Anzahl von Bytes, wie 3 oder 4 Bytes, verkörpert sein. Falls Teilregel 4.a gilt, wird der vorherige Token unverändert ausgegeben und der nächste Token wird auf einen Referenz-Token gekürzt, der an der Endposition des vorherigen Tokens beginnt. Die Teilregel 4.a entspricht dem Ergebnis 1920 von 19. Teilregel 4.b gilt, wenn nur die Distanz δ₁ größer ist als die Schwellendistanz T. Falls Teilregel 4.b gilt, wird der vorherige Token unverändert ausgegeben und der nächste Token wird auf einen oder mehrere literale Token gekürzt, die an der Endposition des vorherigen Tokens beginnen. Die Teilregel 4.b entspricht dem Ergebnis 1922 von 19. Teilregel 4.c gilt, wenn nur die Distanz δ₂ größer ist als die Schwellendistanz T. Falls Teilregel 4.c gilt, wird der vorherige Token auf einen oder mehrere literale Token gekürzt, die an der Startposition des nächsten Tokens enden und der nächste Token wird unverändert ausgegeben. Die Teilregel 4.c entspricht dem Ergebnis 1924 von 19.
Teilregel 4.d gilt, wenn weder die Distanz δ₁ noch die Distanz δ₂ größer ist als die Schwellendistanz T. Falls Teilregel 4.d gilt, können die Maßnahmen für entweder die Teilregel 4.b oder 4.c angewendet werden. Die Rechenvorrichtung 1200 kann zwischen Teilregeln 4.b und 4.c basierend auf einer Punktebewertungsfunktion auswählen. Zum Beispiel kann die Rechenvorrichtung 1200 die Teilregel 4.b oder 4.c wählen, die die geringste Anzahl literaler Token erzeugt. Als ein anderes Beispiel kann die Rechenvorrichtung 1200 die Teilregel 4.b oder 4.c wählen, die Token mit der kürzesten Übereinstimmungsdistanz erzeugt.
Es sollte klar sein, dass in einigen Ausführungsformen die Verfahren 1400, 1700 und/oder 700 als verschiedene Anweisungen verkörpert sein können, die auf einem computerlesbaren Medium gespeichert sin, das durch den Prozessor 1220, das I/O Teilsystem 1222, das Kommunikationsteilsystem 1228 und/oder andere Komponenten der Rechenvorrichtung 1200 ausgeführt werden kann, um die Rechenvorrichtung 1200 zu veranlassen, das Verfahren 1400 auszuführen. Die computerlesbaren Medien können als eine Art von Medien verkörpert sein, die imstande sind, durch die Rechenvorrichtung 1200 gelesen zu werden, enthaltend, ohne aber darauf beschränkt zu sein, den Speicher 1224, die Datenspeichervorrichtung 1226, Firmware-Vorrichtungen, andere Speicher- oder Datenspeichervorrichtungen der Rechenvorrichtung 1200, tragbare Medien, die durch eine periphere Vorrichtung 1230 der Rechenvorrichtung 1200 lesbar sind und/oder andere Medien.
BEISPIELE
In der Folge sind veranschaulichende Beispiele der Technologien bereitgestellt, die hier offenbart sind. Eine Ausführungsform der Technologien kann eines oder mehrere und eine beliebige Kombination der in der Folge beschriebenen Beispiele enthalten.
Beispiel 1 enthält eine Rechenvorrichtung zur Datenkompression, die Rechenvorrichtung umfassend: einen Aktualisiererschaltkreis zum Aktualisieren einer Indexdatenstruktur basierend auf einem Eingangsdatenstrom, wobei die Indexdatenstruktur Indexdaten enthält, die mit Versätzen im Eingangsdatenstrom verknüpft sind und wobei der Eingangsdatenstrom in eine Vielzahl von Segmenten unterteilt ist, wobei jedes Segment eine erste Länge hat; eine Vielzahl von Such-Slice-Schaltkreisen, wobei ein entsprechender Such-Slice-Schaltkreis einen eigenständigen Teilsatz der Vielzahl von Segmenten des Eingangsdatenstroms verarbeiten soll, um einen entsprechenden Token-Strom zu generieren, wobei der entsprechende Such-Slice-Schaltkreis die Indexdaten verwendet, um den eigenständigen Teilsatz der Vielzahl von Segmenten zu verarbeiten; und einen Vereinigungsschaltkreis zum Vereinen der Vielzahl von Token-Strömen zum Generieren eines Token-Ausgangsstroms.
Beispiel 2 enthält den Gegenstand von Beispiel 1 und wobei die erste Länge 128 Bytes umfasst.
Beispiel 3 enthält den Gegenstand eines der Beispiele 1 und 2 und wobei jedes Segment ein vorheriges Segment um eine zweite Länge überlappt.
Beispiel 4 enthält den Gegenstand eines der Beispiele 1-3 und wobei die erste Länge 136 Bytes umfasst und die zweite Länge acht Bytes umfasst.
Beispiel 5 enthält den Gegenstand eines der Beispiele 1-4 und wobei: der Aktualisiererschaltkreis ferner Indexdaten aus der Indexdatenstruktur an eine Vielzahl von Slice-Speichern bereitstellen soll, wobei jeder Slice-Speicher einem entsprechenden Such-Slice-Schaltkreis entspricht; und eine Verarbeitung des eigenständigen Teilsatzes der Vielzahl von Segmenten mit den Indexdaten, um den entsprechende Token-Strom zu generieren, umfasst, dass der entsprechende Such-Slice-Schaltkreis auf den entsprechenden Slice-Speicher zugreift, der Indexdaten enthält, die mit dem eigenständigen Teilsatz der Vielzahl von Segmenten verknüpft sind.
Beispiel 6 enthält den Gegenstand eines der Beispiele 1-5 und ferner umfassend einen Codiererschaltkreis zum Codieren des Token-Ausgangsstroms, um einen komprimierten Ausgangsblock zu generieren.
Beispiel 7 enthält den Gegenstand eines der Beispiele 1-6 und wobei die Vielzahl von Segmenten in die Vielzahl von eigenständigen Teilsätzen geteilt wird.
Beispiel 8 enthält den Gegenstand eines der Beispiele 1-7 und wobei jedes Segment eines eigenständigen Teilsatzes von einem vorherigen Segment durch die erste Länge mal eins weniger als eine Anzahl von Token-Strömen getrennt ist.
Beispiel 9 enthält den Gegenstand eines der Beispiele 1-8 und wobei das Vereinen der Vielzahl von Token-Strömen zum Generieren des Token-Ausgangsstroms beim Vereinigungsschaltkreis umfasst: Lesen eines vorherigen Tokens und eines nächsten Tokens aus der Vielzahl von Token-Strömen, wobei der vorherige Token und der nächste Token in Bezug auf den Eingangsdatenstrom aufeinanderfolgen; Bestimmen, ob der vorherige Token und der nächste Token von demselben Token-Strom stammen; Ausgeben des vorherigen Tokens an den Token-Ausgangsstrom als Antwort auf eine Bestimmung, dass der vorherige Token und der nächste Token von demselben Token-Strom stammen; Kopieren des nächsten Tokens zum vorherigen Token als Antwort auf die Ausgabe des vorherigen Tokens; Lesen des nächsten Tokens aus der Vielzahl von Token-Strömen als Antwort auf ein Kopieren des nächsten Tokens; und Vereinen des vorherigen Tokens und des nächsten Tokens, um einen oder mehrere synchronisierte Token zu generieren, als Antwort auf eine Bestimmung, dass der vorherige Token und der nächste Token nicht von demselben Token-Strom stammen.
Beispiel 10 enthält den Gegenstand eines der Beispiele 1-9 und wobei das Vereinen des vorherigen Tokens und des nächsten Tokens beim Vereinigungsschaltkreis umfasst: Bestimmen, ob ein Endversatz des nächsten Tokens größer oder gleich einem Endversatz des vorherigen Tokens ist; Lesen eines nächsten Tokens aus der Vielzahl von Token-Strömen als Antwort auf eine Bestimmung, dass der Endversatz des nächsten Tokens nicht größer oder gleich dem Endversatz des vorherigen Tokens ist; und Vereinen des vorherigen Tokens und des nächsten Tokens als Antwort auf eine Bestimmung, dass der Endversatz des nächsten Tokens größer oder gleich dem Endversatz des vorherigen Tokens ist.
Beispiel 11 enthält den Gegenstand eines der Beispiele 1-10 und wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis umfasst: Bestimmen, ob der Endversatz des nächsten Tokens gleich dem Endversatz des vorherigen Tokens ist; und Fallenlassen des nächsten Tokens als Antwort auf eine Bestimmung, dass der Endversatz des nächsten Tokens gleich dem Endversatz des vorherigen Tokens ist.
Beispiel 12 enthält den Gegenstand eines der Beispiele 1-11 und wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens kleiner ist als ein Anfangsversatz des vorherigen Tokens; Fallenlassen des vorherigen Tokens als Antwort auf eine Bestimmung, dass der Anfangsversatz des nächsten Tokens kleiner ist als der Anfangsversatz des vorherigen Tokens; und Kürzen des nächsten Tokens, um beim Anfangsversatz des vorherigen Tokens zu beginnen, als Antwort auf die Bestimmung, dass der Anfangsversatz des nächsten Tokens kleiner ist als der Anfangsversatz des vorherigen Tokens.
Beispiel 13 enthält den Gegenstand eines der Beispiele 1-12 und wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens gleich einem Anfangsversatz des vorherigen Tokens ist; und Fallenlassen des vorherigen Tokens als Antwort auf eine Bestimmung, dass der Anfangsversatz des nächsten Tokens gleich dem Anfangsversatz des vorherigen Tokens ist.
Beispiel 14 enthält den Gegenstand eines der Beispiele 1-13 und wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens größer ist als ein Anfangsversatz des vorherigen Tokens; Bestimmen, ob eine erste Differenz zwischen dem Anfangsversatz des nächsten Tokens und dem Anfangsversatz des vorherigen Tokens größer ist als ein vorgegebener Schwellenversatz, als Antwort auf eine Bestimmung, dass der Anfangsversatz des nächsten Tokens größer ist als der Anfangsversatz des vorherigen Tokens; Bestimmen, ob eine zweite Differenz zwischen dem Endversatz des nächsten Tokens und dem Endversatz des vorherigen Tokens größer ist als der vorgegebene Schwellenversatz, als Antwort auf die Bestimmung, dass der Anfangsversatz des nächsten Tokens größer ist als der Anfangsversatz des vorherigen Tokens; und Kürzen des nächsten Tokens auf einen Referenz-Token, der beim Endversatz des vorherigen Tokens beginnt, als Antwort auf eine Bestimmung, dass die erste Differenz größer ist als der vorgegebene Schwellenversatz und die zweite Differenz größer ist als der vorgegebene Schwellenversatz.
Beispiel 15 enthält den Gegenstand eines der Beispiele 1-14 und wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis ein Kürzen des nächsten Tokens auf einen oder mehrere literale Token umfasst, die beim Endversatz des vorherigen Tokens beginnen, als Antwort auf eine Bestimmung, dass der erste Versatz größer ist als der vorgegebene Schwellenversatz und die zweite Differenz nicht größer ist als der vorgegebene Schwellenversatz.
Beispiel 16 enthält den Gegenstand eines der Beispiele 1-15 und wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis ein Kürzen des vorherigen Tokens auf einen oder mehrere literale Token umfasst, die beim Anfangsversatz des nächsten Tokens enden, als Antwort auf eine Bestimmung, dass der erste Versatz nicht größer ist als der vorgegebene Schwellenversatz und die zweite Differenz größer ist als der vorgegebene Schwellenversatz.
Beispiel 17 enthält den Gegenstand eines der Beispiele 1-16 und wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis ein Auswählen zwischen einem Kürzen des vorherigen Tokens auf einen oder mehrere literale Token oder einem Kürzen des nächsten Tokens auf einen oder mehrere literale Token basierend auf einer Punktebewertungsfunktion umfasst, als Antwort auf eine Bestimmung, dass der erste Versatz nicht größer ist als der vorgegebene Schwellenversatz und die zweite Differenz nicht größer ist als der vorgegebene Schwellenversatz.
Beispiel 18 enthält den Gegenstand eines der Beispiele 1-17 und wobei das Auswählen basierend auf der Punktebewertungsfunktion beim Vereinigungsschaltkreis umfasst Auswählen einer kleinsten Anzahl literaler Token.
Beispiel 19 enthält eine Verfahren zur Datenkompression, das Verfahren umfassend: Aktualisieren, durch eine Rechenvorrichtung, einer Indexdatenstruktur basierend auf einem Eingangsdatenstrom, wobei die Indexdatenstruktur Indexdaten enthält, die mit Versätzen im Eingangsdatenstrom verknüpft sind; Verarbeiten, durch die Rechenvorrichtung, einer Vielzahl von Segmenten des Eingangsdatenstroms in paralleler Weise, um eine Vielzahl von Token-Strömen unter Verwendung der Indexdaten zu generieren, wobei jedes Segment eine erste Länge hat und jedes Segment ein vorheriges Segment um eine zweite Länge überlappt, und wobei jeder Token-Strom aus einem entsprechenden eigenständigen Teilsatz der Vielzahl von Segmenten generiert wird; und Vereinen, durch die Rechenvorrichtung, der Vielzahl von Token-Strömen zum Generieren eines Token-Ausgangsstroms.
Beispiel 20 enthält den Gegenstand von Beispiel 19 und wobei die erste Länge 128 Bytes umfasst.
Beispiel 21 enthält den Gegenstand eines der Beispiele 19 und 20 und wobei jedes Segment ein vorheriges Segment um eine zweite Länge überlappt.
Beispiel 22 enthält den Gegenstand eines der Beispiele 19-21 und wobei die erste Länge 136 Bytes umfasst und die zweite Länge acht Bytes umfasst.
Beispiel 23 enthält den Gegenstand eines der Beispiele 19-22 und ferner umfassend: Bereitstellen, durch die Rechenvorrichtung, von Indexdaten aus der Indexdatenstruktur für eine Vielzahl von Slice-Speichern; wobei das Verarbeiten der Vielzahl von Segmenten in paralleler Weise unter Verwendung der Indexdaten, um die Vielzahl von Token-Strömen zu generieren, ein Zugreifen, für jeden der Token-Ströme, auf einen Slice-Speicher umfasst, der Indexdaten enthält, die mit dem eigenständigen Teilsatz der Vielzahl von Segmenten verknüpft sind, die mit dem entsprechenden Token-Strom verknüpft sind.
Beispiel 24 enthält den Gegenstand eines der Beispiele 19-23 und ferner umfassend ein Codieren, durch die Rechenvorrichtung, des Token-Ausgangsstroms, um einen komprimierten Ausgangsblock zu generieren.
Beispiel 25 enthält den Gegenstand eines der Beispiele 19-24 und wobei die Vielzahl von Segmenten in die Vielzahl von eigenständigen Teilsätzen geteilt wird.
Beispiel 26 enthält den Gegenstand eines der Beispiele 19-25 und wobei jedes Segment eines eigenständigen Teilsatzes von einem vorherigen Segment durch die erste Länge mal eins weniger als eine Anzahl von Token-Strömen getrennt ist.
Beispiel 27 enthält den Gegenstand eines der Beispiele 19-26 und wobei ein Vereinen der Vielzahl von Token-Strömen zum Generieren des Token-Ausgangsstroms umfasst: Lesen eines vorherigen Tokens und eines nächsten Tokens aus der Vielzahl von Token-Strömen, wobei der vorherige Token und der nächste Token in Bezug auf den Eingangsdatenstrom aufeinanderfolgen; Bestimmen, ob der vorherige Token und der nächste Token von demselben Token-Strom stammen; Ausgeben des vorherigen Tokens an den Token-Ausgangsstrom als Antwort auf ein Bestimmen, dass der vorherige Token und der nächste Token von demselben Token-Strom stammen; Kopieren des nächsten Tokens zum vorherigen Token als Antwort auf die Ausgabe des vorherigen Tokens; Lesen des nächsten Tokens aus der Vielzahl von Token-Strömen als Antwort auf ein Kopieren des nächsten Tokens ; und Vereinen des vorherigen Tokens und des nächsten Tokens, um einen oder mehrere synchronisierte Token zu generieren, als Antwort auf ein Bestimmen, dass der vorherige Token und der nächste Token nicht von demselben Token-Strom stammen.
Beispiel 28 enthält den Gegenstand eines der Beispiele 19-27 und wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Bestimmen, ob ein Endversatz des nächsten Tokens größer oder gleich einem Endversatz des vorherigen Tokens ist; Lesen eines nächsten Tokens aus der Vielzahl von Token-Strömen als Antwort auf ein Bestimmen, dass der Endversatz des nächsten Tokens nicht größer oder gleich dem Endversatz des vorherigen Tokens ist; und Vereinen des vorherigen Tokens und des nächsten Tokens als Antwort auf ein Bestimmen, dass der Endversatz des nächsten Tokens größer oder gleich dem Endversatz des vorherigen Tokens ist.
Beispiel 29 enthält den Gegenstand eines der Beispiele 19-28 und wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Bestimmen, ob der Endversatz des nächsten Tokens gleich dem Endversatz des vorherigen Tokens ist; und Fallenlassen des nächsten Tokens als Antwort auf ein Bestimmen, dass der Endversatz des nächsten Tokens gleich dem Endversatz des vorherigen Tokens ist.
Beispiel 30 enthält den Gegenstand eines der Beispiele 19-29 und wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens kleiner ist als ein Anfangsversatz des vorherigen Tokens; Fallenlassen des vorherigen Tokens als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens kleiner ist als der Anfangsversatz des vorherigen Tokens; und Kürzen des nächsten Tokens, um beim Anfangsversatz des vorherigen Tokens zu beginnen, als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens kleiner ist als der Anfangsversatz des vorherigen Tokens.
Beispiel 31 enthält den Gegenstand eines der Beispiele 19-30 und wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens gleich einem Anfangsversatz des vorherigen Tokens ist; und Fallenlassen des vorherigen Tokens als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens gleich dem Anfangsversatz des vorherigen Tokens ist.
Beispiel 32 enthält den Gegenstand eines der Beispiele 19-31 und wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens größer ist als ein Anfangsversatz des vorherigen Tokens; Bestimmen, ob eine erste Differenz zwischen dem Anfangsversatz des nächsten Tokens und dem Anfangsversatz des vorherigen Tokens größer ist als ein vorgegebener Schwellenversatz, als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens größer ist als der Anfangsversatz des vorherigen Tokens; Bestimmen, ob eine zweite Differenz zwischen dem Endversatz des nächsten Tokens und dem Endversatz des vorherigen Tokens größer ist als der vorgegebene Schwellenversatz, als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens größer ist als der Anfangsversatz des vorherigen Tokens; und Kürzen des nächsten Tokens auf einen Referenz-Token, der beim Endversatz des vorherigen Tokens beginnt, als Antwort auf ein Bestimmen, dass der erste Differenz größer ist als der vorgegebene Schwellenversatz und die zweite Differenz größer ist als der vorgegebene Schwellenversatz.
Beispiel 33 enthält den Gegenstand eines der Beispiele 19-32 und wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner ein Kürzen des nächsten Tokens auf einen oder mehrere literale Token umfasst, die beim Endversatz des vorherigen Tokens beginnen, als Antwort auf ein Bestimmen, dass der erste Versatz größer ist als der vorgegebene Schwellenversatz und die zweite Differenz nicht größer ist als der vorgegebene Schwellenversatz.
Beispiel 34 enthält den Gegenstand eines der Beispiele 19-33 und wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner ein Kürzen desvorherigen Tokens auf einen oder mehrere literale Token umfasst, der beim Anfangsversatz des nächsten Tokens endet, als Antwort auf ein Bestimmen, dass der erste Versatz nicht größer ist als der vorgegebene Schwellenversatz und die zweite Differenz größer ist als der vorgegebene Schwellenversatz.
Beispiel 35 enthält den Gegenstand eines der Beispiele 19-34 und wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner ein Auswählen zwischen einem Kürzen des vorherigen Tokens auf einen oder mehrere literale Token oder Kürzen des nächsten Tokens auf einen oder mehrere literale Token basierend auf einer Punktebewertungsfunktion als Antwort auf ein Bestimmen umfasst, dass der erste Versatz nicht größer ist als der vorgegebene Schwellenversatz und die zweite Differenz nicht größer ist als der vorgegebene Schwellenversatz.
Beispiel 36 enthält den Gegenstand eines der Beispiele 19-35 und wobei Auswählen basierend auf der Punktebewertungsfunktion ein Auswählen einer kleinsten Anzahl literaler Token umfasst.
Beispiel 37 enthält eine Rechenvorrichtung umfassend: einen Prozessor; und einen Speicher, in dem eine Vielzahl von Anweisungen gespeichert ist, die, wenn sie durch den Prozessor ausgeführt werden, die Rechenvorrichtung veranlassen, das Verfahren nach einem der Beispiele 19-36 durchzuführen.
Beispiel 38 enthält ein oder mehrere maschinenlesbare Datenspeichermedien, umfassend eine Vielzahl von darauf gespeicherten Anweisungen, die als Antwort auf ihre Ausführung zu einer Rechenvorrichtung führen, die das Verfahren eines der Beispiele 19-36 durchführt.
Beispiel 39 enthält eine Rechenvorrichtung, umfassend Mittel zum Durchführen des Verfahrens eines der Beispiele 19-36.
Beispiel 40 enthält eine Rechenvorrichtung zur Datenkompression, die Rechenvorrichtung umfassend: Mittel zum Aktualisieren einer Indexdatenstruktur basierend auf einem Eingangsdatenstrom, wobei die Indexdatenstruktur Indexdaten enthält, die mit Versätzen im Eingangsdatenstrom verknüpft sind; Mittel zum Verarbeiten einer Vielzahl von Segmenten des Eingangsdatenstroms in paralleler Weise, um eine Vielzahl von Token-Strömen unter Verwendung der Indexdaten zu generieren, wobei jedes Segment eine erste Länge hat und jedes Segment ein vorheriges Segment um eine zweite Länge überlappt, und wobei jeder Token-Strom aus einem entsprechenden eigenständigen Teilsatz der Vielzahl von Segmenten generiert wird; und Mittel zum Vereinen der Vielzahl von Token-Strömen zum Generieren eines Token-Ausgangsstroms.
Beispiel 41 enthält den Gegenstand von Beispiel 40 und wobei die erste Länge 128 Bytes umfasst.
Beispiel 42 enthält den Gegenstand eines der Beispiele 40 und 41 und wobei jedes Segment ein vorheriges Segment um eine zweite Länge überlappt.
Beispiel 43 enthält den Gegenstand eines der Beispiele 40-42 und wobei die erste Länge 136 Bytes umfasst und die zweite Länge acht Bytes umfasst.
Beispiel 44 enthält den Gegenstand eines der Beispiele 40-43 und ferner umfassend: Mittel zum Bereitstellen von Indexdaten aus der Indexdatenstruktur für eine Vielzahl von Slice-Speicher; wobei die Mittel zum Verarbeiten der Vielzahl von Segmenten in paralleler Weise unter Verwendung der Indexdaten, um die Vielzahl von Token-Strömen zu generieren, Mittel zum Zugreifen, für jede der Token-Ströme, auf einen Slice-Speicher umfassen, der Indexdaten enthält, die mit dem eigenständigen Teilsatz der Vielzahl von Segmenten verknüpft sind, die mit dem entsprechenden Token-Strom verknüpft sind.
Beispiel 45 enthält den Gegenstand eines der Beispiele 40-44 und ferner umfassend Mittel zum Codieren des Token-Ausgangsstroms, um einen komprimierten Ausgangsblock zu generieren.
Beispiel 46 enthält den Gegenstand eines der Beispiele 40-45 und wobei die Vielzahl von Segmenten in die Vielzahl von eigenständigen Teilsätzen geteilt wird.
Beispiel 47 enthält den Gegenstand eines der Beispiele 40-46 und wobei jedes Segment eines eigenständigen Teilsatzes von einem vorherigen Segment durch die erste Länge mal eins weniger als eine Anzahl von Token-Strömen getrennt ist.
Beispiel 48 enthält den Gegenstand eines der Beispiele 40-47 und wobei das Mittel zum Vereinen der Vielzahl von Token-Strömen zum Generieren des Token-Ausgangsstroms umfasst: Mittel zum Lesen eines vorherigen Tokens und eines nächsten Tokens aus der Vielzahl von Token-Strömen, wobei der vorherige Token und der nächste Token in Bezug auf den Eingangsdatenstrom aufeinanderfolgen; Mittel zum Bestimmen, ob der vorherige Token und der nächste Token von demselben Token-Strom stammen; Mittel zum Ausgeben des vorherigen Tokens an den Token-Ausgangsstrom als Antwort auf ein Bestimmen, dass der vorherige Token und der nächste Token von demselben Token-Strom stammen; Mittel zum Kopieren des nächsten Tokens zum vorherigen Token als Antwort auf die Ausgabe des vorherigen Tokens; Mittel zum Lesen des nächsten Tokens aus der Vielzahl von Token-Strömen als Antwort auf ein Kopieren des nächsten Tokens ; und Mittel zum Vereinen des vorherigen Tokens und des nächsten Tokens, um einen oder mehrere synchronisierte Token zu generieren, als Antwort auf ein Bestimmen, dass der vorherige Token und der nächste Token nicht von demselben Token-Strom stammen.
Beispiel 49 enthält den Gegenstand eines der Beispiele 40-48 und wobei das Mittel zum Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Mittel zum Bestimmen, ob ein Endversatz des nächsten Tokens größer oder gleich einem Endversatz des vorherigen Tokens ist; Mittel zum Lesen eines nächsten Tokens aus der Vielzahl von Token-Strömen als Antwort auf ein Bestimmen, dass der Endversatz des nächsten Tokens nicht größer oder gleich dem Endversatz des vorherigen Tokens ist; und Mittel zum Vereinen des vorherigen Tokens und des nächsten Tokens als Antwort auf ein Bestimmen, dass der Endversatz des nächsten Tokens größer oder gleich dem Endversatz des vorherigen Tokens ist.
Beispiel 50 enthält den Gegenstand eines der Beispiele 40-49 und wobei das Mittel zum Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Mittel zum Bestimmen, ob der Endversatz des nächsten Tokens gleich dem Endversatz des vorherigen Tokens ist; und Mittel zum Fallenlassen des nächsten Tokens als Antwort auf ein Bestimmen, dass der Endversatz des nächsten Tokens gleich dem Endversatz des vorherigen Tokens ist.
Beispiel 51 enthält den Gegenstand eines der Beispiele 40-50 und wobei das Mittel zum Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Mittel zum Bestimmen, ob ein Anfangsversatz des nächsten Tokens kleiner ist als ein Anfangsversatz des vorherigen Tokens; Mittel zum Fallenlassen des vorherigen Tokens als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens kleiner ist als der Anfangsversatz des vorherigen Tokens; und Mittel zum Kürzen des nächsten Tokens, um beim Anfangsversatz des vorherigen Tokens zu beginnen, als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens kleiner ist als der Anfangsversatz des vorherigen Tokens.
Beispiel 52 enthält den Gegenstand eines der Beispiele 40-51 und wobei das Mittel zum Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Mittel zum Bestimmen, ob ein Anfangsversatz des nächsten Tokens gleich einem Anfangsversatz des vorherigen Tokens ist; und Mittel zum Fallenlassen des vorherigen Tokens als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens gleich dem Anfangsversatz des vorherigen Tokens ist.
Beispiel 53 enthält den Gegenstand eines der Beispiele 40-52 und wobei das Mittel zum Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Mittel zum Bestimmen, ob ein Anfangsversatz des nächsten Tokens größer ist als ein Anfangsversatz des vorherigen Tokens; Mittel zum Bestimmen, ob eine erste Differenz zwischen dem Anfangsversatz des nächsten Tokens und dem Anfangsversatz des vorherigen Tokens größer ist als ein vorgegebener Schwellenversatz, als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens größer ist als der Anfangsversatz des vorherigen Tokens; Mittel zum Bestimmen, ob eine zweite Differenz zwischen dem Endversatz des nächsten Tokens und dem Endversatz des vorherigen Tokens größer ist als der vorgegebene Schwellenversatz, als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens größer ist als der Anfangsversatz des vorherigen Tokens; und Mittel zum Kürzen des nächsten Tokens auf einen Referenz-Token, der beim Endversatz des vorherigen Tokens beginnt, als Antwort auf ein Bestimmen, dass der erste Differenz größer ist als der vorgegebene Schwellenversatz und die zweite Differenz größer ist als der vorgegebene Schwellenversatz.
Beispiel 54 enthält den Gegenstand eines der Beispiele 40-53 und wobei das Mittel zum Vereinen des vorherigen Tokens und des nächsten Tokens ferner Mittel umfasst zum Kürzen des nächsten Tokens auf einen oder mehrere literale Token, die beim Endversatz des vorherigen Tokens beginnen, als Antwort auf ein Bestimmen, dass der erste Versatz größer ist als der vorgegebene Schwellenversatz und die zweite Differenz nicht größer ist als der vorgegebene Schwellenversatz.
Beispiel 55 enthält den Gegenstand eines der Beispiele 40-54 und wobei das Mittel zum Vereinen des vorherigen Tokens und des nächsten Tokens ferner Mittel umfasst zum Kürzen des vorherigen Tokens auf einen oder mehrere literale Token, die beim Anfangsversatz des nächsten Tokens enden, als Antwort auf ein Bestimmen, dass der erste Versatz nicht größer ist als der vorgegebene Schwellenversatz und die zweite Differenz größer ist als der vorgegebene Schwellenversatz.
Beispiel 56 enthält den Gegenstand eines der Beispiele 40-55 und wobei das Mittel zum Vereinen des vorherigen Tokens und des nächsten Tokens ferner Mittel umfasst zum Auswählen zwischen einem Kürzen des vorherigen Tokens auf einen oder mehrere literale Token oder Kürzen des nächsten Tokens auf einen oder mehrere literale Token basierend auf einer Punktebewertungsfunktion, als Antwort auf ein Bestimmen, dass der erste Versatz nicht größer ist als der vorgegebene Schwellenversatz und die zweite Differenz nicht größer ist als der vorgegebene Schwellenversatz.
Beispiel 57 enthält den Gegenstand eines der Beispiele 40-56 und wobei das Mittel zum Auswählen basierend auf der Punktebewertungsfunktion Mittel zum Auswählen einer kleinsten Anzahl literaler Token umfasst.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62/365969 [0001]
US 62/376859 [0001]
US 62/427268 [0001]

Claims

Rechenvorrichtung zur Datenkompression, die Rechenvorrichtung umfassend: einen Aktualisiererschaltkreis zum Aktualisieren einer Indexdatenstruktur basierend auf einem Eingangsdatenstrom, wobei die Indexdatenstruktur Indexdaten enthält, die mit Versätzen im Eingangsdatenstrom verknüpft sind und wobei der Eingangsdatenstrom in eine Vielzahl von Segmenten unterteilt ist, wobei jedes Segment eine erste Länge hat; eine Vielzahl von Such-Slice-Schaltkreisen, wobei ein entsprechender Such-Slice-Schaltkreis einen eigenständigen Teilsatz der Vielzahl von Segmenten des Eingangsdatenstroms verarbeiten soll, um einen entsprechenden Token-Strom zu generieren, wobei der entsprechende Such-Slice-Schaltkreis die Indexdaten verwendet, um den eigenständigen Teilsatz der Vielzahl von Segmenten zu verarbeiten; und einen Vereinigungsschaltkreis zum Vereinen der Vielzahl von Token-Strömen zum Generieren eines Token-Ausgangsstroms.
Rechenvorrichtung nach Anspruch 1, wobei die erste Länge 128 Bytes umfasst.
Rechenvorrichtung nach Anspruch 1, wobei jedes Segment ein vorheriges Segment um eine zweite Länge überlappt und wobei die erste Länge 136 Bytes umfasst und die zweite Länge acht Bytes umfasst.
Rechenvorrichtung nach Anspruch 1, wobei: der Aktualisiererschaltkreis ferner Indexdaten aus der Indexdatenstruktur an eine Vielzahl von Slice-Speichern bereitstellen soll, wobei jeder Slice-Speicher einem entsprechenden Such-Slice-Schaltkreis entspricht; und um den eigenständigen Teilsatz der Vielzahl von Segmenten mit den Indexdaten zu verarbeiten, um den entsprechenden Token-Strom zu generieren, umfasst, dass der entsprechende Such-Slice-Schaltkreis auf den entsprechenden Slice-Speicher zugreift, der Indexdaten enthält, die mit dem eigenständigen Teilsatz der Vielzahl von Segmenten verknüpft sind.
Rechenvorrichtung nach Anspruch 1, ferner umfassend einen Codiererschaltkreis zum Codieren des Token-Ausgangsstroms, um einen komprimierten Ausgangsblock zu generieren.
Rechenvorrichtung nach Anspruch 1, wobei die Vielzahl von Segmenten in die Vielzahl von eigenständigen Teilsätzen geteilt wird und wobei jedes Segment eines eigenständigen Teilsatzes von einem vorherigen Segment durch die erste Länge mal eins weniger als eine Anzahl von Token-Strömen getrennt ist.
Rechenvorrichtung nach einem der Ansprüche 1-6, wobei das Vereinen der Vielzahl von Token-Strömen zum Generieren des Token-Ausgangsstroms beim Vereinigungsschaltkreis umfasst: Lesen eines vorherigen Tokens und eines nächsten Tokens aus der Vielzahl von Token-Strömen, wobei der vorherige Token und der nächste Token in Bezug auf den Eingangsdatenstrom aufeinanderfolgen; Bestimmen, ob der vorherige Token und der nächste Token von demselben Token-Strom stammen; Ausgeben des vorherigen Tokens an den Token-Ausgangsstrom als Antwort auf eine Bestimmung, dass der vorherige Token und der nächste Token von demselben Token-Strom stammen; Kopieren des nächsten Tokens zum vorherigen Token als Antwort auf die Ausgabe des vorherigen Tokens; Lesen des nächsten Tokens aus der Vielzahl von Token-Strömen als Antwort auf ein Kopieren des nächsten Tokens; und Vereinen des vorherigen Tokens und des nächsten Tokens, um einen oder mehrere synchronisierte Token zu generieren, als Antwort auf eine Bestimmung, dass der vorherige Token und der nächste Token nicht von demselben Token-Strom stammen.
Rechenvorrichtung nach Anspruch 7, wobei das Vereinen des vorherigen Tokens und des nächsten Tokens beim Vereinigungsschaltkreis umfasst: Bestimmen, ob ein Endversatz des nächsten Tokens größer oder gleich einem Endversatz des vorherigen Tokens ist; Lesen eines nächsten Tokens aus der Vielzahl von Token-Strömen als Antwort auf eine Bestimmung, dass der Endversatz des nächsten Tokens nicht größer oder gleich dem Endversatz des vorherigen Tokens ist; und Vereinen des vorherigen Tokens und des nächsten Tokens als Antwort auf eine Bestimmung, dass der Endversatz des nächsten Tokens größer oder gleich dem Endversatz des vorherigen Tokens ist.
Rechenvorrichtung nach Anspruch 8, wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis umfasst: Bestimmen, ob der Endversatz des nächsten Tokens gleich dem Endversatz des vorherigen Tokens ist; und Fallenlassen des nächsten Tokens als Antwort auf eine Bestimmung, dass der Endversatz des nächsten Tokens gleich dem Endversatz des vorherigen Tokens ist.
Rechenvorrichtung nach Anspruch 8, wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens kleiner ist als ein Anfangsversatz des vorherigen Tokens; Fallenlassen des vorherigen Tokens als Antwort auf eine Bestimmung, dass der Anfangsversatz des nächsten Tokens kleiner ist als der Anfangsversatz des vorherigen Tokens; und Kürzen des nächsten Tokens, um beim Anfangsversatz des vorherigen Tokens zu beginnen, als Antwort auf die Bestimmung, dass der Anfangsversatz des nächsten Tokens kleiner ist als der Anfangsversatz des vorherigen Tokens.
Rechenvorrichtung nach Anspruch 8, wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens gleich einem Anfangsversatz des vorherigen Tokens ist; und Fallenlassen des vorherigen Tokens als Antwort auf eine Bestimmung, dass der Anfangsversatz des nächsten Tokens gleich dem Anfangsversatz des vorherigen Tokens ist.
Rechenvorrichtung nach Anspruch 8, wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens größer ist als ein Anfangsversatz des vorherigen Tokens; Bestimmen, ob eine erste Differenz zwischen dem Anfangsversatz des nächsten Tokens und dem Anfangsversatz des vorherigen Tokens größer ist als ein vorgegebener Schwellenversatz, als Antwort auf eine Bestimmung, dass der Anfangsversatz des nächsten Tokens größer ist als der Anfangsversatz des vorherigen Tokens; Bestimmen, ob eine zweite Differenz zwischen dem Endversatz des nächsten Tokens und dem Endversatz des vorherigen Tokens größer ist als der vorgegebene Schwellenversatz, als Antwort auf die Bestimmung, dass der Anfangsversatz des nächsten Tokens größer ist als der Anfangsversatz des vorherigen Tokens; und Kürzen des nächsten Tokens auf einen Referenz-Token, der beim Endversatz des vorherigen Tokens beginnt, als Antwort auf eine Bestimmung, dass die erste Differenz größer ist als der vorgegebene Schwellenversatz und die zweite Differenz größer ist als der vorgegebene Schwellenversatz.
Rechenvorrichtung nach Anspruch 12, wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis ein Kürzen des nächsten Tokens auf einen oder mehrere literale Token umfasst, die beim Endversatz des vorherigen Tokens beginnen, als Antwort auf eine Bestimmung, dass der erste Versatz größer ist als der vorgegebene Schwellenversatz und die zweite Differenz nicht größer ist als der vorgegebene Schwellenversatz.
Rechenvorrichtung nach Anspruch 13, wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis ein Kürzen des vorherigen Tokens auf einen oder mehrere literale Token umfasst, die beim Anfangsversatz des nächsten Tokens enden, als Antwort auf eine Bestimmung, dass der erste Versatz nicht größer ist als der vorgegebene Schwellenversatz und die zweite Differenz größer ist als der vorgegebene Schwellenversatz.
Rechenvorrichtung nach Anspruch 14, wobei das Vereinen des vorherigen Tokens und des nächsten Tokens ferner beim Vereinigungsschaltkreis ein Auswählen zwischen einem Kürzen des vorherigen Tokens auf einen oder mehrere literale Token oder einem Kürzen des nächsten Tokens auf einen oder mehrere literale Token umfasst, basierend auf einer Punktebewertungsfunktion als Antwort auf eine Bestimmung, dass der erste Versatz nicht größer ist als der vorgegebene Schwellenversatz und die zweite Differenz nicht größer ist als der vorgegebene Schwellenversatz, wobei die Auswahl basierend auf der Punktebewertungsfunktion ein Auswählen einer kleinsten Anzahl literaler Token umfasst.
Verfahren zur Datenkompression, das Verfahren umfassend: Aktualisieren, durch eine Rechenvorrichtung, einer Indexdatenstruktur basierend auf einem Eingangsdatenstrom, wobei die Indexdatenstruktur Indexdaten enthält, die mit Versätzen im Eingangsdatenstrom verknüpft sind; Verarbeiten, durch die Rechenvorrichtung, einer Vielzahl von Segmenten des Eingangsdatenstroms in paralleler Weise, um eine Vielzahl von Token-Strömen unter Verwendung der Indexdaten zu generieren, wobei jedes Segment eine erste Länge hat und jedes Segment ein vorheriges Segment um eine zweite Länge überlappt, und wobei jeder Token-Strom aus einem entsprechenden eigenständigen Teilsatz der Vielzahl von Segmenten generiert wird; und Vereinen, durch die Rechenvorrichtung, der Vielzahl von Token-Strömen zum Generieren eines Token-Ausgangsstroms.
Verfahren nach Anspruch 16, wobei die Vielzahl von Segmenten in die Vielzahl von eigenständigen Teilsätzen geteilt wird.
Verfahren nach Anspruch 16, wobei ein Vereinen der Vielzahl von Token-Strömen zum Generieren des Token-Ausgangsstroms umfasst: Lesen eines vorherigen Tokens und eines nächsten Tokens aus der Vielzahl von Token-Strömen, wobei der vorherige Token und der nächste Token in Bezug auf den Eingangsdatenstrom aufeinanderfolgen; Bestimmen, ob der vorherige Token und der nächste Token von demselben Token-Strom stammen; Ausgeben des vorherigen Tokens an den Token-Ausgangsstrom als Antwort auf ein Bestimmen, dass der vorherige Token und der nächste Token von demselben Token-Strom stammen; Kopieren des nächsten Tokens zum vorherigen Token als Antwort auf die Ausgabe des vorherigen Tokens; Lesen des nächsten Tokens aus der Vielzahl von Token-Strömen als Antwort auf ein Kopieren des nächsten Tokens ; und Vereinen des vorherigen Tokens und des nächsten Tokens, um einen oder mehrere synchronisierte Token zu generieren, als Antwort auf ein Bestimmen, dass der vorherige Token und der nächste Token nicht von demselben Token-Strom stammen.
Verfahren nach Anspruch 18, wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Bestimmen, ob ein Endversatz des nächsten Tokens größer oder gleich einem Endversatz des vorherigen Tokens ist; Lesen eines nächsten Tokens aus der Vielzahl von Token-Strömen als Antwort auf ein Bestimmen, dass der Endversatz des nächsten Tokens nicht größer oder gleich dem Endversatz des vorherigen Tokens ist; und Vereinen des vorherigen Tokens und des nächsten Tokens als Antwort auf ein Bestimmen, dass der Endversatz des nächsten Tokens größer oder gleich dem Endversatz des vorherigen Tokens ist.
Verfahren nach Anspruch 19, wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Bestimmen, ob der Endversatz des nächsten Tokens gleich dem Endversatz des vorherigen Tokens ist; und Fallenlassen des nächsten Tokens als Antwort auf ein Bestimmen, dass der Endversatz des nächsten Tokens gleich dem Endversatz des vorherigen Tokens ist.
Verfahren nach Anspruch 19, wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens kleiner ist als ein Anfangsversatz des vorherigen Tokens; Fallenlassen des vorherigen Tokens als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens kleiner ist als der Anfangsversatz des vorherigen Tokens; und Kürzen des nächsten Tokens, um beim Anfangsversatz des vorherigen Tokens zu beginnen, als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens kleiner ist als der Anfangsversatz des vorherigen Tokens.
Verfahren nach Anspruch 19, wobei ein Vereinen des vorherigen Tokens und des nächsten Tokens ferner umfasst: Bestimmen, ob ein Anfangsversatz des nächsten Tokens gleich einem Anfangsversatz des vorherigen Tokens ist; und Fallenlassen des vorherigen Tokens als Antwort auf ein Bestimmen, dass der Anfangsversatz des nächsten Tokens gleich dem Anfangsversatz des vorherigen Tokens ist.
Rechenvorrichtung umfassend: einen Prozessor; und einen Speicher, in dem eine Vielzahl von Anweisungen gespeichert ist, die, wenn sie durch den Prozessor ausgeführt werden, die Rechenvorrichtung veranlassen, das Verfahren nach einem der Ansprüche 16-22 durchzuführen.
Ein oder mehrere maschinenlesbare Datenspeichermedien, umfassend eine Vielzahl von darauf gespeicherten Anweisungen, die als Antwort auf ihre Ausführung zu einer Rechenvorrichtung führen, die das Verfahren nach einem der Ansprüche 16-22 durchführt.
Rechenvorrichtung, umfassend Mittel zum Durchführen des Verfahrens nach einem der Ansprüche 16-22.