DE102009030047A1

DE102009030047A1 - Verfahren und System zur Übertragung von Daten zwischen Datenspeichern durch entfernten direkten Speicherzugriff sowie Netzwerkstation die eingerichtet ist um in dem Verfahren als Sendestation bzw. als Empfangstation zu operieren

Info

Publication number: DE102009030047A1
Application number: DE102009030047A
Authority: DE
Inventors: Frank Gläser
Original assignee: Deutsche Thomson OHG
Current assignee: Deutsche Thomson OHG
Priority date: 2009-06-22
Filing date: 2009-06-22
Publication date: 2010-12-23
Also published as: US20120102243A1; EP2446606A1; EP2446606B1; WO2010149576A1; US8706927B2

Abstract

Bei dem Verfahren werden Daten zwischen einem ersten Speicher, der einem Quellrechner zugeordnet ist, und einem zweiten Speicher, der einem Zielrechner zugeordnet ist, über ein Neztwerk durch entfernten direkten Speicherzugriff (RDMA) übertragen. Quellrechnerseitig wird eine vorbestimmte Anzahl von unmittelbar aufeinander folgenden Sendepuffern aus einem kontinuierlichen Pufferspeicherbereich ausgewählt und in einem einzigen RDMA-Sende-Prozess zum Zielrechner übertragen. Zielrechnerseitig werden ein RDMA-Datentransfer über den gesamten kontinuierlichen Pufferspeicherbereich und eine Puffersequenzprozedur durchgeführt. Die Puffersequenzprozedur veranlasst, dass die emfangenen Puffer in der gesendeten Reihenfolge der Zielanwendung zugeführt werden.

Description

Die Erfindung betrifft ein Verfahren und ein System zur Übertragung von Daten zwischen Datenspeichern durch entfernten direkten Speicherzugriff (RDMA = engl, remote direct memory access).
Stand der Technik
RDMA-Datentransportverfahren, bei denen z. B. PC-Erweiterungskarten oder andere Schnittstellen verwendet werden, die über eine RDMA-Hardware entfernte Speicherbereiche lesen und schreiben können sind Stand der Technik. Bei einem RDMA-Datentransportverfahren werden Daten ohne zusätzliche Kopie vom Speicher des Quellrechners in den Speicher des Zielrechners kopiert. Der Kopiervorgang wird dabei von der Hardware einer Netzwerkkarte ausgeführt. Dadurch wird ein sehr schneller Datentransfer ermöglich, ohne hierfür CPU-Belastungen in Quell- und Zielrechner beanspruchen zu müssen.
Man unterscheidet grundsätzlich zwei Arten von RDMA-Operationen: die RDMA-Read-Operation und die RDMA-Write-Operation.
Bei einer die RDMA-Read-Operation sendet eine Sendeanwendung ein kleines Informationspaket (in der englischen Fachliteratur mit ”info packet” bezeichnet), das Werte für die Speicheradresse und der Länge der Sendedatenpuffer beinhaltet, zu einer Empfangsanwendung. Nach dem Empfang der im angesprochenen Informationspaket enthaltenen Adressinformationen führt die Empfangsanwendung eine RDMA-Read-Operation zu der entfernten Speicheradresse durch und überträgt Daten zum eigenen Anwendungs-Empfangsdatenpufferspeicher.
Es existieren verschiedene RDMA-Datenübertragungsverfahren, bei denen vergleichsweise kleine Transportdatenpuffer verwendet werden, wie beispielsweise in RDMA-basierten Speicherprotokollimplementierungen wie SRP (SCSI RDMA Protocol) oder iSER (iSCSI Extensions for RDMA) in Verbindung mit RDMA-Streaming-Anwendungen.
Nachteilig ist hierbei anzusehen, dass bei RDMA-Datenübertragungen, die solche kleine Transportdatenpuffern nutzen, die auf zusätzliche Informationspaketen basierende Übertragung von Sende- oder Empfangsadressen einen signifikanten Overhead darstellt, der letztlich die zur Verfügung stehende Transportdatenrate verringert.
Erfindung
Die Aufgabe der vorliegenden Erfindung besteht nun darin, bei gleicher Größe der von der Nutzeranwendung verwendeten Transportdatenpuffer den RDMA-transportspezifischen Overhead im Vergleich zum Stand der Technik zu reduzieren.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausführungsformen der Erfindung sind in weiteren Ansprüchen definiert.
Bei dem Verfahren werden Daten zwischen einem ersten Speicher, der einem Quellrechner zugeordnet ist, und einem zweiten Speicher, der einem Zielrechner zugeordnet ist, über ein Netzwerk durch entfernten direkten Speicherzugriff (RDMA) übertragen. Quellrechnerseitig wird eine vorbestimmte Anzahl von Sendepuffern aus einem kontinuierlichen Pufferspeicher ausgewählt und in einem einzigen RDMA-Sende-Prozess zum Zielrechner übertragen. Zielrechnerseitig werden ein RDMA-Datentransfer über den gesamten ausgewählten Pufferspeicherbereich und eine Puffersequenzprozedur durchgeführt. Die Puffersequenzprozedur veranlasst, dass die empfangenen Puffer in der gesendeten Reihenfolge der Zielanwendung zugeführt werden.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens werden alle bei dem Verfahren verwendeten Transportpuffer aus einem registrierten kontinuierlichen Pufferspeicherbereich allokiert.
Der beim erfindungsgemäßen Verfahren verwendete Pufferspeicher besteht insbesondere aus einem Bereich zusammenhängender physikalischer Speicheradressen des Quell- bzw. Zielrechners.
Der Pufferspeicherbereich wird in einzelne Datenblöcke unterteilt. Jedem allokierbaren Transportpuffer wird eine Verwaltungsdatenstruktur zugeordnet, die eine Speichernummer zur Identifikation der Position des betreffenden Transportpuffers im Pufferspeicherbereich und eine Sequenznummer zur Identifikation des Transportpuffers im Transportdatenstrom umfasst.
Bei einer Ausführungsvariante des erfindungsgemäßen Verfahrens umfasst das Verfahren folgende Schritte:

– Bereitstellen der Transportpuffer aus dem registrierten kontinuierlichen Pufferspeicherbereich seitens der Sendeanwendung und der Empfangsanwendung;
– einen Füllschritt, bei dem Sendepuffer in eine asynchrone Sendepufferwarteschlange eingefügt werden;
– Suchen einer vorbestimmten Anzahl von unmittelbar aufeinander folgenden Transportpuffern im kontinuierlichen Pufferspeicherbereich in der asynchronen Sendepufferwarteschlange, basierend auf der jeweiligen Speichernummer in jeder Verwaltungsdatenstruktur durch einen Sendeverarbeitungsthread;
– Senden der Speicheradresse des ersten gefundenen Transportpuffers, gemeinsam mit dem Wert für die Länge des gesamten Bereichs der gefundenen Transportpuffer und der entsprechenden Sequenznummern vom Quellrechner zum Zielrechner in einem ersten RDMA-Informationspaket,
– einen Exekutionsschritt, bei dem eine asynchrone Empfangsoperation durchgeführt wird;
– einen RDMA-Lese-Schritt, der das Empfangen des ersten RDMA-Informationspaketes, das Ermitteln der erforderlichen Anzahl von kontinuierlichen Empfangspuffern aus der Empfangspufferwarteschlange und das Durchführen einer RDMA-Read-Operation umfasst, um die Daten von allen beteiligten Sendepuffern zu den Empfangspuffern zu übertragen;
– einen auf eine erfolgreiche RDMA-Read-Operation folgenden Lesekomplettierungsbestätigungsschritt, bei dem eine RDMA-Read-Complete-Nachricht zum Zielrechner übertragen wird;
– einen auf einen erfolgreichem RDMA-Transport folgenden Einreihungsschritt, bei dem den Empfangspuffern die zugehörigen Sequenznummern zugewiesen und die Empfangspuffer in einer Empfangspufferkomplettierungs-Warteschlange eingereiht werden; und
– einen Komplettierungsschritt, bei dem die Empfangspuffer zur Nutzeranwendung vervollständigt werden.

Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens umfasst der Füllschritt das Füllen der Sendepuffer durch die Sendeanwendung, das Aufrufen von Sendefunktionen durch die Sendeanwendung, um die Sendepuffer in die asynchrone Sendepufferwarteschlange zu füllen und die sequentielle Zuweisung von Sequenznummern zu den Sendepuffer in der Reihenfolge des Funktionsaufrufs durch die Sendefunktionsverarbeitung.
Bei einer Ausführungsvariante des erfindungsgemäßen Verfahrens umfasst der Exekutionsschritt das Aufrufen asynchroner Empfangsfunktionen durch die Empfangsanwendung, um alle verfügbaren Datenempfangspuffer in eine asynchrone Empfangspufferwarteschlange einzufügen und das automatische Sortieren der Datenempfangspuffer in der Empfangspufferwarteschlange nach fallender oder steigender Pufferspeichernummer.
Gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens umfasst der Einreihungsschritt das Trennen der einzelnen Empfangspuffer, die Zuweisung der entsprechenden Sequenznummern zu Empfangspuffer-Verwaltungsstrukturen durch den Empfangsverarbeitungsthread, das Einfügen der getrennten Empfangspuffer an einem Ende der Empfangspufferkomplettierungs-Warteschlange und das Sortieren der eingefügten Empfangspuffer in der Empfangspufferkomplettierungs-Warteschlange nach steigender oder fallender Sequenznummer.
Beispielsweise umfasst der Komplettierungsschritt die Entnahme der Transportpuffer am anderen Ende der Empfangspufferkomplettierungs-Warteschlange, das Leeren der Empfangspufferkomplettierungs-Warteschlange und die Rückgabe der Tramspotpuffer an die Empfangspufferwarteschlange.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird im Lesekomplettierungsbestätigungsschritt ein zweites RDMA-Informationspakets zum Sender gesendet, um die RDMA-Read-Operation zu beenden.
Das erfindungsgemäße Verfahren hat den Vorteil, dass der Overhead für den Adressentransport und die Anzahl der erforderlichen RDMA-Operationen im Vergleich zum Stand der Technik deutlich verringert werden. Dieser Vorteil ist besonders gewichtig bei Verfahren, die mit kleinen Transportpuffern durchgeführt werden, etwa bei einem RDMA-Streaming der Fall ist.
Zeichnungen
Im Folgenden werden weitere Vorteile und Einzelheiten der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Es zeigen:
1 ein prinzipielles Ablaufdiagramm zur Veranschaulichung des Ablaufs einer Datenübertragung beim erfindungsgemäßen Verfahren; und
2 einen Graphen mit das erfindungsgemäße Verfahren charakterisierenden Messergebnissen.
Beispielhaft aufzufassende Ausführungsform der Erfindung
1 zeigt ein rein prinzipielles Ablaufdiagramm zur Veranschaulichung des Ablaufs einer Datenübertragung beim erfindungsgemäßen Verfahren. Die einzelnen Unterprozeduren des erfindungsgemäßen Verfahrens sind gemäß den eingekreisten Ziffern 0 bis 11 in 1 nummeriert.
Bei dem erfindungsgemäßen Verfahren wird ein Transportpufferpool bereitgestellt, der von der RDMA-Transport-Software gesteuert oder kontrolliert wird
Sämtliche bei dem erfindungsgemäßen Verfahren verwendeten Transportdatenpuffer sind aus diesem Transportpufferpool durch die Nutzeranwendung zu allokieren. Der Transportpufferpool entsteht aus einem kontinuierlichen Pufferspeicherbereich, der für den Direktspeicherzugriff DMA (Direct Memory Access) registriert und in Datenblöcke B1, B2, B3 ... B12 (in der englischen Fachliteratur mit ”chunks” bezeichnet) unterteilt ist, deren Größe der erforderliche Sende-/Empfangsdatenpuffergröße entspricht. Außer der Speicheradresse und dem Wert der Pufferlänge besteht jeder allokierbare Transportdatenpuffer aus einer Verwaltungsstruktur, die eine Speichernummer zur Identifikation der Position des betreffenden Transportpuffers im Pufferspeicherbereich und eine Sequenznummer zur Identifikation des Transportpuffers im Transportdatenstrom umfasst.
Bei dem erfindungsgemäßen Verfahren werden zunächst in zwei Initialisierungsunterprozeduren (Unterprozedur-Nr. 0 und Unterprozedur-Nr. 1) Transportpufferdaten aus einem registrierten kontinuierlichen Pufferspeicherbereich durch die Sendeanwendung und die Empfangsanwendung bereitgestellt.
Danach erfolgt die Unterprozedur-Nr. 2, die das Füllen der Sendepuffer durch die Sendeanwendung, das Aufrufen von Sendefunktionen durch die Sendeanwendung, um die Datensendepuffer in die asynchrone Sendepufferwarteschlange WS zu füllen sowie die sequentielle Zuweisung von Sequenznummern S1, S2, S3, S4, S5, S6, S7, S8, S9, S10 zu den Sendepuffern in der Reihenfolge des Funktionsaufrufs durch die Sendefunktionsverarbeitung umfasst.
Die auf die Unterprozedur-Nr. 2 folgende Unterprozedur-Nr. 3 umfasst das Suchen einer vorbestimmten Anzahl von Transportpuffern mit kontinuierlichen Pufferspeichern in der asynchronen Sendepufferwarteschlange WS basierend auf der jeweiligen Speichernummer in jeder Pufferverwaltungsstruktur durch den Sendeverarbeitungsthread TS.
In der Unterprozedur Nr. 4 werden die Speicheradresse des ersten errichteten Puffers, gemeinsam mit dem Wert für die Länge des gesamten kontinuierlichen Pufferspeichers aller errichteten Puffer und der entsprechenden Sequenznummern S1, S2, S3, S4, S5, S6, S7, S8, S9, S10 vom Quellrechner zum Zielrechner in einem ersten RDMA-Informationspaket IP1 gesendet.
Das erste Informationspaket IP1 umfasst Informationen über die Puffer-Adresse, die Pufferlänge, die Anzahl der Sub-Puffer.
Das erste Informationspaket IP1 umfasst ferner ein erstes Sub-Puffer Beschreibungsarray, das wiederum Informationen über die Sequenznummer, den Adressenoffset, die Pufferlänge und die Anzahl der Bytes umfasst
Nach der Unterprozedur Nr. 4 erfolgt die Unterprozedur Nr. 5, die das Aufrufen asynchroner Empfangsfunktionen durch die Empfangsanwendung, um alle verfügbaren Empfangspuffer in eine asynchrone Empfangspufferwarteschlange WE einzufügen und das automatisches Sortieren der Empfangspuffer in der Empfangspufferwarteschlange WE nach fallender oder steigender Pufferspeichernummer umfasst.
Die Unterprozedur Nr. 6 umfasst das Suchen einer bestimmten Anzahl von Transportpuffern mit dem kontinuierlichen Pufferspeicher.
Die Unterprozedur Nr. 7 umfasst das Empfangen des ersten RDMA-Informationspaketes IP1 und Ermitteln der erforderlichen Anzahl von kontinuierlichen Empfangspuffern aus der Empfangspufferwarteschlange WE, sowie das Durchführen einer RDMA-Read-Operation, um die Daten von allen beteiligten Sendepuffern zu den Empfangspuffern zu übertragen.
Nach erfolgreicher RDMA-Read-Operation wird ein zweites RDMA-Informationspaket IP2 zum Quellrechner gesendet, um die RDMA-Read-Operation zu beenden.
Die Unterprozedur Nr. 8 umfasst einen Lesekomplettierungsbestätigungsschritt, bei dem eine RDMA-Read-Complete-Nachricht in Gestalt eines zweiten Informationspaketes IP2 zum Quellrechner übertragen wird.
Das zweite Informationspaket IP2, das die Read-Complete-Nachricht darstellt, umfasst Informationen über die Puffer-Adresse, die Pufferlänge, die Anzahl der Sub-Puffer.
Das zweite Informationspaket IP2 umfasst ferner ein zweites Sub-Puffer Beschreibungsarray, das wiederum Informationen über die Sequenznummer, den Adressenoffset, die Pufferlänge und die Anzahl der Bytes umfasst.
In der auf den erfolgreichen RDMA-Transport folgenden Unterprozedur Nr. 9 erfolgt das Trennen der einzelnen Empfangspuffer und die Zuweisung der entsprechenden Sequenznummern zu Empfangspuffer-Verwaltungsstrukturen durch die Empfangsverarbeitungsthread TE, das-Einfügen der getrennten Empfangspuffer an einem Ende der Empfangspufferkomplettierungs-Warteschlange KE sowie das Sortieren der eingefügten Empfangspuffer in der Empfangspufferkomplettierungs-Warteschlange KE nach steigender oder fallender Sequenznummer.
Die Unterprozedur Nr. 10 umfasst die Entnahme der Tramsportpuffer am anderen Ende der asynchronen Empfangspufferkomplettierungs-Warteschlange KE, das Leeren der Empfangspufferkomplettierungs-Warteschlange KE sowie die Rückgabe der Tramspotpuffer an die Empfangspufferwarteschlange WE.
Gleichzeitig (oder) Im Anschluß an die Unterprozedur Nr. 8 erfolgen auf der Seite der Sendeanwendung in der Unterprozedur Nr. 11 das Einfügen aller beteiligten Sendedatenpuffer in die asynchronen Sendepufferkomplettierungs-Warteschlange KS durch den Sendeverarbeitungsthread TS, die Entnahme der komplettierten Sendepuffer aus der Sendepufferkomplettierungs-Warteschlange KS und ein erneutes Füllen und Einfügen der Sendepuffer in die Sendepufferwarteschlange WS durch die Sendeanwendung.
In diesem Zusammenhang ist anzumerken, dass mit dem Empfang von IP2 durch die Sendeanwendung alle Sendepuffer zur erneuten Nutzung freigegeben werden können. Dies kann auch zeitgleich mit Unterprozedur 10 erfolgen, da beide Prozeduren (10 und 11) auf verschiedenen Rechnern ausgeführt werden. Die Freigabe aller Sendepuffer zur erneuten Nutzung findet aber in jedem Fall nach dem Empfang von IP2 statt.
Als Fazit basiert die Erfindung auf der Idee, mehrere Pufferadressen in einem Informationspaket zu senden, um so den zusätzlichen Transport-Overhead von Adressübertragungen zu verringern. Nun kann eine RDMA-read/write-Operation nur zu einem zusammenhängenden Speicherbereich auf der jeweils anderen Seite ausgeführt werden. Dies bedeutet mit anderen Worten, dass der Transport-Overhead für die Übertragung der fernen Pufferadressen reduziert und die RDMA-Operation für jede einzelne ferne Adresse durchzuführen ist.
2 zeigt einen Graphen mit das erfindungsgemäße Verfahren charakterisierenden Messergebnissen. In dem Graphen ist die Datenrate (in MBit/Sekunde) über der Puffergröße (in Bytes) aufgetragen.
Indem im Graphen die Ergebnisse, die bei der Verwendung eines Transportpuffers (erste Kurve K1) und zehn Transportpuffern (zweite Kurve K2) verglichen werden, spiegelt der Graph in eindringlicher Weise die Vorteile des erfindungsgemäßen Verfahrens in Abhängigkeit der verwendeten Puffergröße wider.
Dabei ist zu beachten, dass die mit dem Testgerät erreichbare maximale Datenrate 11800 Mbit/Sekunde beträgt.

Claims

Verfahren zur Übertragung von Daten zwischen einem ersten Speicher, der einem Quellrechner zugeordnet ist, und einem zweiten Speicher, der einem Zielrechner zugeordnet ist, über ein Netzwerk durch entfernten direkten Speicherzugriff (RDMA remote direct memory access), wobei Quellrechnerseitig eine vorbestimmte Anzahl von unmittelbar aufeinander folgenden Sendepuffern aus einem zusammenhängenden Pufferspeicherbereich ausgewählt und in einem einzigen RDMA-Datentransfer zum Zielrechner übertragen wird und wobei Zielrechnerseitig eine Puffersequenzprozedur durchgeführt wird, die veranlasst, dass die empfangenen Daten aus den Sendepuffern in der gesendeten Reihenfolge der Zielanwendung zugeführt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass alle bei dem Verfahren verwendeten Transportpuffer aus einem registrierten zusammenhängenden Pufferspeicherbereich allokiert werden, der in einzelne Datenblöcke (B1, B2, B3 ... B12) der Größe eines Transportpuffers unterteilt wird, wobei jedem allokierbaren Transportpuffer eine Verwaltungsstruktur zugeordnet wird, die eine Speichernummer zur Identifikation der Position des betreffenden Transportpuffers im Pufferspeicherbereich und eine Sequenznummer zur Identifikation des Transportpuffers im Transportdatenstrom umfasst.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Verfahren folgende Schritte umfasst: – Bereitstellen der Transportpuffer aus dem registrierten zusammenhängenden Pufferspeicherbereich seitens der Sendeanwendung und der Empfangsanwendung; – einen Füllschritt, bei dem Sendepuffer in eine asynchrone Sendepufferwarteschlange (WS) eingefügt werden; – Suchen einer vorbestimmten Anzahl von zusammenhängenden Transportpuffern in der asynchronen Sendepufferwarteschlange (WS) basierend auf der jeweiligen Speichernummer in jeder Verwaltungsdatenstruktur durch einen Sendeverarbeitungsthread (TS); – Senden der Speicheradresse des ersten Transportpuffers, gemeinsam mit dem Wert für die Länge des im vorhergehenden Schritt ausgewählten Pufferspeicherbereichs für die vorbestimmte Anzahl von Transportpuffern und der entsprechenden Sequenznummern vom Quellrechner zum Zielrechner in einem ersten RDMA-Informationspaket (IP1); – einen Exekutionsschritt, bei dem eine asynchrone Empfangsoperation durchgeführt wird; – einen RDMA-Lese-Schritt, der das Empfangen des ersten RDMA-Informationspaketes (IP1), das Ermitteln der erforderlichen Anzahl von kontinuierlichen Empfangspuffern aus einer asynchronen Empfangspufferwarteschlange (WE) und das Durchführen einer RDMA-Read-Operation umfasst, um die Daten von allen beteiligten Sendepuffern zu den Empfangspuffern zu übertragen; – einen auf eine erfolgreiche RDMA-Read-Operation folgenden Lesekomplettierungsbestätigungsschritt, bei dem eine RDMA-Read-Complete-Nachricht zum Quellrechner übertragen wird; – einen auf einen erfolgreichem RDMA-Transport folgenden Einreihungsschritt, bei dem den Empfangspuffern die zugehörigen Sequenznummern zugewiesen und die Empfangspuffer in eine Empfangspufferkomplettierungs-Warteschlange (KE) eingereiht werden; und – einen Komplettierungsschritt, bei dem die Empfangspuffer zur Nutzeranwendung vervollständigt werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Füllschritt das Füllen der Sendepuffer durch die Sendeanwendung, das Aufrufen von Sendefunktionen durch die Sendeanwendung, um die Sendepuffer in die asynchrone Sendepufferwarteschlange (WS) zu füllen und die sequentielle Zuweisung von Sequenznummern zu den Sendepuffern in der Reihenfolge des Funktionsaufrufs durch die Sendefunktionsverarbeitung umfasst.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass der Exekutionsschritt das Aufrufen asynchroner Empfangsfunktionen durch die Empfangsanwendung, um alle verfügbaren Empfangspuffer in die asynchrone Empfangspufferwarteschlange (WE) einzufügen und das automatische Sortieren der Empfangspuffer in der Empfangspufferwarteschlange (WE) nach fallender oder steigender Pufferspeichernummer umfasst.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass der Einreihungsschritt das Trennen der einzelnen Empfangspuffer, die Zuweisung der entsprechenden Sequenznummern zu Empfangspuffer-Verwaltungsstrukturen durch einen Empfangsverarbeitungsthread (TE), das Einfügen der getrennten Empfangspuffer an einem Ende der Empfangspufferkomplettierungs-Warteschlange (KE) und das Sortieren der eingefügten Empfangspuffer in der Empfangspufferkomplettierungs-Warteschlange (KE) nach steigender oder fallender Sequenznummer umfasst.
Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass der Komplettierungsschritt die Entnahme der Transportpuffer am anderen Ende der Empfangspufferkomplettierungs-Warteschlange (KE), das Leeren der Empfangspufferkomplettierungs-Warteschlange (KE) und die Rückgabe der Transportpuffer an die Empfangspufferwarteschlange (WE) umfasst.
Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass im Lesekomplettierungsbestätigungsschritt eine Read-Complete-Nachricht insbesondere in Gestalt eines zweiten RDMA-Informationspakets (IP2) zum Quellrechner gesendet wird, um die RDMA-Read-Operation zu beenden.
System zur Übertragung von Daten zwischen Datenspeichern durch entfernten direkten Speicherzugriff, dadurch gekennzeichnet, dass im System die Hardware und/oder die Software und/oder Steuermittel und/oder Programmmittel zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche vorgesehen sind.
Netzwerkstation die eingerichtet ist als Sendestation in dem Verfahren nach einem der vorhergehenden Ansprüche 1 bis 8 zu operieren.
Netzwerkstation die eingerichtet ist als Empfangsstation in dem Verfahren nach einem der vorhergehenden Ansprüche 1 bis 8 zu operieren.