DE112011101109B4

DE112011101109B4 - Übertragung von Map/Reduce-Daten auf der Grundlage eines Speichernetzwerkes oder eines Speichernetzwerk-Dateisystems

Info

Publication number: DE112011101109B4
Application number: DE112011101109.1T
Authority: DE
Inventors: Wei Xue; Bin Cai; Zhe Xiang; Bo Yang; Li Li
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2010-03-31
Filing date: 2011-03-14
Publication date: 2019-02-07
Anticipated expiration: 2031-03-15
Also published as: GB2491730B; DE112011101109T5; WO2011120791A1; US20130332612A1; US9590915B2; GB201212411D0; GB2491730A; CN102209087A; CN102209087B

Abstract

Verfahren zur MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk, wobei das Rechenzentrum mehrere mit einem Job-Verfolger (701), Map-Aufgaben-Verfolgern (702) und Reduce-Aufgaben-Verfolgern (703) versehene Server enthält, wobei das Verfahren Folgendes aufweist:als Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Map-Aufgabe Durchführen (S401) einer Map-Aufgabe, was Bearbeitung an Schlüssel-Wert-Paaren umfasst,und Erzeugen von Ausgaben der Map-Aufgabe durch einen Map-Aufgaben-Verfolger (702), wobei die Ausgaben Zwischen-Schlüssel-Wert-Paare aufweisen;Schreiben (S402) der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch den Map-Aufgaben-Verfolger (702), was Schreiben der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch ein Speichernetzwerk-Dateisystem aufweist; undals Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Reduce-Aufgabe Lesen (S403) der Ausgaben der Map-Aufgabe vom Speichernetzwerk durch einen Reduce-Aufgaben-Verfolger (703).

Description

Technisches Gebiet
Die Erfindung betrifft ein Verfahren und ein System für MapReduce-(Zuordnungs/Reduzierungs-) Datenübertragung (MapReduce data transmission) in einem Rechenzentrum mit einem Speichernetzwerk.
Hintergrund
„MapReduce“ stellt ein von Google vorgeschlagenes Software-Rahmenwerk für das parallele Bearbeiten großer Datensätze (größer als 1 TB) dar. Die Konzepte von „Map“ und „Reduce“ sowie deren Hauptideen sind funktionalen Programmiersprachen entliehen. Bei derzeitigen „MapReduce“-Middleware-Realisierungen müssen Anwendungsentwickler eine Map-Funktion definieren, um einen Satz von Schlüssel-Wert-Paaren neuen Schlüssel-Wert-Paaren zuzuordnen, die als Zwischen-Schlüssel-Wert-Paare bezeichnet werden, und Anwendungsentwickler müssen zudem eine Reduce-Funktion spezifizieren, um die von der Map-Funktion ausgegebenen Zwischen-Schlüssel-Wert-Paare weiterzuverarbeiten. Das Aufrufen von „Map“ partitioniert die Eingangsdaten automatisch in M Eingangsdatenteile, die zur parallelen Verarbeitung an mehrere Maschinen geleitet werden können. Das Aufrufen von „Reduce“ partitioniert die Zwischen-Schlüssel durch eine Partitionierungsfunktion in R Teile (zum Beispiel hash (Schlüssel) mod R), die ebenfalls an mehrere Maschinen geleitet werden.
Die Anzahl der Partitionierungen R und die Partitionierungsfunktion können durch den Benutzer festgelegt werden. MapReduce erreicht Skalierbarkeit durch das Verteilen umfangreicher Operationen an Datensätzen auf mehrere Knoten auf dem Netzwerk.
Derzeit wird MapReduce als wichtige Programmentwicklungsspezifikation zum Aufbau eines Rechenzentrums angesehen und besitzt bereits ein großes Spektrum von Anwendungen, zu denen typischerweise folgende zählen: verteiltes „grep“, verteiltes Sortieren, Analyse von Webzugangsprotokollen, umgekehrter Indexaufbau, Dokumenten-Clustering, maschinelles Lernen, auf Statistiken beruhende Maschinenübersetzung und so weiter. Um die Anforderungen an die Verarbeitung/Erstellung großer Datenmengen mit MapReduce zu erfüllen, besteht ein Bedarf nach dem Aufbau einer zugrundeliegenden Netzwerkarchitektur, in der MapReduce angewandt wird, zum Beispiel eine neue Art von Rechenzentrum, in welchem die konvergierte Netzwerkarchitektur verwendet wird. Für ein herkömmliches Rechenzentrum wird der Neuaufbau einer zugrundeliegenden Netzwerkarchitektur, in der MapReduce angewandt wird, jedoch viel Geld kosten. 1 zeigt eine schematische Abbildung einer Netzwerkarchitektur eines herkömmlichen Rechenzentrums mit einem Speichernetzwerk, wobei sich die Netzwerktopologie des herkömmlichen Rechenzentrums üblicherweise aus zwei Netzwerken zusammensetzt: einem Nahbereichsnetzwerk (local area network (LAN)) und einem Speichernetzwerk (storage network (SAN)). Bei einem SAN handelt es sich um ein dediziertes Hochleistungsnetzwerk zum Übertragen von Daten zwischen verschiedenen Servern und Speicher-Ressourcen, bei dem Kollisionsprobleme beim Datenverkehr vermieden werden, die üblicherweise zwischen Clients und Servern in einem herkömmlichen Nachrichtennetzwerk (wie beispielsweise einem üblicherweise bei einem LAN verwendeten TCP/IP-Netzwerk) auftreten. 2 zeigt eine schematische Abbildung der MapReduce-Datenübertragung in einem herkömmlichen Rechenzentrum mit einem Speichernetzwerk gemäß dem Stand der Technik. Da die derzeitige MapReduce-Middleware die Ausgaben einer Map-Aufgabe (Map task) durch das HTTP-Anwendungsschichtprotokoll (HTTP application layer protocol) zu einer Reduce-Aufgabe (Reduce task) überträgt, besteht ein Bedarf nach der Verwendung des TCP/IP-Protokollstapels. In diesem Fall können die Ausgaben der Map-Aufgabe nur durch das leistungsschwache LAN-Netzwerk zur Reduce-Aufgabe übertragen werden, was zu einer ineffizienten Verarbeitung von MapReduce-Daten-Jobs führt.
Daher besteht ein Bedarf nach einem Verfahren zum Verbessern der Effizienz der MapReduce-Datenübertragung, ohne die Hardware-Architektur des herkömmlichen Rechenzentrums verändern zu müssen.
Zusammenfassung
Auf der Grundlage der vorstehend genannten Probleme stellt die vorliegende Erfindung ein Verfahren und ein System für die Übertragung von MapReduce-Daten in einem Rechenzentrum mit einem Speichernetzwerk bereit, wie in den angehängten Ansprüchen definiert.
Bei dem Verfahren und dem System gemäß der vorliegenden Erfindung werden die Ausgaben der Map-Aufgabe direkt vom Speichernetzwerk gelesen, wobei die Netzwerkbandbreite des Speichernetzwerks ausreichend genutzt wird und die Leistungsvorteile der Architektur mit doppeltem Netzwerk des herkömmlichen Rechenzentrums unter der Bedingung, dass die Hardware-Architektur des herkömmlichen Rechenzentrums beibehalten wird, vollständig ausgeschöpft werden.
Figurenliste
Nachfolgend werden in beispielhafter Weise Ausführungsformen der Erfindung unter Bezugnahme auf die begleitenden Zeichnungen beschrieben, in denen:

1 eine schematische Abbildung der Netzwerkarchitektur eines herkömmlichen Rechenzentrums mit einem Speichernetzwerk zeigt;
2 eine schematische Abbildung der MapReduce-Datenübertragung in einem herkömmlichen Rechenzentrum mit einem Speichernetzwerk gemäß dem Stand der Technik zeigt;
3 eine schematische Abbildung der MapReduce-Datenübertragung in einem herkömmlichen Rechenzentrum mit einem Speichernetzwerk gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
4 ein Verfahren der MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
5 einen Ablaufplan eines Verfahrens zum Durchführen einer Map-Aufgabe durch einen Map-Aufgaben-Verfolger (Map Task Tracker) gemäß einer Ausführungsform der Erfindung zeigt;
6 einen Ablaufplan eines Verfahrens zum Durchführen einer Reduce-Aufgabe durch einen Reduce-Aufgaben-Verfolger (Reduce Task Tracker) gemäß einer Ausführungsform der Erfindung; und
7 ein Blockschaltbild eines Systems der MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.

Detaillierte Beschreibung
Die Aufgaben und Vorteile der Erfindung werden anhand der folgenden detaillierten Beschreibung des Verfahrens und des Systems für die MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk (SAN) in Verbindung mit den Zeichnungen gemäß Ausführungsformen der Erfindung verständlicher.
Bei MapReduce handelt es sich um ein Rahmenwerk zur Bearbeitung bestimmter Arten verteilbarer Probleme mithilfe einer großen Zahl von Computern (Knoten), was gemeinhin als Cluster bezeichnet wird. Computerverarbeitung kann an Daten erfolgen, die entweder in einem Dateisystem (unstrukturiert) oder innerhalb einer Datenbank (strukturiert) gespeichert sein können.
„Map“-Schritt: Der Master-Knoten nimmt die Eingaben, zerteilt sie in kleiner Teilprobleme und verteilt diese auf Arbeitsknoten. Ein Arbeitsknoten kann dies wiederum erneut tun, was zu einer Baumstruktur mit mehreren Ebenen führt.
Der Arbeitsknoten verarbeitet dieses kleinere Problem und leitet die Antwort an seinen Master-Knoten zurück.
„Reduce“-Schritt: Der Master-Knoten nimmt dann die Antworten auf alle Teilprobleme und kombiniert sie in einer Weise, die dazu dient, die Ausgabe zu erhalten - die Antwort auf das Problem, das es ursprünglich zu lösen versucht hat.
Der Vorteil von MapReduce liegt darin, dass es die verteilte Verarbeitung der Zuordnungs- und der Reduzierungs-Operationen erlaubt. Vorausgesetzt, dass jede Zuordnungsoperation unabhängig von der anderen ist, können alle Zuordnungen parallel ausgeführt werden - obwohl dies in der Praxis durch die Datenquelle und/oder die Anzahl von CPUs in der Nähe dieser Daten eingeschränkt wird. Gleichermaßen kann ein Satz von „Reduzierern“ (reducers) die Reduzierungsphase durchführen - hierfür ist lediglich erforderlich, dass alle Ausgaben der Map-Operation, die denselben gemeinsamen Schlüssel aufweisen, zur selben Zeit demselben Reduzierer vorgelegt werden. Obwohl dieser Prozess verglichen mit sequenzielleren Algorithmen ineffizient scheinen mag, kann MapReduce auf erheblich größere Datensätze angewandt werden als diejenigen, die „Commodity“-Server bewältigen können - eine große Server-Farm kann mittels MapReduce ein Petabyte an Daten innerhalb nur weniger Stunden sortieren. Die Parallelität bietet zudem Möglichkeiten des Wiederherstellens nach teilweisen Ausfällen von Servern oder der Speicherung während des Vorgangs: Wenn ein Zuordner (mapper) oder Reduzierer ausfällt, kann die Arbeit neu geplant werden - unter der Voraussetzung, dass die Eingangsdaten noch verfügbar sind.
Obwohl die vorliegende Ausführungsform im Kontext des von Google definierten MapReduce-Rahmenwerks beschrieben wird, ist ersichtlich, dass die vorliegende Erfindung generell bei Techniken zur Bearbeitung verteilbarer Probleme mittels großer Anzahlen von Computern Anwendung findet.
Zwei der grundlegendsten Dienste eines MapReduce-Rahmenwerks sind ein Job-Verfolger und mehrere Aufgabenverfolger, wobei der Job-Verfolger auf einem Master-Knoten bereitgestellt wird, um von Benutzern übermittelte Jobs zu empfangen, alle Jobs vereinheitlicht zu planen, alle Aufgabenverfolger zu verwalten, jeden der von den Benutzern übermittelten Jobs in mehrere Aufgaben wie Map- und Reduce-Aufgaben aufzuteilen und für das Zuweisen der Aufgaben an die Aufgabenverfolger verantwortlich zu sein; bei den Aufgaben handelt es sich um grundlegende Einheiten, die spezifisch auszuführen sind und geeigneten Aufgabenverfolgern zur Ausführung zuzuweisen sind; bei den zum Ausführen der Map-Aufgaben zugewiesenen Aufgabenverfolgern handelt es sich um Map-Aufgaben-Verfolger, bei den zum Ausführen der Reduce-Aufgaben zugewiesenen Aufgabenverfolgern handelt es sich um Reduce-Aufgaben-Verfolger, und die Aufgabenverfolger berichten dem Job-Verfolger den Status der Aufgaben während deren Ausführung, um den Job-Verfolger dabei zu unterstützen, Kenntnis über die Job-Ausführung als Ganzes zu erhalten.
3 zeigt eine schematische Abbildung der MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk gemäß einer Ausführungsform der Erfindung. Im Gegensatz zum in 2 gezeigten Stand der Technik werden die Map-Aufgaben durch einen Reduce-Aufgaben-Verfolger direkt vom Speichernetzwerk (SAN) gelesen, anstatt über ein Nahbereichsnetzwerk (LAN) an einen Reduce-Aufgaben-Verfolger übermittelt zu werden, so dass die Vorteile der Netzwerkbandbreite des Speichernetzwerks voll ausgeschöpft werden und die Leistungsfähigkeit bei der Datenübertragung gesteigert wird.
4 zeigt ein Verfahren der MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk gemäß einer Ausführungsform der vorliegenden Erfindung, wobei das Rechenzentrum mehrere Server beinhaltet, die mit einem Job-Verfolger, einem Map-Aufgaben-Verfolger und einem Reduce-Aufgaben-Verfolger versehen sind, wobei das Verfahren Folgendes umfasst: in Schritt S401 Durchführen der Map-Aufgabe und Erzeugen von Ausgaben der Map-Aufgabe durch den Map-Aufgaben-Verfolger als Reaktion auf ein Empfangen einer durch den Job-Verfolger zugewiesenen Map-Aufgabe; in Schritt S402 Schreiben der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch den Map-Aufgaben-Verfolger; und in Schritt S403 Lesen der Ausgaben der Map-Aufgabe vom Speichernetzwerk durch den Reduce-Aufgaben-Verfolger als Reaktion auf ein Empfangen einer durch den Job-Verfolger zugewiesenen Reduce-Aufgabe.
In Schritt S401 lädt ein Benutzer auf einem Client zunächst eine Eingangsdatei auf ein auf einem Cluster des Rechenzentrums bereitgestelltes verteilten Dateisystem hoch, übermittelt dann eine Job-Anfrage an den Job-Verfolger und partitioniert die Eingangsdatei in M Eingangsdatenteile, deren Größe im Allgemeinen jeweils zwischen 16 und 64 MB liegt, und lädt danach auch das zum Ausführen des Jobs erforderliche Programm auf das auf dem Cluster des Rechenzentrums bereitgestellte verteilte Dateisystem hoch. Beim Empfangen der durch den Client übermittelten Job-Anfrage teilt der Job-Verfolger den Job in mehrere Aufgaben, wozu M Map-Aufgaben und M Reduce-Aufgaben gehören, und ist für das Zuweisen der Map-Aufgaben oder Reduce-Aufgaben zu freien Aufgabenverfolgern zuständig.
5 zeigt einen Ablaufplan eines Verfahrens zum Durchführen einer Map-Aufgabe durch den Map-Aufgaben-Verfolger gemäß einer Ausführungsform der Erfindung. Als Reaktion auf das Empfangen einer durch den Job-Verfolger zugewiesenen Map-Aufgabe führt der Map-Aufgaben-Verfolger die folgenden Schritte durch:

In Schritt S501 Lesen von Eingangsdatenteilen der Map-Aufgabe von einer durch den Job-Verfolger angegebenen Speicherposition, wobei es sich bei der Speicherposition um einen mit dem Map-Aufgaben-Verfolger bereitgestellten lokalen Server oder einen anderen Server handeln kann;
In Schritt S502 Analysieren von Schlüssel-Wert-Paaren von den Eingangsdatenteilen;
In Schritt S503 Aufrufen der Map-Funktion, um eine Bearbeitung an den Schlüssel-Wert-Paaren durchzuführen und die Ausgaben der Map-Funktion zu erzeugen: Die Schlüssel-Wert-Paare werden an eine benutzerdefinierte Map-Funktion „Map ()“ geleitet, und die durch die „Map ()“-Funktion erzeugten Zwischen-Schlüssel-Wert-Paare werden im Arbeitsspeicher gepuffert; und
In Schritt S504 Partinionieren der Ausgaben der Map-Funktion, um Ausgaben der Map-Aufgabe zu bilden: Die im Arbeitsspeicher gepufferten Zwischen-Schlüssel-Wert-Paare werden periodisch auf lokale Festplatten geschrieben und die Partitionierungsergebnisse der Zwischen-Schlüssel-Wert-Paare, d.h. die Ausgaben der Map-Aufgabe, werden durch die Partitionierungsfunktion „partition ()“ erzeugt.
In Schritt S402 schreibt der Map-Aufgaben-Verfolger die Ausgaben der Map-Aufgabe auf das Speichernetzwerk: Die durch die Partitionierungsfunktion „partition ()“ erzeugten Partitionierungsergebnisse werden auf R Regionen der lokalen Festplatten geschrieben; da Sever von herkömmlichen Datenzentren über keine oder nur kleine lokale Festplatten verfügen und die Server Speicherplatz nutzen, der durch das SAN bereitgestellt wird, um große Datenmengen zu speichern, werden die durch die „Map ()“-Funktion erzeugten Zwischen-Schlüssel-Wert-Paare und die Partitionierungsergebnisse der Zwischen-Schlüssel-Wert-Paare, d.h. die Ausgaben der Map-Aufgabe, in Speichereinheiten des SAN gespeichert.

Gemäß einer Ausführungsform der Erfindung umfasst das Schreiben der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch den Map-Aufgaben-Verfolger weiter ein Festhalten bzw. Aufzeichnen (diese Analogie gilt auch für den weiteren Text) der Schreibpositionsinformationen der Ausgaben der Map-Aufgabe und bei Beendigung der Map-Aufgabe ein Senden einer Benachrichtigung über die Beendigung der Map-Aufgabe an den Job-Verfolger und ein Senden der Schreibpositionsinformationen der Ausgaben der Map-Aufgabe an den Job-Verfolger.
Gemäß einer Ausführungsform der vorliegenden Erfindung schreibt der Map-Aufgaben-Verfolger die Ausgaben der Map-Aufgabe durch FCP (Fiber-Channel-Protokoll) in Form von Datenblöcken auf das Speichernetzwerk. Genauer greift der Map-Aufgaben-Verfolger auf die logischen Einheiten auf Speichereinheiten, die dem Map-Aufgaben-Verfolger durch das Speichernetzwerk zugewiesen sind, durch eine FCP-Einheit auf dem lokalen Server zu und schreibt die Ausgaben der Map-Aufgabe in Form von Datenblöcken auf die entsprechende Position der logischen Einheit. Gemäß dieser Ausführungsform können die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe durch die Kombination von Feldern wie dem weltweiten Anschlussnamen (World-Wide Port Name (WWPN)) zur Speichereinheitsidentifikation, der Nummer der logischen Einheit (Logical Unit Number (LUN)), der Startadressenverschiebung des Datenblocks in der logischen Einheit, der Datenblocklänge usw. gekennzeichnet werden. Für den Fachmann ist ersichtlich, dass neben den vorstehend genannten Feldern weitere Erweiterungsfelder, die auf der Grundlage von anderen Arten des Schreibens der Datenblöcke definiert sein können, unter den Umfang der vorliegenden Erfindung fallen.
Gemäß einer anderen Ausführungsform der Erfindung schreibt der Map-Aufgaben-Verfolger die Ausgaben der Map-Aufgabe durch ein Speichernetzwerk-Dateisystem auf das Speichernetzwerk. Genauer wird zunächst festgestellt, ob das Speichernetzwerk-Dateisystem auf dem mit dem Map-Aufgaben-Verfolger bereitgestellten lokalen Server installiert worden ist; dann werden die Ausgaben der Map-Aufgabe auf das Speichernetzwerk-Dateisystem geschrieben und der Pfadname der Ausgaben der Map-Aufgabe im globalen Namensraum des Speichernetzwerk-Dateisystems als Schreibpositionsinformationen der Ausgaben der Map-Aufgabe festgehalten.
Für den Fachmann ist ersichtlich, dass der Map-Aufgaben-Verfolger und der Reduce-Aufgaben-Verfolger zuvor auch ein Lesen/Schreiben in einem bestimmten Speicherraum des SANs festlegen können, wobei es in diesem Fall es unnötig ist, die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe festzuhalten und zu übermitteln.
6 zeigt einen Ablaufplan eines Verfahrens zum Durchführen einer Reduce-Aufgabe durch den Reduce-Aufgaben-Verfolger gemäß einer Ausführungsform der Erfindung, wobei der Reduce-Aufgaben-Verfolger den folgenden Schritt durchführt:

In Schritt S601 werden als Reaktion auf ein Empfangen einer durch den Job-Verfolger zugewiesenen Reduce-Aufgabe und der Schreibpositionsinformationen der Ausgaben der Map-Aufgabe die Ausgaben der Map-Aufgabe von der entsprechenden Schreibposition des Speichernetzwerks gelesen.

Gemäß einer Ausführungsform der vorliegenden Erfindung erhält der Reduce-Aufgaben-Verfolger die Datenblöcke der Ausgaben der Map-Aufgabe von dem Speichernetzwerk durch das Fiber-Channel-Protokoll (FCP). Genauer liest der Reduce-Aufgaben-Verfolger die Datenblöcke der Ausgaben der Map-Aufgabe von der entsprechenden Schreibposition des Speichernetzwerks: Zunächst werden die empfangenen Schreibpositionsinformationen der Ausgaben der Map-Aufgabe aufgelöst, um Felder wie den WWPN, die LUN, die Startadressenverschiebung der Datenblöcke und die Datenblocklänge zu erhalten, und dann wird durch die FCP-Einheit auf dem mit dem Reduce-Aufgaben-Verfolger bereitgestellten lokalen Server direkt auf die durch die vorstehenden Felder gekennzeichnete logische Einheit auf der Speichereinheit zugegriffen, um die Datenblöcke der Ausgaben der Map-Aufgabe zu erhalten. Da dieses Verfahren der Datenübertragung direkt das FCP-Protokoll der niedrigeren Ebene des Speichernetzwerks verwendet, besitzt die Datenübertragung den Vorteil hohen Durchsatzes und kurzer Latenzzeiten.
Gemäß einer anderen Ausführungsform der Erfindung erhält der Reduce-Aufgaben-Verfolger die Ausgaben der Map-Aufgabe über das Speichernetzwerk-Dateisystem. Genauer wird zunächst festgestellt, ob das Speichernetzwerk-Dateisystem auf dem mit dem Reduce-Aufgaben-Verfolger bereitgestellten lokalen Server installiert worden ist; dann analysiert der Reduce-Aufgaben-Verfolger die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe von dem Job-Verfolger, um den Pfadnamen der Ausgaben der Map-Aufgabe im globalen Namensraum des Speichernetzwerk-Dateisystems zu erhalten, und wandelt weiterhin den Pfadnamen im globalen Namensraum in einen Pfadnamen im lokalen Dateisystem des lokalen Servers um und erhält die Ausgaben der Map-Aufgabe, indem er auf den Pfadnamen des lokalen Dateisystems zugreift. Dieses Verfahren nutzt das Protokoll der höheren Ebene für die Datenübertragung und besitzt den Vorteil niedriger Entwicklungskosten.
In Schritt S602 wird die Reduce-Funktion aufgerufen, um eine Bearbeitung an den Ausgaben der Map-Aufgabe durchzuführen, um Ausgaben der Reduce-Aufgabe zu erzeugen, wobei der Reduce-Aufgaben-Verfolger nach dem Lesen aller Zwischendaten die Inhalte mit demselben Schlüssel durch Sortieren zusammenführt. Das Sortieren ist notwendig, weil derselben Reduce-Aufgabe viele verschiedene Schlüssel zugeordnet werden. Für jeden angetroffenen eindeutigen Schlüssel leitet sie den Schlüssel und einen zugehörigen Satz von Zwischenwerten an die durch die Anwendungsentwickler selbst definierte Reduce-Funktion, und die Ausgaben der Reduce-Funktion werden zu einer endgültigen Ausgabedatei hinzugefügt.
In Schritt S603 wird bei Beendigung der Reduce-Aufgabe eine Benachrichtigung über die Beendigung der Reduce-Aufgabe an den Job-Verfolger gesendet. Wenn alle Map- und Reduce-Aufgaben beendet sind, benachrichtigt der Job-Verfolger das Benutzerprogramm.
Unter demselben erfinderischen Konzept schlägt die vorliegende Erfindung weiter ein System für die MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk (SAN) vor. 7 zeigt ein System 700 für die MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk gemäß einer Ausführungsform der vorliegenden Erfindung. Das System umfasst Folgendes: einen Job-Verfolger 701, der so eingerichtet ist, dass er einen Map-Aufgaben-Verfolger zum Durchführen einer Map-Aufgabe und einen Reduce-Server zum Durchführen einer Reduce-Aufgabe zuweisen kann; der Map-Aufgaben-Verfolger 702 ist so eingerichtet, dass er als Reaktion auf ein Empfangen der durch den Job-Verfolger zugewiesenen Map-Aufgabe die Map-Aufgabe durchführen kann, um Ausgaben der Map-Aufgabe zu erzeugen und die Ausgaben der Map-Aufgabe auf das Speichernetzwerk zu schreiben; und der Reduce-Aufgaben-Verfolger 703 ist so eingerichtet, dass er als Reaktion auf ein Empfangen einer durch den Job-Verfolger zugewiesenen Reduce-Aufgabe die Ausgaben der Map-Aufgabe vom Speichernetzwerk lesen kann.
Dabei umfasst der Map-Aufgaben-Verfolger weiterhin Folgendes: ein Datenlesemodul, dass so eingerichtet ist, dass es als Reaktion auf ein Empfangen einer durch den Job-Verfolger zugewiesenen Map-Aufgabe, die Eingangsdatenteile der Map-Aufgabe von der durch den Job-Verfolger angegebenen Speicherposition lesen kann; ein Analysemodul, das so eingerichtet ist, dass es Schlüssel-Wert-Paare von den Eingangsdatenteilen analysieren kann; ein Map-Funktions-Aufruf-Modul, das so eingerichtet ist, dass eine Map-Funktion aufrufen kann, um eine Bearbeitung an den Schlüssel-Wert-Paaren durchzuführen und die Ausgaben der Map-Funktion zu erzeugen; ein Partitioniermodul, das so eingerichtet ist, dass es die Ausgaben der Map-Funktion partitionieren kann, um die Ausgaben der Map-Aufgabe zu bilden; ein Schreibmodul, das so eingerichtet ist, dass es die Ausgaben der Map-Aufgabe auf das Speichernetzwerk schreiben kann und die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe festhalten kann; und ein Map-Aufgaben-Benachrichtigungsmodul, das so eingerichtet ist, dass es bei Beendigung der Map-Aufgabe eine Benachrichtigung über die Beendigung der Map-Aufgabe an dem Job-Verfolger senden kann und die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe an den Job-Verfolger senden kann.
Gemäß einer Ausführungsform der vorliegenden Erfindung ist das Schreibmodul weiterhin so eingerichtet, dass es die Ausgaben der Map-Aufgabe durch das Fiber-Channel-Protokoll (FCP) in Form von Datenblöcken auf das Speichernetzwerk schreiben kann. Genauer ist das Schreibmodul weiterhin so eingerichtet, dass es: die Ausgaben der Map-Aufgabe durch das Fiber-Channel-Protokoll (FCP) auf die entsprechende Position der dem Map-Aufgaben-Verfolger zugewiesenen logischen Einheit auf der Speichereinheit im Speichernetzwerk schreiben kann; und die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe, wozu die Felder der Speichereinheitenidentifikation WWPN, der Nummer der logischen Einheit LUN, die Startadressenverschiebung der Datenblöcke in der logischen Einheit und die Datenblocklänge gehören, festhalten kann.
Gemäß einer anderen Ausführungsform der Erfindung ist das Schreibmodul weiterhin so eingerichtet, dass es die Ausgaben der Map-Aufgabe über ein Speichernetzwerk-Dateisystem auf das Speichernetzwerk schreiben kann. Genauer ist das Schreibmodul weiterhin so eingerichtet, dass es: prüfen kann, ob ein Speichernetzwerk-Dateisystem auf einem mit dem Map-Aufgaben-Verfolger versehenen Server installiert worden ist; die Ausgaben der Map-Aufgabe auf das Speichernetzwerk-Dateisystem schreiben kann; und den Pfadnamen der Ausgaben der Map-Aufgabe im globalen Namensraum des Speichernetzwerk-Dateisystems als Schreibpositionsinformationen der Ausgaben der Map-Aufgabe festhalten kann.
Dabei umfasst der Reduce-Aufgaben-Verfolger weiterhin Folgendes: ein Map-Aufgaben-Ausgaben-Lesemodul, das so eingerichtet ist, dass es als Reaktion auf ein Empfangen der durch den Job-Verfolger zugewiesenen Reduce-Aufgabe und der Schreibpositionsinformationen der Ausgaben der Map-Aufgabe die Ausgaben der Map-Aufgabe von der entsprechenden Schreibposition des Speichernetzwerks lesen kann.
Gemäß einer Ausführungsform der vorliegenden Erfindung ist das Map-Aufgaben-Ausgaben-Lesemodul weiterhin so eingerichtet, dass es die Datenblöcke der Ausgaben der Map-Aufgabe von dem Speichernetzwerk durch das Fiber-Channel-Protokoll (FCP) erhalten kann. Genauer ist das Lesemodul weiterhin so eingerichtet, dass es: die empfangenen Schreibpositionsinformationen der Ausgaben der Map-Aufgabe analysieren kann, um die Felder der Speichereinheiten-Kennzeichnung WWPN, der Nummer der logischen Einheit LUN, der Startadressenverschiebung der Datenblöcke in der logischen Einheit und der Datenblocklänge zu erhalten; und die Ausgaben der Map-Aufgabe von der entsprechenden Position der logischen Einheit auf der Speichereinheit im Speichernetzwerk lesen kann, die durch die Felder der Speichereinheiten-Kennzeichnung WWPN, der Nummer der logischen Einheit LUN, der Startadressenverschiebung der Datenblöcke in der logischen Einheit und der Datenblocklänge gekennzeichnet wird.
Gemäß einer Ausführungsform der vorliegenden Erfindung ist das Map-Aufgaben-Ausgabe-Lesemodul weiterhin so eingerichtet, dass es die Ausgaben der Map-Aufgabe durch das Speichernetzwerk-Dateisystem erhalten kann. Genauer ist das Lesemodul weiterhin so eingerichtet, dass es: prüfen kann, ob das Speichernetzwerk-Dateisystem auf dem mit dem Reduce-Aufgaben-Verfolger versehenen Server installiert worden ist; die empfangenen Schreibpositionsinformationen der Ausgaben der Map-Aufgabe analysieren kann, um den Pfadnamen der Ausgaben der Map-Aufgabe im globalen Namensraum des Speichernetzwerk-Dateisystems zu erhalten; den Pfadnamen in einen Pfadnamen im lokalen Dateisystem des lokalen mit dem Reduce-Aufgaben-Verfolger versehenen Servers umwandeln kann; und die Ausgaben der Map-Aufgabe durch Zugreifen auf den Pfadnamen im lokalen Dateisystem erhalten kann.
Es ist festzuhalten, dass zumindest manche Aspekte der vorliegenden Erfindung alternativ durch ein Programmprodukt realisiert werden können. Ein Programm, das Funktionen bezüglich der vorliegenden Erfindung definiert, kann über vielfältige Signalträgermedien, darunter, jedoch nicht beschränkt auf, nicht beschreibbare Speichermedien (z.B. eine CD-ROM), beschreibbare Speichermedien (z.B. eine Floppy Disk, ein Festplattenlaufwerk, eine Lese/Schreib-CD-ROM, ein optischer Datenträger) und Datenübertragungsmedien wie Computer- und Telefonnetzwerke wie Ethernet und Ähnliches, an ein Datenspeichersystem oder ein Computersystem übertragen werden. Daher ist festzuhalten, dass die Arten der Signalträgermedien, welche die computerlesbaren Anweisungen zum Verwalten von Verfahrensfunktionen der vorliegenden Erfindung tragen oder damit codiert sind, eine alternative Ausführungsform der vorliegenden Erfindung darstellen. Die Erfindung kann durch Hardware, Software, Firmware oder eine Kombination davon realisiert werden. Die Erfindung kann zentral in einem einzigen Computersystem oder auf verteilte Weise realisiert werden, wobei unterschiedliche Komponenten auf mehrere verbundene Computersysteme verteilt sind. Jedes beliebige Computersystem oder andere Mittel ist geeignet, das zum Durchführen des in der Beschreibung dargelegten Verfahrens anwendbar ist. Vorzugsweise wird die vorliegende Erfindung in einer Kombination von Computer-Software und allgemeiner Computer-Hardware realisiert, wobei das Computerprogramm beim Laden und Ausführen das Computersystem steuert, welches das Verfahren der vorliegenden Erfindung durchführen oder das System der vorliegenden Erfindung ausbilden soll.
Die vorstehende Beschreibung bevorzugter Ausführungsformen der Erfindung erfolgt zu Beispielzwecken. Die vorstehende Beschreibung bevorzugter Ausführungsformen ist weder erschöpfend noch als die Erfindung auf die offenbarte explizite Form einschränkend gedacht, und offensichtlich sind im Licht der vorstehenden Lehren viele Modifikationen und Änderungen möglich. Es ist für den Fachmann offensichtlich, dass die Modifikationen und Änderungen im Umfang der vorliegenden, durch die angehängten Ansprüche definierten Erfindung enthalten sind.

Claims

Verfahren zur MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk, wobei das Rechenzentrum mehrere mit einem Job-Verfolger (701), Map-Aufgaben-Verfolgern (702) und Reduce-Aufgaben-Verfolgern (703) versehene Server enthält, wobei das Verfahren Folgendes aufweist: als Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Map-Aufgabe Durchführen (S401) einer Map-Aufgabe, was Bearbeitung an Schlüssel-Wert-Paaren umfasst,und Erzeugen von Ausgaben der Map-Aufgabe durch einen Map-Aufgaben-Verfolger (702), wobei die Ausgaben Zwischen-Schlüssel-Wert-Paare aufweisen; Schreiben (S402) der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch den Map-Aufgaben-Verfolger (702), was Schreiben der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch ein Speichernetzwerk-Dateisystem aufweist; und als Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Reduce-Aufgabe Lesen (S403) der Ausgaben der Map-Aufgabe vom Speichernetzwerk durch einen Reduce-Aufgaben-Verfolger (703).
Verfahren nach Anspruch 1, wobei der Schritt des Durchführens der Map-Aufgabe und des Erzeugens von Ausgaben der Map-Aufgabe durch den Map-Aufgaben-Verfolger (702) als Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Map-Aufgabe weiterhin Folgendes aufweist: als Reaktion auf das Empfangen der durch den Job-Verfolger zugewiesenen Map-Aufgabe Lesen (S501) von Eingangsdatenteilen der Map-Aufgabe von der durch den Job-Verfolger (701) angegebenen Speicherposition; Analysieren (S502) von Schlüssel-Wert-Paaren von den Eingangsdatenteilen; Aufrufen (S503) einer Map-Funktion, um eine Bearbeitung an den Schlüssel-Wert-Paaren durchzuführen, und Erzeugen von Ausgaben der Map-Funktion; und Partitionieren (S504) der Ausgaben der Map-Funktion, um die Ausgaben der Map-Aufgabe zu bilden.
Verfahren nach Anspruch 1 oder 2, wobei das Schreiben der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch den Map-Aufgaben-Verfolger (702) weiterhin Folgendes aufweist: Aufzeichnen der Schreibpositionsinformationen der Ausgaben der Map-Aufgabe; und bei Beendigung der Map-Aufgabe Senden einer Benachrichtigung über eine Beendigung der Map-Aufgabe an den Job-Verfolger (701) und Senden der Schreibpositionsinformationen der Ausgaben der Map-Aufgabe an den Job-Verfolger (701).
Verfahren nach Anspruch 3, in dem als Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Reduce-Aufgabe das Lesen der Ausgaben der Map-Aufgabe durch einen Reduce-Aufgaben-Verfolger (702) von dem Speichernetzwerk weiterhin Folgendes aufweist: als Reaktion auf das Empfangen der durch den Job-Verfolger (701) zugewiesenen Reduce-Aufgabe und der Schreibpositionsinformationen der Ausgaben der Map-Aufgabe, Lesen (S601) der Ausgaben der Map-Aufgabe von der entsprechenden Schreibposition des Speichernetzwerks durch den Reduce-Aufgaben-Verfolger (702).
Verfahren nach Anspruch 4, wobei das Schreiben der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch den Map-Aufgaben-Verfolger (702) weiterhin Folgendes aufweist: Schreiben der Ausgaben der Map-Aufgabe in der Form von Datenblöcken auf die entsprechende Position der dem Map-Aufgaben-Verfolger (702) zugewiesenen logischen Einheit durch das Fiber-Channel-Protokoll (FCP), wobei sich die logische Einheit auf einer Speichereinheit im Speichernetzwerk befindet.
Verfahren nach Anspruch 5, wobei die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe mindestens Felder einer Speichereinheiten-Kennzeichnung WWPN, einer Nummer der logischen Einheit LUN, einer Startadressenverschiebung der Datenblöcke in der logischen Einheit und einer Datenblocklänge umfassen.
Verfahren nach Anspruch 6, in dem als Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Reduce-Aufgabe das Lesen der Ausgaben der Map-Aufgabe durch einen Reduce-Aufgaben-Verfolger (702) von dem Speichernetzwerk weiterhin Folgendes aufweist: Analysieren der empfangenen Schreibpositionsinformationen der Ausgaben der Map-Aufgabe, um die Felder der Speichereinheiten-Kennzeichnung WWPN, der Nummer der logischen Einheit LUN, der Startadressenverschiebung der Datenblöcke in der logischen Einheit und Datenblocklängenfeldern zu erhalten; und Lesen der Ausgaben der Map-Aufgabe von der entsprechenden Position der logischen Einheit auf der Speichereinheit im Speichernetzwerk, die durch die Felder der Speichereinheitenidentifikation WWPN, der Nummer der logischen Einheit LUN, der Startadressenverschiebung der Datenblöcke in der logischen Einheit und den Datenblocklängenfelder gekennzeichnet wird.
Verfahren nach einem der Ansprüche 1 bis 7, wobei das Schreiben der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch ein Speichernetzwerk-Dateisystem weiterhin Folgendes aufweist: Feststellen, ob das Speichernetzwerk-Dateisystem auf dem mit dem Map-Aufgaben-Verfolger (702) versehenen Server installiert worden ist; und Schreiben der Ausgaben der Map-Aufgabe auf das Speichernetzwerk-Dateisystem.
Verfahren nach Anspruch 8, wobei das Festhalten der Schreibpositionsinformationen der Ausgaben der Map-Aufgabe weiterhin Folgendes aufweist: Aufzeichnen des Pfadnamens der Ausgaben der Map-Aufgabe im globalen Namensraum des Speichernetzwerk-Dateisystems als die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe.
Verfahren nach Anspruch 9, wobei als Reaktion auf das Empfangen der durch den Job-Verfolger (701) zugewiesenen Reduce-Aufgabe das Lesen der Ausgaben der Map-Aufgabe durch einen Reduce-Aufgaben-Verfolger von dem Speichernetzwerk weiterhin Folgendes aufweist: Feststellen, ob das Speichernetzwerk-Dateisystem auf dem mit dem Reduce-Aufgaben-Verfolger (703) versehenen Server installiert worden ist; Auflösen der empfangenen Schreibpositionsinformationen der Ausgaben der Map-Aufgabe, um den Pfadnamen der Ausgaben der Map-Aufgabe im globalen Namensraum des Speichernetzwerk-Dateisystems zu erhalten; Umwandeln des Pfadnamens in einen Pfadnamen im lokalen Dateisystem des mit dem Reduce-Aufgaben-Verfolger (703) versehenen Servers; und Erhalten der Ausgaben der Map-Aufgabe durch Zugreifen auf den Pfadnamen in den lokalen Dateisystemen.
System (700) zur MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk, wobei das System Folgendes aufweist: einen Job-Verfolger (701), der so eingerichtet ist, dass er einen Map-Aufgaben-Verfolger (702) zum Durchführen einer Map-Aufgabe und einen Reduce-Aufgaben-Verfolger (703) zum Durchführen einer Reduce-Aufgabe zuweist; Map-Aufgaben-Verfolger (702), die so eingerichtet sind, dass sie als Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Map-Aufgabe die Map-Aufgabe durchführen können, was Bearbeitung an Schlüssel-Wert-Paaren umfasst, um Ausgaben der Map-Aufgabe zu erzeugen, welche Ausgaben Zwischen-Schlüssel-Wert-Paare aufweisen, und die Ausgaben der Map-Aufgabe auf das Speichernetzwerk zu schreiben; Reduce-Aufgaben-Verfolger (703), die so eingerichtet sind, dass sie als Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Reduce-Aufgabe die Ausgaben der Map-Aufgabe vom Speichernetzwerk lesen; ein Schreibmodul, das so eingerichtet ist, dass es die Ausgaben der Map-Aufgabe auf das Speichernetzwerk schreibt, wobei das Schreibmodul weiterhin so eingerichtet ist, dass es die Ausgaben der Map-Aufgabe über ein Speichernetzwerk-Dateisystem auf das Speichernetzwerk schreibt.
System nach Anspruch 11, wobei die Map-Aufgaben-Verfolger (702) weiterhin Folgendes aufweist: ein Datenlesemodul, das so eingerichtet ist, dass es als Reaktion auf das Empfangen der durch den Job-Verfolger (701) zugewiesenen Map-Aufgabe, Eingangsdatenteile der Map-Aufgabe von der durch den Job-Verfolger (701) angegebenen Speicherposition liest; ein Analysemodul, das so eingerichtet ist, dass es Schlüssel-Wert-Paare von den Eingangsdatenteilen analysiert; ein Map-Funktions-Aufruf-Modul, das so eingerichtet ist, dass es eine Map-Funktion aufruft, um eine Bearbeitung an den Schlüssel-Wert-Paaren durchzuführen und Ausgaben der Map-Funktion zu erzeugen; ein Partitioniermodul, das so eingerichtet ist, dass es die Ausgaben der Map-Funktion partitioniert, um die Ausgaben der Map-Aufgabe zu bilden.
System nach Anspruch 11 oder 12, wobei die Map-Aufgaben-Verfolger (702) weiterhin Folgendes aufweist: ein Festhaltemodulmodul, das so eingerichtet ist, dass es die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe festhält; und ein Map-Aufgaben-Benachrichtigungsmodul, das so eingerichtet ist, dass es bei Beendigung der Map-Aufgabe eine Benachrichtigung über die Beendigung der Map-Aufgabe an den Job-Verfolger (701) sendet und die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe an den Job-Verfolger (701) sendet.
System nach Anspruch 13, wobei die Reduce-Aufgaben-Verfolger (703) weiterhin Folgendes aufweist: ein Map-Aufgaben-Ausgaben-Lesemodul, das so eingerichtet ist, dass es als Reaktion auf das Empfangen der durch den Job-Verfolger (701) zugewiesenen Reduce-Aufgabe und der Schreibpositionsinformationen der Ausgaben der Map-Aufgabe die Ausgaben der Map-Aufgabe von der entsprechenden Schreibposition des Speichernetzwerks liest.
System nach Anspruch 14, wobei das Schreibmodul weiterhin so eingerichtet ist, dass es die Ausgaben der Map-Aufgabe in der Form von Datenblöcken auf die entsprechende Position der dem Map-Aufgaben-Verfolger zugewiesenen logischen Einheit durch das Fiber-Channel-Protokoll (FCP) schreibt, wobei sich die logische Einheit auf einer Speichereinheit im Speichernetzwerk befindet.
System nach Anspruch 15, wobei die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe mindestens Felder einer Speichereinheiten-Kennzeichnung WWPN, einer Nummer der logischen Einheit LUN, einer Startadressenverschiebung der Datenblöcke in der logischen Einheit und Datenblocklängenfeldern beinhalten.
System nach Anspruch 16, wobei das Map-Aufgaben-Ausgaben-Lesemodul weiterhin so eingerichtet ist, dass es: die empfangenen Schreibpositionsinformationen der Ausgaben der Map-Aufgabe analysiert, um die Felder der Speichereinheiten-Kennzeichnung WWPN, der Nummer der logischen Einheit LUN, der Startadressenverschiebung der Datenblöcke in der logischen Einheit und der Datenblocklängenfeldern zu erhalten; und die Ausgaben der Map-Aufgabe von der entsprechenden Position der logischen Einheit auf der Speichereinheit im Speichernetzwerk liest, die durch die Felder der Speichereinheitenidentifikation WWPN, der Nummer der logischen Einheit LUN, der Startadressenverschiebung der Datenblöcke in der logischen Einheit und der Datenblocklängenfelder identifiziert wird.
System nach einem der Ansprüche 11 bis 17, wobei das Schreibmodul weiterhin so eingerichtet ist, dass es: feststellt, ob ein Speichernetzwerk-Dateisystem auf dem mit dem Map-Aufgaben-Verfolger (702) versehenen Server installiert worden ist; und die Ausgaben der Map-Aufgabe auf das Speichernetzwerk-Dateisystem schreibt.
System nach Anspruch 18, wobei das Festhaltemodul weiterhin so eingerichtet ist, dass es: den Pfadnamen der Ausgaben der Map-Aufgabe innerhalb des globalen Namensraums des Speichernetzwerk-Dateisystems als die Schreibpositionsinformationen der Ausgaben der Map-Aufgabe aufzeichnet.
System nach Anspruch 19, wobei das Map-Aufgaben-Ausgaben-Lesemodul weiterhin so eingerichtet ist, dass es: prüft, ob das Speichernetzwerk-Dateisystem auf den mit dem Reduce-Aufgaben-Verfolger (703) versehenen Servern installiert worden ist; die empfangenen Schreibpositionsinformationen der Ausgaben der Map-Aufgabe analysiert, um den Pfadnamen der Ausgaben der Map-Aufgabe im globalen Namensraum des Speichernetzwerk-Dateisystems zu erhalten; den Pfadnamen in einen Pfadnamen im lokalen Dateisystem des mit dem Reduce-Aufgaben-Verfolger bereitgestellten Servern umwandelt; und die Ausgaben der Map-Aufgabe durch Zugreifen auf den Pfadnamen im lokalen Dateisystem erhält.