-
TECHNISCHER HINTERGRUND
-
Eine zunehmende Anzahl von datenintensiven verteilten Anwendungen wird entwickelt, um verschiedene Bedürfnisse zu erfüllen, wie etwa die Verarbeitung sehr großer Datensätze, die im Allgemeinen nicht von einem einzigen Computer verarbeitet werden können. Stattdessen werden Cluster von Computern eingesetzt, um verschiedene Aufgaben zu verteilen, wie etwa die Organisation und den Zugang zu den Daten und die Durchführung damit verbundener Operationen in Bezug auf die Daten. Es wurden verschiedene große Verarbeitungsanwendungen und Frameworks entwickelt, um mit solch großen Datensätzen zu interagieren, einschließlich Hive, HBase, Hadoop, Spark unter anderem.
-
Gleichzeitig haben Virtualisierungstechniken an Popularität gewonnen und sind heute in Datenzentren und anderen Computerumgebungen üblich, in denen es sinnvoll ist, die Effizienz bei der Verwendung von Computerressourcen zu erhöhen. In einer virtualisierten Umgebung werden ein oder mehrere virtuelle Knoten auf einem unterliegenden physischen Computer instanziiert und teilen sich die Ressourcen des unterliegenden Computers. Dementsprechend können statt des Umsetzens eines einzelnen Knotens pro Host-Computersystem mehrere Knoten auf einem Host eingesetzt werden, um die Verarbeitungsressourcen des Computersystems effizienter zu verwenden. Diese virtuellen Knoten können vollständige virtuelle Maschinen des Betriebssystems, Container, wie z. B. Linux-Container oder Docker-Container, Jails oder andere ähnliche Arten von virtuellen Eindämmungsknoten umfassen. Obwohl Virtualisierungstechniken eine erhöhte Effizienz innerhalb von Computerumgebungen bereitstellen, treten jedoch häufig Schwierigkeiten bei dem Zuweisen von Ressourcen zu den einzelnen virtuellen Knoten auf. Insbesondere kann es für Administratoren schwierig sein, die Verarbeitungs-, Ablage- und Speicherressourcen genau zu bestimmen, die von den Knoten während des Ablaufs ihres Betriebs verwendet werden.
-
Eine Technik dieser Art kann beispielsweise der Druckschrift
US 2013/0 227 558 A1 entnommen werden.
US 2014/0 189 239 A1 zeigt das Umleiten fehlgeleiteter Speicherzugriffe in einem hierarchischen Speichersystem.
US 2016/0 092 255 A1 zeigt das Festlegen von übergeordneten Kontrollinstanzen (Hypervisors) basierend auf der Workload einen virtuellen File System.
US 2016/0 179 682 A1 bietet weiteres Hintergrundwissen zum Gebiet der Erfindung.
-
Die Erfindung macht es sich zur Aufgabe, die Rechengeschwindigkeit weiter zu erhöhen.
-
ZUSAMMENFASSUNG
-
Diese Aufgabe wird durch die in den unabhängigen Ansprüchen angegebene Erfindung gelöst. Vorteilhafte Weiterbildungen sind den Unteransprüchen zu entnehmen. Die hierin beschriebene Technologie verbessert die Zuweisung von Zwischenspeicher an virtuelle Knoten in einer Computerumgebung. In einer Umsetzung schließt ein Verfahren zum Betreiben eines Konfigurationssystems einer großen Verarbeitungsumgebung das Identifizieren einer Anforderung zum Initiieren eines Clusters eines großen Verarbeitungsrahmens (LSPF) ein, wobei der LSPF-Cluster mehrere virtuelle Knoten umfasst. Das Verfahren schließt ferner das Identifizieren von Host-Computerressourcen eines Host-Computersystems ein, die jedem virtuellen Knoten des LSFP-Clusters zugewiesen sind, und, basierend auf den Host-Computerressourcen, das Zuweisen von Zwischenspeicher zu jedem virtuellen Knoten des LSPF-Clusters, wobei der Zwischenspeicher einen Host-Speicher umfasst, der für einen Zwischenspeicherdienst zugänglich ist, der von virtuellen Knoten auf dem Host-Computersystem geteilt wird. Das Verfahren stellt auch das Initiieren des LSPF-Clusters in der Computerumgebung bereit.
Ferner umfasst das Verfahren das Identifizieren einer LSPF-Art für den LSPF-Cluster, und das Zuweisen von Zwischenspeicher zu jedem virtuellen Knoten des LSPF-Clusters basierend auf den Host-Computerressourcen umfasst das Zuweisen von Zwischenspeicher zu jedem virtuellen Knoten des LSPF-Clusters basierend auf den Host-Computerressourcen und der LSPF-Art.
-
Figurenliste
-
- 1 veranschaulicht eine Computerumgebung für die große Datenverarbeitung nach einer Umsetzung.
- 2 veranschaulicht einen Betrieb eines Konfigurationssystems in einer großen Datenverarbeitungsumgebung nach einer Umsetzung.
- 3A bis 3B veranschaulichen den Einsatz eines virtuellen Clusters nach einer Umsetzung.
- 4 veranschaulicht einen Überblick über eine Dateninteraktion für einen virtuellen Knoten nach einer Umsetzung.
- 5A bis 5B veranschaulichen ein Betriebsszenario zum dynamischen Zuweisen von Zwischenspeicher nach einer Umsetzung.
- 6 veranschaulicht den Hostspeicher nach einer Umsetzung.
- 7 veranschaulicht ein Konfigurationscomputersystem, um virtuelle Cluster nach einer Umsetzung zu initiieren.
-
DETAILLIERTE BESCHREIBUNG
-
1 veranschaulicht eine Computerumgebung 100 für die große Datenverarbeitung nach einer Umsetzung. Die Computerumgebung 100 schließt die Hosts 105 bis 108, das Ablagerepositorium 140 und das Konfigurationssystem 150 ein. Host 105 schließt ferner virtuelle Knoten 120 bis 123 und den Zwischenspeicherdienst 110 ein, der den Zwischenspeicher 130 bereitstellt. Das Konfigurationssystem 150 ist konfiguriert, um den Betrieb 200 zu ermöglichen, der in 2 weiter beschrieben wird.
-
Im Betrieb stellen die Hosts 105 bis 108 eine Plattform für die Ausführung virtueller Knoten bereit, die große Datenverarbeitungscluster als Teil der Computerumgebung 100 bereitstellen. Jeder der Cluster kann einen oder mehrere virtuelle Knoten einschließen, wobei die virtuellen Knoten vollständige virtuelle Betriebssystemmaschinen und/oder Container umfassen können, wobei die Container Linux-Container, Docker-Container und andere ähnliche namensraumbasierte Container umfassen können. Anstatt ein getrenntes Betriebssystem zu erfordern, was für virtuelle Maschinen erforderlich ist, können Container Ressourcen vom Host-Computersystem teilen, wobei die Ressourcen Kernel-Ressourcen von dem Host-Betriebssystem einschließen können und ferner Repositorien und andere genehmigte Ressourcen einschließen können, die mit anderen Containern oder Verarbeitungen, die auf dem Host ausgeführt werden, geteilt werden können. Obwohl die Ressourcen zwischen den Containern auf einem Host geteilt werden können, sind die Container jedoch vorgehalten, um privaten Zugang zu dem Betriebssystem mit ihrem eigenen Identifikationsraum, Dateisystemstruktur und Netzwerkschnittstellen aufzuweisen. Das Betriebssystem kann auch für das Verwalten von Verarbeitungsressourcen, Speicherressourcen, Netzwerkressourcen und anderen ähnlichen Ressourcen für den containerisierten Endpunkt verantwortlich sein.
-
Um die erforderlichen großen Verarbeitungsbetriebe bereitzustellen, können die virtuellen Knoten jedes der Cluster parallel arbeiten, um Datensätze zu verarbeiten, die im Ablagerepositorium 140 abgelegt sind. Diese Datensätze können unter Verwendung von Hadoop Distributed File System (HDFS), Gluster File System (GlusterFS) oder einem anderen ähnlichen Dateisystem abgelegt werden. Um die erforderlichen Daten für das Verarbeiten zu erhalten, kann jeder der Knoten auf Beispiel-Host 105 mit dem Zwischenspeicherdienst 110 kommunizieren, um den erforderlichen Abschnitt des Datensatzes abzurufen und zwischenzuspeichern. Beispielsweise kann der virtuelle Knoten 120 eine Anforderung für einen Abschnitt von Daten aus einem HDFS-Datensatz im Ablagerepositorium 140 initiieren. Als Reaktion auf die Anforderung wird der Zwischenspeicherdienst 110 das geeignete Datensegment im Ablagerepositorium identifizieren, das Datensegment abrufen und die Daten in Zwischenspeicherplätzen zwischenspeichern, die für den virtuellen Knoten 120 zugänglich sind, wobei der Zwischenspeicher 130 den Host-Speicher umfasst, der dem Zwischenspeicherdienst 110 zugewiesen ist. In einigen Umsetzungen umfasst der Zwischenspeicher 130 die Speicheradressen von Host 105, die für den Zwischenspeicherdienst 110 und die virtuellen Knoten 120 bis 123, basierend auf den Anforderungen der virtuellen Knoten 120 bis 123, zugänglich sind.
-
Im vorliegenden Beispiel wird das Konfigurationssystem 150 bereitgestellt, um den Zwischenspeicher 130 jedem virtuellen Knoten der virtuellen Knoten 120 bis 123 zuzuweisen. Insbesondere wenn ein Administrator der Computerumgebung die Erzeugung eines Clusters unter Verwendung des Konfigurationssystems 150 anfordert, kann der Administrator Host-Computerressourcen definieren, die jedem virtuellen Knoten im Cluster zugewiesen werden. Wenn zum Beispiel ein Cluster aus virtuellen Knoten 120 bis 123 besteht, kann der Administrator eine Menge von Verarbeitungskernen definieren, die jedem der Knoten zugewiesen sind, eine Menge von Speicher (getrennt vom Zwischenspeicher 130), die jedem der Knoten zugewiesen ist, oder andere ähnliche Ressourcen des Hosts 105 zu den Knoten. Sobald die Ressourcen vom Administrator zugewiesen sind, kann das Konfigurationssystem 150 dann Informationen über die bereitgestellten Ressourcen verwenden, um den Zwischenspeicherdienst für die virtuellen Knoten zu konfigurieren.
-
2 veranschaulicht einen Betrieb 200 eines Konfigurationssystems in einer großen Datenverarbeitungsumgebung nach einer Umsetzung. Auf Betrieb 200 wird in den folgenden Absätzen unter Bezugnahme auf Systeme und Elemente der Computerumgebung 100 von 1 beiläufig verwiesen. Obwohl in den folgenden Beispielen unter Bezugnahme auf Host 105 dargelegt, sollte man verstehen, dass das Konfigurationssystem 150 ähnliche Verarbeitungen beim Verwalten von Clustern durchführen kann, die auf den Hosts 106 bis 108 eingesetzt werden.
-
Wie abgebildet, schließt der Betrieb 200 das Identifizieren (201) einer Anforderung ein, um einen großen Cluster des Verarbeitungsrahmenwerks (LSPF) zu initiieren, wobei der Cluster mehrere virtuelle Knoten umfasst, und ferner das Identifizieren (202) von Host-Computerressourcen einschließt, die jedem virtuellen Knoten im LSPF-Cluster zugewiesen sind. In einigen Umsetzungen kann das Konfigurationssystem 150, wenn ein Administrator einen neuen Cluster anfordert, einem Administrator der Umgebung eine Benutzerschnittstelle bereitstellen, die es dem Benutzer erlaubt, neue Cluster unter Verwendung der Hosts 105 bis 108 auszuwählen und zu erzeugen. Durch Erlauben des Administrators, einen Cluster zu erzeugen, kann das Konfigurationssystem 150 dem Administrator die Fähigkeit bereitstellen, die Anzahl der Knoten für einen Cluster, die Art des Rahmenwerks für den Cluster (z. B. Apache Hadoop®, Apache Spark® und dergleichen), die Menge des Betriebsspeichers, der für jeden der Knoten gewidmet ist, die Anzahl der Verarbeitungskerne von einer Zentralverarbeitungseinheit des Hosts, die jedem der Knoten zugewiesen werden sollen, oder einige andere ähnliche Informationen über den Cluster auszuwählen. Als Beispiel kann ein Administrator über eine Benutzerschnittstelle, die vom Konfigurationssystem 150 bereitgestellt wird, einen Apache-Hadoop-Cluster mit vier Knoten auswählen, denen jeweils zwei Verarbeitungskerne und vier Gigabyte an Speicher zugewiesen sind.
-
Sobald der Administrator die Host-Computerressourceninformationen für den Cluster bereitstellt, weist der Betrieb 200 jedem Knoten des LSPF-Clusters einen Zwischenspeicher (203) zu, basierend auf den Host-Computerressourcen, wobei der Zwischenspeicher unterschiedlich und getrennt vom Betriebsspeicher des einzelnen virtuellen Knotens ist. Bezogen auf Host 105 in der Computerumgebung 100 umfasst der Zwischenspeicher 130 den physischen Hostspeicher, der zum Zwischenspeichern von Daten für das Verarbeiten durch virtuelle Knoten verwendet wird, die auf Host 105 ausgeführt werden. Insbesondere kann der Zwischenspeicher einen Direktzugriffsspeicher (RAM), einen dynamischen Direktzugriffsspeicher (DRAM) oder einen ähnlichen Speichertyp umfassen, der über den Zwischenspeicherdienst 110 und virtuelle Knoten 120 bis 123 zugänglich ist. In der vorliegenden Umsetzung können, durch das Verfügbarmachen von Zwischenspeicher für die virtuellen Knoten, jedem der virtuellen Knoten Speicheradressen im Zwischenspeicher 130 zugewiesen werden, wobei die Adressen durch den virtuellen Knoten und den Zwischenspeicherdienst zugänglich sind. Um die Menge des Zwischenspeichers zu bestimmen, die jedem der virtuellen Knoten zugewiesen wird, kann das Konfigurationssystem 150 die einzelnen Host-Ressourcen verarbeiten, die den virtuellen Knoten zugewiesen sind. Zum Beispiel kann dem virtuellen Knoten 120 eine erste Anzahl von Verarbeitungskernen und eine erste Menge von gewidmetem Speicher zugewiesen werden, während dem virtuellen Knoten 122 eine zweite Anzahl von Verarbeitungskernen und eine zweite Menge von gewidmetem Speicher zugewiesen werden kann. Als Ergebnis kann, wenn der Zwischenspeicher für die virtuellen Knoten konfiguriert wird, jeder der virtuellen Knoten mit einer verschiedenen Menge von Zwischenspeicher 130 bereitgestellt werden.
-
Nach dem Bestimmen des Zwischenspeichers, der jedem der Knoten des Verarbeitungs-Clusters zugewiesen werden soll, initiiert (204) der Betrieb 200 ferner den LSPF-Cluster in der Computerumgebung mit dem zugewiesenen Zwischenspeicher. Wenn virtuelle Knoten 121 bis 123 als Teil eines neuen LSPF-Clusters eingesetzt werden sollen, kann das Konfigurationssystem 150 anhand eines Beispiels in der Computerumgebung 100 von 1 die Ressourcen inspizieren, die jedem der virtuellen Knoten zugeordnet sind, und einen Abschnitt des Zwischenspeichers 130 identifizieren, der jedem der virtuellen Knoten zugewiesen werden soll. Sobald der Abschnitt des Zwischenspeichers für jeden der virtuellen Knoten identifiziert ist, kann das Konfigurationssystem 150 die virtuellen Knoten initiieren, wobei die virtuellen Knoten den Zwischenspeicherdienst 110 und die entsprechenden Abschnitte des Zwischenspeichers 130 verwenden können, um Daten aus dem Ablagerepositorium 140 zu verarbeiten.
-
Die 3A bis 3B veranschaulichen einen Einsatz eines virtuellen Clusters nach einer Umsetzung. 3A bis 3B werden hierin unter Verwendung von Host 105 aus der Computerumgebung 100 von 1 demonstriert. Der Einsatz des Clusters in den 3A und 3B demonstriert die Initiierung der virtuellen Knoten 122 bis 123 als Teil des Clusters, aber es ist zu verstehen, dass eine beliebige Anzahl von virtuellen Knoten auf Host 105 als Teil eines Clusters initiiert werden kann.
-
Bezogen auf 3A, werden virtuelle Knoten 120 bis 121 auf Host 105 ausgeführt, um große Datenverarbeitungsbetriebe als Teil eines Clusters bereitzustellen. Beim Bereitstellen des Betriebs werden jedem virtuellen Knoten der virtuellen Knoten 120 bis 121 entsprechende Abschnitte 310 bis 311 des Zwischenspeichers 130 zugewiesen. Zwischenspeicher 130 umfasst Speicher, der vom Zwischenspeicherdienst 110 addressierbar ist, und virtuelle Knoten, die auf Host 105 ausgeführt werden. Insbesondere ist der Zwischenspeicherdienst 110 konfiguriert, um als Dateninteraktionsvermittler zwischen den virtuellen Knoten, die auf dem Host ausgeführt werden, und den Ablagerepositorien zu dienen, die Daten für das Verarbeiten durch die virtuellen Knoten ablegen. Um diesen Betrieb bereitzustellen, ist der Zwischenspeicherdienst 110 konfiguriert, um Datenanforderungen von den virtuellen Knoten zu identifizieren, die Daten, die mit der Anforderung verbunden sind, aus einem Ablagerepositorium zu erhalten und die Daten in einem entsprechenden Abschnitt der Abschnitte 310 bis 311, die der angeforderten virtuellen Maschine entsprechen, zwischenzuspeichern. In einigen Umsetzungen kann die Anforderung vom virtuellen Knoten eine Anforderung in einem ersten Datenzugangsformat umfassen (z. B. einem Format, das mit HDFS oder GlusterFS oder einem ähnlichen Format verbunden ist). Sobald die Anforderung im Zwischenspeicherdienst 110 identifiziert ist, kann der Zwischenspeicherdienst das erste Datenzugangsformat in ein zweites Datenzugangsformat übersetzen, das mit dem angeforderten Datenablagerepositorium verbunden ist. Zum Beispiel kann der virtuelle Knoten 120 konfiguriert werden, um Daten unter Verwendung von HDFS anzufordern, jedoch kann das Datenepositorium für die Daten die Daten unter Verwendung von GluserFS oder einer anderen Datenablagestruktur ablegen. Demzufolge kann der Zwischenspeicherdienst 110, wenn Anforderungen über das HDFS-Format identifiziert werden, für die Übersetzung der Anforderung in das geeignete Datenzugangsformat verwendet werden, um die erforderlichen Daten abzurufen. Nach dem Abruf kann der Zwischenspeicherdienst 110 die Daten im Abschnitt 310, der mit dem virtuellen Knoten 120 verbunden ist, zwischenspeichern, wobei der virtuelle Knoten 120 die Daten verarbeiten kann, wie es für den Verarbeitungsauftrag erforderlich ist.
-
Bei dem Zuweisen der Abschnitte des Zwischenspeichers 130 an jeden der virtuellen Knoten kann ein Konfigurationssystem verwendet werden, um die Menge des Zwischenspeichers zu identifizieren, die den virtuellen Knoten verfügbar gemacht werden soll. Um die Menge des Zwischenspeichers zu identifizieren, kann das Konfigurationssystem Informationen über die Host-Ressourcen verarbeiten, die jedem der virtuellen Knoten zugewiesen sind. Diese Host-Ressourcen können Verarbeitungskerne einer CPU des Host 105, Speicher, der dem virtuellen Knoten gewidmet ist, oder eine ähnliche Ressource, die dem virtuellen Knoten zugewiesen ist, einschließen. In einigen Umsetzungen können diese Ressourcen von einem Administrator der Umgebung bereitgestellt werden, wobei dem Benutzer eine Benutzerschnittstelle bereitgestellt werden kann, um die gewidmeten Ressourcen des virtuellen Knotens zu definieren. Sobald die Ressourcen bereitgestellt sind, kann das Konfigurationssystem die Abschnittgröße des Zwischenspeichers 130 identifizieren, der den virtuellen Knoten des Clusters zugewiesen werden sollte.
-
Was 3B betrifft, so zeigt 3B das Hinzufügen von virtuellen Knoten als einen Cluster zum Host 105. Bei dem Einsetzen des neuen virtuellen Clusters ist ein Konfigurationssystem, wie etwa das Konfigurationssystem 150 in 1, konfiguriert, um eine Anforderung zu identifizieren, um einen neuen Cluster zu generieren und die Host-Computerressourcen von Host 105 zu identifizieren, die jedem virtuellen Knoten des LSPF-Clusters zugewiesen sind. Hier umfasst der neue Cluster für Host 105 zwei virtuelle Knoten 122 bis 123, wobei den virtuellen Knoten Verarbeitungsressourcen (z. B. Kerne, Taktzyklen und Ähnliches) sowie gewidmete Speicherressourcen von Host 105, wie etwa DRAM, zugewiesen werden können. Zusätzlich zum Zuweisen von Host-Ressourcen an die einzelnen virtuellen Knoten bestimmt das Konfigurationssystem auch eine Menge an Zwischenspeicher 130, die den virtuellen Knoten, basierend auf den Host-Ressourcen, bereitgestellt werden soll. In einigen Umsetzungen können die gewidmeten Ressourcen des virtuellen Knotens (z. B. Verarbeitungsressourcen und Speicher) vom Administrator definiert werden, der den neuen Cluster erzeugt, und der Zwischenspeicher kann, basierend auf den Informationen, die vom Administrator bereitgestellt werden, dynamisch zugewiesen werden.
-
In einigen Umsetzungen kann dem Zwischenspeicherdienst 110 ein definierter Satz von Speicheradressen zugewiesen werden, die für die Zwischenspeicherung von Daten für virtuelle Knoten verwendet werden, wenn diese auf Host 105 initiiert werden. Insbesondere wenn ein neuer Cluster von einem Administrator angefordert wird, kann das Konfigurationssystem 150 freie Abschnitte des Zwischenspeichers 130 identifizieren und die Abschnitte dem neuen Cluster zuweisen. Wie im vorliegenden Beispiel demonstriert, werden den virtuellen Knoten 122 bis 123 größere Abschnitte des Zwischenspeichers 130 zugewiesen, um die großen Datenverarbeitungsbetriebe der Knoten zu unterstützen. Diese größeren Abschnitte können basierend auf einer größeren Anzahl von Kernen, die den virtuellen Knoten bereitgestellt werden, einer größeren Menge an gewidmetem Speicher, der jedem der virtuellen Knoten bereitgestellt wird, oder einer anderen ähnlichen Host-Ressource, die den virtuellen Knoten zugewiesen wird, bestimmt werden.
-
Obwohl im vorangehenden Beispiel das Hinzufügen eines Clusters zu einem Host-Computersystem demonstriert wurde, sollte verstanden werden, dass Cluster auch von einem Host-System entfernt werden können. Beim Entfernen eines Clusters kann ein Administrator der Computerumgebung identifizieren, dass die Betriebe des Clusters nicht mehr erforderlich sind, und kann eine Anforderung erzeugen, um die Knoten zu entfernen, die mit dem Cluster verbunden sind. Als Reaktion auf die Anforderung kann das Konfigurationssystem die Ausführung der virtuellen Knoten stoppen und den Zwischenspeicher für zukünftige virtuelle Knoten verfügbar machen. Dementsprechend können, wenn ein neuer Cluster angefordert wird, Zwischenspeicherabschnitte, die dem entfernten Cluster zugewiesen wurden, dem neuen Cluster zugewiesen werden.
-
4 veranschaulicht eine Übersicht 400 einer Dateninteraktion für einen virtuellen Knoten nach einer Umsetzung. Übersicht 400 schließt das Ablagerepositorium 140 und den Host 105 aus der Computerumgebung 100 von 1 ein. Host 105 schließt Zwischenspeicherdienst 110, Zwischenspeicher 130 und virtuelle Knoten 120 bis 123 ein. Der Zwischenspeicher 130 schließt die Abschnitte 410 bis 413 ein, wobei jeder der Abschnitte einem virtuellen Knoten in den virtuellen Knoten 120 bis 123 entspricht.
-
Wie hierin beschrieben, wenn virtuelle Knoten auf einem Host-Computersystem initiiert werden, wird den Knoten jeweils ein Abschnitt des Zwischenspeichers zugewiesen, der von einem Zwischenspeicherdienst unterstützt wird. Dieser Zwischenspeicher wird beim Zwischenspeichern von Daten für das Verarbeiten durch die einzelnen virtuellen Knoten verwendet. Im vorliegenden Beispiel erzeugt der virtuelle Knoten 123 in Schritt 1 eine Anforderung für Daten aus dem Ablagerepositorium 140, wobei die Anforderung nach einem ersten Datenzugangsformat ist. Wenn die Anforderung erzeugt wird, kann der Zwischenspeicherdienst 110 die Anforderung identifizieren und die Anforderung aus dem ersten Datenzugangsformat in ein zweites Datenzugangsformat in Schritt 2 übersetzen. Als Beispiel kann eine Anforderung von einem virtuellen Apache Hadoop®-Knoten unter Verwendung von HDFS erzeugt werden, jedoch können die Daten unter Verwendung von GlusterFS im Ablagerepositorium 140 abgelegt werden. Als Ergebnis des Zwischenspeicherdienstes der Konfiguration 110 kann es erforderlich sein, die Anforderung in ein Format zu übersetzen, das von GlusterFS vor dem Erhalten der Daten verwendet wird.
-
Sobald die Anforderung übersetzt ist, erhält der Zwischenspeicherdienst 110 in Schritt 3 die Daten aus dem Ablagerepositorium 140 und zwischenspeichert die Daten in Abschnitt 413 des Zwischenspeichers 130, der dem virtuellen Knoten 123 zugewiesen ist. Zum Beispiel kann der virtuelle Knoten 123 mindestens einen Abschnitt eines Datenobjekts anfordern, das im Ablagerepositorium 140 abgelegt ist. Als Antwort auf die Anforderung wird der Zwischenspeicherdienst 110 die Anforderung in ein Datenzugangsformat übersetzen, das mit dem Objekt verbunden ist, und das Objekt unter Verwendung des übersetzten Datenzugangsformats abrufen. Wenn die Daten abgerufen werden, wird der Zwischenspeicherdienst 110 die Daten im Speicherabschnitt 413 zwischenspeichern, der mit dem virtuellen Knoten 123 verbunden ist, wobei dem virtuellen Knoten 123 die Daten für das Verarbeiten zugänglich sind. In einigen Umsetzungen kann der Zwischenspeicherdienst 110 auf die gleichen Speicheradressen wie auf die virtuellen Knoten Zugang haben. Als Ergebnis, wenn eine Anforderung erzeugt wird, anstatt die Daten an einem ersten Platz, der mit dem Zwischenspeicherdienst verbunden ist, zwischenzuspeichern und anschließend eine Speicherübertragung durchzuführen, um die Daten in einen Speicherplatz zu verschieben, der mit dem virtuellen Knoten verbunden ist, ist der Zwischenspeicher 130 so konfiguriert, dass er sowohl vom Zwischenspeicherdienst als auch vom virtuellen Knoten adressierbar ist. Dieses Teilen des Speicherraumes begrenzt die Zeitmenge, die für das Zwischenspeichern der Daten für den virtuellen Knoten benötigt wird.
-
Die 5A bis 5B veranschaulichen ein Betriebsszenario des dynamischen Zuweisens des Zwischenspeichers nach einer Umsetzung. Die 5A und 5B schließen Elemente des in 1 vorgestellten Host 105 ein. Insbesondere schließen die 5A bis 5B den Zwischenspeicherdienst 110, den Zwischenspeicher 130 und die virtuellen Knoten 120 bis 123 ein. 5A schließt Abschnitte 510 bis 513 des Zwischenspeichers 130 ein, die den entsprechenden virtuellen Knoten 120 bis 123 zugewiesen sind. 5B schließt Abschnitte 512 bis 515 des Zwischenspeichers 130 ein, die den entsprechenden virtuellen Knoten 120 bis 123 zugewiesen sind.
-
Bezogen auf 5A werden virtuelle Knoten auf Host-Computersystemen, wie etwa Host 105, ausgeführt, um eine Plattform für große Datenverarbeitungsbetriebe bereitzustellen. Insbesondere können ein oder mehrere virtuelle Knoten als Cluster eingesetzt werden, um Hadoop, Spark und andere ähnliche große Datenverarbeitungsbetriebe zu unterstützen. Um die Betriebe der virtuellen Knoten zu unterstützen, wird jeder der virtuellen Knoten durch einen geteilten Zwischenspeicherdienst 110 unterstützt, der verwendet wird, um Daten für den entsprechenden virtuellen Knoten abzurufen und zwischenzuspeichern. Beim Zwischenspeichern der Daten wird jedem der virtuellen Knoten ein Abschnitt des Zwischenspeichers 130 zugewiesen, wobei der Zwischenspeicher 130 einen Adressenraum umfasst, den der Zwischenspeicherdienst 110 verwenden kann, um Daten für den einzelnen Knoten zwischenzuspeichern. Um sicherzustellen, dass jedem der Knoten eine angemessene Menge an Zwischenspeicher zugewiesen wird, kann ein Konfigurationsdienst bereitgestellt werden, der die Abschnitte des Zwischenspeichers identifiziert und jedem der einzelnen Knoten zuweist.
-
Im vorliegenden Beispiel werden den virtuellen Knoten 120 bis 123 entsprechende Speicherabschnitte 510 bis 513 zugewiesen. Während der Ausführung der virtuellen Knoten überwacht der Zwischenspeicherdienst 110 oder ein anderer Überwachungsdienst, der auf Host 105 ausgeführt wird, die Betriebsstatistiken für jeden der virtuellen Knoten. Diese Betriebsstatistiken können die Menge an Verarbeitungsressourcen einschließen, die von jedem der Knoten verwendet werden (z. B. Zentralverarbeitungseinheit oder CPU-Belastung, die von jedem der Knoten erzeugt wird), die gewidmete Speicherverwendung durch jeden der virtuellen Knoten, die Zwischenspeicherverwendung jedes der virtuellen Knoten oder einige andere ähnliche Betriebsstatistiken. In einigen Umsetzungen kann der Zwischenspeicherdienst als Teil des Konfigurationssystems dienen und kann die Zwischenspeicherressourcen, die jedem der virtuellen Knoten zugewiesen sind, dynamisch verändern. In anderen Umsetzungen kann der Zwischenspeicherdienst oder ein anderer Überwachungsdienst Informationen an das Konfigurationssystem berichten, so dass es dem Konfigurationssystem gestattet wird, den Zwischenspeicher, der jedem der virtuellen Knoten zugewiesen ist, zu aktualisieren.
-
Was 5B betrifft, so werden, nachdem die Betriebsstatistiken für die auf Host 105 ausgeführten virtuellen Knoten identifiziert wurden, die Betriebsstatistiken verwendet, um die Zuweisung von Zwischenspeicher für einen oder mehrere der virtuellen Knoten zu ändern. Im vorliegenden Beispiel wird der Zwischenspeicher, der den virtuellen Knoten 120 bis 121 zugewiesen ist, von einem Abschnitt erster Größe, der mit den Abschnitten 510 bis 511 verbunden ist, auf einen Abschnitt zweiter Größe, der mit den Abschnitten 514 bis 515 verbunden ist, verändert. Im vorliegenden Beispiel wird die Abschnittgröße basierend auf den Betriebsstatistiken der virtuellen Knoten als zunehmend demonstriert, es sollte verstanden werden, dass die Abschnittgröße des Zwischenspeichers basierend auf den Betriebsstatistiken der virtuellen Knoten auch abnehmen kann.
-
Als ein veranschaulichendes Beispiel für das Zuweisen des Zwischenspeichers kann der Zwischenspeicherdienst 110 die Betriebsstatistiken für die virtuellen Knoten 120 bis 123 überwachen und identifizieren, dass die virtuellen Knoten 120 bis 121 (die einen anderen Cluster als die virtuellen Knoten 122 bis 123 darstellen können) eine größere Menge an Computerressourcen verwenden und/oder durch die aktuelle Menge an Zwischenspeicher einen Engpass aufweisen. Diese Ressourcen können eine CPU-Belastung, die von den virtuellen Knoten ausgelöst wird, Speicherressourcen, die von den virtuellen Knoten verwendet werden, Zwischenspeicherressourcen, die von den virtuellen Knoten verwendet werden, oder einige andere ähnliche Ressourcen einschließen, die von den virtuellen Knoten verwendet werden. Basierend auf der größeren Menge von Ressourcen, die von den virtuellen Knoten verwendet werden, können jedem der virtuellen Knoten 120 bis 121 Zwischenspeicherabschnitte 514 bis 515 zugewiesen werden, wobei die neuen Abschnitte des Speichers es den virtuellen Knoten gestatten können, zusätzliche Daten für das Verarbeiten zwischenzuspeichern.
-
In einigen Umsetzungen kann bei dem Zuweisen der ursprünglichen Abschnittgrößen des Zwischenspeichers an die virtuellen Knoten 120 bis 123 ein Konfigurationssystem verwendet werden, das die Hostressourcen identifiziert, die den virtuellen Knoten zugewiesen sind, und die Zwischenspeicherabschnitte basierend auf den Hostressourcen zuweist. Diese Host-Ressourcen können Verarbeitungskerne umfassen, die dem virtuellen Knoten von einem Administrator zugewiesen wurden, gewidmete Speicherressourcen, die dem virtuellen Knoten zugewiesen wurden, oder andere ähnliche Host-Ressourcen, die vom Administrator konfigurierbar sind. Zusätzlich kann das Konfigurationssystem in einigen Beispielen andere Informationen über den Cluster berücksichtigen, einschließlich der Art des Clusters (z. B. Hadoop, Spark und ähnliches) sowie die Version des Clusters beim Bestimmen der Menge des Zwischenspeichers, die einem bestimmten Knoten zugewiesen wird. Sobald die ursprüngliche Zwischenspeicherzuweisung bestimmt ist, können die virtuellen Knoten auf dem entsprechenden Host initiiert werden. Der Host kann dann die Betriebsstatistiken der virtuellen Knoten überwachen und die Zwischenspeicherzuweisungen wie hier beschrieben aktualisieren.
-
6 veranschaulicht den Hostspeicher 600 nach einer Umsetzung. Der Hostspeicher 600 schließt den zugewiesenen Speicher für den virtuellen Knotenspeicher 611 und 612 mit dem Speicher für die Auftragsverarbeitung 616 und 617 ein. Der Host-Speicher 600 schließt ferner den zugewiesenen Speicher für den Speicher des Zwischenspeicherdienstes 630 und den Zwischenspeicher 640 ein.
-
Wie hier beschrieben, werden den virtuellen Knoten, wenn sie innerhalb einer LSPF-Umgebung eingesetzt werden, Verarbeitungs- und Speicherressourcen für die Bereitstellung der gewünschten Operationen zugewiesen. Insbesondere können die Knoten mit Verarbeitungskernen, Taktzyklen und dergleichen für das Verarbeitungssystem bereitgestellt werden und sind auch mit einem gewidmeten Speicher bereitgestellt, wobei die Betriebe, wie etwa Auftragsverarbeitungen, die mit den Auftragsverarbeitungsspeichern 616 und 617 verbunden sind, von dort ausgeführt werden können. Zusätzlich zu den gewidmeten Host-Ressourcen (Verarbeiten und Speicher), die mit den virtuellen Knoten verbunden sind, wird jedem der virtuellen Knoten ferner ein Abschnitt des Zwischenspeichers 640 zugewiesen, wobei der Zwischenspeicher 640 zwischen dem virtuellen Knoten und einem Zwischenspeicherdienst, der über den Speicher des Zwischenspeicherdienstes 630 bereitgestellt wird, geteilt wird.
-
Bei dem Zuweisen von Zwischenspeicher 640 zu jedem der virtuellen Knoten kann ein Konfigurationsdienst in einer Computerumgebung (nicht gezeigt) bereitgestellt werden, wobei der Konfigurationsdienst jedem der betriebenen virtuellen Knoten eine Menge an Zwischenspeicher zuweisen kann, basierend auf den gewidmeten Host-Ressourcen für den virtuellen Knoten. Zum Beispiel können virtuelle Knoten, denen mehr Host-Ressourcen, wie etwa Verarbeitungskerne oder gewidmeter Speicher, zugewiesen sind, mit einer größeren Menge an Zwischenspeicher bereitgestellt werden, während virtuelle Knoten, denen weniger Host-Ressourcen zugewiesen sind, mit einer geringeren Menge an Zwischenspeicher bereitgestellt werden können. In einigen Umsetzungen wird, wenn der Zwischenspeicherdienst auf einem Host-Computersystem initiiert wird, dem Zwischenspeicherdienst eine vordefinierte Menge an Speicher zugewiesen, die dann den virtuellen Knoten auf dem Host-Computersystem zugewiesen werden kann. Um sicherzustellen, dass jeder der virtuellen Knoten mit einer optimalen Menge an Zwischenspeicher bereitgestellt wird, kann das Konfigurationssystem verwendet werden, um Speicher basierend auf den Ressourcen zu identifizieren und zuzuweisen.
-
Sobald die Host-Ressourcen für die virtuellen Knoten zusammen mit Abschnitten des Zwischenspeichers 640 zugewiesen sind, kann jeder der virtuellen Knoten den Zwischenspeicherdienst verwenden, um Daten für das Verarbeiten durch die virtuellen Knoten abzurufen und zwischenzuspeichern. Zum Beispiel kann ein virtueller Knoten, der dem virtuellen Knotenspeicher 611 zugewiesen ist, Daten von einem Datenablagerepositorium anfordern. Als Antwort auf die Anforderung kann der Zwischenspeicherdienst die Anforderung von einem ersten Zugangsformat in ein zweites Zugangsformat übersetzen und die Daten aus dem Repositorium erhalten. Nach dem Erhalt kann der Zwischenspeicherdienst die Daten im Zwischenspeicher 640, der mit dem virtuellen Knoten verbunden ist, zwischenspeichern. Nachdem die Daten innerhalb des Zwischenspeichers zwischengespeichert wurden, kann der virtuelle Knoten die Daten wie erforderlich verarbeiten.
-
Obwohl im vorangehenden Beispiel als Abrufen von Daten aus dem Ablagerepositorium demonstriert wurde, sollte verstanden werden, dass ähnliche Betriebe beim Ablegen von Daten im Ablagerepositorium verwendet werden können. Insbesondere wenn eine Auftragsverarbeitung, die auf einem virtuellen Knoten ausgeführt wird, das Einspeichern von Daten in das Ablagerepositorium erfordert, kann der Zwischenspeicherdienst die Anforderung (als Ablageanforderung) identifizieren, die Anforderung von einem ersten Zugangsformat in ein zweites Zugangsformat übersetzen und die Daten im Repositorium nach dem zweiten Zugangsformat ablegen.
-
In einigen Umsetzungen kann, beim Abrufen der Daten aus dem Ablagerepositorium, der Zwischenspeicherdienst, der mit dem Speicher des Zwischenspeicherdienstes 630 verbunden ist, die Anzahl der Male, die die Daten beim Zwischenspeichern der Daten für die virtuellen Knoten wiederholt werden müssen, begrenzen. Insbesondere, weil sich die virtuellen Knoten einen adressierbaren Speicherraum mit dem Zwischenspeicherdienst teilen können, kann der Zwischenspeicherdienst die Daten im geteilten Speicherraum zwischenspeichern, was die Anforderung einschränkt, dass die Daten zuerst in den Host-Speicherraum kopiert und in den Gastspeicherraum übertragen werden müssen, der mit dem virtuellen Knoten verbunden ist.
-
In einigen Umsetzungen kann der Zwischenspeicher 640, der jeder der virtuellen Maschinen zugewiesen wird, dynamisch sein, basierend auf den Betrieben der Auftragsverarbeitungen in den virtuellen Maschinen. Insbesondere kann der Zwischenspeicherdienst oder eine andere Verarbeitung, die auf dem Host ausgeführt wird, die Menge an Zwischenspeicher 640 überwachen, die von den virtuellen Knoten bei dem Bereitstellen von Daten für die Auftragsverarbeitungen verwendet wird. Zum Beispiel kann ein virtueller Knoten ursprünglich mit zwei Gigabyte von Zwischenspeicher 640 bereitgestellt werden, um die erforderlichen Betriebe bereitzustellen. Während der Ausführung von Auftragsverarbeitungen auf dem virtuellen Knoten kann der Zwischenspeicherdienst allerdings identifizieren, dass nur ein Gigabyte des Zwischenspeichers verwendet wird. Als Ergebnis kann der Zwischenspeicherdienst mit dem Konfigurationssystem kommunizieren oder als Teil des Konfigurationssystems betrieben werden, um die Menge des Zwischenspeichers 640 zu verringern, die dem virtuellen Knoten verfügbar gemacht wird. Ähnliche Betriebe können auch bereitgestellt werden, um die Menge des Zwischenspeichers zu erhöhen, die dem virtuellen Knoten zugewiesen wird.
-
7 veranschaulicht ein Konfigurationscomputersystem 700 zum Initiieren von virtuellen Clustern gemäß einer Implementierung. Das Computersystem 700 ist repräsentativ für jedes Computersystem bzw. Systeme, mit denen die vielfältigen Betriebsarchitekturen, Verarbeitungen, Szenarien und Sequenzen, die hierin für ein Konfigurationssystem offenbart werden, implementiert werden können. Das Computersystem 700 ist ein Beispiel für das Konfigurationssystem 150, obwohl es auch andere Beispiele geben kann. Das Computersystem 700 umfasst die Kommunikationsschnittstelle 701, die Benutzerschnittstelle 702 und das Verarbeitungssystem 703. Das Verarbeitungssystem 703 ist mit der Kommunikationsschnittstelle 701 und der Benutzerschnittstelle 702 verknüpft. Das Verarbeitungssystem 703 schließt den Verarbeitungsschaltkreis 705 und die Speichervorrichtung 706 ein, die die Betriebssoftware 707 ablegt. Das Computersystem 700 kann andere bekannte Komponenten wie etwa eine Batterie und ein Gehäuse einschließen, die aus Gründen der Klarheit nicht gezeigt werden.
-
Die Kommunikationsschnittstelle 701 umfasst Komponenten, die über Kommunikationsverknüpfungen kommunizieren, wie etwa Netzwerkkarten, Anschlüsse, Radiofrequenz (RF), Verarbeitungsschaltkreise und Software oder einige andere Kommunikationsvorrichtungen. Die Kommunikationsschnittstelle 701 kann konfiguriert werden, um über metallische, drahtlose oder optische Verknüpfungen zu kommunizieren. Die Kommunikationsschnittstelle 701 kann konfiguriert werden, um Zeitmultiplex (TDM), Internetprotokoll (IP), Ethernet, optische Netzwerke, drahtlose Protokolle, Kommunikationssignalisierung oder ein anderes Kommunikationsformat - einschließlich Kombinationen davon - zu verwenden. In mindestens einer Umsetzung kann die Kommunikationsschnittstelle 701 verwendet werden, um mit einem oder mehreren Hosts in einer großen Datenverarbeitungsumgebung zu kommunizieren, wobei die Hosts virtuelle Knoten ausführen, um LSPF-Aufträge zu unterstützen.
-
Die Benutzerschnittstelle 702 umfasst Komponenten, die mit einem Benutzer interagieren, um Benutzereingaben zu empfangen und Medien und/oder Informationen zu präsentieren. Die Benutzerschnittstelle 702 kann einen Lautsprecher, ein Mikrofon, Schaltflächen, Lichter, einen Bildschirm, einen Berührungsbildschirm, ein Berührungsfeld, ein Mausrad, einen Kommunikationsanschluss oder ein anderes Eingabe-/Ausgabegerät für Benutzer - einschließlich Kombinationen davon - einschließen. Die Benutzerschnittstelle 702 kann in einigen Beispielen ausgelassen werden.
-
Der Verarbeitungsschaltkreis 705 umfasst einen Mikroprozessor und andere Schaltkreise, die die Betriebssoftware 707 von der Speichervorrichtung 706 abrufen und ausführen. Die Speichervorrichtung 706 kann flüchtige und nicht flüchtige, entfernbare und nicht entfernbare Medien einschließen, die in jedem beliebigen Verfahren oder jeder beliebigen Technologie für die Ablage von Informationen umgesetzt werden, wie etwa computerlesbare Anweisungen, Datenstrukturen, Programmmodule oder andere Daten. Die Speichervorrichtung 706 kann als eine einzelne Speichervorrichtung implementiert werden, kann aber auch über mehrere Speichervorrichtungen oder Subsysteme hinweg implementiert werden. Die Speichervorrichtung 706 kann zusätzliche Elemente umfassen, wie etwa eine Steuerung, um die Betriebssoftware 707 zu lesen. Beispiele für Speichermedien sind Direktzugriffsspeicher, Nur-Lese-Speicher, Magnetplatten, optische Platten und Flash-Speicher sowie jede Kombination oder Variation davon oder jede andere Art von Speichermedien. In einigen Umsetzungen kann das Ablagemedium ein nichtflüchtiges Ablagemedium sein. In einigen Fällen kann mindestens ein Abschnitt des Ablagemediums flüchtig sein. Es sollte verstanden werden, dass das Ablagemedium in keinem Fall ein verbreitetes Signal ist.
-
Der Verarbeitungsschaltkreis 705 ist typischerweise auf einer Schalttafel angebracht, die auch die Speichervorrichtung 706 und Abschnitte der Kommunikationsschnittstelle 701 und der Benutzerschnittstelle 702 halten kann. Die Betriebssoftware 707 umfasst Computerprogramme, Firmware oder eine andere Form von maschinenlesbaren Programmanweisungen. Die Betriebssoftware 707 umfasst das Anforderungsmodul 708, das Ressourcenmodul 709 und das Zwischenspeichermodul 710, obwohl jede beliebige Anzahl von Softwaremodulen einen ähnlichen Betrieb bereitstellen kann. Die Betriebssoftware 707 kann ferner ein Betriebssystem, Hilfsmittel, Treiber, Netzwerkschnittstellen, Anwendungen oder eine andere Art von Software einschließen. Wenn sie von dem Verarbeitungsschaltkreis 705 ausgeführt wird, weist die Betriebssoftware 707 das Verarbeitungssystem 703 an, das Computersystem 700 wie hierin beschrieben zu betreiben.
-
In einer Umsetzung weist das Anforderungsmodul 708 das Verarbeitungssystem 703 an, eine Anforderung von einem Administrator zu identifizieren, um einen neuen großen Verarbeitungscluster zu erzeugen, wobei der Cluster einen oder mehrere virtuelle Knoten umfasst. Als Antwort auf die Anforderung weist das Ressourcenmodul 709 das Verarbeitungssystem 703 an, gewidmete Host-Computerressourcen für jeden virtuellen Knoten im Cluster zu identifizieren, wobei die Ressourcen Verarbeitungskerne, Taktzyklen, gewidmeten Speicher für die Auftragsverarbeitung oder eine ähnliche Host-Ressource einschließen können, die dem virtuellen Knoten gewidmet ist. In einigen Beispielen können als Antwort auf eine Administratoranforderung für einen Cluster dem Administrator Optionen für den neuen Cluster bereitgestellt werden, wobei der Benutzer die Art des LSPF, die Anzahl der Knoten für den Cluster und die Host-Computerressourcen (Verarbeitungskerne, gewidmeter Speicher und dergleichen) auswählen kann. Basierend auf den Informationen, die vom Administrator bereitgestellt wurden, können virtuelle Knoten auf mindestens einem Host-Computersystem in der Umgebung initiiert werden, um die Anforderung zu unterstützen.
-
In der vorliegenden Umsetzung wird zusätzlich zum Bereitstellen der virtuellen Knoten, um die Anforderung des Administrators zu unterstützen, das Zwischenspeichermodul 710 bereitgestellt, das den Zwischenspeicher, der den virtuellen Knoten zugewiesen werden soll, identifiziert, wenn es vom Verarbeitungssystem 703 gelesen und ausgeführt wird. Dieser Zwischenspeicher, der für das Zwischenspeichern von Daten während des Betriebs der virtuellen Knoten verwendet wird, wird vom Zwischenspeichermodul 710 zugewiesen, basierend auf den Computerressourcen, die dem Knoten bereitgestellt werden. Insbesondere, basierend auf den Computerressourcen, die während der Konfiguration durch den Administrator bereitgestellt werden, kann das Zwischenspeichermodul 710 den Zwischenspeicher zuweisen, der für den Betrieb des Knotens geeignet ist. Dieser Zwischenspeicher ist mit einem Zwischenspeicherdienst verbunden, der auf demselben Host ausgeführt wird, wobei der Zwischenspeicherdienst eine Datenanforderung für einen virtuellen Knoten identifiziert, die Daten, die mit der Anforderung verbunden sind, aus einem Ablagerepositorium abruft und die Daten im Zwischenspeicher, der dem virtuellen Knoten zugewiesen ist, zwischenspeichert. In einigen Umsetzungen kann der Zwischenspeicherdienst konfiguriert werden, um ein Übersetzungsbetrieb für den virtuellen Knoten bereitzustellen, wobei der virtuelle Knoten Daten unter Verwendung eines ersten Datenzugangsformats anfordern kann und der Zwischenspeicherdienst die Anforderung in ein zweites Datenzugangsformat übersetzen kann, um die Daten von einem Ablagerepositorium zu erhalten.
-
In einigen Beispielen, wenn ein Host-Computersystem initiiert wird, wird ein Zwischenspeicherdienst initiiert und ein Abschnitt des Speichers zugewiesen, um die hierin beschriebenen Zwischenspeicherungsbetriebe für virtuelle Knoten bereitzustellen. Wenn virtuelle Knoten auf dem Host-System eingesetzt werden, können Abschnitte des Zwischenspeichers einzelnen Knoten zugewiesen werden, um die Zwischenspeicherungsbetriebe bereitzustellen. Zusätzlich kann der Zwischenspeicher, sobald ein Cluster zum Entfernen ausgewählt wurde, wieder verfügbar gemacht werden, um ihn einem neuen virtuellen Knoten zuzuweisen.
-
Obwohl im vorangehenden Beispiel als Zuweisen von Zwischenspeicher während des Einsatzes eines virtuellen Clusters beschrieben wurde, ist zu verstehen, dass die Menge des Zwischenspeichers dynamisch angepasst werden kann, basierend auf den Betriebsstatistiken der virtuellen Knoten. In einigen Umsetzungen kann der Zwischenspeicherdienst oder ein anderer Überwachungsdienst die Ressourcen überwachen, die von jedem der Knoten verwendet werden. Dies kann die Menge der verwendeten Verarbeitungsressourcen, die Menge des verwendeten gewidmeten Speichers, die Menge des verwendeten Zwischenspeichers oder einige andere ähnliche Betriebsstatistiken einschließen in Bezug auf das Datenverarbeiten durch den virtuellen Knoten. Basierend auf den Betriebsstatistiken kann der Zwischenspeicher, der dem virtuellen Knoten zugewiesen wird, angepasst werden. Zum Beispiel, wenn ein virtueller Knoten die Hälfte des Zwischenspeichers verwendet, der ihm für den Zwischenspeicherdienst zugewiesen wurde, kann das Konfigurationssystem (das in Zusammenhang mit dem Überwachungsdienst betrieben werden kann) die Menge an Zwischenspeicher, die dem virtuellen Knoten zugewiesen ist, verringern. Wenn dagegen ein virtueller Knoten den ihm zugewiesenen Cachespeicher gesättigt hat, kann das Konfigurationssystem die Menge an dem dem virtuellen Knoten zugewiesenen Zwischenspeicher erhöhen. Um auf diese Art und Weise sicherzustellen, dass der endliche Zwischenspeicher jedem der virtuellen Knoten wirksam zugewiesen wurde, kann das Konfigurationscomputersystem 700 verwendet werden, um die Menge des Zwischenspeichers, die jedem der Knoten zugewiesen wurde, dynamisch zu bestimmen.
-
Zurück zu den Elementen in 1, Hosts 105 bis 108 und das Konfigurationssystem 150 können jeweils Kommunikationsschnittstellen, Netzwerkschnittstellen, Verarbeitungssysteme, Computersysteme, Mikroprozessoren, Ablagesysteme, Ablagemedien oder einige andere Verarbeitungsvorrichtungen oder Softwaresysteme umfassen und können auf mehrere Vorrichtungen verteilt sein. Beispiele für die Hosts 105 bis 108 und das Konfigurationssystem 150 können Software wie etwa ein Betriebssystem, Logs, Datenbanken, Hilfsmittel, Treiber, Netzwerksoftware und andere Software einschließen, die auf einem computerlesbaren Medium abgelegt sind. Die Hosts 105 bis 108 und das Konfigurationssystem 150 können in einigen Beispielen ein oder mehrere Server-Computersysteme, Desktop-Computersysteme, Laptop-Computersysteme oder jedes andere Computersystem, einschließlich Kombinationen davon, umfassen.
-
Das Ablagerepositorium 140 kann sich auf jedem Computersystem bzw. auf Systemen aufhalten, die Kommunikationsschnittstellen, Netzwerkschnittstellen, Verarbeitungssysteme, Computersysteme, Mikroprozessoren, Ablagesysteme, Ablagemedien oder einige andere Verarbeitungsvorrichtungen oder Softwaresysteme einschließen und unter mehreren Vorrichtungen verteilt sein können. Das Ablagerepositorium 140 kann sich auf einem oder mehreren Server-Computersystemen, Desktop-Computersystemen, Laptop-Computersystemen oder jedem anderen Computersystem, einschließlich Kombinationen davon, befinden. Obwohl getrennt von den Hosts 105 bis 108 veranschaulicht, ist zu verstehen, dass das Ablagerepositorium 140 lokal auf den Hosts 105 bis 108 abgelegt werden kann. Das Ablagerepositorium 140 kann Daten unter Verwendung von HDFS, GlusterFS oder einer anderen ähnlichen verteilten Datei- oder Objektablage, einschließlich Kombinationen davon, ablegen.
-
Die Kommunikation zwischen den Hosts 105 bis 108, dem Ablagerepositorium 140 und dem Konfigurationssystem 150 kann Metall, Glas, optisches, Luft, Raum oder ein anderes Material als Übertragungsmedium verwenden. Die Kommunikation zwischen den Hosts 105 bis 108, dem Ablagerepositorium 140 und dem Konfigurationssystem 150 kann verschiedene Kommunikationsprotokolle verwenden, wie etwa Zeitmultiplex (TDM), asynchroner Übertragungsmodus (ATM), Internetprotokoll (IP), Ethernet, synchrones optisches Netzwerk (SONET), Hybridfaser-Koax (HFC), schaltungsvermittelt, Kommunikationssignalisierung, drahtlose Kommunikation oder ein anderes Kommunikationsformat, einschließlich Kombinationen, Verbesserungen oder Variationen davon. Die Kommunikation zwischen den Hosts 105 bis 108, dem Ablagerepositorium 140 und dem Konfigurationssystem 150 kann eine direkte Verknüpfung sein oder kann Zwischennetzwerke, -systeme oder -vorrichtungen einschließen und kann eine logische Netzwerkverknüpfung einschließen, die über mehrere physische Verknüpfungen transportiert wird.
