DE202015009785U1

DE202015009785U1 - Cachespeicherungssysteme

Info

Publication number: DE202015009785U1
Application number: DE202015009785.5U
Authority: DE
Original assignee: Snowflake Inc
Current assignee: Snowflake Inc
Priority date: 2014-02-19
Filing date: 2015-02-18
Publication date: 2020-02-12
Anticipated expiration: 2025-02-19
Also published as: US11397748B2; JP2017506396A; US11151160B2; AU2015218936B2; JP6643242B2; US10776391B1; CA3025939C; EP3828723A1; EP3809270A1; US20190303389A1; US11238062B2; EP3465485A4; EP3108386B1; US20210049187A1; US20220121681A1; EP3108369A1; US10776389B2; US11853323B2; US11321352B2; US20220050857A1

Abstract

Computerprogramm, das Anweisungen umfasst, die dann, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, veranlassen, dass der eine oder die mehreren Prozessoren Operationen durchführt oder durchführen, die folgendes umfassen:
Identifizieren einer Vielzahl von Dateien, die verwendet werden, um eine Anfrage zu verarbeiten;
Verteilen jeder der Vielzahl von Dateien zu einem bestimmten Ausführungsknoten, wobei jeder Ausführungsknoten konfiguriert ist, um die Anfrage mit den Dateien auszuführen, die zu diesem Ausführungsknoten verteilt sind;
Bestimmen, durch jeden Ausführungsknoten, ob die verteilte Datei im Cache des Ausführungsknotens gespeichert ist;
in Reaktion auf ein Bestimmen, dass die verteilte Datei im Cache des Ausführungsknotens gespeichert ist, Verarbeiten, unter Verwendung von einem oder mehreren Prozessoren, der Anfrage unter Verwendung der im Cache gespeicherten Datei; und
in Reaktion auf ein Bestimmen, dass die verteilte Datei nicht im Cache des Ausführungsknotens gespeichert ist:
Wiedergewinnen bzw. Abrufen der Datei aus einer entfernten Speichervorrichtung;
Speichern der Datei im Cache des Ausführungsknotens; und
Verarbeiten, unter Verwendung von dem einen oder den mehreren Prozessoren, der Anfrage unter Verwendung der Datei.

Description

QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNGEN
Diese Anmeldung beansprucht den Vorteil der provisorischen US-Anmeldung mit der seriellen Nr. 61/941,986 mit dem Titel „Apparatus and method for enterprise data warehouse data processing on cloud infrastructure“, eingereicht am 19. Februar 2014, deren Offenbarung hierin durch Bezugnahme ihrer Gesamtheit enthalten ist.
TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft Ressourcenmanagementsysteme und -verfahren, die eine Datenspeicherung und Computerressourcen managen.
Unter Schutz gestellt werden und Gegenstand des Gebrauchsmusters sind dabei, entsprechend den Vorschriften des Gebrauchsmustergesetzes, lediglich Vorrichtungen wie in den beigefügten Schutzansprüchen definiert, jedoch keine Verfahren. Soweit nachfolgend in der Beschreibung gegebenenfalls auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich der beispielhaften Erläuterung der in den beigefügten Schutzansprüchen unter Schutz gestellten Vorrichtung oder Vorrichtungen.
HINTERGRUND
Viele existierende Datenspeicherungs- und -wiederge- win7nungssysteme sind heutzutage verfügbar. Beispielsweise werden in einem System mit gemeinsam genutzter bzw. geteilter Platte auf einer gemeinsam genutzten bzw. geteilten Speichervorrichtung alle Daten gespeichert, die von allen Verarbeitungsknoten in einem Datencluster aus zugreifbar sind. Bei diesem Typ von System werden alle Datenänderungen zur geteilten Speichervorrichtung geschrieben, um sicherzustellen, dass alle Verarbeitungsknoten im Datencluster auf eine konsistente Version der Daten zugreifen. Wenn sich die Anzahl von Verarbeitungsknoten in einem System mit geteilter Platte erhöht, wird die geteilte Speichervorrichtung (und die Kommunikationsverbindungen zwischen den Verarbeitungsknoten und der geteilten Speichervorrichtung) ein Engpass, der Datenlese- und Datenschreiboperationen verlangsamt. Dieser Engpass wird mit dem Hinzufügen von mehr Verarbeitungsknoten weiter verschlimmert. Somit haben existierende Systeme mit geteilter Platte aufgrund dieses Engpassproblems eine beschränkte Skalierbarkeit.
Ein weiteres existierendes Datenspeicherungs- und -wiedergewinnungssystem wird „Shared-Nothing-Architektur“ genannt. Bei dieser Architektur werden Daten über mehrere Verarbeitungskonten so verteilt, dass jeder Knoten eine Untergruppe der Daten in der gesamten Datenbank speichert. Wenn ein neuer Verarbeitungsknoten hinzugefügt oder entfernt wird, muss die Shared-Nothing-Architektur Daten über die mehreren Verarbeitungsknoten neu anordnen. Diese Neuanordnung von Daten kann zeitaufwendig und störend für Datenlese- und -schreiboperationen sein, die während der Datenneuanordnung ausgeführt werden. Und die Affinität von Daten zu einem bestimmten Knoten kann „Hotspots“ auf dem Datencluster für populäre Daten erzeugen. Weiterhin erfordert diese Architektur deshalb, weil jeder Verarbeitungsknoten auch die Speicherfunktion durchführt, wenigstens einen Verarbeitungsknoten, um Daten zu speichern. Somit schlägt die Shared-Nothing-Architektur darin fehl, Daten zu speichern, wenn alle Verarbeitungsknoten entfernt sind. Zusätzlich ist ein Management von Daten in einer Shared-Nothing-Architektur aufgrund der Verteilung von Daten über viele unterschiedliche Verarbeitungsknoten komplex.
Die hierin beschriebenen Systeme und Verfahren stellen einen verbesserten Ansatz für eine Datenspeicherung und eine Datenwiedergewinnung zur Verfügung, der die oben identifizierten Beschränkungen existierender Systeme abmildert.
Figurenliste
Nicht beschränkende und nicht erschöpfende Ausführungsformen der vorliegenden Offenbarung werden unter Bezugnahme auf die folgenden Figuren beschrieben, wobei sich gleiche Bezugszeichen auf gleiche Teile in allen verschiedenen Figuren beziehen, solange nichts anderes spezifiziert ist.

1 ist ein Blockdiagramm, das eine beispielhafte Ausführungsform der hierin beschriebenen Systeme und Verfahren darstellt.
2 ist ein Blockdiagramm, das eine Ausführungsform eines Ressourcenmanagers darstellt.
3 ist ein Blockdiagramm, das eine Ausführungsform einer Ausführungsplattform darstellt.
4 ist ein Blockdiagramm, das eine beispielhafte Betriebsumgebung mit mehreren Anwendern darstellt, die über mehrere virtuelle Lager auf mehrere Datenbanken zugreifen.
5 ist ein Blockdiagramm, das eine weitere beispielhafte Betriebsumgebung mit mehreren Anwendern darstellt, die über einen Lastausgleicher und mehrere in einer virtuellen Lagergruppe enthaltene virtuelle Lager auf mehrere Datenbanken zugreifen.
6 ist ein Blockdiagramm, das eine weitere beispielhafte Betriebsumgebung darstellt, die mehrere verteilte virtuelle Lager und virtuelle Lagergruppen hat.
7 ist ein Ablaufdiagramm, das eine Ausführungsform eines Verfahrens zum Managen von Datenspeicherungs- und -wiedergewinnungsoperationen darstellt.
8 ist ein Ablaufdiagramm, das eine Ausführungsform eines Verfahrens zum Managen eines Datencaches darstellt.
9 ist ein Blockdiagramm, das eine beispielhafte Computervorrichtung darstellt.

DETAILLIERTE BESCHREIBUNG
Die hierin beschriebenen Systeme und Verfahren stellen eine neue Plattform zum Speichern und Wiedergewinnen von Daten ohne die Probleme zur Verfügung, denen man bei existierenden Systemen begegnet. Beispielsweise unterstützt diese neue Plattform das Hinzufügen von neuen Knoten ohne die Notwendigkeit für ein Neuanordnen von Datendateien, wie es durch die Shared-Nothing-Architektur erforderlich ist. Zusätzlich können Knoten zu der Plattform ohne ein Erzeugen von Engpässen hinzugefügt werden, die bei dem System mit gemeinsam genutzter Platte üblich sind. Diese neue Plattform ist immer für Datenlese- und Datenschreiboperationen verfügbar, selbst wenn einige der Knoten zur Wartung offline sind oder ausgefallen sind. Die beschriebene Plattform trennt die Datenspeicherressourcen von den Computerressourcen, so dass Daten gespeichert werden können, ohne die Verwendung von bestimmten Computerressourcen zu erfordern. Dies ist eine Verbesserung gegenüber der Shared-Nothing-Architektur, die darin fehlschlägt, Daten zu speichern, wenn alle Computerressourcen entfernt sind. Daher fährt die neue Plattform damit fort, Daten zu speichern, selbst wenn die Rechenressourcen bzw. Computerressourcen nicht mehr verfügbar sind oder andere Aufgaben durchführen.
In der folgenden Beschreibung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil davon bilden und wobei anhand einer Darstellung spezifische beispielhafte Ausführungsformen gezeigt sind, bei welchen die Offenbarung ausgeführt werden kann. Diese Ausführungsformen sind in ausreichendem Detail beschrieben, um Fachleuten auf dem Gebiet zu ermöglichen, die hierin offenbarten Konzepte auszuführen, und es ist zu verstehen, dass Modifikationen an den verschiedenen offenbarten Ausführungsformen durchgeführt werden können und dass andere Ausführungsformen verwendet werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Die folgende detaillierte Beschreibung ist daher nicht in einem beschränkenden Sinn zu nehmen.
Eine Bezugnahme in dieser gesamten Beschreibung auf „eine einzige Ausführungsform“, „eine Ausführungsform“, „ein einziges Beispiel“ oder „ein Beispiel“ bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Charakteristik, das oder die in Verbindung mit der Ausführungsform oder dem Beispiel beschrieben ist, in wenigstens einer Ausführungsform der vorliegenden Offenbarung enthalten ist. Somit beziehen sich nicht notwendigerweise alle Erscheinungsformen der Phrasen „bei einer einzigen Ausführungsform“, „bei einer Ausführungsform“, „ein einziges Beispiel“ oder „ein Beispiel“ an verschiedenen Stellen in dieser gesamten Beschreibung auf dieselbe Ausführungsform oder dasselbe Beispiel. Zusätzlich sollte erkannt werden, dass die hiermit zur Verfügung gestellten Figuren zu Erklärungszwecken für Personen dienen, die Fachleute auf dem Gebiet sind, und dass die Zeichnungen nicht notwendigerweise maßstäblich gezeichnet sind.
Ausführungsformen gemäß der vorliegenden Offenbarung können als eine Vorrichtung, ein Verfahren oder ein Computerprogrammprodukt verkörpert sein. Demgemäß kann die vorliegende Offenbarung die Form einer gänzlich hardwareumfassten Ausführungsform, einer gänzlich softwareumfassten Ausführungsform (Firmware, residente Software, eine Mikrocodes, etc. enthaltend) oder einer Ausführungsform, die Software- und Hardwareaspekte kombiniert, auf welche alle hierin allgemein als „Schaltung“, „Modul“ oder „System“ Bezug genommen werden kann, annehmen. Weiterhin können Ausführungsformen der vorliegenden Offenbarung die Form eines Computerprogrammprodukts annehmen, das in irgendeinem konkreten Ausdrucksmedium verkörpert ist, das einen computernutzbaren Programmcode im Medium verkörpert hat.
Irgendeine Kombination von einem oder mehreren computernutzbaren oder computerlesbaren Medien kann verwendet werden. Beispielsweise kann ein computerlesbares Medium eines oder mehreres von einer tragbaren Computerdiskette, einer Festplatte, einer Direktzugriffsspeicher-(RAM-)Vorrichtung, einer Nurlesespeicher-(ROM-)Vorrichtung, einer löschbaren programmierbaren Nurlesespeicher-(EPROM- oder Flash-Speicher-)Vorrichtung, einem tragbaren Kompaktdisk-Nurlesespeicher (CDROM), einer optischen Speichervorrichtung und einer magnetischen Speichervorrichtung enthalten. Ein Computerprogrammcode zum Ausführen von Operationen der vorliegenden Offenbarung kann in irgendeiner Kombination von einer oder mehreren Programmiersprachen geschrieben sein. Ein solcher Code kann von einem Quellcode zu einer computerlesbaren Assemblersprache oder einen Maschinencode, der für die Vorrichtung oder den Computer geeignet ist, auf der oder dem der Code ausgeführt werden wird, kompiliert werden.
Ausführungsformen können auch in Cloud-Computerumgebungen implementiert sein. In dieser Beschreibung und den folgenden Ansprüchen kann „Cloudcomputing“ als ein Modell zum Ermöglichen eines ubiquitären, angenehmen On-Demand-Netzwerkzugriffs auf einen gemeinsam genutzten bzw. geteilten Pool von konfigurierbaren Computerressourcen bzw. Rechnerressourcen (z.B. Netzwerken, Servern, Speichern, Anwendungen und Diensten) definiert sein, die über Virtualisierung schnell bereitgestellt und mit minimalem Managementaufwand oder minimaler Serviceprovider-Interaktion freigegeben und dann entsprechend skaliert werden können. Ein Cloud-Modell kann zusammengesetzt sein aus verschiedenen Eigenschaften (z.B. On-demand Self Service, Broad Network Access, Resource Pooling, Rapid Elasticity und Measured Services), Servicemodellen (z.B. Software as a Service („SaaS“), Platform as a Service („PaaS“) und Infrastructure as a Service („IaaS“)) und Bereitstellungsmodellen (Deployment models) (z.B. Private Cloud, Community Cloud, Public Cloud und Hybrid Cloud).
Die Ablaufdiagramme und Blockdiagramme in den beigefügten Figuren stellen die Architektur, die Funktionalität und die Operation von möglichen Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung dar. Diesbezüglich kann jeder Block in den Ablaufdiagrammen oder Blockdiagrammen ein Modul, ein Segment oder einen Teilbereich eines Codes darstellen, das oder der eine oder mehrere ausführbare Anweisungen zum Implementieren der spezifizierten logischen Funktion(en) umfasst. Es wird auch bemerkt werden, dass jeder Block der Blockdiagramme und/oder Ablaufdiagramme und Kombinationen von Blöcken in den Blockdiagrammen und/oder Ablaufdiagrammen durch spezielle hardwarebasierte Systeme, die die spezifizierten Funktionen oder Handlungen durchführen, oder Kombinationen von spezieller Hardware und Computeranweisungen implementiert sein können. Diese Computerprogrammanweisungen können auch in einem computerlesbaren Medium gespeichert sein, das einen Computer oder eine andere programmierbare Datenverarbeitungsvorrichtung anweisen kann, auf spezielle Weise zu funktionieren, so dass die in dem computerlesbaren Medium gespeicherten Anweisungen ein Herstellungsprodukt erzeugen, das Anweisungsmittel enthält, die die Funktion/Handlung implementieren, die in dem Block oder den Blöcken des Ablaufdiagramms und/oder des Blockdiagramms spezifiziert ist.
Die hierin beschriebenen Systeme und Verfahren stellen ein flexibles und skalierbares Datenlager unter Verwendung einer neuen Datenverarbeitungsplattform zur Verfügung. Bei einigen Ausführungsformen setzen die beschriebenen Systeme und Verfahren eine Cloud-Infrastruktur ein, die cloudbasierte Speicherressourcen, Rechner- bzw. Computerressourcen und ähnliches unterstützt. Beispielhafte cloudbasierte Speicherressourcen bieten eine signifikante Speicherkapazität, die on-demand bzw. auf Anforderung bei niedrigen Kosten verfügbar ist. Weiterhin können diese cloudbasierten Speicherressourcen fehlertolerant und hochskalierbar sein, was bei privaten Datenspeichersystemen teuer zu erreichen sein kann. Beispielhafte cloudbasierte Computerressourcen sind on-demand verfügbar und für sie kann ein Preis basierend auf tatsächlichen Ausmaßen einer Nutzung der Ressourcen festgesetzt werden. Typischerweise wird die Cloud-Infrastruktur auf eine schnelle Weise dynamisch bereitgestellt, rekonfiguriert und außer Betrieb gesetzt.
Bei den beschriebenen Systemen und Verfahren verwendet ein Datenspeichersystem eine SQL-(strukturierte Anfragesprache)-basierte relationale Datenbank. Jedoch sind diese Systeme und Verfahren unter Verwendung von irgendeiner Datenspeicherarchitektur und unter Verwendung von irgendeiner Sprache, um Daten innerhalb der Datenspeicherungs- und -wiedergewinnungsplattform zu speichern und wiederzugewinnen, auf irgendeinen Typ von Datenbank und irgendeinen Typ von Datenspeicherungs- und -wiedergewinnungsplattform anwendbar. Die hierin beschriebenen Systeme und Verfahren stellen weiterhin ein mandantenfähiges System zur Verfügung, das eine Isolation von Computerressourcen und Daten zwischen unterschiedlichen Kunden/Klienten und zwischen unterschiedlichen Anwendern innerhalb desselben Kunden/Klienten unterstützt.
1 ist ein Blockdiagramm, das eine beispielhafte Ausführungsform einer neuen Datenverarbeitungsplattform 100 darstellt. Wie es in 1 gezeigt ist, ist ein Ressourcenmanager 102 mit mehreren Anwendern 104, 106 und 108 gekoppelt. Bei besonderen Implementierungen kann der Ressourcenmanager 102 irgendeine Anzahl von Anwendern unterstützen, die einen Zugriff auf die Datenverarbeitungsplattform 100 wünschen. Die Anwender 104-108 können beispielsweise Endanwender enthalten, die Datenspeicherungs- und -wiedergewinnungsanfragen zur Verfügung stellen, Systemadministratoren, die die hierin beschriebenen Systeme und Verfahren managen, und andere Komponenten/Vorrichtungen, die mit dem Ressourcenmanager 102 interagieren. Der Ressourcenmanager 102 stellt verschiedene Dienste und Funktionen zur Verfügung, die den Betrieb von allen Systemen und Komponenten innerhalb der Datenverarbeitungsplattform 100 unterstützen. Der Ressourcenmanager 102, wie er hierin genannt wird, kann auch „globales Dienstsystem“ genannt werden, das verschiedene Funktionen durchführt, wie sie hierin diskutiert sind.
Der Ressourcenmanager 102 ist auch mit Metadaten 110 gekoppelt, die mit der Gesamtheit von Daten assoziiert sind, die über die gesamte Datenverarbeitungsplattform 100 hinweg gespeichert sind. Bei einigen Ausführungsformen enthalten die Metadaten 110 eine Zusammenfassung von Daten, die in entfernten Datenspeichersystemen gespeichert sind, so wie Daten, die von einem lokalen Cache verfügbar sind. Zusätzlich können die Metadaten 110 Information in Bezug darauf enthalten, wie Daten in den entfernten Datenspeichersystemen und den lokalen Caches organisiert sind. Die Metadaten 110 lassen zu, dass Systeme und Dienste bestimmen, ob auf ein Datenstück zugegriffen werden muss, ohne die aktuellen Daten aus einer Speichervorrichtung zu laden oder auf diese zuzugreifen.
Der Ressourcenmanager 102 ist weiterhin mit einer Ausführungsplattform 112 gekoppelt, die mehrere Computerressourcen zur Verfügung stellt, die verschiedene Datenspeicherungs- und Datenwiedergewinnungsaufgaben ausführen, wie es nachstehend noch ausführlicher diskutiert wird. Die Ausführungsplattform 112 ist mit mehreren Datenspeichervorrichtungen 116, 118 und 120 gekoppelt, die Teil einer Speicherplattform 114 sind. Obwohl in 1 drei Datenspeichervorrichtungen 116, 118 und 120 gezeigt sind, kann die Ausführungsplattform 112 mit irgendeiner Anzahl von Datenspeichervorrichtungen kommunizieren. Bei einigen Ausführungsformen sind die Datenspeichervorrichtungen 116, 118 und 120 cloudbasierte Speichervorrichtungen, die an einem oder mehreren geographischen Standorten angeordnet sind. Beispielsweise können die Datenspeichervorrichtungen 116, 118 und 120 Teil einer Infrastruktur eine öffentlichen Cloud (Public Cloud) oder einer Infrastruktur einer privaten Cloud (Private Cloud) sein. Die Datenspeichervorrichtungen 116, 118 und 120 können Festplattenlaufwerke (HDDs), Festkörperlaufwerke (SSDs), Speichercluster, Amazon S3™-Speichersysteme oder irgendeine andere Datenspeichertechnologie sein. Zusätzlich kann die Speicherplattform 114 verteilte Dateiensysteme (wie beispielsweise verteilte Hadoop-Datensysteme (HDFSS)), Objektspeichersysteme und ähnliches enthalten.
Bei bestimmten Ausführungsformen sind die Kommunikationsverbindungen zwischen dem Ressourcenmanager 102 und den Anwendern 104-108, den Metadaten 110 und der Ausführungsplattform 112 über ein oder mehrere Datenkommunikationsnetzwerke implementiert. Gleichermaßen sind die Kommunikationsverbindungen zwischen der Ausführungsplattform 112 und den Datenspeichervorrichtungen 116-120 in der Speicherplattform 114 über ein oder mehrere Datenkommunikationsnetzwerke implementiert. Diese Datenkommunikationsnetzwerke können irgendein Kommunikationsprotokoll und irgendeinen Typ von Kommunikationsmedium verwenden. Bei einigen Ausführungsformen sind die Datenkommunikationsnetzwerke eine Kombination aus zwei oder mehr Datenkommunikationsnetzwerken (oder Unternetzwerken), die miteinander gekoppelt sind. Bei alternativen Ausführungsformen sind diese Kommunikationsverbindungen unter Verwendung von irgendeinem Typ von Kommunikationsmedium und irgendeinem Kommunikationsprotokoll implementiert.
Wie es in 1 gezeigt ist, sind die Datenspeichervorrichtungen 116, 118 und 120 von den Computerressourcen entkoppelt, die mit der Ausführungsplattform 112 assoziiert sind. Diese Architektur unterstützt dynamische Änderungen an der Datenverarbeitungsplattform 100 basierend auf den sich ändernden Datenspeicherungs-/-wiedergewinnungsnotwendigkeiten sowie den Änderungsnotwendigkeiten der Anwender und Systeme, die auf die Datenverarbeitungsplattform 100 zugreifen. Die Unterstützung von dynamischen Änderungen lässt zu, dass sich die Datenverarbeitungsplattform 100 in Reaktion auf sich ändernde Anforderungen auf den Systemen und Komponenten innerhalb der Datenverarbeitungsplattform 100 schnell skaliert. Die Entkopplung der Computerressourcen von den Datenspeichervorrichtungen unterstützt die Speicherung großer Mengen von Daten, ohne eine entsprechende große Menge von Computerressourcen zu erfordern. Gleichermaßen unterstützt diese Entkopplung von Ressourcen eine signifikante Erhöhung bezüglich der zu einer bestimmten Zeit verwendeten Computerressourcen, ohne eine entsprechende Erhöhung bezüglich der verfügbaren Datenspeicherressourcen zu erfordern.
Der Ressourcenmanager 102, die Metadaten 110, die Ausführungsplattform 112 und die Speicherplattform 114 sind in 1 als individuelle Komponenten gezeigt. Jedoch kann jedes von dem Ressourcenmanager 102, den Metadaten 110, der Ausführungsplattform 112 und der Speicherplattform 114 als ein verteiltes System (z.B. über mehrere Systeme/Plattformen an mehreren geographischen Standorten verteilt) implementiert sein. Zusätzlich kann jedes von dem Ressourcenmanager 102, den Metadaten 110, der Ausführungsplattform 112 und der Speicherplattform 114 in Abhängigkeit von Änderungen bei den von den Anwendern 104-108 empfangenen Anfragen und den sich ändernden Notwendigkeiten der Datenverarbeitungsplattform 100 (unabhängig voneinander) vergrößert oder verkleinert werden. Somit ist die Datenverarbeitungsplattform 100 bei den beschriebenen Ausführungsformen dynamisch und unterstützt reguläre Änderungen, um die aktuellen bzw. tatsächlichen Datenverarbeitungsnotwendigkeiten zu erfüllen.
Während eines typischen Betriebs verarbeitet die Datenverarbeitungsplattform 100 mehrere Anfragen (oder Aufforderungen), die von irgendeinem der Anwender 104-108 empfangen sind. Diese Anfragen werden durch den Ressourcenmanager 102 gemanagt, um zu bestimmen, wann und wie die Anfragen auszuführen sind. Beispielsweise kann der Ressourcenmanager 102 bestimmen, welche Daten nötig sind, um die Anfrage zu verarbeiten, und weiterhin bestimmen, welche Knoten innerhalb der Ausführungsplattform 112 am besten geeignet sind, um die Anfrage zu verarbeiten. Einige Knoten können bereits die Daten im Cache gespeichert haben, die dazu nötig sind, die Anfrage zu verarbeiten, und sind daher gute Kandidaten zum Verarbeiten der Anfrage. Die Metadaten 110 unterstützen den Ressourcenmanager 102 beim Bestimmen, welche Knoten in der Ausführungsplattform 112 bereits wenigstens einen Teilbereich der Daten im Cache haben, die dazu nötig sind, die Anfrage zu verarbeiten. Ein oder mehrere Knoten in der Ausführungsplattform 112 verarbeitet oder verarbeiten die Anfrage unter Verwendung von Daten, die durch die Knoten im Cache gespeichert sind, und, wenn es nötig ist, von Daten, die aus der Speicherplattform 114 wiedergewonnen sind. Es ist erwünscht, so viele Daten wie möglich aus Caches innerhalb der Ausführungsplattform 112 wiederzugewinnen, weil die Wiedergewinnungsgeschwindigkeit typischerweise viel schneller als ein Wiedergewinnen von Daten aus der Speicherplattform 114 ist.
Wie es in 1 gezeigt ist, trennt die Datenverarbeitungsplattform 100 die Ausführungsplattform 112 von der Speicherplattform 114. Bei dieser Anordnung arbeiten die Verarbeitungsressourcen und Cacheressourcen in der Ausführungsplattform 112 unabhängig von den Datenspeicherressourcen 116-120 in der Speicherplattform 114. Somit sind die Computerressourcen und Cacheressourcen nicht auf spezifische Datenspeicherressourcen 116-120 beschränkt. Stattdessen können alle Computerressourcen und alle Cacheressourcen Daten aus irgendeiner der Datenspeicherressourcen in der Speicherplattform 114 wiedergewinnen und Daten dorthin speichern. Zusätzlich unterstützt die Datenverarbeitungsplattform 100 das Hinzufügen von neuen Computerressourcen und Cacheressourcen zu der Ausführungsplattform 112, ohne irgendwelche Änderungen an der Speicherplattform 114 zu erfordern. Gleichermaßen unterstützt die Verarbeitungsplattform 100 das Hinzufügen von Datenspeicherressourcen zu der Speicherplattform 114, ohne irgendwelche Änderungen an Knoten in der Ausführungsplattform 112 zu erfordern.
2 ist ein Blockdiagramm, das eine Ausführungsform des Ressourcenmanagers 102 darstellt. Wie es in 2 gezeigt ist, enthält der Ressourcenmanager 102 einen Zugriffsmanager 202 und einen Schlüsselmanager 204, die mit einer Datenspeichervorrichtung 206 gekoppelt sind. Der Zugriffsmanager 202 handhabt Authentifizierungs- und Autorisierungsaufgaben für die hierin beschriebenen Systeme. Der Schlüsselmanager 204 managt ein Speichern und eine Authentifizierung von Schlüsseln, die während Authentifizierungs- und Autorisierungsaufgaben verwendet werden. Beispielsweise managen der Zugriffsmanager 202 und der Schlüsselmanager 204 die Schlüssel, die dazu verwendet werden, auf Daten zuzugreifen, die in entfernten Speichervorrichtungen (z.B. Datenspeichervorrichtungen in der Speicherplattform 114) gespeichert sind. Wie es hierin verwendet ist, können die entfernten Speichervorrichtungen auch „persistente Speichervorrichtungen“ genannt werden. Ein Aufforderungsverarbeitungsdienst 208 managt empfangene Datenspeicheraufforderungen und Datenwiedergewinnungsaufforderungen (z.B. Datenbankanfragen). Beispielsweise kann der Aufforderungsverarbeitungsdienst 208 die Daten bestimmen, die dazu nötig sind, die empfangene Datenspeicheraufforderung oder Datenwiedergewinnungsaufforderung zu verarbeiten. Die nötigen Daten können in einem Cache innerhalb der Ausführungsplattform 112 (wie es nachstehend noch ausführlicher diskutiert wird) oder in einer Datenspeichervorrichtung in der Speicherplattform 114 gespeichert werden. Der Aufforderungsverarbeitungsdienst 208 kann unter Verwendung eines „Aufforderungsverarbeitungsmoduls“ implementiert sein. Ein Managementkonsolendienst 210 unterstützt einen Zugriff auf verschiedene Systeme und Prozesse durch Administratoren und andere Systemmanager. Zusätzlich kann der Managementkonsolendienst 210 Aufforderungen von den Anwendern 104-108 empfangen, um Anfragen auszugeben und um die Arbeitsbelastung auf dem System zu überwachen. Der Managementkonsolendienst 210 kann unter Verwendung eines „Managementkonsolenmoduls“ implementiert sein. Bei einigen Ausführungsformen kann ein bestimmter Anwender eine Aufforderung ausgeben, die Arbeitsbelastung zu überwachen, die seine spezifische Anfrage auf dem System platziert.
Der Ressourcenmanager 102 enthält auch einen SQL-Compiler 212, einen SQL-Optimierer 214 und einen SQL-Ausführer 210. Der SQL-Compiler 212 parst SQL-Anfragen und erzeugt den Ausführungscode für die Anfragen. Der SQL-Optimierer 214 bestimmt das beste Verfahren zum Ausführen von Anfragen basierend auf den Daten, die verarbeitet werden müssen. Der SQL-Optimierer 214 handhabt auch verschiedene Datenbeschneidungsoperationen bzw. Daten-Pruning-Operationen und andere Datenoptimierungstechniken, um die Geschwindigkeit und die Effizienz zum Ausführen der SQL-Anfrage zu verbessern. Der SQL-Ausführer 216 führt den Anfragecode für durch den Ressourcenmanager 102 empfangene Anfragen aus.
Ein Anfrageplaner und -koordinator 218 sendet empfangene Anfragen zu den geeigneten Diensten oder Systemen zur Kompilation, Optimierung und Abfertigung zu der Ausführungsplattform 112. Beispielsweise können Anfragen priorisiert und in dieser priorisierten Reihenfolge verarbeitet werden. Bei einigen Ausführungsformen identifiziert der Anfrageplaner und -koordinator 218 bestimmte Knoten in der Ausführungsplattform 112 oder ordnet sie zu, um bestimmte Anfragen zu verarbeiten. Ein Manager für ein virtuelles Lager 220 managt die Operation bzw. den Betrieb von mehreren virtuellen Lagern, die in der Ausführungsplattform 112 implementiert sind. Wie es nachstehend diskutiert ist, enthält jedes virtuelle Lager mehrere Ausführungsknoten, die jeweils einen Cache und einen Prozessor enthalten.
Zusätzlich enthält der Ressourcenmanager 102 eine Konfigurations- und Metadatenmanager 222, der die Information in Bezug auf die Daten managt, die in den entfernten Datenspeichervorrichtungen und in den lokalen Caches (d.h. den Caches in der Ausführungsplattform 112) gespeichert sind. Wie es nachstehend noch ausführlicher diskutiert wird, verwendet der Konfigurations- und Metadatenmanager 222 die Metadaten, um zu bestimmen, auf welche Datendateien zugegriffen werden muss, um Daten zur Verarbeitung einer bestimmten Anfrage wiederzugewinnen. Ein Überwachungs- und Arbeitsbelastungsanalysator 224 überblickt die durch den Ressourcenmanager 102 durchgeführten Prozesse und managt die Verteilung von Aufgaben (z.B. Arbeitsbelastung) quer über die virtuellen Lager und Ausführungsknoten in der Ausführungsplattform 112. Der Überwachungs- und Arbeitsbelastungsanalysator 224 verteilt Aufgaben auch neu, wie es nötig ist, basierend auf sich ändernden Arbeitsbelastungen in der gesamten Datenverarbeitungsplattform 100. Der Konfigurations- und Metadatenmanager 222 und der Überwachungs- und Arbeitsbelastungsanalysator 224 sind mit einer Datenspeichervorrichtung 226 gekoppelt. Die Datenspeichervorrichtungen 206 und 226 in 2 stellen irgendeine Datenspeichervorrichtung innerhalb der Datenverarbeitungsplattform 100 dar. Beispielsweise können die Datenspeichervorrichtungen 206 und 226 Caches in der Ausführungsplattform 112, Speichervorrichtungen in der Speicherplattform 114 oder irgendeine andere Speichervorrichtung darstellen.
Der Ressourcenmanager 102 enthält auch ein Transaktionsmanagement- und Zugriffssteuermodul 228, das die verschiedenen Aufgaben und andere mit der Verarbeitung von Datenspeicheraufforderungen und Datenzugriffsaufforderungen assoziierte Aktivitäten managt. Beispielsweise stellt das Transaktionsmanagement- und Zugriffssteuermodul 228 einen konsistenten und synchronisierten Zugriff auf Daten durch mehrere Anwender oder Systeme zur Verfügung. Da mehrere Anwender/Systeme auf dieselben Daten gleichzeitig zugreifen können, müssen Änderungen an den Daten synchronisiert werden, um sicherzustellen, dass jeder Anwender/jedes System mit der aktuellen Version der Daten arbeitet. Das Transaktionsmanagement- und Zugriffssteuermodul 228 stellt eine Steuerung von verschiedenen Datenverarbeitungsaktivitäten bei einer einzelnen zentralisierten Stelle im Ressourcenmanager 102 zur Verfügung. Bei einigen Ausführungsformen interagiert das Transaktionsmanagement- und Zugriffssteuermodul 228 mit dem SQL-Ausführer 216, um das Management von verschiedenen Aufgaben zu unterstützen, die durch den SQL-Ausführer 216 ausgeführt werden.
3 ist ein Blockdiagramm, das eine Ausführungsform einer Ausführungsplattform 112 darstellt. Wie es in 3 gezeigt ist, enthält die Ausführungsplattform 112 mehrere virtuelle Lager 302, 304 und 306. Jedes virtuelle Lager enthält mehrere Ausführungsknoten, die jeweils einen Datencache und einen Prozessor enthalten. Die virtuellen Lager 302, 304 und 306 können mehrere Anfragen (und andere Aufgaben) durch Verwenden der mehreren Ausführungsknoten parallel ausführen. Wie es hierin diskutiert ist, kann die Ausführungsplattform 112 basierend auf den aktuellen Verarbeitungsnotwendigkeiten der Systeme und Anwender in Echtzeit neue virtuelle Lager hinzufügen und existierende virtuelle Lager fallenlassen. Diese Flexibilität lässt zu, dass die Ausführungsplattform 112 große Mengen von Computerressourcen schnell nutzt, wenn es nötig ist, ohne dazu gezwungen zu sein, ein Bezahlen für diese Computerressourcen fortzusetzen, wenn sie nicht länger benötigt werden. Alle virtuellen Lager können auch auf Daten von irgendeiner Datenspeichervorrichtung (z.B. irgendeiner Speichervorrichtung in der Speicherplattform 114) zugreifen.
Obwohl jedes virtuelle Lager 302-306, die in 3 gezeigt sind, drei Ausführungsknoten enthält, kann ein bestimmtes virtuelles Lager irgendeine Anzahl von Ausführungsknoten enthalten. Weiterhin ist die Anzahl von Ausführungsknoten in einem virtuellen Lager dynamisch, so dass neue Ausführungsknoten erzeugt werden, wenn ein zusätzlicher Bedarf vorhanden ist, und existierende Ausführungsknoten gelöscht werden, wenn sie nicht länger nötig sind.
Jedes virtuelle Lager 302-306 kann auf irgendeine der Datenspeichervorrichtungen 116-120 zugreifen, die in 1 gezeigt sind. Somit sind die virtuellen Lager 302-306 nicht notwendigerweise einer spezifischen Datenspeichervorrichtung 116-120 zugeordnet und können stattdessen auf Daten von irgendeiner der Datenspeichervorrichtungen 116-120 zugreifen. Gleichermaßen kann jeder der in 3 gezeigten Ausführungsknoten auf Daten von irgendeiner der Datenspeichervorrichtungen 116-120 zugreifen. Bei einigen Ausführungsformen kann ein bestimmtes virtuelles Lager oder ein bestimmter Ausführungsknoten temporär einer spezifischen Datenspeichervorrichtung zugeordnet sein, aber das virtuelle Lager oder der Ausführungsknoten kann später auf Daten von irgendeiner anderen Datenspeichervorrichtung zugreifen.
Bei dem Beispiel der 3 enthält das virtuelle Lager 302 drei Ausführungsknoten 308, 310 und 312. Der Ausführungsknoten 308 enthält einen Cache 314 und einen Prozessor 316. Der Ausführungsknoten 310 enthält einen Cache 318 und einen Prozessor 320. Der Ausführungsknoten 312 enthält einen Cache 322 und einen Prozessor 324. Jeder Ausführungsknoten 308-312 ist mit einer Verarbeitung von einem oder mehreren von einer oder mehreren von Datenspeicher- und/oder Datenwiedergewinnungsaufgaben assoziiert. Zum Beispiel kann ein bestimmtes virtuelles Lager mit einem bestimmten Anwender oder Kunden assoziierte Datenspeicher- und Datenwiedergewinnungsaufgaben handhaben. Bei anderen Implementierungen kann ein bestimmtes virtuelles Lager mit einem bestimmten Datenspeichersystem oder einer bestimmten Kategorie von Daten assoziierte Datenspeicher- und Datenwiedergewinnungsaufgaben handhaben.
Gleich dem oben diskutierten virtuellen Lager 302 enthält das virtuelle Lager 304 drei Ausführungsknoten 326, 328 und 330. Der Ausführungsknoten 326 enthält einen Cache 332 und einen Prozessor 334. Der Ausführungsknoten 328 enthält einen Cache 336 und einen Prozessor 338. Der Ausführungsknoten 330 enthält einen Cache 340 und einen Prozessor 342. Zusätzlich enthält das virtuelle Lager 306 drei Ausführungsknoten 344, 346 und 348. Der Ausführungsknoten 344 enthält einen Cache 350 und einen Prozessor 352. Der Ausführungsknoten 346 enthält einen Cache 354 und einen Prozessor 356. Der Ausführungsknoten 348 enthält einen Cache 358 und einen Prozessor 360.
Bei einigen Ausführungsformen sind die in 3 gezeigten Ausführungsknoten zustandslos in Bezug auf die Daten und sind die Ausführungsknoten als Cache speichernd bzw. zwischenspeichernd. Beispielsweise speichern diese Ausführungsknoten Zustandsinformation über den Ausführungsknoten oder die Daten, die gerade durch einen bestimmten Ausführungsknoten im Cache gespeichert sind, nicht oder behalten diese nicht auf andere Weise bei. Somit kann in dem Fall eines Ausführungsknotenfehlers bzw. -ausfalls der Knoten mit Fehler bzw. ausgefallene Knoten transparent durch einen anderen Knoten ersetzt werden. Da es keine mit dem fehlgeschlagenen Ausführungsknoten assoziierte Zustandsinformation gibt, kann der neue (Austausch- bzw. Ersatz-)Ausführungsknoten auf einfache Weise den fehlgeschlagenen Knoten ersetzen, ohne sich um eine Wiedererstellung eines bestimmten Zustands zu kümmern.
Obwohl die in 3 gezeigten Ausführungsknoten jeweils einen Datencache und einen Prozessor enthalten, können alternative Ausführungsformen Ausführungsknoten enthalten, die irgendeine Anzahl von Prozessoren und irgendeine Anzahl von Caches enthalten. Zusätzlich können die Caches bezüglich einer Größe zwischen den unterschiedlichen Ausführungsknoten variieren. Die in 3 gezeigten Caches speichern in dem lokalen Ausführungsknoten Daten, die aus einer oder mehreren Datenspeichervorrichtungen in der Speicherplattform 114 wiedergewonnen wurden (1). Somit reduzieren oder eliminieren die Caches die Engpassprobleme, die bei Plattformen auftreten, die Daten aus entfernten Speichersystemen konsistent wiedergewinnen. Anstelle eines wiederholten Zugreifens auf Daten von den entfernten Speichervorrichtungen greifen die hierin beschriebenen Systeme und Verfahren auf Daten aus den Caches in den Ausführungsknoten zu, was signifikant schneller ist und das oben diskutierte Engpassproblem vermeidet. Bei einigen Ausführungsformen sind die Caches unter Verwendung von Hochgeschwindigkeitsspeichervorrichtungen implementiert, die einen schnellen Zugriff auf die im Cache gespeicherten Daten zur Verfügung stellen. Jeder Cache kann Daten von irgendeiner der Speichervorrichtungen in der Speicherplattform 114 speichern.
Weiterhin können die Cacheressourcen und die Computerressourcen zwischen unterschiedlichen Ausführungsknoten variieren. Beispielsweise kann ein Ausführungsknoten signifikante Computerressourcen und minimale Cacheressourcen enthalten, was den Ausführungsknoten nützlich für Aufgaben macht, die signifikante Computerressourcen erfordern. Ein anderer Ausführungsknoten kann signifikante Cacheressourcen und minimale Computerressourcen enthalten, was diesen Ausführungsknoten nützlich für Aufgaben macht, die eine Speicherung von großen Mengen von Daten in Caches erfordern. Noch ein weiterer Ausführungsknoten kann Cacheressourcen enthalten, die schnellere Eingabe-Ausgabe-Operationen zur Verfügung stellen, was nützlich für Aufgaben ist, die ein schnelles Scannen von großen Mengen von Daten erfordern. Bei einigen Ausführungsformen werden die mit einem bestimmten Ausführungsknoten assoziierten Cacheressourcen und Computerressourcen dann, wenn der Ausführungsknoten erzeugt wird, basierend auf den erwarteten durch den Ausführungsknoten durchzuführenden Aufgaben bestimmt.
Zusätzlich können sich die mit einem bestimmten Ausführungsknoten assoziierten Cacheressourcen und Computerressourcen im Verlaufe der Zeit basierend auf durch den Ausführungsknoten durchgeführten sich ändernden Aufgaben ändern. Beispielsweise können einem bestimmten Ausführungsknoten mehr Verarbeitungsressourcen zugeordnet werden, wenn die durch den Ausführungsknoten durchgeführten Aufgaben mehr prozessorintensiv werden. Gleichermaßen können einem Ausführungsknoten mehr Cacheressourcen zugeordnet werden, wenn die durch den Ausführungsknoten durchgeführten Aufgaben eine größere Cachekapazität erfordern.
Obwohl virtuelle Lager 302-306 mit derselben Ausführungsplattform 112 assoziiert sind, können die virtuellen Lager unter Verwendung von mehreren Computersystemen an mehreren geographischen Standorten implementiert sein. Beispielsweise kann das virtuelle Lager 302 durch ein Computersystem an einem ersten geographischen Standort implementiert sein, während die virtuellen Lager 304 und 306 durch ein weiteres Computersystem an einem zweiten geographischen Standort implementiert sind. Bei einigen Ausführungsformen sind diese unterschiedlichen Computersysteme cloudbasierte Computersysteme, die durch eine oder mehrere unterschiedliche Einheiten gewartet werden.
Zusätzlich ist jedes virtuelle Lager in 3 derart gezeigt, dass es mehrere Ausführungsknoten hat. Die mit jedem virtuellen Lager assoziierten mehreren Ausführungsknoten können unter Verwendung von mehreren Computersystemen an mehreren geographischen Standorten implementiert sein. Beispielsweise implementiert ein besonderer Fall eines virtuellen Lagers 302 Ausführungsknoten 308 und 310 auf einer Computerplattform an einem bestimmten geographischen Standort und implementiert den Ausführungsknoten 312 auf einer anderen Computerplattform an einem anderen geographischen Standort. Ein Auswählen von bestimmten Computersystemen, um einen Ausführungsknoten zu implementieren, kann von verschiedenen Faktoren abhängen, wie beispielsweise dem Ausmaß von Ressourcen, die für einen bestimmten Ausführungsknoten nötig sind (z.B. Verarbeitungsressourcenerfordernissen und Cacheerfordernissen), den Ressourcen, die bei bestimmten Computersystemen verfügbar sind, Kommunikationsfähigkeiten von Netzwerken innerhalb eines geographischen Standorts oder zwischen geographischen Standorten und welche Computersysteme bereits andere Ausführungsknoten in dem virtuellen Lager implementieren.
Die Ausführungsplattform 112 ist auch fehlertolerant. Wenn beispielsweise ein virtuelles Lager einen Fehler hat bzw. ausfällt, wird dieses virtuelle Lager schnell durch ein anderes virtuelles Lager an einem anderen geographischen Standort ersetzt.
Eine bestimmte Ausführungsplattform 112 kann irgendeine Anzahl von virtuellen Lagern 302-306 enthalten. Zusätzlich ist die Anzahl von virtuellen Lagern in einer bestimmten Ausführungsplattform dynamisch, so dass neue virtuelle Lager erzeugt werden, wenn zusätzliche Verarbeitungs- und/oder Cacheressourcen nötig sind. Gleichermaßen können existierende virtuelle Lager gelöscht werden, wenn die mit dem virtuellen Lager assoziierten Ressourcen nicht länger nötig sind.
Bei einigen Ausführungsformen können die virtuellen Lager 302, 304 und 306 an denselben Daten in der Speicherplattform 114 arbeiten, aber jedes virtuelle Lager hat seine eigenen Ausführungsknoten mit unabhängigen Verarbeitungs- und Cacheressourcen. Diese Konfiguration lässt zu, dass Aufforderungen an unterschiedliche virtuelle Lager unabhängig und ohne Beeinträchtigung zwischen den Aufforderungen verarbeitet werden. Diese unabhängige Verarbeitung, kombiniert mit der Fähigkeit, virtuelle Lager dynamisch hinzuzufügen und zu entfernen, unterstützt das Hinzufügen von neuer Verarbeitungskapazität für neue Anwender, ohne die Leistungsfähigkeit zu beeinträchtigen, die durch die existierenden Anwender beobachtet wird.
4 ist ein Blockdiagramm, das eine beispielhafte Betriebsumgebung 400 mit mehreren Anwendern darstellt, die über mehrere virtuelle Lager auf mehrere Datenbanken zugreifen. In der Umgebung 400 greifen mehrere Anwender 402, 404 und 406 über mehrere virtuelle Lager 408, 410 und 412 auf mehrere Datenbanken 414, 416, 418, 420, 422 und 424 zu. Obwohl es in 4 nicht gezeigt ist, können die Anwender 402, 404 und 406 auf die virtuellen Lager 408, 410 und 412 über den Ressourcenmanager 102 (1) zugreifen. Bei bestimmten Ausführungsformen sind Datenbanken 414-424 in der Speicherplattform 114 (1) enthalten und durch irgendein in der Ausführungsplattform 112 implementiertes virtuelles Lager zugreifbar. Bei einigen Ausführungsformen greifen die Anwender 402-406 auf eines der virtuellen Lager 408-412 unter Verwendung eines Datenkommunikationsnetzwerks, wie beispielsweise das Internet, zu. Bei einigen Implementierungen spezifiziert jeder Anwender 402-406 ein bestimmtes virtuelles Lager 408-412, um zu einer spezifischen Zeit mit ihm zu arbeiten. Bei dem Beispiel der 4 interagiert der Anwender 402 mit dem virtuellen Lager 408, interagiert der Anwender 404 mit dem virtuellen Lager 410 und interagiert der Anwender 406 mit dem virtuellen Lager 412. Somit reicht der Anwender 402 Datenwiedergewinnungs- und Datenspeicheraufforderungen über das virtuelle Lager 408 ein. Gleichermaßen reichen die Anwender 404 und 406 Datenwiedergewinnungs- und Datenspeicheraufforderungen jeweils über die virtuellen Lager 410 und 412 ein.
Jedes virtuelle Lager 408-412 ist konfiguriert, um mit einer Untergruppe von allen Datenbanken 414-424 zu kommunizieren. Beispielsweise ist in der Umgebung 400 das virtuelle Lager 408 konfiguriert, um mit den Datenbanken 414, 416 und 422 zu kommunizieren. Gleichermaßen ist das virtuelle Lager 410 konfiguriert, um mit den Datenbanken 416, 418, 420 und 424 zu kommunizieren. Und das virtuelle Lager 412 ist konfiguriert, um mit den Datenbanken 416, 422 und 424 zu kommunizieren. Bei alternativen Ausführungsformen kommuniziert oder kommunizieren eines oder mehrere der virtuellen Lager 408-412 mit allen von den Datenbanken 414-424. Die in 4 gezeigte Anordnung lässt zu, dass einzelne Anwender alle Datenwiedergewinnungs- und Datenspeicheraufforderungen über ein einziges virtuelles Lager senden. Dieses virtuelle Lager verarbeitet die Datenwiedergewinnungs- und Datenspeicheraufgaben unter Verwendung von im Cache gespeicherten Daten innerhalb von einem der Ausführungsknoten in dem virtuellen Lager oder gewinnt die nötigen Daten aus einer geeigneten Datenbank wieder (und speichert sie im Cache). Das Abbilden zwischen den virtuellen Lagern ist ein logisches Abbilden, kein hardwaremäßiges Abbilden. Dieses logische Abbilden basiert auf Zugriffssteuerparametern in Bezug auf Sicherheits- und Ressourcenzugriffsmanagementeinstellungen. Die logischen Abbildungen werden auf einfache Weise geändert, ohne eine Rekonfiguration der virtuellen Lager oder der Speicherressourcen zu erfordern.
Obwohl die Umgebung 400 virtuelle Lager 408-412 zeigt, die konfiguriert sind, um mit spezifischen Untergruppen von Datenbanken 414-424 zu kommunizieren, ist diese Konfiguration dynamisch. Zum Beispiel kann das virtuelle Lager 408 rekonfiguriert werden, um mit einer anderen Untergruppe von Datenbanken 414-424 zu kommunizieren, basierend auf sich ändernden Aufgaben, um durch das virtuelle Lager 408 durchgeführt zu werden. Beispielsweise dann, wenn das virtuelle Lager 408 Aufforderungen empfängt, auf Daten von der Datenbank 418 zuzugreifen, kann das virtuelle Lager 408 rekonfiguriert werden, um auch mit der Datenbank 418 zu kommunizieren. Wenn es das virtuelle Lager 408 zu einer späteren Zeit nicht länger nötig hat, auf Daten von der Datenbank 418 zuzugreifen, kann das virtuelle Lager 408 rekonfiguriert werden, um die Kommunikation mit der Datenbank 418 zu löschen.
5 ist ein Blockdiagramm, das eine weitere beispielhafte Betriebsumgebung 500 mit mehreren Anwendern darstellt, die auf mehrere Datenbanken über einen Lastausgleicher und in einer virtuellen Lagergruppe enthaltene mehrere virtuelle Lager zugreifen. Die Umgebung 500 ist ähnlich der Umgebung 400 (4), enthält aber zusätzlich einen Ressourcenmanager 508 für virtuelle Lager und mehrere virtuelle Lager 510, 512 und 514, die in einer virtuellen Lagergruppe 516 angeordnet sind. Der Ressourcenmanager 508 für virtuelle Lager kann im Ressourcenmanager 102 enthalten sein. Insbesondere greifen mehrere Anwender 502, 504 und 506 auf mehrere Datenbanken 518, 520, 522, 524, 526 und 528 über den Ressourcenmanager 508 für virtuelle Lager und die virtuelle Lagergruppe 516 zu. Bei einigen Ausführungsformen greifen die Anwender 502-506 auf den Ressourcenmanager 508 für virtuelle Lager unter Verwendung eines Datenkommunikationsnetzwerks, wie beispielsweise das Internet, zu. Obwohl es in 5 nicht gezeigt ist, können die Anwender 502, 504 und 506 auf den Ressourcenmanager 508 für virtuelle Lager über den Ressourcenmanager 102 (1) zugreifen. Bei einigen Ausführungsformen ist der Ressourcenmanager 508 für virtuelle Lager innerhalb des Ressourcenmanagers 102 implementiert.
Die Anwender 502-506 können Datenwiedergewinnungs- und Datenspeicheraufforderungen zu dem Ressourcenmanager 508 für virtuelle Lager einreichen, der die Datenwiedergewinnungs- und Datenspeicheraufforderungen zu einem geeigneten virtuellen Lager 510-514 in der virtuellen Lagergruppe 516 weiterleitet. Bei einigen Implementierungen stellt der Ressourcenmanager 508 für virtuelle Lager eine dynamische Zuordnung der Anwender 502-506 zu den virtuellen Lagern 510-514 zur Verfügung. Wenn sie eine Datenwiedergewinnungs- oder Datenspeicheraufforderung einreichen, können die Anwender 502-506 die virtuelle Lagergruppe 516 spezifizieren, um die Aufforderung zu verarbeiten, ohne das bestimmte virtuelle Lager 510-514 zu spezifizieren, das die Aufforderung verarbeiten wird. Diese Anordnung lässt zu, dass der Ressourcenmanager 508 für virtuelle Lager mehrere Aufforderungen basierend auf einer Effizienz, verfügbaren Ressourcen und der Verfügbarkeit von in Cache gespeicherten Daten innerhalb der virtuellen Lager 510-514 quer über die virtuellen Lager 510-514 verteilt. Wenn er bestimmt, wie Datenverarbeitungsaufforderungen weiterzuleiten sind, berücksichtigt der Ressourcenmanager 508 für virtuelle Lager verfügbare Ressourcen, aktuelle Ressourcenbelastungen, eine Anzahl von aktuellen Anwendern und ähnliches.
Bei einigen Ausführungsformen erzeugen Fehlertoleranzsysteme ein neues virtuelles Lager in Reaktion auf einen Fehler bzw. Ausfall eines virtuellen Lagers. Das neue virtuelle Lager kann in derselben virtuellen Lagergruppe sein oder kann in einer anderen virtuellen Lagergruppe an einem anderen geographischen Standort erzeugt werden.
Jedes virtuelle Lager 510-514 ist konfiguriert, um mit einer Untergruppe von allen Datenbanken 518-528 zu kommunizieren. Zum Beispiel ist das virtuelle Lager 510 in der Umgebung 500 konfiguriert, um mit den Datenbanken 518, 520 und 526 zu kommunizieren. Gleichermaßen ist das virtuelle Lager 512 konfiguriert, um mit den Datenbanken 520, 522, 524 und 528 zu kommunizieren. Und das virtuelle Lager 514 ist konfiguriert, um mit den Datenbanken 520, 526 und 528 zu kommunizieren. Bei alternativen Ausführungsformen können die virtuellen Lager 510-514 mit irgendwelchen (oder allen) der Datenbanken 518-528 kommunizieren.
Obwohl die Umgebung 500 eine virtuelle Lagergruppe 516 zeigt, können alternative Ausführungsformen irgendeine Anzahl von virtuellen Lagergruppen enthalten, wobei jede mit irgendeiner Anzahl von virtuellen Lagern assoziiert ist. Die Anzahl von virtuellen Lagergruppen in einer bestimmten Umgebung ist dynamisch und kann sich basierend auf den sich ändernden Notwendigkeiten der Anwender und anderer Systeme in der Umgebung ändern.
6 ist ein Blockdiagramm, das eine weitere beispielhaften Betriebsumgebung 600 zeigt, die mehrere verteilte virtuelle Lager und virtuelle Lagergruppen hat. Die Umgebung 600 enthält den Ressourcenmanager 102, der mit den virtuellen Lagergruppen 604 und 606 über ein Datenkommunikationsnetzwerk 602 kommuniziert. Die Lagergruppe 604 enthält zwei virtuelle Lager 608 und 610 und die Lagergruppe 606 enthält weitere zwei virtuelle Lager 614 und 616. Der Ressourcenmanager 102 kommuniziert auch mit dem virtuellen Lager 612 (das nicht Teil einer virtuellen Lagergruppe ist) über das Datenkommunikationsnetzwerk 602.
Die virtuellen Lagergruppen 604 und 606 sowie das virtuelle Lager 612 kommunizieren mit Datenbanken 620, 622 und 624 über ein Datenkommunikationsnetzwerk 618. Bei einigen Ausführungsformen sind die Datenkommunikationsnetzwerke 602 und 618 dasselbe Netzwerk. Die Umgebung 600 lässt zu, dass der Ressourcenmanager 102 Anwenderdatenspeicherungs- und -wiedergewinnungsaufforderungen quer über die mehreren virtuellen Lager 608-616 koordiniert, um Daten in den Datenbanken 620-624 zu speichern und wiederzugewinnen. Die virtuellen Lagergruppen 604 und 606 können in demselben geographischen Bereich angeordnet sein oder können geographisch getrennt sein. Zusätzlich können die virtuellen Lagergruppen 604 und 606 durch dieselbe Einheit oder durch unterschiedliche Einheiten implementiert sein.
Die hierin beschriebenen Systeme und Verfahren lassen zu, dass Daten, die gespeichert werden sollen und auf die zugegriffen werden soll als Service, getrennt von Computer- (oder Verarbeitungs-)Ressourcen sind. Selbst wenn keine Computerressourcen von der Ausführungsplattform zugeteilt worden sind, sind Daten für ein virtuelles Lager verfügbar, ohne ein erneutes Laden der Daten von einer entfernten Datenquelle zu erfordern. Somit sind Daten unabhängig von der Zuteilung von mit den Daten assoziierten Computerressourcen verfügbar. Die beschriebenen Systeme und Verfahren sind nützlich mit irgendeinem Typ von Daten. Bei bestimmten Ausführungsformen werden Daten in einem strukturierten, optimierten Format gespeichert. Die Entkopplung des Datenspeichers/Zugriffsdienstes von den Computerdiensten vereinfacht auch das gemeinsame Nutzen bzw. Teilen von Daten unter unterschiedlichen Anwendern und Gruppen. Wie es hierin diskutiert ist, kann jedes virtuelle Lager auf irgendwelche Daten zugreifen, zu welchen es Zugriffserlaubnisse hat, selbst zur gleichen Zeit, zu welcher andere virtuellen Lager auf dieselben Daten zugreifen. Diese Architektur unterstützt laufende Anfragen ohne irgendwelche im lokalen Cache gespeicherten tatsächlichen Daten. Die hierin beschriebenen Systeme und Verfahren sind auf eine Weise, die für den Anwender des Systems transparent ist, zu einer transparenten dynamischen Datenbewegung fähig, welche Daten von einer entfernten Speichervorrichtung zu einem lokalen Cache bewegt, wie es nötig ist. Weiterhin unterstützt diese Architektur ein gemeinsames Nutzen bzw. Teilen von Daten ohne eine vorherige Datenbewegung, da aufgrund der Entkopplung des Datenspeicherdienstes vom Computerdienst irgendein virtuelles Lager auf irgendwelche Daten zugreifen kann.
7 ist ein Ablaufdiagramm, das eine Ausführungsform eines Verfahrens 700 zum Managen von Datenspeicherungs- und -wiedergewinnungsoperationen darstellt. Zu Anfang empfängt das Verfahren 700 bei 702 eine Anweisung, eine Aufforderung oder eine Anfrage von einem Anwender. Eine Anweisung ist irgendeine Aufforderung oder ein Befehl, um eine datenbezogene Operation durchzuführen. Beispielhafte Anweisungen enthalten Datenwiedergewinnungsaufforderungen, Datenspeicherungsaufforderungen, Datenübertragungsaufforderungen, Datenanfragen und ähnliches. Bei einigen Ausführungsformen ist die Anweisung als eine SQL-Anweisung implementiert. Ein Ressourcenmanager erzeugt einen Anfragekoordinierer bei 704, um die empfangene Anweisung zu managen. Beispielsweise managt der Anfragekoordinator die verschiedenen Aufgaben, die dazu nötig sind, die empfangene Anweisung zu verarbeiten, einschließlich eines Interagierens mit einer Ausführungsplattform und einer oder mehreren Datenspeichervorrichtungen. Bei einigen Ausführungsformen ist der Anfragekoordinator eine temporäre Routine, die spezifisch erzeugt ist, um die empfangene Anweisung zu managen.
Das Verfahren 700 fährt fort, indem der Ressourcenmanager bei 706 mehrere Aufgaben bestimmt, die dazu nötig sind, die empfangene Anweisung zu verarbeiten. Die mehreren Aufgaben können beispielsweise ein Zugreifen auf Daten aus einem Cache in einem Ausführungsknoten, ein Wiedergewinnen von Daten aus einer entfernten Speichervorrichtung, ein Updaten von Daten in einem Cache, ein Speichern von Daten in einer entfernten Speichervorrichtung und ähnliches enthalten. Der Ressourcenmanager verteilt bei 708 auch die mehreren Aufgaben auf Ausführungsknoten in der Ausführungsplattform. Wie es hierin diskutiert ist, sind die Ausführungsknoten in der Ausführungsplattform innerhalb von virtuellen Lagern implementiert. Bei 710 führt jeder Ausführungsknoten eine zugeordnete Aufgabe durch und bringt ein Aufgabenergebnis zum Ressourcenmanager zurück. Bei einigen Ausführungsformen bringen die Ausführungsknoten die Aufgabenergebnisse zum Anfragekoordinator zurück. Bei 712 empfängt der Ressourcenmanager die mehreren Aufgabenergebnisse und erzeugt ein Anweisungsergebnis und kommuniziert bei 714 das Anweisungsergebnis zum Anwender. Bei einigen Ausführungsformen wird der Anfragekoordinator gelöscht, nachdem das Anweisungsergebnis zum Anwender kommuniziert ist.
8 ist ein Ablaufdiagramm, das eine Ausführungsform eines Verfahrens 800 zum Managen eines Datencaches darstellt. Anfangs empfängt (oder identifiziert) das Verfahren 800 eine Anfrage von einem Anwender bei 802. Das Verfahren 800 identifiziert mehrere Dateien, die nötig sind, um die empfangene Anfrage zu verarbeiten, bei 804. Um die mehreren Dateien im Wesentlichen gleichzeitig zu verarbeiten, werden bei 806 jeweilige der mehreren Dateien zu einem Bestimmten Ausführungsknoten zur Verarbeitung verteilt. Bei bestimmten Ausführungsformen wird irgendeine Anzahl von Ausführungsknoten verwendet, um die mehreren Dateien zu verarbeiten. Jeder der Ausführungsknoten wird bei 808 angewiesen, die Anfrage basierend auf den zu diesem Ausführungsknoten verteilten Dateien auszuführen.
Das Verfahren 800 fährt damit fort, dass jeder Ausführungsknoten bei 810 bestimmt, ob die zu dem Ausführungsknoten verteilten Dateien im Cache des Ausführungsknotens gespeichert sind. Auf den Cache des Ausführungsknotens kann auch als „lokaler Cache“ Bezug genommen werden. Wenn die Dateien bereits im Cache des Ausführungsknotens gespeichert sind, verarbeitet der Ausführungsknoten die Anfrage unter Verwendung dieser im Cache gespeicherten Dateien bei 816. Jedoch dann, wenn eine oder mehrere Dateien nicht im Cache des Ausführungsknotens gespeichert ist oder sind, gewinnt der Ausführungsknoten die nicht im Cache gespeicherten Dateien bei 812 aus einer entfernten Speichervorrichtung wieder bzw. ruft sie ab. Der Ausführungsknoten speichert die wiedergewonnenen Dateien bei 814 im lokalen Cache und verarbeitet die Anfrage unter Verwendung der wiedergewonnenen Dateien bei 816. Bei einigen Ausführungsformen modifiziert der Ausführungsknoten die wiedergewonnene Datei vor einem Speichern der Datei im lokalen Cache. Beispielsweise kann der Ausführungsknoten die verschlüsselte Datei entschlüsseln oder eine komprimierte Datei dekomprimieren. Durch Entschlüsseln oder Dekomprimieren der Datei vor einem (Zwischen-)Speichern im Cache führ der Ausführungsknoten diese Modifikation nur einmal durch, anstelle eines Entschlüsseins oder Dekomprimierens der Datei jedes Mal dann, wenn auf sie vom lokalen Cache aus zugegriffen wird.
Nach einem Verarbeiten der Anfrage updated der Ausführungsknoten Metadateninformation basierend auf dem aktuellen bzw. gegenwärtigen Zustand des lokalen Caches bei 818. Die Metadaten 110 (1) speichern Information über Daten, die in jedem Ausführungsknoten im Cache gespeichert sind. Somit werden jedes Mal dann, wenn Daten in einem Ausführungsknoten upgedated werden (z.B. neue Daten im Cache gespeichert werden oder Daten von einem schnellen Speicher zu einem langsameren HDD bewegt werden), die Metadaten 110 upgedated, um das Update des Ausführungsknotens zu zeigen.
Bein einigen Ausführungsformen enthält die empfangene Anfrage eine einzelne Anweisung. Diese einzelne Anweisung wird durch jeden der mehreren Ausführungsknoten zu im Wesentlichen derselben Zeit implementiert. Obwohl jeder der mehreren Ausführungsknoten dieselbe Anweisung implementiert, ist jeder Ausführungsknoten für unterschiedliche Dateien verantwortlich, an welche die Anweisung implementiert ist. Somit wird die einzelne Anweisung auf mehrere unterschiedliche Datendateien durch mehrere Ausführungsknoten parallel zueinander implementiert.
Die hierin beschriebenen beispielhaften System und Verfahren stellen eine Architektur mit verteiltem Cache innerhalb eines einzelnen virtuellen Lagers oder quer über mehrere virtuelle Lager bzw. universelle Datenbanken zur Verfügung. Jeder Ausführungsknoten in einem bestimmten virtuellen Lager hat seinen eigenen Cache. Die mehreren Ausführungsknoten in dem bestimmten virtuellen Lager bilden einen verteilten Cache (d.h. verteilt quer über die mehreren Ausführungsknoten). Bei anderen Ausführungsformen kann der Cache quer über mehrere Ausführungsknoten verteilt sein, die in mehreren unterschiedlichen virtuellen Lagern enthalten sind.
Bei einigen Implementierungen wird dieselbe Datei durch mehrere Ausführungsknoten zur selben Zeit in einem Cache gespeichert. Dieses mehrfache Speichern im Cache von Dateien hilft bei einer Lastausgleichung (z.B. einer Ausgleichung von Datenverarbeitungsaufgaben) über mehrere Ausführungsknoten hinweg. Zusätzlich hilft ein Speichern im Cache von einer Datei in mehreren Ausführungsknoten beim Vermeiden von potentiellen Engpässen, wenn signifikante Mengen von Daten versuchen, durch dieselbe Kommunikationsverbindung zu gelangen. Diese Implementierung unterstützt auch die Parallelverarbeitung derselben Daten durch unterschiedliche Ausführungsknoten.
Die hierin beschriebenen Systeme und Verfahren ziehen einen Vorteil aus den Vorteilen von sowohl Systemen mit gemeinsam genutzter Platte als auch der Shared-Nothing-Architektur. Die beschriebene Plattform zum Speichern und Wiedergewinnen von Daten ist skalierbar wie die Shared-Nothing-Architektur, wenn einmal Daten lokal in einem Cache gespeichert sind. Sie hat auch alle Vorteile einer Architektur einer gemeinsam genutzten Platte, wo Verarbeitungsknoten hinzugefügt und entfernt werden können, ohne irgendwelche Beschränkungen (z.B. für 0 bis N) und ohne irgendeine explizite Umstrukturierung von Daten zu erfordern.
Bei einigen Ausführungsformen ist oder sind einer oder mehrere der in den Ausführungsknoten enthaltenen Caches Mehrebenen-Caches, die unterschiedliche Typen von Datenspeichervorrichtungen enthalten. Zum Beispiel kann ein bestimmter Cache eine Hierarchie von Datenspeichervorrichtungen haben, die unterschiedliche Datenzugriffsgeschwindigkeiten zur Verfügung stellen. Bei einer Ausführungsform enthält ein Cache einen Speicher, der die schnellste Datenzugriffsgeschwindigkeit zur Verfügung stellt, ein Solid-State Drive bzw. Halbleiterlaufwerk (SSD), das eine mittlere Datenzugriffsgeschwindigkeit zur Verfügung stellt, und ein Hard Disk Drive bzw. Festplattenlaufwerk (HDD), das eine niedrigere Datenzugriffsgeschwindigkeit zur Verfügung stellt. Der Ressourcenmanager 102 (1) und/oder andere Systeme können managen, welche Daten in den unterschiedlichen Datenspeichervorrichtungen gespeichert sind. Zum Beispiel werden die Daten, auf die am häufigsten zugegriffen wird, im Speicher gespeichert, und werden die Daten, auf die am wenigsten häufig zugegriffen wird, im Festplattenlaufwerk gespeichert. Bei einigen Ausführungsformen wird ein LRU- (Least recently used = Am längsten nicht verwendet) Algorithmus verwendet, um die Speicherung von Daten in den mehreren Speichervorrichtungen zu managen. Zum Beispiel kann der LRU-Algorithmus bestimmen, ob bestimmte Daten in einem schnellen Speicher oder einer langsameren Speichervorrichtung zu speichern sind. Bei einigen Implementierungen bestimmt der LRU-Algorithmus auch, welche Daten aus einem Cache zu entfernen sind.
Bei einigen Ausführungsformen wird nur ein Teilbereich von gewissen bzw. bestimmten Dateien im Cache gespeichert. Zum Beispiel kann, wenn Daten in einem spaltenartigen Format gespeichert sind und nur auf bestimmte Spalten innerhalb der Datei auf einer regelmäßigen Basis zugegriffen wird, das System auswählen, die Spalten, auf die zugegriffen wird, im Cache zu speichern (und die anderen Spalten nicht im Cache zu speichern). Dieser Ansatz bewahrt den Cache-Speicherplatz und stellt eine effektive Nutzung der verfügbaren Cache-Ressourcen zur Verfügung. Zusätzlich reduziert dieser Ansatz die Menge an Daten, die von den entfernten Speichervorrichtungen zum Cache kopiert werden. Eher als dass man die gesamte Datei aus den entfernten Speichervorrichtungen kopiert, werden nur die relevanten Spalten aus der entfernten Speichervorrichtung in den Cache kopiert. Bei anderen Ausführungsformen speichern die beschriebenen System und Verfahren bestimmte Zeilen innerhalb der Datei, auf die auf einer regelmäßigen Basis zugegriffen wird, im Cache.
Zusätzlich sind die beschriebenen Systeme und Verfahren dazu fähig, eine Datenstück herauszuschneiden, wenn es für eine bestimmte Anfrage nicht relevant ist, ohne dass man zuerst auf dieses Datenstück zugreifen muss. Zum Beispiel minimieren die Systeme und Verfahren die Menge an Daten, die von einer entfernten Speichervorrichtung geladen sind, durch Beschneiden in sowohl horizontaler (das System kennt die Untergruppe von Zeilen, auf die zugegriffen werden muss) als auch vertikaler Richtung (nur die Spalten werden geladen, auf die Bezug genommen ist). Dies wird erreicht durch Speichern der Metadaten (d.h. der Metadaten, die mit den gespeicherten Daten assoziiert sind) getrennt von den gespeicherten Daten. Diese Metadaten lassen zu, dass die Systeme und Verfahren bestimmen, auf welche Dateien (und welche Dateistücke) für eine bestimmte Aufgabe zugegriffen werden muss.
Bei einigen Ausführungsformen können die hierin beschriebenen Systeme und Verfahren einen mit einem bestimmten Cache assoziierten Metadatenzustand sichern. Zum Beispiel kann die Metadatenzustandsinformation eine Liste von allen Dateien (oder Dateistücken) enthalten, die im Cache gespeichert sind, und den letzten Zeitpunkt, zu welchem auf eine jeweilige Datei (oder ein Dateistück) zugegriffen wurde. Diese Metadatenzustandsinformation wird gesichert, wenn ein Ausführungsknoten oder ein virtuelles Lager in den Winterschlaf bzw. Ruhezustand versetzt wird. Wenn der Ausführungsknoten oder das virtuelle Lager wiederhergestellt wird, dann wird die Metadatenzustandsinformation verwendet, um den Cache vorzubereiten, um dadurch den Cache zu demselben Zustand wiederherzustellen (d.h. Speichern derselben Datendateien) wie dann, wenn der Ruhezustand auftrat. Unter Verwendung dieses Ansatzes muss der Cache über eine Zeitperiode basierend auf zugeordneten Aufgaben nicht neu mit Daten besiedelt bzw. beladen werden. Stattdessen wird der Cache sofort mit Daten besiedelt bzw. beladen, um den vorherigen Zustand ohne die Verzögerungszeit eines Startens mit einem leeren Cache wiederherzustellen. Auf diesen Prozess kann als „Aufwärmen des Caches“ Bezug genommen werden.
Die hierin diskutierten Metadaten können Information in Bezug auf Offsets bzw. Versätze in einer Datei enthalten. Zum Beispiel können die Metadaten alle Stücke einer bestimmten Datei identifizieren und eine Abbildung bzw. Karte der Datei (d.h. eine Abbildung, die alle Stücke der Datei identifiziert) enthalten. Die mit den Dateistücken assoziierten Metadaten können einen Dateinamen, eine Dateigröße, eine Tabelle, zu der die Datei gehört, eine Spaltengröße, einen Spaltenstandort und ähnliches enthalten. Der Spaltenstandort kann als ein Spaltenoffset (z.B. ein Offset bzw. Versatz ab dem Beginn der Datei) ausgedrückt werden. Der Spaltenoffset spezifiziert einen bestimmten Standort innerhalb der Datei. Bei einigen Ausführungsformen sind diese Metadaten in den ersten weinigen Bytes eines Datei-Anfangsblocks enthalten. Somit kann das System aus dem Datei-Anfangsblock bestimmen, wie auf die Stücke der Datei zuzugreifen ist (unter Verwendung der Abbildung der Datei, definiert in den Metadaten), ohne auf eine Metadaten-Datenbank (z.B. Datenbank 110 in 1) zugreifen zu müssen.
Bei bestimmten Implementierungen kann ein Cache mehrere Speichervorrichtungen, wie beispielsweise einen Speicher und eine lokale Plattenspeichervorrichtung, verwenden. Um die Cache-Trefferrate zu maximieren, werden Dateien (oder Teilbereiche von Dateien), auf die kürzlich nicht zugegriffen worden ist, aus dem Cache entfernt, um Speicherplatz für andere Dateien (oder Teilbereiche von anderen Dateien) zur Verfügung zu stellen, auf die häufiger zugegriffen wird.
Die 9 ist ein Blockdiagramm, das eine beispielhafte Computervorrichtung 900 darstellt. Bei einigen Ausführungsformen wird die Computervorrichtung 900 verwendet, um eines oder mehreres von den Systemen und Komponenten zu implementieren, die hierin diskutiert sind. Zum Beispiel kann die Computervorrichtung 900 zulassen, dass ein Anwender oder ein Administrator auf den Ressourcenmanager 102 zugreift. Weiterhin kann die Computervorrichtung 900 mit irgendetwas von den Systemen und den Komponenten interagieren, die hierin beschrieben sind. Demgemäß kann die Computervorrichtung 900 verwendet werden, um verschiedene Prozeduren und Aufgaben durchzuführen, wie beispielsweise diejenigen, die hierin diskutiert sind. Die Computervorrichtung 900 kann als Server, Client oder irgendeine andere Computereinheit fungieren. Die Computervorrichtung 900 kann irgendeine von einer breiten Vielfalt von Computervorrichtungen sein, wie beispielsweise ein Desktopcomputer, ein Notebookcomputer, ein Servercomputer, ein in der Hand gehaltener Computer bzw. Handheld-Computer, ein Tablet und ähnliches.
Die Computervorrichtung 900 enthält einen oder mehrere Prozessoren 902, eine oder mehrere Speichervorrichtungen 904, eine oder mehrere Schnittstellen 906, eine oder mehrere Massenspeichervorrichtungen 908 und eine oder mehrere Eingabe/Ausgabe-(I/O)-Vorrichtungen 910, von welchen alle mit einem Bus 912 gekoppelt sind. Der Prozessor (die Prozessoren) 902 enthält (enthalten) einen oder mehrere Prozessoren oder Steuerungen, die Anweisungen ausführen, die in der Speichervorrichtung (den Speichervorrichtungen) 904 und/oder der Massenspeichervorrichtung (den Massenspeichervorrichtungen) 908 gespeichert sind. Der Prozessor (die Prozessoren) 902 kann (können) auch verschiedene Typen von computerlesbaren Medien, wie beispielsweise einen Cachespeicher, enthalten.
Die Speichervorrichtung(en) 904 enthält (enthalten) verschiedene computerlesbare Medien, wie beispielsweise flüchtige Speicher (z.B. einen Direktzugriffsspeicher (RAM)) und/oder einen nichtflüchtigen Speicher (z.B. einen Nurlesespeicher (ROM)). Die Speichervorrichtung(en) 904 kann (können) auch einen wiederbeschreibbaren ROM, wie beispielsweise einen Flash-Speicher, enthalten.
Die Massenspeichervorrichtung(en) 908 enthält (enthalten) verschiedene computerlesbare Medien, wie beispielsweise Magnetbänder, Magnetplatten, optische Platten, einen Festkörperspeicher (z.B. einen Flash-Speicher), und so weiter. Verschiedene Laufwerke können auch in der (den) Massenspeichervorrichtung(en) 908 enthalten sein, um ein Lesen von und/oder ein Schreiben zu den verschiedenen computerlesbaren Medien zu ermöglichen. Die Massenspeichervorrichtung(en) 908 enthält (enthalten) entfernbare Medien und/oder nicht entfernbare Medien.
Die I/O-Vorrichtung(en) 910 enthält (enthalten) verschiedene Vorrichtungen, die zulassen, dass Daten und/oder andere Information zu der Computervorrichtung 900 eingegeben oder aus dieser ausgelesen werden. Eine beispielhafte I/O-Vorrichtung (beispielhafte I/O-Vorrichtungen) 910 enthält (enthalten) Cursor-Steuervorrichtungen, Tastaturen, Keypads bzw. kleine Tastaturen bzw. Folientastaturen, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzwerkschnittstellenkarten, Modems, eine Optik, CCDs oder andere Bilderfassungsvorrichtungen und ähnliches.
Die Schnittstelle(n) 906 enthält (enthalten) verschiedene Schnittstellen, die zulassen, dass die Computervorrichtung 900 mit anderen Systemen, Vorrichtungen oder Computerumgebungen interagiert. Eine beispielhafte Schnittstelle (beispielhafte Schnittstellen) 906 enthält (enthalten) irgendeine Anzahl von unterschiedlichen Netzwerkschnittstellen, wie beispielsweise Schnittstellen zu lokalen Netzen (LAN), Weitverkehrsnetzen (WAN), drahtlosen Netzen und dem Internet.
Der Bus 912 lässt zu, dass der Prozessor (die Prozessoren) 902, die Speichervorrichtung(en) 904, die Schnittstelle(n) 906, die Massenspeichervorrichtung(en) 908 und die I/O-Vorrichtung(en) 910 miteinander kommunizieren, sowie anderen Vorrichtungen oder Komponenten, die mit dem Bus 912 gekoppelt sind. Der Bus 912 stellt eine oder mehrere von einigen Typen von Busstrukturen dar, wie beispielsweise einen Systembus, einen PCI-Bus, einen IEEE-1394-Bus, einen USB-Bus und so weiter.
Zu Darstellungszwecken sind Programme und andere ausführbare Programmkomponenten hierin als diskrete Blöcke gezeigt, obwohl es verstanden wird, dass solche Programme und Komponenten zu unterschiedlichen Zeiten in unterschiedlichen Speicherkomponenten der Computervorrichtung 900 sitzen können und durch den Prozessor (die Prozessoren) 902 ausgeführt werden. Alternativ können die Systeme und Prozeduren, die hierin beschrieben sind, in Hardware oder einer Kombination aus Hardware, Software und/oder Firmware implementiert sein. Beispielsweise kann oder können eine oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) programmiert sein, um eines oder mehreres der hierin beschriebenen Systeme und Prozeduren auszuführen.
Obwohl die vorliegende Offenbarung in Bezug auf bestimmte bevorzugte Ausführungsformen beschrieben ist, werden andere Ausführungsformen für Fachleute auf dem Gebiet offensichtlich werden, denen der Vorteil dieser Offenbarung gegeben ist, einschließlich Ausführungsformen, die nicht alle der hierin dargelegten Vorteile und Merkmale zur Verfügung stellen, welche auch innerhalb des Schutzumfangs dieser Offenbarung sind. Es ist zu verstehen, dass andere Ausführungsformen verwendet werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen.

Claims

Computerprogramm, das Anweisungen umfasst, die dann, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, veranlassen, dass der eine oder die mehreren Prozessoren Operationen durchführt oder durchführen, die folgendes umfassen: Identifizieren einer Vielzahl von Dateien, die verwendet werden, um eine Anfrage zu verarbeiten; Verteilen jeder der Vielzahl von Dateien zu einem bestimmten Ausführungsknoten, wobei jeder Ausführungsknoten konfiguriert ist, um die Anfrage mit den Dateien auszuführen, die zu diesem Ausführungsknoten verteilt sind; Bestimmen, durch jeden Ausführungsknoten, ob die verteilte Datei im Cache des Ausführungsknotens gespeichert ist; in Reaktion auf ein Bestimmen, dass die verteilte Datei im Cache des Ausführungsknotens gespeichert ist, Verarbeiten, unter Verwendung von einem oder mehreren Prozessoren, der Anfrage unter Verwendung der im Cache gespeicherten Datei; und in Reaktion auf ein Bestimmen, dass die verteilte Datei nicht im Cache des Ausführungsknotens gespeichert ist: Wiedergewinnen bzw. Abrufen der Datei aus einer entfernten Speichervorrichtung; Speichern der Datei im Cache des Ausführungsknotens; und Verarbeiten, unter Verwendung von dem einen oder den mehreren Prozessoren, der Anfrage unter Verwendung der Datei.
Computerprogramm nach Anspruch 1, wobei die Operationen weiterhin ein Updaten von Metadateninformation basierend auf Dateien umfassen, die aktuell lokal im Cache des Ausführungsknotens gespeichert sind.
Computerprogramm nach Anspruch 1, wobei ein Speichern der Datei im Cache des Ausführungsknotens ein Bestimmen enthält, ob die verteilte Datei in einer schnellen Speichervorrichtung oder einer langsameren Speichervorrichtung zu speichern ist.
Computerprogramm nach Anspruch 3, wobei ein Bestimmen, ob die verteilte Datei in einem schnellen Speicher oder einer langsameren Speichervorrichtung zu speichern ist, ein Implementieren eines LRU- (Least recently used = Am längsten nicht verwendet) Algorithmus enthält.
Computerprogramm nach Anspruch 4, wobei der LRU-Algorithmus weiterhin Daten identifiziert, um sie von einem bestimmten Cache des Ausführungsknotens zu entfernen.
Computerprogramm nach Anspruch 1, wobei ein Verteilen von jeder der Vielzahl von Dateien zu einem bestimmten Ausführungsknoten ein Analysieren von mit den Ausführungsknoten assoziierten Metadaten enthält.
Computerprogramm nach Anspruch 1, wobei jeder Cache des Ausführungsknotens eine ersten Speicherteilbereich und einen zweiten Speicherteilbereich enthält, wobei der erste Speicherteilbereich signifikant schneller als der zweite Speicherteilbereich ist.
Computerprogramm nach Anspruch 1, wobei die empfangene Anfrage eine einzelne Anweisung enthält, die auf die Vielzahl von Dateien im Wesentlichen gleichzeitig angewendet wird.
Computerprogramm nach Anspruch 1, wobei ein Wiedergewinnen bzw. Abrufen der Datei aus einer entfernten Speichervorrichtung folgendes enthält: Bestimmen, welche Teilbereiche der Datei verwendet werden, um die Anfrage zu verarbeiten; und Wiedergewinnen von nur den Teilbereichen, die verwendet werden, um die Anfrage zu verarbeiten, aus der entfernten Speichervorrichtung.
Computerprogramm nach Anspruch 1, wobei die Operationen weiterhin ein Speichern der Teilbereiche der Datei, die verwendet werden, um die Anfrage zu verarbeiten, im Cache des Ausführungsknotens umfassen.
Computerprogramm nach Anspruch 1, wobei die Operationen weiterhin ein Modifizieren einer Datenstruktur der wiedergewonnenen Datei vor einem Speichern der Datei im Cache des Ausführungsknotens umfassen.
Computerprogramm nach Anspruch 11, wobei ein Modifizieren der Datenstruktur der wiedergewonnenen Datei ein Entschlüsseln der wiedergewonnenen Datei enthält.
Computerprogramm nach Anspruch 11, wobei ein Modifizieren der Datenstruktur der wiedergewonnenen Datei ein Dekomprimieren der wiedergewonnenen Datei enthält.
Vorrichtung, umfassend: einen Ressourcenmanager, der konfiguriert ist, um eine Vielzahl von Dateien zu identifizieren, die verwendet werden, um eine Anfrage zu verarbeiten; und eine Ausführungsplattform, die mit dem Ressourcenmanager gekoppelt ist, wobei die Ausführungsplattform eine Vielzahl von Ausführungsknoten enthält, die konfiguriert sind, um die Anfrage unter Verwendung der Vielzahl von Dateien zu verarbeiten, wobei jeder Ausführungsknoten einen Cache enthält, der konfiguriert ist, um Daten zu speichern, die aus einer Vielzahl von entfernten Speichervorrichtungen wiedergewonnen bzw. abgerufen sind, wobei die Ausführungsplattform weiterhin konfiguriert ist, um die Vielzahl von Dateien zu wenigstens einem der Vielzahl von Ausführungsknoten basierend auf Metadaten zu verteilen, die mit der Vielzahl von Ausführungsknoten assoziiert sind, wobei jeder Ausführungsknoten weiterhin ein Prozessor enthält, der konfiguriert ist, um die Anfrage unter Verwendung von wenigstens einer der Vielzahl von Dateien zu verarbeite; wobei die Ausführungsplattform weiterhin konfiguriert ist, um zu bestimmen, ob die Dateien in einem Cache des Ausführungsknotens gespeichert sind, in Reaktion auf ein Bestimmen, dass eine bestimmte Datei nicht im Cache des Ausführungsknotens gespeichert ist, die Ausführungsplattform konfiguriert ist, um den Ausführungsknoten anzuweisen, die Datei aus der entfernten Speichervorrichtung wiederzugewinnen bzw. abzurufen, die wiedergewonnene Datei im Cache des Ausführungsknotens (zwischen) zu speichern und die Anfrage unter Verwendung der wiedergewonnenen Daten zu verarbeiten.
Vorrichtung nach Anspruch 14, wobei jeder Cache des Ausführungsknotens eine Speichervorrichtung und eine Plattenspeichervorrichtung enthält.
Vorrichtung nach Anspruch 15, wobei die Ausführungsplattform weiterhin konfiguriert ist, um zu bestimmen, ob eine Datei in der Speichervorrichtung oder der Plattenspeichervorrichtung des Caches des Ausführungsknotens (zwischen) zu speichern ist.
Vorrichtung nach Anspruch 14, wobei die Ausführungsplattform in eine Vielzahl von virtuellen universellen Datenbanken bzw. Lagern segmentiert ist wobei jedes virtuelle Lager einen Teilbereich der Vielzahl von Ausführungsknoten enthält.
Vorrichtung nach Anspruch 14, wobei die Ausführungsplattform weiterhin konfiguriert ist, um eine Datenstruktur, die mit einer bestimmten Datei assoziiert ist, vor einem Speichern der bestimmten Datei im Cache zu modifizieren.
Vorrichtung, umfassend: einen Ressourcenmanager, der konfiguriert ist, um eine Vielzahl von Dateien zu identifizieren, die verwendet werden, um eine Anfrage zu verarbeiten; Mittel zum Ausführen von Datenverarbeitungsaufgaben, wobei die Mittel zum Ausführen eine Vielzahl von Ausführungsknoten enthalten, die konfiguriert sind, um die Anfrage unter Verwendung der Vielzahl von Dateien zu verarbeiten, wobei jeder Ausführungsknoten einen Cache enthält, der konfiguriert ist, um Daten zu speichern, die aus einer Vielzahl von entfernten Speichervorrichtung wiedergewonnen bzw. abgerufen sind, wobei die Mittel zum Ausführen die Vielzahl von Dateien zu wenigstens einem der Vielzahl von Ausführungsknoten basierend auf Metadaten verteilen, die mit der Vielzahl von Ausführungsknoten assoziiert sind, wobei jeder Ausführungsknoten weiterhin einen Prozessor enthält, der konfiguriert ist, um die Anfrage unter Verwendung von wenigstens einer der Vielzahl von Dateien zu verarbeiten; wobei die Mittel zum Ausführen weiterhin bestimmen, ob die Dateien in einem Cache des Ausführungsknotens gespeichert sind, in Reaktion auf ein Bestimmen, dass eine bestimmte Datei nicht im Cache des Ausführungsknotens gespeichert ist, die Mittel zum Ausführen den Ausführungsknoten anweisen, die Datei aus der entfernten Speichervorrichtung wiederzugewinnen bzw. abzurufen, die wiedergewonnene Datei im Cache des Ausführungsknotens (zwischen) zu speichern und die Anfrage unter Verwendung der wiedergewonnenen Datei zu verarbeiten.
Vorrichtung nach Anspruch 19, wobei die Caches in der Vielzahl von Ausführungsknoten einen verteilten Cache umfassen, der durch die Mittel zum Ausführen von Datenverarbeitungsaufgaben gemanagt wird.