DE102011111045A1

DE102011111045A1 - Arbeitsverfahren für ein Speichersystem, Speichersystem und Computerprogrammprodukt

Info

Publication number: DE102011111045A1
Application number: DE102011111045A
Authority: DE
Inventors: Christoph König
Original assignee: Fujitsu Technology Solutions Intellectual Property GmbH
Current assignee: Fujitsu Ltd
Priority date: 2011-08-19
Filing date: 2011-08-19
Publication date: 2013-02-21
Anticipated expiration: 2031-08-20
Also published as: DE102011111045B4; WO2013026713A1

Abstract

Die Erfindung betrifft ein Arbeitsverfahren (20) für ein Speichersystem (1) mit einem primären Massenspeicher (2) und einem sekundären Massenspeicher (3), wobei Zugriffe auf den sekundären Massenspeicher (3) im Durchschnitt langsamer sind als Zugriffe auf den primären Massenspeicher (2). Das Verfahren umfasst die Schritte des Bestimmens eines Nutzfaktors für die Auslagerung eines Datensatzes, des Bestimmens eines Nachteilsfaktors für die Auslagerung des Datensatzes, des Festlegens einer Verdrängungspriorität durch Abwägung des bestimmten Nutzfaktors und des bestimmten Nachteilsfaktors und des Auslagerns des Datensatzes von dem primären Massenspeicher (2) auf den sekundären Massenspeicher (3), wenn die festgelegte Verdrängungspriorität einen Vergleichswert übersteigt. Die Erfindung betrifft außerdem ein Speichersystem (1) sowie ein Computerprogrammprodukt.

Description

Die Erfindung betrifft ein Arbeitsverfahren für ein Speichersystem mit einem primären Massenspeicher und einem sekundären Massenspeicher, wobei Zugriffe auf den sekundären Massenspeicher im Durchschnitt langsamer sind als Zugriffe auf den primären Massenspeicher. Des Weiteren betrifft die Erfindung ein derartiges Speichersystem, umfassend wenigstens einen primären Massenspeicher, wenigstens einen sekundären Massenspeicher und wenigstens eine Datenverarbeitungseinrichtung zum Ausführen eines Steuerprogramms für das Speichersystem sowie ein Computerprogrammprodukt.
Derartige Speichersysteme und zugehörige Arbeitsverfahren sind aus dem Stand der Technik bekannt. Beispielsweise bietet die Firma Fujitsu Technology Solutions GmbH unter der Bezeichnung ”Eternus CS High End” eine Datensicherungsvorrichtung für Rechenzentren an. Dabei handelt es sich um eine Weiterentwicklung des Backup- und Archivierungssystems, wie es beispielsweise in der WO 01/40924 A2 offenbart ist.
Die bekannten Vorrichtungen verwenden ein hierarchisches Speichersystem mit relativ schnellen, teuren primären Massenspeichern wie beispielsweise Festplattenlaufwerken mit magnetischen Speicherplatten (engl. Hard Disk Drives – HDD) oder Festkörperlaufwerke mit nichtflüchtigem Halbleiterspeichern (engl. Solid State Drives – SSD), und sekundäre, in der Regel größere, langsamere und billigere Massenspeicher, beispielsweise in der Form von Magnetbandlaufwerken und zugehörigen Magnetbändern.
Im Betrieb des Speichersystems stellt sich dabei die Frage, welche Daten auf dem schnelleren, dafür in der Regel aber begrenzten, primären Massenspeicher und welche Daten auf dem meist wesentlich größeren, aber langsameren, sekundären Massenspeicher abgespeichert werden sollen. Konventionelle Speichersystems verwenden dabei entweder die Größe einer zu speichernden Datei und/oder einen Zeitpunkt eines letzten Zugriffs auf eine Datei als Entscheidungskriterium, ob eine Datei in einem primären Massenspeicher oder in einem sekundären Massenspeicher abgelegt werden soll. Dabei werden bevorzugt ältere bzw. größere Dateien auf dem sekundären Massenspeicher abgelegt, während jüngere oder kleinere Dateien auf dem primären Massenspeicher abgelegt werden. Soll auf die ausgelagerten Daten wieder zugegriffen werden, werden diese in der Regel zunächst von dem sekundären Massenspeicher zurück in den primären Massenspeicher geholt.
Eine Aufgabe der vorliegenden Erfindung ist es, ein Arbeitsverfahren bzw. ein Speichersystem anzugeben, bei dem die Entscheidung, welche Daten auf welchem Massenspeicher abgelegt werden, flexibler gestaltet werden kann. Zudem soll sich die Entscheidung an den Bedürfnissen der Nutzer bzw. an den Charakteristiken von Anwendungen orientieren, die auf die gespeicherten Daten zugreifen.
Gemäß einem ersten Aspekt der Erfindung wird ein Arbeitsverfahren für ein Speichersystem der oben genannten Art beschrieben. Das Arbeitsverfahren umfasst die Schritte:

– Bestimmen eines Nutzfaktors für die Auslagerung eines Datensatzes von dem primären Massenspeicher auf den sekundären Massenspeicher
– Bestimmen eines Nachteilsfaktors für die Auslagerung des Datensatzes von dem primären Massenspeicher auf den sekundären Massenspeicher
– Festlegen einer Verdrängungspriorität durch Abwägung des bestimmten Nutzfaktors und des bestimmten Nachteilsfaktors und
– Auslagern des Datensatzes von dem primären Massenspeicher auf den sekundären Massenspeicher, wenn die festgelegte Verdrängungspriorität einen Vergleichswert übersteigt.

Durch die oben genannten Schritte kann eine Entscheidung, ob ein bestimmter Datensatz von einem primären Massenspeicher auf einen sekundären Massenspeicher ausgelagert wird, individuell anhand eines Nutzens und eines damit verbundenen Nachteils für die Auslagerung des Datensatzes beurteilt werden. Auf Grundlage eines bestimmten Nutzfaktors und eines bestimmten Nachteilsfaktors wird dabei eine Verdrängungspriorität für den Datensatz festgelegt, die bei einer eventuellen Auslagerung des Datensatzes mit einem Vergleichswert verglichen wird. Gegenüber bekannten Verfahren weist das oben genannte Verfahren die Vorteile auf, dass unterschiedliche Faktoren in die Bestimmung eines Nutzens bzw. Nachteils für die Auslagerung datensatzspezifisch berücksichtigt werden.
Gemäß einer vorteilhaften Ausgestaltung wird der Nutzfaktor in Abhängigkeit einer Größe des Datensatzes und einer vermuteten Verdrängungszeit bis zu einem Einlagern des ausgelagerten Datensatzes von dem sekundären Massenspeicher in den primären Massenspeicher bestimmt. Je größer der auszulagernde Datensatz und je länger der ausgelagerte Datensatz nicht in den primären Massenspeicher zurück gelesen werden muss, desto größer ist der Nutzen einer potenziellen Auslagerung.
Gemäß einer vorteilhaften Ausgestaltung wird die vermutete Verdrängungszeit auf Grundlage einer Wahrscheinlichkeitsfunktion in Abhängigkeit eines letzten Zugriffzeitpunkts des Datensatzes bestimmt. Der Zeitpunkt eines letzten Zugriffs erlaubt eine statistische Aussage darüber, wie lange auf einen ausgelagerten Datensatz voraussichtlich nicht mehr zugegriffen wird.
Gemäß einer weiteren Ausgestaltung steigt die vermutete Verdrängungszeit nach Überschreiten wenigstens einer typischen Periode seit dem letzten Zugriffszeitpunkt stärker an als innerhalb der typischen Periode. Diese Ausgestaltung berücksichtigt eine Eigenheit von vielen Prozessen in der Informationsverarbeitungstechnologie (IT), dass viele Prozesse mit einer gewissen Regelmäßigkeit stattfinden. Typische Perioden hierfür sind beispielsweise tägliche, arbeitstägliche, wöchentliche, quartalsweise oder jährlich ausgeführte Prozesse.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird die typische Periode auf Grundlage einer statistischen Auswertung früherer Zugriffe auf Datensätze des Speichersystems ermittelt. Eine statistische Auswertung erlaubt dabei die vollautomatische, dynamische Erkennung von typischen Perioden.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird der Nachteilsfaktor in Abhängigkeit einer verzögerten Zugriffszeit bestimmt, In einer Ausgestaltung ist die verzögerte Zugriffszeit proportional zur Summe einer Erstzugriffszeit des sekundären Massenspeichers und einem Verhältnis von der Größe des Datensatzes und der durchschnittlichen Lesegeschwindigkeit des sekundären Massenspeichers. Durch Berücksichtigung der oben genannten Parameter kann der tatsächliche Nachteil, der durch das Wiedereinlagern eines Datensatzes von dem sekundären Massenspeicher in den primären Massenspeicher entsteht, quantifiziert und bei der Festlegung einer Verdrängungspriorität angemessen berücksichtigt werden.
Gemäß einer vorteilhaften Ausgestaltung werden die Schritte des Bestimmens des Nutzfaktors, des Bestimmens des Nachteilsfaktors und des Festlegens der Verdrängungspriorität für alle Datensätze einer vorbestimmten Gruppe von Datensätzen durchgeführt, die vorbestimmte Gruppe von Datensätzen in absteigender Reihenfolge ihrer jeweiligen Verdrängungspriorität sortiert und Datensätze in der Reihenfolge ihrer Sortierung von dem primären Massenspeicher auf den sekundären Massenspeicher ausgelagert, bis durch die Auslagerung eine untere Füllgrenze für den primären Massenspeicher eingehalten wird. Ein derartiges Verfahren erlaubt die Optimierung aller oder eines wesentlichen Teils von in dem Speichersystem gespeicherten Datensätzen unter Berücksichtigung einer möglichst großen Effizienz für das Gesamtsystem.
Gemäß einem zweiten Aspekt der Erfindung wird ein Speichersystem, umfassend wenigstens einen primären Massenspeicher zum Zwischenspeichern von Datensätzen, wenigstens einen sekundären Massenspeicher zur Archivierung von Datensätzen und wenigstens eine Datenverarbeitungsvorrichtung zum Ausführen eines Steuerprogramms für das Speichersystem offenbart. Zugriffe auf den sekundären Massenspeicher erfolgen im Durchschnitt langsamer als Zugriffe auf den primären Massenspeicher. Das Steuerprogramm ist dazu eingerichtet, bei Ausführung durch die Datenverarbeitungsvorrichtung ein Verfahren gemäß dem ersten Aspekt durchzuführen.
Gemäß einer vorteilhaften Ausgestaltung umfasst der wenigstens eine sekundäre Massenspeicher wenigstens ein Speicherlaufwerk und eine Mehrzahl von zugehörigen Wechselspeichermedien. Ein derartiges Speichersystem erlaubt eine Speicherung umfangreicher Daten, insbesondere durch die Verwendung einer Vielzahl von Magnetbändern oder wechselbaren optischen Speichermedien.
Gemäß einem dritten Aspekt der Erfindung wird ein Computerprogrammprodukt, umfassend ausführbaren Programmcode für ein Steuerprogramm einer Datenverarbeitungsvorrichtung gemäß dem zweiten Aspekt der Erfindung, beschrieben.
Weitere vorteilhafte Ausgestaltungen sind in den angehängten Patentansprüchen sowie der nachfolgenden ausführlichen Beschreibung von Ausführungsbeispielen offenbart.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Bezugnahme auf die angehängten Figuren näher erläutert. In den Figuren zeigen:
1 eine schematische Darstellung einer Systemarchitektur eines beispielhaften Speichersystems,
2 ein Ablaufdiagramm eines Arbeitsverfahrens für ein Speichersystem,
3 unterschiedliche Wahrscheinlichkeitsfunktionen für die Ermittlung einer vermuteten Verdrängungszeit und
4 eine Speicherstruktur für einen primären Massenspeicher.
In der 1 ist ein Speichersystem 1 schematisch dargestellt. Das Speichersystem 1 umfasst einen primären Massenspeicher 2 sowie einen sekundären Massenspeicher 3. Des Weiteren umfasst das Speichersystem eine Datenverarbeitungsvorrichtung 4, die mit dem primären Massenspeicher 2 und dem sekundären Massenspeicher 3 datentechnisch gekoppelt ist.
Im Ausführungsbeispiel handelt es sich bei dem primären Massenspeicher 2 beispielsweise um ein so genanntes RAID-System mit einer Mehrzahl von zumindest teilweise redundanten Festplattenlaufwerken. Der primäre Massenspeicher 2 umfasst im Ausführungsbeispiel eine Mehrzahl von so genannten Volumes 5a und 5b, auf denen beispielsweise unterschiedliche Dateien oder Dateisysteme der Datenverarbeitungsvorrichtung 4 gespeichert sind. Ob es sich bei den Volumes 5a und 5b um tatsächliche Dateisysteme, virtuelle Bandlaufwerke oder sonstige Organisationsstrukturen des primären Massenspeichers 2 oder des Speichersystems 1 handelt, ist für die weitere Betrachtung jedoch von untergeordneter Bedeutung.
Bei dem sekundären Massenspeicher 3 handelt es sich im Ausführungsbeispiel um eine so genannte Automatic Tape Library (ATL), also einen Roboter gestützten Massenspeicher mit einem oder mehreren Magnetbandlaufwerken 10 und zugehörigen, bevorzugt automatisch einlegbaren Magnetbändern 11. Selbstverständlich kann es sich bei dem sekundären Massenspeicher 3 alternativ auch um ein anderes Massenspeichersystem handeln. Weitere Beispiele für eine kostengünstige Speicherung großer Datenmengen sind beispielsweise die Verwendung von Speicherlaufwerken mit optischen oder magneto-optischen, wechselbaren Speichermedien oder auch die Verwendung von so genannten Cloud-Storage-Systemen, bei denen Daten über ein Netzwerk wie insbesondere das Internet auf entfernten Servern mit verfügbaren Speicherkapazitäten abgelegt werden.
Bei der Datenverarbeitungsvorrichtung 4 handelt es sich im Ausführungsbeispiel um einen besonders leistungsfähigen, teilweise redundant aufgebauten Server Computer. Im Ausführungsbeispiel bilden die Datenverarbeitungsvorrichtung 4 und er primäre Massenspeicher 2 ein integriertes Backup- und Archivierungssystem 9. In einer anderen, zeichnerisch nicht dargestellten Ausführung ist der primäre Massenspeicher 2 physikalisch unabhängig von der Datenverarbeitungsvorrichtung 4 aufgestellt und mit diesem über geeignete Mittel, wie beispielsweise ein Storage Area Network (SAN) gekoppelt.
Das Backup- und Archivierungssystem 9 weist im Ausführungsbeispiel mehrere so genannte Front-End-Adapter 6a und 6b zum Anschluss der Datenverarbeitungsvorrichtung an ein oder mehrere Datennetzwerke auf. Im Ausführungsbeispiel sind zwei getrennte Host Computer 7a und 7b über jeweils eine dedizierte Verbindung, beispielsweise unterschiedliche Segmente eines lokalen Ethernet-Netzwerkes, mit einem der Front-End-Adapter 6a bzw. 6b gekoppelt. Selbstverständlich sind auch andere Arten der Anbindung von Host Computern an das Backup- und Archivierungssystem 9 möglich. Das Backup- und Archivierungssystem 9 weist des Weiteren einen oder mehrere so genannten Back-End-Adapter 8 zur Kopplung des sekundären Massenspeichers 3 mit dem Backup- und Archivierungssystem 9 auf. Beispielsweise handelt es sich dabei um einen besonders leistungsfähigen Fiber Channel oder SCSI-Anschluss zum Anschluss eines oder mehrerer Massenspeicherlaufwerke.
Die Datenverarbeitungsvorrichtung 4 umfasst wenigstens einen Prozessor zum Ausführen von Programmcode eines Computerprogrammprodukts zur Steuerung des Speichersystems 1. In einer weiteren Ausgestaltung umfasst die Datenverarbeitungsvorrichtung 4 eine Mehrzahl von Einzelrechnern, die zusammen ein Clustersystem mit besonders hohe Leistung und Ausfallsicherheit bilden. Die Arbeitsweise des durch die Datenverarbeitungsvorrichtung 4 ausgeführten Programmcodes wird nachfolgend unter Bezugnahme auf die 2 weiter beschrieben.
2 zeigt ein Ablaufdiagramm eines Arbeitsverfahrens 20 für das Speichersystem 1 oder ein anderes Speichersystem mit einem primären Massenspeicher und einem sekundären Massenspeicher.
In einem ersten Schritt 21 wird ein neuer Datensatz zur Festlegung einer Verdrängungspriorität ausgewählt. Beispielsweise kann der Schritt 21 ausgeführt werden, wenn eine neue Datei oder ein Datensicherungssatz von einem der Host Computer 7a oder 7b an das Speichersystem 1 übertragen wird. Der Schritt 21 kann jedoch auch zyklisch, beispielsweise jeden Tag oder bei Auslösung eines bestimmten Ereignisses, wie beispielsweise dem Überschreiten einer vorgegebenen maximalen Füllgrenze des primären Massenspeichers 2, ausgelöst werden.
Der Begriff ”Datensatz” ist dabei gemäß den Anforderungen des jeweiligen Speichersystems zu verstehen. Bei einem Dateiserver entspricht er beispielsweise einer normalen Datei eines Dateisystems, wie beispielsweise dem Dokument einer Textverarbeitung. Bei einem Archivierungssystem wie es beispielsweise unter Bezugnahme auf die 1 beschrieben wurde, kann es sich aber auch um ein gesamtes Dateisystem oder ein Volume eines virtualisierten Bandlaufwerkes handeln, das eine Mehrzahl von Dateien im engeren Sinne zusammenfasst.
In zwei weitgehend unabhängig voneinander ausgeführten Schritten 22 bzw. 23 wird ein Nutzfaktor bzw. ein Nachteilsfaktor für eine mögliche Auslagerung des im Schritt 21 ausgewählten Datensatzes bestimmt. Die Schritte 22 und 23 können nacheinander oder, wie in der 2 dargestellt, parallel zueinander ausgeführt werden.
Im Schritt 22 wird der Nutzfaktor im Wesentlichen als die mögliche Verdrängung der für andere Datensätze durch die Auslagerung zur Verfügung stehende freie Speicher bestimmt. In der beschriebenen Ausführungsform ist der Nutzen proportional von der Datensatzgröße und einer vermuteten Verdrängungszeit für den Datensatz abhängig. Dabei ist die Verdrängungszeit die Dauer bis zu einem nächsten Zugriff, welche eine erneute Einlagerung auf den primären Massenspeicher 2 erfordern würde, oder bis zur endgültigen Löschung des ausgewählten Datensatzes.
In der Praxis kann ein derartiger Wert wegen der Unvorhersehbarkeit von tatsächlichen Zugriffen in der Regel nur statistisch ermittelt werden. Ein möglicher Anhaltspunkt für die statistische Ermittlung bietet beispielsweise ein Zeitpunkt, zu dem zuletzt auf den Datensatz zugegriffen wurde. Weitere Faktoren, die bei der Bestimmung der vermuteten Verdrängungszeit berücksichtigt werden können, sind unter anderem die Häufigkeit eines Zugriffs auf den Datensatz und die Tatsache, dass bestimmte IT-Prozesse, die auf Daten zugreifen, oft periodisch ablaufen. Beispielhafte Wahrscheinlichkeitsfunktionen, die zur Bestimmung der vermuteten Verdrängungszeit Verwendung finden können, werden später unter Bezugnahme auf die 3 im Detail erläutert.
Der in Schritt 23 bestimmte Nachteilsfaktor repräsentiert insbesondere eine aus der Auslagerung des Datensatzes resultierende verzögerte Zugriffszeit. Im beschriebenen Beispiel eines Bandlaufwerks 10 als sekundärem Massenspeicher 3 besteht die Zugriffszeit dabei aus einer anlagenspezifischen, durchschnittlichen Zugriffszeit, wie beispielsweise einer so genannten Mount-Zeit zum Einlegen eines erforderlichen Speichermediums in ein entsprechendes Speicherlaufwerk, einer gegebenenfalls erforderlichen Positionierung des Speichermediums sowie der tatsächlichen Lesezeit zum Wiedereinlesen des ausgelagerten Datensatzes. Die Zugriffszeit beruht dabei auf einer Summe der Erstzugriffszeit und einem Verhältnis der Größe des ausgelagerten Datensatzes zur durchschnittlichen Lesegeschwindigkeit. Zur besseren Nachvollziehbarkeit, beispielsweise für einen Systemadministrator, kann der Nachteilsfaktor optional als Verhältnis einer Zugriffszeit auf den ausgelagerten Datensatz zu einer Zugriffszeit für einen bekannten Vergleichsdatensatz mit einer beispielhaften Größe von 1 GB dargestellt werden.
In einem Schritt 24 wird die Verdrängungspriorität für den betrachteten Datensatz bestimmt. Im Ausführungsbeispiel handelt es sich bei der Verdrängungspriorität um das Verhältnis des bestimmen Nutzfaktors zu dem bestimmten Nachteilsfaktor. Selbstverständlich können auch andere Relationen zur Berücksichtigung des Nutzens und des Nachteilsfaktors Verwendung finden.
In einer Abfrage 25 wird überprüft, ob eine Verdrängungspriorität für weitere Datensätze ermittelt werden soll. Ist dies der Fall, wird das Verfahren in Schritt 21 mit dem nächsten zu bewertenden Datensatz fortgesetzt. Anderenfalls wird das Verfahren in Schritt 26 fortgesetzt.
In Schritt 26 wird mindestens eine bestimmte Verdrängungspriorität mit mindestens einem Vergleichswert verglichen. Hierbei bieten sich unterschiedliche Kriterien für einen möglichen Vergleich an. Beispielsweise kann ein Systemadministrator basierend auf Erfahrungswerten einen festen Schwellwert für das Auslagern von Datensätzen vorgeben. Des Weiteren ist es möglich, einen derartigen Schwellwert automatisch auf Grundlage einer statistischen Analyse durch das Steuerprogramm zu ermitteln. In einer bevorzugten Ausgestaltung werden die Verdrängungsprioritäten der einzelnen Datensätze des Speichersystems 1 miteinander verglichen. Dabei werden die Datensätze des primären Massenspeichers 2 gemäß der bestimmten Verdrängungspriorität in absteigender Reihenfolge in einer Prioritätsliste eingetragen.
Ergibt sich durch den Vergleich 26, dass ein bestimmter Datensatz ausgelagert werden soll, wird dieser in Schritt 27 von dem primären Massenspeicher 2 an den sekundären Massenspeicher 3 übertragen. Dazu wird der Datensatz zunächst von dem primären Massenspeicher 2 ausgelesen und in dem sekundären Massenspeicher 3 abgelegt. Nach erfolgreichem Schreiben des Datensatzes auf den sekundären Massenspeicher 3 kann der entsprechende Datensatz von dem primären Massenspeicher 2 gelöscht oder für ungültig erklärt werden.
In einer beispielhaften Ausgestaltung bleibt ein so genannter Stub als Anker des ausgelagerten Datensatzes in dem primären Massenspeicher 2 erhalten. Dabei enthält der Stub lediglich einen Verweis auf den tatsächlichen Speicherort des ausgelagerten Datensatzes in dem sekundären Massenspeicher 3 sowie optional zusätzliche Metadaten des Datensatzes.
Nachfolgend kann das Verfahren entweder durch das Auslagern weiterer Datensätze fortgesetzt oder beendet werden, wenn ausreichend freie Speicherkapazität auf dem primären Massenspeicher 2 zur Verfügung steht.
Die von dem Speichersystem 1 eingesetzte Verdrängungsstrategie ist dabei weitgehend unabhängig von der oben beschriebenen Festlegung der Verdrängungspriorität. Beispielsweise kann die Datenverarbeitungsvorrichtung 4 abwarten, bis eine obere Füllgrenze, beispielsweise 90 Prozent der Speicherkapazität des primären Massenspeichers 2 erschöpft sind, dann eine Verdrängungspriorität für sämtliche auf dem primären Massenspeicher 2 gespeicherten Datensätze bestimmen und nachfolgend Datensätze in Ordnung absteigender Verdrängungspriorität auf den sekundären Massenspeicher 3 auslagern, bis eine untere Füllgrenze erreicht ist. Es ist auch möglich, kontinuierlich oder periodisch die Verdrängungspriorität einiger oder sämtlicher Datensätze zu bestimmen und nach Überschreiten eines festgelegten Schwellwerts auf den sekundären Massenspeicher 3 auszulagern.
In der 3 sind unterschiedliche Funktionen zur Ermittlung einer vermuteten Verdrängungszeit T über dem Zeitraum t seit dem letzten Zugriff auf dem entsprechenden Datensatz dargestellt. Derartige Funktionen können insbesondere bei der Bestimmung des Vorteils im oben beschriebenen Schritt 22 Verwendung finden. Grundsätzlich eignen sich die beschriebenen Funktionen jedoch auch zur Verwendung mit anderen Strategien zur Bestimmung eines Verdrängungszeit Tpunkts von Daten in einem hierarchischen Speichersystem.
Die Funktion 31 stellt eine verhältnismäßig einfache, stetige Funktion der vermuteten Verdrängungszeit T über den Zeitraum t seit dem letzten Zugriff dar. Beispielsweise handelt es sich bei der Kurve 31 um eine in den Ursprung verschobenen Logarithmusfunktion Diese Funktionen besitzt die Eigenschaft, dass die vermutete Verdrängungszeit T mit fortschreitender Zeit seit dem letzten Zugriff zunächst stark und später weniger stark ansteigt.
Die dargestellte Funktion 31 eignet sich besser zur Ermittlung einer vermuteten Verdrängungszeit T als eine rein lineare Abhängigkeit seit dem Zeitpunkt des letzten Zugriffs, weil die Wahrscheinlichkeit, dass eine Datensatz dennoch wieder benötigt wird, nach Ablauf einer bestimmten, fruchtlosen Wartezeit nicht mehr wesentlich zunimmt. Beispielsweise ist es in der Praxis nicht doppelt so wahrscheinlich, dass ein Datensatz, auf den seit einem Jahr nicht mehr zugegriffen wird, auch in zwei Jahren nicht mehr zugegriffen wird.
Auch die in der 3 dargestellte Funktion 31 bildet die tatsächlichen Anforderungen von Prozessen in der Informationstechnologie jedoch nur unvollständig ab. Beispielsweise lässt die Funktion 31 die Periodizität bestimmter Vorgänge außer Betracht. Aus diesem Grund ist in der 3 eine zweite Funktion 32 dargestellt, die die vermutete Verdrängungszeit T eines tatsächlichen Speichersystems 1 noch besser wiedergibt.
Die Funktion 32 ist abschnittsweise stetig, weist jedoch mehrere Unstetigkeitsstellen 33a bis 33c auf. Im dargestellten Ausführungsbeispiel tritt die erste Unstetigkeitsstelle 33a nach einem Zeitraum t von 7 Tagen ohne Zugriff auf den Datensatz auf. Die zweite Unstetigkeitsstelle 33b tritt nach Ablauf von 31 Tagen, also der maximalen Anzahl von Tagen in einem Monat, auf. Eine weitere Unstetigkeitsstelle 33c tritt nach Ablauf von 92 Tagen entsprechend einer maximalen Anzahl von Tagen in einem Quartal auf. Vor, zwischen und nach den Unstetigkeitsstellen 33a bis 33c befinden sich jeweils stetige Teilabschnitte 34a bis 34d, in denen die vermutete Verdrängungszeit T zunimmt. Im dargestellten Ausführungsbeispiel handelt es sich dabei um eine lineare Zunahme. Anstelle der linearen Zunahme ist jedoch eine zuvor unter Bezugnahme auf die erste Funktion 31 beschriebene nichtlineare, beispielsweise logarithmische, möglich.
Die in der 3 dargestellte dritte Funktion 35 stellt eine weitere Möglichkeit einer mathematischen Darstellung der vermuteten Verdrängungszeit T dar. Anstelle der Unstetigkeitsstellen 33 der zweiten Funktion 32 weist die dritte Funktion 35 im Bereich der genannten Periodizitäten Wendepunkte 36a bis 36c auf, an denen die Funktion jeweils von einer Links- in eine Rechtskrümmung übergeht. Auch die dritte Funktion 35 weist somit ein Verhalten mit unterschiedlichem Anstieg der vermuteten Verdrängungszeit T in Abhängigkeit der letzten Zugriffszeit auf.
Die Funktion 32 und 35 eignen sich noch besser zur Ermittlung einer vermuteten Verdrängungszeit T eines Datensatzes als die Funktion 31, weil die Wahrscheinlichkeit, dass ein Datensatz wieder benötigt wird, nach Ablauf vorbestimmter periodischer Zeiträume stark abnimmt. Wurde auf einen Abrechnungsprozess mit Daten für eine Rechung beispielsweise nach Ablauf von 30 Tagen nicht mehr zugegriffen, werden sich die zugehörigen Daten wahrscheinlich auch in Zukunft nicht mehr ändern. Ähnliche Annahmen gelten beispielsweise für Datensicherungen, die täglich inkrementell durchgeführt werden, nach Erreichen einer bestimmten Vorhaltezeit aber nur noch wochen-, monats- oder Jahresweise vorgehalten werden.
Die notwendigen Parameter zur Bestimmung der unterschiedlichen Funktionen gemäß 3 können beispielsweise durch statistische Analysen innerhalb der Datenverarbeitungsvorrichtung 4 selbst ermittelt werden. Alternativ können die Werte selbstverständlich auch durch einen Systemadministrator des Speichersystems 1 vorgegeben werden. Insbesondere können folgende Kenngrößen für den Betrieb des Speichersystems 1 anhand von real gemessenen Werten ermittelt oder durch den Systemadministrator vorgegeben werden: eine Lese- und/oder Schreibgeschwindigkeit des sekundären Massenspeichers 3, eine durchschnittliche Erstzugriffszeit auf den sekundären Massenspeicher 3, eine durchschnittliche Verdrängungszeit für Datensätze, auf die seit einem Tag kein Zugriff mehr erfolgt ist, und/oder eine durchschnittliche Verdrängungszeit für Datensätze, auf die seit einem Jahr kein Zugriff erfolgt ist.

In den nachfolgenden Tabellen sind die beispielhaften, Systemparameter und Datensatzparameter für eine Bestimmung einer Verdrängungspriorität von zwei Datensätzen wiedergegeben:

Systemparameter	ermittelter Wert
Durchschnittliche Verdrängungszeit für einen Datensatz mit einem Tag ohne Zugriff (DZ1T)	10 Tage
Durchschnittliche Verdrängungszeit für einen Datensatz mit einem Jahr ohne Zugriff (DZ1J)	732 Tage
Durchschnittliche Lesegeschwindigkeit des sekundären Massenspeichers (R)	100 MB/s
Durchschnittliche Mountzeit des sekundären Massenspeichers (M)	20 s
Referenzwert zum Einlesen eines 1 GB großen Vergleichsdatensatzes (N0)	30 s

Datensatzparameter	erster Datensatz	zweiter Datensatz
Größe (S)	500 MB	250 MB
Zeitraum seit letztem Zugriff (t)	100 Tage	200 Tage
Vermutete Verdrängungszeit (T)	259 Tage	389 Tage
Nutzfaktor (S*T)	129,7 GB Tage	97,4 GB Tage
Nachteilsfaktor (M + S/R)/N0	0,833	0,755
Verdrängungspriorität	155,6 GB-Tage	129,8 GB Tage

Weitere Parameter, die in der Beurteilung berücksichtigt und gegebenenfalls statistisch ermittelt werden können, umfassen z. B. die durchschnittliche Lebensdauer von Datensätzen in dem Speichersystem 1, sowie die Zugriffshäufigkeit auf einen Datensatz. Insbesondere können unterschiedliche Funktionen für die vermutete Verdrängungszeit T in Abhängigkeit der Zugriffszeit dadurch ermittelt werden, dass ein Datum eines letzten Zugriffs mit einem Datum einer Erstellung verglichen wird. Bei Sicherungsdatensätzen, wie sie insbesondere von Datensicherungssystemen erzeugt werden, findet in der Regel nur ein einmaliger Zugriff statt. In diesem Fall entspricht das Datum des letzten Zugriffs dem Datum der Erzeugung des Datensatzes. Solche Datensätze weisen in der Praxis eine besonders geringe Zugriffswahrscheinlichkeit oder umgekehrt eine besonders hohe vermutete Verdrängungszeit T auf. Umgekehrt weisen Datensätze, mit denen Anwendungen regelmäßig arbeiten, eine wesentlich geringere vermutete Verdrängungszeit T auf. Dies lässt sich beispielsweise anhand eines Zugriffszählers, einfacher jedoch auf Grundlage des oben beschriebenen Vergleichs zwischen einem letzten Zugriffszeitpunkt und einem ursprünglichen Erstellungszeitpunkt ermitteln.
In der 4 ist eine mögliche Dateistruktur für einen primären Massenspeicher 2 dargestellt. Auf dem Massenspeicher 2 oder in einem darauf gespeicherten Dateisystem sind einzelne Dateien 41a sowie 41b gespeichert. Die erste Datei 41a ist vollständig auf dem primären Massenspeicher 2 gespeichert. Die zweite Datei 41b ist bereits auf einen sekundären Massenspeicher 3 ausgelagert worden. Um einen einfachen Zugriff auf die zweite Datei 41b zu ermöglichen, ist in dem primären Massenspeicher 2 jedoch ein so genannter Stub der ausgelagerten Datei 41b gespeichert.
Sowohl die erste Datei 41a als auch die zweite Datei 41b umfassen einen so genannten Datei-Header 42a bzw. 42b. In dem Datei-Header sind beispielsweise der Dateiname, der Zeitpunkt eines letzten Lesens, der Zeitpunkt eines letzten Schreibens sowie der Zeitpunkt der ursprünglichen Erstellung der Datei gespeichert. Weitere statistische Daten der Datei, wie insbesondere deren tatsächliche Größe oder die Anzahl der auf dem primären Massenspeicher 2 verwendeten Speicherblöcke, können ebenfalls in dem Header 42a bzw. 42b gespeichert sein. Je nach Art des verwendeten Dateisystems können in dem Header 42a bzw. 42b weitere, von dem Speichersystem 1 erzeugte oder genutzte Daten, wie beispielsweise eine bestimmte Verdrängungspriorität, ein bestimmter Vorteilsfaktor, ein bestimmter Nachteilsfaktor oder ein Zugriffszähler abgelegt werden.
Die erste Datei 41a umfasst des Weiteren einen Datenbereich 43, in dem der eigentliche Inhalt der ersten Datei 41a gespeichert ist. Dem entgegen umfasst die zweite Datei 41b einen Verweis 44 auf den tatsächlichen Speicherort der zweiten Datei 41b auf dem sekundären Massenspeicher 3.
In einer Ausgestaltung des Verfahrens wird dabei die Größe des Dateiinhalts gesondert von der Größe des Headers 42a bzw. 42b der ersten Datei 41a bzw. der zweiten Datei 41b berücksichtigt. Insbesondere wird im oben genannten Verfahren in Schritt 22 berücksichtigt, dass der Header 42b und gegebenenfalls ein gesondert gespeicherter Verweis 44 auch nach Auslagerung der Datei 41b noch Speicherplatz auf dem primären Massenspeicher 2 belegt.
Anstelle der in der 4 dargestellten Speicherung von Stubs können selbstverständlich auch gesonderte Metadaten in einer Datenbank oder sonstigen Speicherstruktur der Datenverarbeitungsvorrichtung 4 gespeichert werden. Auch der Umfang derartiger Daten kann in dem Verfahren zur Bestimmung einer Verdrängungspriorität berücksichtigt werden.
Das zuvor beschriebene Speichersystem 1 sowie das Arbeitsverfahren 20 zu dessen Betrieb weisen eine Reihe von Vorteilen gegenüber bekannten Systemen und Verfahren auf. Insbesondere sind sie in der Lage, sich automatisch an die Eigenschaften der verwendeten Hardwarekomponenten des Speichersystems 1 sowie das Verhalten von Anwendungen, die das Speichersystem 1 verwenden, anzupassen. Hierzu wird eine Reihe von messbaren Parametern, wie beispielsweise den physikalischen Charakteristika des primären Massenspeichers 2 und/oder des sekundären Massenspeichers 3 sowie von durchschnittlichen Verdrängungszeiten für unterschiedliche Arten von Datensätzen ermittelt.
Des Weiteren berücksichtigt das beschriebene System bevorzugt die Eigenheit von IT-Systemen, dass viele Prozesse mit einer gewissen Regelmäßigkeit stattfinden. Die durch das Verfahren verwendeten und/oder ermittelten Kenngrößen dienen zudem dazu, die relativ komplexen Vorgänge innerhalb von Speichersystemen für einen Administrator nachvollziehbar zu machen. Eine transparente Darstellung der verwendeten Kenngrößen erlaubt daher eine verbesserte Feinjustierung des Speichersystems durch einen Systemadministrator.
Die beschriebenen Merkmale der Verfahren, Vorrichtungen und Systeme können in beinahe beliebiger Weise miteinander kombiniert werden, um weitere vorteilhafte Verfahren, Vorrichtungen oder Systeme zu erhalten, die einige oder alle der genannten Vorteile aufweisen.
Bezugszeichenliste

1: Speichersystem
2: primärer Massenspeicher
3: sekundärer Massenspeicher
4: Datenverarbeitungsvorrichtung
5a, 5b: Volume
6a, 5b: Front-End-Adapter
7a, 7b: Host Computer
8: Back-End-Adapter
9: Backup- und Archivierungssystem
10: Magnetbandlaufwerk
11: Magnetband
20: Arbeitsverfahren
21 bis 27: Verfahrensschritte
31: erste Funktion
32: zweite Funktion
33a bis 33d: Unstetigkeitsstelle
34a bis 34e: Teilabschnitt
35: dritte Funktion
41a, 41b: Datei
42a, 42b: Header
43: Datenbereich
44: Verweis

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 01/40924 A2 [0002]

Claims

Arbeitsverfahren (20) für ein Speichersystem (1) mit einen primären Massenspeicher (2) und einem sekundären Massenspeicher (3), wobei Zugriffe auf den sekundären Massenspeicher (3) im Durchschnitt langsamer sind als Zugriffe auf den primären Massenspeicher (2), mit den Schritten: – Bestimmen eines Nutzfaktors für die Auslagerung eines Datensatzes von dem primären Massenspeicher (2) auf den sekundären Massenspeicher (3); – Bestimmen eines Nachteilsfaktors für die Auslagerung des Datensatzes von dem primären Massenspeicher (2) auf den sekundären Massenspeicher (3); – Festlegen einer Verdrängungspriorität durch Abwägung des bestimmten Nutzfaktors und des bestimmten Nachteilsfaktors; und – Auslagern des Datensatzes von dem primären Massenspeicher (2) auf den sekundären Massenspeicher (3), wenn die festgelegte Verdrängungspriorität einen Vergleichswert übersteigt.
Arbeitsverfahren (20) nach Anspruch 1, bei dem die festgelegte Verdrängungspriorität proportional zu einem Verhältnis des Nutzfaktors und des Nachteilsfaktors ist.
Arbeitsverfahren (20) nach Anspruch 1 oder 2, bei dem der Nutzfaktor in Abhängigkeit einer Größe des Datensatzes und einer vermuteten Verdrängungszeit bis zu einem Einlagern des ausgelagerten Datensatzes von dem sekundären Massenspeicher (3) in den primären Massenspeicher (2) bestimmt wird.
Arbeitsverfahren (20) nach Anspruch 3, bei dem der bestimmte Nutzfaktor proportional zu einem Produkt der Größe und der vermuteten Verdrängungszeit des Datensatzes ist.
Arbeitsverfahren (20) nach Anspruch 3 oder 4, bei dem die vermutete Verdrängungszeit auf Grundlage einer Wahrscheinlichkeitsfunktion (31, 32, 35) in Abhängigkeit eines letzten Zugriffszeitpunkts auf den Datensatz bestimmt wird.
Arbeitsverfahren (20) nach Anspruch 5, bei dem die vermutete Verdrängungszeit nach Überschreiten wenigstens einer typischen Periode seit dem letzten Zugriffszeitpunkt, insbesondere nach einem Tag, einer Woche, einem Monat, einem Jahresquartal oder einem Jahr stärker ansteigt als innerhalb der typischen Periode.
Arbeitsverfahren (20) nach Anspruch 6, bei dem die wenigstens eine typische Periode auf Grundlage einer statistischen Auswertung früherer Zugriffe auf den Datensatz des Speichersystems (1) ermittelt wird.
Arbeitsverfahren (20) nach einem der Ansprüche 5 bis 7, bei dem die Wahrscheinlichkeitsfunktion (32, 35) wenigstens eine Unstetigkeitsstelle (33a, 33b, 33c) oder einen Wendepunkt (36a, 36b, 36c) aufweist.
Arbeitsverfahren (20) nach Anspruch 8, bei dem die Wahrscheinlichkeitsfunktion (32) eine Mehrzahl von Teilabschnitten (34a, 34b, 34c, 34d) und eine Mehrzahl von Unstetigkeitsstellen (33a, 33b, 33c) aufweist, wobei die vermutete Verdrängungszeit in den Teilabschnitten (34a, 34b, 34c, 34d) stetig zunimmt und im Bereich der Unstetigkeitsstellen (33a, 33b, 33c) sprunghaft zunimmt.
Arbeitsverfahren (20) nach einem der Ansprüche 4 bis 9, bei dem die vermutete Verdrängungszeit zusätzlich von einer Zugriffshäufigkeit auf den Datensatz abhängt.
Arbeitsverfahren (20) nach einem der Ansprüche 1 bis 10, bei dem der Nachteilsfaktor in Abhängigkeit einer verzögerten Zugriffszeit bestimmt wird.
Arbeitsverfahren (20) nach Anspruch 11, bei dem die verzögerte Zugriffszeit proportional zur Summe einer Erstzugriffszeit des sekundären Massenspeichers und einem Verhältnis von der Größe des Datensatzes und der durchschnittlichen Lesegeschwindigkeit des sekundären Massenspeichers (3) ist.
Arbeitsverfahren (20) nach einem der Ansprüche 1 bis 12, bei dem die Schritte des Bestimmens des Nutzfaktors, Bestimmens des Nachteilsfaktors und Festlegens einer Verdrängungspriorität für wenigstens zwei Datensätze einer vorbestimmten Gruppe von Datensätzen durchgeführt und beim Überschreiten einer oberen Füllgrenzen des primären Massenspeichers (2) der Datensatz mit der größeren Verdrängungspriorität ausgelagert wird.
Arbeitsverfahren (20) nach Anspruch 13, bei dem die Schritte des Bestimmens des Nutzfaktors, des Bestimmens des Nachteilsfaktors und des Festlegens der Verdrängungspriorität für alle Datensätze einer vorbestimmten Gruppe von Datensätzen durchgeführt werden, die vorbestimmte Gruppe von Datensätzen in absteigender Reihenfolge ihrer jeweiligen Verdrängungspriorität sortiert werden und Datensätze in der Reihenfolge ihre Sortierung von dem primären Massenspeicher (2) auf den sekundären Massenspeicher (3) ausgelagert werden, bis durch die Auslagerung eine untere Füllgrenze für den primären Massenspeicher (2) eingehalten wird.
Speichersystem (1) umfassend: – wenigstens einen primären Massenspeicher (2) zum Zwischenspeichern von Datensätzen; – wenigstens einen sekundären Massenspeicher (3) zur Archivierung von Datensätzen, wobei Zugriffe auf den sekundären Massenspeicher (3) im Durchschnitt langsamer sind als Zugriffe auf den primären Massenspeicher (2); und – wenigstens eine Datenverarbeitungsvorrichtung (4) zum Ausführen eines Steuerprogramms für das Speichersystem (1), wobei das Steuerprogramm dazu eingerichtet ist, bei Ausführung durch die Datenverarbeitungsvorrichtung ein Verfahren (20) nach einem der Ansprüche 1 bis 14 durchzuführen.
Speichersystem (1) nach Anspruch 15, dadurch gekennzeichnet, dass der wenigstens eine sekundäre Massenspeicher (3) wenigstens ein Speicherlaufwerk und eine Mehrzahl von zugehörigen Wechselspeichermedien umfasst, insbesondere ein Bandlaufwerk (10) und eine Mehrzahl von Magnetbändern (11) oder ein optisches Speicherlaufwerk und eine Mehrzahl von optischen Speichermedien.
Speichersystem (1) nach Anspruch 15, dadurch gekennzeichnet, dass der wenigstens eine sekundäre Massenspeicher (3) von wenigstens einem Server-Computer über das Internet bereitgestellt wird, wobei der wenigstens eine Server-Computer Teil eines Cloud-Storage-Systems ist.
Computerprogrammprodukt, umfassend ausführbaren Programmcode für ein Steuerprogramm, wobei das Steuerprogramm dazu eingerichtet ist, bei Ausführung des Programmcodes durch eine Datenverarbeitungsvorrichtung (4) eines Speichersystems (1) mit einem primären Massenspeicher (2) und einem sekundären Massenspeicher (3) ein Verfahren (20) nach einem der Ansprüche 1 bis 14 durchzuführen.