DE69513956T2

DE69513956T2 - Datenspeicherverwaltung für in einem netzwerk zusammengeschaltete prozessoren

Info

Publication number: DE69513956T2
Application number: DE69513956T
Authority: DE
Inventors: Ronald Blickenstaff; Catherine Brant; Paul Dodd; Anton Kirchner; Jennifer Montez; Brian Trede; Richard Winter
Original assignee: Kodak Ltd
Current assignee: Symantec Operating Corp
Priority date: 1994-02-25
Filing date: 1995-02-10
Publication date: 2000-05-04
Anticipated expiration: 2015-02-11
Also published as: WO1995023376A1; US5537585A; JP3786955B2; AU693868B2; US5832522A; JPH09510806A; AU1914295A; EP0746819A1; EP0746819B1; DE69513956D1

Description

Erfindungsfeld

Die vorliegende Erfindung betrifft Datenkommunikationsnetzwerke wie etwa lokale Netzwerke, welche dazu dienen, eine Vielzahl von Datenprozessoren mit Datenspeichersubsystemen zu verbinden, sowie ein Datenspeicherverwaltungssystem, das automatisch Datendateien mit niedriger Priorität aus den Datenspeichersubsystemen zu einem sekundären Speicher verschiebt, um mehr verfügbaren Datenspeicherraum in den Datenspeichersubsystemen vorzusehen.

Problem

Ein ist bei lokalen Netzwerken problematisch, ausreichende Datenspeicherressourcen für die mit dem Netzwerk verbundenen Prozessoren und effiziente Datenspeicherverwaltungsfähigkeiten für die Datenspeichersubsysteme vorzusehen, welche mit dem Netzwerk verbunden sind und die Prozessoren bedienen. Bestehende lokale Netzwerke verbinden eine Vielzahl von Prozessoren mit einer Anzahl von Datenspeichereinrichtungen, welche auch als Datenspeichersubsyteme bezeichnet werden und auf welchen die durch den Prozessor verwendeten Datendateien gespeichert sind. Der Begriff Datendateien wird hier verwendet, um die verschiedenen auf Speichereinrichtungen speicherbaren Daten wie etwa die durch Dateiserver, Datenbanken, Anwendungsserver und Notizsysteme verwalteten Daten zu kennzeichnen, wobei die vorstehend genannten Systeme hier kollektiv als "Dateiserver" bezeichnet werden. Typischerweise sind die Datenspeichersubsysteme individuelle magnetische Plattenlaufwerke oder Plattenlaufwerkgruppen.
Ein Problem bei einer derartigen Netzwerkkonfiguration besteht darin, daß die Datenspeichersubsysteme sehr teuer sind. Ein großer Teil der auf denselben gespeicherten Daten wird wenig verwendet, so daß die Verwendung von teueren Datenspeichermedien nicht gerechtfertigt ist. In dem entsprechenden Bereich der Datenspeicherverwaltung ist typischerweise keine Verwaltung der Datendateien vorgesehen, die auf diesen direkt mit dem Netzwerk verbundenen Datenspeichersubsystemen gespeichert sind. Eine Datenspeichervervvaltungsaktivität wird typischerweise nur dann initiiert, wenn ein Prozessor keinen adäquaten verfügbaren Speicherraum in den Datenspeichersubsystemen findet. Dann löscht ein Benutzer gewöhnlich manuell verschiedene nicht oder wenig verwendete Datendateien oder schreibt diese Datendateien manuell auf andere Medien wie etwa ein Magnetband um, das in ein Archiv gegeben werden kann, um später verfügbar zu sein. Diese Philosophie der Datenspeicherverwaltung ist äußerst ineffizient, weil Datenverarbeitungsoperationen aussetzen müssen, während ein Benutzer manuell Datendateien aus den Datenspeichersubsystemen entfernt, um zusätzlichen Datenspeicherraum zu erhalten. Diese Form der manuellen Datenspeicherraumzuweisung ist ineffizient, weil einige der gelöschten oder archivierten Datendateien eventuell nicht die besten Kandidaten für eine derartige Verarbeitung sind. Außerdem bleiben die Datenspeichermedien weiterhin zwischen diesen sporadisch auftretenden Phasen der Datenverwaltungsaktivität unverwaltet.
Alternativ dazu kann der Benutzer ein weiteres Plattenlaufwerk zu dem Netzwerk hinzufügen, um zusätzlichen Datenspeicherraum vorzusehen. Die Kosten der zusätzlichen Plattenlaufwerke erhöhen die Netzwerkkosten und sind eine ineffiziente Ausgabe für Datenspeicherressourcen. Dadurch wird zwar die Datenspeicherkapazität der typischerweise mit einem lokalen Netzwerk verbundenen Einrichtungen erhöht, wobei jedoch die Neigung des Benutzers zum Erstellen von Daten und zum Laden von zusätzlicher Software für den Prozessor auf die Datenspeichermedien die Kapazitätsverbesserung der verschiedenen mit dem lokalen Netzwerk verbundenen Einrichtungen schnell überschreitet. Deshalb sind größere Aufstockungen der Datenspeicherkapazität typischerweise nur mit sehr hohen Kosten zu implementieren. Es ist also ein Datenspeicherverwaltungssystem wünschenswert, welches kostengünstigere Medien zum Speichern von Datendateien mit niedrigerer Priorität effizient nutzen und die Datendateien automatisch verwalten kann, welche auf den mit dem Netzwerk verbundenen Datenspeichersubsystemen gespeichert sind.
Vorschläge für ein derartiges System werden in US-A-5276867 und in einem Artikel mit dem Titel "Renaissance: Managing the Network Computer and its Storade Requirements" von A. Foster et al. in IEEE Symposium on Mass Storage Systems, October 1991 angegeben. Beide Vorschläge geben ein hierarchisches Speichersystem mit drei Ebenen an, um Daten von dem Online-Speicher zu Speichereinrichtungen mit jeweils größerer Kapazität und niedrigerer Geschwindigkeit zu verschieben, wenn die Daten altern, wobei die Datendateien jeweils individuell verwaltet und verschoben werden.

Lösung

Die in Anspruch 1 bis 43 mit Bezug auf diese beiden Dokumente definierte vorliegende Erfindung gibt ein effizienteres Datenspeicherverwaltungssystem und ein Betriebsverfahren an. Das Datenspeicherverwaltungssystem ist mit dem Netzwerk verbunden und sieht in seiner bevorzugten Ausführungsform hierarchische Datenspeicherfähigkeiten vor, um Datendateien mit niedrigerer Priorität aus den mit dem Netzwerk verbundenen Datenspeichersubsystemen zu sekundären kostengünstigeren Datenspeichermedien wie etwa optischen Platten oder Magnetbändern zu verschieben. Weiterhin werden Datenspeicherfähigkeiten für ein automatisches Datenbackup für die Wiederherstellung nach einem Notfall sowie Datenraumverwaltungsfähigkeiten vorgesehen.
Die bevorzugte Ausführungsform des Datenspeicherverwaltungssystems implementiert ein virtuelles Datenspeichersystem, welches eine Vielzahl von virtuellen Dateisystemen für die mit dem Netzwerk verbundenen Prozessoren umfaßt. Das virtuelle Datenspeichersystem umfaßt einen ersten Abschnitt mit einer Vielzahl von Datenspeichersubsystemen, welche jeweils aus Dateiserversn und deren assoziierten Datenspeichereinrichtungen bestehen, welche mit dem Netzwerk verbunden sind und die Prozessoren bedienen. Ein zweiter Abschnitt des virtuellen Datenspeichersystems umfaßt den Speicherserver, der aus einem Speicherserverprozessor und einer Vielzahl von Schichten der hierarchisch angeordneten Datenspeichereinrichtungen besteht und einen sekundären Datenspeicherraum vorsieht. Der Speicherserverprozessor greift auf Softwarekomponenten zu, welche jeweils in allen mit dem Netzwerk verbundenen Prozessoren und Dateiservern enthalten sind. Der Speicherserver prüft entweder bedarfsmäßig und/oder auf einer periodisch geplanten Basis die Aktivität in jedem Volumen in jeder mit dem Netzwerk verbundenen Datenspeichereinrichtung. Datendateien mit niedriger Priorität werden über das Netzwerk und den Speicherserver zu sekundären Datenspeichermedien verschoben. Das Datendateiverzeichnis in der Datenspeichereinrichtung, welche die Datendatei ursprünglich enthielt, wird mit einem Platzhaltereintrag im Verzeichnis aktualisiert, um anzuzeigen, daß die Datendatei in den sekundären Datenspeicher verschoben wurde. Wenn also ein Prozessor diese Datendatei anfordert, dann wird der Platzhaltereintrag aus dem Verzeichnis abgerufen und wird der Speicherserver benachrichtigt, daß die angeforderte Datendatei zu dem sekundären Speicher verschoben wurde und in die ursprüngliche Datenspeichereinrichtung zurückgerufen werden muß. Der Speicherserver ruft die angeforderte Datendatei unter Verwendung vom im Platzhaltereintrag gespeicherter Information automatisch ab und überträgt die abgerufene Datendatei zu der Datenspeichereinrichtung, aus der sie ursprünglich stammt. Der Speicherserver, der sekun däre Speicher und die im Prozessor residenten Softwaremodule erzeugen eine virtuelle Speicherkapazität für jede der Datenspeichereinrichtungen auf eine sowohl für den Prozessor wie für den Benutzer transparente Weise. Jedes virtuelle Volumen in diesem System kann in seiner Größe stufenlos erweitert werden, um die Bedürfnisse des Prozessors unter Verwendung von billigen Massenspeichereinrichtungen zu erfüllen.
Während des Betriebs überwacht der Speicherserver die Menge des verfügbaren Datenspeicherraums in jedem der Volumen (Netzwerkvolumen) in jeder der Datenspeichereinrichtungen, um sicherzustellen, daß kontinuierlich ein ausreichender Datenspeicherraum für die Prozessoren verfügbar ist. Wenn der verfügbare Datenspeichenraum unter einen vorbestimmten Schwellwert sinkt, dann prüft der Speicherserver die Aktivitätsstufen der verschiedenen darin gespeicherten Datendateien und verschiebt automatisch die Datendateien mit niedriger Priorität wie oben beschrieben in den sekundären Speicher. Weiterhin wird der sekundäre Speicher ähnlich verwaltet, wobei Datendateien mit niedriger Priorität innerhalb des mehrschichtigen hierarchischen Datenspeichers in Abhängigkeit von der Aktivitätsstufe, dem Inhalt und der Größe des verfügbaren Datenspeicherraums in diesen verschiedenen Schichten von Schicht zu Schicht verschobenen werden. In jeder Schicht des hierarchischen Speichers sind also Datendateien gespeichert, deren Nutzungsmuster und Priorität der jeweiligen Schicht oder dem jeweiligen Medientyp entsprechen. Die Datenspeichereinrichtungen können als erste Schicht dieser Datenspeicherhierarchie betrachtet werden, während die sekundären Plattenlaufwerke oder Plattenlaufwerkgruppen als zweite Schicht dieser Datenspeicherhierarchie betrachtet werden können. Aufeinanderfolgende Schichten dieser Hierarchie der Datenspeichereinrichtungen können optische Platten und/oder Magnetbänder und/oder automatisierte Medienspeicher und Abrufbibliotheken und/oder manuelle Medienspeicher und Abrufbibliotheken umfassen.
Wenn eine Datendatei durch den Speicherserver zurückgerufen wird, dann wird sie direkt von der sekundären Datenspeicherstelle zu einer Datenspeichereinrichtung übertragen, wo der anfordernde Prozessor auf dieselbe zugreift. Die Datendatei bleibt in dieser Datenspeichereinrichtung, bis sie in Abhängigkeit von den normalen Prüf- und Verschiebungsprozeduren des Speicherservers in den sekundären Speicher verschoben wird.
Das System sieht weitere Dienste und Fähigkeiten wie etwa eine Schattenkopie der Datendateien vor, wobei die zweite Schicht der Hierarchie redundante Datenspeichereinrichtungen enthalten kann, so daß alle in den aktiven Datenspeichereinrichtungen gespeicherten Daten auf einer anderen Datenspeichereinrichtung repliziert sind, um sicherzustellen, daß die darauf gespeicherten Daten unmittelbar verfügbar sind. Weiterhin kann der Speicherserver automatisch Vollvolumen-Backups initiieren, indem er periodisch alle auf einer ausgewählten Stufe des hierarchischen Datenspeichersystems gespeicherten Daten auf ein Backupmedium wie etwa ein Magnetband schreibt. Dadurch kann das Datenspeichersystem eine Notfallwiederherstellung auf einer automatischen Basis für den Benutzer vorsehen, weil wenn nur eine der Datenspeichereinrichtungen in dem sekundären Speicher ausfällt, dessen Daten auch auf dem Backupmedium gespeichert sind, das zum Beispiel in einer automatisierten Magnetbandkassettenbibliothek enthalten sein kann. Die Daten der ausgefallenen hierarchischen Datenspeichereinrichtung können dann automatisch durch den Speicherserver wiederhergestellt werden, indem dieser die Backupkopie der Datendateien abruft, die auf der ausgefallenen Datespeichereinrichtung gespeichert waren, und diese Datendateien zu einer hierarchischen Ersatz-Datenspeichereinrichtung überträgt, wo der anfordernde Prozessor auf dieselben zugreifen kann.

Kurzbeschreibung der Zeichnungen

Fig. 1 stellt die Gesamtarchitektur eines typischen lokalen Netzwerks, welches das Datenspeicherverwaltungssystem der vorliegenden Erfindung umfaßt, in der Form eines Blockdiagramms dar,
Fig. 2 stellt die verschiedenen Netzwerksoftwarekomponenten in der Form eines Blockdiagramms dar,
Fig. 3 stellt die Architektur des hierarchischen Speichers des Datenspeicherverwaltungssystems der vorliegenden Erfindung als konzeptuelle Ansicht dar,
Fig. 4 stellt eine physikalische Implementation des hierarchischen Speichers des Datenspeicherverwaltungssystems der vorliegenden Erfindung dar,
Fig. 5 stellt die Pfade für das Verschieben und das Backup von Datendateien in dem Datenspeicherverwaltungssystem in der Form eines Blockdiagramms dar,
Fig. 6 stellt die Betriebsschritte der Vorrichtung in einer bevorzugten Ausführungsform der vorliegenden Erfindung zum Durchführen einer Routinedurchlaufoperation in der Form eines Flußdiagramms dar,
Fig. 7 stellt den Pfad für den Rückruf von Datendateien in dem Datenspeicherverwaltungssystem dar in der Form eines Blockdiagramms dar,
Fig. 8 stellt die Betriebsschritte der Vorrichtung in einer bevorzugten Ausführungsform der vorliegenden Erfindung zum Durchführen einer Datendateirückrufoperation in der Form eines Flußdiagramms dar,
Fig. 9 stellt die Datenspeicherverwaltungsprozesse einer bevorzugten Ausführungsform der vorliegenden Erfindung in der Form eines Zeitdiagramms dar,
Fig. 10 stellt verschiedene Komponenten der hierarchischen Speicherverwaltungssoftware in der Form eines Blockdiagramms dar,
Fig. 11 und 12 stellen zwei Ausführungsformen von Datenübertragungseinheiten dar, welche für das Verschieben in den sekundären Speicher verwendet werden, und
Fig. 13 stellt eine typische durch das Dateisystem verwendete Verzeichnisstruktur dar.

Ausführliche Beschreibung

Lokale Netzwerke werden zunehmend zu einem integralen Bestandteil in der Geschäftswelt.
Fig. 1 stellt die Gesamtarchitektur eines typischen lokalen Netzwerkes 1 und die Integration des Datenspeicherverwaltungssystems der vorliegenden Erfindung in das lokale Netzwerk 1 in der Form eines Blockdiagramms dar. Ein lokales Netzwerk 1 besteht aus einer Datenkommunikationsverbindung 11 und Software (nicht gezeigt), welche eine Vielzahl von Prozessoren 21, 22 mit einer Anzahl von Dateiservern 41-43 verbinden. Die Prozessoren können Personalcomputer, Workstations, Minicomputer oder andere Verarbeitungselemente sein. Der einfacheren Beschreibung halber werden alle diese Geräte hier durch den Begriff "Prozessor" bezeichnet. Viele dieser Prozessoren 21, 22 können eine beträchtliche Datenspeicherkapazität aufweisen, wobei es jedoch nicht ungewöhnlich ist, daß ein lokales Netzwerk 1 mit zusätzlicher Datenspeicherkapazität ausgestattet ist, um diejenige der Prozessoren 21, 22 zu ergänzen. Die mit der Datenkommunikationsverbindung 11 des lokalen Netzwerkes 1 verbundenen Datenspeichereinrichtungen 31-33 sind typischerweise mit hoher Geschwindigkeit arbeitende Einrichtungen mit wahlfreiem Zugriff wie etwa Plattenlaufwerke oder auch Plattenlaufwerkgruppen mit hoher Kapazität, um im wesentlichen der Betriebsgeschwindigkeit der Prozessoren 21, 22 und der Datenkommunikationsverbindung 11 entsprechen zu können. Jede Datenspeichereinrichtung 31-33 ist in einem Dateiserver 41, einer Workstation 42 oder einem anderen Typ von Server 43 enthalten, der als eine Schnittstelle zwischen dem Netzwerk 1 und den Datenspeichereinrichtungen 31-33 wie etwa einem Plattenlaufwerk dient. Der einfacheren Beschreibung halber werden die durch die Dateiserver 41-43 vorgesehene Datenspeicherkapazität und die assoziierten Datenspeichereinrichtungen 31-33 hier einfach als "Dateiserver" bezeichnet.
Jeder mit dem lokalen Netzwerk 1 verbundene Prozessor 21 kann typischerweise auf wenigstens ein Volumen auf einem dieser Dateiserver 41 als direkt zugreifbaren zusätzlichen Datenspeicherraum für die Verwendung durch diesen Prozessor 21 zum Speichern von Datendateien zugreifen. Der Begriff Datendateien wird hier verwendet, um die verschiedenen auf Datenspeichereinrichtungen speicherbaren Daten zu bezeichnen und umfaßt durch Dateiserver, Datenbanken, Anwendungsserver und Notizsysteme verwaltete Daten, wobei die vorstehend genannten Systeme hier kollektiv einfach als "Dateiserver" bezeichnet werden. In diesem System 1 sieht das lokale Netzwerk 1 ein Kommunikationsnetz vor, über welches die Prozessoren 21, 22 und die Dateiserver 41-43 unter Verwendung eines bestimmten Protokolls miteinander kommunizieren. Die hier beschriebene Konfiguration und Implementation des lokalen Netzwerks 1 und des entsprechenden Protokolls mit den Prozessoren 21, 22 und den Dateiservern 41-43 dient einfach der Erläuterung der vorliegenden Erfindung, wobei jedoch zu beachten ist, daß zahlreiche alternative Ausführungsformen dieses Systems möglich sind.
Das Datenspeicherverwaltungssystem der vorliegenden Erfindung umfaßt die mit dem lokalen Netzwerk 1 verbundene Datenspeicherverwaltungsvorrichtung. Diese Datenspeicherverwaltungsvorrichtung umfaßt einen Speicherserver 50, der mit dem lokalen Netzwerk 1 verbunden ist. Ein Speicherserverprozessor 51 stellt eine Schnittstelle zwischen dem lokalen Netzwerk 1 und den sekundären Datenspeichereinrichtungen 61-65 (Fig. 4) her, welche den sekundären Speicher 52 bilden. Die sekundären Datenspeichereinrichtungen 61-65 bilden zusammen mit den Dateiservern 41-43 ein hierarchisches Datenspeichersystem. Die sekundären Datenspeichereinrichtungen 61-65 umfassen typischerweise wenigstens eine Schicht des Datenspeichers, die weniger teuer als die dedizierten Datenspeichereinrichtungen 31-33 der Dateiserver 41-43 ist, um eine kosteneffizientere Datenspeicherkapazität für die Prozessoren 21, 22 vorzusehen. Das Datenspeicherverwaltungssystem implementiert einen virtuellen Datenspeicherraum für die mit dem lokalen Netzwerk 1 verbundenen Prozessoren 21, 22. Der virtuelle Datenspeicherraum umfaßt einen ersten Abschnitt A, der eine primäre Datenspeichereinrichtung 31 enthält, welche mit dem lokalen Netzwerk 1 verbunden ist und durch die Prozessoren 21, 22 verwendet wird. Ein zweiter Abschnitt B des virtuellen Speichers enthält den sekundären Speicher 52, der durch den Speicherserverprozessor 51 verwaltet wird. Der sekundäre Speicher 52 sieht eine zusätzliche Datenspeicherkapazität für jede der primären Datenspeichereinrichtungen 31-33 vor, welche in Fig. 1 mit gestrichelten Umrißlinien als mit den primären Datenspeichereinrichtungen 31-33 der Dateiserver 41-43 verbundene virtuelle Einrichtungen 31S-33S dargestellt sind. Dem Prozessor 21 wird also vorgegeben, daß er mit einer Datenspeichereinrichtung 31 mit einer größeren Kapazität als derjenigen des Dateiservers 41 verbunden ist. Der Speicherserver 51 greift auf Softwarekomponenten zu, die in jedem mit dem Netzwerk 1 verbundenen Prozessor 21, 22 und Dateiserver 41-43 gespeichert sind. Der Speicherserverprozessor 51 prüft entweder bedarfsmäßig und/oder auf einer periodischen Basis die Aktivität in jedem Volumen jeder Datenspeichereinrichtung 31-33 der mit dem Netzwerk 1 verbundenen Dateiserver 41-43. Datendateien mit niedriger Priorität werden über das Netzwerk 1 und den Speicherserverprozessor 51 zu sekundären Datenspeichermedien des sekundären Speichers verschoben. Das im Dateiserver 41, der die Datendatei ursprünglich enthielt, residente Datendateiverzeichnis wird durch einen Platzhaltereintrag im Verzeichnis aktualisiert, um anzugeben, daß diese Datendatei zum sekundären Datenspeicher verschoben wurde. Wenn also der Prozessor 21 diese Datendatei anfordert, dann wird der Platzhaltereintrag aus dem Verzeichnis abgerufen und wird der Speicherserverprozessor 51 darüber benachrichtigt, daß die angeforderte Datei zum sekundären Speicher verschoben wurde und zu dem Dateiserver 41, aus dem sie stammt, zurückgerufen werden muß. Wenn ein Prozessor 21, 22 und 42 eine Schnittstelle zum Benutzer herstellen, dann kann der Speicherserver den Benutzer bei Bedarf benachrichtigen, daß eine Zeitverzögerung für das Zugreifen auf die angeforderte Datendatei erforderlich ist. Der Speicherserverprozessor 51 ruft die angeforderte Datendatei automatisch ab und überträgt sie zu der Datenspeichereinrichtung 31, aus der sie ursprünglich stammt. Der Speicherserverprozessor 51, der sekundäre Speicher 52 und die im Prozessor residente Softwaremodule erzeugen eine virtuelle Speicherkapazität für jeden der Dateiserver 41-43 auf eine sowohl für den Prozessor 21, 22 wie den Benutzer transparente Weise. Jedes virtuelle Volumen in diesem System kann in Übereinstimmung mit den Bedürfnissen der Prozessoren 21, 22 stufenlos erweitert werden, indem kostengünstige Massenspeichereinrichtungen verwendet werden, um den sekundären Speicher 52 zu implementieren.

Netzwerksoftware

Fig. 2 stellt die typischen Komponenten der Netzwerksoftware einschließlich der Datenspeichersoftware einer Ausführungsform der vorliegenden Erfindung in der Form eines Blockdiagramms dar. Es werden derzeit eine Anzahl von Netzwerkservern auf dem Markt angeboten, wobei die Novell NetWare®-Software das dominante Produkt auf dem Markt ist. Die folgende Beschreibung nimmt deshalb der einfacheren Beschreibung halber auf eine NetWare®-Ausführungsform Bezug, wobei jedoch zu beachten ist, daß die vorliegende Erfindung nicht auf diese Ausführungsform begrenzt ist.
Die Netzwerksoftware umfaßt ein Betriebssystem 211, welches dazu dient, den zugrundeliegenden Netzwerkrahmen vorzusehen. Außerdem sind eine Vielzahl von Modulen vorgesehen, um die verschiedenen Funktionen zu unterstützen, die für das Funktionieren der mit dem Netzwerk verbundenen Prozessoren ausschlaggebend sind. Diese Module umfassen die folgenden, wobei sie nicht auf dieselben beschränkt sind: Datenverwaltung 212, Druckersteuerung 213, Datenspeicherverwaltung 214, Kommunikation 215, Datendateiverzeichnis 216.
Das Datenspeicherverwaltungssystem einer Ausführungsform der vorliegenden Erfindung umfaßt die in Fig. 1 gezeigten Datenspeichereinrichtungen und Datenspeicherverwaltungssoftware 214, welche in der Netzwerksoftware integriert ist. Die Datenspeicherverwaltungssoftware 214 umfaßt eine Vielzahl von Modulen, welche jeweils eine spezifische Funktion in der allgemeinen Aufgabe der Datenspeicherverwaltung vorsehen. Die in Fig. 2 dargestellten Module sind: Notfallwiederherstellungseinrichtung 221, Objektzugriffsverwaltungseinrichtung 222 und hierarchische Speicherverwaltung 223. Diese Module sind einige der typischen Merkmale, welche für die Benutzer des Netzwerks zur Verfügung gestellt werden, damit diese eine verbesserte Datenspeichereffizienz erhalten. Innerhalb jedes Moduls kann eine Anzahl von zusätzlichen Prozessen vorgesehen sein, welche in die Kategorie des aufgelisteten Moduls aufgenommen sind

Hierarchische Speicherverwaltungsarchitektur

Fig. 3 stellt die Architekturphilosophie dar, und Fig. 4 stellt eine mögliche Hardwareimplementation des hierarchischen Datenspeicherverwaltungssystems dar. Der Benutzer an einem Prozessor 21 greift auf über das Netzwerk 1 eine primäre Datenspeichereinrichtung P zu. Die primäre Datenspeichereinrichtung P besteht aus einem Dateiserver 41 und dessen assoziierter Datenspeichereinrichtung (assoziierten Datenspeichereinrichtungen) 31 wie etwa einem Plattenlaufwerk. Der Dateiserver 41 verwaltet das Datenspeichermedium der assoziierten Datenspeichereinrichtung 31 auf bekannte Weise. Die Datenspeichereinrichtung 31 ist typischerweise in eine Anzahl von Volumen unterteilt, welche als Netzwerkvolumen bezeichnet werden können. Zusätzliche Volumen werden durch das Zuweisen von zusätzlichen Volumen in derselben Daterispeichereinrichtung 31 oder durch das Hinzufügen von weiteren Datenspeichereinrichtungen zum Netzwerk 1 vorgesehen.
Wie in Fig. 3 dargestellt, ist der sekundäre Speicher 52 allgemein in Abhängigkeit von dem für die Implementation der Datenspeichereinrichtugnen 61-65 verwendeten Medien in wenigstens eine und vorzugsweise in mehrere Schichten 311-313 unterteilt. Insbesondere die zweite Schicht 311 des hierarchischen Datenspeichers, welche die erste Schicht des sekundären Speichers 52 ist, kann durch mit hoher Geschwindigkeit arbeitende Magnetspeichereinrichtungen 61 implementiert werden. Derartige Einrichtungen umfassen Plattenlaufwerke und Plattenlaufwerkgruppen. Die dritte Schicht 312 des hierarchischen Datenspeichers, welche die zweite Schicht des sekundären Speichers 52 ist, kann durch optische Speichereinrichtungen 62 implementiert werden. Derartige Einrichtungen umfassen optische Plattenlaufwerke und automatische Medienspeicher und Abrufbibliotheksysteme. Die vierte Schicht 313 des hierarchischen Datenspeichers, welche die dritte Schicht des sekundären Speichers 52 ist, kann durch langsame Magnetspeichereinrichtungen 63 implementiert werden. Derartige Einrichtungen umfassen Magnetbandlaufwerke, automatische Medienspeicher und Abrufbibliotheksysteme. Eine zusätzliche Schicht 314 des hierarchischen Datenspeichers kann durch die Verwendung einer "Archivschicht" implementiert werden, welche durch das manuelle Speichern von Medien 64 implementiert wird. Die angegebene Hierarchie dient dazu, das Datenspeicherverwaltungskonzept zu illustrieren, wobei sich die Reihenfolge und Implementation der verschiedenen Schichten von der hier angegebenen unterscheiden kann. Wie in Fig. 3 gesehen werden kann, können die Datendateien von den Dateiservervolumen des ersten Abschnitts A des virtuellen Speichers zu den Datenspeichereinrichtungen 61-65 des zweiten Abschnitts B des virtuellen Speichers verschoben werden. Außerdem können diese Datendateien weiter in Abhängigkeit von der Aktivität der Datendatei wie in Fig. 3 angegeben von der ersten Schicht 311 des sekundären Speichers 52 zu der zweiten Schicht 312 und dritten Schicht 313 des sekundären Speichers 52 verschoben werden. Weiterhin kann die Datendatei direkt aus jeder Schicht des sekundären Speichers 52 zu den Dateiservervolumen zurückgerufen werden.

Archivschicht

Wenn Datendateien von dem Speicherserver 50 für das Verschieben in den sekundären Speicher übertragen werden, dann werden sie normalerweise automatisch auf verschiedene Weise vor Verlust geschützt. Die Datenspeichereinrichtungen 61 in der ersten Schicht 311 des zweiten Abschnitts des virtuellen Datenspeichersystems werclen typischerweise unter Verwendung von Schattenkopien geschützt, wobei jede Datenspeichereinrichtung 61 und deren Inhalte durch eine andere Datenspeichereinrichtung 65 und deren Inhalte repliziert wird. Wenn die Datendateien zu dem Sepicherserver 50 für die Aufbewahrung verschoben werden, dann werden sie außerdem in große als Übertragungseinheiten bezeichnete Datenblöcke gepackt. Die Übertragungseinheiten werden über ein Backuplaufwerk 71 als Backup auf einem separaten Backupmedium 72 wie etwa einem Magnetbandmedium mit hoher Dichte gespeichert. Es können mehrere Kopien dieses Backupmediums 72 erzeugt werden, um der Datensicherheit halber entfernte Kopien und Kopien vor Ort vorzusehen. Ein Backupmedium-Rotationsschema kann implementiert werden, um die Backupmedien zwischen einer Vielzahl von Lokationen rotieren zu lassen, typischerweise zwischen einer Lokation vor Ort und einer entfernten Lokation, um einen Schutz vor physikalischen Katastrophen wie etwa einem Feuer vorzusehen. Wenn die unterste Schicht 313 des zweiten Abschnitts des virtuellen Datenspeicherraums beinahe voll ist, dann werden die Datenspeichereinrichtungen 63 dieser Schicht geprüft, um die darin enthaltenen Übertragungseinheiten mit der niedrigsten Priorität zu identifizieren. Diese identifizierten Übertragungseinheiten werden dann aus dieser Schicht gelöscht, und die sekundären Speicherverzeichnisse werden aktualisiert, um anzugeben, daß in diesen gelöschten Übertragungseinheiten enthaltene Datendateien zu der Archivschicht 314 "verschoben" wurden. Dabei findet keine physikalische Bewegung der Übertragungseinheiten oder der darin enthaltenen Datendateien statt. Die Verschiebung ist virtuell, weil die Datendateien jetzt auf einem Backupmedium 72 gespeichert sind, das erzeugt wurde, als diese identifizierten Datendateien zu Beginn zu der ersten Schicht des sekundären Speichers verschoben wurden. Der Platzhaltereintrag für jede der in den gelöschten Übertragungseinheiten enthaltenen Datendateien wird nicht aktualisiert, weil die Datendateien immer noch innerhalb des Datenspeichersystems zugreifbar sind. Die Verzeichnisse des sekundären Speichers werden aktualisiert, um anzugeben, daß die Datendateien jetzt in der Archivschicht 314 gespeichert sind, und die Identität des Medienelements 72, welches die Datendatei enthält, wird zu dem Verzeichniseintrag für diese Datendatei hinzugefügt. Das Konzept des Archivspeichers ist sehr praktisch bei temporären Überlaufsituationen, wo freier Platz in der untersten Schicht 313 der Hierarchie benötigt wird, der Benutzer aber keine zusätzlichen Datenspeichereinrichtungen 63 vorgesehen hat. Wenn der Benutzer dann die Datenspeicherkapazität dieser Schicht erweitert, dann können die übergelaufenen Daten aus dem Archivspeicher abgerufen und in den zusätzlichen Datenspeicherraum gegeben werden.
Wenn ein Prozessor 21 Zugriff auf eine Datendatei anfordert, welche in der Archivschicht 314 gespeichert ist, dann ruft der Speicherserver 50 die physikalische Speicherstellendaten aus dem mit der angeforderten Datendatei assoziierten sekundären Speicherverzeichnis ab.
Diese Daten umfassen eine Identifikation des Medienelements 72, das die angeforderte Datendatei enthält. Die physikalische Lokation dieses Medienelements 72 ist von der Daten- Lese/Schreibaktivität und der Konfiguration des Systems abhängig. Es ist nicht unüblich, daß das identifizierte Medienelement 72 in dem Backuplaufwerk 71 eingelegt ist, welches die Datendatei-Backupfunktion durchführt. Wenn dem so ist, dann wird die Datendatei aus dem Backuplaufwerk 71 abgerufen. Wenn das Medienelement 72 aus dem Backuplaufwerk 71 entfernt wurde, dann muß ein Bediener das entfernte Medienelement 71 holen und dasselbe in das Laufwerk 71 einlegen, damit der Speicherserver 50 die angeforderte Datendatei aus dem Medienelement 72 abrufen kann und die Datendatei zu dem durch den anfordernden Prozessor 21 verwendeten Dateiserver 31 übertragen kann. Das geholte Medienelement 72 kann in dem Backuplaufwerk 71 eingelegt werden, es kann aber auch ein separates Laufwerk für diesen Zweck vorgesehen sein, damit der Speicherserver 50 kontinuierlich Backups von Datendateien machen kann, wenn diese zu dem sekundären Speicher 52 verschoben werden. Das Backupmedium 72 erfüllt also zwei Funktionen: es ist ein Backup für die Datendateien und eine Archivschicht 314 des Speichers in der Datenspeicherhierarchie. Rückzugsschicht
Wenn Datendateien für eine längere Zeitdauer nicht verwendet werden, dann sollten sie aus dem virtuellen Datenspeichersystem entfernt und in ein anderes verwaltetes Datenspeichersystem gegeben werden, welches keine teureren automatischen Ressourcen des virtuellen Datenspeichersystems verwendet. Es ist vorteilhaft, diese zurückgezogenen Datendateien für den Fall zu verfolgen, daß sie abgerufen werden müssen. Die Rückzugsschicht 315 sieht diese Funktion vor. Wenn eine Datendatei zurückgezogen wird, dann ist sie nicht mehr Teil des virtuellen Datenspeichersystems und ihr Platzhaltereintrag wird aus dem primären Speicherverzeichnis gelöscht. Außerdem werden die Identifikation der Datendatei und andere in dem sekundären Speicherverzeichnis aufgezeichnete Eigenschaften in einem separaten Rückzugsverzeichnis gespeichert. Der Platzhaltereintrag der zurückgezogenen Datei, der Eintrag im sekundären Speicherverzeichnis und der Eintrag im Backupverzeichnis werden gelöscht. Um die Verwaltung des Rückzugsspeichers zu vereinfachen, kann derselben in Segmente unterteilt werden, welche jeweils Datendateien auflisten, auf welche zuletzt während einer bestimmten Zeitperiode zugegriffen wurde. Der Aufbau des Rückzugsverzeichnisses kann dem Schema der zugrundeliegenden Verzeichnisstruktur des virtuellen Dateisystems folgen, das etwa die Form einer Baumstruktur aufweist. Das virtuelle Dateisystem startet gewöhnlich auf der Volumenstufe des Baums, wobei die Verzeichnisstruktur des Rückzugsverzeichnisses jedoch nach oben erweitert werden kann, um Server innerhalb einer definierten Domäne zu enthalten. Die Domäne kann Unterteilungen einer Korporation oder eine andere Segmentierung der Datendateien wiedergeben, welche oberhalb der Serverstufe liegt. Diese Erweiterung ermöglicht es dem Speicherserver 50, das Rückzugsverzeichnis über das lokale Netzwerk 1 für das Speichern durch die Dateiserver 41-43 zu verteilen. Alle Baumsuchen für eine zurückgezogene Datendatei können dann gleichzeitig durch die Vielzahl der Dateiserver 41-43 durchgeführt werden. Datendateien werden typischerweise als eine Gruppe zurückgezogen, welche die älteste(n) Übertragungseinheit(en) auf den ältesten Medien in der Datenspeicherhierarchie oder die älteste(n) Übertragungseinheit(en) in einem bestimmten virtuellen Dateisystem sein können, wenn die Hierarchie durch ein virtuelles Dateisystem organisiert ist. Der Prozeß des Zurückziehens von Datendateien untersucht den Zeitpunkt des letzten Zugriffs für jede zurückgezogene Datendatei und setzt einen Eintrag in dem Rückzugsverzeichnis, der dieser Zeiteinteilung entspricht. Jedes Segment des Rückzugsverzeichnisses ist also ein Journal von zurückgezogenen Datendateien über ein letztes Zugriffsintervall und ist auch durch die Domäne organisiert. Jede Domäne weist eine Baumstruktur für ihr Verzeichnis auf, welches nach Dateiserver 41- 43 oder Volumen analysiert und über das lokale Netzwerk 1 zu dem entsprechenden Dateiserver verteilt werden kann.

Datenverwaltungssystemsoftware

Die Datenverwaltungssystemsoftware einer Ausführungsform der vorliegenden Erfindung verwaltet den Fluß der Datendateien durch das System. Das Blockdiagramm von Fig. 10 gibt das Client-Server-Konzept des Netzwerks und der Datenverwaltungssystemsoftware wieder. Die Kommunikationsverbindung 11 des lokalen Netzwerks 1 ist mit dem Speicherserverprozessor 51 und drei damit verbundenen Dateisystemen 41-43 dargestellt. Der Speicherserverprozessor 51 umfaßt das Netzwerkbetriebssystem 111 und die Datenspeicherverwaltungssystemsoftware, welche verschiedene Medien- und Geräteverwaltungsbenutzerschnittstellen 112 und Steuer- und Dienstsoftware 113 umfaßt. Jeder Dateiserver 41-43 umfaßt einen Sepicherserveragenten 121-123 und jeder Prozessor des Netzwerks kann eine administrative Benutzerschnittstelle 131 umfassen und betreiben. Die Steuer- und Dienstsoftware 113 betrachtet das System als einen Satz von Clients, welche mit dem Netzwerk 1 verbunden sind und Dienste von dem Speicherserver 50 anfordern. Jeder Dateiserver 41-43 kommuniziert mit dem Speicherserverprozessor 51 über die residente Speicherserveragentensoftware 121-123. Die Datenverwaltungssystemsoftware ist also über das Netzwerk verteilt und dient dazu, auf transparente Weise alle mit dem Netzwerk verbundenen Elemente in eine Datenspeicherhierarchie zu integrieren.
Der Speicherserveragent 121-123 gibt eine Komponente wieder, die in jedem Dateiserver 41-43 in dem lokalen Netzwerk 1 installiert ist und dazu dient, Anforderungen für verschobene Datendateien vom Dateiserver 41-43, welcher die angeforderte Datendatei ursprünglich enthielt, zu dem Speicherserver 50 umzuleiten. Der Speicherserveragent 121-123 sieht alle Schnittstellen vor, die zum Umleiten des Datendateizugriffs vom Dateiserver 41-43 zu dem Speicherserverprozessor 51 und dem sekundären Speicher 52 erforderlich sind. Wenn ein Prozessor 21, 22, 42 eine Schnittstelle zu einem Benutzer herstellt, dann kann der Speicherserver 50 den Benutzer benachrichtigen, daß eine Zeitverzögerung bei dem Zugriff auf die angeforderte Datendatei auftreten kann. Der Speicherserveragent 121-123 weist eine Persönlichkeit auf, welche auf die zugrundeliegende Client-Dateiserver-Plattform oder -Umgebung zugeschnitten ist. Wenn zum Beispiel der Dateiserver ein Datenbankverwaltungsserver ist, dann stellt der Speicherserveragent eine Schnittstelle zu dem Datenbankverwaltungssystem-Objektverwalter her, um eine automatische Verschiebung und ein automatisches Zurückrufen von Datenbankobjekten zu ermöglichen, welche als Subdateien betrachtet werden können. Ein anderes Beispiel ist der NetWare®-Dateisystemzugriffsverwalter, welcher alle durch NetWare® unterstützten Dateisystemaufrufe am Dateiserver einfängt. Dadurch kann auch das automatisch Zurückrufen von verschobenen Datendateien getriggert werden.
Unter Verwendung dieser Basiselemente können verschiedene Variationen des lokalen Netzwerks 1 mit mehreren Prozessoren 21, 22 und mehreren Dateiservern 41-43 mit jeweils verbundenen Datenspeichereinrichtungen 31-33 konfiguriert werden. Der Prozessor 51, auf welchem die Speicherserversoftware läuft, umfaßt eine physikalische Schnittstelle zu der Datenkommunikationsverbindung 11 des lokalen Netzwerks 1.

Echtzeit-Netzwerkspeicherraumverwaltung

Fig. 9 ist ein Diagramm einer konfigurierten Volumenraumnutzung in der Zeit für ein typisches Netzwerkvolumen im primären Speicher. Wie aus diesem Diagramm gesehen werden kann, variiert der Grad der Netzwerkvolumenraumnutzung in der Zeit in Abhängigkeit von den Aktionen des Datenspeicherverwaltungssystems der vorliegenden Erfindung. Ein nicht verwaltetes Netzwerkvolumen leidet an der monoton zunehmenden Raumnutzung. Bei einem übermäßig genutzten konfigurierten Netzwerkvolumen mußte der Benutzer bisher ma nuell ausreichend Datendateien aus dem Netzwerk entfernen, um einen adäquaten Datenspeicherraum für die Verwendung durch den Prozessor zu erhalten. Das Diagramm von Fig. 9 umfaßt mehrere vordefinierte Raumnutzungsgrade. Diese Grade werden als "kritisch", "annehmbar" und "optimal" bezeichnet. Das Datenspeicherverwaltungssystem aktiviert verschiedene Prozeduren innerhalb der hierarchischen Datenspeicherverwaltungsanwendung in Abhängigkeit von dem Nutzungsgrad der konfiguierten Volumenraumnutzung. Verschiedene Spitzen der Kurve werden durch den Namen der Prozedur bezeichnet, welche zu diesem Zeitpunkt aktiviert wird, um die Volumenraumnutzung zu reduzieren.
Zum Beispiel ist "Räumen" eine Datenspeicherraumverwaltungsprozedur, die auf einer Routinebasis initiiert wird. Die Räumungsprozedur wird typischerweise jeden Tag zu einem vorbestimmten Zeitpunkt initiiert und betrieben, um die konfigurierte Volumenraumnutzung auf einen Grad unterhalb des im Diagramm von Fig. 9 als optimal bezeichneten zu reduzieren. Die Räumungsprozedur verschiebt die Datendateien mit der niedrigsten Priorität aus dem Netzwerkvolumen zu den Medien der sekundären Stufe 52, um sicherzustellen, daß jeden Tag eine ausreichende Menge von verfügbarem Speicherraum im Netzwerkvolumen ist, wenn Operationen durch die Benutzer der verschiedenen mit dem Netzwerk 1 verbundenen Prozessoren 21, 22 initiiert werden. Die Raumverwaltungsprozeduren können eine Vielzahl von gleichzeitig gültigen Operationsraumverwaltungsregeln umfassen. Datendateien können also in Abhängigkeit von dem Zeitpunkt des letzten Zugriffs, der Größe und der Quantität des im Netzwerkvolumen verfügbaren Datenspeicherraums ausgewählt werden. Wenn die Verwaltungsregeln das Verschieben von mehr Datendateien aus einem ausgewählten Netzwerkvolumen zum sekundären Speicher 52 erlauben als zum Erreichen des optimalen Grades erforderlich ist, dann werden die zusätzlichen Datendateien in den sekundären Speicher 52 "vorverschoben". Das Vorverschieben von Datendateien umfaßt das Verschieben der Datendateien zum sekundären Speicher 52, aber nicht das Löschen (Kürzen) der Datendateien aus dem Netzwerkvolumen. Die vorverschobenen Datendateien werden im Dateisystemverzeichnis als vorverschoben markiert, um anzugeben, daß die Datendateien sowohl im Netzwerkvolumen wie im sekundären Speicher 52 existieren.
Außerdem neigt ein Netzwerkvolumen im taufe eines Tages dazu, sich aufgrund der Erweiterung von Datendateien, dem Kopieren von Datendateien und dem Erstellen von neuen Datendateien zu füllen. Die Raumtask der hierarchischen Datenspeicherverwaltungsanwendung überwacht kontinuierlich den Grad der konfigurierten Volumenraumnutzung. Wenn ein Volumennutzungsschwellwert zwischen Routine-Räumungsoperationen überschritten wird, dann initiiert die Raumtask eine der Raumverwaltungsprozeduren, um die Volumenraumnutzung auf den nächstniedrigen Schwellwert zu reduzieren. Wenn zum Beispiel der Grad der Volumennutzung zwischen den Graden annehmbar und kritisch liegt, dann beginnt die Raumtask vorverschobene Datendateien zu kürzen, bis der Grad der Volumennutzung unter den annehmbaren Grad reduziert ist. Das Vorverschieben von Datendateien ermöglicht dabei, daß das Datenspeicherverwaltungssystem sofort zusätzlichen Datenspeicherraum vorsieht, wenn der Grad der Volumennutzung übermäßig ist. Wenn entsprechend der Grad der Volumennutzung den kritischen Grad überschreitet, dann wird der kritische Verschiebungsjob für die unmittelbare Ausführung geplant und dient dazu, die Datendateien mit der niedrigsten Priorität in den sekundären Speicher zu verschieben, bis der annehmbare Grad erreicht wurde.
Die Datendateiverschiebungsprozesse können auf verschiedene Weise konfiguriert werden, um die Raumverwaltungstask anzupassen. Insbesondere wenn der Räumungsprozeß normalerweise während der geringsten Netzwerkaktivität aktiviert wird, dann kann der Räumungsprozeß kontinuierlich als eine Hintergrundprozedur betrieben werden, wobei die Räumungsaktivität in Übereinstimmung mit den Raumverwaltungsanforderungen gesteuert werden kann. Die Räumungsoperation kann also eine "Beschleunigungsfähigkeit" aufweisen. Außerdem kann die Räumungsoperation beim Abschluß des bedarfsmäßigen Verschiebungsprozesses oder des kritischen Verschiebungsprozesses aktiviert werden, um den Grad der Volumennutzung auf den optimalen Grad zu senken. Die Räumungsoperation kann also gleichzeitig zu der Operation zum Zurückrufen einer Datendatei betrieben werden, weil das System ein Multiprocessingsytem ist.

Routine-Räumungsoperation

Fig. 5 stellt die verschiedenen während einer Datendateiverschiebungsoperation verwendeten Pfade dar, während Fig. 6 die durch die Datenspeicherverwaltungsoperation durchgeführten Schritte zum Durchführen der Routine-Räumungsoperation in der Form eines Flußdiagramms darstellt. Die Räumungsoperation wird auf einer Routinebasis aktiviert, etwa zu einer vorbestimmten Zeit in jeder Nacht. Wie in Fig. 10 dargestellt, umfaßt jedes Client- Anwendungsprogramm (wie etwa DOS®, WindowsTM, NetWare®FileServer) ein Speicherserviceagentenmodul, dessen Persönlichkeit auf die zugrundeliegende Client-Platlform zugeschnitten ist. Außerdem ist eine administrative Benutzerschnittstelle 131 vorgesehen, um die folgenden Softwaremodule zu implementieren: Speicherverwalter, Medienverwalter, Geräteverwalter, Backupverwalter. Der Speicherverwalter erfüllt allgemeine Funktionen für den Job, die Konfiguration, den Setup und die Systeminformationsüberwachung. Der Medienverwalter führt medienspezifische Operationen wie etwa das Kopieren und Wiederherstellen von Medien durch. Der Geräteverwalter führt gerätespezifische Operationen wie das Hinzufügen und Entfernen eines Gerätes durch. Der Backupverwalter führt Backupoperationen wie das Definieren der Anzahl der Backupsätze, das Definieren der Rotation und der Redundanz durch. Die Anzahl und Funktion der verschiedenen Module ist eine Wahl des Systemdesigns, wobei die hier genannten Module einfach der Illustration der vorliegenden Erfindung dienen.
Wenn die Räumungsoperation in Schritt 601 zum vorbestimmten Zeitpunkt initiiert wird, dann greift der Operationskernel 501 im Speicherserverprozessor 51 in Schritt 602 über die Netzwerkschnittstelle 502, die Datenkommunikationsverbindung 11 und die Netzwerkschnittstelle 503 auf das Datendateiverzeichnis 511 zu, das in dem Speicher gespeichert ist, der mit dem Datensystemverwaiter 521 im Dateiserver 41 assoziiert ist. Die Inhalte aller in der Datenspeichereinrichtung 31 des Dateiservers 41 gespeicherten Netzwerkvolumen werden in dem Verzeichnis 511 aufgelistet. Der Dateisystemverwalter 521 verwaltet typischerweise das Verzeichnis 511, welches die Datendatei, ihre Speicherstelle und Attribute auflistet. Der Operationskernel 501 sortiert in Schritt 603 alle Datendateien in jedem verwalteten Netzwerkvolumen in einer vorbestimmten Weise in einer Prioritätsliste wie etwa in einer Liste der am längsten zurückliegenden Nutzung. Die untersten Einträge der Liste geben den Satz der aktuellen Verschiebungskandidaten wieder. Die Verschiebungskandidaten werden auf der Basis einer Anzahl von Datendateiattributen ausgewählt, so daß der Satz der Verwaltungskandidaten ausreicht, um in Übereinstimmung mit Raumzielsetzungen ausreichenden freien Datenspeicherplatz für dieses verwaltete Netzwerkvolumen vorzusehen. Außerdem waren diese Verwaltungskandidaten für eine Zeitdauer inaktiv, welche größer als eine minimale inaktive Zeitdauer ist.
Der Geräteverwalter 504 des Speicherservers 50 wird in Schritt 604 durch den Operationskernel 501 aktiviert und nimmt in Schritt 605 die Verschiebungskandidaten aus dem ausgewählten verwalteten Netzwerkvolumen, überträgt und stellt dieselben zu einer Übertragungseinheit in der obersten Schicht 311 im sekundären Speicher 52 zusammen. Fig. 5 stellt den Pfad für die verschobenen Datendateien durch das Datenspeichei-verwaltungssystem dar. Insbesondere wird die Verschiebungskandidat-Datendatei durch den Operationskernel 501 ausgewählt und aus dem verwalteten Volumen der Datenspeichereinrichtung 31 entfernt, nachdem die Datendatei über die Netzwerkschnittstelle 503, die Datenkommunikationsverbindung 11 des Netzwerks und die Netzwerkschnittstelle 502 zu dem Speicherserver 50 übertragen wurde und geprüft wurde, ob die Datendatei korrekt übertragen wurde. Der Speicherserver 50 schreibt also dis Übertragungseinheit mit der übertragenen Datendatei und den anderen Datendateien in die Stufe 1 (311) des sekundären Speichers 52.
Die Datendatei wird in dem Verzeichnis 511 des Netzwerkvolumens aufgelistet, in welches der Prozessor 21 die Datendatei geschrieben hat. Diese Verzeichnisliste wird durch den Operationskernel 501 in Schritt 606 modifiziert, um es dem Prozessor 21 zu ermöglichen, die Datendatei zu erhalten, ob diese nun in dem verwalteten Volumen im Netzwerkvolumen oder in einem Volumen in der sekundären Stufe 52 gespeichert ist. Dies wird durch den Operationskernel 501 bewerkstelligt, welcher einen "Platzhaltereintrag" in dem Verzeichnis 511 des verwalteten Volumens vorsieht. Dieser Eintrag listet die Datendatei mit einer Größe von "0" auf, wobei Daten in den Verzeichnisattributen oder im Metadatenbereich für die Datendatei vorgesehen sind, welche zu dem Katalogeintrag zeigen, der in Schritt 607 durch die Systemservices 505 im sekundären Speicherverzeichnis 531 erstellt wurde, das die Speicherstelle in dem sekundären Speicher 52 auflistet, welcher die verschobene Datendatei enthält. Das Verzeichnis der Lokation einer bestimmten Datendatei im sekundären Speicher 52 wird in dem Netzwerkvolumen selbst aufrechterhalten. Dies wird durch die Verwendung eines sekundären Speicherverzeichnisses 531 bewerkstelligt, das in dem Dateiserver 41 durch den Operationskernel 501 und die Systemservices 505 des Speicherservers 50 aufrechterhalten wird. Das Verzeichnis 511 und das sekundäre Speicherverzeichnis 531 können beide in die Datenspeichereinrichtung 31 des Dateiservers 41 geschrieben werden.
Die Verwendung eines Schlüssels oder Zeigers in dem Platzhaltereintrag, um den Eintrag im sekundären Speicherverzeichnis für die angeforderte Datendatei anzugeben, wird vorzugsweise durch das Speichern des Schlüssels als Teil der Datendatelattribute bewerkstelligt. Dadurch wird ermöglicht, daß sowohl der Platzhaltereintrag wie das sekundäre Speicherverzeichnis eine Umbenennung der Datendatei durch den anfordernden Prozessor überleben. Dateisysteme benennen Datendateien häufig um, so daß die Datendatei, wenn der Schlüssel ein Teil des Dateinamens wäre, durch das Umbenennen der Datendatei verloren gehen würde. Die Datendatelattribute werden jedoch als Teil einer Datendatei-Umbenennungsprozedur erhalten. Wenn eine Umbenennung einer Datendatei stattfindet, dann wird der dieser Datendatei zugeordnete Name modifiziert und wird der Eintrag im Netzwerkverzeichnis plötzlich in einen anderen Teil des primären Speicherverzeichnisses des Dateisystems gegeben. Die Dateidatenattribute werden in nicht modifizierter Form mit dem neuen Datendateinamen transportiert, und weil der Platzhalter ein Teil der Datendatelattribute ist, zeigen die umbenannten Datendatelattribute weiterhin zu dem korrekten sekundären Ver zeichniseintrag, so daß die Umbenennung automatisch zu dem sekundären Speicherverzeichnis übertragen wird. Das virtuelle Segment des Dateisystems verfolgt also automatisch die Umbenennung der Datendateien im primären Segment des Dateisystems.
Die verschobene Datendatei wird durch den Speicherserver 50 empfangen und in einen ausgewählten verfügbaren Datenspeicherraum in einem Verschiebungsvolumen einer Datenspeichereinrichtung 61 in der Stufe eins 311 des sekundären Speichers 52 geschrieben. Wenn außerdem Schattenvolumen 65 in dem sekundären Speicher 52 für Datenverläßlichkeitszwecke vorgesehen sind, dann wird die verschobene Datendatei in Schritt 608 auch in einen ausgewählten verfügbaren Datenspeicherraum in einem der Schattenvolumen 65 geschrieben. Gruppen von in den Schattenvolumen 65 gespeicherten Datendateien werden nach dem Auftreten einer Periode der Räumungsaktivittät auch periodisch in Schritt 609 über ein spezielles Backuplaufwerk 71 auf ein Backupmedienelement 72 geladen, um eine Notfallwiederherstellungsfähigkeit sicherzustellen. Um die Datendateien in der Hierarchie effizienter zu verwalten, kann der Operationskernel 501 eine Vielzahl von Datendateien in eine Übertragungseinheit mit einer vorbestimmten Größe für die fortgesetzte Verschiebung zu niedrigeren Stufen in der Hierarchie zusammenstellen. Eine Kandidatengröße für die Übertragungseinheit ist eine Standardobjektgröße für das Medium, welches zum Implementieren der ersten Schicht 311 des sekundären Speichers 52 verwendet wird. Es ist wünschenswert, daß die im sekundären Speicher 52 verwendeten Übertragungseinheiten mit einer minimalen Bereichsfragmentierung in alle Medien passen.
Für die in die Verschiebungsvolumen 61 und die Schattenvolumen 65 geschriebenen Datendateien wird deren physikalische Speicherlokationsidentifikation in ein sekundäres Speicherverzeichnis geschrieben, das zum Speicherserver 50 gehört. Dieses Verzeichnis kann vollständig innerhalb des Speicherservers 50 implementiert werden, muß aber eine große Menge von Datenspeicherraum aufnehmen und wäre schwierig zu schützen. Statt dessen wird dieses Verzeichnis über die Dateiserver 41-43 verteilt, welche verwaltete Volumen 31- 33 für die Prozessoren 21, 22 enthalten, wobei jeder Teil des Verzeichnisses das sekundäre Speicherverzeichnis 531 für das verwaltete Volumen in der primären Datenspeichereinrichtung 31-33 angibt. Der Platzhaltereintrag im Dateiserver 41-43 zeigt auf diesen Verzeichniseintrag im sekundären Speicherverzeichnis 531. Der Prozessor 21, welcher den Zugriff auf diese verschobene Datendatei anfordert, kann die angeforderte Datendatei erhalten, ohne von der Existenz des sekundären Speichers 52 zu wissen. Dies wird (wie weiter unten ausführlicher beschrieben) durch den Speicherserviceagenten 121 bewerkstelligt, welcher einen Platzhaltereintrag aus dem Dateiserververzeichnis 511 erhält, welcher auf den Verzeichnis eintrag in dem sekundären Speicherverzeichnis 531 zeigt. Der identifizierte Verzeichniseintrag in dem sekundären Speicherverzeichnis 531 enthält die Adresse in dem Verschiebungsvolumen, welches die angeforderte Datendatei enthält.
Diese Datendateiverschiebungsprozedur wird innerhalb des sekundären Speichers 52 für jede Schicht des hierarchischen Datenspeichers repliziert. Wenn dabei jede Schicht des sekundären Speichers 52 über einen vorbestimmten Schwellwert hinaus verwendet wird, dann werden die Datendateien zu der nächsten niedrigeren Schicht in der Datenspeicherhierarchie verschoben.
Die besondere hier beschriebene Segmentierung des Speicherservers 50 zwischen dem Operationskernel 501, dem Geräteverwalter 504 und den Systemservices 505 stellt nur eine aus der Anzahl von möglichen Implementierungen der durch den Speicherserver 50 vorgesehenen Funktionalität dar. Es sind andere Aufteilungen der Verantwortlichkeit unter diesen Elementen oder andere Kombinationen der Elemente möglich, ohne daß von den in dieser Beschreibung verkörperten Konzepten abgewichen wird.

Dateisysteme

Das Datenverwaltungssystem verwendet eine Dateisystemstruktur, welche einen gemeinsamen Aufbewahrungsort für die potentiell unterschiedlichsten Dateisysteme der Client-Dateiserver 41-43 vorsieht. Die Dateisystemstruktur des Datenverwaltungssystems muß nicht nur die Datendateien aus den Dateiservern 41-43 akzeptieren, sondern auch die Funktionen für das sekundäre Datenspeichern, das Datenzurückrufen, das Datenbackup, das Datenverschieben und die Notfallwiederherstellung erfüllen, weiche dem Datenverwaitungssystem inhärent sind, wobei die für diese Funktionen verwendeten Medien stark variieren können. Die Medien können Fähigkeiten zum "wahlfreien Aktualisieren" wie etwa Magnetplatten aufweisen oder lediglich Fähigkeiten zum "Anhängen" wie etwa Magnetbänder aufweisen. Die Datendateiübertragungen sind typischerweise umfangreich und müssen derart durchgeführt werden, daß die Operationen für das Datenbackup und das Verschieben von Daten effizient durchgeführt werden können. Eine typische Dateisystemarchitektur ist ein gewöhnliches DOS-Dateisystem, dessen Architektur in Fig. 13 dargestellt ist. Dieses Dateisystem umfaßt vier Grundkomponenten:
1. Dateinamenkonvention.
2. Verzeichnisarchitektur zum Organisieren von Datendateien in Übereinstimmung mit dem Namen, so daß sie einfach lokalisiert werden können.
3. Physikalisches Raumzuordnungsschema, welches Datendateinamen zu einer physikalischen Lokation auf einem Datenspeichermedium zuordnet und welches die Nutzung und Neuzuordnung des Datenspeicherraums erlaubt, wenn Datendateien gelöscht werden.
4. Dateiverwaltungsschema, welches Zugriffsverfahren umfaßt.
Zum Beispiel werden Datendateien mit einem Namen mit 1-8 Byte und einer Erweiterung mit 0-3 Byte benannt, welche durch "." voneinander getrennt werden (nnnnnnnn.xxx). Die Verzeichnisarchitektur ist in Fig. 13 dargestellt und weist die Form eines hierarchischen Baums mit Verzeichnisnamen auf. Die Wurzel ist typischerweise ein Volumen, von welchem eine Anzahl von Verzeichnissen verzweigen. Jedes Verzeichnis enthält andere Verzeichnisse und/oder Datendateien. Ein vollständiger Datendateiname wird durch die Verkettung aller Komponenten der Verzeichnisbaumstruktur von der Wurzel bis zu der bestimmten Datendatei wiedergegeben, wobei die Komponenten durch "\" getrennt werden. Ein Beispiel eines derartigen Datendateinamens unter Verwendung dieser Konvention ist "\vol\dir1\dir3\ filename.ext". Jedes DOS-Volumen im Dateiserver weist sein eigenes einzigartiges Dateisystem auf. Die physikalische Raumzuordnung in dem Datenspeüchermedium wird unter Verwendung einer Dateizuordnungstabelle (FAT) bewerkstelligt. Der Datenspeicherraum in einem DOS-Volumen wird in als Cluster bezeichnete Zuordnungseinheiten segmentiert. Alle Verzeichnis- und Dateidatennamen in dem Volumen sind in der Dateizuordnungstabelle aufgelistet und hierarchisch durch Verknüpfungen zwischen Eltern und Kindern im Verzeichnisbaum aufeinander bezogen. Wenn ein Datendateiname in die Dateizuordnungstabelle eingegeben wird, dann wird auch Raum für Datendatelattribute wie etwa versteckt oder schreibgeschützt vorgesehen, und es wird auch die Identifikation des ersten zum Speichern der Datendatei verwendeten Clusters notiert. Wenn zusätzliche Cluster zum Speichern dieser Datei erforderlich sind, dann werden diese Cluster in einer Kette über Zeiger miteinander verknüpft, wobei die gesamte Kette die physikalische Lokation der Datendatei in dem Datenspeichermedium darstellt.

Übertragungseinheiten

Das Datenspeicherverwaltungssystem der vorliegenden Erfindung verwendet eine andere Verzeichnisstruktur, um das Speichern der Datendateien in den Datenspeichermedien des sekundären Speichers 52 zu verwalten. Das Speichern und Verschieben von Datendateien in den verschiedenen Schichten des sekundären Speichers 52 wird durch die Verwendung von Übertragungseinheiten vereinfacht. Eine Übertragungseinheit ist ein Datenblock mit einer vorbestimmten Größe, welcher virtuelle Dateisystemobjekte (z. B. Datendateien) ent hält, welche sich zusammen zum Backupsystem und durch die Hierarchie bewegen, wobei jeder Übertragungseinheit eine eindeutige Identifikation innerhalb des Datenspeichersystems zugewiesen wird.
Wie oben bemerkt, sortiert der Operationskernel 501 des Speicherserverprozessors 51 Datendateien in jedem verwalteten Volumen der Dateisysteme 41-43 in Übereinstimmung mit einem vorbestimmten Algorithmus. Das Sortieren kann auf der Nutzung, dem Inhalt, dem kritischen Zustand, der Größe oder einem anderen Kriterium der Datendateien basieren. Für die vorliegende Darstellung wird eine einfache Sortierung in Übereinstimmung mit der am längsten zurückliegenden Nutzung (LRU = least recently used) beschrieben. Der Operationskernel 501 sortiert die Datendateien in jedem verwalteten Volumen auf einer LRU-Basis, wobei die Einträge unten in der Liste die Verschiebungskandidaten sind. Der Operationskernel 501 räumt die Verschiebungskandidatendateien periodisch aus den verwalteten Volumen und setzt sie seriell nach dem verwalteten Volumen zu einer Übertragungseinheit zusammen, welche eine Vielzahl von Datendateien enthält. Der vollständige Datendateiname wird in das sekundäre Speicherverzeichnis 531 eingegeben, zusammen mit der Datendateispeicherinformation, welche die Speicherstelle der Datendatei in der Übertragungseinheit, die Übertragungseinheitidentifikation und die Medienobjektidentifikation umfaßt. Der Datendateiname ist immer logisch auf die ursprüngliche Übertragungseinheitidentifikation bezogen, wobei die Datendatei niemals zu einer anderen Übertragungseinheit verschoben wird, sondern in der Übertragungseinheit mit den anderen temporär bezogenen Datendateien aus jedem virtuellen Dateisystem zum Zeitpunkt der Verschiebung in den sekundären Speicher 52 bleibt. Das Medienobjekt selbst ist mit Übertragungseinheiten und nicht mit Datendateien assoziiert. Auf diese Weise wird ein Verzeichnis verwendet, um die Korrespondenz zwischen Datendateien und Übertragungseinheit zu notieren, und wird ein zweites Verzeichnis verwendet, um die Korrespondenz zwischen Übertragungseinheiten und Medienobjekt zu notieren. Wenn Übertragungseinheiten von einem Medium zu einem anderen Medium verschoben werden, dann muß das Datendateiverzeichnis nicht aktualisiert werden, weil die Datendateien in der ursprünglichen Übertragungseinheit bleiben und einfach nur die Lokationsänderung der Übertragungseinheit in dem verwendeten Medium notiert werden muß. Es kann vorkommen, daß der Speicherserverprozessor 51 keine ausreichenden Datendateien aufweist, um eine Übertragungseinheit vollständig innerhalb einer vernünftigen Zeitdauer zu füllen. Der Speicherserverprozessor 51 schreibt nach Ablauf eines vorbestimmten Zeitintervalls eine Teilübertragungseinheit in den sekundären Speicher 52 und das Backupmedium 72. Wenn zusätzliche verschobene Datendateien aus den Dateiservern empfangen werden, dann überschreibt der Speicherserverprozessor 51 die teilweise gefüllte Übertragungseinheit mit einer vollständigen Übertragungseinheit, welche die zuvor geschriebene Teilübertragungseinheit und die zusätzlich empfangenen Datendateien umfaßt, welche die Übertragungseinheit vollständig füllen. Der Speicherserverprozessor 51 verfolgt die Teilnatur der Übertragungseinheit. Die Verwendung des Teilübertragungseinheit-Schreibprozesses reduziert die Anfälligkeit, weil verschobene Datendateien periodisch und zeitlich abgestimmt auf Backupmedien geschrieben werden.
Das Dateisystem separiert die logische Zuordnung des Datenspeichers von der physikalischen Speicherzuordnung, wobei die logische Zuordnung für alle Schichten der Datenspeicherhierarchie gleich ist, weil die Datendatei in ihrer einzigartigen Übertragungseinheit bleibt. Ein großer Vorteil dieses Systems besteht darin, daß wenn Übertragungseinheiten von Schicht zu Schicht in der Hierarchie verschoben werden oder auf ein Backupmedium gegeben werden, nur die Beziehung zwischen der Übertragungseinheitenidentifikation und dem Medienobjekt aktualisiert werden muß, um das neue Medium anzugeben, auf welchem die Übertragungseinheit gespeichert ist. Weiterhin hält die Datendatei ihre Beziehung zu der Übertragungseinheit im Backupsystem aufrecht, wobei das Backupmedium einfach ein redundantes Medienobjekt für dieselbe Übertragungseinheitenidentifikation vorsieht. Die Übertragungseinheit wird dann in die erste Schicht 311 des sekundären Speichers 52 geschrieben. Diese Prozedur wird verwendet, um Übertragungseinheiten von einer Schicht in der Datenspeicherhierarchie zu der nächsten niedrigeren Schicht in der Datenspeicherhierarchie zu verschieben. Das Blockdiagramm von Fig. 11 stellt die verschachtelte Natur der Übertragungseinheiten dar. Die Übertragungseinheit der Datendateien von der primären Stufe gibt also einen Datenblock mit einer ersten Größe wieder. Die Übertragungseinheit der zweiten Schicht, welche zusammengestellt wurde, um Datendateien von der ersten Schicht des hierarchischen Datenspeichers zu der zweiten Schicht zu verschieben, kann sich aus einer Vielzahl von Übertragungseinheiten der ersten Schicht zusammensetzen. Entsprechend kann dieser Prozeß auf folgende Schichten der Datenspeicherhierarchie angewendet werden. Fig. 11 stellt den resultierenden Datenstrom dar, der auf die niedrigste Schicht der Datenspeicherhierarchie in einem sekundären Speicher mit drei Schichten geschrieben wird und aus einer Vielzahl von sequentiell geordneten Übertragungsschichten der zweiten Schicht besteht, welche jeweils aus einer Vielzahl von Übertragungseinheiten der ersten Schicht bestehen.
Eine alternative Form des Dateisystems ist in Fig. 12 dargestellt, in welcher das physikalische Zuordnungssystem über den besonderen Medientyp und die Hierarchieschicht gelegt wird. Medien in jeder Schicht der Datenspeicherhierarchie werden in Übertragungseinheiten zugeordnet, welche hier als Chunks bezeichnet werden und eine bis zu einem vorbestimmten Maximum variable Größe aufweisen. Wenn es die zugrundeliegende physikalische Raumzuordnungsverwaltung erlaubt, dann sind die Chunks zu Beginn klein und wachsen dann nach Bedarf. Andernfalls werden die Chunks zuvor in Blöcken mit fester Größe zugeordnet und dann bei Bedarf gefüllt. Nur die Datendateien aus einem bestimmten Netzwerkvolumen sind in einem ausgewählten Chunk oder in einer Vielzahl von Chunks (Chunksatz) in jeder Schicht der Datenspeicherhierarchie gespeichert. Der Chunksatz in einer bestimmten Schicht gibt also den Teil des virtuellen Dateisystems wieder, der in dieser Schicht gespeichert ist. Das Blockdiagramm von Fig. 12 stellt die verschachtelte Natur der Chunks dar. Die Chunks der Datendateien aus dem primären Speicher geben einen Datenblock mit einer ersten Größe wieder, welcher Datendateien aus nur einem einzigen Netzwerkvolumen enthält. Der Chunk der zweiten Schicht, der zusammengesetzt ist, um Datendateien aus der ersten Schicht des hierarchischen Datenspeichers zu der zweiten Schicht zu verschieben, kann aus einer Vielzahl von Chunks der ersten Schicht bestehen. Dieser Prozeß kann entsprechend auf folgende Schichten der Datenspeicherhierarchie angewendet werden.
Fig. 12 stellt den resultierenden Datenstrom dar, der in die unterste Schicht der Datenspeicherhierarchie in einem sekundären Speicher mit drei Schichten geschrieben wird und aus einer Vielzahl von sequentiell geordneten Chunks der zweiten Schicht besteht, welche jeweils aus einer Vielzahl von Chunks der ersten Schicht bestehen.

Neukonfiguration der Schichten in der Hierarchie

Die Anzahl und Konfiguration der Schichten der Hierarchie kann dynamisch verändert werden, um den Bedürfnissen der Benutzer zu entsprechen. Zusätzliche Schichten können zu der Hierarchie hinzugefügt oder aus derselben entfernt werden. Außerdem kann Datenspeicherkapazität zu einer ausgewählten Schicht der Hierarchie hinzugefügt oder aus derselben entfernt werden, indem Datenspeichereinrichtungen zu dieser ausgewählten Schicht hinzugefügt oder aus derselben entfernt werden. Das Datenspeicherverwaltungssystem paßt sich solchen Modifikationen der Hierarchie automatisch derart an, daß eine maximale Leistung und Verläßlichkeit sichergestellt wird. Die durch das Backuplaufwerk 71 und das einlegbare Backupdatenspeicherelement 72 implementierte Archivschicht kann eine Überlaufkapazität für die erste Schicht 311 des sekundären Speichers 52, wenn keine zusätzlichen Schichten vorgesehen sind, oder für die unterste Schicht 313 vorsehen, wenn mehrere Schichten vorgesehen sind. Wenn also kein verfügbarer Datenspeicherraum mehr in der untersten Schicht der Hierarchie verfügbar ist, dann werden die Übertragungseinheiten oder Medieneinheiten aus dieser Schicht entfernt. Wenn zusätzliche Datenspeicherkapazität in der Form von zusätzlichen Datenspeichereinrichtungen zu dieser Schicht hinzugefügt wird oder alternativ dazu eine zusätzliche Medienschicht unterhalb der zuvor untersten Medienschicht hinzugefügt wird, dann können die entfernten Übertragungs- oder Medieneinheiten aus den einlegbaren Backupdatenspeicherelementen 72 zu der Hierarchie zurückgegeben werden. Dies wird durch den Speicherserver 50 bewerkstelligt, welcher das Vorhandensein von neu hinzugefügtem verfügbarem Datenspeicherraum in der untersten Schicht der Hierarchie und zuvor entfernte Übertragungs- oder Medieneinheiten bemerkt. Der Speicherserver 50 greift auf das Medienobjektverzeichnis zu, um die Lokation der gelöschten Daten zu identifizieren und um diese Daten aus einem identifizieren einlegbaren Backupspeichermedium 72 abzurufen, welches in das Backuplaufwerk 71 eingelegt ist. Die abgerufenen Daten werden dann auf das neu hinzugefügte Medium in den verfügbaren Datenspeicherraum geschrieben. Dieser Prozeß wird auch aktiviert, wenn eine Datenspeichereinrichtung aus einer Medienschicht entfernt wird oder zu einer Medienschicht hinzugefügt wird. Wenn diese Medienmodifikation in einer anderen als der untersten Schicht stattfindet, dann werden die entfernten Übertragungseinheiten oder Medienobjekte aus dem einlegbaren Backupdatenspeicherelement 72 entfernt und in der Medienstufe direkt unter der Stufe gespeichert, aus welcher die Datenspeichereinrichtung entfernt wurde.

Datendateirückruf

Wie in dem Flußdiagramm von Fig. 8 und in der in Fig. 7 dargestellte Systemarchitektur dargestellt, operiert der Datendateirückruf im wesentlichen in der umgekehrten Richtung wie die Datendateiverschiebung. Wie weiter oben bemerkt, wird die Identifikation der physikalischen Speicherstelle der in die Verschiebungsvolumen 61 und die Schattenvolumen 65 geschriebenen Datendateien in ein sekundäres Speicherverzeichnis 531 im Dateiserver 41 geschrieben. Der Platzhaltereintrag im Verzeichnis 511 des Dateiservers 41 zeigt auf diesen sekundären Speicherverzeichniseintrag. Der Prozessor 21 fordert also in Schritt 801 einen Zugriff auf diese verschobene Datendatei an, und diese Anforderung wird in Schritt 802 durch eine Falle oder Schnittstelle 711 im Dateiserver eingefangen. Die Falle kann Haken in dem Dateisystem 41 verwenden, um eine Verzweigung in der Verarbeitung zum Speicherserveragenten 121 zu veranlassen; oder es kann eine Rückrufroutine implementiert werden, welches es dem Speicherserveragenten 121 erlaubt, sich im Dateisystem 41 zu registrieren und aufgerufen zu werden, wenn die Anforderung für die Datendatei vom Prozessor 21 empfangen wird. In beiden Fällen wird die eingefangene Anforderung zum Speicherserveragenten 121 weitergeleitet, um zu bestimmen, ob die angeforderte Datendatei in den sekundären Speicher 52 verschoben wurde. Dies wird durch den Speicherserveragenten 121 in Schritt 803 durch das Lesen des Verzeichnisses 511 bewerkstelligt, um die Speicherstelle der angeforderten Datendatei festzustellen. Wenn in Schritt 805 kein Platzhaltereintrag im Verzeichnis 511 gefunden wird, dann wird die Steuerung in Schritt 806 an den Dateiserver 41 zurückgegeben, damit der Dateiserver 41 den im Verzeichnis 511 für die angeforderte Datendatei gespeicherten Verzeichniseintrag lesen kann. Die in diesem Verzeichniseintrag gespeicherten Daten ermöglichen es dem Dateiserver 41, die angeforderte Datendatei aus der Datenspeichereinrichtung 31 abzurufen, in welcher die angeforderte Datendatei residiert. Wenn der Speicherserveragent 121 in Schritt 805 durch das Vorhandensein eines Platzhaltereintrags bestimmt, daß die angeforderte Datendatei zum sekundären Speicher 52 verschoben wurde, dann erzeugt der Speicherserveragent 121 in Schritt 807 eine Datendateirückrufanforderung und überträgt diese Anforderung zusammen mit dem im Platzhaltereintrag gespeicherten Zeigerschlüssel für den direkten Zugriff auf den sekundären Speicher über das Netzwerk 1 zum Speicherserver 50. In Schritt 808 verwendet der Operationskernel 501 die Systemservices 505, welche den Zeigerschlüssel verwenden, um den Eintrag im sekundären Speicherverzeichnis 531 direkt abzurufen. Dieser identifizierte Eintrag im sekundären Speicherverzeichnis 531 enthält die Adresse im Verschiebungsvolumen, welche die angeforderte Datendatei enthält. Die Adresse besteht aus der Übertragungseinheitidentifikation und der Position der Datendatei in der Übertragungseinheit. Der Geräteverwalter 504 verwendet die Datendatei-Adreßinformation, um die angeforclerte Datendatei aus der Datenspeichereinrichtung abzurufen, in welcher die Datendatei gespeichert ist. Diese Datenspeichereinrichtung kann sich in Abhängigkeit vom Aktivitätsgrad der Datendatei in jeder Stufe der Hierarchie befinden. Der Geräteverwalter 504 liest die Datendatei von der im sekundären Speicherverzeichnis 531 identifizierten Speicherstelle in der Datenspeichereinrichtung und gibt die abgerufene Datendatei im Netzwerk 1 für die Übertragung an den Dateiserver 41 und das Volumen 31, welches die angeforderte Datendatei ursprünglich enthielt. Die Systemservices 505 des Operationskernels 501 aktualisieren dann das sekundäre Speicherverzeichnis 531 und das Verzeichnis 511, um anzugeben, daß die Datendatei zu dem Netzwerkvolumen zurückgerufen wurde. In Schritt 811 wird die Steuerung an den Dateiserver 41 zurückgegeben, welcher das Verzeichnis 511 liest, um die angeforclerte Datendatei zu lokalisieren. Das Verzeichnis 511 enthält jetzt Information, welche die aktuelle Speicherstelle dieser zurückgerufenen Datendatei in der Datenspeichereinrichtung 31 angibt. Der Prozessor 21 kann dann direkt über den Dateiserver 41 auf die zurückgerufene Datendatei zugreifen.

Notfallwiederherstellung

Es können verschiedene Techniken verwendet werden, um die Integrität von Datendateien in den Ausführungsformen des Datenspeicherverwaltungssystems der vorliegenden Erfindung zu schützen. Außerdem werden Backups des primären Speichers typischerweise implementiert, um Datendateien aus jedem Netzwerkvolumen auf einer Backupeinrichtung (nicht gezeigt) zu speichern. Innerhalb des Datenverwaltungssystems erzeugt die Räumungsroutine Datendateiströme, welche eine Mischung aus Datendateien aus den Netzwerkvolumen wiedergeben, wobei die Daten nicht nur in Übertragungseinheiten zu den Datenspeichermedien der ersten Schicht des sekundären Speichers 52 geschrieben werden, sondern auch von den Datenspeichermedien der ersten Schicht des sekundären Speichers 52 zu Backupmedien 72 in einer Backupeinrichtung 71 geschrieben werden. Weiterhin werclen diese Daten in Schattenvolumen 65 repliziert. Der Backupprozeß erstellt periodisch Backups der Übertragungseinheiten, welche in die erste Schicht des sekundären Speichers geschrieben werden, auch wenn die Übertragungseinheiten nur teilweise gefüllt sind. Wenn das Backupmedium 72 entfernt rotiert wird, dann enthalten eine Anzahl von Backupmedien 72 verschiedene Übertragungseinheiten mit jeweils einem unterschiedlichen Vollständigkeitsgrad. Jedesmal wenn ein Backupmedium 72 in die Backupeinrichtung 71 eingelegt wird, dann aktualisiert der Geräteverwalter 505 alle teilweise gefüllten Übertragungseinheiten auf den aktuellen Vollständigkeitsgrad, um sicherzustellen, daß die Backupmedien den aktuellen Zustand des Systems wiedergeben. Eine weitere Stufe des Datenschutzes wird wie weiter oben beschrieben durch das Backupsubsystem vorgesehen. Wenn eine Medieneinheit in der dritten Schicht 313 gefüllt wird, dann kann der Inhalt dieser Medieneinheit auf ein Backupband kopiert werden, um eine duplizierte Medieneinheit zu erzeugen, die als Medienersatzeinheit bezeichnet wird. Dadurch werden duplizierte Kopien der Medieneinheit vorgesehen, wobei die Medienersatzeinheit bei einem Ausfall einer in der dritten Schicht 313 gespeicherten Medieneinheit eine volle Redundanz aller darin gespeicherten Daten vorsieht. Die Medienersatzeinheiten werden typischerweise an einem entfernten Aufbewahrungsort aufbewahrt, um eine physikalische Trennung der Medien für den Fall eines Feuers oder eines anderen Ereignisses vorzusehen, welches die vor Ort aufbewahrten Medien zerstören oder beschädigen könnte. Wenn also ein Medienausfall auftritt, dann kann die Medienersatzeinheit in eine Bibliothekseinrichtung im System eingelegt werden, um unmittelbar die Datendateien vorzusehen, ohne daß die Daten von einem Medium auf ein anderes übertragen werden müssen.
Da außerdem das sekundäre Speicherverzeichnis 531 über Netzwerkvolumen verteilt ist, wird wie weiter oben bemerkt ein Backup desselben in den Backupmedien des primären Speichers erstellt. Diese Metadaten können dann optional in eine Datenspeichereinrichtung des sekundären Speichers repliziert oder als Backup auf dem Backupmedium 72 vorgesehen werden.

Claims

1. Datenspeicherverwaltungssystem für ein Datennetzwerk, welches dazu dient, eine Vielzahl von Dateiservern (41-43) miteinander zu verbinden, welche jeweils Datendateien speichern, mit:

einer sekundären Speichereinrichtung (52) mit einer Vielzahl von Medien, welche als ein mehrschichtiger hierarchischer Speicher angeordnet sind, zum Speichern von aus den Dateiservern verschobenen Datendateien,

einer Speicherservereinrichtung (51), welche mit dem Netzwerk verbunden ist, um unabhängig von den Dateiservern die Übertragung von Datendateien zwischen der Vielzahl von Dateiservern und der sekundären Speichereinrichtung automatisch zu verwalten, und

einer Verzeichniseinrichtung (511) zum Speichern von Daten, welche eine physikalische Datenspeicherstelle angegeben, welche eine Lokalität in der sekundären Speichereinrichtung für jede der zur sekundären Speichereinrichtung verschobenen Datendateien identifiziert,

dadurch gekennzeichnet, daß

die Speicherservereinrichtung (51) eine Einrichtung (501, 504) zum Samnneln einer Vielzahl von zu der sekundären Speichereinrichtung (52) zu übertragenden Datendateien in einer Übertragungseinheit umfaßt, und

die Verzeichniseinrichtung (511) eine Übertragungseinheit-Verzeichniseinrichtung zum Speichern von Daten, welche eine Korrespondenz zwischen einer Datendatei und einer Übertragungseinheit angeben, in welcher die Datendatei lokalisiert ist, sowie eine Medienobjekt-Verzeichniseinrichtung zum Speichern von Daten umfaßt, welche eine Korrespondenz zwischen einer Übertragungseinheit und einem Medium in der sekundären Speichereinrichtung angeben, in welcher die Übertragungseinheit lokalisiert ist.

2. System nach Anspruch 1, wobei die Schichten (311-315) in dem hierarchischen Speicher Medien mit unterschiedlichen Eigenschaften umfassen.

3. System nach Anspruch 2, wobei der hierarchische Speicher eine Vielzahl von Schichten (311, 312, 313) umfaßt, welche Speichereinrichtungen (61, 62, 63) enthalten, welche aus Medien aus wenigstens einer der folgenden Klassen bestehen: magnetische Medien, optische Medien und Halbleitermedien.

4. System nach Anspruch 3, wobei jede Schicht (311, 312, 313) des hierarchischen Speichers mit der Speicherservereinrichtung (51) verbunden ist.

5. System nach Anspruch 2, wobei wenigstens eine der Schichten (311-315) umfaßt:

eine Vielzahl von Datenspeicherelementen zum Speichern von aus den Dateiservern (41-43) verschobenen Datendateien,

wenigstens eine Datenspeicherelement-Laufwerkeinrichtung zum Lesen/Schreiben von Daten auf einem in die Datenspeicherelement-Laufwerkeinrichtung eingelegten Datenspeicherelement, und

eine automatisierte Datenspeicherelement-Verwaltungseinrichtung zum automatischen Einlegen eines ausgewählten aus der Vielzahl von Datenspeicherelementen in die Datenspeicherelement-Laufwerkeinrichtung.

6. System nach Anspruch 1, wobei die Schichten (311, 312, 313) in dem hierarchischen Speicher Medien (61, 62, 63) mit unterschiedlichen Eigenschaften umfassen und wobei der Speicherserver (51) umfaßt:

eine Einrichtung (504) zum Speichern der Übertragungseinheit in einer ersten Schicht (311) der Hierarchie,

eine Einrichtung (501, 504) zum automatischen Verschieben von in einer Schicht der Hierarchie gespeicherten Datendateien zu einer anderen Schicht der Hierarchie in Abhängigkeit von vorbestimmten Kriterien, und

wobei die automatische Verschiebungseinrichtung die Übertragungseinheit zu der anderen Schicht in der Hierarchie überträgt.

7. System nach Anspruch 6, wobei der Speicherserver (51) die Medienobjekt-Verzeichniseinrichtung aktualisiert, wenn eine Übertragungseinheit von dem Medium, auf welchem die Übertragungseinheit lokalisiert ist, zu einem anderen Medium in der Hierarchie verschoben wird.

8. System nach Anspruch 5, welches weiterhin umfaßt: eine Backupeinrichtung (71) zum Schreiben jeder der in eine erste Schicht der Hierarchie geschriebenen Übertragungseinheiten auf ein einlegbares Datenspeicherelement (72).

9. System nach Anspruch 8, wobei die Backupeinrichtung (71) nach Ablauf eines vorbestimmten Zeitintervalls, während welchem keine ausreichenden Datendateien zum Füllen einer Übertragungseinheit vorliegen, eine teilweise gefüllte Übertragungseinheit auf ein einlegbares Datenspeicherelement (72) schreibt.

10. System nach Anspruch 9, wobei die Backupeinrichtung (71) eine teilweise gefüllte Übertragungseinheit auf dem einlegbaren Datenspeicherelement (72) mit einer gefüllten Übertragungseinheit überschreibt, welche alle in die teilweise gefüllte Übertragungseinheit geschriebenen Datendateien enthält.

11. System nach Anspruch 8, wobei die Speicherservereinrichtung (51) auf den Verlust einer angeforderten Datendatei in einer zugewiesenen Übertragungseinheit antwortet, indem sie die angeforderte Datendatei aus der Backupeinrichtung (71) abruft, indem sie wenigstens einen Teil der zugewiesenen Übertragungseinheit von dem einlegbaren Datenspeicherelement (72) liest, um die verlorene Datendatei wiederherzustellen.

12. System nach Anspruch 8, wobei die Speicherservereinrichtung (51) weiterhin umfaßt: eine Einrichtung (501, 504), welche auf den Mangel an weiterem verfügbaren Datenspeicherraum in einer untersten Schicht (314) der Hierarchie antwortet, indem sie wenigstens eine ausgewählte Übertragungseinheit aus der untersten Schicht entfernt.

13. System nach Anspruch 12, wobei der Speicherserver (51) weiterhin umfaßt: eine Einrichtung, welche auf das Hinzufügen einer Medienschicht zu der Hierarchie unterhalb der untersten Schicht antwortet, indem sie die ausgewählte entfernte Übertragungseinheit aus der Backupeinrichtung (71) zu der hinzugefügten Medienschicht überträgt, indem sie die ausgewählte entfernte Übertragungseinheit aus dem einlegbaren Datenspeicherelement (72) liest.

14. System nach Anspruch 12, wobei der Speicherserver (51) weiterhin umfaßt: eine Einrichtung, welche auf das Hinzufügen von Datenspeicherkapazität zu der untersten Schicht antwortet, indem sie die ausgewählte entfernte Übertragungseinheit aus der Backupeinrichtung (71) zu der hinzugefügten Datenspeicherkapazität überträgt, indem sie die ausgewählte entfernte Übertragungseinheit aus dem einlegbaren Datenspeicherelement (72) liest.

15. System nach Anspruch 8, wobei die Speicherservereinrichtung (51) weiterhin umfaßt: eine Einrichtung, welche auf das Entfernen von verfügbarem Datenspeicherraum in einer ausgewählten Schicht der Hierarchie antwortet, indem sie alle in dem entfernten verfügbaren Datenspeicherraum gespeicherten Übertragungseinheiten aus der ausgewählten Schicht entfernt.

16. System nach Anspruch 15, wobei der Datenspeicherserver (51) weiterhin umfaßt: eine Einrichtung, welche auf verfügbare Datenspeicherkapazität in einer Schicht unterhalb der ausgewählten Schicht in der Hierarchie antwortet, indem sie die entfernten Übertragungseinheiten aus der Backupeinrichtung (71) zu der verfügbaren Datenspeicherkapazität überträgt, indem sie die entfernten Übertragungseinheiten von dem einlegbaren Datenspeicherelement (72) überträgt.

17. System nach Anspruch 8, wobei wenigstens eine Schicht der Hierarchie umfaßt: eine Archivschicht (314), welche wenigstens ein einlegbares Datenspeicherelement umfaßt, welches aus den Dateiservern (41-43) verschobene Datendateien enthält, wobei deren Speicherstellen auf dem Datenspeicherelement in der Übertragungseinheit Verzeichniseinrichtung verzeichnet sind.

18. System nach Anspruch 17, wobei das einlegbare Medium der Archivschicht ein einlegbares Backupmedium (72) umfaßt.

19. System nach Anspruch 17, wobei eine der Hierarchieschichten umfaßt: eine Rückzugsschicht (315), welche wenigstens ein einlegbares Datenspeicherelement umfaßt, welches aus den Dateiservern (41-43) verschobene Datendateien enthält, deren Verzeichniseinträge aus der Übertragungseinheit-Verzeichniseinrichtung gelöscht sind.

20. System nach Anspruch 17, wobei die Speicherservereinrichtung (51) auf den Verlust eines einlegbaren Datenspeicherelements in der Archivschicht (314) antwortet, indem sie die Daten des einlegbaren Datenspeicherelements aus der Backupeinrichtung (71) abruft, indem sie alle Übertragungseinheiten, welche auf dem verlorenen einlegbaren Datenspeicherelement gespeichert warten, aus dem einlegbaren Backupdatenspeicherelement (72) liest.

21. System nach Anspruch 17, wobei die Speicherservereinrichtung (51) auf den Verlust eines Mediums in einer der Schichten antwortet, indem sie die Daten des verlorenen Mediums aus der Backupeinrichtung (71) abruft, indem sie alle Übertragungseinheiten, welche auf dem verlorenen Medium gespeichert waren, aus dem einlegbaren Backupdatenspeicherelement (72) liest.

22. System nach Anspruch 6, wobei die Speicherservereinrichtung (51) weiterhin umfaßt: eine Einrichtung zum Bestimmen der Größe der Übertragungseinheit in Abhängigkeit von dem Medium in der nächsten tieferen Schicht.

23. System nach Anspruch 1, wobei die Speicherservereinrichtung (51) umfaßt: eine Einrichtung (711) in jedem der Dateiserver (41-43) zum Einfangen eines Aufrufs an einen ausgewählten Dateiserver für Datendateien, welche zu der sekundären Speichereinrichtung verschoben wurden, und eine Einrichtung (121-123), welche auf die Einfangeinrichtung antwortet, indem sie die verschobenen Datendateien aus der sekundären Speichereinrichtung (52) zu dem ausgewählten Dateiserver zurückruft.

24. System nach Anspruch 1, wobei das Netzwerk ein Verzeichnis (511) zum Identifizieren einer Speicherstelle von Datendateien in den Dateiservern (41-43) umfaßt, wobei die Speicherservereinrichtung (51) umfaßt: eine Einrichtung (501) zum Schreiben von Daten in dem Netzwerkverzeichnis an einer Verzeichnisstelle für jede verschobene Datendatei, welche angeben, daß die Datendatei in die sekundäre Speichereinrichtung (52) verschoben wurde.

25. System nach Anspruch 24, wobei die Speicherservereinrichtung (51) umfaßt:

eine Einrichtung (711) in jedem der Dateiserver (41-43) zum Einfangen eines Aufrufs an einen ausgewählten Dateiserver für eine Datendatei, die in dem Dateiserver gespeichert wurde, und

eine Einrichtung (121-123), welche auf die in das Netzwerkverzeichnis (511) geschriebenen Daten, welche angegeben, daß die angeforderte Datendatei zu der sekundären Speichereinrichtung (52) verschoben wurden, antwortet, indem sie die angeforderte Datendatei aus der sekundären Speichereinrichtung zu dem Dateiserver zurückruft.

26. System nach Anspruch 25, wobei die Speicherservereinrichtung (51) umfaßt:

die Verzeichniseinrichtung (531) zum Speichern von Daten, welche eine physikalische Datenspeicherstelle angeben, welche eine Lokalität in der sekundären Speichereinrichtung (52) für jede der in die sekundäre Speichereinrichtung (52) verschobenen Datendateien identifiziert, und,

wobei die Rückrufeinrichtung (121-123) umfaßt:

eine Einrichtung (505) zum Lesen der in der Verzeichniseinrichtung (531) gespeicherten Daten, um eine physikalische Datenspeicherstelle zu identifizieren, welche eine Lokalität in der sekundären Speichereinrichtung der angeforderten verschobenen Datendatei identifiziert, und eine Einrichtung (501, 504) zum Übertragen der angeforderten verschobenen Datendatei von der Lokalität in der sekundären Speichereinrichtung zu dem ausgewählten Dateiserver.

27. System nach Anspruch 24, wobei die Speicherservereinrichtung (51) umfaßt:

die Verzeichniseinrichtung (531) zum Speichern von Daten, welche eine physikalische Datenspeicherstelle angeben, welche eine Lokalität in der sekundären Speichereinrichtung (52) für jede der in die sekundäre Speichereinrichtung (52) verschobenen Datendateien identifiziert, und

wobei die durch die Schreibeinrichtung (501) in dem Netzwerkverzeichnis (511) an einer Verzeichnisstelle für eine ausgewählte verschobene Datendatei geschriebenen Daten eine Datenspeicherstelle in der Verzeichniseinrichtung (531) identifizieren, welche Daten speichert, die eine physikalische Datenspeicherstelle angeben, welche eine Lokalität von ausgewählten verschobenen Datendatei in der sekundären Speichereinrichtung identifiziert.

28. System nach Anspruch 24, wobei die durch die Schreibeinrichtung (501) in dem Netzwerkverzeichnis (511) an einer Verzeichnisstelle für eine ausgewählte verschobene Datendatei geschriebenen Daten als Teil der Datendatelattribute gespeichert werden.

29. System nach Anspruch 1, wobei das Netzwerk ein Verzeichnis (511) zum Identifizieren einer Speicherstelle von Datendateien in den Dateiservern (41-43) umfaßt, wobei die Speicherservereinrichtung (51) eine Datendatei-Verschiebungseinrichtung umfaßt mit: einer Einrichtung (505) zum Suchen nach dem Netzwerkverzeichnis (511), um Daten zu erhalten, welche sich auf in einem ausgewählten Dateiserver gespeicherte Datendateien beziehen, wobei die Daten verschiedene Eigenschaften der Datendateien angeben.

30. System nach Anspruch 29, wobei die Datendatei-Verschiebungseinrichtung weiterhin umfaßt: eine Einrichtung (501) zum Sortieren der in dem ausgewähllten Dateiserver gespeicherten Datendateien in eine Prioritätsreihenfolge in Übereinstimmung mit ausgewählten Eigenschaften der Datendateien.

31. System nach Anspruch 30, wobei jeder Dateiserver (41-43) eine Vielzahl von Datenspeichervolumen (31-33) umfaßt und wobei die Datendatei-Verschiebungseinrichtung weiterhin umfaßt: eine Einrichtung zum Prüfen jedes Volumens in der Vielzahl von Dateiservern, um die darin gespeicherten Datendateien mit der niedrigsten Priorität zu identifizieren.

32. System nach Anspruch 31, wobei die Datendatei-Verschiebungseinrichtung weiterhin umfaßt: eine Einrichtung zum Übertragen von wenigstens einer der identifizierten Datendateien mit der niedrigsten Priorität zu der sekundären Speichereinrichtung.

33. System nach Anspruch 32, wobei die Speicherservereinrichtung weiterhin umfaßt: eine Einrichtung zum Aktivieren der Datendatei-Verschiebungseinrichtung für folgende Datendateien mit niedrigster Priorität, bis der verfügbare Speicher in einem Volumen des ausgewählten Dateiservers wenigstens so groß wie ein vordefinierter Schwellwert ist.

34. System nach Anspruch 32, wobei die Speicherservereinrichtung weiterhin umfaßt: eine Einrichtung für die zeitliche Planung der Aktivierung der Datendatei-Verschiebungseinrichtung.

35. System nach Anspruch 32, wobei die Speicherservereinrichtung weiterhin umfaßt: eine Einrichtung zum Aktivieren der Datendatei-Verschiebungseinrichtung in Abhängigkeit von der Volumenraumnutzung.

36. System nach Anspruch 32, wobei die Speicherservereinrichtung weiterhin umfaßt: eine Einrichtung zum Aktivieren der Datendatei-Verschiebungseinrichtung in Abhängigkeit von der Aktivität im Datennetzwerk.

37. System nach Anspruch 31, wobei die Datendatei-Verschiebungseinrichtung weiterhin umfaßt:

eine Einrichtung zum Kopieren von wenigstens einer der prioritätsgeordneten Datendateien aus dem ausgewählten Dateiserver zu der sekundären Speichereinrichtung, und

eine Einrichtung, welche auf eine folgende Bestimmung eines nicht ausreichenden verfügbaren Datenspeicherraums in dem ausgewählten Dateiserver antwortet, indern sie den durch die kopierte wenigstens eine prioritätsgeordnete Datendatei eingenommenen Datenspeicherraum als verfügbaren Datenspeicherraum nutzt.

38. System nach Anspruch 1, wobei die Speicherservereinrichtung (51) umfaßt:

eine Einrichtung zum Speichern der Übertragungseinheit in einer ersten Schicht (311) der Hierarchie,

und wobei die sekundäre Speichereinrichtung (52) weiterhin umfaßt:

eine Einrichtung (65) zum Speichern einer duplizierten Kopie der in der ersten Schicht der Hierarchie gespeicherten Übertragungseinheit.

39. System nach Anspruch 1, wobei eine niedrigste Schicht der Hierarchie in eine Vielzahl von Medieneinheiten zum Speichern von aus hierarchisch höheren Schichten verschobenen Datendateien unterteilt ist, und wobei die sekundäre Speichereinrichtung (52) weiterhin umfaßt: eine Einrichtung, welche auf das Erschöpfen des verfügbaren Datenspeicherraums in einer der Medieneinheiten antwortet, indem die eine duplizierte Kopie der Medieneinheit in einem Medienersatzeinheitenelement speichert.

40. System nach Anspruch 39, wobei die Speicherservereinrichtung (51) auf den Verlust einer Medieneinheit antwortet, indem sie die Daten der verlorenen Medieneinheit aus dem Medienersatzeinheitenelement abruft, indem sie alle Datendateien, die auf der verlorenen Medieneinheit gespeichert waren, aus dem Medienersatzeinheitenelement liest.

41. System nach Anspruch 39, wobei das Medienersatzeinheitenelement ein einlegbares Datenspeicherelement umfaßt.

42. System nach Anspruch 1, wobei die Schichten in dem hierarchischen Speicher Medien mit unterschiedlichen Eigenschaften umfassen, und wobei die Speicherservereinrichtung (51) umfaßt:

eine Einrichtung (501, 504) zum automatischen Verschieben der in der ersten Schicht der Hierarchie gespeicherten Übertragungseinheiten zu einer anderen Schicht der Hierarchie in Abhängigkeit von vorbestimmten Kriterien, und

wobei die automatische Verschiebungseinrichtung eine Vielzahl von zu einer Medieneinheit zusammengestellten Übertragungseinheiten zu der anderen Schicht in der Hierarchie überträgt, um dieselben dort zu speichern.

43. Verfahren zum Speichern von Datendateien in einem Datenspeicherverwaltungssystem für ein Datennetzwerk, welches dazu dient, eine Vielzahl von Dateiservern (41i-43) miteinander zu verbinden, welche jeweils Datendateien speichern, wobei das Datenspeicherverwaltungssystem eine sekundäre Speichereinrichtung (52) mit einer Vielzahl von Medien, welche als ein mehrschichtiger hierarchischer Speicher angeordnet sind, und einen mit dem Netzwerk verbundenen Speicherserver (51) umfaßt, wobei das Verfahren folgende Schritte umfaßt:

Speichern der aus den Dateiservern verschobenen Datendateien in der sekundären Speichereinrichtung,

automatisches Verwalten der Übertragung der Datendateien zwischen der Vielzahl von Dateiservern und der sekundären Speichereinrichtung unabhängig von den Dateiservern, und

Speichern in einem Verzeichnis (511, 531) von Daten, welche eine physikalische Speicherstelle angegeben, die eine Lokalität jeder der in die sekundäre Speichereinrichtung verschobenen Datendateien in der sekundären Speichereinrichtung angibt,

gekennzeichnet durch

Zusammenstellen einer Vielzahl von Datendateien, welche zu der sekundären Speichereinrichtung übertragen werden, zu einer Übertragungseinheit,

Speichern von Daten in einem Übertragungseinheitabschnitt des Verzeichnisses (531), welche eine Korrespondenz zwischen einer Datendatei und eine Übertragungseinheit, in welcher die Datendatei lokalisiert ist, angeben, und

Speichern von Daten in einem Medienobjektabschnitt des Verzeichnisses (531), welche eine Korrespondenz zwischen einer Übertragungseinheit und einem Medium in der sekundären Speichereinrichtung, in welchem die Übertragungseinheit lokalisiert ist, angeben.

44. Verfahren nach Anspruch 43, welches weiterhin das Füllen der Schichten in dem hierarchischen Speicher mit Medien mit unterschiedlichen Eigenschaften umfaßt, welche Speichereinrichtungen mit Medien aus wenigstens einer der Klassen von magnetischen Medien, optischen Medien und Halbleitermedien umfassen.

45. Verfahren nach Anspruch 44, wobei wenigstens eine der Schichten eine Vielzahl von Datenspeicherelementen zum Speichern von aus den Dateiservern verschobenen Datendateien und wenigstens ein Datenspeicherelementlaufwerk zum Lesen/Schreiben von Daten auf einem in dem Datenspeicherelementlaufwerk eingelegten Datenspeicherelement umfaßt, wobei das Verfahren weiterhin einen Schritt zum automatischen Einlegen eines ausgewählten aus der Vielzahl von Datenspeicherelementen in die Datenspeicherelementlaufwerkeinrichtung umfaßt.

46. Verfahren nach Anspruch 43, wobei die Schichten in dem hierarchischen Speicher Medien mit unterschiedlichen Eigenschaften umfassen, und wobei das Verfahren weiterhin umfaßt:

Speichern der Übertragungseinheit in einer ersten Schicht (31) der Hierarchie, automatisches Verschieben der in einer Schicht der Hierarchie gespeicherten Datendateien zu einer anderen Schicht der Hierarchie in Abhängigkeit von vorbestimmten Kriterien, und

Übertragen der Übertragungseinheit zu der anderen Schicht in der Hierarchie.

47. Verfahren nach Anspruch 46, wobei das Speicherserverelement (51) das Medienobjektverzeichnis aktualisiert, wenn eine Übertragungseinheit von dem Medium, in welchem die Übertragungseinheit lokalisiert ist, zu einem anderen Medium in der Hierarchie verschoben wird.

48. Verfahren nach Anspruch 46, welches weiterhin folgenden Schritt umfaßt: Schreiben jeder in die erste Schicht der Hierarchie geschriebenen Übertragungseinheit auf ein einlegbares Backupdatenspeicherelement (72).

49. Verfahren nach Anspruch 48, wobei der Schreibschritt nach Ablauf eines vorbestimmten Zeitintervalls, während dessen keine ausreichenden Datendateien zum Füllen einer Übertragungseinheit vorliegen, eine teilweise gefüllte Übertragungseinheit in das einlegbare Backupdatenspeicherelement (72) schreibt.

50. Verfahren nach Anspruch 49, wobei der Schreibschritt eine teilweise gefüllte Übertragungseinheit in dem einlegbaren Backupdatenspeicherelement (72) mit einer gefüllten Übertragungseinheit überschreibt, welche alle in die teilweise gefüllte Übertragungseinheit geschriebenen Datendateien enthält.

51. System nach Anspruch 50, wobei das Verfahren weiterhin folgenden Schritt umfaßt: in Antwort auf den Verlust einer angeforderten Datendatei in einer zugewiesenen Übertragungseinheit, Abrufen der angeforderten Datendatei aus dem einlegbaren Backupdatenspeicherelement (72) durch das Lesen von wenigstens einem Teil der zugewiesenen Übertragungseinheit aus dem einlegbaren Backupdatenspeicherelement, um die verlorene Datendatei wiederherzustellen.

52. Verfahren nach Anspruch 48, welches weiterhin folgenden Schritt umfaßt: in Antwort auf einen Mangel an weiterem verfügbaren Datenspeicherraum in einer untersten Schicht der Hierarchie, Entfernen von wenigstens einer ausgewählten Übertragungseinheit aus der untersten Schicht.

53. Verfahren nach Anspruch 52, welches weiterhin folgenden Schritt umfaßt: in Antwort auf das Hinzufügen einer Medienschicht zu der Hierarchie unterhalb der untersten Schicht, Übertragen der ausgewählten entfernten Übertragungseinheit aus dem einlegbaren Backupdatenspeicherelement (72) zu der hinzugefügten Medienschicht durch das Lesen der ausgewählten entfernten Übertragungseinheit aus dem einlegbaren Backupdatenspeicherelement.

54. Verfahren nach Anspruch 52, welches weiterhin folgenden Schritt umfaßt: in Antwort auf das Hinzufügen von Datenspeicherkapazität zu der untersten Schicht, Übertragen der ausgewählten entfernten Übertragungseinheit aus dem einlegbaren Backupdatenspeicherelement (72) zu der hinzugefügten Datenspeicherkapazität durch das Lesen der ausgewählten entfernten Übertragungseinheit aus dem einlegbaren Backupdatenspeicherelement.

55. Verfahren nach Anspruch 52, welches weiterhin folgenden Schritt umfaßt: in Antwort auf das Entfernen von verfügbarem Datenspeicherraum in einer ausgewählten Schicht der Hierarchie, Entfernen aller in dem entfernten verfügbarem Datenspeicherraum gespeicherten Übertragungseinheiten aus der ausgewählten Schicht.

56. Verfahren nach Anspruch 55, welches weiterhin folgenden Schritt umfaßt: in Antwort auf verfügbare Datenspeicherkapazität in einer Schicht in der Hierarchie unterhalb der ausgewählten Schicht, Übertragen der ausgewählten Übertragungseinheiten aus dem einlegbaren Datenspeicherelement (72) zu der verfügbaren Datenspeicherkapazität durch das Lesen der entfernten Übertragungseinheiten aus dem einlegbaren Backupdatenspeicherelement.

57. Verfahren nach Anspruch 48, wobei wenigstens eine der Schichten eine Archivschicht (314) umfaßt, welche wenigstens ein einlegbares Datenspeicherelement umfaßt, welches aus den Dateiservern (41-43) verschobene Datendateien enthält, wobei das Verfahren weiterhin das Aufrechterhalten der Speicherstellen der Datendateien im Datenspei cherelement in dem Übertragungseinheitenverzeichnis umfaßt, wobei das einlegbare Medium der Archivschicht das einlegbare Backupmedium umfaßt.

58. Verfahren nach Anspruch 57, wobei eine der Schichten eine Rückzugsschicht (315) umfaßt, welche wenigstens ein einlegbares Datenspeicherelement umfaßt, das aus den Dateiservern (41-43) verschobene Datendateien enthält, wobei das Verfahren weiterhin das Löschen der Verzeichniseinträge der in der Rückzugsschicht gespeicherten Datendateien aus dem Übertragungseinheitenverzeichnis umfaßt.

59. Verfahren nach Anspruch 57, welches weiterhin folgenden Schritt umfaßt: in Antwort auf den Verlust eines einlegbaren Datenspeicherelements in der Archivschicht (314), Abrufen der Daten des einlegbaren Datenspeicherelements aus dem einlegbaren Backupdatenspeicherelement durch das Lesen aller Übertragungseinheiten, die auf dem verlorenen einlegbaren Datenspeicherelement gespeichert waren, aus dem einlegbaren Backupdatenspeicherelement.

60. Verfahren nach Anspruch 57, welches weiterhin umfaßt: in Antwort auf den Verlust eines Mediums in einer der Schichten, Abrufen der Daten des verlorenen Mediums aus der Backupeinrichtung durch das Lesen aller Übertragungseinheiten, die auf dem verlorenen Medium gespeichert waren, aus dem einlegbaren Backupdatenspeicherelement.

61. Verfahren nach Anspruch 46, welches weiterhin folgenden Schritt umfaßt: Bestimmen der Größe der Übertragungseinheit in Abhängigkeit von den Medien in der nächsten tieferen Schicht.

62. Verfahren nach Anspruch 43, welches weiterhin folgenden Schritt umfaßt: Einfangen eines Aufrufs an einen ausgewählten Dateiserver für Datendateien, welche zu der sekundären Speichereinrichtung verschoben wurden, und Zurückrufen der verschobenen Datendateien aus der sekundären Speichereinrichtung zu dem ausgewählten Dateiserver.

63. Verfahren nach Anspruch 43, wobei das Netzwerk ein Verzeichnis (511) zum Identifizieren einer Speicherstelle von Datendateien in den Dateiservern (41-43) umfaßt, wobei das Verfahren weiterhin folgenden Schritt umfaßt: Schreiben in dem Netzwerkverzeichnis (511) von Daten an einer Verzeichnisstelle für jede verschobene Datendatei, welche angeben, daß die Datendatei in die sekundäre Speichereinrichtung (52) verschoben wurde:

64. Verfahren nach Anspruch 63, welches weiterhin folgende Schritte umfaßt:

Einfangen eines Aufrufs an einen ausgewählten Dateiserver für eine Datendatei, welche in dem Dateiserver gespeichert wurde, und

in Antwort auf die in das Netzwerkverzeichnis (511) geschriebenen Daten, welche angegeben, daß die angeforderte Datendatei in die sekundäre Speichereinrichtung (52) verschoben wurde, Zurückrufen der angeforderten Datendatei aus der sekundären Speichereinrichtung zu dem Dateiserver.

65. Verfahren nach Anspruch 64, wobei der Rückrufschritt umfaßt:

Lesen der in dem Verzeichnis (511, 531) gespeicherten Daten, um eine physikalische Datenspeicherstelle zu identifizieren, welche eine Lokalität der angeforderten verschobenen Datendatei in der sekundären Speichereinrichtung identifiziert, und

Übertragen der angeforderten verschobenen Datendatei von der Lokalität in der sekundären Speichereinrichtung zu dem ausgewählten Dateiserver.

66. Verfahren nach Anspruch 63, wobei die durch den Schreibschritt in dem Netzwerkverzeichnis (511) an einer Verzeichnisstelle für eine ausgewählte verschobene Datendatei geschriebenen Daten eine Datenspeicherstelle in dem Verzeichnis (531) identifizieren, welche Daten speichert, die eine physikalische Datenspeicherstelle angeben, welche eine Lokalität der ausgewählten verschobenen Datendatei in der sekundären Speichereinrichtung identifiziert.

67. Verfahren nach Anspruch 63, wobei die durch den Schreibschritt in dem Netzwerkverzeichnis (511) an einer Verzeichnisstelle für eine ausgewählte verschobene Datendatei geschriebenen Daten als Teil der Datendatelattribute gespeichert werden.

68. Verfahren nach Anspruch 43, wobei das Netzwerk ein Verzeichnis (511) zum Identifizieren einer Speicherstelle der Datendateien in den Dateiservern (41-43) umfaßt, wobei das Verfahren einen Datendatei-Verschiebungsschritt umfaßt: Suchen in dem Netzwerkverzeichnis (511), um Daten zu erhalten, welche auf in einem ausgewählten Dateiserver gespeicherte Datendateien Bezug nehmen, wobei die Daten verschiedene Eigenschaften der Datendateien angeben.

69. Verfahren nach Anspruch 68, wobei der Datendatei-Verschiebungsschritt weiterhin umfaßt: Sortieren der in dem ausgewählten Dateiserver gespeicherten Datendateien in einer Prioritätsreihenfolge in Übereinstimmung mit ausgewählten Eigenschaften der Datendateien.

70. Verfahren nach Anspruch 69, wobei jeder Dateiserver (41-43) eine Vielzahl von Datenspeichervolumen (31-33) umfaßt, und wobei der Datendatei-Verschiebungsschritt weiterhin umfaßt: Prüfen jedes Volumens aus der Vielzahl von Dateiservern, um die darin gespeicherten Datendateien mit der niedrigsten Priorität zu identifizieren.

71. Verfahren nach Anspruch 70, wobei der Datendatei-Verschiebungsschritt weiterhin umfaßt: Übertragen von wenigstens einer der identifizierten Datendateien mit der niedrigsten Priorität zu der sekundären Speichereinrichtung.

72. Verfahren nach Anspruch 71, welches weiterhin folgenden Schritt umfaßt: Aktivieren des Datendatei-Verschiebungsschrittes für folgende Datendateien mit niedrigster Priorität, bis der verfügbare Speicher in einem Volumen des ausgewählten Dateiservers wenigstens so groß wie ein vordefinierter Schwellwert ist.

73. Verfahren nach Anspruch 71, welches weiterhin folgenden Schritt umfaßt: Planen der Aktivierung des Datendatei-Verschiebungsschrittes auf einer zeitlichen Basis.

74. Verfahren nach Anspruch 71, welches weiterhin folgenden Schritt umfaßt: Aktivieren des Datendatei-Verschiebungsschrittes in Abhängigkeit von der Volumenraumnutzung.

75. Verfahren nach Anspruch 71, welches weiterhin folgenden Schritt umfaßt: Aktivieren des Datendatei-Verschiebungsschrittes in Abhängigkeit von der Aktivität im Datennetzwerk.

76. Verfahren nach Anspruch 70, wobei der Datendatei-Verschiebungsschritt weiterhin umfaßt:

Kopieren von wenigstens einer der in Übereinstimmung mit der Priorität sortierten Datendateien aus dem ausgewählten Dateiserver zu der sekundären Speichereinrichtung, und

in Antwort auf eine folgende Bestimmung eines nicht ausreichenden verfügbaren Datenspeicherraums in dem ausgewählten Dateiserver, Nutzen des durch die wenigstens eine in Übereinstimmung mit der Priorität sortierte kopierte Datendatei eingenommenen Datenspeicherraums als verfügbaren Datenspeicherraum.

77. Verfahren nach Anspruch 43, welches weiterhin folgende Schritte umfaßt: Speichern der Übertragungseinheit in einer ersten Schicht der Hierarchie, und Speichern einer duplizierten Kopie der in der ersten Schicht der Hierarchie gespeicherten Übertragungseinheit.

78. Verfahren nach Anspruch 43, wobei eine unterste Schicht der Hierarchie in eine Vielzahl von Medieneinheiten zum Speichern von aus hierarchisch höheren Schichten verschobenen Datendateien unterteilt ist, und wobei das Verfahren weiterhin umfaßt: in Antwort auf das Erschöpfen des verfügbaren Datenspeicherraums in einer der Medieneinheiten, Speichern einer duplizierten Kopie der Medieneinheit in einem Medienersatzeinheitenelement.

79. Verfahren nach Anspruch 78, welches weiterhin folgenden Schritt umfaßt: in Antwort auf den Verlust einer Medieneinheit, Abrufen der Daten der verlorenen Medieneinheit aus dem Medienersatzeinheitenelement durch das Lesen aller Dateien, die auf der verlorenen Medieneinheit gespeichert waren, aus dem Medienersatzeinheitenelement.

80. Verfahren nach Anspruch 78, wobei das Medienersatzeinheitenelement ein einlegbares Datenspeicherelement umfaßt.

81. Verfahren nach Anspruch 43, wobei die Schichten in dem hierarchischen Speicher Medien mit unterschiedlichen Eigenschaften umfassen, und wobei das Verfahren umfaßt:

Speichern der Übertragungseinheit in einer ersten Schicht (3111) der Hierarchie, und

automatisches Verschieben der in der ersten Schicht der Hierarchie gespeicherten Übertragungseinheiten zu einer anderen Schicht der Hierarchie in Abhängigkeit von vorbestimmten Kriterien, wobei eine Vielzahl von Übertragungseinheiten zu einer Medieneinheit zusammengestellt werden, bevor sie zu der anderen Schicht in der Hierarchie übertragen und darin gespeichert werden.