EP4285261A2

EP4285261A2 - Einrichtung und verfahren für die sichere verarbeitung von daten

Info

Publication number: EP4285261A2
Application number: EP22700905.7A
Authority: EP
Inventors: Hubert JÄGER; Edmund Ernst; Karl-Heinz SCHAINK
Original assignee: Real Cis GmbH
Current assignee: Real Cis GmbH
Priority date: 2021-01-26
Filing date: 2022-01-10
Publication date: 2023-12-06
Also published as: US20240314130A1; WO2022161758A3; WO2022161758A2

Abstract

Die Erfindung betrifft eine Einrichtung und ein Verfahren zum Verteilen von Datenverarbeitungsaufgaben auf die Knoten eines ein Datenverarbeitungssystem implementierenden Netzes sowie eine Einrichtung und ein Verfahren zum Versiegeln von Knoten eines ein Datenverarbeitungssystem implementierenden Netzes für die effiziente Bereitstellung eines sicheren Datenverarbeitungssystems.

Description

Einrichtung und Verfahren für die sichere Verarbeitung von Daten

Die Erfindung betrifft eine Einrichtung und ein Verfahren zum Verteilen von Datenverarbeitungsaufgaben auf die Knoten eines ein Datenverarbeitungssystem implementierenden Netzes sowie eine Einrichtung und ein Verfahren zum Versiegeln von Knoten eines ein Datenverarbeitungssystem implementierenden Netzes für die effiziente Bereitstellung eines sicheren Da- tenverarbeitungs systems .

Die Wohlfahrt der Gesellschaft als Ganzes hängt in hohem Maße von der Funktionstüchtigkeit der „kritischen Infrastrukturen“ bzw. der „systemrelevanten Einrichtungen“ ab. Nicht nur die als erstes digitalisierten Systeme der Kommunikations- und Informationstechnik sowie der Medien, sondern auch die an sich nicht-digitalen Systeme werden zunehmend „digitalisiert“, d.h. sie werden mit Sensoren versehen, deren Messsignale in digitale Signale gewandelt werden, mit Aktuatoren erweitert, die mit digitalen Signalen gesteuert werden und mit Ein- und Ausgabeschnittstellen für die Mensch-Maschine-Interaktion ausgestattet. So durchdringt die Digitaltechnik immer mehr Lebensbereiche und die dadurch entstehenden Vorteile sind kaum mehr wegzudenken. Die Vorteile der Digitalisierung beruhen in hohem Maße auf der Vernetzung der digitalisierten Apparate und Geräte. Diese interagieren nur in seltenen Fällen unmittelbar miteinander. In der Regel koordinieren zentrale Server den Fluss der Daten. Jedoch wächst damit die Abhängigkeit der Gesellschaft von der zuverlässigen und vertrauenswürdigen Bereitstellung und Instanthaltung der zentralen Datenverarbeitungssysteme stetig und mit rasanter Geschwindigkeit an.

Aufgrund der hohen Dynamik der wirtschaftlich-technischen Entwicklung und den unterschiedlichen Rahmenbedingungen in verschiedenen Teilen der Welt ergeben sich in den Lieferketten für die digitalen Systeme erhebliche Machtungleichgewichte. Beispielsweise stammen die Chips für die Prozessoren, wie sie in Servern der Datenverarbeitungssysteme in den Rechenzentren Verwendung finden, von nur zwei, drei Herstellern, die z.Zt. alle in den Vereinigten Staaten von Amerika ansässig sind. Eine Aufholjagd, um diese Technik ebenfalls bereitstellen zu können, ist aufwändig und wird gegenwärtig nur in planwirtschaftlichen Umgebungen, wie etwa China, unternommen. Als weiteres Beispiel dürfen die leistungsfähigen Router und Switche für zentrale Recheninfrastrukturen gelten, die mit der erforderlichen Anzahl und Bandbreite der Schnittstellen z.Zt. ebenfalls nur durch Hersteller aus USA und China geliefert werden.

Mehr noch als bei den Hardware-Komponenten findet eine Machtkonzentration bei den Bereit- stellern der Rechenplattformen (Platform as a Service, PaaS) statt. Die durch solche Plattformen bereitgestellten Funktionen machen die Softwareentwicklung und die Bereitstellung von „Software as a Service“ (SaaS) relativ einfach und schnell. Insbesondere die durch die von großen Plattform- Anbietern über das bloße „Hosting“ hinaus bereitgestellten proprietären Daten- und Infrastrukturdienste, etwa Datenbankdienste oder Redundanzstrukturen, erleichtern den Software-Ingenieuren die Arbeit und verkürzen die Produktentstehungszyklen für SaaS -Angebote signifikant. Allerdings locken die Plattform-Anbieter auf diese Weise ihre Kunden, die SaaS- Anbieter, in eine Falle. Sobald die Software der SaaS-Anbieter u.a. auf den proprietären Daten- und Infrastrukturdiensten aufbauend etabliert sind, können die SaaS-Anbieter nicht ohne große Migrationskosten zu einem anderen Plattform- Anbieter wechseln. Sie verfangen sich im so genannten „Vendor Lock-in“. So verfestigt sich gegenwärtig ein weltumspannendes Oligopol der großen Plattform- Anbieter.

Diese Konzentration großer Teile der digitalen Infrastruktur der Gesellschaft auf solche Oligopol-Plattformen birgt in dreierlei Hinsicht Risiken für die Verlässlichkeit und Souveränität der Datenverarbeitung :

- Würden die Oligopolisten die Instandhaltung oder die Bereitstellung der Systeme oder Teilsysteme für einen Teil der Nutzer unterbrechen oder einstellen, so entstünde eine erhebliche Versorgungslücke.

- Da die Anzahl der sehr großen Rechenzentren aller Oligopolisten zusammen genommen überschaubar klein ist, stellen sie auch in ihrer Gesamtheit ein relativ empfindliches Ziel für sabotierende Terroristen oder feindlich gesonnene Staaten dar.

- Der Regulatorischer Rahmen, der für die Oligopolisten gilt, bleibt möglicherweise langfristig unvereinbar mit den gesetzlichen Normen für IT-Sicherheit und Datenschutz in Europa.

Um dieser Oligopolbildung im Bereich der PaaS-Anbieter zu begegnen, fördern Europäische Regierungen Projekte zur Disassemblierung der gebündelten Angebote (etwa im Umfeld der Initiative GAIA-X) durch die Förderung der Definition von offenen Schnittstellen, einem diskriminierungsfreien Identitätsmanagement und der Entwicklung alternativer, quelloffener Software für die Daten- und Infrastrukturdienste, welche die Attraktivität der PaaS-Angebote ausmachen.

Bei einer offenen Gestaltung der Daten- und Infrastrukturfunktionen kann die sie implementierende Software auf unterschiedlichen Datenverarbeitungssystemen betrieben werden und die Daten- und Infrastrukturdienste demgemäß auch für unterschiedliche Datenverarbeitungssysteme den Softwareentwicklern und SaaS-Betreibern angeboten werden, darunter auch für die Datenverarbeitungssysteme, welche die Anforderungen an die Souveränität, die Verfügbarkeit des Systems und der Daten sowie einen hohen Schutz der Vertraulichkeit und der Integrität erfüllen.

Solche Datenverarbeitungssysteme und Verfahren (in praxi als Cloud-Rechenzentren oder Cloud-Infrastruktur bezeichnet) haben, eine sorgfältige Implementierung vorausgesetzt, die Eigenschaft, dass mehrere Knoten eines Netzes aus Servern mittels entsprechender Middleware bzw. Cloud-Betriebssystemen, wie aktuell quelloffen etwa durch [Kubernetes] oder [O- penStack] implementiert, für die Datenverarbeitungsaufgabe vorbereitet sind, und bei Ausfall eines Servers oder der zu seinem Betrieb erforderlichen Subsysteme die Datenverarbeitungsaufgabe übernehmen können. Dafür muss der Zugriff auf die zu der Datenverarbeitungsaufgabe zugehörigen und ebenfalls redundant in mehreren Knoten des Datenverarbeitungssystems dauerhaft gespeicherten (persistierten) Daten auch von den vorbereiteten Servern aus möglich sein. Diese Funktion wird durch automatisch replizierende Speichersysteme, wie aktuell quelloffen etwa durch [Ceph] oder [OpenlO] implementiert, bereitgestellt. Durch eine derartige Systemgestaltung ergibt sich eine Mindestrobustheit des Datenverarbeitungssystems gegen Sabotage und den Ausfall einzelner Komponenten und somit ein Mindestschutz gegen Verlust der Verfügbarkeit des Systems und der damit verarbeiteten Daten. Jedoch sind die Knoten, in denen die Datenverarbeitungsaufgabe erledigt wird, den Betreibern bekannt und könnte, bei Erbeutung dieser Information, indirekt auch potentiellen Angreifern bekannt werden. Wenn diesen Angreifern die konkreten Lokationen der Datenverarbeitung bekannt sind, dann kann die Verfügbarkeit des Datenverarbeitungssystem sowie der damit verarbeiteten Daten relativ einfach durch konzertierte Angriffe, ggf. durch physische Zerstörung charakterisierte Angriffe auf die konkrete Mehrzahl der das System implementierenden Knoten des Netzes sabotiert werden. Solche Datenverarbeitungssysteme und Verfahren haben, eine sorgfältige Implementierung vorausgesetzt, des Weiteren die Eigenschaft, dass der Zugriff sowohl Dritter als auch des das Datenverarbeitungssystem betreibenden Personals auf die durch das System verarbeitete Daten durch technisch-organisatorische Maßnahmen, wie etwa in den Anforderungskatalogen der ISO/IEC-Standards der Reihe 27k oder des Bundesamts für Sicherheit in der Informationstechnik (BSI C5) gefordert, eingeschränkt und kontrolliert wird, sodass hierdurch ein Mindestschutz gegen unberechtigten Datenzugriff oder die Manipulation der durch das System verarbeitete Daten erzielt werden kann.

Solange jedoch bei der Gestaltung des Datenverarbeitungssystems nicht die Grundsätze der Manipulationssicherheit, also der Anforderung, dass Änderungen am System nur durch das Zusammenwirken von Mitarbeitern aus mehreren verschiedenen, am Aufbau und dem Betrieb des Datenverarbeitungssystems beteiligten Organisationen möglich sein darf, erfüllt werden, solange können bei Datenverarbeitungssysteme und Verfahren zum Schutz der Vertraulichkeit und der Integrität immer noch einzelne Mitarbeiter aus den am Aufbau und dem Betrieb des Datenverarbeitungssystems beteiligten Organisationen gegen Vorschriften zum Schutz der Vertraulichkeit und der Integrität verstoßen und in Folge die Vertraulichkeit und/oder der Integrität der in dem Datenverarbeitungssystem verarbeiteten Daten verletzen.

Die Wahrscheinlichkeit einer derartigen Verletzung der Vertraulichkeit und/oder der Integrität der in dem Datenverarbeitungssystem verarbeiteten Daten sinkt um mehrere (dezimale) Größenordnungen, wenn die Grundsätze der Gestaltung des Datenverarbeitungssystems entsprechend der Sicherheit gegen Manipulation, wie etwa in [H. A. Jäger et al. (2020). Manipulationssichere Cloud-Infrastrukturen. ISBN 978-3-658-31848-2. Seiten 33-79. Springer Nature.] beschrieben, eingehalten werden. Die Unabhängigkeit der Mitarbeiter aus mehreren verschiedenen, am Aufbau und dem Betrieb des Datenverarbeitungssystems beteiligten Organisationen vorausgesetzt, kann die Wahrscheinlichkeit, dass die Eigenschaften eines manipulations sicheren Datenverarbeitungssystems verändert werden und diese Veränderung zu einer Verletzung der Vertraulichkeit und/oder der Integrität der in dem Datenverarbeitungssystem verarbeiteten Daten genutzt wird, als die mit der Anzahl der zu einer Veränderung notwendigen verschiedenen unabhängigen Organisationen potenzierte Wahrscheinlichkeit der Untreue eines einzelnen Mitarbeiters dieser Organisationen angesetzt werden.

Solche manipulationssicheren Datenverarbeitung s Systeme und die sie implementierende Verfahren vermitteln die hohe Sicherheit gegen Verletzungen der Vertraulichkeit und/oder der Integrität der damit verarbeiteten Daten dadurch, dass außerhalb von den für die Datenverarbeitung vorgesehenen Ausführungsumgebungen (Trusted Execution Environments, TEE) keine Daten unverschlüsselt vorliegen. Ein Beispiel für solche TEE auf Chip-Ebene implementieren die in [I. Anati et al. (2013). Innovative Technology for CPU Based Attestation and Sealing. In Workshop on Hardware and Architectural Support for Security and Privacy HASP'D. ] beschriebenen “Software Guard Extensions” (SGX) der Intel Corporation. Ein anderes Beispiel um solche TEE auf Server- und Mulit-Server-Ebene zu implementieren ist die vorsorgliche Löschung von Daten innerhalb eines Moduls, sobald ein Angriffsversuch detektiert wird, wie sie etwa in [FIPS PUB 140-2: Security Requirements for Cryptographic Modules. NIST. July 26, 2007. “Security Level 4 provides the highest level of security. At this security level, the physical security mechanisms provide a complete envelope of protection around the cryptographic module with the intent of detecting and responding to all unauthorized attempts at physical access. Penetration of the cryptographic module enclosure from any direction has a very high probability of being detected, resulting in the immediate deletion of all plaintext critical security parameters. ”] beschrieben ist.

Solche manipulationssicheren Datenverarbeitung s Systeme und die sie implementierende Verfahren vermitteln des Weiteren eine hohe Sicherheit gegen Verletzungen der Vertraulichkeit und/oder der Integrität, wenn die Schlüssel, die zur Verschlüsselung der Ergebnisse und Zwischenergebnisse der Datenverarbeitungsaufgaben verwendet werden, sobald diese die TEE verlassen, ausschließlich im Verbund der Knoten des Datenverarbeitungssystems erzeugt werden und diesen Verbund nicht verlassen. Um auch im Falle eines gleichzeitigen Ausfalls aller Knoten des Datenverarbeitungssystems das System wieder starten zu können, teilen in solchen manipulationssicheren Datenverarbeitungssystemen eine suffizient groß gewählte Gruppe von untereinander unabhängigen Auditoren des Systems ein initial automatisch erzeugtes Geheimnis, vorzugsweise mit dem Verfahren „Shamir Secret Sharing“ [A. Shamir (1979). How to Share a Secret. Programming Techniques. Editor R. Rivest. Communications of the ACM. Vol. 22 Nr. 11.], das sie, nach einem erfolgreichen Abschluss des Audits eines Knotens des Datenverarbeitungssystems, in dem Knoten gemeinsam wieder erzeugen, indem eine suffiziente Teilmenge von Teilgeheimnissen (Sharmir-Parts) an einer Mensch-Maschine-Schnittstelle eingegeben wird. Dieses, auf diese Weise dem Datenverarbeitungssystem verfügbare Geheimnis dient auch als Vertrauensanker für Zwecke der Attestierung von signierter Software, die zum Betrieb des Datenverarbeitungssystems vorgesehen ist, als auch signierter „Userland “-Software, die von den Nutzern des Datenverarbeitungssystems von diesem zur Ausführung gebracht wird.

Bei den, dem Stand der Technik entsprechenden Datenverarbeitungssystemen und den sie implementierenden Verfahren, ist i.d.R. die Wartung, jedoch mindestens die Prüfung der Implementierung durch unabhängige Auditoren vor Ort, d.h. im Rechenzentrum jeweils individuell für jeden Knoten des Datenverarbeitungssystems einzeln vorzunehmen. Bei den zusätzlich manipulationssicher gestalteten Datenverarbeitungssystemen und den sie implementierenden Verfahren, kommt zusätzlich zu der Wartung und Prüfung der Implementierung durch unabhängige Auditoren noch der „Versiegelung“ genannte Vorgang der Eingabe der Teilgeheimnisse gemäß dem auf dem Shamir-Sharing beruhenden Verfahren zur Erzeugung eines allen Knoten des Datenverarbeitungssystems gemeinsamen Geheimnisses vor Ort im Rechenzentrum hinzu.

Daraus ergeben sich die Nachteile, dass die Versiegelung und Wartung immer vor Ort, also in unmittelbarer physischer Nähe zu den einzelnen Knoten bzw. in den Rechenzentren, erfolgen muss und durch die von Knoten zu Knoten bzw. Rechenzentrum zu Rechenzentrum wechselnden Rahmenbedingungen die Prozesse der Versiegelung und Wartung fehleranfällig sind und somit die gewonnene Sicherheit durch neue Risiken wieder reduziert wird, und des Weiteren, da die Mehrzahl an unabhängigen Auditoren für die Prüfungs- und Versiegelungsprozesse in Abstimmung mit dem Betreiber des Datenverarbeitungssystem jeweils gleichzeitig vor Ort erscheinen müssen, auch zeitraubend und kostenintensiv ist.

Außerdem ergibt sich bei solchen Datenverarbeitungssystemen zur Sicherung der Verfügbarkeit des Systems und der Daten durch Ausfall einzelner Komponenten die Notwendigkeit, nahezu alle Komponenten doppelt oder sogar mehrfach redundant an jedem Knoten des Netzes vorzuhalten. Dies ist nicht nur durch den höheren Einsatz an Ressourcen kostenintensiv sondern steigert auch die Systemkomplexität, die sich oft gegenläufig zum Schutzziel der Verfügbarkeit des Systems und der Daten auswirkt.

Aufgabe der Erfindung ist es daher, ein System und ein Verfahren zum sicheren verarbeiten von Daten bereitzu stellen, welche insbesondere eine Sabotage des Datenverarbeitungssystems, eine Nicht- Verfügbarkeit des Systems oder der Daten durch Ausfall einzelner Komponenten, einen unberechtigten Datenzugriff oder eine Manipulation der Daten effizient verhindern, ohne die Nachteile der aus dem Stand der Technik bekannten Systeme und Verfahren aufzuweisen.

Diese Aufgabe wird erfindungsgemäß durch die Verfahren und Einrichtungen nach den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den jeweiligen abhängigen Ansprüchen angegeben.

Die Erfindung betrifft eine Einrichtung und ein Verfahren, bei dem die Robustheit gegen Sabotage und Ausfall einzelner Komponenten durch die Verteilung der Datenverarbeitungsaufgabe auf eine Mehrzahl von Knoten aus einem Netz, das aus einer Vielzahl von Knoten besteht, erzielt werden kann, und des Weiteren, ein besonders hohes Maß an Sicherheit gegen Verletzung der Vertraulichkeit und/oder der Integrität der Daten durch eine Verschlüsselung der Daten bei der Übertragung und der Speicherung außerhalb der Knoten mit Schlüsseln erzielt werden kann, die nur innerhalb der Netzknoten des Systems dem System selber verfügbar sind, und des Weiteren, die Knoten so gestaltet sein können, dass bei Angriffsversuchen diese so beschädigt werden, dass dabei die Daten in den betroffenen Knoten vor einem erfolgreichen unberechtigten Zugriff zerstört werden, oder diese Zerstörung der Daten in den betroffenen Knoten bei der Detektion eines entsprechenden Angriffsversuchs durch systemimmanente Mechanismen vorsorglich erfolgt.

Die Erfindung weist insbesondere folgende Vorteile auf:

1. Da die erfindungsgemäßen Verfahren und Einrichtungen zum Verteilen von Datenverarbeitungsaufgaben auf die Knoten eines ein Datenverarbeitungssystem implementierenden Netzes geeignet sind, wobei (a) eine gesicherte Umgebung der Knoten einen unberechtigten Zugriff von Dritten oder dem Personal des Betreibers des Datenverarbeitungssystems weitestgehend verhindert,

(b) die gesicherte Umgebung eines ersten Knotens die primäre Instanz einer Datenverarbeitungsaufgabe initialisiert,

(c) die gesicherte(n) Umgebung(en) mindestens eines zweiten Knotens oder weiterer Knoten die sekundäre Instanz oder weitere Instanzen einer Datenverarbeitungsaufgabe initialisiert und

(d) in den gesicherten Umgebungen der Knoten vermittels einer für die Nutzer des Datenverarbeitungssystems und das Personal des Betreibers des Datenverarbeitungssystems verborgen arbeitenden reinen Peer-to-Peer-Verwaltung eine softwaregesteuerte Vorbereitung einer Mehrzahl von Knoten als weitere Instanzen zur alternativen Ausführung der Datenverarbeitungsaufgabe erfolgt, ist es potentiellen Angreifern nahezu unmöglich das Datenverarbeitungssystem zu sabotieren, da diese praktisch nicht alle Knoten und/oder deren Anbindung an die Datenübertra- gungs- und Energieversorgungsnetze gleichzeitig zerstören können, aber auch nicht wissen, welche konkrete Teilmenge an Knoten sabotiert werden muss um bestimmte Datenverarbeitungsaufgaben für eine empfindliche Dauer zu unterbrechen oder zu stoppen. Da die erfindungsgemäßen Verfahren und Einrichtungen zum Verteilen von Datenverarbeitungsaufgaben auf die Knoten eines ein Datenverarbeitungssystem implementierenden Netzes des Weiteren geeignet sind, die Erwartungswerte für die Datenübertragungskapazitäten und Signallaufzeiten zwischen den Knoten als Kriterien des durch die reine Peer-to-Peer- Verwaltung implementierten Auswahlverfahrens der Knoten für die Vorbereitung weiteren Instanzen Berücksichtigung finden, werden die, eine hinreichend dichte Aufstellung von ausreichend leistungsfähigen Netzknoten vorausgesetzt, für die verschiedenen Anwendungen ggf. ungenügenden Verzögerungen bei der Datenverarbeitung weitgehend vermieden. Da die erfindungsgemäßen Verfahren und Einrichtungen zum Verteilen von Datenverarbeitungsaufgaben auf die Knoten eines ein Datenverarbeitungssystem implementierenden Netzes des Weiteren geeignet sind, die Erwartungswerte für die Datenübertragungskapazitäten und/oder die Signallaufzeiten für mindestens einem weiteren Knoten und dem ersten Knoten nicht deterministisch, sondern zufällig oder quasi- zufällig veränderte Erwartungswerte als Kriterien des durch die reine Peer-to-Peer-Verwaltung implementierten Auswahlverfahrens der Knoten für die Vorbereitung einer sekundären Instanz Berücksichtigung finden, wird die Robustheit gegen Sabotage dadurch weiter verbessert, dass die potentiellen Angreifer die zufällige oder quasi-zufällige Verteilung der Datenverarbeitungsaufgaben und der synchronen sowie der asynchronen Replikationen der zu verarbeitenden Daten auf die verschiedenen Knoten des das Datenverarbeitung s system implementierenden Netzes nicht kennen können. Da die erfindungsgemäßen Verfahren und Einrichtungen zum Verteilen von Datenverarbeitungsaufgaben auf die Knoten eines ein Datenverarbeitungssystem implementierenden Netzes des Weiteren geeignet sind, die Erwartungswerte für die Datenübertragungskapazitäten und/oder die Signallaufzeiten zwischen dem ersten Knoten und weiteren differenziert nach den Zwecken für die synchrone und asynchrone Replikation der Daten als Kriterien des durch die reine Peer-to-Peer-Verwaltung implementierten Auswahlverfahrens der Knoten für die Vorbereitung einer sekundären Instanz Berücksichtigung finden, werden die, eine hinreichend dichte Aufstellung von ausreichend leistungsfähigen Netzknoten vorausgesetzt, für die verschiedenen Anwendungen ggf. ungenügenden Verzögerungen bei der Datenverarbeitung noch weitergehend vermieden. Da die erfindungsgemäßen Verfahren und Einrichtungen zum Verteilen von Datenverarbeitungsaufgaben auf die Knoten eines ein Datenverarbeitungssys-tem implementierenden Netzes des Weiteren geeignet sind, die Knoten des das Datenverarbeitungssystem implementierenden Netzes ohne lokale Redundanzen, also ohne Dopplung oder höherer Redundanz im selben Knoten auszugestalten, sind die üblichen aber aufwändigen separaten 2- fachen bzw. 3-fachen Komponenten-Redundanzen an jedem Knoten obsolet. Durch den vereinfachten und durch die Verteilung der Datenverarbeitungsaufgaben auf eine Vielzahl von Knoten mithin auch mit kleineren Bandbreiten und Kapazitäten implementierbare Knoten des das Datenverarbeitungssystem implementierenden Netzes ergibt sich eine Reduzierung der Abhängigkeit von oligopolen Lieferantenstrukturen, da die Vielfalt an Anbietern mit den sinkenden Anforderungen an Bandbreite und Kapazität zunimmt. Da die erfindungsgemäßen Verfahren und Einrichtungen zum Versiegeln von Knoten eines ein Datenverarbeitungssystem implementierenden Netzes für die effiziente Bereitstellung eines sicheren Datenverarbeitungssystems geeignet sind, wobei

(a) eine gesicherte Umgebung eines ersten Knotens ein Urgeheimnis zufällig oder quasizufällig erzeugt,

(b) die gesicherte Umgebung des ersten Knotens das Urgeheimnis in eine Mehrzahl von Teilgeheimnissen zerlegt,

(c) die gesicherte Umgebung des ersten Knotens die Teilgeheimnisse an zuvor bestimmte Auditoren ausgibt,

(d) eine gesicherte Umgebung eines weiteren Knotens die Teilgeheimnisse (nach erfolgreicher Prüfung des Knotens durch die Auditoren) an einer dem Knoten sicher zuordenbaren Schnittstelle entgegennimmt,

(e) die gesicherte Umgebung des weiteren Knotens aus einer suffizienten Teilmenge der Teilgeheimnisse das Urgeheimnis erzeugt,

(f) die gesicherte Umgebung des weiteren Knotens das Urgeheimnis in einem dafür vorgesehenen flüchtigen Datenspeicher speichert,

(g) die gesicherte Umgebung des weiteren Knotens das Urgeheimnis als kryptografischen Vertrauensanker für den Start aller weiterer durch die Auditoren signierten Funktionen des Knotens, insbesondere für den „Boot“ des gesamten „Software Stacks“ als auch für die Ableitung der Schlüssel zum sicheren persistieren der Zwischenergebnisse der Datenverarbeitungsaufgaben und für die sichere Kommunikation zwischen den Knoten nutzt,

(h) ein Energiespeicher sowohl eine Penetrations sensorik als auch den flüchtigen Datenspeicher der gesicherten Umgebung des weiteren Knotens für eine, durch die Kapazität des Energiespeichers determinierte Zeit, auch wenn der Knoten vom Energieversorgungsnetz - etwa zu Transportzwecken - getrennt wird, stützt und

(i) im Falle positiver Signale der Penetrations sensorik der gesicherten Umgebung des weiteren Knotens, also der Signale, die einen physischen oder logischen Penetrations versuch charakterisieren, zu einer Vernichtung des Urgeheimnisses führen, ergibt sich ein weiterer Vorteil der erfindungsgemäßen Lösung, dass die Knoten des das Datenverarbeitungssystem implementierenden Netzes nicht mehr in jeweils verschiedenen Rechenzentren zur Inbetriebnahme assembliert, getestet, geprüft und versiegelt werden müssen, sondern diese Prozessschritte standardisiert in einer zentralen industriellen Fabrikation durchlaufen werden können. Dadurch wird die Wahrscheinlichkeit für Fehler bei der Ausführung dieser Prozessschritte reduziert, die Arbeitsorganisation für die Betreiber und die Auditoren vereinfacht und die Kosten der Bereitstellung des Datenverarbeitungssystems gesenkt. Die Reduzierung der Fehlerwahrscheinlichkeit hebt außerdem die Qualität und das Sicherheitsniveau des sicheren Datenverarbeitungssystems.

Insbesondere können die erfindungsgemäßen Knoten des das Datenverarbeitungssystem implementierenden Netzes in der oder den industriell organisierten Fabrikation(en) erfindungsgemäß versiegelt werden, und bleiben trotz der Trennung von den Datenübertragungs- und Energieversorgungsnetzen versiegelt und ohne weitere Prüfung und Inspektion für die Wirkungsdauer der Stützbatterien oder der anderweitig ausgeprägter Stützspeicher betriebsbereit. Die Knoten müssen am vorgesehenen Betriebsort lediglich an die dort vorhandenen Datenübertragungs- und Energieversorgungsnetze angeschlossen werden und die Knoten verbinden sich dann mit den anderen Knoten zum vernetzten Betrieb.

Die über den Download neuer Software-Versionen hinausgehende Wartung oder Reparatur eines Knoten des das Datenverarbeitungssystem implementierenden Netzes muss nicht aufwändig am Betriebsort erfolgen, sondern zur Wartung bzw. Reparatur fällige Knoten werden von den Datenübertragungs- und Energieversorgungsnetzen von nicht speziell qualifiziertem Personal einfach getrennt, als Ganzes zurück zur industriell organisierten Fabrikation transportiert, dort im industriell organisierten Umfeld überarbeitet, erneut getestet, geprüft und versiegelt und erneut an den Betriebsort transportiert und entsprechend einfach wieder in Betrieb genommen. Da die erfindungsgemäßen Verfahren und Einrichtungen zum Versiegeln von Knoten eines ein Datenverarbeitungssystem implementierenden Netzes für die effiziente Bereitstellung eines sicheren Datenverarbeitungssystems des Weiteren geeignet sind, wobei die einen Penetrationsversuch charakterisierenden Signale der Pentrationssensorik zu einer Vernichtung des Urgeheimnisses führen, indem sie die Energieversorgung des flüchtigen Datenspeichers unterbrechen, erfolgt die implementierenden Datenlöschung auf besonders einfache und damit bezüglich Zuverlässigkeit und Kosten besonders günstige Art und Weise.

8. Da die erfindungsgemäßen Verfahren und Einrichtungen zum Versiegeln von Knoten eines ein Datenverarbeitungssystem implementierenden Netzes für die effiziente Bereitstellung eines sicheren Datenverarbeitungssystems des Weiteren geeignet sind, wobei die Sicherung der Umgebung für die Datenverarbeitung wahlweise einzeln oder kombiniert dadurch erfolgt, dass

(a) eine Verschlüsselungseinheit in unmittelbarer Nachbarschaft zur zentralen Verarbeitungseinheit auf den Prozessorchips der Server der Knoten die zu verarbeiteten Daten erst unmittelbar bevor diese in der Verarbeitungseinheit verarbeitet werden, entschlüsselt und, noch bevor die Ergebnisse des Verarbeitungsschrittes auf Busse und Arbeitsspeicher der Server zurückgeschrieben werden, verschlüsselt oder

(b) die sichere Umgebung die unverschlüsselten und momentan in einem Knoten in Verarbeitung befindlichen Daten dann vorsorglich löscht, wenn dies die einen Penetrationsversuch des Knotens charakterisierenden Signale der Pentrationssensorik indizieren, kann durch die erfindungsgemäße Kombination verschiedener Ansätze für „Confidential Computing“, namentlich (a) die Absicherung der Vertraulichkeit der Datenverarbeitung auf Chipebene, um Angriffe über Sicherheitslücken in der „Middleware“ und anderer Systemsoftware abzuwehren und (b) die Absicherung der Vertraulichkeit der Datenverarbeitung auf Multi-Server-Ebene, um direkte Zugriffe und „Side-Channel- Angriffe“ abzuwehren, ein besonders hoher Schutz gegen Verletzungen der Vertraulichkeit und der Integrität der Daten, die das Datenverarbeitungssystem verarbeitet, erzielt werden.

Einzelheiten und Merkmale der Erfindung sowie konkrete Ausführungsbeispiele der Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit den Zeichnungen. Es zeigt: Fig. 1 ein Diagramm eines erfindungsgemäßen sicheren Datenverarbeitungssystems aus Knoten zur Erläuterung der erfindungsgemäßen Robustheit gegen Sabotage mit den Bezeichnungen:

SDVS Sicheres Datenverarbeitungssystem

Kl bis Km Knoten 1 bis Knoten m

DÜN Datenüberragungsnetz

GDÜV gesicherte Datenübertragungsverbindungen

SGDÜV speziell gesicherte Datenübertragungsverbindungen

CI bis Ck Client 1 bis Client k

Bx,y Bandbreite der DÜV vom Knoten x zum Knoten y

Lx,y Latenz der DÜV vom Knoten x zum Knoten y

Dx,y Geografische Distanz zwischen den Knoten x und y

Fig. 2 ein Blockdiagramm eines Knotens des das sichere Datenverarbeitungssystem implementierenden Netzes zur Erläuterung des erfindungsgemäßen Prozesses der Versiegelung und des erfindungsgemäßen Merkmals, dass die Versiegelung des Knotens aufrecht erhalten bleibt, auch wenn der Knoten für begrenzte Dauer zu Transportzwecken von den Energieversorgung s- und Datenübertragungsnetzen getrennt wird, mit den Bezeichnungen: Kx Knoten x

UKx Ummantelung des Knotens Kx

EVNA Energieversorgungsanschluss

DÜN A Datenübertragung snetzanschlu s s

EV 1 Ein erster Energieverteiler

EV2 Ein zweiter Energie Verteiler

VL Versorgungsleitungen

ESP Energiespeicher

GPVL Gepufferte Versorgungsleitungen

REL1 NO Relais 1, normally open

REL2 NO Relais 2, normally open

PS Penetrations sensorik PSS Penetrations sensor signal

VSP UG Volatiler Datenspeicher für das Urgeheimnis

FWR Firewall Router

LANS Local Area Network Switch

AS1 bis ASn Anwendungsserver 1 bis Anwendungsserver n

TG IF Teilgeheimniseingabeschnittstelle

DL Datenleitungen

Mit den erfindungsgemäßen Einrichtungen und den erfindungsgemäßen Verfahren werden sowohl ein adäquater Schutz gegen Sabotage als auch eine Vereinfachung der Assemblierung, des Tests, der Prüfung, der Versiegelung, der Wartung und der Reparatur von Knoten eines ein Datenverarbeitungssystem implementierenden Netzes ermöglicht.

Die in Fig. 1 gezeigte Vielzahl von m Knoten Kl, K2, bis Km bilden zusammen mit den k Clienten Cl, C2, bis Ck sowie mit den speziell gesicherten Datenübertragungsverbindungen (SGDÜV) des Datenübertragungsnetzes (DÜN) das sichere Datenverarbeitungssystem (SDVS). Das Datenübertragungsnetz (DÜV) können beispielsweise das Internet, ein privates Firmennetz oder auch weltraumsatellitengestützt weltumspannende Netze sein. Die Knoten Kl bis Km können beispielsweise als Mikrorechenzentren mit nur einem oder wenigen Servern oder große Rechenzentren mit einer Vielzahl von Servern gestaltet sein. Die Knoten sind beispielsweise durch Firewall Router zum Datenübertragungsnetz DÜN hin geschützt, indem nur die erforderlichen Schnittstellen, beispielsweise charakterisiert durch Protokolle, Adressen und Ports, durch entsprechende Konfiguration der Router, geöffnet sind. Diese Konfiguration erfolgt erfindungsgemäß durch eine Systemsoftware des sicheren Datenverarbeitungssystems SDVS, die auf jedem Knoten Kl bis Km installiert ist oder beim Hochlauf der Software von anderen, bereits in Betrieb befindlichen Knoten des SDVS heruntergeladen wird, und vorzugsweise als ein reines Peer-to-Peer Softwaresystem gestaltet ist und über eine Schnittstelle, zu den Routern der Knoten die entsprechenden Konfigurationen vornehmen kann. Durch eine reine Peer-to-Peer-Gestaltung der Systemsoftwarefunktion zur Registrierung neuer Knoten des das sichere Datenverarbeitungssystem SDVS implementierenden Netzes melden sich neue Knoten automatisch an und werden in das SDVS automatisch integriert, d.h. es werden durch die Systemsoftware des SDVS die Konfigurationen der Router aller Knoten des Netzes aktualisiert und die Ressourcen für die Datenverarbeitung durch die Systemsoftware in den Pool der Ressourcen des SDVS aufgenommen.

Jeder Knoten Kx (für x aus 1 bis m) kann zu allen anderen Knoten Ky (für y aus 1 bis m und ungleich x) einzeln speziell gesicherte Datenübertragungsverbindungen (SGDÜV) aufbauen, die sich nach den Erwartungswerten der Bandbreite Bx,y, der Signallaufzeit bzw. Latenz Lx,y und der geografischen Distanz zwischen den Knoten Dx,y unterscheiden können. Die speziell gesicherten Datenübertragungsverbindungen SGDÜV können demgemäß sowohl rein paketvermittelte, verbindungsorientiert paketvermittelte Verbindungen als auch Schaltung s vermittelte Verbindungen sein. Die eigentliche Übertragung kann sowohl leitungsgebunden, sowohl über metallische Leiter oder auch Glasfaserübertragungsstrecken, als auch über Luftschnittstellen, etwa mobile Datenübertragungseinrichtungen, als auch abschnittsweise kombiniert erfolgen. Durch die (nachfolgend anhand der Fig.2 erläuterten) Versiegelung der Knoten verfügt jeder Knoten Kx, wobei x=l bis x=m, über das identische Urgeheimnis UG und kann vermittels dieses UG eine kryptografisch besonders sichere kryptografisch abgesicherte Datenübertragungsverbindungen SGDÜV zu den anderen Knoten Ky, wobei y=l bis y=m und y ungleich x, aufbauen.

Jeder Client Ci (für i aus 1 bis k) kann zum Knoten Kx eine gesicherte Datenübertragungsverbindung (GDÜV) aufbauen, sofern initial eine erste Instanz einer Datenverarbeitungsaufgabe gebunden an Datenverarbeitungsressourcen des Knotens Kx, beispielsweise als „ingress“ zu einem vom Clienten Ci angeforderten Dienst für den Knoten Kx, konfiguriert wurde, d.h. die entsprechenden Eintragungen im dem Knoten Kx zugehörigen Firewall-Router vorgenommen wurden. Dies erfolgt erfindungsgemäß durch die Systemsoftware des sicheren Datenverarbeitungssystems SDVS, das auf jedem Knoten Kl bis Km installiert ist und über eine Schnittstelle zu den Routern der Knoten die entsprechenden Konfigurationen vornehmen kann. Der initiale Konfigurationsprozess wird beispielsweise von den das SDVS nutzenden Softwareentwicklern und/oder Software as a Service (SaaS)-Anbietern (im Folgenden „Tenants“ des SDVS genannt) vorgenommen, wenn diese einen Dienst für die Nutzer des SaaS -Angebotes einrichten. Die Router kommunizieren mit den anderen Routern des Datenübertragungsnetzes DÜN, entsprechend dem zugehörigen Vermittlungssystem bzw. Protokoll, im Internet beispielsweise dem Domain Name Service (DNS). Neben einer ersten Instanz der Datenverarbeitungsaufgabe beim Knoten Kx, mit im Internet beispielsweise einem DNS-A-Eintrag einer Internetadresse des Knotens Kx, wird vorteilhaft eine zweite Instanz der Datenverarbeitungsaufgabe beim einem weiteren Knoten Ky mit einer alternativen Adresse im zum DÜN gehörenden Vermittlungssystem, im Internet beispielsweise ein DNS-B-Eintrag einer zweiten Internetadresse des Knotens Ky konfiguriert. Die dadurch mögliche alternative Verbindung des Clients Ci zum Knoten Ky ist in Fig. 1 gestrichelt eingezeichnet.

Da die Tenants die Instanzen einrichten und sich durch die Arbeitsweise des Vermittlungssystems des Datenübertragungsnetzes DÜN, im Internet beispielsweise das DNS, die Abbildung beispielsweise einer „Universal Ressource Location“ (URL) zu den DNS-A-Einträgen und den DNS -B -Einträgen über eine Vielzahl von Knoten, im Internet z.B. den Routern, verteilt, können die den Knoten Kx charakterisierende Adressen des DÜN, der primär für die mit einem von einem Client Ci angeforderten Dienst verbundene Datenverarbeitungsaufgabe vorgesehen ist, als auch die den Knoten Ky charakterisierende Adressen des DÜN, der sekundär, also für den Fall eines Nicht-zur- Verfügung- stehen des Knotens Kx ersatzweise für die mit einem von einem Client Ci angeforderten Dienst verbundene Datenverarbeitungsaufgabe vorgesehen ist, potentiellen Angreifern für Akte der Sabotage bekannt sein.

Die Systemsoftware des erfindungsgemäßen SDVS bereitet über diese, potentiellen Angreifern möglicherweise bekannten Knoten hinaus, weitere Knoten für eine Übernahme der Datenverarbeitungsaufgaben vor. Hierfür wählt das SDVS automatisch und, vorteilhaft mittels einer Peer-to-Peer-Systems implementierten Verwaltung, einen oder eine Mehrzahl von für die Tenants und den Betreiber des SDVS unsichtbaren oder unsichtbare Knoten Ka, Kb, Kc, usw. aus, die als redundante, alternative Ressourcen für die Übernahme der Datenverarbeitungsaufgabe vorbereitet werden sollen. Dafür werden die Router der ausgewählten Knoten für die speziell gesicherten Datenübertragungsverbindungen SGDÜV durch die Systemsoftware eingestellt, und die Funktionen der Verwaltung der Datenverarbeitungsaufgaben der Systemsoftware konfiguriert. Dies können in aktuell verbreiteten Cloud-Betriebssystemen wie „Kubernetes“ o- der „OpenStack“ etwa Pods oder virtuelle Maschinen sein. Demgemäß können diese weiteren, für die Übernahme der Datenverarbeitungsaufgabe im Falle einer Nicht- Verfügbarkeit des Knotens Kx und/oder des Knotens Ky vorgesehenen Knoten Ka, Kb, Kc, usw. den Tenants als auch dem Betreiber des SDVS nicht bekannt sein. Die Auswahl der Knoten Ka, Kb, Kc usw. als Ersatzknoten für eine bestimmte Datenverarbeitungsaufgabe ist ein im SDVS verborgenes Geheimnis und kann dies nur aufgrund der anhand der Fig.2 nachfolgend erläuterten sicheren Datenverarbeitungsumgebung und deren Versiegelung als Geheimnis wahren.

Ein modernes Datenverarbeitungssystem erfüllt gleichzeitig und parallel eine Vielzahl von Datenverarbeitungsaufgaben. Daher sind in praxi in der Systemsoftware des erfindungsgemäßen SDVS eine Vielzahl, von Tenants, manuell oder automatisch, vorgenommene Konfigurationen der primären und sekundären Knoten für eine Vielzahl von Datenverarbeitungsaufgaben eingestellt und zu jeder dieser Datenverarbeitungsaufgaben eine einstellbare Anzahl von weiteren, der konkreten Instanziierung nach jedoch verborgenen Knoten von der Systemsoftware autonom eingestellt.

Sobald die Systemsoftware eines der Knoten Kl bis Km, beispielsweise durch ein „Heartbeat“- Signal implementiert, die Nicht- Verfügbarkeit eines der Knoten oder beider Knoten Kx und Ky erkennt, werden ein neuer primärer und/oder ein neuer sekundärer Knoten für die betreffenden Datenverarbeitungsaufgaben festgelegt und die neuen Einträge der Abbildungen einer URL o- der einer ersten und einer zweiten URL auf die Adresse oder die Adressen der Knoten mit einer Nachricht an das Vermittlungssystem des Datenübertragungsnetzes DÜN, im Internet beispielsweise das DNS, die neuen primären und sekundären Knoten für jede Datenübertragungsaufgabe veröffentlicht. Da dieser Vorgang durch die Verteilungsprozesse innerhalb des DÜN in der Regel eine längere Zeit benötigt, beispielsweise mehrere Minuten, veröffentlicht das erfindungsgemäße SDVS vorzugsweise für jeden Dienst die Adressen von zwei Knoten, einem primären Knoten Kx und einem sekundären Knoten Ky. Für den Fall einer Nicht- Verfügbarkeit des primären Knotens Kx kann der Client Ci innerhalb einer kurzen Zeit, beispielsweise wenige Sekunden, mittels des alternativen Zugriffs auf den Dienst beim Knoten Ky die Anforderungen zur Erledigung der entsprechenden Datenverarbeitungsaufgabe absetzen und gff. die Ergebnisse der Datenverarbeitungsaufgabe vom Knoten Ky empfangen.

Erfindungsgemäß kann der Algorithmus, dessen sich die Systemsoftware des SDVS für die, den Tenants und dem Betreiber des SDVS verborgenen Auswahl der Knoten Ka, Kb, Kc, usw., bedient, als Parameter die Erwartungswerte für die Bandbreiten der SGDÜV zwischen dem Knoten Kx und den Knoten Ka, Kb, Kc, usw., Bx,a, Bx,b, Bx,c, usw., und zwischen dem Knoten Ky und den Knoten Ka, Kb, Kc, usw., By,a, By,b, By,c, usw., für die Auswahl hinzuziehen. Analog stehen auch die Erwartungswerte der Latenzen Lx,a, Lx,b, Lx,c, usw., Ly,a, Ly,b, Ly,c, usw. sowie die geographischen Distanzen Dx,a, Dx,b, Dx,c, usw., Dy,a, Dy,b, Dy,c, usw. erfindungsgemäß dem Algorithmus zur Auswahl der Knoten Ka, Kb, Kc, usw. zur Verfügung.

Da die Erwartungswerte der Bandbreiten und Latenzen sowie die geographischen Distanzen zwischen den Knoten dem Betreiber des SDVS und weiteren Personen bekannt sein könnten, und so die Auswahl der Knoten Ka, Kb, Kc, usw. durch den Algorithmus der Systemsoftware des SDVS außerhalb des SDVS von potentiellen Angreifern nachvollzogen werden könnte, ist erfindungsgemäß als vorteilhafte Ausgestaltung des Auswahl-Algorithmus vorgesehen, dass die Erwartungswerte der Bandbreiten und Latenzen sowie die geographischen Distanzen durch zufällige oder quasi- zufällige Werte verändert werden, sodass die Betreiber des SDVS oder weitere Personen den Auswahlprozess der Knoten Ka, Kb, Kc, usw. durch den Algorithmus der Systemsoftware des SDVS dem konkreten Ergebnis nach nicht nach vollziehen können, und so die konkrete Instanziierung der Knoten Ka, Kb, Kc, usw. allen Personen unbekannt und verborgen bleiben, auch den Tenants oder dem Betreiber des SDVS. Somit kann sich auch kein potentiell zu befürchtender Akt der Sabotage gezielt gegen die Knoten Ka, Kb, Kc, usw. richten.

Ein ggf. erfolgender Akt der Sabotage könnte sich allenfalls gezielt gegen die Knoten Kx und/oder Ky richten, wobei nach der zuvor beschriebenen Veröffentlichung der jeweiligen Adressen im Vermittlungssystem des DÜN, der je betroffenem Dienst neuen primären und sekundären Knoten, die betroffenen Dienste wieder erreichbar wären und damit die Saboteure ihr Ziel nicht erreicht hätten. Einzig der Fall, in dem es dem Saboteur oder den Saboteuren gelänge, in einem groß angelegten Akt der Sabotage, alle Knoten Kl bis Km außer Betrieb zu setzen, wäre der Betrieb des SDVS gestört und die durch das SDVS vermittelten Dienste nicht mehr intakt. Je größer die Anzahl der Knoten des das sichere Datenverarbeitungssystem SDVS implementierenden Netzes ist, je größer die geographischen Distanzen Dx,y für x und y von 1 bis m und x ungleich y, je mehr speziell gesicherten Datenübertragungsverbindungen SGDÜV zwischen den Knoten eingerichtet sind, umso weniger wahrscheinlich ist es, dass es einem Saboteur oder mehreren Saboteuren gelingen kann, zu einem Zeitpunkt alle Knoten Kl bis Km außer Betrieb zu setzen. Die Knoten des das SDVS implementierenden Netzes sind, wie nachfolgend bei den Erläuterungen zum Aufbau der Knoten noch detaillierter beschrieben werden wird, vorteilhaft einheitlich nach einem gemeinsamen Bauplan und insbesondere mit einheitlich implementierten Schnittstellen nach Außen aufgebaut. Die Knoten beinhalten insbesondere die Komponenten zur Vernetzung mit den anderen Knoten, die Vernetzung der Komponenten innerhalb des Knotens, beispiels- und typischerweise die Arbeitsspeicher, Busse und Prozessoren zur Verarbeitung der Daten, aber auch die Speicher zur persistenten Speicherung der Daten vor und nach Zwischenschritten der einzelnen Datenverarbeitungsaufgaben.

Wenngleich einzelne Datenverarbeitungsaufgaben in einem primär dafür eingerichteten Knoten Kx ausgeführt werden, so ist es für die Hochverfügbarkeit eines mit den Ressourcen des SDVS implementierten Dienstes erforderlich, dass die Zwischenergebnisse einer Datenverarbeitungsaufgabe, die persistiert werden müssen, nicht nur in den persistenten Speichern des Knotens Kx gesichert werden sondern die Zwischenergebnisse, vorzugsweise bevor der nächste Schritt der Datenverarbeitungsaufgabe berechnet wird, auch im Speicher des für die Datenverarbeitungsaufgabe sekundär vorgesehenen Knotens Ky gesichert werden. Des Weiteren ist erfindungsgemäß eine solche synchrone Replikation der Daten vorteilhaft auf einen oder eine Mehrzahl der weiteren Knoten Ka, Kb, Kc, usw. vorgesehen. Entsprechend finden die Erwartungswerte der Bandbreiten und der Latenzen der SGDÜV, mit denen der Knoten Kx mit dem Knoten Ky und die Knoten Kx und Ky mit den Knoten Ka, Kb, Kc, usw. verbunden sind, eine wichtige Rolle für das schnelle Abarbeiten der Datenverarbeitungsaufgabe. Entsprechend sucht der Algorithmus der Systemsoftware des SDVS im Verborgenen die Knoten Ka, Kb, Kc, usw., lediglich eingeschränkt durch die zufälligen oder quasi- zufälligen Störungen der Erwartungswerte, nach den Erwartungswerten der Bandbreite und/oder der Latenz aus.

Um durch die zur Erlangung des Schutzes gegen Sabotage notwendigen zufälligen oder quasizufälligen Störungen der Werte Bx,y, Lx,y und Dx,y keine unvorteilhaften Einbußen bei der Performance der Bearbeitung der Datenverarbeitungsaufgaben zu erleiden, ist erfindungsgemäß beim Algorithmus der Systemsoftware des SDVS vorgesehen, dass die zu persistierenden Daten einer Datenverarbeitungsaufgabe vorteilhaft nur an eine, vorzugsweise durch mit höherer Bandbreite und kürzerer Latenz charakterisierten SGDÜV, an die Knoten Kx und Ky angeschlossene, wahlweise durch die Tenants einstellbar große Teilmenge der Knoten Ka, Kb, Kc, usw., synchron repliziert werden, und an die komplementäre andere Teilmenge der Knoten Ka, Kb, Kc, usw., die zu persistierenden Daten lediglich asynchron repliziert werden. Asynchrone Replikation bedeutet, dass mit der Fortsetzung der Erledigung einer Datenverarbeitungsaufgabe nicht eine Bestätigung der Erledigung der Datensicherung eines Zwischenergebnisses der Datenverarbeitungsaufgabe, wie bei der synchronen Replikation, abgewartet wird, sondern das Kopieren der Zwischenergebnisse der Datenverarbeitungsaufgabe zu den betreffenden weiteren Knoten mit geringerer Priorität im Hintergrund der höher priorisierten Verarbeitungstätigkeiten erfolgt. Lediglich im sehr unwahrscheinlichen Fehler- oder Sabotagefall, dass keiner der Knoten Kx und Ky, als auch die für synchrone Replikation vorgesehene Teilmenge der Knoten Ka, Kb, Kc, usw., mehr in Betrieb sind, kann der Teil der Ergebnisse und Zwischenergebnisse der Datenverarbeitungsaufgabe verloren sein, der noch nicht abschließend zu den Knoten der komplementären Teilmenge der Knoten Ka, Kb, Kc, usw., asynchron repliziert wurde. Jedoch liegen in diesem unwahrscheinlichen Fall dennoch alle bereits durch die asynchrone Replikation gesicherten Daten in dieser Teilmenge der Knoten Ka, Kb, Kc, usw., als Backup zur Wiederherstellung des durch den Ausfall der Knoten Kx, Ky und der Teilmenge der Knoten Ka, Kb, Kc, usw., zu denen synchron repliziert wird, betroffenen, durch die Ressourcen des SDVS implementierten Dienste vor.

Da durch die Vernetzung der Knoten des das sichere Datenverarbeitungssystem implementierenden Netzes mit einer großen Anzahl an Knoten ein hohes Maß an Redundanz geschaffen werden kann, kann erfindungsgemäß auf die, in der Informationstechnik an den einzelnen Knoten ansonsten übliche Redundanz verzichtet werden, und für die Produktion, die Konfiguration, die Prüfung und Versiegelung der Knoten vorteilhaft, die Knoten mit nur einer, nicht einer gedoppelten Router-Instanz, mit nur einem Datenübertragungsnetzanschluss mit nur einem internen lokalen Netz, mit nur einem Anschluss an das Energieversorgungsnetz usw. ausgestattet bleiben.

Außerdem begünstigt die Verteilung der Datenverarbeitungsaufgaben auf eine Vielzahl von Knoten des das Datenverarbeitungssystem implementierenden Netzes eine Gestaltung der Knoten mit Routern kleinerer Übertragungskapazität der Schnittstellen sowie kleineren Schaltmatrizen sowie eine Gestaltung der Server mit kleinerer Verarbeitungskapazität, d.h. kleineren Arbeitsspeichern, kleineren Taktraten usw. und ist entsprechend weniger an die oligopolistisch beherrschten Zuliefermärkte gebunden und demgemäß weniger einem Risiko einer Versorgungslücke ausgesetzt und ermöglicht Lieferanten, die verdächtigt werden, für die Anwender der Komponenten nicht erkennbare Hintertüren in die Komponenten einzubauen, zu vermeiden.

Der in Fig. 2 beispielhaft gezeigte Knoten Kx umfasst entsprechend die Komponenten des Knotens, die Ummantelung des Knotens Kx, UKx, den Energieversorgungsnetzanschluss EVNA, den ersten Energieverteilers EVI, die Energiespeicherung bzw. Energiepufferung ESP, die Penetrations sensorik PS, das Relais 1, das normal offen steht (normally open) REL1 NO, den Volatilen Datenspeicher zur Speicherung des Urgeheimnisses VSP UG, das Relais 2, das ebenfalls normal offen steht (normally open) REL2 NO, den zweiten Energieverteilers EV2, die Versorgungsleitungen VL sowie den Firewall-Router FWR, den Local Area Network Switch LANS, die Anwendungsserver AS1 bis ASn, die Teilgeheimniseingabeschnittstelle TG IF, die Datenleitungen DL und schließlich den Datenübertragungsnetzanschluss DÜNA.

Der in Fig. 2 gezeigte beispielhaft erfindungsgemäße Knoten, des das sichere Datenverarbeitungssystem implementierenden Netzes, dient zur Erläuterung des erfindungsgemäßen Prozesses der Versiegelung und des erfindungsgemäßen Merkmals, dass die Versiegelung des Knotens aufrecht erhalten bleibt, auch wenn der Knoten für begrenzte Dauer zu Transportzwecken von den Energieversorgungs- und Datenübertragungsnetzen getrennt wird.

Die Ummantelung des Knotens Kx, UKx, grenzt den Knoten Kx zu seiner Umgebung ab und dient dem Schutz gegen physische Penetration des Perimeters des Knotens Kx und bildet zusammen mit den weiteren Komponenten des Knotens Kx eine gesicherte Umgebung für die Datenverarbeitung und/oder -Speicherung. Die Ummantelung UKx kann beispielsweise aus einem Rahmen, auf dem metallische oder andere Bleche angebracht sind, bestehen, oder ein aus einem Block gefrästes oder ein mit Pressgussverfahren, etwa Alupressguss, hergestelltes Gehäuse sein. Die Ummantelung UKx muss nicht undurchlässig für elektromagnetische Wellen sein, kann also beispielsweise nichtmetallisch oder metallisch aufgebaut sein und Schlitze oder Löcher für Luftkühlung aufweisen, kann aber vorteilhaft mit verminderter Durchlässigkeit für elektromagnetische Wellen implementiert werden, wobei dann die Wärmeableitung von den Anwendungsservern AS 1 bis ASn an die Außenhaut beispielsweise durch „Heatpipes“ erfolgen kann. Die Abwärme kann alternativ über Systeme aus kombinierten Wärmetauschern und/oder „Heatpipes“ (im mit der Fig. 2 gezeigten Ausführungsbeispiel nicht gezeichnet) aus der Ummantelung UKx heraus geführt und zur weiteren Verwendung der Wärmeenergie weiteren Einrichtungen zugeführt werden.

Die Gestaltung des Knotens Kx als gesicherte Umgebung und der Schutz des Knotens Kx vor physischer Penetration dienen dazu, dass potentielle Angreifer keine Signale, in die möglicherweise relevante Daten, die für die Erfüllung der Datenverarbeitungsaufgaben benötigt werden, kodiert sind, an den Datenleitungen DL oder an den Komponenten Firewall Router FWR, des Switches LANS oder an den Anwendungsservern AS1 bis ASn des Knotens Kx abgreifen können (Abwehr von ,,Side-Channel)-Attacken). Auch sind die Datensignale auf den Datenleitungen DL vorteilhaft nicht nur dann verschlüsselt, wenn diese über den Datenübertragungsnetzanschluss DÜNA zu anderen Knoten des SDVS übertragen werden sollen, sondern auch wenn die Signale nur Daten zwischen verschiedenen Servern AS1 bis ASn innerhalb des Knotens Kx übertragen, damit elektromagnetische Abstrahlung nicht zum Abgreifen von Daten genutzt werden kann.

Die Sicherung der Umgebung erfolgt erfindungsgemäß bei Verdacht eines unberechtigten Zugriffs Versuchs durch eine vorsorgliche Löschung aller nicht persistierten Daten innerhalb des Knotens Kx. Sobald der Penetrations sensor PS einen Penetrations versuch detektiert, und ein Penetrations sensorsignal am Relais REL1 NO und am Relais REL2 NO anliegt, d.h. die das Relais aktivierende Energie abgeklemmt wird - weniger vorteilhaft können auch normal geschlossene Relais oder Komponenten mit einer einem Relais vergleichbaren Funktion verwendet werden - verlieren sowohl der volatile Speicher des Urgeheimnisses VSP UG, als auch die Anwendungsserver AS1 bis ASn sowie wahlweise auch der Switch LANS und der Firewall Router FWR sowie die Teilgeheimniseingabeschnittstelle TG IF die Energieversorgung, beispielsweise die Netzspannung, und in Folge dessen auch die in den volatilen Arbeitsspeichern, den Bussen und den Prozessoren enthaltenen Daten, bevor diese von den potentiellen Angreifern erbeutet, beispielsweise kopiert werden können. Da erfindungsgemäß alle Daten der Datenverarbeitungsaufgabe nur verschlüsselt in die persistenten Speicher geschrieben werden, ist die Sicherung der Umgebung durch eine vorsorgliche Löschung der volatilen Daten gegeben, um einen Mindestzugriffsschutz zu implementieren. Vorteilhaft kann zusätzlich oder alternativ die Sicherung der Umgebung durch Verfahren wie beispielsweise die „Intel Software Guard Extensions“ erfolgen, sodass außerhalb der zentralen Verarbeitungseinheiten (central processing units, CPU) der Prozessoren der Anwendungsserver AS1 bis ASn keine unverschlüsselten Daten der Datenverarbeitungsaufgaben vorliegen und entsprechend ein Schutz gegen „Exploits“, also für Angriffe nutzbare Fehler oder intentional eingebauter Sicherheitsschwächen der Software, auf den Schichten der Systemsoftware des SDVS gegeben ist.

Für die Wirksamkeit der Sicherung der gesicherten Umgebung ist also die Schutzwirkung der Verschlüsselung der Daten bei TEEs auf Chipebene außerhalb der CPU oder bei TEEs auf Server oder Multi-Server-Ebene die Schutzwirkung der Verschlüsselung der Daten, die in die persistenten Speicher des Knotens Kx, beispielsweise der persistenten Speicher der Anwendungsserver AS1 bis ASn, geschrieben werden, entscheidend. Die Leseschlüssel zur Dechiffrierung dieser Verschlüsselung dürfen niemandem bekannt sein. Erfindungsgemäß werden die, zur Verschlüsselung der in die persistenten Speicher des Knotens Kx geschriebenen Daten genutzten Schlüssel aus einem, in allen Knoten Kl bis Km identischen, Urgeheimnis UG erzeugt, das in jedem Knoten Kl bis Km in dem volatilen Speicher für das Urgeheimnis VSP UG flüchtig gespeichert ist.

Die Erzeugung und Verteilung des Urgeheimnisses auf alle Knoten erfolgt erfindungsgemäß dadurch, dass initial in einem ersten Knoten Kx automatisch und zufällig oder quasi- zufällig das Urgeheimnis erzeugt und sodann durch das „Shamir Secret Sharing“ genannte Verfahren in eine Mehrzahl von Teilgeheimnissen, Shamir-Parts genannt, zerlegt und an eine Mehrzahl von untereinander unabhängiger Auditoren verteilt wird und dies vorteilhaft durch die Verschlüsselung des jeweiligen Teilgeheimnisses mit dem öffentlichen Schlüssel eines Personenzertifikats des jeweiligen Auditors und anschließenden Versandt an diesen erfolgt und bei dem „Versiegelung“ genannten Audit jedes weiteren Knotens Ky, dann und nur dann, wenn die Auditoren zur Auffassung gelangt sind, dass die Komponenten des Knotens Ky, deren Beschaffenheit, Anordnung und Verknüpfung sowie deren Konfiguration dem Bauplan und der Spezifikation der Knotens des SDVS entsprechen, den Knoten Ky schließen, betriebsbereit machen, etwa durch Anschluss des EVNA an das Energieversorgungsnetz und des DÜNA an das DÜN, und dann auf die Aufforderung der Systemsoftware hin an der, vorteilhaft als fest zum Knoten Kx gehörende Komponente implementierte, Teilgeheimniseingabeschnittstelle TG IF nacheinander die jeweiligen Teilgeheimnisse eingeben, aus denen dann, sofern eine suffiziente Teilmenge der Shamir-Parts eingegeben wurde, die Systemsoftware das Urgeheimnis UG erzeugt und es in den volatilen Speicher für das Urgeheimnisses VSP UG schreibt.

Dieses, für alle Knoten Kl bis Km identische Urgeheimnis UG, wird für jeden Knoten des das Datenverarbeitungssystem implementierenden Netzes als kryptografischer Vertrauensanker genutzt, womit gemeint ist, dass beim Start des Knotens, etwa dadurch, dass der Knoten mit dem ENVA an das Energieversorgungsnetz und mit dem DÜNA an das DÜN angeschlossen wird, die Initialisierung und der Hochlauf der Systemsoftware des SDVS nur möglich ist, wenn auf das, mit anderen Knoten übereinstimmende Urgeheimnis UG für die Überprüfung der Authentizität von Signaturen, mit denen die Systemsoftware signiert sein muss, zur Verfügung steht, die Etablierung von verschlüsselten Verbindungen zu den anderen Knoten gelingt, wobei die für die Verschlüsselung genutzten Schlüsseln vom Urgeheimnis UG abgeleitet werden und die Verschlüsselung von Daten, die in die persistenten Speicher geschrieben werden, also die Zwischenergebnisse und Ergebnisse der Datenverarbeitungsaufgaben, durch Schlüssel vorgenommen wird, die ebenfalls vom Urgeheimnis UG abgeleitet sind. Der Prozess der Überprüfung der Systemsoftware, bevor diese zur Initialisierung und dem Hochlauf des Knotens Kx genutzt werden kann, kann mit den unter dem Namen Trusted Boot oder beispielsweise für die Intel- Trusted- Platform- Module mit „T-Boot“ bezeichneten Prozessen kombiniert erfolgen.

Die vorliegende Erfindung ist insbesondere durch ein neuartiges Betriebskonzept charakterisiert, das dadurch gekennzeichnet ist, dass die Knoten des das SDVS implementierende Netzes nicht wie industrieüblich an ihrem vorgesehenen Betriebsort zunächst aufgestellt, dann konfiguriert und für den Betrieb vorbereitet werden, sondern in zentralen, industriell organisierten Fabriken die Knoten aufgebaut, von den Auditoren überprüft, geschlossen, in Betrieb genommen und wie zuvor geschildert erfindungsgemäß versiegelt werden können, dann wieder vom Energieversorgungsnetz und vom Datenübertragungsnetz DÜN getrennt werden, verpackt und an die vorgesehenen Betriebsorte durch übliche Speditionswege transportiert werden und dort nur durch den Anschluss der EVNA der Knoten an das Energieversorgungsnetz und die DÜNA der Knoten an das DÜN die Knoten in Betrieb genommen werden können. Die Knoten können sich dann automatisch in das das Datenverarbeitungssystem implementierende Netz eingliedern.

Damit dieses neuartige Betriebskonzept funktionieren kann, sind die erfindungsgemäßen Knoten, wie in Fig. 2 gezeigt, mit einem Energiespeicher ESP, beispielsweise einem elektrischen Akkumulator, ausgestattet, der, auch wenn der Knoten Kx vom Energieversorgungsnetz getrennt ist, die Energieversorgung des Penetrations sensors PS und des volatilen Speichers des Urgeheimnisses VSP UG mittels der gepufferten Versorgungsleitungen GPVL für die, durch die konkret implementierte Kapazität des ESP und den konkret implementierten Energieverbrauchen des PS und des VSP UG determinierten Zeitraum, aufrecht erhält. Dieser Zeitraum ist so bemessen, dass für die durch das Betriebskonzept erforderliche Transportdauer der Betrieb des PS und des VSP UG sichergestellt ist und mithin die Teilfunktion der sicheren Umgebung, also der Schutzkapsel für das Urgeheimnis auch in dem Zustand der Trennung vom Energieversorgungsnetz aufrechterhalten wird. Detektiert während des Transports der Penetrationssensor PS einen Penetrations- oder Manipulations versuch, so wird beispielsweise die Versorgungsleitung mit gepufferter Energie GPVL zum volatilen Speicher des Urgeheimnisses VSP UG beispielsweise durch das Relais 1 REL NO vermittels des Penetrations sensorsignals PSS unterbrochen, und beispielsweise infolge des Verlusts der Versorgungsenergie das Urgeheimnis UG im volatilen Speicher des Urgeheimnisses VSP UG gelöscht. Die Löschung erfolgt in diesem Implementierungsbeispiel auch ohne Trennung des Kontakts des REL1 NO, wenn der Transport zum vorgesehenen Betriebsort zu lange dauert, und der Zeitpunkt des Anschlusses des EVNA an das Energieversorgungsnetzes zu lange nach der Trennung vom Energieversorgungsnetzes in einer der zentralen Fabriken erfolgte, und infolgedessen der Energievorrat des Energiespeicher ESP durch die Speisung der Penetrationssensorik PS und des volatilen Speichers für das Urgeheimnis VSP UG erschöpft ist. In beiden Fällen ist eine erneute Überprüfung der Integrität des Aufbaus und der Konfiguration des Knotens, das Schließen und die Inbetriebnahme des Knotens durch eine suffiziente Anzahl von Auditoren notwendig die durch erneute Eingabe ihrer jeweiligen Teilgeheimnisse den Knoten erneut erfindungsgemäß versiegeln, wobei das Urgeheimnis UG erneut erzeugt und in das VSP UG geschrieben wird. Vorteilhaft erfolgt diese erneute Versiegelung nicht am vorgesehenen Betriebsort sondern nach einem Rücktransport wieder in einem der zentralen, industriell organisierten Fabriken, in denen die Aufbau- , Prüfungs- und Versiegelungsprozesse auf maximale Effizienz ausgelegt werden können. In praxi sehen die erfindungsgemäßen Betriebsprozesse vor, dass die standardisierten Knoten Kl bis Km ihrem Typ und Kategorie nach in den zentralen Fabriken gebaut und versiegelt werden, an den vorgesehenen Betriebsorten einzeln oder mehrere dieser Knoten aufgestellt und durch Anschluss an die Energieversorgungs- und Datenübertragungsnetze in Betrieb genommen werden. Die Systemsoftware des SDVS führt verteilt auf alle Knoten des das SDVS implementierenden Netzes das Inventar der in Betrieb gewesenen und in Betrieb befindlichen Knoten, sodass der logistische Prozess, zum Ersatz von durch Alterung oder Systemfehler ausgefallenen oder durch Penetrations- oder Manipulationsversuche erfindungsgemäß automatisch stillgelegte Knoten, maximal effizient gestaltet werden kann. Beispielsweise muss nicht jeder ausgefallene oder erfindungsgemäß stillgelegte Knoten einzeln sofort ersetzt werden, sondern es kann innerhalb von logistisch zusammengehörigen Regionen des das SDVS implementierenden Netzes, bis zu einer vom Ausfall betroffenen Quote an Knoten, beispielsweise 30% der Anzahl der das SDVS in dieser Region implementierenden Knoten, gewartet werden, bevor in einem effizienten logistischen Prozess die betroffenen Knoten durch neu erfindungsgemäß versiegelte Knoten ersetzt werden.

Mit der erfindungsgemäßen Versiegelung der Knoten des das Datenverarbeitungssystem implementierenden Netzes wird die erfindungsgemäße Sicherung der Umgebungen der Knoten implementiert, die für die erfindungsgemäße Verteilung kann der Datenverarbeitungsaufgaben auf eine Mehrzahl von Knoten des das Datenverarbeitungssystem implementierenden Netzes vorteilhaft ist. Umgekehrt ist die erfindungsgemäße Verteilung von Datenverarbeitungsaufgaben auf eine Mehrzahl von Knoten des das Datenverarbeitungssystem implementierenden Netzes für die erfindungsgemäße Reduzierung der Komplexität der Knoten, insbesondere die nichtredundante Gestaltung eines einzelnen Knotens und die Gestaltung eines einzelnen Knotens mit verminderter Kapazität und Performance, vorteilhaft.

Claims

Ansprüche Verfahren zum Verteilen von Datenverarbeitungsaufgaben auf die Knoten eines ein Datenverarbeitungssystem implementierenden Netzes, wobei

(a) eine gesicherte Umgebung der Knoten einen unberechtigten Zugriff von Dritten oder dem Personal des Betreibers des Datenverarbeitungssystems weitestgehend verhindert,

(d) in den gesicherten Umgebungen der Knoten vermittels einer für die Nutzer des Datenverarbeitungssystems und das Personal des Betreibers des Datenverarbeitungssystems verborgen arbeitenden reinen Peer-to-Peer-Verwaltung eine softwaregesteuerte Vorbereitung einer Mehrzahl von Knoten als weitere Instanzen zur alternativen Ausführung der Datenverarbeitungsaufgabe erfolgt. Verfahren nach Anspruch 1, wobei die Erwartungswerte für die Datenübertragungskapazitäten und Signallaufzeiten zwischen den Knoten als Kriterien des durch die reine Peer- to-Peer-Verwaltung implementierten Auswahlverfahrens der Knoten für die Vorbereitung weiteren Instanzen Berücksichtigung finden. Verfahren nach Anspruch 2, wobei die Erwartungswerte für die Datenübertragungskapazitäten und/oder die Signallaufzeiten für mindestens einem weiteren Knoten und dem ersten Knoten nicht deterministisch, sondern zufällig oder quasi- zufällig veränderte Erwartungswerte als Kriterien des durch die reine Peer-to-Peer-Verwaltung implementierten Auswahlverfahrens der Knoten für die Vorbereitung einer sekundären Instanz Berücksichtigung finden.

27 Verfahren nach den Ansprüchen 2 oder 3, wobei die Erwartungswerte für die Datenübertragungskapazitäten und/oder die Signallaufzeiten zwischen dem ersten Knoten und weiteren differenziert nach den Zwecken für die synchrone und asynchrone Replikation der Daten als Kriterien des durch die reine Peer-to-Peer-Verwaltung implementierten Auswahlverfahrens der Knoten für die Vorbereitung einer sekundären Instanz Berücksichtigung finden. Verfahren nach den vorangegangen Ansprüchen, wobei die Knoten des das Datenverarbeitungssystem implementierenden Netzes ohne lokale Redundanzen, also ohne Dopplung o- der höherer Redundanz im selben Knoten ausgestaltet sind. Verfahren zum Versiegeln von Knoten eines ein Datenverarbeitungssystem implementierenden Netzes für die effiziente Bereitstellung eines sicheren Datenverarbeitungssystems, wobei

(i) im Falle positiver Signale der Penetrations sensorik der gesicherten Umgebung des weiteren Knotens, also der Signale, die einen physischen oder logischen Penetrations versuch charakterisieren, zu einer Vernichtung des Urgeheimnisses führen. Verfahren nach dem vorangegangenen Anspruch, wobei die einen Penetrations versuch charakterisierenden Signale der Pentrationssensorik zu einer Vernichtung des Urgeheimnisses führen, indem sie die Energieversorgung des flüchtigen Datenspeichers unterbrechen. Verfahren nach einem der beiden vorangegangenen Ansprüchen, wobei die Sicherung der Umgebung für die Datenverarbeitung wahlweise einzeln oder kombiniert dadurch erfolgt, dass

(b) die sichere Umgebung die unverschlüsselten und momentan in einem Knoten in Verarbeitung befindlichen Daten dann vorsorglich löscht, wenn dies die einen Penetrationsversuch des Knotens charakterisierenden Signale der Pentrationssensorik indizieren. Einrichtung zum Verteilen von Datenverarbeitungsaufgaben auf die Knoten eines ein Datenverarbeitungssystem implementierendes Netzes, wobei die Einrichtung angepasst ist ein Verfahren gemäß einem der Ansprüche 1 bis 6 auszuführen. Einrichtung zum Versiegeln von Knoten eines ein Datenverarbeitungssystem implementierenden Netzes für die effiziente Bereitstellung eines sicheren Datenverarbeitungssystems, wobei die Einrichtung angepasst ist ein Verfahren gemäß einem der Ansprüche 6 bis 8 auszuführen.