DE102011107508B4

DE102011107508B4 - Verfahren zum Synchronisieren der Datenbestände von Datenbanken

Info

Publication number: DE102011107508B4
Application number: DE102011107508.2A
Authority: DE
Inventors: Anton Donner; Chen Tang; Javier Mulero Chaves
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2011-07-15
Filing date: 2011-07-15
Publication date: 2014-07-31
Anticipated expiration: 2031-07-16
Also published as: DE102011107508A1

Abstract

Verfahren zum Synchronisieren der Datenbestände von Datenbanken in einem verteilten Datenbanksystem, wobei die Datenbänke über nicht ständig verfügbare Netzwerkverbindungen miteinander verbunden sind, mit den Schritten: Überwachen der Netzwerktopologie, um Änderungen derselben festzustellen, wobei eine Änderung dann festgestellt wird, wenn die Verbindung zu einem der Netzwerkteilnehmer abbricht, wenn eine solche Verbindung wiederhergestellt wird, wenn ein neuer Netzwerkteilnehmer hinzukommt oder wenn ein Netzwerkteilnehmer seinen Ort in der Netzwerktopologie ändert, dadurch gekennzeichnet, dass beim Feststellen einer Änderung der Netzwerktopologie durch erstmaliges oder erneutes Herstellen einer Verbindung zwischen einem festen oder mobilen Netzwerkteilnehmer und einem mobilen Netzwerkteilnehmer durch folgende Schritte automatisch zwischen verschiedenen Synchronisations- und Replikationsverfahren umgeschaltet wird: a) Abfrage, ob der mobile Netzwerkteilnehmer eine Verbindung mit dem Netzwerk hat, b) sofern dies der Fall ist, Abfragen, ob dieser mobile Netzwerkteilnehmer erstmalig mit einem festen Knoten der verteilten Datenbank verbunden ist, c) sofern dies der Fall ist erfolgt eine Synchronisierung der Datenbestände durch vollständiges Umkopieren und ein anschließender Wechsel in den Replikator-Modus, d) sofern die Abfrage gemäß Verfahrensschritt b) ein negatives Ergebnis liefert, Abfrage, ob es bereits vorher eine Verbindung zu diesem Knoten des verteilten Datenbanksystems bestanden hat, e) sofern dies nicht der Fall ist, Synchronisieren des mobilen Netzwerkteilnehmers mit diesem festen Netzwerkteilnehmer unter Verwendung eine Synchronisierungsverfahrens und anschließender Wechsel in einen Replikations-Modus, f) sofern die Abfrage gemäß Verfahrensschritt d) ein positives Ergebnis liefert, Abfrage, ob die Dauer der Unterbrechung der Verbindung zwischen diesem mobilen Netzwerkteilnehmer und dem Netzwerkteilnehmer einen definierten Schwellwert überschreitet, ...

Description

Die Erfindung betrifft ein Verfahren zum Synchronisieren der Datenbestände von Datenbanken in einem verteilten Datenbanksystem.
Bekannte verteilte Datenbankmanagementsysteme verwenden asynchrone Replikationsmechanismen für die Master-Slave Replikation oder Multi-Master-Replikation, die Änderungen an einzelnen Instanzen der Datenbank (Knoten) automatisch im Datenbankverbund propagieren. Verteilte Datenbankmanagementsysteme werden meistens in stabilen Datennetzen betrieben. Dies bedeutet, dass die Netzwerkverbindungen zwischen den einzelnen Instanzen bzw. Knoten selten Unterbrechungen unterliegen.
Sofern einzelne Instanzen des verteilten Datenbanksystems auf mobilen Geräten installiert werden (beispielsweise Notebooks) und die Netzanbindung drahtlos erfolgt, kann es häufig zu Verbindungsunterbrechungen kommen. Replikationsmechanismen von verteilten Datenbankmanagementsystemen können lediglich mit kurzzeitigen Verbindungsunterbrechungen umgehen. Längere Verbindungsunterbrechnungen führen zu Fehlern bzw. werden während einer Unterbrechung beim Warten vom Replikator unnötig Ressourcen verbraucht.
Beispielsweise kann eine Art Rumpfsystem des verteilten Datenbanksystems existieren, das aus festen Instanzen mit stabilen Netzwerkverbindungen besteht. Mobile Instanzen haben eine unzuverlässige Netzwerkverbindung zu einer der festen Instanzen oder zu einer anderen mobilen Instanz. Es kann ein ”Roaming” zu einer anderen Instanz stattfinden, d. h. die mobile Instanz wechselt ihre Netzwerkverbindung von einer mobilen/festen Instanz zu einer mobilen/festen Instanz, wodurch sich eine Änderung der Topologie ergibt.
Verschiedene Synchronisierungsverfahren sind in den folgenden Veröffentlichungen beschrieben: CPISync (und Slow Sync): Y. Minsky and A.
Trachtenberg, ”Practical set reconciliation”, Boston University, Tech. Rep., Feb. 2002. [Online]. Erhältlich unter: http://ipsit.bu.edu/documents/BUTR2002-01.ps; Ingres: (2010, Feb.) Maatkit: (2010, Feb.) Maatkit – mk-table-sync: Tools for MySQL. [Online]. Erhältlich unter: http://www.maatkit.org/. Ebenso sind verschiedene Replikationsverfahren als Bestandteil von verteilten Datenbankmanagementsystemen beschrieben. Beispiel für Multi-Master-Replikation: Ingres: (2010, Feb.) Ingres database system. [Online]. Erhältlich unter: http://www.ingres.com/; Bucardo: Asynchronous PostgreSQL Replication System. [Online]. Erhältlich unter: http://bucardo.org/.
US 2004/0122870 A1 beschreibt ein Verfahren zum Abgleich von Datenbanken zwischen einem Server und mobilen Geräten. Hierbei wird die Konfliktbewältigung nach einer Unterbrechung der Verbindung zwischen dem Server und der mobilen Datenbank beschrieben.
WO 01/63399 A2 beschreibt ein Verfahren zur Synchronisation eines Programms zwischen einem Server und einem mobilen Teilnehmer, wobei nach einer Verbindungsunterbrechung ein Abgleich der Programme durchgeführt wird.
Aufgabe der vorliegenden Erfindung ist es ein vereinfachtes Verfahren zum Synchronisieren der Datenbestände von Datenbänken in einem verteilten Datenbanksystem mit mobilen Instanzen bzw. veränderlicher Topologie bereitzustellen.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale des Anspruchs 1.
Im erfindungsgemäßen Verfahren sind die Teilnehmer des Netzwerks, nämlich die Datenbanken oder Datenbankinstanzen über nicht ständig verfügbare Netzwerkverbindungen miteinander verbunden. Insbesondere kann ein Teil der Datenbankinstanzen auf mobilen Geräten installiert sein, die über keine ständige Verbindung zum Netzwerk verfügen. Erfindungsgemäß wird die Netzwerktopologie überwacht, um Änderungen derselben festzustellen, wobei eine Änderung festgestellt wird, wenn die Verbindung zu einem der Netzwerkteilnehmer abbricht, wenn eine solche Verbindung wiederhergestellt wird, wenn ein neuer Netzwerkteilnehmer erstmalig hinzukommt, oder wenn ein Netzwerkteilnehmer seinen Ort in der Netzwerktopologie ändert (Handover).
Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass beim Feststellen einer Änderung der Netzwerktopologie durch erstmaliges oder erneutes Herstellen einer Verbindung zwischen einem festen oder mobilen Netzwerkteilnehmer und einem mobilen Netzwerkteilnehmer durch die folgenden Schritte automatisch zwischen verschiedenen Synchronisations- und Replikationsverfahren umgeschaltet wird:

a) Abfrage, ob der mobile Netzwerkteilnehmer eine Verbindung mit dem Netzwerk hat,
b) Sofern dies der Fall ist, Abfragen, ob dieser mobile Netzwerkteilnehmer erstmalig mit einem festen Knoten der verteilten Datenbank verbunden ist,
c) Sofern dies der Fall ist erfolgt eine Synchronisierung der Datenbestände durch vollständiges Umkopieren (z. B. Slow Sync oder Dump Copy) und ein anschließender Wechsel in den Replikator-Modus (beispielsweise Ingres Replicator),
d) Sofern die Abfrage gemäß Verfahrensschritt b) ein negatives Ergebnis liefert, Abfrage, ob es bereits vorher eine Verbindung zu diesem Knoten des verteilten Datenbanksystems bestanden hat,
e) Sofern dies nicht der Fall ist, Synchronisieren des mobilen Netzwerkteilnehmers mit diesem festen Netzwerkteilnehmer unter Verwendung eine Synchronisierungsverfahrens (beispielsweise CPI-Sync-Verfahren oder Maatkit mk-table-sync) und anschließender Wechsel in einen Replikations-Modus (beispielsweise Ingres-Replicator),
f) Sofern die Abfrage gemäß Verfahrensschritt d) ein positives Ergebnis liefert, Abfrage, ob die Dauer der Unterbrechung der Verbindung zwischen diesem mobilen Netzwerkteilnehmer und dem Netzwerkteilnehmer einen definierten Schwellwert überschreitet,
g) Sofern dies der Fall ist, Synchronisieren dieses mobilen Netzwerkteilnehmers mit diesem Netzwerkteilnehmer unter Verwendung eines Synchronisierungs-Verfahrens (vorzugsweise CPISync) und anschließender Wechsel in den Replikator-Modus,
h) Sofern die Abfrage gemäß Verfahrensschritt f) ergibt, dass der definierte Schwellwert nicht überschritten wurde, sofortiger Wechsel in den Replikator-Modus zwischen diesem mobilen und festen/mobilen Netzwerkteilnehmer

Beim Feststellen einer Änderung der Netzwerktopologie durch ein erstmaliges oder erneutes Herstellen einer Verbindung zwischen zwei festen Netzwerkteilnehmern wird erfindungsgemäß durch die folgenden Schritte automatisch zwischen verschiedenen Synchronisations- und Replikationsverfahren umgeschaltet:

i) Abfrage, ob der feste Netzwerkteilnehmer eine Verbindung mit dem Netzwerk hat,
j) Abfrage, ob dieser feste Netzwerkteilnehmer erstmalig mit dem Netzwerk verbunden ist,
k) Sofern dies der Fall ist, Synchronisierung dieses festen Netzwerkteilnehmers durch vollständiges Umkopieren des Datenbestandes (z. B. Slow Sync) und Umschalten in den Replikator-Modus,
l) Sofern die Abfrage gemäß Verfahrensschritt j) ergibt, dass dieser feste Netzwerkteilnehmer nicht erstmalig mit dem Netzwerk verbunden ist, Abfrage, ob die Dauer der Unterbrechung der Verbindung zwischen diesem festen Netzwerkteilnehmer und dem Netzwerk einen definierten Schwellwert überschreitet,
m) Sofern dies der Fall ist, Synchronisieren dieses festen Netzwerkteilnehmers mit dem festen Netzwerkteilnehmer, mit dem er verbunden ist, unter Verwendung eines Synchronisierungsverfahrens und anschließendes Wechseln in den Replikator-Modus,
n) Sofern die Abfrage gemäß Verfahrensschritt l) ergibt, dass der definierte Schwellwert nicht überschritten wurde, sofortiger Wechsel in den Replikator-Modus zwischen diesem festen Netzwerkteilnehmer und dem Verbund von festen Netzwerkteilnehmern, mit dem er verbunden ist.

Neben der o. g. Replikationslösung Ingres-Replicator können beispielsweise folgende asynchrone Replikationslösungen für den Replikator-Modus verwendet werden:

– MySQL Replication
– Pgpool-II
– Sequoia
– PGC luster
– CyberCluster
– Bucardo

Durch das erfindungsgemäße Verfahren ist es somit nicht mehr notwendig, bei einer Veränderung der Netzwerktopologie des verteilten Datenbanksystems Datenbestände manuell abzugleichen und/oder eine manuelle Umkonfigurierung des Replikationsverfahrens vorzunehmen. Dies kann vielmehr durch das erfindungsgemäße Verfahren automatisch erfolgen. Somit kann passend zu jedem Zustand des Netzwerkes ein geeignetes bzw. notwendiges Synchronisations- oder Replikationsverfahren gewählt werden. Ein unnötiger Datenaustausch zwischen den Datenbankinstanzen wird somit vermieden, während gleichzeitig die Konsistenz der Datenbankinstanzen gesichert wird.
Bevorzugt werden neue Netzwerkteilnehmer, d. h. Datenbankinstanzen, die bisher nicht mit dem Netzwerk verbunden waren, sowohl als leere Datenbankinstanzen als auch als Datenbankinstanzen mit existierenden Datensätzen in das Netzwerk integriert.
Weiterhin ist es bevorzugt, dass im erfindungsgemäßen Verfahren eine oder mehrere Datenbankinstanzen als Netzwerkteilnehmer drahtlos in das Netzwerk eingebunden sind. Dies kann beispielsweise über eine Wireless-LAN-Verbindung erfolgen. Da derartige drahtlose Netzwerkverbindungen nicht stabil sind, führt jede Verbindungsunterbrechung bzw. erneute Verbindung zu einer Änderung der Netzwerktopologie mit den oben beschriebenen Problemen, die durch das erfindungsgemäße Verfahren gelöst werden können.
Das erfindungsgemäße Verfahren nimmt somit in besonderer Weise Rücksicht auf die Begebenheiten eines verteilten Datenbanksystems, in dem insbesondere mobile Datenbankinstanzen integriert sind, die über keine feste Verbindung zum Netzwerk verfügen.
Des Weiteren unterstützt das erfindungsgemäße Verfahren den Wechsel eines mobilen Teilnehmers von einem zugeordneten festen Knoten zu einem anderen festen Knoten.
Im Folgenden werden bevorzugte Ausführungsformen der Erfindung anhand von Figuren erläutert.
Es zeigen:
1 einen möglichen Entscheidungsablauf mobiler Knoten, und
2 einen Entscheidungsablauf fester Knoten.
In der folgenden Beschreibung wird eine Topologie bestehend aus einem weitgehend stabilen Rumpfnetzwerk von Datenbankinstanzen (feste Knoten) und mobilen Knoten mit Datenbankinstanzen angenommen. Die Netzwerkverbindungen innerhalb des Rumpfnetzes als auch zu den mobilen Knoten können ausfallen. Es kann auch ein Netzwerk angenommen werden, das nur aus mobilen oder nur aus festen Knoten besteht. Außerdem können während des Betriebs neue, insbesondere leere Instanzen des verteilten Datenbanksystems integriert werden. Hierbei kann es sich um neue feste oder mobile Instanzen handeln. Die verwendeten Replikations- und Synchronisationsverfahren sind beispielsweise Ingres-Replicator, Slow Sync und CPI-Sync. Der wesentliche Gedanke der Erfindung ist nicht nur auf diese Verfahren beschränkt. Vielmehr können je nach Anforderung auch andere bekannte Synchronisierungs- oder Replikationslösungen verwendet werden.
Wird die bestehende Verbindung zwischen einem mobilen Knoten und einem festen Knoten unterbrochen, kann gemäß 1 geprüft werden, ob es sich bei einer Wiederherstellung der Verbindung um den gleichen festen Knoten handelt. Sofern dies der Fall ist und die Unterbrechung von kurzer Dauer war, kann in den Ingres-Replicator-Modus gewechselt werden. War die Unterbrechung von längerer Dauer, wird zunächst über CPI-Sync synchronisiert und anschließend in den Ingres-Replicator-Modus gewechselt.
Wird nach der Unterbrechung eine Verbindung zu einem anderen festen Knoten hergestellt, so erfolgt ein Synchronisieren über CPI-Sync, wobei anschließend wieder in den Ingres-Replicator-Modus gewechselt wird.
2 zeigt die Vorgänge bei einer Verbindung zwischen zwei festen Knoten. Wird ein fester Knoten im Netzwerk registriert, wird dieser initial unter Verwendung des Slow-Sync-Verfahrens mit einem weiteren festen Knoten synchronisiert. Sofern eine Verbindung zu einem festen Knoten besteht, wird anschließend in den Ingres-Replicator-Modus gewechselt.
Bei einer Unterbrechung einer bestehenden Verbindung wird die Dauer der Unterbrechung abgefragt. Sofern es sich um eine kurze Unterbrechung handelt, wird hiernach sofort in den Ingres-Replicator-Modus gewechselt. Sofern es sich um eine längere Unterbrechung handelt, wird zunächst über CPI-Sync synchronisiert und anschließend in den Ingres-Replicator-Modus gewechselt. Die Synchronisierung mit mobilen Knoten erfolgt völlig entkoppelt.
Das erfindungsgemäße Verfahren kann beispielsweise bei Kommunikationslösungen für den Katastrophenschutz eingesetzt werden. Neben einer solchen Anwendung sind weitere Anwendungen denkbar, bei denen eine Instanz eines verteilten Datenbanksystems auf einem mobilen Terminal betrieben werden soll. Denkbar sind alle Bereich der Datenerfassung, Logistik, Warenwirtschaft usw.

Claims

Verfahren zum Synchronisieren der Datenbestände von Datenbanken in einem verteilten Datenbanksystem, wobei die Datenbänke über nicht ständig verfügbare Netzwerkverbindungen miteinander verbunden sind, mit den Schritten: Überwachen der Netzwerktopologie, um Änderungen derselben festzustellen, wobei eine Änderung dann festgestellt wird, wenn die Verbindung zu einem der Netzwerkteilnehmer abbricht, wenn eine solche Verbindung wiederhergestellt wird, wenn ein neuer Netzwerkteilnehmer hinzukommt oder wenn ein Netzwerkteilnehmer seinen Ort in der Netzwerktopologie ändert, dadurch gekennzeichnet, dass beim Feststellen einer Änderung der Netzwerktopologie durch erstmaliges oder erneutes Herstellen einer Verbindung zwischen einem festen oder mobilen Netzwerkteilnehmer und einem mobilen Netzwerkteilnehmer durch folgende Schritte automatisch zwischen verschiedenen Synchronisations- und Replikationsverfahren umgeschaltet wird: a) Abfrage, ob der mobile Netzwerkteilnehmer eine Verbindung mit dem Netzwerk hat, b) sofern dies der Fall ist, Abfragen, ob dieser mobile Netzwerkteilnehmer erstmalig mit einem festen Knoten der verteilten Datenbank verbunden ist, c) sofern dies der Fall ist erfolgt eine Synchronisierung der Datenbestände durch vollständiges Umkopieren und ein anschließender Wechsel in den Replikator-Modus, d) sofern die Abfrage gemäß Verfahrensschritt b) ein negatives Ergebnis liefert, Abfrage, ob es bereits vorher eine Verbindung zu diesem Knoten des verteilten Datenbanksystems bestanden hat, e) sofern dies nicht der Fall ist, Synchronisieren des mobilen Netzwerkteilnehmers mit diesem festen Netzwerkteilnehmer unter Verwendung eine Synchronisierungsverfahrens und anschließender Wechsel in einen Replikations-Modus, f) sofern die Abfrage gemäß Verfahrensschritt d) ein positives Ergebnis liefert, Abfrage, ob die Dauer der Unterbrechung der Verbindung zwischen diesem mobilen Netzwerkteilnehmer und dem Netzwerkteilnehmer einen definierten Schwellwert überschreitet, g) sofern dies der Fall ist, Synchronisieren dieses mobilen Netzwerkteilnehmers mit diesem Netzwerkteilnehmer unter Verwendung eines Synchronisierungs-Verfahrens und anschließender Wechsel in den Replikator-Modus, h) sofern die Abfrage gemäß Verfahrensschritt f) ergibt, dass der definierte Schwellwert nicht überschritten wurde, sofortiger Wechsel in den Replikator-Modus zwischen diesem mobilen und festen/mobilen Netzwerkteilnehmer und wobei beim Feststellen einer Änderung der Netzwerktopologie durch erstmaliges oder erneutes Herstellen einer Verbindung zwischen zwei festen Netzwerkteilnehmern durch die folgenden Schritte automatisch zwischen verschiedenen Synchronisations- und Replikationsverfahren umgeschaltet wird: i) Abfrage, ob der feste Netzwerkteilnehmer eine Verbindung mit dem Netzwerk hat, j) Abfrage, ob dieser feste Netzwerkteilnehmer erstmalig mit dem Netzwerk verbunden ist, k) sofern dies der Fall ist, Synchronisierung dieses festen Netzwerkteilnehmers durch vollständiges Umkopieren des Datenbestandes und Umschalten in den Replikator-Modus, l) sofern die Abfrage gemäß Verfahrensschritt j) ergibt, dass dieser feste Netzwerkteilnehmer nicht erstmalig mit dem Netzwerk verbunden ist, Abfrage, ob die Dauer der Unterbrechung der Verbindung zwischen diesem festen Netzwerkteilnehmer und dem Netzwerk einen definierten Schwellwert überschreitet, m) sofern dies der Fall ist, Synchronisieren dieses festen Netzwerkteilnehmers mit dem festen Netzwerkteilnehmer, mit dem er verbunden ist, unter Verwendung eines Synchronisierungsverfahrens und anschließendes Wechseln in den Replikator-Modus, n) sofern die Abfrage gemäß Verfahrensschritt l) ergibt, dass der definierte Schwellwert nicht überschritten wurde, sofortiger Wechsel in den Replikator-Modus zwischen diesem festen Netzwerkteilnehmer und dem Verbund von festen Netzwerkteilnehmern, mit dem er verbunden ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als neue Netzwerkteilnehmer leere Datenbankinstanzen in das Netzwerk integriert werden.