DE10213174A1

DE10213174A1 - Verfahren zur Verarbeitung von Ein- und Ausgaben für statistische Analysen und Verfahren zur Bereinigung von Redundanzen

Info

Publication number: DE10213174A1
Application number: DE2002113174
Authority: DE
Inventors: Valeriy Drach; Uwe Noll
Original assignee: Deutsche Telekom AG
Current assignee: DRACH, VALERIY, NEW YORK, N.Y., US; Noll Uwe 64285 Darmstadt De
Priority date: 2003-02-27
Filing date: 2002-03-23
Publication date: 2003-10-30

Abstract

Die Erfindung umfasst ein Verfahren, bei dem Datenmengen aus unterschiedlichen Tabellen und Datenbanken gesammelt und in einer eindeutig strukturierten Zwischentabelle abgelegt werden. Die Strukturierung dieser Tabelle ist so ausgebildet, dass die Vielzahl von stochastischen Algorithmen jederzeit ohne Anpassung der Datenmengen, die in der Zwischentabelle abgelegt sind, Auswertungen fahren können. Diese eindeutig strukturierte Zwischentabelle erstreckt sich über mehrere Dimensionen, wobei die Algorithmen, die die Auswertung vornehmen, in der Lage sind, zu erkennen, wieviele Dimensionen tatsächlich benutzt werden. Eine mögliche Ausgestaltung der Tabelle ist, dass z.B. die ersten zehn Spalten nummerische Werte umfassen und die anderen Spalten Werte anderen Typs. Rechenoperationen werden somit nur auf den ersten zehn Spalten durchgeführt. Der Kopieralgorithmus ist dabei so ausgebildet, dass eine eindeutige Abbildung der Typen auf die bereitgestellten Typen bzw. Spalten stattfindet.

Description

Die Erfindung betrifft ein computergestütztes Verfahren zur statistischen Auswertung von Daten. Insbesondere umfasst die Erfindung eine Möglichkeit, einen vorhandenen Code einfach wiederzuverwenden, indem Strukturen verwendet werden, die so abstrakt gehalten sind, dass Änderungen am Programmcode nicht notwendig sind.

Gebiet der Erfindung

Insbesondere im Bereich der Telekommunikation ist es oftmals notwendig, Auswertungen über Fehlerhäufigkeiten, Dienstleistungen, Wartezeiten in unterschiedlichen Regionen oder von unterschiedlichen Personen durchzuführen. Weitere Aspekte sind die Kosten und der durchschnittliche Zeitaufwand, der benötigt wird, um Fehler zu beheben. Hierfür sind unterschiedliche statistische Verfahren einzusetzen, die auf unterschiedliche Datenmengen zurückgreifen, die unterschiedlich zusammenzustellen sind. Aufgrund der großen Komplexität und der Vielzahl von Möglichkeiten, die es in diesem Bereich gibt, ist es Aufgabe der Erfindung, ein Verfahren bereitzustellen, das es ermöglicht, ohne große Umstellung des Programmcodes eine Vielzahl von Auswertungen auszuführen.
Diese Aufgabe wird durch die Erfindungen gemäß den Merkmalen der unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der Erfindungen sind in den Unteransprüchen gekennzeichnet.
Abstrakt betrachtet, werden Datenmengen aus unterschiedlichen Tabellen und Datenbanken gesammelt und in einer eindeutig strukturierten Zwischentabelle abgelegt. Die Strukturierung dieser Tabelle ist so ausgebildet, dass die Vielzahl von stochastischen Algorithmen jederzeit ohne Anpassung der Datenmengen, die in der Zwischentabelle abgelegt sind, Auswertungen fahren können. Diese eindeutig strukturierte Zwischentabelle erstreckt sich über mehrere Dimensionen, wobei die Algorithmen, die die Auswertung vornehmen, in der Lage sind zu erkennen, wie viele Dimensionen tatsächlich benutzt werden. Eine mögliche Ausgestaltung der Tabelle ist, dass z. B. die ersten zehn Spalten numerische Werte umfassen und die anderen Spalten Werte anderen Typs. Rechenoperationen werden somit nur auf den ersten zehn Spalten durchgeführt. Der Kopieralgorithmus ist dabei so ausgebildet, dass eine eindeutige Abbildung der Typen auf die bereitgestellten Typen bzw. Spalten stattfindet.
Im Einzelnen handelt es sich um ein Verfahren zur statistischen Auswertung von Daten unter Verwendung einer Eingabemaske, über die Datenmengen bestimmt werden, wobei vorzugsweise über die Auswahl von Spalten und Selektionskriterien Teilmengen dieser Datenmengen bestimmt werden. Die Selektionskriterien können dabei Meta-Zeichen umfassen, wie z. B. einen Asterix(*) oder andere Platzhalter. Die Felder der Datenmaske können sich aus Spalten unterschiedlicher Tabellen zusammensetzen. Die Tabellen können wiederum in unterschiedlichen Datenbanken abgelegt sein. Es ist darauf hinzuweisen, dass auch andere Datenbanken wie objektorientierte Datenbanken oder ISA- Modelle oder Neuronale Netze verwendet werden können. Mit Hilfe der Eingabemaske, die von Fall zu Fall unterschiedlich ausgebildet sein kann, je nachdem wie viele Datenbanken und Attribute referenziert wurden, wird die Datenmenge bestimmt, die in die Zwischentabelle kopiert wird. In einer bevorzugten Ausführungsform wird die Eingabemaske automatisch generiert, je nachdem welche Datenquellen im Vorfeld gewählt wurden.
In einem weiteren Schritt werden die Datenmengen bestimmt, die in die Zwischentabelle kopiert werden sollen. Dies erfolgt durch Selektionskriterien in den einzelnen Maskenfeldern. Bevorzugt werden nur die Daten in die Zwischentabelle kopiert, die auch in der Eingabemaske selektiert wurden. Vorzugsweise automatisch wird dann anhand des Typs der selektierten Merkmale entschieden, in kopiert werden.
Vorzugsweise nach dem Kopieren wird das statistische Verfahren ausgewählt. Hierbei wird der Benutzer durch eine entsprechende Maske geführt. In einer bevorzugten Ausführungsform kann nun angegeben werden, welche Werte bei der Durchführung der Statistiken aus der Zwischentabelle zu berücksichtigen sind. Dies ist insbesondere dann von Vorteil, wenn Alternativen für die Berechnung der Statistik zur Verfügung stehen. So ist es z. B. denkbar, dass in einem Standardmodus aufsteigend die ersten Spalten als Parameter für die Statistiken zu berücksichtigen sind. Sollte von diesem Ansatz abgewichen werden, so hat der Benutzer die Möglichkeit, andere Parameter (Spalten) zu bestimmen, die in die Auswertung einfließen sollen.
Aufgrund der wohldefinierten Struktur der Zwischentabelle kann nun das statistische Verfahren ausgeführt werden.
Aufgrund von fehlerhaften Benutzereingaben ist es oftmals nicht zu vermeiden, dass Informationen redundant abgelegt werden. Diese Redundanzen können mögliche Statistiken verfälschen. Um dieser Problematik entgegenzuwirken, wird vor dem Kopiervorgang oder nach dem Kopiervorgang eine Überprüfung auf redundante Datensätze vorgenommen. Bei diesem Verfahren wird in einem ersten Schritt ein Cursor definiert, der zeilenweise durch die Relationen läuft. In einem ersten Schritt wird der Datensatz gelesen, der zur Überprüfung von redundanten Informationen herangezogen werden soll. Anhand einer SQL-Abfrage, die nach Duplikaten sucht, werden redundante Datensätze herausgefunden. Zur Vermeidung eines Overheads wird bevorzugt lediglich ein Feld überprüft, dass komprimierte Informationen aller weiteren Attribute zusammenfasst. Somit ist es möglich, durch lediglich eine Vergleichsoperation festzustellen, ob eine identische Zeile (Tupel) vorliegt oder nicht. Eine Kompression kann z. B. durch eine Ex/Or-Verknüpfung aller Attribute stattfinden. Nur wenn eine Identität vorliegen sollte, werden explizit alle Attribute überprüft, wenn eine bijektive Komprimierung nicht vorliegen sollte. Sollte ein solches komprimiertes Attribut nicht vorliegen, so wird vorzugsweise in einem vorgeschalteten Verfahrenschritt eine weitere temporäre Tabelle erstellt, die lediglich aus einem primären eindeutigen Schlüssel besteht und dem komprimierten Attribut. Dieses komprimierte Attribut wird natürlich indiziert. Somit ist eine einfache Überprüfung auf Redundanz jederzeit möglich.
Statistiken über die redundanten Werte werden vorzugsweise in einer weiteren Statistiktabelle abgelegt.
Weitere Bestandteile der Erfindung sind Computerprogramme, die beim Ablauf auf einem Computer das Verfahren nach einem oder mehreren der vorhergehenden Verfahrensansprüche ausführen.
Die Erfindung umfasst ebenfalls einen Datenträger, auf dem eine Datenstruktur gespeichert ist, die nach dem Laden in einen Hauptspeicher eines Computers das Verfahren nach einem oder mehreren der vorhergehenden Verfahrensansprüche ausführt.
Ein Computersystem, bestehend aus einem oder mehreren Servern, das durch Mittel gekennzeichnet ist, insbesondere Speicher, Netzwerkeinheiten, Prozessoren und Bussysteme, die so ausgebildet und eingerichtet sind, dass ein Verfahren nach einem oder mehreren der vorhergehenden Verfahrensansprüche ausgeführt wird, ist ebenfalls Teil der Erfindung
Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert, die in den Figuren schematisch dargestellt sind. Gleiche Bezugsziffern in den einzelnen Figuren bezeichnen dabei gleiche Elemente. Im Einzelnen zeigt:
Fig. 1 einen schematischen Ablauf des Verfahrens zur Erstellung einer Zwischentabelle und der Anwendung eines statistischen Algorithmus, der auf die eindeutig strukturierte Tabelle zugreift;
Fig. 2 eine Datenbankstruktur, die ein komprimiertes Attribut umfasst, um Redundanzen in einer Datenbank zu ermitteln.
Im Rahmen der Erfindung sind zahlreiche Abwandlungen und Weiterbildungen der beschriebenen Ausführungsbeispiele verwirklichbar.
Im Folgenden werden einige Ausführungsbeispiele beschrieben. So zeigt die Fig. 1 den Verfahrensablauf nach Anspruch 1. Eine Eingabemaske 12 hat Zugriff über Referenzen 11 zu einer Reihe von externen Datenbanken 10. Ein Benutzer kann in die Eingabemaske Werte und Selektionskriterien eingeben. Lediglich die so verwendeten Attribute bzw. Spalten werden in eine Zwischentabelle 14 kopiert. Die Spalten der Zwischentabelle stehen in Referenz 13 zu der Eingabemaske 12.
Bei dem Kopiervorgang werden lediglich die in der Eingabemaske verwendeten Spalten und Attribute berücksichtigt. Wie bereits oben beschrieben besitzt die Zwischentabelle 14, die in einer Datenbank 15 abgelegt ist, wohldefinierte Strukturen. Hierdurch ist es möglich, dass ein statistischer Algorithmus 16 ohne Anpassung ablaufen und eine grafische Darstellung 17 erzeugen kann. Das betrifft insbesondere die Kennzahlermittlung.
Die Fig. 2 zeigt die Struktur einer Datenbank, die Redundanzen ermittelt und vorzugsweise eliminiert. In einer ersten Datenbank 18 ist eine Tabelle 19 abgespeichert, die redundante Informationen enthält. In einer weiteren Datenbank 20 ist eine Tabelle 21 abgelegt, die lediglich eindeutige Schlüssel und komprimierte Attribute enthält. Über den eindeutigen Schlüssel kann die Zeile in der Tabelle 19 referenziert werden. Die entsprechende Referenz ist durch das Bezugszeichen 22 gekennzeichnet.
Der Algorithmus 24 referenziert die Zwischentabelle 21. Aufgrund der Indizierung ist es somit sehr einfach, Redundanzen herauszufinden, die dann, wenn nötig, im Detail anhand der Tabelle 19 überprüft werden. Bezugszeichen 10 externe Datenbanken
11 Referenzen zu den Spalten und Attributen
12 Eingabemaske
13 Referenzen zu der Zwischentabelle
14 Zwischentabelle
15 Datenbank, in der die Zwischentabelle abgelegt ist
16 statistischer Algorithmus
17 grafische Darstellung der statistischen Auswertung
18 Datenbank, in der eine Tabelle mit redundanten Informationen abgelegt ist
19 Tabelle mit redundanten Informationen
20 Datenbank, in der eine Tabelle mit einem eindeutigen Schlüssel und einem komprimierten Attribut abgelegt ist
21 Tabelle mit einem eindeutigen Schlüssel und einem komprimierten Attribut
22 Referenz des eindeutigen Schlüssels auf die Tabelle mit redundanten Informationen
23 Zugriff auf die Tabelle mit einem eindeutigen Schlüssel und einem komprimierten Attribut
24 Algorithmus, der nach redundanten Informationen sucht

Claims

1. Verfahren zur statistischen Auswertung von Daten, unter Verwendung einer Eingabemaske, über die Datenmengen bestimmt werden, wobei vorzugsweise über die Auswahl von Spalten und Selektionskriterien Teilmengen dieser Datenmengen bestimmt werden,
mit einem Schritt, bei dem die Datenmengen mit Hilfe der Eingabemaske und Selektionskriterien bestimmt werden,
mit einem weiteren Schritt, bei dem aus einer Mehrzahl von Verfahren ein statistisches Verfahren ausgewählt wird, das auf die Datenmenge anzuwenden ist,
mit einem weiteren Schritt, bei dem die bestimmten Datenmengen in eine vordefinierte Tabelle von der immer gleichen Struktur kopiert werden, wobei die statistischen Verfahren aufgrund der gleichen Struktur der vordefinierten Tabelle so auf die vordefinierte Tabelle abgestimmt sind, dass unabhängig vom Inhalt eine Auswertung vorgenommen werden kann, ohne dass programmtechnische Änderungen vorzunehmen sind.

2. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass dem Benutzer ein Dialog angeboten wird, durch den er ein statistisches Verfahren auswählen kann.

3. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Benutzer bestimmen kann, welche Spalten der vordefinierten Tabelle für eine statistische Auswertung heranzuziehen sind.

4. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor der statistischen Auswertung ein Verfahren zur Aufzählung und/oder zum Ausschluss von Redundanzen nach einem oder mehreren der nachfolgenden Schritte angewendet wird.

5. Verfahren zum Ermitteln und/oder Ausschließen von Redundanzen in Tabellen, insbesondere relationalen Tabellen
mit einem Schritt, bei dem ein Cursor für die relationale Tabelle bestimmt wird, um schrittweise die Zeilen der Tabelle auszulesen,
mit einem sich wiederholenden Schritt, bei dem die über den Cursor gelesene Zeile über eine SQL-Abfrage mit allen Zeilen der Tabelle verglichen wird, wobei jede Übereinstimmung gezählt wird.

6. Verfahren zum Ermitteln und/oder Ausschließen von Redundanzen nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass eine weitere Tabelle angelegt wird, in der die primären Schlüssel der redundanten Informationen mit einem entsprechenden Zählerwert abgelegt werden.

7. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Suche lediglich die Übereinstimmung eines Kompressionselementes der Zeilen geprüft wird, wobei dieses Elementes die weiteren Elemente der Zeile codiert.

8. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass beim Fehlen eines solchen Kompressionselementes eine weitere Tabelle angelegt wird, die eindeutige Schlüssel der ersten Tabelle enthält und Kompressionselemente, wobei der Vergleich lediglich über die weitere Tabelle erfolgt.

9. Computerprogramm, dadurch gekennzeichnet, dass es beim Ablauf auf einem Computer das Verfahren nach einem oder mehreren der vorhergehenden Verfahrensansprüche ausführt.

10. Datenträger, auf dem eine Datenstruktur gespeichert ist, die nach einem Laden in einen Hauptspeicher eines Computers das Verfahren nach einem oder mehreren der vorhergehenden Verfahrensansprüche ausführt.

11. Computersystem, bestehend aus einem oder mehreren Servern, gekennzeichnet durch Mittel, insbesondere Speicher, Netzwerkeinheiten, Prozessoren und Bussysteme, die so ausgebildet und eingerichtet sind, das ein Verfahren nach einem oder mehreren der vorhergehenden Verfahrensansprüche ausgeführt wird.