-
Stand der Technik
-
Die Erfindung geht aus von einem Verfahren und einer Vorrichtung zum Aufbau eines Suchbaums und zur Auswertung großer Datenmengen mit einem Suchbaum.
-
Ein Suchvorgang in dem ein Datensatz in einer Datenbank aufgefunden werden soll kann auf einem logischen Ausdruck basieren, der auf Metadaten operiert, die die verfügbaren Datensätze identifizierbar machen. Suchvorgänge für große Datenmengen sind mit erheblichem zeitlichen Aufwand verbunden.
-
Offenbarung der Erfindung
-
Erfindungsgemäß ist es vorgesehen, ein Verfahren und eine Vorrichtung anzugeben zum Aufbau eines Suchbaums und zur Auswertung großer Datenmengen mit einem Suchbaum.
-
Das Verfahren sieht vor, dass für eine Suche in einer Datenbank ein logischer Ausdruck bereitgestellt wird, wobei in der Datenbank ein anhand von Metadaten auffindbarer Datensatz, der Zeitreihe-Daten umfasst, speicherbar ist, wobei abhängig vom logischen Ausdruck ein Suchbaum bestimmt wird, wobei ein erster Teilbaum des Suchbaums bestimmt wird, der einen logischen Operanden des logischen Ausdrucks umfasst, der Metadaten charakterisiert, wobei ein zweiter Teilbaum des Suchbaums bestimmt wird, der einen logischer Operand des logischen Ausdrucks umfasst, der eine Eigenschaft der Zeitreihe-Daten charakterisiert, wobei in einer ersten Teilsuche mit einem logischen Operanden, der dem ersten Teilbaum zugeordnet ist oder mit einer Verknüpfung von logischen Operanden, die dem ersten Teilbaum zugeordnet sind, eine Teilmenge der Datensätze in der Datenbank bestimmt wird, und wobei eine zweite Teilsuche in der Teilmenge mit einem logischen Operanden, der dem zweiten Teilbaum zugeordnet ist oder einer Verknüpfung von logischen Operanden, die dem zweiten Teilbaum zugeordnet sind, ausgeführt wird. Dadurch wird ein Suchbaum in Teilbäume unterteilt. Dieser Suchbaum ist auch bei großen Datenmengen für eine besonders schnelle Suche in der Datenbank strukturiert. Der Suchbaum ist insbesondere ein Search-Query-Tree, SQT. Die Suche auf Metadaten ist unabhängig von den Zeitreihe-Daten und besonders schnell möglich. Die Hierachisierung der Suche auf Zeitreihen-Daten nur in der Teilmenge dient der Beschleunigung der Suche.
-
Vorzugsweise wird für einen logischen Operanden, für den in der Suche in der Teilmenge ein Datensatz gefunden wird, wenigstens ein Datum für Metadaten bestimmt, die diesem Datensatz zugeordnet sind. Dadurch wird der Datensatz ergänzt. Der so ergänzte Datensatz ist in einer erneuten Suche anhand der Metadaten auffindbar.
-
Vorzugsweise wird das wenigstens eine Datum abhängig von wenigstens einem logischen Ausdruck, mit dem die Suche durchgeführt wurde, bestimmt. Basierend auf der Suche in den Zeitreihen-Daten werden Metadaten aufgebaut, die ein Ergebnis der Suche in den Zeitreihen-Daten beinhalten.
-
Vorzugsweise wird der Suchbaum abhängig von einer Vielzahl logischer Operanden aufgebaut, wobei im Suchbaum eine erste Menge Teilbäume bestimmt wird, die logische Operanden umfassen, die Metadaten charakterisieren, wobei im Suchbaum eine zweite Menge Teilbäume bestimmt wird, die logische Operanden umfassen, die Zeitreihen-Daten charakterisieren, wobei eine erste Suchvorschrift für die Suche in der Datenbank abhängig von der ersten Menge Teilbäume bestimmt wird, wobei abhängig von der ersten Suchvorschrift eine Vielzahl Datensätze bestimmt werden, wobei eine zweite Suchvorschrift für eine Suche in der Vielzahl Datensätze abhängig von der zweiten Menge Teilbäume bestimmt wird, und abhängig von der zweiten Suchvorschrift in der Vielzahl Datensätze gesucht wird. Dadurch werden zunächst Kandidaten für Datensätze bestimmt, die beide Suchanfragen erfüllen und anschließend wird in den Kandidaten gesucht. Dies beschleunigt die Suche erheblich.
-
Vorzugsweise wird ein logischen Operand des logischen Ausdrucks dem ersten Teilbaum zugeordnet, wenn der logische Operand einem Blatt für den ersten Teilbaum zuordenbar ist, wobei der logische Operand dem zweiten Teilbaum zugeordnet wird, wenn dem logischen Operand kein Blatt für den ersten Teilbaum zuordenbar ist. Information darüber, welche logischen Operatoren in als mögliche Blätter für einen ersten Teilbaum auswählbar sind, kann in der Datenbank gespeichert sein.
-
Es kann vorgesehen sein, dass ein Datensatz für ein Test des technischen Systems bestimmt wird, und ein Ergebnis des Tests abhängig vom Datensatz bestimmt wird. Dadurch wird ein Datensatz für den Test aus der großen Menge Daten effektiv gefunden.
-
Eine Vorrichtung zum Aufbau eines Suchbaums und zur Auswertung großer Datenmengen mit einem Suchbaum ist ausgebildet, das Verfahren auszuführen.
-
Die Vorrichtung kann zum Testen eines technischen Systems dazu ausgebildet sein, einen Datensatz für einen Test des technischen Systems zu bestimmen, und ein Ergebnis des Tests abhängig vom Datensatz zu bestimmen.
-
Weitere vorteilhafte Ausführungsformen ergeben sich aus der folgenden Beschreibung und der Zeichnung. In der Zeichnung zeigt
- 1 eine schematische Darstellung eines Suchbaums,
- 2 Schritte in einem Verfahren zum Aufbau und zur Auswertung des Suchbaums,
- 3 eine Darstellung einer Reduktion eines Aufwands für eine Suche,
- 4 eine schematische Darstellung einer Vorrichtung zum Aufbau und zur Auswertung des Suchbaums.
-
Entwicklungen technischer Systeme können durch aufwendige Tests abgesichert werden, in denen zur Prüfung einer Funktion des technischen Systems Zeitreihe-Daten erfasst werden, die ein Verhalten des technischen Systems charakterisieren. Für eine effiziente Ausführung der Tests müssen große Mengen an solcher Zeitreihe-Daten, die in einem Entwicklungsprozess anfallen, effizient gespeichert, verwaltet, prozessiert, durchsucht und analysiert werden können.
-
Ein Beispiel für ein technisches System, bei dem dies besonders relevant ist, ist ein Fahrzeug oder ein Teil eines Fahrzeugs.
-
Die Zeitreihe-Daten sind beispielweise Messschriebe, die eine oder mehrere Betriebsgrößen des zu prüfenden technischen Systems über der Zeit umfassen.
-
Bei einer Entwicklung von Video-basierten Systemen fallen sehr große Datenmengen an. Zum einen werden sehr viele Zeitreihe-Daten benötigt, um Video-basierte Systeme ausreichend zu trainieren oder zu testen. Zum anderen ist ein Datensatz, der Bilddaten und/oder Audiodaten als Zeitreihe-Daten enthält, sehr groß. Der Datensatz kann zusätzlich oder statt Bilddaten und/oder Audiodaten auch andere Betriebsgrößen umfassen. Für einen Drive-Recorder können beispielsweise alle oder eine Teilmenge der Sensordaten und Betriebsgrößen des Fahrzeugs, das mit dem Drive-Recorder überwacht wird, in einem Datensatz oder mehreren Datensätzen gespeichert werden.
-
Die Zeitreihe-Daten können im Measurement Data Format (*.mdf / *.mf4) vorliegen. Dabei handelt es sich um ein von der Association for Standardisation of Automation and Measuring Systems, ASAM, spezifiziertes, automotivespezifisches, binäres Datenformat für die Speicherung von aufgezeichneten Drive-Recorder Daten.
-
Diese Zeitreihe-Daten können insbesondere als Datensätze in einer Datenbank oder mehreren Datenbanken gespeichert sein.
-
Um für ein Entwicklungsvorhaben relevante Daten schnell zu finden, ist eine im Folgenden beschriebene Suchfunktionalität für die Datenbank oder die Datenbanken vorgesehen. Relevante Daten sind im Beispiel Zeitreihe-Daten oder Teile davon. Die Suchfunktionalität bietet einem Entwickler einen schnellen Zugriff auf die für sein Entwicklungsvorhaben relevanten Zeitreihe-Daten oder Teilen davon.
-
Die Zeitreihe-Daten eines Messschriebs sind im Beispiel zusammen mit Metadaten in einer Datei speicherbar. Beispielsweise werden einer Messdatei im Measurement Data Format (*.mdf / *.mf4) in einem Einlesevorgang Metadaten hinzugefügt und die Messdatei und die Metadaten in der Datei gespeichert.
-
Der Einlesevorgang sieht folgende Teil-Vorgänge vor:
- a) Die Messdatei wird auf einem BigData-tauglichen Dateisystem abgespeichert.
- b) In der Messdatei enthaltene Zeitreihen werden als einzelne Blöcke extrahiert und in ein für Zugriffe optimiertes Format im Dateisystem abgelegt.
- c) Auf wenigstens einer einzelnen Zeitreihe wird wenigstens eine mathematische Basis-Operation ausgeführt, um Metadaten zu bestimmen. Diese Metadaten werden im Dateisystem gespeichert.
- d) Es können weitere Metadaten hinzugefügt werden. Beispielsweise werden bereits in der Messdatei enthaltene Metadaten hinzugefügt. Es kann vorgesehen sein, dass Metadaten hinzugefügt werden, die über eine Benutzerschnittstelle angegeben werden.
-
Die in den Schritten a)-d) erzeugten Dateien werden in der Datenbank miteinander in einem Tupel (a,b,c,d) verknüpft.
-
Die Suchfunktionalität wird im Beispiel durch eine Software dargestellt. Eine Suche kann in Form einer Query-Language aufrufbar sein. Im Beispiel bedient sich die Suchfunktionalität den Konzepten einer Bool'schen Logik.
-
Dabei kann ein Ergebnis der Suchfunktion sowohl in den Metadaten als in Ergebnissen von Berechnungen erfolgen, die auf die Zeitreihen-Daten zugreifen. Das Ergebnis der Suchfunktion kann während oder nach dem Einlesevorgang berechnet werden.
-
Im Folgenden wird ein Verfahren für eine Reduktion einer zum Auffinden eines Suchergebnisses notwendigen Zeit beschrieben. Dies ist wichtig, da die Such-Geschwindigkeit die Verwendung der Such-Funktion durch den Nutzer in einem iterativen Prozess signifikant beeinflusst. Je schneller die Such-Funktion die korrekten Ergebnisse zur Verfügung stellt, desto häufiger kann der Nutzer die Suche verfeinern und umso geringer ist die Menge der Dateien, die er manuell detailliert analysieren muss. Auf diese Weise hängt die Geschwindigkeit der Suchfunktion direkt mit dem Nutzen für den Nutzer und einer durch die Suchfunktion erreichbaren Wertschöpfungssteigerung zusammen.
-
Die Geschwindigkeit der Such-Funktion ist im Wesentlichen durch die Menge der zu durchsuchenden Dateien und durch diejenigen Suchausdrücke, die auf Berechnungen auf den Zeitreihen beruhen, determiniert.
-
Ein typischer Suchvorgang eines Nutzers ist beispielsweise die Suche eines Kalibrierungs-Ingenieurs für Motorsteuergeräte-SW nach allen Startvorgängen seines Fahrzeugprojekts bei kaltem Motor.
-
In einem Suchstring formalisiert lautet diese Suche nach allen Zeitpunkten, innerhalb von Daten aus einem Projekt „Fahrzeug A“, während eine Drehzahl eines Motors des Fahrzeugs A kleiner als 1500 U/min und eine Motortemperatur des Motors kleiner als 20 °C ist:
-
In 1 ist ein Suchbaum 100 für diesen Suchstring schematisch dargestellt. Der Suchbaum 100 ist im Beispiel als Search-Query-Tree, SQT, dargestellt.
-
Im Beispiel wird eine Hierarchisierung der Suche in zwei Teilsuchen angewendet:
- - eine erste Teilsuche die ausschließlich auf bereits abgespeicherten Metadaten operiert, und
- - eine zweite Teilsuche, die ein Durchlaufen der Zeitreihen notwendig macht.
-
Die bereits abgespeicherten Metadaten sind beispielsweise wie zuvor beschrieben während des Einlesevorgangs erzeugt worden. Die Metadaten können auch anderweitig, beispielsweise durch ein im Folgenden beschriebenes Verfahren erzeugt worden sein.
-
Die erste Teilsuche wird verwendet, um das Suchergebnis zunächst auf Kandidaten einzuschränken. Die zweite Teilsuche wird im Beispiel nur auf den so erzeugten Kandidaten ausgeführt. Das bedeutet, es wird nur dann innerhalb der Zeitreihen gesucht, wenn es sich um einen Kandidaten aus der ersten Teilsuche handelt.
-
Der wesentliche Vorteil dieses Vorgehens besteht darin, dass die rechenaufwändige Suche innerhalb einer Zeitreihe nicht für alle Daten durchgeführt wird. Vielmehr wird auf Basis bereits erfolgter Berechnungen / Indexierung eine Einschränkung der Daten-Menge auf der rechenintensiv gesucht werden muss erreicht. Auf diese Weise kann die gewünschte Geschwindigkeit der Suche erreicht werden.
-
Die Zeitersparnis, die auf diese Weise bei der Suche erzielt werden kann, hängt dementsprechend wesentlich von der Einschränkung der Suche auf Zeitreihe-Daten durch eine erfolgreiche Suche auf Metadaten ab.
-
Eine Durchführung einer einzelnen Such-Anfragen erfolgt beispielsweise in den folgenden, mit Bezug auf 2 beschriebenen, Schritten.
-
2 stellt ein Blockdiagramm 200 dar. Eine Such-Anfrage wird im Beispiel als Suchstring 202 vorgegeben, der logische Operanden und logische Operatoren umfassen kann. Im Beispiel wird der Suchstring Vehicle == A AND n_ENG < 1500 AND T_ENV < 20 vorgegeben.
-
In einem Schritt 204 erfolgt ein Aufbau des Suchbaums. Im Beispiel wird ein Search-Query-Baum, SQT, erzeugt. Vorzugsweise wird der Suchbaum abhängig von einer Vielzahl logischer Operanden aufgebaut. Dazu wird deren logische Verknüpfung ausgewertet. Im Beispiel wird der in 1 dargestellte Search-Query-Baum, SQT, erzeugt.
-
In einem Schritt 206 wird eine Aufteilung des Search-Query-Baums, SQT, in eine Menge erster Teilbäume und eine Menge zweiter Teilbäume bestimmt. Im Beispiel operiert jeder Teilbaum aus der Menge erster Teilbäume ausschließlich auf bereits abgespeicherten Metadaten. Im Beispiel operiert jeder Teilbaum aus der Menge zweiter Teilbäume ausschließlich auf Zeitserie-Daten. Letzteres erfordert Operationen innerhalb einer Zeitreihe.
-
Jeder der Teilbäume der Menge erster Teilbäume umfasst im Beispiel logische Operanden, die Metadaten charakterisieren. Im Beispiel charakterisiert der logische Operand „Vehicle“ und der logische Operand „A“ Metadaten. Der logische Operand „Vehicle“ gibt an, welches Feld in einer Struktur der Metadaten in der Suche ausgewertet werden soll. Der logische Operand „A“ gibt an, welchen Wert das Feld aufweisen soll, damit der Datensatz, dessen Metadaten ausgewertet werden, als Kandidat gefunden wird.
-
Die Metadaten sind in diesem Beispiel durch wenigstens ein Feld und dessen Feldinhalt definiert. Der Suchbaum umfasst eine Vielzahl Blätter, die entweder logischen Operanden oder logischen Operatoren zugeordnet sind. Jedes der Blätter eines ersten Teilbaums der Menge erster Teilbäume, das einem logischen Operanden zugeordnet ist, charakterisiert in diesem Beispiel ausschließlich entweder ein Feld der Metadaten oder einen Feldinhalt für die Metadaten. Bevorzugt charakterisieren alle Blätter aller Teilbäume der Menge erster Teilbäume die logischen Operanden zugeordnet sind entweder ein Feld der Metadaten oder einen Feldinhalt für die Metadaten.
-
Ein logischer Operand des logischen Ausdrucks wird beispielsweise dem ersten Teilbaum zugeordnet, wenn der logische Operand einem Blatt für den ersten Teilbaum zuordenbar ist. Ein logischer Operand wird beispielsweise dem zweiten Teilbaum zugeordnet wird, wenn dem logischen Operand kein Blatt für den ersten Teilbaum zuordenbar ist. Die Datenbank kann Information darüber enthalten, welche der logischen Operanden Blätter welcher Art sein können.
-
Die Datenbank kann Information darüber enthalten, welche der logischen Operanden Felder und welche der logischen Operanden Werte von Metadaten darstellen. Unbekannte logische Operanden können in diesem Fall ignoriert werden.
-
Logische Operanden, die Zeitreihen-Daten charakterisieren, sind in diesem Beispiel die logischen Operanden des Suchstrings 200, die nicht als logische Operanden erkannt werden, die Felder oder Werte von Metadaten darstellen.
-
Relationsangaben „==“, „>“, „<“ sind Beispiele für logische Operatoren. Diese werden zum Aufbau der Struktur des Suchbaums verwendet. Andere Relationsangaben sind ebenfalls möglich.
-
In einem Schritt 208 wird wenigstens eine erste Suchvorschrift SQTM aus wenigstens einem der Teilbäume aus der Menge erster Teilbäume bestimmt und auf Metadaten angewendet. Die wenigstens eine erste Suchvorschrift SQTM wird für die Suche in der Datenbank abhängig von der ersten Menge Teilbäume bestimmt. Das bedeutet, im Beispiel wird eine erste Teilsuche nur in den Metadaten ausgeführt. Die Metadaten sind im Beispiel die unter den Punkten c) und d) beschriebenen Metadaten. Im Beispiel wird ein Datensatz als Kandidat bestimmt, in dessen Tupel (a,b,c,d) Metadaten gemäß c und/oder d in der Suche gefunden werden.
-
Abhängig von der wenigstens einen ersten Suchvorschrift SQTM wird im Beispiel eine Vielzahl Datensätze als Kandidaten C bestimmt.
-
In einem Schritt 210 wird wenigstens eine zweite Suchvorschriften SQTT aus wenigstens einem der Teilbäume aus der Menge zweiter Teilbäume bestimmt und auf Zeitreihe-Daten angewendet, deren Datensatz als Kandidat bestimmt wurde. Die wenigstens eine zweite Suchvorschrift SQTT wird für eine Suche in der Vielzahl Datensätze abhängig von der zweiten Menge Teilbäume bestimmt.
-
Abhängig von der wenigstens einen zweiten Suchvorschrift SQTT wird in der Vielzahl Datensätze gesucht und ein Ergebnis R ausgegeben. Das Ergebnis R umfasst im Beispiel einen Verweis oder eine Bezeichnung eines Datensatzes oder mehrerer Datensätze in der Datenbank, die in der Suche gefunden wurden.
-
Es kann vorgesehen sein, für einen logischen Operanden, für den in der Suche in der Teilmenge ein Datensatz gefunden wird, wenigstens ein Datum für Metadaten zu bestimmen, die diesem Datensatz zugeordnet sind.
-
Beispielsweise wird das wenigstens eine Datum abhängig von wenigstens einem logischen Ausdruck, mit dem die Suche durchgeführt wurde, bestimmt. Beispielsweise wird ein Feld, das einem logischen Operanden entspricht, den Metadaten für den Datensatz hinzugefügt. Beispielsweise wird der Wert für dieses Feld abhängig von den logischen Operanden im Suchstring bestimmt. Im Beispiel wird für T_ENV < 20 ein Feld T_ENV angelegt und der Wert „< 20“ gespeichert.
-
Eine iterative Suche kann vorsehen, die Schritte 202 bis 210 für einen neuen Suchstring erneut durchzuführen und dabei im Schritt 208 nur Metadaten für Datensätze zu durchsuchen, die im Ergebnis R enthalten sind.
-
In einer ersten Iteration der Suche wird im Beispiel ein erster logischer Ausdruck bereitgestellt und die Teilmenge C in der ersten Iteration mit dem ersten logischen Ausdruck bestimmt. Für eine zweite Iteration der Suche wird in diesem Beispiel ein zweiter logischer Ausdruck bereitgestellt und in der zweiten Iteration mit dem zweiten logischen Ausdruck in der Teilmenge C gesucht.
-
Der erste logische Ausdruck und der zweite logische Ausdruck werden beispielsweise durch eine Nutzereingabe an einer Nutzerschnittstelle definiert und können sich unterscheiden.
-
3 stellt eine Darstellung einer Reduktion eines Aufwands für eine Suche in Datensätzen 300 in einer Datenbank schematisch dar. Ein Datensatz 300 umfasst im Beispiel wenigstens ein Paar von Zeitreihe-Daten und Metadaten.
-
Die Datenbank umfasst im Beispiel sechs erste Datensätze 302, die durch einen Teilbaum aus der Menge erster Teilbäume gefunden werden. Diese bilden eine Menge von Kandidaten C. In dieser Menge werden im Beispiel zwei Datensätze 304 durch einen Teilbaum aus der Menge zweiten Teilbäume gefunden. Diese stellen im Beispiel das Ergebnis R dar. Auf diese Art und Weise wird ein Ergebnis der Suche gestuft verfeinert. Das Ergebnis R umfasst in einem Beispiel alle Daten, die durch das Tupel (a,b,c,d) gekennzeichnet sind.
-
In 4 ist eine Vorrichtung 400 dargestellt, die ausgebildet ist, das Verfahren auszuführen.
-
Die Vorrichtung 400 umfasst wenigstens einen Prozessor 402 und wenigstens eine Datenbank 404. Diese sind über eine Datenleitung 406 zur Suche von Datensätzen mit der Suchfunktionalität zumindest zeitweise verbindbar.
-
Die Vorrichtung 400 kann eine Schnittstelle 408 aufweisen, die ausgebildet ist in einem Einlesevorgang Zeitreihe-Daten über eine Datenverbindung 410 zur Datenbank hinzuzufügen. Der wenigstens eine Prozessor 402 kann über eine Steuerleitung zur Ansteuerung der Schnittstelle 408 mit dieser verbunden sein. Die Schnittstelle 408 kann auch unabhängig davon an einen externen Messrechner anschließbar sein. Die Schnittstelle 408 kann ausgebildet sein, Metadaten zu den Zeitreihe-Daten hinzuzufügen. Die Schnittstelle 408 kann ausgebildet sind eine Messdatei und die Metadaten in einer Datei in der Datenbank zu speichern.
-
Vorzugsweise ist der wenigstens eine Prozessor 402 und die Schnittstelle 408 ausgebildet, im Einlesevorgang die Schritt a) bis d) auszuführen.
-
Die Vorrichtung 400 umfasst zudem eine Nutzerschnittstelle 412, die über eine Kommunikationsverbindung 414 mit dem wenigstens einen Prozessor 402 verbindbar oder verbunden ist und in der ein logischer Ausdruck für die Suche eingegeben und das Ergebnis R angezeigt oder ausgegeben werden kann. Die Nutzerschnittstelle 410 kann ein Arbeitsplatzrechner mit Bildschirm und Tastatur sein.
-
Die Vorrichtung 400 kann ausgebildet sein, einen Datensatz für einen Test des technischen Systems mit einem Verfahren nach einem der vorherigen Ansprüche zu bestimmen, und ein Ergebnis des Tests abhängig vom Datensatz zu bestimmen. Der Datensatz für den Test des technischen Systems wird beispielsweise nach wie beschrieben bestimmt. Anschließend wird ein Ergebnis des Tests abhängig vom Datensatz bestimmt.
