DE102015013943A1 - Testing a navigation system of a motor vehicle - Google Patents
Testing a navigation system of a motor vehicle Download PDFInfo
- Publication number
- DE102015013943A1 DE102015013943A1 DE102015013943.6A DE102015013943A DE102015013943A1 DE 102015013943 A1 DE102015013943 A1 DE 102015013943A1 DE 102015013943 A DE102015013943 A DE 102015013943A DE 102015013943 A1 DE102015013943 A1 DE 102015013943A1
- Authority
- DE
- Germany
- Prior art keywords
- test
- signal
- key
- navigation system
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Testen eines Navigationssystems (1), wobei durch eine Testvorrichtung (2) in einem Testdurchlauf (9) Sensordaten (5) in das Navigationssystem (1) eingespeist und Einzelbilder (6) einer Bildsequenz (4) des Navigationssystems (1) erfasst werden, wobei jedes Einzelbild (6) eine Kombination (29) aus graphischen Schlüsselobjekten (11) darstellt und zumindest eines der graphischen Schlüsselobjekte (11) ausgewählt und in den Einzelbildern (6) jedes ausgewählte Schlüsselobjekt (11) extrahiert wird und von jedem extrahierten Schlüsselobjekt (11) zu zumindest einem vorbestimmten Objektmerkmal (30) ein jeweiliger Merkmalswert (12) ermittelt wird und zu jedem Objektmerkmal (30) die ermittelten Merkmalswerte (12) aller erfassten Einzelbilder (6) zu einem Zeitsignal (14) kombiniert werden und detektiert wird, ob zumindest ein Zeitsignal (14) ein vorbestimmtes Fehlerkriterium (7) erfüllt, und, falls das Fehlerkriterium (7) erfüllt ist, ein Hinweissignal (8) erzeugt wird.The invention relates to a method for testing a navigation system (1), sensor data (5) being fed into the navigation system (1) by a test device (2) in a test run (9) and individual pictures (6) of a picture sequence (4) of the navigation system (FIG. 1), wherein each individual image (6) represents a combination (29) of key graphical objects (11) and at least one of the key graphical objects (11) is selected and in the individual images (6) each selected key object (11) is extracted and from a respective feature value (12) is determined for each extracted key object (11) for at least one predetermined object feature (30) and for each object feature (30) the determined feature values (12) of all captured individual images (6) are combined to form a time signal (14); it is detected whether at least one time signal (14) satisfies a predetermined error criterion (7) and, if the error criterion (7) is met, a flag signal l (8) is generated.
Description
Die Erfindung betrifft ein Verfahren zum Testen eines Navigationssystems. Das Verfahren wird durch eine Testvorrichtung durchgeführt, die ebenfalls Bestandteil der Erfindung ist.The invention relates to a method for testing a navigation system. The method is carried out by a test device, which is also part of the invention.
Die Komplexität von Navigationssystemen in Kraftfahrzeugen nimmt kontinuierlich zu. Dies ist nicht nur auf die Anzahl an verfügbaren Funktionen und die geforderte grafische Aufbereitung der Navigation zurückzuführen, sondern auch auf die Variantenvielfalt der verbauten Navigationssysteme und deren Interaktion mit anderen Geräten und Infotainment-Softwarekomponenten (Infotainmentsystem-Informations-Unterhaltungssystem). Mit steigender Komplexität steigt auch die Wahrscheinlichkeit, dass die Navigationssoftware Fehler enthält. Diese Fehler gilt es zu finden, bevor die Software als Serienstand den Kunden erreicht. Die Erfahrung der letzten Jahre zeigt, dass seltene, komplexe Fehler nur mit vielen hundert oder sogar tausend Stunden an automatisierten Tests zu fassen sind. Um die so nötige Testabdeckung und Testzeit für jede der relevanten Navigationsvarianten wirtschaftlich sinnvoll zu erreichen, ist eine automatisierte Erprobung mit geringem Auswerteaufwand für den Tester (Menschen) unverzichtbar.The complexity of navigation systems in motor vehicles is constantly increasing. This is due not only to the number of available functions and the required graphical processing of the navigation, but also to the variety of variants of the installed navigation systems and their interaction with other devices and infotainment software components (infotainment system information entertainment system). As the complexity increases, so does the likelihood that the navigation software will contain errors. These errors must be found before the software reaches the customer as series production. The experience of recent years shows that rare, complex errors can only be made with hundreds or even thousands of hours of automated testing. In order to achieve the necessary test coverage and test time for each of the relevant navigation variants in an economically sensible manner, automated testing with little evaluation effort is indispensable for the tester (human).
Aus der
In der
In der
Der Erfindung liegt die Aufgabe zugrunde, ein Navigationssystem automatisiert zu testen.The invention has for its object to automatically test a navigation system.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Merkmale der abhängigen Patentansprüche gegeben.The object is solved by the subject matters of the independent claims. Advantageous developments of the invention are given by the features of the dependent claims.
Durch die Erfindung ist ein Verfahren zum Testen eines Navigationssystems bereitgestellt. Das Verfahren wird durch eine Testvorrichtung durchgeführt. In einem Testdurchlauf des Navigationssystems werden in das Navigationssystem Sensordaten eingespeist, die eine Fahrt eines Kraftfahrzeugs beschreiben. Das Navigationssystem wird also genau so betrieben, als sei es in ein Kraftfahrzeug eingebaut und würde Sensordaten von dem Kraftfahrzeug empfangen. Sensordaten können beispielsweise GPS-Daten (GPS – Global Positioning System) und/oder Gierratendaten eines Gierratensensors und/oder ein Geschwindigkeitssignal sein. Die Sensordaten können mittels einer Simulation oder bei einer Testfahrt des Navigationssystems erzeugt werden. Alternativ zu einer Einspeisung der Sensordaten können diese innerhalb des Navigationssystems simuliert werden. Hierzu kann ein sogenannter Demo-Modus mit Testszenarien genutzt werden. „Demo-Modus” bedeutet, dass die Navigationssoftware des Navigationssystems die Sensordaten selbst generiert und zwar allein auf Basis eines von außen gesetzten Startpunktes und Zielpunktes. Dies erspart eine Zuführung der Sensordaten von außen. Das Fahrzeug fährt „virtuell” mit konstanter Geschwindigkeit.The invention provides a method for testing a navigation system. The method is performed by a test device. In a test run of the navigation system sensor data are fed into the navigation system, which describe a drive of a motor vehicle. The navigation system is thus operated exactly as if it had been installed in a motor vehicle and would receive sensor data from the motor vehicle. Sensor data may be, for example, GPS data (GPS - Global Positioning System) and / or yaw rate data of a yaw rate sensor and / or a speed signal. The sensor data can be generated by means of a simulation or during a test drive of the navigation system. As an alternative to feeding the sensor data, these can be simulated within the navigation system. For this purpose, a so-called demo mode with test scenarios can be used. "Demo mode" means that the navigation software of the navigation system generates the sensor data itself, based solely on an externally set starting point and destination point. This saves a supply of sensor data from the outside. The vehicle drives "virtually" at a constant speed.
Das Navigationssystem erzeugt in Abhängigkeit von den Sensordaten und einem vorgegebenen Navigationsziel dann in bekannter Weise eine Videosequenz oder Animation oder Bildsequenz, die auf einem Bildschirm des Navigationssystems angezeigt werden kann. Die Bildsequenz kann beispielsweise ein Symbol für das Eigenfahrzeug sowie den vorausliegenden Straßenverlauf darstellen. Bei dem Verfahren ist nun vorgesehen, dass durch die Testvorrichtung Einzelbilder (Frames) dieser Bildsequenz erfasst werden. Die Einzelbilder können beispielsweise durch Auslesen eines Videosignals oder ein so genanntes Framegrabbing oder durch Abfilmen des Bildschirms erfasst werden. Wichtig hierbei ist, dass jedes Einzelbild eine Kombination aus grafischen Schlüsselobjekten darstellt. Ein solches Schlüsselobjekt kann beispielsweise das beschriebene Symbol für das Eigenfahrzeug sein oder eine Straße oder ein Warnhinweis für eine Baustelle. Zumindest eines dieser grafischen Schlüsselobjekte wird anhand von Konfigurationsdaten ausgewählt. Mit anderen Worten wird in der Testvorrichtung anhand der Konfigurationsdaten beispielsweise durch einen Benutzer eingestellt, welches Schlüsselobjekt oder welche Schlüsselobjekte durch die Testvorrichtung beobachtet werden sollen.The navigation system then generates in response to the sensor data and a predetermined navigation target in a known manner a video sequence or animation or image sequence that can be displayed on a screen of the navigation system. The image sequence can represent, for example, a symbol for the own vehicle as well as the road ahead. The method now provides for individual images (frames) of this image sequence to be detected by the test device. The individual images can be detected, for example, by reading a video signal or a so-called frame grabbing or by filming the screen. The important thing is that each frame represents a combination of key graphical objects. Such a key object may be, for example, the described symbol for the own vehicle or a road or a warning for a construction site. At least one of these key graphical objects is selected based on configuration data. In other words, in the test device based on the configuration data, for example, set by a user, which key object or which key objects to be observed by the test device.
In den Einzelbildern wird jedes ausgewählte Schlüsselobjekt extrahiert. Mit anderen Worten wird in jedem Einzelbild eine Segmentierung des ausgewählten Schlüsselobjekts vorgenommen. Es wird also ermittelt, welche Pixel (Bildelemente) des Einzelbildes zu dem Schlüsselobjekt gehören. Von jedem extrahierten Schlüsselobjekt wird zu zumindest einem vorbestimmten Objektmerkmal ein jeweiliger Merkmalswert ermittelt. Ein Objektmerkmal oder eine Objekteigenschaft wird also in jedem Einzelbild quantifiziert. Beispielsweise kann ein Objektmerkmal die Fläche oder Größe des Schlüsselobjekts sein oder eine geometrische Ausrichtung. Dies wird zu jedem Einzelbild als jeweiliger Merkmalswert ausgedrückt oder beschrieben. Zu jedem Objektmerkmal werden dann die ermittelten Merkmalswerte aller erfassten Einzelbilder zu einem Zeitsignal oder Merkmalsverlauf kombiniert. Es wird also beispielsweise ein Zeitsignal erzeugt, welches die Fläche oder Größe des Schlüsselobjekts über der Zeit beschreibt. Es wird dann detektiert, ob das Zeitsignal oder zumindest eines mehrerer Zeitsignale ein vorbestimmtes Fehlerkriterium erfüllt. Falls das Fehlerkriterium erfüllt wird, wird ein Hinweissignal erzeugt. In the frames, each selected key object is extracted. In other words, a segmentation of the selected key object is made in each frame. It is thus determined which pixels (picture elements) of the single picture belong to the key object. From each extracted key object, a respective feature value is determined for at least one predetermined object feature. An object feature or an object property is therefore quantified in each individual image. For example, an object feature may be the area or size of the key object or a geometric orientation. This is expressed or described for each frame as a respective feature value. The determined feature values of all acquired individual images are then combined to form a time signal or characteristic curve for each object feature. Thus, for example, a time signal is generated which describes the area or size of the key object over time. It is then detected whether the time signal or at least one of a plurality of time signals satisfies a predetermined error criterion. If the error criterion is met, an alert signal is generated.
Durch die Erfindung ergibt sich der Vorteil, dass die Reaktion des Navigationssystems auf die Sensordaten und das vorgegebene Navigationsziel automatisiert durch die Testvorrichtung geprüft wird und ein Benutzer der Testvorrichtung, d. h. ein Mensch, nur dann die Bildsequenz überprüfen muss, wenn das Hinweissignal erzeugt wird, wenn also ein ungewöhnliches Ereignis in der Bildsequenz durch die Testvorrichtung erkannt wurde. Welche Ereignisse in der Bildsequenz als ungewöhnlich klassifiziert werden, kann durch das Fehlerkriterium eingestellt werden. Durch die Testvorrichtung ist es somit möglich, ein Navigationssystem viele Stunden lang oder sogar tagelang zu betreiben, ohne dass die von dem Navigationssystem erzeugte Bildsequenz tatsächlich durch einen menschlichen Betrachter beobachtet werden muss. Anhand des erzeugten Hinweissignals kann dann gezielt derjenige Abschnitt der Bildsequenz tatsächlich durch den Benutzer geprüft werden, zu dem das Fehlerkriterium erfüllt wurde. Es kann auch ein weiteres In-Ordnung-Signal erzeugt werden, falls das Fehlerkriterium nicht erfüllt ist.The advantage of the invention is that the response of the navigation system to the sensor data and the predefined navigation destination is checked automatically by the test device and a user of the test device, i. H. a human needs to check the image sequence only when the alert signal is generated, that is, when an unusual event in the image sequence has been detected by the test device. Which events in the image sequence are classified as unusual can be adjusted by the error criterion. The test apparatus thus makes it possible to operate a navigation system for many hours or even days, without the image sequence generated by the navigation system actually having to be observed by a human observer. On the basis of the generated notification signal can then be specifically checked that portion of the image sequence actually by the user, to which the error criterion has been met. It is also possible to generate a further in-order signal if the error criterion is not met.
Zu der Erfindung gehören auch optionale Weiterbildungen, durch deren Merkmale sich zusätzliche Vorteile ergeben.The invention also includes optional developments, by the characteristics of which additional benefits.
Ein Aspekt betrifft die Frage, welche Objektmerkmale geeignet sind, um zuverlässig einen Fehler in der Bildsequenz zu erkennen. Eine Weiterbildung hierzu sieht vor, dass ein Objektmerkmal ein skalarer Wert ist, also ein „Eine-Zahl-Merkmal”. Beispielsweise kann eine Pixelanzahl des grafischen Schlüsselobjekts ermittelt werden. Dies entspricht der Anzeigefläche des grafischen Schlüsselobjekts. Ein skalarer Wert weist den Vorteil auf, dass das besagte Zeitsignal als Zeitreihe von Einzelwerten ermittelt wird. Es kann dann besonders effizient durch die Testvorrichtung verarbeitet werden. Ein Objektmerkmal kann gemäß einer Weiterbildung eine dynamische oder zeitliche Eigenschaft des Schlüsselobjekts beschreiben, beispielsweise eine Bewegungsgeschwindigkeit oder einen Bewegungsvektor. Hierdurch ergibt sich der Vorteil, dass ein Zusammenhang zwischen aufeinanderfolgenden Einzelbildern berücksichtigt wird. Ein Objektmerkmal kann gemäß einer Weiterbildung ein Merkmalstupel aus mehreren Einzelmerkmalen sein. Hierdurch drückt das Zeitsignal eine mehrdimensionale Trajektorie aus, sodass durch ein einzelnes Zeitsignal die zeitliche Entwicklung mehrerer Einzelmerkmale beschrieben ist.One aspect concerns the question of which object features are suitable for reliably detecting an error in the image sequence. A development for this purpose provides that an object feature is a scalar value, ie a "one-number feature". For example, a pixel count of the key graphic object can be determined. This corresponds to the display area of the key graphic object. A scalar value has the advantage that the said time signal is determined as a time series of individual values. It can then be processed particularly efficiently by the test device. An object feature may, according to a further development, describe a dynamic or temporal property of the key object, for example a movement speed or a motion vector. This has the advantage that a relationship between successive individual images is taken into account. An object feature can be a feature tuple of several individual features according to a development. As a result, the time signal expresses a multidimensional trajectory, so that the temporal evolution of several individual features is described by a single time signal.
Bei einer Weiterbildung wird ein Objektmerkmal gewählt, das von einem Navigationskontext abhängig ist. Hierdurch kann dann für unterschiedliche Sensordaten und/oder Navigationsziele ein jeweils geeignetes Objektmerkmal im Voraus festgelegt werden, sodass gezielt für unterschiedliche Navigationssituationen ein geeignetes Objektmerkmal gewählt wird. Zusätzlich oder alternativ dazu kann als Objektmerkmal auch eine Korrelation zweier vorbestimmter Einzelmerkmale beschreiben. Mit anderen Worten wird also nicht direkt aus dem Einzelbild jeweils ein Einzelmerkmal beobachtet, sondern ein Zusammenhang zweier solcher Einzelmerkmale. Diese Einzelmerkmale können von dem Schlüsselobjekt stammen oder auch einen Bezug eines Einzelmerkmals des Schlüsselobjekts zu einem Einzelmerkmal eines anderen Objekts beschreiben. Beispielspielsweise kann hierdurch ein Größenverhältnis zweier Schlüsselobjekte als Objektmerkmal beschrieben werden.In a further development, an object feature is selected that depends on a navigation context. In this way, a respective suitable object feature can then be determined in advance for different sensor data and / or navigation targets, so that a suitable object feature is selected specifically for different navigation situations. Additionally or alternatively, a correlation of two predetermined individual features may also be described as object feature. In other words, a single feature is not observed directly from the individual image, but a relationship between two such individual features. These individual features may originate from the key object or even describe a reference of a single feature of the key object to a single feature of another object. For example, by way of example, a size ratio of two key objects can be described as an object feature.
Eine Weiterbildung sieht vor, dass die Extrahierung des Schlüsselobjekts anhand einer Farbe und/oder eines grafischen Musters erfolgt. Die Extrahierung anhand der Farbe ist besonders effizient mit geringen rechentechnischen Ressourcen zu realisieren. Ein grafisches Muster lässt sich mit einer aufwandsarmen Mustererkennung detektieren.A further development provides that the extraction of the key object takes place on the basis of a color and / or a graphic pattern. Extraction based on color is particularly efficient with low computational resources. A graphic pattern can be detected with a low-effort pattern recognition.
Das beschriebene Fehlerkriterium kann beispielsweise besagen, dass der Verlauf des Zeitsignals innerhalb eines vorbestimmten Werteintervalls oder Toleranzbereichs liegen muss. Liegt das Zeitsignal einmal außerhalb des Intervalls, so ist das Fehlerkriterium erfüllt. Eine Weiterbildung hierzu sieht vor, da kein absolutes Werteintervall verwendet wird, sondern ein Vergleich des Zeitsignals mit einem Referenzsignal durchgeführt wird. Bei dieser Weiterbildung wird der Testdurchlauf mehrmals wiederholt. Zu einem der Testdurchläufe, einer Referenzsequenz, wird dann ein Zeitsignal oder werden mehrere Zeitsignale erzeugt, je nachdem wie viel Schlüsselobjekte und wie viel Objektmerkmale pro Schlüsselobjekt beobachtet werden. Jedes Zeitsignal dieses Testdurchlaufs stellt jeweils ein Referenzsignal dar. Für einen anderen Testdurchlauf, einer Testsequenz, wird jeweils ein korrespondierendes Zeitsignal erzeugt, das dann jeweils als Testsignal verwendet wird. Das Fehlerkriterium umfasst dann, dass ein Unterschied zwischen zumindest einem Testsignal und dem korrespondieren Referenzsignal außerhalb eines vorbestimmten Toleranzbereichs liegt.The error criterion described may, for example, state that the course of the time signal must be within a predetermined value interval or tolerance range. Once the time signal is outside the interval, the error criterion is met. A development for this purpose provides that no absolute value interval is used, but a comparison of the time signal with a reference signal is performed. In this development, the test run is repeated several times. One of the test passes, a reference sequence, then generates a time signal or multiple time signals, depending on how many key objects and how many object features per key object to be watched. Each time signal of this test run represents a reference signal in each case. For another test run, a test sequence, a corresponding time signal is generated in each case, which is then used in each case as a test signal. The error criterion then includes that a difference between at least one test signal and the corresponding reference signal is outside a predetermined tolerance range.
Die Testdurchläufe können mit denselben oder mit unterschiedlichen Sensordaten durchgeführt werden. Selbst bei Verwendung derselben Sensordaten pro Testdurchlauf kommt es zu unterschiedlichen Reaktionen des Navigationssystems, je nachdem, welche Auslastung anderer Fahrzeugsysteme gegeben ist, die mit derselben Hardware realisiert werden. Beispielsweise kann bei einem Multithreading-Prozessorsystem die Verarbeitung der Sensordaten in unterschiedlichen Testdurchläufen im Navigationssystem unterschiedlich erfolgen. Entsprechend ergeben sich auch unterschiedliche Bildsequenzen. Beispielsweise kann es zu einer Unterbrechung der Darstellung der Bildsequenz bei einer ungünstigen Auslastung des Prozessorsystems kommen.The test runs can be performed with the same or different sensor data. Even if the same sensor data is used per test run, different reactions of the navigation system occur, depending on the utilization of other vehicle systems that are realized with the same hardware. For example, in a multithreaded processor system, the processing of the sensor data in different test runs in the navigation system can be different. Accordingly, there are also different image sequences. For example, there may be an interruption of the presentation of the image sequence at an unfavorable utilization of the processor system.
Um das Testsignal mit dem Referenzsignal vergleichen zu können, sieht eine Weiterbildung vor, dass das Referenzsignal und/oder das Testsignal auf eine für die Abtastung der Bildsequenz vorgegebene Abtastrate interpoliert wird. Hierdurch ergibt sich eine Synchronisierung des Testsignals mit dem Referenzsignal. Die Synchronisierung ist somit nicht von Anfang an nötig. Es können also für die unterschiedlichen Testläufe Einzelbilder innerhalb der jeweiligen Bildsequenz zu unterschiedlichen Zeitpunkten erfasst werden. So kann ein Hardware-in-the-loop-Test ermöglicht werden, bei welchem das Navigationssystem unabhängig oder asynchron zur Testvorrichtung läuft. Falls als Objektmerkmal der beschriebene skalare Wert verwendet wird, ist die Interpolation besonders robust. Es ist keine mehrdimensionale, beispielsweise grafische Interpolation eines Bildes nötig.To be able to compare the test signal with the reference signal, a further development provides that the reference signal and / or the test signal is interpolated to a sampling rate predetermined for scanning the image sequence. This results in a synchronization of the test signal with the reference signal. The synchronization is therefore not necessary from the beginning. Thus, individual images within the respective image sequence can be acquired at different times for the different test runs. Thus, a hardware-in-the-loop test can be made possible in which the navigation system runs independently or asynchronously to the test device. If the described scalar value is used as object feature, the interpolation is particularly robust. There is no need for multidimensional, for example graphic interpolation of an image.
Um den Vergleich zwischen Referenzsignalen und Testsignalen noch aussagekräftiger zu machen, sieht eine Weiterbildung vor, dass das Testsignal mit dem Referenzsignal durch einen fensterbasierten Vergleich registriert wird. Mit Registrierung ist hierbei gemeint, dass ein Zeitversatz oder Zeitoffset zwischen Testsignal und Referenzsignal auf Grundlage des fensterbasierten Vergleichs eingestellt wird. Der fensterbasierte Vergleich kann beispielsweise eine Korrelation oder eine Summe absoluter Differenzwerte (SAD) sein. Der minimale Korrelationswert oder SAD-Wert gibt dann an, dass das Testsignal und das Referenzsignal die größte Ähnlichkeit aufweisen, also der Zeitversatz dahingehend optimal ist, dass ein erkannter oder detektierter Unterschied zwischen Referenzsignal und Testsignal ausschließlich aufgrund eines Unterschieds in den Bildsequenzen verursacht wird und nicht aufgrund eines fehlerhaften Zeitversatzes.In order to make the comparison between reference signals and test signals even more meaningful, a development provides that the test signal is registered with the reference signal by a window-based comparison. By registration, it is meant that a time offset or time offset between the test signal and the reference signal is set based on the window-based comparison. The window-based comparison may, for example, be a correlation or a sum of absolute difference values (SAD). The minimum correlation value or SAD value then indicates that the test signal and the reference signal are most similar, that is, the time offset is optimal in that a detected or detected difference between the reference signal and the test signal is caused solely by a difference in the image sequences and not due to a faulty time offset.
Eine Weiterbildung ermöglicht es sogar, das Fehlerkriterium für den Vergleich von Testsignal und Referenzsignal automatisch zu erzeugen. Ein zur Weiterbildung wird ein weiteres Referenzsignal erzeugt, beispielsweise aus einem anderen Abschnitt der Referenzsequenz oder durch nochmaliges Durchlaufen des Testdurchlaufs. Aus dem weiteren Referenzsignal (oder den mehreren weiteren Referenzsignalen bei mehreren Objektmerkmalen), wird mittels einer Methode des maschinellen Lernens (ML) der Toleranzbereich für den Unterschied des Testsignals zum korrespondierenden Referenzsignal ermittelt. Als eine Methode des maschinellen Lernens kann beispielsweise die so genannte Novelty-Detetection-Methode (Neuheitserkennung) verwendet werden. Durch das maschinelle Lernen wird anhand des weiteren Referenzsignals erkannt, welche Verläufe oder Werte für das Referenzsignal typisch sind, d. h. das zu erwartende Verhalten. Hiermit können also danach statistische Ausreißer, die auf einen Fehler hindeuten, erkannt werden.A further development even makes it possible to automatically generate the error criterion for the comparison of test signal and reference signal. For further development, a further reference signal is generated, for example, from another section of the reference sequence or by running through the test run again. From the further reference signal (or the plurality of further reference signals for a plurality of object features), the tolerance range for the difference of the test signal to the corresponding reference signal is determined by means of a method of machine learning (ML). As a method of machine learning, for example, the so-called Novelty Detetection method (novelty detection) can be used. By means of the machine learning it is recognized on the basis of the further reference signal which curves or values are typical for the reference signal, ie. H. the expected behavior. This can be used to detect statistical outliers that indicate an error.
Als besonders zuverlässige automatische Toleranzfestsetzung hat sich die folgende Weiterbildung erwiesen. Sie weist den zusätzlichen Vorteil auf, dass durch einen Benutzer mittels einer grafischen Anzeige überprüft werden kann, ob der Toleranzbereich geeignet gesetzt wurde. Bei der Weiterbildung werden die Merkmalswerte zumindest zweiter Referenzsignale als Koordinaten eines Datenpunkts verwendet oder interpretiert. Mit anderen Worten werden die Merkmalswerte der Referenzsignale zu einem gegebenen Einzelbild (oder bei Interpolation zu einem gegebenen Zeitpunkt) als Koordinaten interpretiert. Nimmt man beispielsweise zwei Referenzsignale, so ergibt sich pro Zeitpunkt ein Datenpunkt in einem zweidimensionalen Koordinatensystem. Wird dies für alle Zeitpunkte oder Abtastzeitpunkte der Referenzsignale durchgeführt, so ergibt sich eine Punktwolke. Aus dieser Punktwolke, d. h. aus den Datenpunkten der Referenzsignale wird z. B. mittels radialer Basisfunktionen (RBF – Radial Basis Function) der Toleranzbereich als eine so genannte Entscheidungsgrenze (Decision Boundary) ermittelt. Die Entscheidungsgrenze ist diejenige Linie, welche die Datenpunkte oder zumindest die meisten Datenpunkte einschließt. Der Verlauf oder die Form der Entscheidungsgrenze kann dabei mittels der beschriebenen radialen Basisfunktionen besonders flexibel angepasst werden, wodurch Fehlalarme bei der Fehlerdetektion verringert werden können.As a particularly reliable automatic tolerance setting, the following has been found. It has the additional advantage that it can be checked by a user by means of a graphical display whether the tolerance range has been suitably set. In the development, the feature values of at least second reference signals are used or interpreted as coordinates of a data point. In other words, the feature values of the reference signals to a given frame (or interpolation at a given time) are interpreted as coordinates. Taking, for example, two reference signals, the result is a data point per point in time in a two-dimensional coordinate system. If this is carried out for all times or sampling times of the reference signals, the result is a point cloud. From this point cloud, d. H. from the data points of the reference signals z. B. determined by means of radial basis functions (RBF - Radial Basis Function) of the tolerance range as a so-called decision boundary (Decision Boundary). The decision boundary is the line that includes the data points or at least most of the data points. The course or the shape of the decision boundary can be adapted particularly flexibly by means of the described radial basis functions, whereby false alarms can be reduced in error detection.
Zu der Erfindung gehört auch die beschriebene Testvorrichtung für ein Navigationssystem eines Kraftfahrzeugs. Die Testvorrichtung ist dazu eingerichtet, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Hierzu kann die Testvorrichtung eine Prozessoreinrichtung aufweisen, die beispielsweise auf der Grundlage eines oder mehrerer Mikroprozessoren realisiert sein kann. Die beschriebenen Komponenten der Testvorrichtung können somit jeweils als Programmmodule realisiert sein.The invention also includes the described test device for a navigation system of a Motor vehicle. The test device is set up to carry out an embodiment of the method according to the invention. For this purpose, the test device can have a processor device, which can be realized, for example, on the basis of one or more microprocessors. The described components of the test device can thus be realized in each case as program modules.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:In the following an embodiment of the invention is described. This shows:
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, the described components of the embodiment each represent individual features of the invention that are to be considered independently of one another, which also each independently further develop the invention and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are each provided with the same reference numerals.
In
Die Testvorrichtung
Insgesamt ergibt sich hieraus ein Testdurchlauf
In den Einzelbildern
Verzichtet man auf die Referenzsequenz REF, so kann jedes Testsignal
Speichert man das Referenzsignal
Der beschriebene schwellwertbasierte Vergleich im Test T2 kann noch weiter automatisiert werden, indem für jedes Referenzsignal
Das Fehlerkriterium
In dem Test T3 können nun entsprechende Datenpunkte
Die anhand des Ausführungsspeispiels konkret beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens können abgewandelt werden, um den Test des Navigationssystems
Das vorgestellte Konzept basiert auf der wiederholten Aufnahme des Navigation-Bildschirminhalts bei gleichbleibender Strecke. Neben dem bekannten Demo-Modus der Navigation ist dies insbesondere durch die seit kurzem verfügbare Technologie des Sensordatenreplays möglich: die Sensordaten einer mehrstündigen, realen Fahrt werden im Labor erneut in die Navigation eingespielt. Der Aufnahme des ersten Laufs wird im Folgenden als Referenz-Sequenz bezeichnet, die Aufnahmen aller nachfolgenden Aufnahmen als Test-Sequenzen.The concept presented is based on the repetitive recording of the navigation screen content at the same distance. In addition to the well-known demo mode of navigation, this is made possible in particular by the recently available technology of sensor data replays: the sensor data of a several-hour, real drive are re-recorded in the lab in the navigation. The recording of the first run is referred to below as the reference sequence, the recordings of all subsequent recordings as test sequences.
Das Verfahren umfasst grundsätzlich drei Komponenten:
- 1. Berechnung von Schlüsselobjekt-Merkmalsverläufen
- 2. Synchronisierung der Sequenzen, sowie
- 3. Fehlererkennung mit/ohne maschinellem Lernen
- 1. Calculation of key object feature histories
- 2. Synchronization of the sequences, as well
- 3. Error detection with / without machine learning
In Kombination miteinander erlauben diese drei Komponenten eine referenzbasierte, automatisierte Erprobung der Navigation, welche die vier beschriebenen Nachteile behebt bzw. deutlich reduziert. Zudem können seltene, noch unbekannte Navigationsfehler ohne explizite Modellierung des Fehlers automatisiert erkannt werden.
Die Grundlage bildet die Definition von elementaren Objekten der Navigation, hier Schlüsselobjekte genannt. Diese Schlüsselobjekte erlauben eine einfache Charakterisierung des Verhaltens wichtiger Navigationselemente sowie einen Verzicht auf traditionelle Mustererkennung (= ”Pattern Matching”, Vergleich von Texturinhalten).
Es sei angemerkt, dass dieses Konzept beliebig anpassbar/erweiterbar ist. Beispiele einer möglichen Anpassung/Erweiterung wären:
- 1. Definition zeitlicher Schlüsselobjekt-Merkmale, beispielsweise von affinen Bewegungsparametersätzes zwischen Einzelbildern oder Frames,
- 2. Extrahierung der Schlüsselobjekte nicht aufgrund der Farbe, sondern aufgrund (einfacher) Mustererkennungsalgorithmen,
- 3. Berechnung eines Schlüsselobjekt-Merkmalstupels, also eines mehrdimensionalen Merkmals (siehe Bewegungsparametersatz),
- 4. Einbeziehung von Kontexten und Korrelationen bei der Berechnung und Verarbeitung von Schlüsselobjekt-Merkmalen und Schlüsselobjekt-Merkmalsverläufen (z. B. Einbeziehung von Bewegungsparametersätzen bei der Threshold- oder ML-basierten Fehlererkennung, Threshold-Schwellwert).
- 1. Definition of temporal key object features, for example of affine motion parameter etching between individual frames or frames,
- 2. extraction of the key objects not by color but by (simple) pattern recognition algorithms,
- 3. calculation of a key object feature tuple, ie of a multi-dimensional feature (see motion parameter set),
- 4. Inclusion of contexts and correlations in the calculation and processing of key object characteristics and key object feature histories (eg inclusion of motion parameter sets in threshold or ML-based error detection, Threshold Threshold).
Die Verfügbarkeit einer Referenzsequenz (
Dies ermöglicht, eine beliebige Anzahl an Test-Wiederholungen (= Test-Sequenzen) automatisiert in den so erlernten Klassifizierer zu geben und seltene Fehler anhand möglichem „unerwartetem” Verhalten zu identifizieren. Im Vergleich mit schwellwertbasierten oder threshold-basierten Fehlererkennungsmechanismen vereinfacht sich die Auswertung durch den Menschen zusätzlich, da der Rechner das zu erwartende Verhalten der Schlüsselobjekte erlernt hat, dieses Wissen mittels Klassifizierer abbildet und damit aus hunderten Stunden Test-Wiederholungen lediglich ungewöhnliche Ereignisse an den Tester (Mensch) weitergibt. Dies entspricht im Grunde einer referenzbasierten Aufbereitung und Filterung vorhandener Schlüsselobjekt-Information.This allows any number of test iterations (= test sequences) to be automatically entered into the classifier thus learned and to identify rare bugs based on possible "unexpected" behavior. In comparison with threshold-based or threshold-based error detection mechanisms, the evaluation by humans is simplified in addition, since the computer has learned the expected behavior of the key objects, this knowledge using classifier maps and thus from hundreds of hours of test iterations only unusual events to the tester ( Human). This basically corresponds to a reference-based preparation and filtering of existing key object information.
In Kombination miteinander erlauben die drei Komponenten
- 1. Berechnung von Schlüsselobjekt-Merkmalsverläufen
- 2. Synchronisierung der Sequenzen, sowie
- 3. Fehlererkennung mit/ohne maschinellem Lernen
- 1. Calculation of key object feature histories
- 2. Synchronization of the sequences, as well
- 3. Error detection with / without machine learning
1. Geringer Modellierungsaufwand1. Low modeling effort
Die Notwendigkeit zur Modellierung von Fehlerverhalten (explizit oder implizit) entfällt größtenteils, da eine Referenzsequenz für einen rechnergestützten Vergleich zur Verfügung steht und der Vergleich mittels der vorgestellten Synchronisierung zuverlässig durchgeführt werden kann.The need to model error behavior (explicit or implicit) is largely eliminated because a reference sequence is available for a computational comparison and the comparison can be performed reliably using the presented synchronization.
2. Reduzierte Rechenkomplexität2. Reduced computational complexity
Der Rechenaufwand für komplexe Mustererkennung entfällt, die Berechnung kann in annähernd Echtzeit durchgeführt werden. Der Großteil des nötigen Aufwands setzt sich aus logische Indizierung, Kurveninterpolation sowie, falls gewünscht, dem Erlernen der Decision Boundary zusammen (einmalig).The computational effort for complex pattern recognition is eliminated, the calculation can be performed in approximately real time. Most of the effort involved is logical indexing, curve interpolation and, if desired, learning the decision boundary together (once).
3. Reduzierter Auswerteaufwand3. Reduced evaluation effort
Die Abbildung elementarer Schlüsselobjekte der Navigation als einfache Kurvenverläufe sowie deren Differenzwertbildung nach erfolgter Synchronisation erlauben erstmals eine zeitliche Aufbereitung des Bildinhalts ganzer Testläufe in Plot-Form. Gängige Auswerte-Softwarewerkzeuge wie EXAM unterstützen dies nicht: die Sequenz muss stets in einem Videoplayer oder Einzelbild-Browser („Picture Browser”) in ganzer Länge mit dem Auge geprüft werden. Durch die Repräsentation des Navigations-Bildinhalts in Kurvenform wird eine schnelle, unkomplizierte Bewertung des jeweiligen Testlaufs durch den Tester (Mensch) möglich.The mapping of elementary key objects of the navigation as simple curves and their difference value formation after synchronization allow for the first time a temporal processing of the image content of entire test runs in plot form. Common evaluation software tools such as EXAM do not support this: the sequence must always be checked by eye in a full-length video player or full-length picture browser. Through the representation of the navigation image content in the form of a curve, a quick, uncomplicated evaluation of the respective test run by the tester (human) is possible.
4. Nutzung von Referenz-Information4. Use of reference information
Durch das beschriebene Konzept der Merkmale und Merkmalsverläufe von Schlüsselobjekten, kombiniert mit der vorgestellten Synchronisierung, besteht nun erstmals die Möglichkeit, mit geringem Aufwand einen rechnergestützten Vergleich gegen eine fehlerfrei Referenzsequenz durchzuführen. Der Tester hat damit die Möglichkeit, den ersten Lauf (= Referenzsequenz REF) mit dem Auge auf Fehlerfreiheit zu prüfen, und den Test anschließend bei minimalem Auswerteaufwand beliebig oft zu wiederholen (automatisierte Prüfung der Testsequenzen TEST).Due to the described concept of features and feature histories of key objects, combined with the presented synchronization, it is now possible for the first time to carry out a computer-aided comparison against an error-free reference sequence with little effort. The tester thus has the opportunity to check the first run (= reference sequence REF) with the eye for freedom from errors, and then to repeat the test as often as desired with minimal evaluation effort (automated test of the test sequences TEST).
5. Erkennung seltener und unbekannter Fehler5. Detection of rare and unknown errors
Die Nutzbarkeit einer Referenz-Sequenz kann als implizite Modellierung unbekannter Fehler (bzw. als explizite Modellierung des zu erwartenden Verhaltens) interpretiert werden. Dies wiederum ermöglicht, unbekannte Fehler anhand ihres unerwarteten Schlüsselobjekt-Verhaltens zu identifizieren, ohne mit massivem Aufwand implizite Modelle zu erstellen und zu pflegen. Die Identifikation seltener, unbekannter Fehler ist ein große Herausforderung im Bereich der automatisierten Navigationserprobung.The usability of a reference sequence can be interpreted as an implicit modeling of unknown errors (or as an explicit modeling of the expected behavior). This in turn makes it possible to identify unknown errors based on their unexpected key-object behavior without creating and maintaining implicit models with massive effort. The identification of rare, unknown errors is a major challenge in the field of automated navigation testing.
6. Machine Learning ML 6. Machine Learning ML
Durch das beschriebene Konzept der Merkmale bzw. Merkmalsverläufe von Schlüsselobjekten können erwartete Eigenschaften bzw. erwartetes Verhalten als Merkmals-Tupel interpretiert werden. Im Machine Learning bilden diese Merkmals-Tupel (auch genannt „Features”) die Grundlage für die Berechnung eines beschreibenden Modells (= Training eines Modells). Das Modell (oft ein Parametersatz eines „Kernels”, wie beispielsweise des RBF-Kernels) kann anschließend zur Klassifizierung von Features unbekannter Klassen genutzt werden. Das vorgestellte Konzept erschließt somit das Feld des Machine Learnings für zukünftige Ansätze.Due to the described concept of features or characteristic curves of key objects, expected properties or expected behavior can be interpreted as feature tuples. In machine learning, these feature tuples (also called "features") form the basis for the calculation of a descriptive model (= training of a model). The model (often a parameter set of a "kernel" such as the RBF kernel) can then be used to classify features of unknown classes. The presented concept thus opens up the field of machine learning for future approaches.
7. Zeitliche. Merkmale, Berechnung eines Kontextes7. Temporal. Characteristics, calculation of a context
Das vorgestellte Konzept der Merkmale bzw. Merkmalsverläufe von Schlüsselobjekten nutzt momentan „örtliche Merkmale” (→ Pixelanzahl von extrahierten Schlüsselobjekten). „Zeitliche Merkmale” wie beispielsweise die Bewegung zwischen Frames können in Zukunft ebenfalls Betrachtung finden. Ebenso ist die Einführung eines „Kontextes” möglich, also einer Fehlererkennung auf Basis der näheren Vergangenheit des betrachteten Merkmalsverlaufs sowie in Korrelation mit anderen Merkmalsverläufen. Es ist wahrscheinlich, dass ein automatisches „Erlernen” dieser Netzwerke (Bayes-Netzwerke) anhand der Referenzsequenz eine einfache Lösung für eine unkomplizierte, wartungsarme Erprobung der Navigation darstellt.The presented concept of features or characteristic curves of key objects currently uses "local features" (→ number of pixels of extracted key objects). "Temporal features" such as the movement between frames can also be considered in the future. Likewise, the introduction of a "context" is possible, ie an error detection on the basis of the nearer past of the considered characteristic course as well as in correlation with other characteristic courses. It is likely that an automatic "learning" of these networks (Bayesian networks) based on the reference sequence is a simple solution for an uncomplicated, low-maintenance testing of the navigation.
Nachfolgend wird die technische Umsetzung der vorgestellten Idee im Prinzip beschrieben.In the following, the technical implementation of the presented idea will be described in principle.
Berechnung von Schlüsselobjekt-MerkmalsverläufenCalculation of Key Object Characteristics
Statt der Suche nach Texturähnlichkeiten (Pattern Matching, Mustererkennung) erfolgt die Identifikation von elementaren Navigationselementen mittels einer farbbasierten Extraktion. Diese elementaren Objekte werden nachfolgend als Schlüsselobjekte bezeichnet. Weitere wichtige Begriffe sind im Folgenden zudem Schlüsselobjekt-Merkmal sowie Schlüsselobjekt-Merkmalsverlauf.Instead of searching for texture similarities (pattern matching, pattern recognition), elementary navigation elements are identified by means of color-based extraction. These elementary objects are referred to below as key objects. Other important terms in the following are also the key object characteristic and the key object characteristic course.
Je nach Zielsetzung der automatisierten Tests können die Schlüsselobjekte unterschiedlich gewählt werden. Beispiele für Schlüsselobjekte sind Straßen, Route, Speed & Flow, Fahrzeugsymbol oder andere (siehe beispielhaft
Aus diesen Verläufen kann gezielt auf die korrekte Funktion der einzelnen Schlüsselobjekte der Navigation geschlossen werden (mehr dazu unter Fehlererkennung mit/ohne maschinellem Lernen). Sie sind zudem essentiell für die Behebung der Nachteile Modellierungsaufwand und Rechenkomplexität: In ihnen ist implizit das erwartete Verhalten modelliert, die Komplexität beschränkt sich auf eine logische Indizierung und eine Merkmalsberechnung (hier: Summe der Schlüsselobjektpixel). Die Schlüsselobjekt-Merkmalsverläufe schaffen zudem die Grundvoraussetzung für die Nutzbarkeit einer Referenzsequenz, was die Suche nach seltenen Fehlern erheblich vereinfacht.From these processes it is possible to deduce the correct function of the individual key objects of the navigation (more on this under Error detection with / without machine learning). They are also essential for resolving the disadvantages of modeling effort and computational complexity: they implicitly model the expected behavior; the complexity is limited to logical indexing and a feature calculation (here: the sum of the key object pixels). The key object feature trajectories also create the basic requirement for the usability of a reference sequence, which considerably simplifies the search for rare errors.
Synchronisierung der SequenzenSynchronization of the sequences
Der Komponente Synchronisierung ist essentiell, um die Schlüsselobjekt-Merkmalsverläufe einer Test-Sequenz mit einer bereits geprüften, fehlerfreien Referenz-Sequenz automatisiert vergleichen zu können. Dieser Referenzvergleich ist hochgradig interessant, da er ein wirkungsvolles Werkzeug zur Erkennung bisher unbekannter Fehler darstellt (explizite Modellierung des Fehlers nicht möglich, implizite Modellierung mit hohem Aufwand verbunden). Dieser Referenzvergleich kann nur durchgeführt werden, falls für den zu vergleichenden Zeitabschnitt annähernde Synchronität der beiden Zeitachsen sichergestellt ist. Angesichts der variierenden Frameraten, der asynchronen, internen Clocks der Framegrabber sowie der Auslastung der Prüfstands-PCs ist dies nicht trivial. Die Synchronisierung setzt sich aus zwei einfachen Schritten zusammen:
- 1. Interpolationsschritt: Die Schlüsselobjekt-Merkmale aller Frames einer Sequenz stellen eine Serie an Einzelwerten dar (→ Merkmalsverlauf). Diese Einzelwerte sind als Abtastwerte zu gewissen Zeitpunkten anzusehen. Die Abtastung besitzt eine variierende Abtastrate. Es ist daher nötig, diese unregelmäßige Abtastung so zu interpolieren, dass zu jedem regulären Zeitschritt (z. B. jede Sekunde) ein Abtastwert (= Schlüsselobjekt-Merkmal) existiert.
- 2. Registrierungsschritt: Der Registrierungsschritt beinhaltet einen fensterbasierten Vergleich der interpolierten Merkmalsverläufe von Referenz-Sequenz und Test-Sequenz. Dabei wird für jede Position der SAD (Summe der Absoluten Differenzen) der Schlüsselobjekt-Merkmale berechnet und jene Position für die Registrierung verwendet, die den minimalen SAD aufweist.
- 1. Interpolation step: The key object characteristics of all frames of a sequence represent a series of individual values (→ characteristic curve). These individual values are to be regarded as samples at certain points in time. The sample has a varying sampling rate. It is therefore necessary to interpolate this irregular sampling such that at each regular time step (e.g. Second) a sample (= key object feature) exists.
- 2. Registration Step: The registration step includes a window-based comparison of the interpolated feature trajectories of reference sequence and test sequence. In this case, for each position, the SAD (sum of absolute differences) of the key object features is calculated and the position for the registration that has the minimum SAD is used.
Mittels dieser Synchronisierung kann ein Abschnitt in der Test-Sequenz eindeutig dem entsprechenden Abschnitt in der Referenz-Sequenz zugeordnet werden. Die Synchronisierung macht einen zuverlässigen, aussagekräftigen Vergleich zweier Sequenzen möglich, selbst bei langen Aufnahmezeiten.By means of this synchronization, a section in the test sequence can be uniquely assigned to the corresponding section in the reference sequence. The synchronization makes a reliable, meaningful comparison of two sequences possible, even with long recording times.
Fehlererkennung mit/ohne maschinellem LernenError detection with / without machine learning
Die Fehlererkennung dient dem Zweck, ein oder mehrere fehlerhafte Frames (in Serie oder verteilt über die Sequenz) als fehlerhaft zu erkennen und dem Tester (Mensch) zur finalen Begutachtung weiterzureichen. Dabei ist eine hohe Zahl an falsch gemeldeten Fehlern (False Positives, Fehler existiert nicht in Realität) zu vermeiden, das sonst die finale Auswertung durch den Tester erheblich erschwert wird. Grundsätzlich sind drei unterschiedliche Vorgehensweisen zur automatisierten Fehlererkennung mittels des in dieser Erfindungsmeldung beschriebenen Verfahrens möglich (vergleiche
- 1. Threshold-basierte Fehlererkennung, ohne Referenz (Test T1)
- 2. Threshold-basierte Fehlererkennung, mit Referenz (Test T2)
- 3. Machine-Learning-basierte Fehlererkennung, mit Referenz (Test T3)
- 1. Threshold-based error detection, without reference (test T1)
- 2. Threshold-based error detection, with reference (test T2)
- 3. Machine-learning-based error detection, with reference (test T3)
T1: Threshold-basierte Fehlererkennung, ohne ReferenzT1: Threshold-based error detection, without reference
Dies ist der einfachste Ansatz, allerdings mit einer signifikanten Zahl an False-Positives, und nur geeignet für einige Schlüsselobjekte. Ein Algorithmus prüft die Maximal-/Minimalwerte eines Merkmalsverlaufs und entscheidet, ob sie einen definierten Threshold über-/unterschreiten. Auch das Sprungverhalten des Merkmalsverlaufs kann geprüft werden (via Differenzen, z. B. interessant bei blauer Route oder Straßennetz).
T2: Threshold-basierte Fehlererkennung, mit ReferenzT2: Threshold-based error detection, with reference
Durch Synchronisierung und Referenzsequenz-Vergleich existiert erheblich mehr Information über den erwarteten Schlüsselobjekt-Merkmalsverlauf als bei einem referenzlosen Vergleich. Für jedes Schlüsselobjekt ist somit eine präzise Differenzwertberechnung zwischen Referenz- und Test-Merkmalsverlauf möglich. Für manche Schlüsselobjekte ist eine Glättung des Differenzverlaufs (z. B. Faltung mit Gauss-Kurve) vor einer nachfolgenden Threshold-Berechnung sinnvoll.Through synchronization and reference sequence comparison, there is considerably more information about the expected key object feature history than with a referenceless comparison. For each key object, a precise calculation of the difference value between the reference and the test characteristic course is thus possible. For some key objects, smoothing the difference curve (eg convolution with Gauss curve) before a subsequent threshold calculation makes sense.
T3: Machine-Learning-basierte Fehlererkennung, mit ReferenzT3: Machine-learning-based error detection, with reference
Es hat sich gezeigt, dass sich bestimmte Schlüsselobjekt-Merkmale für eine Auswertung durch statistische Klassifizierungsmethoden eignen. Es ist damit möglich, Ansätze des maschinellen Lernens (Machine Learning, ML) auf die berechneten Schlüsselobjekt-Merkmale und Schlüsselobjekt-Merkmalsverläufe anzuwenden. Zum Zwecke der Untersuchung dieser Möglichkeit wurde das sog. Novelty-Detection-Verfahren auf die Merkmale Speed & Flow sowie Street Network angewendet.It has been found that certain key object characteristics are suitable for evaluation by statistical classification methods. It is thus possible to apply Machine Learning (ML) approaches to the calculated key object characteristics and key object feature histories. For the purpose of investigating this possibility, the so-called Novelty Detection method was applied to the characteristics Speed & Flow and Street Network.
Es sei angemerkt, dass auch mehr als zwei Schlüsselobjekt-Merkmale in ihrer Korrelation erlernt werden können. Der höherdimensionale Merkmalsraum macht allerdings eine einfache Visualisierung der Ergebnisse schwierig.It should be noted that also more than two key object features can be learned in their correlation. However, the higher-dimensional feature space makes it difficult to easily visualize the results.
Das prinzipielle Vorgehen lässt sich anhand des obigen Speed-and-Flow-Beispiels (
1. Training mittels Referenz-Sequenz1. Training by reference sequence
Anhand der Referenz-Sequenz wird z. B. die Korrelation „gewöhnlicher” Speed & Flow-Merkmale zu Street-Network-Merkmalen (SF-vs-SN) erlernt. Jeder verarbeitete Frame ergibt einen Datenpunkt
2. Verarbeitung einer Test-Sequenz2. Processing a test sequence
Dies sei an zwei Beispielen verdeutlicht. Beispiel 1: Verarbeitung einer fehlerfreien Test-Sequenz. Die SF-vs-SN Datenpunkte betten sich erwartungsgemäß im Bereich fehlerfreier SF-vs-SN Datenpunkte ein, d. h. innerhalb der Decision Boundary
3. Fehlererkennung mittels Decision Boundary
Die Fehlererkennung
Bei der in Schritt 1 erlernten Decision Boundary
Insgesamt zeigt das Beispiel, wie durch die Erfindung Navigationsfehler mittels Schlüsselobjekt-Analyse und Referenzsequenz-Vergleich erkannt werden können.Overall, the example shows how navigation errors by means of key object analysis and reference sequence comparison can be detected by the invention.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102012009876 A1 [0003] DE 102012009876 A1 [0003]
- DE 102008012697 A1 [0004] DE 102008012697 A1 [0004]
- DE 102013015145 A1 [0005] DE 102013015145 A1 [0005]
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015013943.6A DE102015013943B4 (en) | 2015-10-28 | 2015-10-28 | Testing a navigation system of a motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015013943.6A DE102015013943B4 (en) | 2015-10-28 | 2015-10-28 | Testing a navigation system of a motor vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102015013943A1 true DE102015013943A1 (en) | 2017-05-04 |
DE102015013943B4 DE102015013943B4 (en) | 2020-10-22 |
Family
ID=58545742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102015013943.6A Expired - Fee Related DE102015013943B4 (en) | 2015-10-28 | 2015-10-28 | Testing a navigation system of a motor vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102015013943B4 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111123740A (en) * | 2019-12-19 | 2020-05-08 | 北京经纬恒润科技有限公司 | Hardware-in-loop test method and device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5099322A (en) * | 1990-02-27 | 1992-03-24 | Texas Instruments Incorporated | Scene change detection system and method |
DE102008012697A1 (en) | 2007-12-12 | 2009-06-18 | Daimler Ag | Method for operating a navigation system and navigation system |
DE102012009876A1 (en) | 2011-11-10 | 2013-05-16 | Audi Ag | Method for processing an image sequence and test device for a motor vehicle |
DE102013015145A1 (en) | 2013-09-13 | 2015-03-19 | Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr | Method for testing and evaluating the quality of digital cards |
-
2015
- 2015-10-28 DE DE102015013943.6A patent/DE102015013943B4/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5099322A (en) * | 1990-02-27 | 1992-03-24 | Texas Instruments Incorporated | Scene change detection system and method |
DE102008012697A1 (en) | 2007-12-12 | 2009-06-18 | Daimler Ag | Method for operating a navigation system and navigation system |
DE102012009876A1 (en) | 2011-11-10 | 2013-05-16 | Audi Ag | Method for processing an image sequence and test device for a motor vehicle |
DE102013015145A1 (en) | 2013-09-13 | 2015-03-19 | Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr | Method for testing and evaluating the quality of digital cards |
Non-Patent Citations (1)
Title |
---|
PIMENTEL, Marco A. F. [et al.]: A review of novelty detection. In: Signal Processing, Vol. 99, 2014, S. 215-249. – ISSN 0165-1684 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111123740A (en) * | 2019-12-19 | 2020-05-08 | 北京经纬恒润科技有限公司 | Hardware-in-loop test method and device |
CN111123740B (en) * | 2019-12-19 | 2024-04-16 | 北京经纬恒润科技股份有限公司 | Hardware-in-loop test method and device |
Also Published As
Publication number | Publication date |
---|---|
DE102015013943B4 (en) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AT521607B1 (en) | Method and device for testing a driver assistance system | |
EP3438901A1 (en) | Test drive scenario database system for realistic virtual test drive scenarios | |
EP2034461B1 (en) | Method for detecting and/or tracking moved objects in a monitoring zone with stoppers, device and computer program | |
DE202017102381U1 (en) | Device for improving the robustness against "Adversarial Examples" | |
EP3729213B1 (en) | Behaviour model of an environment sensor | |
DE102018220892A1 (en) | Device and method for generating label objects for the surroundings of a vehicle | |
EP3757792A2 (en) | Method and device for testing a system, for selecting real tests and for testing systems with machine learning components | |
DE102019116834B4 (en) | Augmented photo capture | |
EP3867796A1 (en) | Method and device for determining an area map | |
DE102019208735A1 (en) | Method for operating a driver assistance system for a vehicle and a driver assistance system for a vehicle | |
DE102019208733A1 (en) | Method and generator for generating disturbed input data for a neural network | |
DE102015013943B4 (en) | Testing a navigation system of a motor vehicle | |
DE102020200876B4 (en) | Method for processing sensor data from a sensor system in a vehicle | |
DE102019211459B4 (en) | Method and device for checking a calibration of environmental sensors | |
DE102016211473A1 (en) | Method and device for operating a synchronous machine | |
DE102019127322A1 (en) | Method for detecting objects in a vehicle environment, device for data processing, computer program product and computer-readable data carrier | |
DE102019202751A1 (en) | Method for object detection with two neural networks | |
DE102014202639A1 (en) | Method for determining movement of vehicle, involves outputting movement of vehicle when quality value formed for evaluating detected vehicle movement estimate is available in predetermined relationship to reference value | |
DE102014004553B4 (en) | Procedure for testing a control unit | |
DE112018007442T5 (en) | DATA SYNCHRONIZATION DEVICE, DATA SYNCHRONIZATION METHOD AND DATA SYNCHRONIZATION PROGRAM | |
DE102009001870A1 (en) | Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture | |
EP4078433A1 (en) | Method and device for generating and providing a database having sensor data patches stored therein for use in quilting | |
EP4296970A1 (en) | Computer-implemented method and system for creating a virtual vehicle environment | |
DE102020213058A1 (en) | Method and device for partially automated or fully automated control of a vehicle | |
DE102021206316A1 (en) | Method and device for detecting an object for a vehicle and camera system comprising a mono camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R081 | Change of applicant/patentee |
Owner name: AUDI AG, DE Free format text: FORMER OWNERS: AUDI AG, 85045 INGOLSTADT, DE; FRIEDRICH-ALEXANDER-UNIVERSITAET ERLANGEN-NUERNBERG, 91054 ERLANGEN, DE |
|
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |