-
Die Erfindung betrifft ein Verfahren zum Erzeugen von Testszenarios für ADAS (Advanced Driver Assistance Systems), ein System zum Erzeugen von Testszenarios für ADAS und ein Computerprogrammprodukt.
-
Die
DE 102019 119 567 offenbart ein Verfahren und ein System zum automatisierten Erstellen eines Datensatzes über spezifische Merkmale des Verhaltens von Verkehrsteilnehmern in einer Verkehrssituation.
-
Ein erfindungsgemäßes Verfahren zum Erzeugen von Testszenarios für ADAS umfasst die Schritte:
- - Bereitstellen von visuell interpretierbaren Daten einer Verkehrssituation;
- - Ermitteln von 3-D Objekten in der Verkehrssituation auf Grundlage der visuell interpretierbaren Daten;
- - Zuweisen von Attributen zu den ermittelten 3-D Objekten;
- - Erzeugen eines Testszenarios zumindest teilweise mit den ermittelten 3-D Objekten und deren zugewiesenen Attributen.
-
Zum Testen und/oder Trainieren und/oder Entwickeln von ADAS sind eine Vielzahl von Testszenarios nötig, um eine hohe Sicherheit während des Betriebs der ADAS zu gewährleisten. Hierbei ist es im Speziellen hilfreich ADAS mit neuen, noch nicht bekannten Testszenarios zu testen/trainieren. Das Erzeugen von Testszenarios in großen Mengen und mit ausreichender Qualität ist mit bisherigen Methoden nicht immer möglich.
-
Visuell interpretierbaren Daten können von einer großen Menge an einer Vielzahl von Geräten aufgenommen werden. Zu diesen Geräten gehören Fahrzeugkameras und Verkehrskameras aber auch Kameras von Personen, beispielsweise Handykameras. Visuell interpretierbare Daten sind in großer Menge daher im Internet frei zugänglich, beispielsweise auf Soziale Medien Plattformen und/oder bei Navigationsplattformen. Dadurch, dass zum Erzeugen eines Testszenarios lediglich visuell interpretierbare Daten bereitgestellt werden müssen, und Daten aus keiner weiteren Datenquelle benötigt werden, wird es ermöglicht, eine große Vielzahl von Testszenarios zu erzeugen. Zudem wird eine szenariobasierte Entwicklung von ADAS ermöglicht.
-
Ein erfindungsgemäßes System zum Erzeugen von Testszenarios für ADAS umfasst ein erstes neuronales Netz zum Ermitteln von 3-D Objekten in einer Verkehrssituation. Die Verkehrssituation wurde aus einer Mediendatei mit visuell interpretierbaren Daten der Verkehrssituation ermittelt. Das erfindungsgemäße System umfasst zudem ein zweites neuronales Netz zum Zuweisen von Attributen zu den ermittelten 3-D Objekten und zum Erzeugen eines Testszenarios basierend auf den ermittelten 3-D Objekten und deren zugewiesenen Attributen.
-
3-D Objekte sind vorzugsweise Fahrzeuge und/oder Fußgänger, welche sich in der Verkehrssituation befinden. Dadurch, dass 3-D Objekte von dem ersten neuronalen Netz ermittelt werden, wird eine besonders präzise Ermittlung von Fahrzeugen und/oder Fußgängern ermöglicht.
-
Attribute sind vorzugsweise eine Ausrichtung der 3-D Objekte, eine Bewegung der 3-D Objekte und/oder Bewegungsprofile der 3-D Objekte. Dadurch, dass die Attribute durch das zweite neuronale Netz zugewiesen werden, wird es ermöglicht, dass die Attribute sehr realitätsnah zugewiesen werden.
-
Ein erfindungsgemäßes Computerprogrammprodukt umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein erfindungsgemäßes Verfahren zum Erzeugen von Testszenarios für ADAS durchzuführen.
-
Die abhängigen Ansprüche beschreiben vorteilhafte Ausführungsformen der Erfindung.
-
Bevorzugte Ausführungsbeispiele werden anhand der folgenden Figur näher erläutert.
- 1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Systems 1 zum Erzeugen von Testszenarios für ADAS. Das System 1 umfasst ein erstes neuronales Netz 2.
-
In einem ersten Schritt werden visuell interpretierbare Daten 16 einer Verkehrssituation 10 bereitgestellt.
-
In diesem Ausführungsbeispiel wurden die visuell interpretierbaren Daten 16 von einem System zur Navigation erzeugt, welches Straßenansichten von Routen bereitstellt. Die Daten 16 liegen als Bild vor. Alternativ wurden die Daten von einer Verkehrskamera erzeugt und liegen als Video vor. In einer weiteren alternativen Ausführungsform wurde ein einzelnes Bild aus einem Video extrahiert. Die Daten liegen dann ebenfalls in Form eines Bildes vor.
-
In einem darauffolgenden Schritt wird eine optische Perspektive auf die Verkehrssituation 10 anhand der visuell interpretierbaren Daten 16 ermittelt.
-
Diese Ermittlung wird durch das erste neuronale Netz 2 durchgeführt. In diesem Ausführungsbeispiel ist die Perspektive die eines Verkehrsteilnehmers. Alternativ ist die Perspektive eine Draufsicht auf die Verkehrssituation 10. Durch die Ermittlung der Perspektive wird es ermöglicht, ein neuronales Netz für die Durchführung der nächsten Schritte derart auszuwählen, dass es trainiert wurde mit Bildern aus derselben Perspektive, wie die ermittelte Perspektive. Dies ermöglicht es, 3-D Objekte präzise zu ermittelt.
-
Das erste neuronale Netz 2 ermittelt 3-D Objekte 11 in der Verkehrssituation 10 auf Grundlage der visuell interpretierbaren Daten 16. Dieser Schritt wird nach der Ermittlung der Perspektive durchgeführt.
-
Das Bild zeigt eine zweispurige Straße mit beidseitig angeordneten Parkplätzen. An die Parkplätze schließt sich jeweils ein Bürgersteig an. Auf einem links angeordneten Bürgersteig befindet sich ein Fußgänger. Auf einem rechts angeordneten Parkplatz befindet sich ein Fahrzeug. Auf einer rechts angeordneten Spur befindet sich ein weiteres Fahrzeug.
-
Das erste neuronale Netz 2 ermittelt den Fußgänger und die beiden Fahrzeuge als 3-D Objekte 11. In diesem Ausführungsbeispiel kennzeichnet das neuronale Netz 2 die 3-D Objekte mittels quaderförmigen Boxen. Die Boxen umschließen die 3-D Objekte 11 dabei vollständig. Die Boxen sind in ihrer Größe jeweils so gewählt, dass ihre Ausdehnung minimal ist, ohne dass Teile der 3-D Objekte 11 aus den Boxen herausragen.
-
In diesem Schritt werden zudem auch verkehrsrelevante Objekte berücksichtigt. So ermittelt das erste neuronale Netz 2 auch Ampeln und Verkehrsschilder als 3-D Objekte 11.
-
Das System 1 umfasst ein zweites neuronales Netz 3. Das zweite Neuronale Netz 3 weist den ermittelten 3-D Objekten 11 Attributen 12 zu.
-
In diesem Ausführungsbeispiel sind das erste neuronale Netz 2 und das zweite neuronale Netz 3 identisch. Alternativ sind die neuronalen Netze getrennt ausgebildet. Dabei kann eines der beiden neuronalen Netze auch als Rechner ausgebildet sind. Dies ermöglicht es, dass die verschiedenen Schritte des erfindungsgemäßen Verfahrens mittels verschiedener Verfahren durchgeführt werden können. So können einige Schritte mittels künstlicher Intelligenz durchgeführt werden und anderen modellbasiert.
-
Die Attribute 12 umfassen in diesem Ausführungsbeispiel die Art des 3-D Objektes 16. Zu den Arten zählen beispielsweise erwachsene Fußgänger, Kinder, PKW, LKW und Busse.
-
Zu den Attributen 12 zählen zudem die Ausrichtung der 3-D Objekte 11. So weist das erste neuronale Netz 2 eine Richtung zu, in welche ein Fahrzeug und/oder ein Fußgänger ausgerichtet ist.
-
Zu den Attributen 12 zählen auch Bewegungsgeschwindigkeiten der 3-D Objekte. 11. Diese werden ebenfalls den 3-Objekten 11 zugewiesen.
-
Zudem werden Abstände der ermittelten 3-D Objekte 11 zu einer Kamera 4 ermittelt. Mittels der Kamera 4 wurden die visuell interpretierbaren Daten 16 erzeugt.
-
Die Ermittlung der Abstände erfolgt durch das erste neuronale Netz 2. Dabei werden Fokusinformation aus den visuell interpretierbaren Daten 16 ausgewertet. Darauf basierend werden Abstände von den ermittelten 3-D Objekten zueinander ermittelt. Zu den Attributen 12 zählen auch diese ermittelten Abstände.
-
Die Zuweisung erfolgt dabei realitätsnah. Das bedeutet, dass einem Fahrzeug, welches auf einem Parkplatz steht, die Geschwindigkeit 0 zugewiesen wird. Ein Fußgänger, der bei dem nur ein Fuß Kontakt zum Boden aufweist wird hingegen eine Geschwindigkeit größer 0 zugewiesen. Abhängig von dem Abstand seiner Gliedmaßen zueinander wird die Geschwindigkeit erhöht bei großem Abstand und erniedrigt bei kleinem Abstand.
-
Alternativ werden die Attribute zufällig zugewiesen. Dies ermöglicht eine sehr schnelle Erzeugung einer großen Vielzahl von Testszenarios 13.
-
In einem nächsten Schritt wird ein Testszenario 13 zumindest teilweise mit den ermittelten 3-D Objekten 11 und deren zugewiesenen Attributen 12 erzeugt.
-
In diesem Ausführungsbeispiel wird das Testszenario 13 von dem ersten neuronalen Netz 2 erzeugt. Dabei werden der Fußgänger, das Fahrzeug auf dem Parkplatz und das Fahrzeug auf der rechten Spur sowie deren zugeordnete Attribute 12 berücksichtig. Das Testscenario 13 ist für Menschen nicht lesbar ausgebildet.
-
Danach wird mit den ermittelten 3-D Objekten 11 und deren zugewiesenen Attributen 12 ein Datensatz erzeugt. Der Datensatz wird mittels einer Zahlenbuchstabenkombination dargestellt.
-
Zahlenbuchstabenfolgen umfassen bevorzugt Ascii Zeichensätze, insbesondere arabische Zahlen und lateinische Buchstaben mit oder ohne Sonderzeichen. Dies ermöglicht eine einfache Verarbeitung des Datensatzes durch eine Vielzahl an international eingesetzten neuronalen Netzen und/oder anderen Rechnern.
-
In diesem Ausführungsbeispiel erfolgt die Darstellung des Datensatzes analog zu einer Methode, dargestellt in
DE 10 2019 119 566 .
-
Dadurch, dass der Datensatz derart dargestellt ist, wird es ermöglicht, dass Computersysteme, wie neuronale Netze diesen besonders leicht verarbeiten können. Dies wiederum ermöglicht beispielsweise ein einfaches Erstellen von Vorhersagen über eine zukünftige Entwicklung der Verkehrssituation. Dabei wird die Vorhersage bevorzugt direkt als ein Datensatz erstellt. Dies ermöglicht einen einfachen Transport der Vorhersage zu Verkehrsteilnehmern und/oder Verkehrssystemen. Dies ermöglicht eine Erhöhung der Sicherheit für Verkehrsteilnehmer.
-
Anschließend werden Kategorien 14 zur Kategorisierung des erzeugten Testszenarios 13 bereitgestellt.
-
In diesem Ausführungsbeispiel werden die Kategorien 14 von einer externen Quelle bereitgestellt. Die Kategorien basieren auf typischen 3-D Objekten 11 aus Verkehrssituationen, sowie deren zugeordneten Attributen. So zählen Busse, PKW, LKW, Fußgänger und Straßengegebenheiten zu den Kategorien. Weitere Kategorien umfassen Verhaltensweisen von Fußgängern und/oder Fahrern von Fahrzeugen. Dazu zählen beispielsweise aggressiv, entspannt und/oder ängstlich. Weitere Kategorien umfassen typische Bewegungsabläufe, wie Abbiegen, Beschleunigen, Abbremsen und/oder Überholen.
-
Mittels der Kategorien 14 wird das erzeugte Testszenario 13 anhand der ermittelten 3-D Objekte 11 und deren zugewiesenen Attributen 12 kategorisiert.
-
Es werden in der Regel mehrere Kategorien zu einem Testszenario 13 zugeordnet. Dabei beziehen sich die zugeordneten Kategorien auf die ermittelten 3-D Objekte 11, die zugewiesenen Attribute 12.
-
Es wird eine visuelle Darstellung des erstellten Testszenarios 13 durch Interpretation des erzeugten Testszenarios 13 erzeugt.
-
In diesem Ausführungsbeispiel wird eine Simulation des Testszenarios 13 erstellt durch das erste neuronale Netz erstellt 2. Die Simulation umfasst eine Draufsicht auf die Verkehrssituation 10. Die zugewiesenen Attribute 12 sind graphisch in die Simulation eingefügt. Bewegungsgeschwindigkeiten und Bewegungstrajektorien der 3-D Objekte 11 sind als Pfeile in der Draufsicht draufgestellt.
-
In diesem Ausführungsbeispiel umfasst die Simulation die visuell interpretierbaren Daten
16 und eine Augmentation für die Daten
16. Die Daten werden dafür mit einer Simulation von Verkehrsteilnehmern erweitert. Dies ermöglicht Tests für visuelle Sensoren, wie beispielsweise Kameras, von ADAS Systemen. Insbesondere werden Tests für Objekterkennungskomponenten von derartigen Systemen ermöglicht. Ein Ausführungsbeispiel für das Augmentieren ist in der
DE 10 2019 111 883 offenbart.
-
Dies dient dazu, dass das Testszenario 13 für einen menschlichen Betrachter optisch zugänglich ist. Dies ermöglicht es dem menschlichen Betrachter das Testszenario 13 schnell und effizient zu erfassen und ggf. für einen Test von einem ADAS auszuwählen.
-
In diesem Ausführungsbeispiel wird zusätzlich eine Beschreibung in Textform für das ermittelte Testszenario 13 erzeugt. Grundlage für die Beschreibung in Textform sind die 3-D Objekte 11, die zugewiesenen Attribute 12 und/oder die zugeordneten Kategorien 14.
-
Es wird eine Datenbank 5 mit vorhandenen Testszenarios und Kategorien 14 für die vorhandenen Testszenarios bereitgestellt. Ein Datenbankeintrag umfasst ein vorhandenes Testszenario und ein oder mehrere dem vorhandenen Testszenario zugordnete Kategorien.
-
In diesem Ausführungsbeispiel umfasst der Datenbankeintrag auch die erstellte Simulation und alle zugeordneten Kategorien 14.
-
Das kategorisierte erzeugten Testszenario 13 wird zu der Datenbank 5 hinzugefügt, falls die Datenbank 5 keinen Datenbankeintrag umfasst, der dieselbe Kategorisierung wie das kategorisierte erzeugte Testszenario aufweist.
-
In diesem Ausführungsbeispiel wird das Testszenario 13 der Datenbank 5 hinzugefügt, da die zugeordneten Kategorien in ihrer Gesamtheit für noch keinen Datenbankeintrag vorhanden sind. Dies ermöglicht es, dass nur solche Testszenarios in die Datenbank 5 aufgenommen werden, die neu sind. Damit wird er es ermöglicht, dass die Datenbank 5 nicht mit redundanten Datenbankeinträgen gefüllt wird.
-
Alternativ wird mittels eines in der
DE 10 2019 119 567 offenbarten Verfahrens bestimmt, ob es sich bei dem erzeugten Datenbankeintrag um einen neuen Datenbankentrag handelt. Dabei wird eine Vorhersage über eine zukünftige Entwicklung der Verkehrssituation
10 erstellt. Diese Vorhersage wird dann mit einer tatsächlichen Entwicklung der Verkehrssituation verglichen. Weicht die Vorhersage um mehr als einen Grenzwert von der tatsächlichen Entwicklung ab, wird die Datenbankeintrag als neu bewertet und in die Datenbank
5 aufgenommen. Die Vorhersage wird dabei von einem neuronalen Netz ermittelt.
-
In einem zweiten Ausführungsbeispiel werden die Attribute 12 derart zu den 3-D Objekten 11 zugewiesen, dass zu einem kategorisierten erzeugten Testszenario 13 die Datenbank 5 keinen Datenbankeintrag umfasst, der dieselbe Kategorisierung aufweist, wie das kategorisierte erzeugte Testszenario 13.
-
In diesem Ausführungsbeispiel ist es die spezielle Zielsetzung, neue Datenbankeinträge für die Datenbank 5 zu erzeugen. Dazu wird zunächst die Datenbank 5 dahingehend analysiert, für welche Kategorisierungen noch keine Datenbankeinträge vorhanden sind. Für diese Lücken werden dann die entsprechenden Kategorien 14 ermittelt. Die Attribute 12 werden dann so vergeben, dass die die ermittelte Kategorisierung ergibt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019119567 [0002, 0048]
- DE 102019119566 [0033]
- DE 102019111883 [0041]
