-
Die Erfindung betrifft ein Verfahren für ein autonomes Fahrzeug zum Detektieren von und/oder Reagieren auf Lebewesen in einer Umgebung des autonomen Fahrzeugs, ein autonomes Fahrzeug, ein neuronales Netz und ein Computerprogrammprodukt.
-
Die
US2019347938 offenbart ein Verfahren zum Detektieren von Fußgängern in einer Umgebung eines Fahrzeugs.
-
Ein erfindungsgemäßes Verfahren für ein autonomes Fahrzeug zum Detektieren von und/oder Reagieren auf Lebewesen in einer Umgebung des autonomen Fahrzeugs umfasst die Schritte:
- - Erfassen eines ersten Wärmebildes einer Umgebung eines autonomen Fahrzeugs mittels einer Wärmebildkamera des autonomen Fahrzeugs;
- - Analysieren des ersten Wärmebildes zwecks Detektion von Lebewesen mittels eines neuronalen Netzes;
- - Ermitteln von Reaktionen für das autonome Fahrzeug basierend auf der Analyse des ersten Wärmebildes mittels des neuronalen Netzes;
- - Steuern einer Ausführung der Reaktionen durch eine Steuerungseinrichtung des autonomen Fahrzeugs.
-
Dadurch, dass ein Wärmebild von einer Umgebung des autonomen Fahrzeugs erfasst wird, wird es ermöglicht, dass Lebewesen in der Umgebung des Fahrzeugs insbesondere auch bei Dunkelheit detektiert werden. Damit werden auch solche Lebewesen detektiert, die nicht oder nur sehr schlecht durch Analyse des für Menschen sichtbaren Spektrums detektierbar sind.
-
Dadurch, dass das Analysieren des Wärmebildes und das Ermitteln der Reaktion mittels eines neuronalen Netzes erfolgt, wird eine präzise Detektion von Lebewesen ermöglicht.
-
Dadurch, dass anhand des ersten Wärmebildes Reaktionen für das autonome Fahrzeug ermittelt werden und dadurch, dass eine Ausführung der Reaktionen von der Steuerungseinrichtung des autonomen Fahrzeugs gesteuert wird, wird es ermöglicht, durch Lebewesen verursachte Unfälle zu vermeiden. Dies erhöht vorteilhaft die Sicherheit für das autonome Fahrzeug und die Lebewesen.
-
Autonome Fahrzeuge umfassen bevorzugt vollständig und/oder teilweise autonome Fahrzeuge, also Fahrzeuge mit jedem Grad an Autonomie.
-
Fahrzeuge umfassen bevorzugt Personenkraftwagen, Lastkraftwagen, landwirtschaftliche Nutzfahrzeuge und/oder Schienenfahrzeuge.
-
Vorzugsweise umfassen die Lebewesen Wildtiere, welche sich in Bereichen befinden, die an Straßen und/oder Schienen angrenzen, auf welchen sich das autonome Fahrzeug befindet. Dadurch wird es ermöglicht, insbesondere Wildunfälle zu vermeiden.
-
Wild neigt dazu, in der Dämmerung und/oder in der Dunkelheit aktiv zu sein, so dass dann in der Regel ein erhöhtes Risiko für Wildunfälle mit Fahrzeugen vorliegt. Fahrzeuge umfassen in der Regel lediglich solche Kameras, welche im für Menschen sichtbaren Spektrum arbeiten. Fahrer von Fahrzeugen können ebenfalls optische Signale nur in diesem Spektrum detektieren. Demnach ist es insbesondere bei Dunkelheit schwierig, Wild zu erkennen, welches sich in der Umgebung des Fahrzeugs befindet. Durch das erfindungsgemäße Verfahren wird es ermöglicht Wildunfälle auch mit kleinen Wildtieren zu vermeiden, da auch diese auf Wärmebildern detektierbar sind.
-
Ein erfindungsgemäßes autonomes Fahrzeug zum Detektieren von und/oder Reagieren auf Lebewesen in einer Umgebung des autonomen Fahrzeugs ist ausgebildet und eingerichtet, ein erfindungsgemäßes Verfahren für ein autonomes Fahrzeug zum Detektieren von und/oder Reagieren auf Lebewesen in einer Umgebung des autonomen Fahrzeugs, durchzuführen. Das autonome Fahrzeug umfasst eine Wärmebildkamera zum Erfassen eines Wärmebildes einer Umgebung des autonomen Fahrzeugs. Das autonome Fahrzeug umfasst zudem eine Schnittstelle zu einem neuronalen Netz. Das neuronale Netz ist ausgebildet und eingerichtet, das Wärmebild zwecks Detektion von Lebewesen zu analysieren und anhand der Analyse eine Reaktion für das autonome Fahrzeug zu ermitteln. Das autonome Fahrzeug umfasst zudem eine Steuerungseinrichtung. Die Steuerungseinrichtung ist ausgebildet und eingerichtet, ein Ausführen der Reaktionen zu steuern.
-
Dadurch, dass das autonome Fahrzeug eine Schnittstelle zu einem neuronalen Netz umfasst, wird es ermöglicht, dass das neuronale Netz an einer von dem autonomen Fahrzeug räumlichen getrennten Position positioniert ist. Dies ermöglicht es, dass das neuronale Netz mit einer großen maximalen Rechenleistung ausgestattet ist und eine sichere und stabile Stromversorgung und/oder Internetanbindung aufweist. Dadurch wird es ermöglicht, das neuronale Netz fortlaufend zu trainieren, was eine präzise Detektion von Lebewesen ermöglicht. Bei einer Positionierung des neuronalen Netzes innerhalb des Fahrzeugs würde dies zu einem erhöhten Gewicht des autonomen Fahrzeugs führen, beziehungsweise wäre nur schwer und/oder gar nicht umsetzbar.
-
Ein erfindungsgemäßes neuronales Netz zum Detektieren von und/oder Ermitteln von Reaktionen auf Lebewesen in einer Umgebung des autonomen Fahrzeugs wurde trainiert anhand von Wärmebildern, um Lebewesen in Wärmebildern zu detektieren, deren Abstand zu Wärmebildkameras zu ermitteln und/oder ein voraussichtliches Bewegungsmuster der detektierten Lebewesen vorherzusagen.
-
Dadurch, dass das neuronale Netz derart trainiert wurde, wird eine präzise Detektion von Lebewesen ermöglicht. Zudem wird es mittels der Ausführung der ermittelten Reaktion ermöglicht, das Risiko für Wildunfälle zu reduzieren und/oder zu eliminieren.
-
Ein erfindungsgemäßes Computerprogrammprodukt umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein erfindungsgemäßes Verfahren für ein autonomes Fahrzeug zum Detektieren von und/oder Reagieren auf Lebewesen in einer Umgebung des autonomen Fahrzeugs durchzuführen.
-
Die Vorteile der erfindungsgemäßen Verfahren ergeben sich in gleicher Weise für die das erfindungsgemäße Computerprogrammprodukt.
-
Die abhängigen Ansprüche beschreiben weitere vorteilhafte Ausführungsformen der Erfindung.
-
Bevorzugte Ausführungsbeispiele werden anhand der folgenden Figuren näher erläutert. Dabei zeigt
- 1 schematisch ein Ausführungsbeispiel eines erfindungsgemäßen autonomen Fahrzeugs,
- 2 schematisch ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens für ein autonomes Fahrzeug zum Detektieren von und/oder Reagieren auf Lebewesen in einer Umgebung des autonomen Fahrzeugs.
-
1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen autonomen Fahrzeugs 1. Das autonome Fahrzeug 1 umfasst eine Wärmebildkamera 2 zum Erfassen eines Wärmebildes 7 einer Umgebung des autonomen Fahrzeugs 1.
-
Die Wärmebildkamera 2 ist ausgebildet und eingerichtet, einen Bereich in der Umgebung des autonomen Fahrzeugs 1 zu erfassen, welcher seitlich des autonomen Fahrzeugs 1 angeordnet ist.
-
In diesem Ausführungsbeispiel ist die Wärmebildkamera 2 in einer Windschutzscheibe des autonomen Fahrzeugs 1 befestigt. Die Wärmebildkamera 2 erfasst die Umgebung in einem Winkel von 180°. Dies ermöglicht es, dass seitliche Bereiche zu beiden Seiten des autonomen Fahrzeugs 1 erfasst werden. Alternativ umfasst das autonome Fahrzeug zwei Wärmebildkameras, die in zwei Seitenfenstern des Fahrzeugs 1 angebracht sind. Dies ermöglicht ebenfalls, dass Bereiche zu beiden Seiten des Fahrzeugs 1 erfasst werden.
-
Das autonome Fahrzeug 1 umfasst zudem eine Schnittstelle zu einem Ausführungsbeispiel eines erfindungsgemäßen neuronalen Netzes 3. Das neuronale Netz 3 ist ausgebildet und eingerichtet, das Wärmebild 7 zwecks Detektion von Lebewesen 8 zu analysieren und anhand der Analyse eine Reaktion für das autonome Fahrzeug 1 zu ermitteln.
-
Das neuronale Netz 3 wurde trainiert anhand von Wärmebildern 7, um Lebewesen 8 in Wärmebildern 7 zu detektieren, deren Abstand zu Wärmebildkameras 2 zu ermitteln und/oder ein voraussichtliches Bewegungsmuster der detektierten Lebewesen 8 vorherzusagen.
-
Das neuronale Netz 3 ist als Hochleistungsrechner ausgebildet. Es ist stationär, wodurch eine gute Anbindung an eine Strom- und Internetversorgung ermöglicht wird.
-
Das Training des neuronalen Netzes 3 erfolgte mit gängigen Methoden zum Trainieren von neuronalen Netzen. In diesem Ausführungsbeispiel erfolgte das Training mit einer großen Zahl an Wärmebildern insbesondere von Wildtieren. Zudem wurde das neuronale Netz 3 auch mit Wärmebildern von Fußgängern, Rollerfahrern, Rollschuhfahrern, Fahrradfahrern, Motorradfahrern und Fahrern von Fahrzeugen trainiert.
-
Das autonome Fahrzeug 1 umfasst zudem eine Steuerungseinrichtung 4. Die Steuerungseinrichtung 4 ist ausgebildet und eingerichtet, ein Ausführen der Reaktionen zu steuern.
-
Die Steuerungseinrichtung 4 steuert in diesem Ausführungsbeispiel Scheinwerfer, eine Hupe und ein Bremssystem des Fahrzeugs 1. Weiterhin steuert die Steuerungseinrichtung 4 eine Alarmeinrichtung, welche es ermöglicht, Insassen des Fahrzeugs 1 optisch, akustisch und haptisch zu warnen.
-
In diesem Ausführungsbeispiel sind die Lebewesen 8 Wildtiere, welche sich in einem Bereich befinden, der an eine Straße angrenzt, auf welcher sich das autonome Fahrzeug 1 befindet. Das Fahrzeug 1 fährt in diesem Ausführungsbeispiel auf und entlang einer Straße. Die Umgebung des Fahrzeugs 1 ist dunkel. In Fahrtrichtung rechts neben der Straße befindet sich ein bewaldeter Bereich. In Fahrtrichtung links neben der Straße befindet sich ein Wiesenbereich. Ein Hirsch hält sich in dem bewaldeten Bereich, etwa 30 m abseits der Straße auf. Der Hirsch weist eine für lebende Hirsche typische Körpertemperatur auf. Der Hirsch ist für Insassen des Fahrzeugs 1 aufgrund der Dunkelheit nicht sichtbar. Ebenso wenig ist er für Kameras sichtbar, welche sensitiv auf Licht im für Menschen sichtbaren Spektrum sind. Damit ist der Hirsch nicht detektierbar für andere Assistenzsysteme des Fahrzeugs 1, welche von derartigen Kameras der genannten Art unterstützt werden.
-
2 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens für das Ausführungsbeispiel des erfindungsgemäßen autonomen Fahrzeugs 1 zum Detektieren von und/oder Reagieren auf Lebewesen 8 in einer Umgebung des autonomen Fahrzeugs 1.
-
In einem ersten Schritt 10 erfolgt ein Erfassen eines ersten Wärmebildes 7 einer Umgebung des autonomen Fahrzeugs 1 mittels der Wärmebildkamera 2 des autonomen Fahrzeugs 1.
-
Das erste Wärmebild 7 umfasst einen Bereich, welcher den Hirsch einschließt. Demnach umfasst das erste Wärmebild 7 ein Abbild des Hirsches.
-
In diesem Ausführungsbeispiel umfasst das Fahrzeug 1 eine Kommunikationseinrichtung. Diese ermöglicht einen Transfer des ersten Wärmebildes 7 zu dem neuronalen Netz 3 mittels mobiler Netzwerke. Nach dem Erfassen des ersten Wärmebildes 7 wird dieses mittels der Kommunikationseinrichtung zu dem neuronalen Netz 3 übermittelt.
-
In einem darauffolgenden Schritt 20 erfolgt ein Analysieren des ersten Wärmebildes 7 zwecks Detektion von Lebewesen 8 mittels des neuronalen Netzes 3.
-
Das neuronale Netz 3 analysiert das erste Wärmebild 7 und detektiert ein Lebewesen aufgrund der Wärmesignatur welche auf dem ersten Wärmebild 7 abgebildet ist. Die Analyse ergibt zudem, dass das Lebewesen ein Hirsch ist, welcher sich etwa 30 m entfernt von der Wärmebildkamera 2 und damit dem Fahrzeug 1 befindet.
-
In einem darauffolgenden Schritt 30 erfolgt ein Ermitteln von Reaktionen für das autonome Fahrzeug 1 basierend auf der Analyse des ersten Wärmebildes 7 mittels des neuronalen Netzes 3.
-
In diesem Ausführungsbeispiel ist in dem neuronalen Netz 3 eine Liste hinterlegt, welche verschiedenen detektierten Lebewesen in verschiedenen Abständen vom Fahrzeug 1 verschiedenen Reaktionen zuordnet. Ein Abgleich mit der Liste erfolgt. So wird eine erste Reaktion ermittelt. Diese umfasst das akustische, optische und haptische Warnen von Insassen des Fahrzeugs 1. Das akustische Warnen erfolgt dabei mittels eines Signaltons, welcher von den Insassen des Fahrzeugs 1 vernommen wird. Das optische Signal umfasst ein Aufleuchten einer Warnleuchte. Das haptische Signal umfasst ein Vibrieren eines Lenkrades des Fahrzeugs 1. Alle Signale sind geeignet, den Insassen zu vermitteln, dass ein manuelles Eingreifen in die Fahrt des Fahrzeugs 1 bevorstehen könnte. Dadurch, dass die drei Signale unterschiedlicher Art sind, wird die Wahrscheinlichkeit dafür erhöht, dass sie von Insassen des Fahrzeugs 1 bemerkt werden.
-
In einem alternativen Ausführungsbeispiel befindet sich der Hirsch in einer Entfernung von 10 m zu dem Fahrzeug 1. Für diesen Fall ist in der Liste eine zweite Reaktion hinterlegt, die ein Hupen des Fahrzeugs 1, ein Aufblenden von Schweinwerfern des Fahrzeugs 1 und ein Verzögern des Fahrzeugs 1 umfasst. Das Hupen und das Aufblenden der Schweinwerfer sind geeignet eine Wahrscheinlichkeit dafür zu erhöhen, dass der Hirsch sich in eine Richtung bewegen wird, die seinen Abstand zu dem Fahrzeug 1 vergrößert. Dies würde die Wahrscheinlichkeit für einen Zusammenstoß des Fahrzeugs 1 mit dem Hirsch verringern.
-
In einem weiteren alternativen Ausführungsbeispiel ermittelt das neuronale Netz 3 eine Reaktion basierend auf Trainingsdaten, mit denen es trainiert wurde. Die Trainingsdaten umfassen dabei insbesondere von Fahrzeugen durchgeführt Reaktionen auf Lebewesen in einer Umgebung der Fahrzeuge und ob es in Folge der Begegnung mit den Lebewesen zu Unfällen kam. Dies ermöglicht ein Ermitteln von Reaktionen, welche wahrscheinlich zu einer Vermeidung von Unfällen führen.
-
In einem darauffolgenden Schritt 40 erfolgt ein Steuern einer Ausführung der Reaktionen durch eine Steuerungseinrichtung 4 des autonomen Fahrzeugs 1.
-
Die in diesem und den alternativen Ausführungsbeispielen ermittelten Reaktionen werden, gesteuert von der Steuerungseinrichtung 4, ausgeführt. In diesem Ausführungsbeispiel übernimmt ein Insasse des Fahrzeugs 1 manuell die Steuerung des Fahrzeugs 1. Der Insasse bremst das Fahrzeug 1. Der Hirsch erhöht den Abstand zum Fahrzeug 1, so dass es nicht zu einem Unfall kommt. Der Insasse übergibt danach die Steuerung wieder an das Fahrzeug 1, welches die Fahrt fortsetzt.
-
In dem alternativen Ausführungsbeispiel vergrößert der Hirsch, aufgeschreckt durch das Hupen und die aufgeblendeten Scheinwerfer ebenfalls den Abstand zum dem Fahrzeug 1. Das Fahrzeug 1 setzt daraufhin die Fahrt fort.
-
In weiteren und dazu alternativen Ausführungsbeispielen erfolgt in einem weiteren Schritt nach Schritt 10 ein Erfassen eines zweiten Wärmebildes der Umgebung des autonomen Fahrzeugs 1 mittels der Wärmebildkamera 2. Das zweite Wärmebild wird in einem zeitlichen Abstand zu dem ersten Wärmebild 7 erfasst.
-
Der zeitliche Abstand beträgt 0.1 Sekunden.
-
Das erste Wärmebild 7 erfasst einen ersten räumlichen Bereich der Umgebung des autonomen Fahrzeugs 1, welcher mindestens teilweise mit einem zweiten räumlichen Bereich übereinstimmt, der von dem zweiten Wärmebild erfasst wird.
-
Der erfasste räumliche Bereich des zweiten Wärmebildes ist dabei um die Fahrt des Fahrzeugs 1 innerhalb der 0.1 Sekunden verschoben. Der Hirsch ist auch von dem zweiten Wärmebild erfasst.
-
In einem weiteren Schritt dieses alternativen Ausführungsbeispiels erfolgt ein Analysieren des ersten Wärmebildes 7 und des zweiten Wärmebildes zwecks Ermittlung einer Bewegung des Lebewesens 8 innerhalb des zeitlichen Abstandes mittels des neuronalen Netzes 3.
-
Das neuronale Netz 3 ermittelt dabei, dass der Hirsch sich auf das Fahrzeug 1 zubewegt mit einer Geschwindigkeit von 0.2 m/s.
-
In einem weiteren Schritt dieses alternativen Ausführungsbeispiels erfolgt ein Ermitteln einer Vorhersage eines voraussichtlichen Bewegungsmusters des Lebewesens 8 basierend auf der ermittelten Bewegung des Lebewesens 8 mittels des neuronalen Netzes 3.
-
Das neuronale Netz 3 ermittelt dabei, dass sich der Hirsch weiter auf das Fahrzeug 1 zubewegen wird, mit sich erhöhender Geschwindigkeit. Diesen Ermittlungen zur Folge, wird der Hirsch in naher Zukunft mit dem Fahrzeug 1 kollidieren.
-
In diesem alternativen Ausführungsbeispiel erfolgt nun ein Ermitteln von Reaktionen für das autonome Fahrzeug 1 basierend auf der Vorhersage des voraussichtlichen Bewegungsmusters des Lebewesens 8 mittels des neuronalen Netzes
-
Die Reaktionen umfassen alle in den vorherigen Ausführungsbeispielen genannten Reaktionen. Alternativ wird ein Ausweichmanöver des Fahrzeugs als Reaktion ermittelt, welches dem Fahrer zur manuellen Umsetzung vorgeschlagen wird oder von dem Fahrzeug 1 autonom ausgeführt wird. In diesem Fall wird von dem Fahrer und/oder dem neuronalen Netz 3 überprüft, inwieweit ein solches Ausweichmanöver sicher für das Fahrzeug 1 durchgeführt werden kann. Das neuronale Netz 3 ermittelt dann diejenige Möglichkeit als Reaktion, welche die höchste Sicherheit für das Fahrzeug 1 und das Lebewesen birgt.
-
In einem weiteren Schritt dieses alternativen Ausführungsbeispiels erfolgt, analog zum ersten Ausführungsbeispiel ein Steuern einer Ausführung der Reaktionen durch eine Steuerungseinrichtung 4 des autonomen Fahrzeugs 1.
-
Analog zu den vorherigen Ausführungsbeispielen führen die ausgeführten Reaktionen zu einem Entfernen des Hirschs von dem Fahrzeug 1. Das Fahrzeug 1 setzt daraufhin seine Fahrt fort.
-
Das autonome Fahrzeug 1 umfasst ein Computerprogrammprodukt 9. Das Computerprogrammprodukt 9 umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein erfindungsgemäßes Verfahren für ein autonomes Fahrzeug 1 zum Detektieren von und/oder Reagieren auf Lebewesen 8 in einer Umgebung des autonomen Fahrzeugs 1 durchzuführen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
