DE102018123367A1

DE102018123367A1 - Verfahren zum Verbessern der Fahrsicherheit basierend auf der Erkennung spezieller Schilder

Info

Publication number: DE102018123367A1
Application number: DE102018123367.1A
Authority: DE
Inventors: Arindam Das; Mohamed Jauhar
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2018-09-24
Filing date: 2018-09-24
Publication date: 2020-03-26

Abstract

Durch die Erfindung ist ein in einem Fahrunterstützungssystem (14) eines Fahrzeugs (16) angewendetes Verfahren zum Verbessern der Fahrsicherheit basierend auf der Erkennung spezieller Schilder (10) angegeben, die an Fremdfahrzeugen (12) bereitgestellt werden, mit den Schritten zum Bereitstellen eines zweidimensionalen Felds von Datenpunkten der Umgebung (40) des Fahrzeugs (16) durch mindestens einen Umgebungssensor (18), Erkennen von Drittfahrzeugen (12) im zweidimensionalen Feld von Datenpunkten, Segmentieren des zweidimensionalen Felds von Datenpunkten basierend auf den erkannten Fremdfahrzeugen (12), Erkennen eines speziellen Schildes (10) in dem Segment des zweidimensionalen Felds von Datenpunkten, das eines der Fremdfahrzeuge (12) enthält, und Ausführen einer Aktion gemäß dem erkannten speziellen Schild (10). Durch die Erfindung ist auch ein Fahrunterstützungssystem (14) zum Ausführen des vorstehenden Verfahrens angegeben.

Description

Die vorliegende Erfindung betrifft ein in einem Fahrunterstützungssystem eines Fahrzeugs angewendetes Verfahren zum Verbessern der Fahrsicherheit basierend auf der Erkennung spezieller Schilder, die an Fremdfahrzeugen bereitgestellt werden.
Auch betrifft die vorliegende Erfindung ein Fahrunterstützungssystem zum Ausführen des vorstehenden Verfahrens.
Autonomes und semi-autonomes Fahren werden in der Automobilindustrie immer wichtiger. Prototypen für autonomes Fahren sind bereits entwickelt und eingesetzt worden und werden gegenwärtig getestet, teilweise sogar unter realen Fahrsituationen. Autonomes Fahren wird als eine bahnbrechende Technologie im Automobilsektor betrachtet.
Autonomes und semi-autonomes Fahren basiert auf der Kenntnis der Umgebung des Fahrzeugs, das im Folgenden als Ego-Fahrzeug bezeichnet wird. Im Ego-Fahrzeug können verschiedenartige Umgebungssensoren verwendet werden, um seine Umgebung zu überwachen. Solche Umgebungssensoren können eine oder eine beliebige Kombination von Sensoren aus einer Gruppe bestehend aus Ultraschallsensoren, LiDAR-basierten Sensoren, Radarsensoren und optischen Kameras aufweisen. Basierend auf Sensordaten von diesen Umgebungssensoren kann ein Fahrunterstützungssystem z.B. Verkehrszeichen identifizieren und auf eine geeignete Weise agieren. Beispielsweise kann das Fahrunterstützungssystem, nachdem es ein Geschwindigkeitsbegrenzungsverkehrszeichen erkannt hat, seine Geschwindigkeit autonom an die vorgeschriebene Geschwindigkeitsbegrenzung anpassen, oder es kann den Fahrer anweisen, die Geschwindigkeit gemäß der vorgeschriebenen Geschwindigkeitsbegrenzung zu reduzieren.
Das Identifizieren von Fremdfahrzeugen und einer geeigneten Aktion für eine Fahrsituation ist weitaus komplexer als eine Verkehrszeichenerkennung. Die Verkehrszeichenerkennung beruht auf der Tatsache, dass Verkehrsschilder entlang der Straße oder Fahrbahn entweder seitlich neben der Straße oder auf Rahmen angeordnet sind, die die Straße oder Fahrbahn überbrücken. Manchmal kann Verkehrszeicheninformation auf der Straße oder Fahrbahn dargestellt sein. Daher wird die Eingabe für eine Verkehrszeichenerkennung im Allgemeinen durch Umgebungssensoren erfasst, die an der Vorderseite des Fahrzeugs angeordnet sind. Im Gegensatz zu dieser einfachen Einschränkung für Verkehrszeichen können Fremdfahrzeuge auf jeder Seite des Ego-Fahrzeugs erscheinen. Daher erfordert das zuverlässige Identifizieren von Fremdfahrzeugen den Empfang von Eingaben von Umgebungssensoren, die die gesamte Umgebung des Ego-Fahrzeugs abdecken.
Darüber hinaus ist auch die Aktion, die der Fahrer oder das Fahrunterstützungssystem nach der Erkennung eines Verkehrszeichens ausführt, typischerweise weniger komplex als bei der Erkennung eines Fremdfahrzeugs. Beispielsweise ist es für einen menschlichen Fahrer fast selbstverständlich, einen Sicherheitsabstand zu einem Fahrzeug einzuhalten, an dem ein Fahranfängerschild angebracht ist, um eine gefährliche Situation zu vermeiden. Es ist jedoch schwierig, eine solche situationsspezifische Aktion in einem Fahrunterstützungssystem zu implementieren.
Daher können Verfahren zur Verkehrszeichenerkennung nicht leicht angepasst werden, um die Fahrsicherheit basierend auf der Identifizierung von Fremdfahrzeugen und bestimmten Fahrzeugklassen mit einem allgemein erhöhten Risiko oder einer allgemein erhöhten Gefahr bei der Teilnahme am gemeinsamen Verkehr zu verbessern.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren für eine verbesserte Fahrsicherheit basierend auf der Erkennung spezieller Schilder anzugeben, die an Fremdfahrzeugen bereitgestellt werden.
Die Lösung der Aufgabe erfolgt durch die unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
Insbesondere ist durch die vorliegende Erfindung ein in einem Fahrunterstützungssystem eines Fahrzeugs angewendetes Verfahren zum Verbessern der Fahrsicherheit basierend auf der Erkennung spezieller Schilder angegeben, die an Fremdfahrzeugen bereitgestellt werden, mit den Schritten zum Bereitstellen eines zweidimensionalen Felds von Datenpunkten der Umgebung des Fahrzeugs durch mindestens einen Umgebungssensor, Erkennen von Fremdfahrzeugen in dem zweidimensionalen Feld von Datenpunkten, Segmentieren des zweidimensionalen Felds von Datenpunkten basierend auf den erkannten Fremdfahrzeugen, Erkennen eines speziellen Schildes in dem Segment des zweidimensionalen Felds von Datenpunkten, das eines der Fremdfahrzeuge enthält, und Ausführen einer Aktion gemäß dem erkannten speziellen Schild.
Durch die vorliegende Erfindung ist auch ein Fahrunterstützungssystem zum Ausführen des vorstehenden Verfahrens angegeben.
Grundidee der Erfindung ist es, Fremdfahrzeuge zu identifizieren, an denen spezielle Schilder befestigt sind oder die durch Zeichen auf den Fahrzeugen gekennzeichnet sind. Die Fahrsicherheit wird basierend auf einer Identifizierung von Fremdfahrzeugen und insbesondere von bestimmten Fahrzeugklassen mit einem allgemein erhöhten Risiko oder einer allgemein erhöhten Gefahr bei der Teilnahme am gemeinsamen Verkehr verbessert. Dies ermöglicht es, spezifische Situationen zu identifizieren und gemäß der spezifischen Situation eine geeignete Aktion auszuführen.
Das Verfahren weist den Schritt zum Bereitstellen eines zweidimensionalen Felds von Datenpunkten der Umgebung des Fahrzeugs durch mindestens einen Umgebungssensor auf. Solche Umgebungssensoren können verschiedenartige Sensoren aufweisen, z.B. LiDAR-basierte Sensoren, Radarsensoren und/oder optische Kameras. Das zweidimensionale Feld von Datenpunkten wird durch mindestens einen Umgebungssensor des Fahrzeugs bereitgestellt. Das zweidimensionale Feld stellt mindestens einen Teil der Umgebung des Fahrzeugs dar. Abhängig von der Art des Sensors kann das zweidimensionale Feld von Datenpunkten die Umgebung in einem kartesischen Format oder in einem polaren Format darstellen. Die Datenpunkte selbst können mit weiterer Information annotiert sein.
Beispielsweise ist eine Kamera ein optisches Instrument zum Aufzeichnen oder Aufnehmen von Bildern, die einzelne Standbilder oder Sequenzen von Bildern sein können, die Videos oder Filme bilden. Die Kamera liefert ein pixelbasiertes Bild als zweidimensionales Feld von Datenpunkten, wobei die einzelnen Pixel Information in den drei Farbkanälen RGB enthalten. Radarsensoren verwenden Funkwellen zum Bestimmen des Bereichs, des Winkels oder der Geschwindigkeit von Objekten. LiDAR-basierte Sensoren messen die Entfernung zu einem Objekt, indem sie das Objekt mit gepulstem Laserlicht beleuchten und die reflektierten Impulse messen. Unterschiede in den Laser-Rücklaufzeiten, Wellenlängen und der Intensität können dann verwendet werden, um eine digitale 3-D-Darstellung der Umgebung des Fahrzeugs bereitzustellen.
Durch die Verwendung verschiedenartiger Sensoren, insbesondere wenn sie in Kombination verwendet werden, wird ermöglicht, dass das zweidimensionale Feld, das mindestens einen Teil der Umgebung des Fahrzeugs darstellt, Information enthält, die ein menschlicher Fahrer nicht leicht erfassen kann. Dies ist besonders nützlich bei schlechten Wetterverhältnissen, bei eingeschränkter Sicht oder bei Nacht.
Weitere Schritte in dem Verfahren sind das Erkennen von Fremdfahrzeugen in dem zweidimensionalen Feld von Datenpunkten und das Segmentieren des zweidimensionalen Felds von Datenpunkten basierend auf den erkannten Fremdfahrzeugen. Dieser zweistufige Ansatz ermöglicht es, die zu verarbeitende Datenmenge zu reduzieren, was für eine schnelle Verarbeitung wichtig ist. Daher kann das Erfassen und Erkennen der speziellen Schilder auf solche Segmente des zweidimensionalen Felds von Datenpunkten beschränkt werden, die die Fremdfahrzeuge enthalten.
Das Verfahren weist auch die Schritte zum Erkennen eines speziellen Schildes in dem Segment des zweidimensionalen Felds von Datenpunkten, das eines der Fremdfahrzeuge enthält, und das Ausführen von Aktionen gemäß dem erkannten speziellen Schild auf. Daher können spezifische Situationen identifiziert und die Fahrsicherheit verbessert werden.
Das Fahrzeug, z.B. das Ego-Fahrzeug, kann gemäß der vorliegenden Erfindung ein Fahrzeugtyp wie beispielsweise ein Pkw oder ein Lkw sein. Das Fahrzeug kann manuell gesteuert werden. Alternativ unterstützt das Fahrzeug semi-autonomes oder autonomes Fahren. Es ist möglich, dass das Fahrzeug Insassen, wie beispielsweise einen Fahrer, transportiert oder zur Frachtabfertigung verwendet wird.
Fremdfahrzeuge sind alle vom Ego-Fahrzeug verschiedenen anderen Fahrzeuge. Ein Fremdfahrzeug kann sich in der Nähe des Ego-Fahrzeugs oder weit davon entfernt befinden. Es kann sich bewegen oder alternativ kann es statisch sein, wenn es z.B. geparkt ist. Fremdfahrzeuge sind Teil der Umgebung des Ego-Fahrzeugs. Daher können die Fremdfahrzeuge auf dem zweidimensionalen Feld von Datenpunkten der Umgebung identifiziert werden.
Die speziellen Schilder umfassen unterschiedliche Schilder, die vorübergehend am Fahrzeug befestigt werden können. Beispielsweise sind einige Fahrzeuge mit L-Schildern gekennzeichnet. Ein L-Schild ist ein quadratisches Schild, das z.B. den Sans-Serif-Buchstaben L für Fahranfänger trägt und in vielen Ländern an der Vorder- und/oder Rückseite eines Fahrzeugs befestigt werden muss, wenn der Fahrer ein Fahranfänger in der Probephase ist. In anderen Ländern werden P-Schilder (im Vereinigten Königreich für die Probezeit) oder N-Schilder (in Irland für Anfänger) für frisch qualifizierte Fahrer verwendet. In einigen Ländern ist es für ältere Fahrer obligatorisch, ein spezielles Schild anzuzeigen. Beispielsweise ist es in Japan für Fahrer, die 75 Jahre alt oder älter sind, obligatorisch, eine Koreisha-Markierung auf der Vorder- und auf der Rückseite ihres Fahrzeugs anzuzeigen.
Zusätzlich existieren andere spezielle Schilder, zum Beispiel Schilder, die Fahrzeuge mit behinderten Fahrern/Insassen identifizieren, z.B. speziell gekennzeichnete Kennzeichen in den USA oder Schilder, die die Nutzung von Behindertenparkplätzen erlauben, wie die „Blaue Plakette“ in der EU.
Der Begriff „spezielle Schilder“ umfasst jedoch nicht nur solche Schilder, die vorübergehend am Fahrzeug befestigt werden können, sondern auch Schilder oder Beschriftungen, die am Fahrzeug dauerhaft sichtbar sind. Solche „speziellen Schilder“ können sich auf eine Kennzeichnung von Notfallfahrzeugen beziehen, z.B. Polizei, Feuerwehr, Krankenwagen oder andere. Die speziellen Schilder markieren das entsprechende Fahrzeug und können daher als Anzeige für eine bestimmte Situation verwendet werden, insbesondere wenn das Fahrzeug entlang der Straße oder Fahrbahn geparkt ist. Dies ermöglicht eine situationsspezifische Aktion des Fahrers und/oder des Fahrassistenzsystems.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Bereitstellen des zweidimensionalen Felds von Datenpunkten der Umgebung des Fahrzeugs durch mindestens einen Umgebungssensor das Bereitstellen von Bilddaten der Umgebung durch mindestens eine Kamera auf. Kameras sind besonders gut geeignet, um Information über die Umgebung des Fahrzeugs bereitzustellen, die zum Erkennen spezieller Schilder genutzt werden kann.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Erkennen von Fremdfahrzeugen in dem zweidimensionalen Feld von Datenpunkten das Erkennen von Fremdfahrzeugen in dem zweidimensionalen Feld von Datenpunkten durch ein tiefes konvolutionelles neuronales Netzwerk auf.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Erkennen eines speziellen Schildes in dem Segment des zweidimensionalen Felds von Datenpunkten, das eines der Fremdfahrzeuge enthält, das Erkennen eines speziellen Schildes in dem Segment des zweidimensionalen Felds von Datenpunkten, das eines der Fremdfahrzeuge enthält, durch ein tiefes konvolutionelles neuronales Netzwerk auf.
Das Verarbeiten eines zweidimensionalen Felds von Datenpunkten, z.B. Bilddaten von optischen Kameras, insbesondere Videodaten, die eine Sequenz von mehreren Einzelbildern pro Sekunde enthalten, ist sehr anspruchsvoll. Riesige Datenmengen müssen in Echtzeit verarbeitet werden, um die Umgebung des Fahrzeugs ohne Verzögerungen zuverlässig zu erfassen. Die Ressourcen des Fahrzeugs zum Verarbeiten der Daten sind jedoch in Bezug auf den Raum zum Aufnehmen von Verarbeitungseinrichtungen und auch in Bezug auf die verfügbare Rechenleistung und elektrische Leistung begrenzt. Selbst wenn die technischen Probleme gelöst werden, sind die Ressourcen hinsichtlich ihres Preises beschränkt, um die Fahrzeuge zu einem erschwinglichen Preis bereitzustellen.
Ein leistungsfähiges Mittel zum Verarbeiten von Bilddaten sind neuronale Netzwerke. Herkömmliche Anwendungen neuronaler Netzwerke zur Bildverarbeitung basieren typischerweise auf konvolutionellen neuronalen Netzwerken (CNN) und insbesondere auf tiefen konvolutionellen neuronalen Netzwerken (DCNN). Die Verwendung solcher Netzwerktypen hat vielversprechende Ergebnisse zu einem erschwinglichen Preis gezeigt.
Die Verwendung von zwei DCNNs hat einige Vorteile. Da das erste DCNN die Aufgabe hat, nur Fremdfahrzeuge zu identifizieren, kann eine Transfer-Learning-Strategie verwendet werden. Transfer Learning ist die Verbesserung des Lernens einer neuen Aufgabe durch den Transfer von Wissen aus einer verwandten Aufgabe, die bereits gelernt worden ist. Darüber hinaus profitiert das zweite DCNN von dem ersten DCNN, indem es nur eine reduzierte Menge an zu verarbeitender Information empfängt. Auf diese Weise wird das Erkennen von speziellen Schildern erleichtert.
DCNNs weisen eine Eingabe- und eine Ausgabeschicht sowie mehrere verborgene Schichten auf. Die verborgenen Schichten eines DCNN bestehen typischerweise aus konvolutionellen Schichten, Pooling-Schichten, Fully-Connected-Schichten und Normalisierungsschichten. Die konvolutionellen Schichten wenden eine Faltungsoperation auf die Eingabe an und leiten das Ergebnis an die nächste Schicht weiter. Die Faltung emuliert die Reaktion eines individuellen Neurons auf visuelle Reize.
Bei der Nutzung von DCNNs stellen sich hinsichtlich der Strukturen der neuronalen Netzwerke einige Fragen. Diese beinhalteten, um nur einige zu nennen, eine Definition eines geeigneten neuronalen Netzwerktyps, das Bestimmen einer Anzahl und einer Position von Eingaben, das Bestimmen einer Anzahl zu verwendender verborgener Schichten (Hidden Layers), das Bestimmen einer Anzahl erforderlicher Ausgangsneuronen und das Bestimmen der bestimmten Aktivierungsfunktion. Diese Fragen sind wichtig, da im Falle eines zu großen/zu kleinen neuronalen Netzwerks das neuronale Netzwerk möglicherweise die Bilddaten über- bzw. unterbestimmen könnte. Infolgedessen würde das neuronale Netzwerk nicht in geeigneter Weise lernen anhand bereitgestellter Trainingsdaten geeignet zu generalisieren. Darüber hinaus wird ein geeignetes Training mit geeigneten Trainingsdaten als wichtig betrachtet, wenn neuronale Netzwerke verwendet werden.
In der vorliegenden Erfindung wird vorzugsweise ein Standard-DCNN wie AlexNet oder VGG16 verwendet. Diese Netzwerke funktionieren gut bei Bilderkennungsaufgaben. Die Dimension der Eingabeschicht für das erste DCNN beträgt vorzugsweise 224 x 224. Dies ermöglicht die Verwendung von Bilddaten von der ImageNet-Datenbank für Trainingszwecke. Das erste DCNN hat die Aufgabe, Fremdfahrzeuge zu erkennen. Die Ausgabe dieses DCNN ist vorzugsweise pixelbasiert und identifiziert die Pixel, die Fremdfahrzeugen zugeordnet sind. Die Softmax-Funktion kann in der letzten Schicht des DCNN verwendet werden.
Das zweite DCNN hat die Aufgabe, das spezielle Schild zu erkennen. Die den Fremdfahrzeugen zugeordneten Datenpunkte des zweidimensionalen Felds werden als Eingabe verwendet. Die Dimension der Ausgabe des Netzwerks hängt von der Anzahl der verschiedenen speziellen Schilder ab, die durch das Netzwerk erkannt werden sollen. Vorzugsweise wird die Softmax-Funktion in der letzten Schicht des DCNN verwendet.
Die Aktivierungsfunktion für das erste und das zweite DCNN ist vorzugsweise eine Gleichrichteraktivierungsfunktion, z.B. ReLU. Das Training der DCNNs ist vorzugsweise ein überwachtes Training mit annotierten Mustern spezieller Schilder. Als Optimierungsalgorithmus zum Trainieren des Algorithmus wird vorzugsweise Adam verwendet.
Das Training der DCNNs kann länderspezifisch sein. Da die gesetzlich vorgeschriebenen speziellen Schilder in jedem Land unterschiedlich sein können, sind die für das Training der DCNNs verwendeten Trainingsdaten vorzugsweise für die Vorschriften des Landes spezifisch. Auf diese Weise wird eine signifikante Reduzierung des Trainingsaufwands erreicht, der erforderlich ist, um eine vorgegebene Genauigkeit des DCNN zu erzielen.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen von Aktionen gemäß dem erkannten speziellen Schild das Benachrichtigen eines Fahrers durch ein akustisches und/oder optisches Signal auf. Eine Benachrichtigung des Fahrers erhöht die Aufmerksamkeit des Fahrers für die spezifische, potentiell gefährliche Situation. Dies gibt dem Fahrer die Möglichkeit, die Situation zum Beispiel durch Abbremsen oder Navigieren aus der Gefahrenquelle zu entschärfen.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen der Aktion gemäß dem erkannten speziellen Schild das Zuführen von Information über das erkannte spezielle Schild zu mindestens einer Steuereinrichtung des Fahrzeugs auf. Um eine Technik zum unterstützten oder autonomen Fahren zu ermöglichen, wird die Information über das erfasste spezielle Schild mindestens einer Steuereinrichtung des Fahrzeugs zugeführt. Die Steuereinrichtung des Fahrzeugs kann Teil eines Fahrunterstützungssystems oder eines Fahrerassistenzsystems sein. Ein Fahrunterstützungssystem ermöglicht typischerweise autonome und semi-autonome Fahrtechniken, während ein Fahrerassistenzsystem typischerweise den Fahrer in bestimmten Fahrsituationen unterstützt, ohne eine allgemeine Kontrolle über das Fahrzeug zu übernehmen. Die Steuereinrichtung kann die Information über das erkannte spezielle Schild dazu verwenden, auf eine vordefinierte Weise zu agieren.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Aktion gemäß dem erkannten speziellen Schild das Anpassen eines Sicherheitsabstands, insbesondere in Abhängigkeit von dem erkannten speziellen Schild, während einer Fahrt in der Nähe des Fremdfahrzeugs mit dem erkannten speziellen Schild , auf. Diese Aktion verbessert die Fahrsicherheit erheblich. Der Abstand zum Fremdfahrzeug mit einem speziellen Schild kann beispielsweise durch Ändern der Geschwindigkeit angepasst werden. Wenn das Fremdfahrzeug voraus fährt, führt eine Verlangsamung zu einem größeren Abstand. Wenn beispielsweise ein Fahranfänger erfasst wird, kann ein erhöhter Sicherheitsabstand zum Fahrzeug des Fahranfängers eingehalten werden. In vielen Fällen bevorzugt ein Fahranfänger das Fahren mit einer geringeren Geschwindigkeit im Vergleich zu einem erfahreneren Fahrer. In dem Fall, dass das Fahrzeug des Fahranfängers voraus fährt, erhöht eine Vergrößerung des Abstands zum Fahrzeug des Fahranfängers eine mögliche Reaktionszeit, falls ein Unfall auftritt. Außerdem eröffnet es anderen, erfahreneren Fahrern die Möglichkeit, zu überholen. In dem Fall, dass das Fahrzeug des Fahranfängers hinter dem Ego-Fahrzeug fährt, eröffnet die Aktion zum Vergrößern des Abstands anderen, erfahreneren Fahrern ebenfalls die Möglichkeit, zu überholen. In beiden Fällen sind Sicherheit und Komfort für den Fahrer erhöht. In Abhängigkeit von dem erfassten speziellen Schild können unterschiedliche Anpassungen des Sicherheitsabstandes vorgenommen werden.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Aktion gemäß dem erkannten speziellen Schild das Anpassen eines Parkabstands zum Fremdfahrzeug mit dem erkannten speziellen Schild als ein benachbartes Fahrzeug, insbesondere in Abhängigkeit vom erkannten speziellen Schild, auf. Diese Maßnahme ist besonders für behinderte Menschen hilfreich. Sie sind oft von Hilfsvorrichtungen abhängig, z.B. von Rollstühlen oder Gehhilfen. Durch Einstellen eines größeren Parkabstands zum Fremdfahrzeug mit dem speziellen Schild als benachbartem, Fahrzeug wird das Ein- und Aussteigen aus dem Fremdfahrzeug für behinderte Menschen erheblich erleichtert. Das Erhöhen des Parkabstands kann auch hilfreich sein beim Parken neben Fahrzeugen, die durch unerfahrene Fahrer oder Fahranfänger gefahren werden, da die Fahranfänger mehr Platz zum Ausparken benötigen. In Abhängigkeit von der Parksituation (parallel oder senkrechtes Parken/Parken in Parkbuchten) wird der Abstand entweder an der Vorder- oder an der Rückseite des Fahrzeugs für paralleles Einparken oder an der Seite des Fahrzeugs für senkrechtes Parken/Parken in Parkbuchten angepasst.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Aktion gemäß dem erkannten speziellen Schild den Schritt zum Passierenlassen des Fremdfahrzeugs mit dem erkannten speziellen Schild gemäß gesetzlicher Bestimmungen auf. In einigen Ländern verlangen die gesetzlichen Bestimmungen, dass Fahrzeuge mit bestimmten speziellen Schildern, beispielsweise Krankenwagen, ausschließliche Rechte, wie beispielsweise Vorfahrt, haben. In Fällen, in denen solche Vorschriften bestehen, entspricht die nach dem Erkennen des speziellen Schildes ausgeführte Aktion den gesetzlichen Bestimmungen.
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Fahrunterstützungssystem mindestens einen Umgebungssensor zum Bereitstellen eines zweidimensionalen Felds von Datenpunkten der Umgebung auf. Solche Umgebungssensoren können eine beliebige Kombination von Sensoren aus LiDAR-basierten Sensoren, Radarsensoren und optischen Kameras umfassen. Vorzugsweise werden eine oder mehrere optische Kameras verwendet. Vorzugsweise ist der mindestens eine Umgebungssensor zum Abdecken einer 360°-Umgebung des Ego-Fahrzeugs vorgesehen.
Diese und andere Aspekte der Erfindung werden anhand der nachfolgend beschriebenen Ausführungsformen ersichtlich und erläutert. Einzelne Merkmale, die in den Ausführungsformen offenbart sind, können für sich allein oder in Kombination einen Aspekt der vorliegenden Erfindung bilden. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden.
Es zeigen:

1 ein Fahrzeug mit einem Fahrunterstützungssystem zum Ausführen eines Verfahrens zum Verbessern der Fahrsicherheit basierend auf der Erkennung spezieller Schilder gemäß einer ersten bevorzugten Ausführungsform der Erfindung und eines Fremdfahrzeugs mit einem daran befestigten speziellen Schild;
2 ein Ablaufdiagramm der Schritte des Verfahrens zum Verbessern der Fahrsicherheit basierend auf der Erkennung von speziellen Schildern gemäß der ersten bevorzugten Ausführungsform der Erfindung; und
3 zwei tiefe konvolutionelle neuronale Netzwerke und einen Datenfluss zwischen diesen tiefen konvolutionellen neuronalen Netzwerken gemäß der ersten bevorzugten Ausführungsform der Erfindung.

1 zeigt ein Fahrzeug 16 gemäß einer ersten bevorzugten Ausführungsform der Erfindung. Das Fahrzeug 16 wird im Weiteren auch als Ego-Fahrzeug 16 bezeichnet.
Das Fahrzeug 16 ist ein Personenkraftwagen mit einem Fahrunterstützungssystem 14 zum Ausführen eines Verfahrens zum Verbessern der Fahrsicherheit basierend auf der Erkennung spezieller Schilder 10 gemäß der bevorzugten Ausführungsform der Erfindung. Das Fahrunterstützungssystem 14 weist Umgebungssensoren 18 zum Bereitstellen eines zweidimensionalen Felds von Datenpunkten der Umgebung 40 des Fahrzeugs 16 auf. In der ersten Ausführungsform sind die Umgebungssensoren 18 als Kameras 20 zum Bereitstellen von Bilddaten der Umgebung 40 des Fahrzeugs 16 implementiert. In dem Fahrunterstützungssystem 14 wird ein tiefes konvolutionelles neuronales Netzwerk (DCNN) verwendet, um Fremdfahrzeuge 12 und spezielle Schilder 10 zu erkennen.
Wie in 1 ersichtlich ist, befindet sich ein Fremdfahrzeug 12 in der Umgebung 40 des Fahrzeugs 16. Ein spezielles Schild 10, in diesem Fall ein L-Schild, ist an der Vorderseite und an der Rückseite des Fremdfahrzeugs 12 befestigt.
2 zeigt ein Ablaufdiagramm des Verfahrens zum Verbessern der Fahrsicherheit basierend auf der Erkennung spezieller Schilder 10 gemäß der ersten Ausführungsform der Erfindung.
Das Verfahren beginnt mit Schritt S100 zum Bereitstellen eines zweidimensionalen Felds von Datenpunkten der Umgebung 40 des Fahrzeugs 16 durch die Umgebungssensoren 18. Daher werden Bilddaten der Umgebung 40 des Ego-Fahrzeugs 16 durch die Kamera 20 bereitgestellt. Ein weiterer Schritt S200 in dem Verfahren beinhaltet das Erkennen von Fremdfahrzeugen 12 in dem zweidimensionalen Feld von Datenpunkten. Das Erkennen von Fremdfahrzeugen 12 erfolgt unter Verwendung eines ersten DCNN 22 im Fahrunterstützungssystem 14.
Das Verfahren weist außerdem einen Schritt S300 auf, der sich auf das Segmentieren des zweidimensionalen Felds von Datenpunkten basierend auf den erkannten Fremdfahrzeugen 12 bezieht. Durch diesen Schritt wird die Datenmenge reduziert. Segmente des zweidimensionalen Felds von Datenpunkten, die Fremdfahrzeuge 12 enthalten, werden extrahiert oder zumindest für die weitere Verwendung identifiziert, wie unter Bezug auf den nachfolgenden Schritt S400 erörtert wird.
Der nachfolgende Schritt S400 bezieht sich auf das Erkennen eines speziellen Schildes 10 in jedem Segment des zweidimensionalen Felds von Datenpunkten, das ein Fremdfahrzeug 12 enthält. Das Erkennen spezieller Schilder 10 erfolgt durch ein zweites DCNN 24 im Fahrunterstützungssystem 14.
Das Verfahren weist auch einen Schritt S500 zum Ausführen einer Aktion gemäß dem erkannten speziellen Schild 10 auf. Im Fall eines L-Schilds, wie in 1 dargestellt, besteht eine mögliche Aktion darin, einen Sicherheitsabstand während des Fahrens in der Nähe des Fremdfahrzeugs 12 anzupassen.
3 zeigt das erste und das zweite DCNN 22, 24, die im Verfahrensschritt S200 zum Erkennen von Fremdfahrzeugen 16 und für den Schritt S400 zum Erkennen spezieller Schilder 10 verwendet werden. Zwischen diesen beiden Schritten wird Schritt S300 zum Segmentieren des zweidimensionalen Felds von Datenpunkten basierend auf den erkannten Fremdfahrzeugen ausgeführt.
Das erste und das zweite DCNN 22, 24 weisen jeweils eine Eingabeschicht 26 und eine Ausgabeschicht 28 sowie mehrere verborgene Schichten auf. Die Eingabeschicht 26 akzeptiert ein zweidimensionales Feld von Datenpunkten als Eingabe. Die Eingabe ist eine pixelbasierte Eingabe, die durch die Kameras 20 des Fahrunterstützungssystems 14 des Ego-Fahrzeugs 16 bereitgestellt wird. Die verborgenen Schichten 30, 32, 34 weisen konvolutionelle und Pooling-Schichten 30, Fully-Connected-Schichten 32 und Normalisierungsschichten 34 auf. Der Klarheit halber sind in 3 nur drei konvolutionelle und Pooling-Schichten 30 dargestellt, es können aber mehrere konvolutionelle und Pooling-Schichten 30 vorhanden sein. Die Normalisierungsschicht 34 verwendet als Normalisierungsfunktion eine Softmax-Funktion. Das erste DCNN 22 hat die Aufgabe, Fremdfahrzeuge 12 gemäß Schritt S200 zu erkennen. Die Ausgabe dieses ersten DCNN 22 ist pixelbasiert und identifiziert die Pixel, die Fremdfahrzeugen 12 zugeordnet sind. Im nächsten Schritt S300 werden die Daten gemäß den erkannten Fremdfahrzeugen 12 segmentiert. Das zweite DCNN 24 hat die Aufgabe, das spezielle Schild 10 zu erkennen. Die Pixel, die den Fremdfahrzeugen 12 zugeordnet sind, werden als Eingabe verwendet. Die Dimension der Ausgabe des zweiten DCNN 24 ist abhängig von der Anzahl verschiedener spezieller Schilder 10, die durch das zweite DCNN 24 erkannt werden sollen. Die zwei DCNNs 22, 24 werden auf einem System-on-Chip verwendet, der Teil des Fahrunterstützungssystem 14 des Fahrzeugs 16 ist.
Bezugszeichenliste

10: spezielles Schild
12: Fremdfahrzeug
14: Fahrunterstützungssystem
16: Fahrzeug, Ego-Fahrzeug
18: Umgebungssensor
20: Kamera
22: erstes DCNN
24: zweites DCNN
26: Eingabeschicht
28: Ausgabeschicht
30: konvolutionelle und Pooling-Schicht, verborgene Schicht
32: Fully-Connected-Schicht, verborgene Schicht
34: Normalisierungsschicht, verborgene Schicht

Claims

Verfahren zum Verbessern der Fahrsicherheit basierend auf der Erkennung spezieller Schilder (10) an Fremdfahrzeugen (12), das in einem Fahrunterstützungssystem (14) eines Fahrzeugs (16) angewendet wird, mit den Schritten Bereitstellen eines zweidimensionalen Felds von Datenpunkten der Umgebung (40) des Fahrzeugs (16) durch mindestens einen Umgebungssensor (18); Erkennen von Fremdfahrzeugen (12) in dem zweidimensionalen Feld von Datenpunkten; Segmentieren des zweidimensionalen Felds von Datenpunkten basierend auf den erkannten Fremdfahrzeugen (12); Erkennen eines speziellen Schildes (10) in dem Segment des zweidimensionalen Felds von Datenpunkten, das eines der Fremdfahrzeuge (12) enthält; und Ausführen einer Aktion gemäß dem erkannten speziellen Schild (10).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt zum Bereitstellen des zweidimensionalen Felds von Datenpunkten der Umgebung (40) des Fahrzeugs (16) durch mindestens einen Umgebungssensor (18) das Bereitstellen von Bilddaten der Umgebung (40) durch mindestens eine Kamera (20) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Erkennen von Fremdfahrzeugen (12) in dem zweidimensionalen Feld von Datenpunkten das Erkennen von Fremdfahrzeugen (12) in dem zweidimensionalen Feld von Datenpunkten durch ein tiefes konvolutionelles neuronales Netzwerk (22, 24) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Erkennen eines speziellen Schildes (10) in dem Segment des zweidimensionalen Felds von Datenpunkten, das eines der Fremdfahrzeuge (12) enthält, das Erkennen eines speziellen Schildes (10) in dem Segment des zweidimensionalen Felds von Datenpunkten, das eines der Fremdfahrzeuge (12) enthält, durch ein tiefes konvolutionelles neuronales Netzwerk (22, 24) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Aktion gemäß dem erkannten speziellen Schild (10) das Benachrichtigen eines Fahrers durch ein akustisches und/oder optisches Signal aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Aktion gemäß dem erkannten speziellen Schild (10) das Zuführen von Information über das erkannte spezielle Schild (10) zu mindestens einer Steuereinrichtung des Fahrzeugs (16) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Aktion gemäß dem erkannten speziellen Schild (10) das Anpassen eines Sicherheitsabstandes, insbesondere in Abhängigkeit von dem erkannten speziellen Schild (10) während einer Fahrt in der Nähe des Fremdfahrzeugs (12) mit dem erkannten speziellen Schild (10), aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Aktion gemäß dem erkannten speziellen Schild (10) das Anpassen eines Parkabstands zum Fremdfahrzeug (12) mit dem erkannten speziellen Schild (10) als ein benachbartes Fahrzeug, insbesondere in Abhängigkeit von dem erkannten speziellen Schild (10), aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Ausführen einer Aktion gemäß dem erkannten speziellen Schild (10) den Schritt zum Passierenlassen des Fremdfahrzeugs (12) mit dem erkannten speziellen Schild (10) gemäß gesetzlicher Bestimmungen aufweist.
Fahrunterstützungssystem (14) zum Ausführen des Verfahrens nach einem der vorhergehenden Ansprüche 1 bis 9.
Fahrunterstützungssystem (14) nach Anspruch 10, dadurch gekennzeichnet, dass das Fahrunterstützungssystem (14) mindestens einen Umgebungssensor (18) zum Bereitstellen eines zweidimensionalen Felds von Datenpunkten der Umgebung (40) aufweist.