DE102020124666A1

DE102020124666A1 - Verfahren, system und computerprogrammprodukt zur bereitstellung von fahrassistenz

Info

Publication number: DE102020124666A1
Application number: DE102020124666.8A
Authority: DE
Inventors: Chieh-Wen LU
Original assignee: Mitac Digital Technology Corp
Current assignee: Mitac Digital Technology Corp
Priority date: 2019-09-23
Filing date: 2020-09-22
Publication date: 2021-03-25
Also published as: TWI745752B; US11721110B2; CN112669637A; US20210089796A1; TW202113768A; CN112669637B

Abstract

Ein Verfahren zum Bereitstellen von Fahrassistenz wird durch ein Fahrassistenzsystem (1) implementiert und umfasst die folgenden Schritte: kontinuierliches Erfassen von Bildern der Umgebung des Fahrzeugs; durchführen einer Bildverarbeitungsprozedur an mindestens einem von den Bildern; feststellen, ob ein Verkehrszeichen, das eine Nachricht anzeigt, erkannt wird in dem mindestens einem von den Bilder, und ob zusätzliche Informationen in Bezug auf das Verkehrszeichen erkannt werden, die einen Zustand anzeigen, der mit der Nachricht assoziiert ist; feststellen, ob eine Alarmaktion ausgeführt werden muss basierend auf der Nachricht und eines aktuellen Zustands, der mit dem Fahrzeug assoziiert ist; und wenn die Feststellung positiv ist, Ausführen der Alarmaktion.

Description

Die Offenbarung bezieht sich auf ein Verfahren, ein System und ein Computerprogrammprodukt zur Bereitstellung von Fahrassistenz.
Konventionell werden an Straßenrändern und/oder über Straßen regelmäßig Verkehrszeichen aufgestellt, um verschiedene Informationen oder Hinweise für die Verkehrsteilnehmer (Autofahrer, Fußgänger usw.) bereit zu stellen. Die Verkehrszeichen können in verschiedene Typen kategorisiert werden; z.B. definiert Anhang 1 des Wiener Übereinkommens über Straßenverkehrszeichen und Signale acht Kategorien von Zeichen. Verschiedene Länder können unterschiedliche Arten von Verkehrszeichenkonventionen verabschieden.
Es wird darauf hingewiesen, dass für manche Verkehrsteilnehmer das Lesen der verschiedenen Arten von Verkehrszeichen schwierig und ablenkend sein kann und potentiell die Risiken auf der Straße für diese Verkehrsteilnehmer erhöht.
Daher ist ein Ziel der Offenbarung ein Verfahren bereitzustellen, das Fahrassistenz zur Verfügung stellt.
Entsprechend der Offenbarung wird das Verfahren unter Verwendung eines Fahrassistenzsystems implementiert, das einen Prozessor und eine Bilderfassungseinheit umfasst. Das Verfahren umfasst:

a) Steuern der Bilderfassungseinheit durch den Prozessor, um kontinuierlich Bilder der Umgebung des Fahrzeugs zu erfassen;
b) Durchführen einer Bildverarbeitungsprozedur durch den Prozessor, an mindestens einem der von der Bilderfassungseinheit erfassten Bilder;
c) Feststellen, durch den Prozessor (14), ob in mindestens einem der Bilder ein Verkehrszeichen erkannt wurde, das eine Nachricht anzeigt;
d) wenn die Feststellung in Schritt c) positiv ist, feststellen, durch den Prozessor, ob zusätzliche Informationen in Bezug auf das Verkehrszeichen erkannt werden, die einen Zustand anzeigen, der mit der Nachricht assoziiert ist;
e) Feststellen, durch den Prozessor, ob eine Alarmaktion ausgeführt werden muss basierend auf mindestens der Nachricht, die das Verkehrszeichen anzeigt und einen aktuellen Zustand, der mit dem Fahrzeug assoziiert ist, der aktuelle Zustand umfassend eine aktuelle Zeit, ein aktuelles Wetter, eine Bewegung des Fahrzeugs oder einer beliebigen Kombination davon; und
f) wenn die Feststellung in Schritt e) positiv ist, Ausführen der Alarmaktion, durch den Prozessor.

Ein weiteres Ziel der Offenbarung ist ein System bereitzustellen, das in der Lage ist, das oben erwähnte Verfahren zu implementieren.
Entsprechend einer Ausführungsform der Offenbarung umfasst das Fahrassistenzsystem einen Prozessor und eine Bilderfassungseinheit, die mit dem Prozessor verbunden ist. Der Prozessor ist dazu programmiert:

die Bilderfassungseinheit zu steuern, um kontinuierlich Bildern der Umgebung des Fahrzeugs zu erfassen;
eine Bildverarbeitungsprozedur an mindestens einem der Bilder, die von der Bilderfassungseinheit erfasst wurden, durchzuführen;
festzustellen, ob ein Verkehrszeichen, das eine Nachricht anzeigt, in mindestens einem der Bilder erkannt wird;
wenn die Feststellung positiv ist, festzustellen, ob zusätzliche Informationen in Bezug auf das Verkehrszeichen erkannt werden, die einen Zustand anzeigen, der mit der Nachricht assoziiert ist;
festzustellen, ob eine Alarmaktion auszuführen ist, basierend auf mindestens der Nachricht, die durch das Verkehrszeichen angezeigt wird und einem aktuellen Zustand, der mit dem Fahrzeug assoziiert ist, der aktuelle Zustand umfassend eine aktuelle Zeit, ein aktuelles Wetter, eine Bewegung des Fahrzeugs oder eine beliebige Kombination davon; und
wenn die Feststellung positiv ist, die Alarmaktion auszuführen.
Ein weiteres Ziel der Offenbarung ist es ein Computerprogrammprodukt bereitzustellen, das in der Lage ist, das oben erwähnte Verfahren zu implementieren.

Nach einer Ausführungsform der Offenbarung umfasst das Computerprogrammprodukt Anweisungen, die, wenn sie von einem Prozessor eines fahrzeuginternen Fahrassistenzsystems ausgeführt werden, den Prozessor veranlassen, Schritte des oben genannten Verfahrens auszuführen.
Weitere Merkmale und Vorteile der Offenbarung werden in der folgenden ausführlichen Beschreibung der Ausführungsformen unter Bezugnahme auf die begleitenden Zeichnungen deutlich, von denen:

1 ein Blockdiagramm ist, das ein Fahrassistenzsystem nach einer Ausführungsform der Offenbarung darstellt;
2 ein Flussdiagramm ist, das die Schritte eines Verfahrens zur Bereitstellung von Fahrassistenz nach einer Ausführungsform der Offenbarung veranschaulicht;
3 eine schematische Darstellung eines beispielhaften Verkehrszeichens ist;
4 ein Flussdiagramm ist, das die Schritte eines Verfahrens zur Bereitstellung von Fahrassistenz nach einer Ausführungsform der Offenbarung veranschaulicht; und
5 eine schematische Darstellung eines beispielhaften Satzes von Verkehrszeichen ist.

Bevor die Offenbarung ausführlicher beschrieben wird, ist darauf hinzuweisen, dass, wo dies als angemessen erachtet wurde, Bezugszeichen oder Endteile von Bezugszeichen zwischen den Figuren wiederholt wurden, um auf entsprechende oder analoge Elemente hinzuweisen, die optional ähnliche Charakteristiken aufweisen können.
In der gesamten Offenbarung kann sich der Begriff „verbunden mit“ auf eine direkte Verbindung zwischen einer Vielzahl von elektrischen Vorrichtungen/Geräten/Zubehör über ein elektrisch leitendes Material (z.B. einen elektrischen Draht), eine indirekte Verbindung zwischen zwei elektrischen Vorrichtungen/Geräten/Zubehör über einen oder mehrere andere Vorrichtungen/Geräte/Zubehör oder drahtlose Kommunikation beziehen.
1 ist ein Blockdiagramm, das ein Fahrassistenzsystem 1 nach einer Ausführungsform der Offenbarung darstellt. In dieser Ausführungsform ist das Fahrassistenzsystem 1 in einem Fahrzeug angeordnet (in den Zeichnungen nicht dargestellt) und umfasst eine Bilderfassungseinheit 11, einen Datenspeicher 12, eine Ausgabeeinheit 13, eine Kommunikationseinheit 15 und einen Prozessor 14, der elektrisch mit der Bilderfassungseinheit 11, dem Datenspeicher 12, der Ausgabeeinheit 13 und der Kommunikationseinheit 15 verbunden ist.
Die Bilderfassungseinheit 11 kann durch einen Fahrvideorekorder [org.: driving video recorder] (DVR) mit Weitwinkelobjektiv verkörpert sein, der fähig ist einen Sichtwinkel von mindestens 120 Grad abzudecken und im Fahrzeug so angeordnet werden kann, dass es nach außen aus dem Fahrzeug zeigt, um Bilder der Umgebung des Fahrzeugs in Richtungen außerhalb des Fahrzeugs zu erfassen. In einigen Ausführungsformen kann die Bilderfassungseinheit 11 eine Vielzahl von DVRs umfassen, die in verschiedene Richtungen weisen, und daher fähig sind, die Umgebung des Fahrzeugs in allen Richtungen abzudecken. In einigen Ausführungsformen kann die Bilderfassungseinheit 11 durch andere Arten von digitalen Bilderfassungsgeräten verkörpert sein, die in der Lage sind, Bilder zu erfassen, wie z.B. eine Stehbildkamera [org.: still camera] mit einer Serienbildfunktion (auch als Explosions-Modus [org.: burst-modus] bekannt), um schnell eine Vielzahl von Bildern nacheinander aufzunehmen.
Der Datenspeicher 12 kann durch einen Flash-Speicher, eine Festplatte, eine Solid State Disk (SSD) oder andere Arten von nicht temporäre [org.: nontransitory] Speichermedien verkörpert werden. Der Datenspeicher 12 speichert eine Softwareanwendung, ein neuronales Netzwerkmodell für die dynamische Bilderkennung und ein Modell für die optische Zeichenerkennung (OCR). Das neuronale Netzwerkmodell für die dynamische Bilderkennung kann durch ein konvolutionäres neuronales Netzwerk (CNN) verkörpert werden.
Die Softwareanwendung enthält Anweisungen, die, wenn sie vom Prozessor 14 ausgeführt werden, den Prozessor 14 veranlassen, eine Reihe von Funktionen auszuführen, wie in den folgenden Absätzen beschrieben. In einigen Ausführungsformen kann der im Datenspeicher 12 gespeicherte Inhalt (d.h. die Softwareanwendung, das neuronale Netzwerk Modell für die dynamische Bilderkennung und das OCR-Modell) in Form eines Computerprogrammprodukts verpackt sein. Die dynamische Bilderkennung umfasst die Objektidentifizierung.
Im Betrieb, kann der Prozessor 14, der die Softwareanwendung ausführt, konfiguriert sein ein Verkehrszeichen in einem Bild zu identifiziert und ein oder mehrere Zeichen (z.B., Wortzeichen (z.B., chinesische Zeichen), Buchstaben, Zahlen, Symbole usw.) in dem Verkehrszeichen und/oder in der Nähe des Verkehrszeichens zu erkennen. Darüber hinaus kann der Prozessor 14 konfiguriert sein eine Kategorie des Verkehrszeichens zu bestimmen basierend auf, z.B., einer Form und einer oder mehreren Farben des Verkehrszeichens, den Zeichen im Verkehrszeichen und/oder in der Nähe des Verkehrszeichens, usw..
Es wird darauf hingewiesen, dass die Erkennung der Verkehrszeichen und der Zeichen mit Hilfe des neuronalen Netzwerksmodells für dynamische Bilderkennung und das OCR-Modell in den verwandten technischen Bereichen gut bekannt sind, und die Details davon werden hier der Kürze halber weggelassen.
Die Ausgabeeinheit 13 kann durch einen Bildschirm, eine Audioausgabekomponente oder eine Kombination davon verkörpert werden.
Der Prozessor 14 kann einen Einkernprozessor, einen Mehrkernprozessor, einen Zweikern Mobilprozessor [org.: dual-core mobile processor], einen Mikroprozessor, eine Mikrosteuerung, einen digitalen Signalprozessor (DSP), eine im Feld programmierbare Gatter-Anordnung [org.: fieldprogrammable gate array] (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder ein System auf einem Chip (SoC), usw., umfassen, ist aber nicht beschränkt auf diese. In dieser Ausführungsform können der Datenspeicher 12 und der Prozessor 14 in Form eines fahrzeuginternen [org.: in-vehicle] Computers oder eines Remote-Servers [org.: remote server], der in Signalverbindung mit der Bilderfassungseinheit 11 und der Ausgabeeinheit 13 steht, integriert sein.
Die Kommunikationseinheit 15 kann mindestens eine hochfrequenz-integrierte Schaltung [org.: radiofrequency integrated circuit] (RFIC), ein drahtloses Kommunikationsmodul mit kurzer Reichweite, das ein drahtloses Kommunikationsnetzwerk mit kurzer Reichweite unter Verwendung einer drahtlosen Technologie wie Bluetooth® und/oder Wi-Fi usw. unterstützt, oder ein mobiles Kommunikationsmodul, das Telekommunikation unter Verwendung von Long-Term Evolution (LTE), der dritten Generation (3G) und/oder fünften Generation (5G) der drahtlosen mobilen Telekommunikationstechnologie und/oder ähnlichem unterstützt, umfassen.
In einigen Ausführungsformen kann das Fahrassistenzsystem 1 durch ein elektronisches Gerät (z.B., ein Smartphone, einer Armaturenbrett-Kamera, usw.) verkörpert sein.
2 ist ein Flussdiagramm, das die Schritte eines Verfahrens zur Bereitstellung von Fahrassistenz gemäß einer Ausführungsform der Offenbarung veranschaulicht. In dieser Ausführungsform wird das Verfahren durch das Fahrassistenzsystem 1, wie in 1 beschrieben, implementiert.
Im Betrieb, wenn der Benutzer des Fahrzeugs (z.B., ein Fahrer) das Fahrzeug auf der Straße fährt, kann er/sie das Fahrassistenzsystem 1 bedienen, um die Softwareanwendung auszuführen. Als Reaktion darauf ist der Prozessor 14 dazu programmiert die Komponenten des Fahrassistenzsystems 1 zu steuern, um die unten beschriebenen Schritte auszuführen.
In Schritt S11 steuert der Prozessor 14 die Bilderfassungseinheit 11, um kontinuierlich Bilder der Umgebung des Fahrzeugs zu erfassen. Es wird darauf hingewiesen, dass in manchen Ausführungsformen die Bilderfassungseinheit 11 gesteuert werden kann, um kontinuierlich Bilder zu erfassen unabhängig vom Bewegungszustand des Fahrzeugs (z.B. in Bewegung oder im Leerlauf).
In Schritt S12 führt der Prozessor 14 eine Bildverarbeitungsprozedur an mindestens einem der Bilder durch, die von der Bilderfassungseinheit 11 erfasst wurden. Insbesondere kann der Prozessor 14 die von der Bilderfassungseinheit 11 erfassten Bilder erhalten (die Bilder können aus einem Video, das vom DVR aufgezeichnet und im Datenspeicher 12 gespeicherten wurde, extrahiert werden) und eine dynamische Bilderkennung auf den Bildern durchführen, um Objekte in den Bildern unter Verwendung des CNN-Modells zu identifizieren.
In dieser Ausführungsform ist die Bilderfassungseinheit 11 in der Lage, Bilder der Umgebung des Fahrzeugs in verschiedenen Richtungen zu erfassen, wobei eine linke Vorderseite des Fahrzeugs, eine Vorderseite des Fahrzeugs und eine rechte Vorderseite des Fahrzeugs abgedeckt werden. In Ausführungsformen kann die dynamische Bilderkennung in Bezug auf verschiedene Teile der erfassten Bilder durchgeführt werden. Zum Beispiel, kann in dieser Ausführungsform die dynamische Bilderkennung in Bezug auf Bilder der Umgebung auf einer seitlichen Seite des Fahrzeugs, dass heißt auf der Seite eines vorderen Beifahrersitzes (im Folgenden als „Beifahrerseite“ bezeichnet), durchgeführt werden. Es wird darauf hingewiesen, dass weil in verschiedenen geologischen Regionen der Welt sich der vordere Beifahrersitz auf verschiedenen seitlichen Seiten des Fahrzeugs befinden kann, die dynamische Bilderkennung in Bezug auf verschiedene Teile der Bilder durchgeführt werden kann, abhängig von der geologischen Region, in der dieses Verfahren durchgeführt wird.
In Ausführungsformen, wenn das Fahrzeug auf einer Straße gefahren wird, können sich ein oder mehrere Verkehrszeichen an der Vorderseite oder an den seitlichen Seiten des Fahrzeugs befinden. Daher stellt in Schritt S13 der Prozessor 14 fest, ob mindestens ein Verkehrszeichen in einem der Bilder erkannt wird, dass heißt, ob die identifizierten Objekte in Schritt S12 ein Verkehrszeichen aufweisen. Ein Verkehrszeichen kann in der Form eines Schildes, einer Lichtvorrichtung, eines Bildschirms oder ähnlichem sein und kann verschiedene Arten von Informationen, Anweisungen, Regeln, Einschränkungen oder Anforderungen usw. enthalten. In dieser Ausführungsform kann das Verkehrszeichen einschränkender Natur sein, d.h. es kann eine Nachricht wie zum Beispiel eine Geschwindigkeitsbegrenzung, eine verbotene Handlung usw. anzeigen. In dieser Ausführungsform kann der Prozessor 14 den Schritt S13 ausführen, indem dieser feststellt, ob eine flache Oberfläche erkannt wird. Das Vorhandensein einer flachen Oberfläche kann darauf hinweisen, dass ein Verkehrszeichen erkannt wurde. In anderen Ausführungsformen, können verschiedene Möglichkeiten, die aus der zugehörigen Technik bekannt sind zum Erkennen von Verkehrszeichen, verwendet werden. Nachdem festgestellt worden ist, dass ein Verkehrszeichen erkannt wurde, kann der Prozessor 14 den Inhalt des Verkehrszeichens identifizieren (d.h. die Nachricht bestimmen) mit Hilfe des OCR-Modells oder anderer Erkennungstechniken, die kommerziell erhältlich sind. In einem Beispiel kann der Typ eines Verkehrszeichens anhand der Form und/oder der Farbe des Verkehrszeichens festgestellt werden (z.B. kann in Taiwan ein Verkehrszeichen für Höchstgeschwindigkeitsgrenze in Kreisform mit einem roten äußeren Ring und ein Verkehrszeichen für Mindestgeschwindigkeitsgrenze in Kreisform mit blauem Hintergrund sein) . Nach der Erkennung der Form und/oder der Farbe des Verkehrszeichens kann der Prozessor 14 ferner die Zeichen auf dem Verkehrszeichen erkennen, um die im Verkehrszeichen enthaltenen Details zu bestimmen. Beispielsweise können die Zeichen „70“ auf einem Verkehrszeichen in Kreisform mit rotem Außenring anzeigen, dass eine Höchstgeschwindigkeitsgrenze von 70 Kilometer pro Stunde in Kraft ist.
Es wird darauf hingewiesen, dass in einigen Ausführungsformen der Prozessor 14 konfiguriert sein kann, um die dynamische Bilderkennung in Bezug auf ein Teil des Bildes durchzuführen. Zum Beispiel kann für ein von der Bilderfassungseinheit 11 erfasstes Bild, der Prozessor 14 konfiguriert sein, um das Bild in drei Teile (z.B. einen oberen Teil, einen mittleren Teil und einen unteren Teil) aufzuteilen und die dynamische Bilderkennung in Bezug auf den mittleren Teil des Bildes durchzuführen. Auf diese Weise kann die Operation der Erkennung eines Verkehrszeichens effizienter durchgeführt werden, da die gebrauchte Datenmenge, die vom Prozessor 14 verarbeitet werden muss, erheblich reduziert wird.
Wenn die Feststellung von Schritt S13 positiv ist, fährt der Ablauf [org.: flow] mit Schritt S14 fort. Andernfalls geht der Ablauf periodisch zu Schritt S13 zurück, um festzustellen, ob mindestens ein Verkehrszeichen in einem der Bilder, die anschließend von der Bilderfassungseinheit 11 aufgenommenen werden, erkannt wird. Zum Beispiel, in dieser Ausführungsform, wenn kein Verkehrszeichen erkannt wird, kann der Prozessor 14 die Erkennung nach einer vorgegebenen Zeitspanne (z.B. 500 Millisekunden) erneut durchführen.
In Schritt S14 bestimmt der Prozessor 14, ob zusätzliche Informationen, die einen Zustand anzeigen, der mit der Nachricht assoziiert ist, erkannt werden, in Bezug auf das Verkehrszeichen (z.B. können die Zustände im Verkehrszeichen selbst oder in der Nähe des Verkehrszeichens sein). Im Wesentlichen dient Schritt S14, um festzustellen, ob das Verkehrszeichen ein bedingtes Verkehrszeichen ist, was bedeutet, dass die Beschränkung oder Anforderung oder Information des bedingten Verkehrszeichens nur dann gilt, wenn ein bestimmter Zustand, wie sie im Verkehrszeichen (oder in der Nähe des Verkehrszeichens) beschrieben ist, erfüllt ist (z.B. gilt die Beschränkung/Anforderung/Information nur für einen bestimmten Fahrzeugtyp, z.B. Busse, oder die Beschränkung/Anforderung/Information gilt nur während einer bestimmten Zeitspanne(n) des Tages (von 6 Uhr morgens bis 20 Uhr abends).
Insbesondere ist in dieser Ausführungsform der Prozessor 14 zunächst konfiguriert einen Erfassungsbereich im genannten einem der Bilder zu definieren, das mit dem Verkehrszeichen assoziiert ist. In dieser Ausführungsform kann der Erfassungsbereich in einer Form eines Kreises mit einem Mittelpunkt sein, der mit dem geometrischen Mittelpunkt des Verkehrszeichens im genannten einen der Bilder zusammenfällt, wobei eine Größe des Erfassungsbereichs positiv mit der Größe des Verkehrszeichens im genannten einen der Bilder zusammenhängt. Zum Beispiel kann die Größe des Erfassungsbereichs ein zweifaches der Größe des Verkehrszeichens im genannten einen der Bilder betragen.
Dann bestimmt der Prozessor 14, ob zusätzliche Informationen innerhalb des Erfassungsbereichs entdeckt werden. Wenn die Feststellung von Schritt S14 negativ ist, fährt der Ablauf mit Schritt S15 fort. Andernfalls fährt der Ablauf mit Schritt S16 fort. Es wird darauf hingewiesen, dass in dieser Ausführungsform der Prozessor 14 nicht gezwungen ist, um die Erkennung in Bezug auf die Gesamtheit der von der Bilderfassungseinheit 11 erfassten Bilder durchzuführen. Auf diese Weise kann der Vorgang der Feststellung, ob zusätzliche Informationen innerhalb des Erfassungsbereichs entdeckt werden, effizienter durchgeführt werden, da die vom Prozessor 14 zu verarbeitende Menge der gebrauchten Daten reduziert wird.
In Schritt S15 stellt der Prozessor 14 fest, ob eine Alarmaktion ausgeführt werden soll, basierend auf mindestens der Nachricht, die durch das Verkehrszeichen angezeigt wird und eines aktuellen Zustands, der mit dem Fahrzeug assoziiert ist. Es wird darauf hingewiesen, dass der aktuelle Zustand eine oder mehrere aus einer aktuelle Uhrzeit, einem aktuellen Wetter und einer Bewegung des Fahrzeugs (z.B. eine Geschwindigkeit, eine Abbiegerichtung, eine Fahrspur auf der sich das Fahrzeug bewegt, usw.). Wenn die Feststellung von Schritt S15 positiv ausfällt, führt der Prozessor 14 die Alarmaktion aus. In dieser Ausführungsform steuert der Prozessor 14 die Ausgabeeinheit 13 des Fahrassistenzsystems 1, um eine Alarm auszugeben (z.B. einen alarmierenden Text, einen Warnton, eine Rede, die den alarmierenden Text laut vorliest, usw.), der mit der Nachricht assoziiert ist. Andernfalls kann der Prozessor 14 den Schluss ziehen, dass keine Aktion erforderlich ist, und das Verfahren wird beendet. In anderen Ausführungsformen kann das Verfahren erneut implementiert werden nach einer vorgegebenen Zeitspanne (z.B. 500 Millisekunden).
In Schritt S16 identifiziert der Prozessor 14 die in den zusätzlichen Informationen enthaltenen Zustand und legt fest, ob mindestens ein Teil des aktuellen Zustands zu mindestens einem Teil des Zustands passt. In dieser Ausführungsform identifiziert der Prozessor 14 den Zustand, der in den zusätzlichen Informationen enthaltene ist, mit Hilfe des OCR-Modells oder anderer Erkennungstechniken, die kommerziell erhältlich sind. Wenn festgestellt wird, dass mindestens ein Teil des aktuellen Zustands zu mindestens einem Teil des Zustands passt, fährt der Ablauf mit Schritt S17 fort. Andernfalls kann der Prozessor 14 den Schluss ziehen, dass keine Aktion erforderlich ist, und das Verfahren wird beendet. In anderen Ausführungsformen kann das Verfahren erneut implementiert werden nach einer vorgegebenen Zeitspanne (z.B. 500 Millisekunden).
In Schritt S17 legt der Prozessor 14 fest, ob eine Alarmaktion ausgeführt werden soll basierend auf mindestens der Nachricht, die durch das Verkehrszeichen angezeigt wird und des aktuellen Zustands, der mit dem Fahrzeug assoziiert ist.
Insbesondere umfassen die Operationen von Schritt S17, dass der Prozessor 14 festlegt, ob mindestens ein Teil des aktuellen Zustands gegen mindestens einen Teil der Nachricht verstößt. Wenn festgestellt wird, dass mindestens ein Teil des aktuellen Zustands gegen mindestens einen Teil der Nachricht verstößt, führt der Prozessor 14 die Alarmaktion aus. In dieser Ausführungsform steuert der Prozessor 14 die Ausgabeeinheit 13 des Fahrassistenzsystems 1, um einen Alarm auszugeben (wie einen Text, einen Warnton usw.), der mit der Nachricht assoziiert ist. Andernfalls, wenn festgestellt wird, dass kein Teil des aktuellen Zustands gegen die Nachricht verstößt, kann der Prozessor 14 die Feststellung nach einer vorgegebenen Zeitspanne (z.B. einer Sekunde) erneut durchführen oder das Verfahren erneut einleiten.
Im Betrieb, wenn das Fahrzeug in Bewegung ist, kann ein Verkehrszeichen 2, wie in 3 dargestellt, von der Bilderfassungseinheit 11 erkannt werden. Das Verkehrszeichen 2 kann einen graphischen Teil 21 aufweisen, der eine Nachricht anzeigt (z.B. „Linksabbiegen ist verboten“), und einen Textteil 22, der einen Zustand anzeigt, der mit der Nachricht assoziiert ist (z.B. die angegebenen Zeiträume 7:00 bis 9:00 Uhr und 15:30 bis 17:30 Uhr, in denen das Linksabbiegen verboten ist).
Solchermaßen stellt der Prozessor 14 in Schritt S13 fest, dass ein Verkehrszeichen erkannt wird und stellt die Nachricht fest (d. h. Linksabbiegen ist verboten), und der Ablauf fährt mit Schritt 14 fort, um festzustellen, ob zusätzliche Informationen erkannt werden, die einen Zustand anzeigen, der mit der Nachricht assoziiert ist, in oder in der Nähe des Verkehrszeichens 2. Wenn der Textteil 22 erkannt wird, fährt der Ablauf mit Schritt S16 fort.
In Schritt S16 identifiziert der Prozessor 14 den in den zusätzlichen Informationen enthaltenen Zustand. Dann stellt der Prozessor 14 fest, ob die aktuelle Zeit innerhalb einer bestimmten Zeitspanne, die in dem Zustand definierten ist liegt (d.h. 7:00 bis 9:00 Uhr morgens oder 15:30 bis 17:30 Uhr abends) . Wenn die Feststellung negativ ausfällt, bedeutet dies, dass Linksabbiegen zum aktuellen Zeitpunkt erlaubt ist und das Verfahren abgebrochen werden kann. Wenn die Feststellung positiv ausfällt, wird mit Schritt S17 fortgefahren, um festzustellen, ob eine Bewegung des Fahrzeugs anzeigt, dass das Fahrzeug die verbotene Aktion durchführt (Linksabbiegen), und um die Ausführung der Alarmaktion zu veranlassen, wenn die Bewegung des Fahrzeugs gegen die Nachricht verstößt (d.h. das Fahrzeug biegt nach links ab). In dieser Ausführungsform kann die Feststellung durch nachschauen verschiedener Parameter aus verschiedenen Komponenten des Fahrzeugs erfolgen, wie z.B. ein Lenkrad, das gegen den Uhrzeigersinn um, zum Beispiel, mehr als einen voreingestellten Winkel gedreht wird, ein Linksabbiege-Richtungslicht, das aktiviert wird, eine vorgegebene Navigationsroute, die anzeigt, dass eine Linkskurve bevorsteht, usw..
In anderen Ausführungsformen können verschiedene Arten von Verkehrszeichen erkannt werden. Zum Beispiel, wenn ein Verkehrszeichen für Geschwindigkeitsbegrenzung erkannt wird, kann es sich bei der Nachricht um eine Höchst- und/oder Mindestgeschwindigkeitsgrenze handeln, und der Zustand kann eine Klassifikation des Fahrzeugs sein (zum Beispiel, kann das Verkehrszeichen Geschwindigkeitsbegrenzungen vorgeschrieben für Leichtfahrzeuge anzeigen). In diesem Fall kann der Prozessor 14 zunächst die Klassifikation des Fahrzeugs bestimmen (z.B., anhand der im Datenspeicher 12 gespeicherten Daten des Originalgeräteherstellers (OEM)), um festzustellen, ob das Fahrzeug als Leichtfahrzeug klassifiziert ist. Wenn festgestellt wird, dass das Fahrzeug als Leichtfahrzeug klassifiziert ist, kann der Prozessor 14 basierend auf einem Tachometer des Fahrzeugs feststellen, ob sich das Fahrzeug schneller als die Höchstgeschwindigkeitsgrenze oder langsamer als die Mindestgeschwindigkeitsgrenze bewegt, und die Ausführung der Alarmaktion veranlassen, wenn die Bewegung des Fahrzeugs mindestens gegen einen Teil der Nachricht verstößt (sich schneller als die Höchstgeschwindigkeitsgrenze oder langsamer als die Mindestgeschwindigkeitsgrenze bewegt).
In einem anderen Beispiel kann der Zustand ein Wetterzustand der Umgebung des Fahrzeugs sein (zum Beispiel, kann das Verkehrszeichen eine Höchstgeschwindigkeitsgrenze, die bei Regen, Nebel usw. vorgeschrieben ist, anzeigen). In diesem Fall kann der Prozessor 14 zunächst einen aktuellen Wetterzustand feststellen (z.B. Steuerung der Kommunikationseinheit 15, um mit einem Remote-Server zu kommunizieren, um den aktuellen Wetterzustand zu erhalten), um festzustellen, ob der aktuelle Wetterzustand der Wetterzustand ist, der durch die zusätzlichen Informationen in Bezug auf das Verkehrszeichen angegeben wird. Wenn festgestellt wird, dass der aktuelle Wetterzustand dem durch die zusätzlichen Informationen in Bezug auf das Verkehrszeichen spezifizierten Wetterzustand entspricht, kann der Prozessor 14 basierend auf einem Tachometer des Fahrzeugs feststellen, ob sich das Fahrzeug schneller als die Höchstgeschwindigkeitsgrenze bewegt, und die Ausführung der Alarmaktion veranlassen, wenn die Bewegung des Fahrzeugs gegen die Nachricht verstößt (d.h., schneller als die Höchstgeschwindigkeitsgrenze bewegt).
In einigen Beispielen kann die Nachricht eine Größenbeschränkung (z.B., eine Höhe, eine Breite usw.) und eine Gewichtsbeschränkung sein. In solchen Fällen kann der Prozessor 14 auf die im Datenspeicher 12 gespeicherten OEM-Daten zugreifen, um festzustellen, ob sich das Fahrzeug innerhalb der Größenbeschränkung befindet, die durch das Verkehrszeichen spezifiziert ist.
Mit Hilfe des obigen Verfahrens kann das Fahrassistenzsystem 1 konfiguriert sein eine Nachricht eines Verkehrszeichens festzustellen, die erkannt wird während sich das Fahrzeug bewegt, und einen Zustand, der mit einer Nachricht des Verkehrszeichens assoziiert ist, festzustellen. Danach kann das Fahrassistenzsystem 1 konfiguriert werden festzustellen, ob der aktuelle Zustand des Fahrzeugs darauf hinweist, dass das Fahrzeug möglicherweise eine verbotene Handlung ausführt, und dementsprechend eine Alarmaktion ausführt, um den Fahrer zu informieren.
4 ist ein Flussdiagramm, das die Schritte eines Verfahrens zur Bereitstellung von Fahrassistenz gemäß einer Ausführungsform der Offenbarung veranschaulicht. In dieser Ausführungsform wird das Verfahren durch das Fahrassistenzsystem 1, wie in 1 dargestellt, implementiert. Es wird darauf hingewiesen, dass sich die Schritte des Verfahrens in dieser Ausführungsform mit dem potenziellen Fall befassen, dass mehrere Verkehrszeichen in einem Bild erkannt werden.
In Schritt S21 steuert der Prozessor 14 die Bilderfassungseinheit 11, um kontinuierlich Bilder der Umgebung des Fahrzeugs zu erfassen.
In Schritt S22 führt der Prozessor 14 eine Bildverarbeitungsprozedur an mindestens einem der von der Bilderfassungseinheit 11 erfassten Bilder durch. Insbesondere führt der Prozessor 14 eine dynamische Bilderkennung an mindestens einem der Bilder durch, um Objekte in dem/den Bild(ern) unter Verwendung des CNN-Modells zu identifizieren.
In Schritt S23 stellt der Prozessor 14 fest, ob ein erstes Verkehrszeichen, das eine erste Nachricht anzeigt, erkannt wird. Nachdem festgestellt wurde, dass ein erstes Verkehrszeichen erkannt wurde, kann der Prozessor 14 weiter den Inhalt des ersten Verkehrszeichens identifizieren (d.h. die Nachricht feststellen) mit Hilfe des OCR-Modells oder anderer Erkennungstechniken, die kommerziell verfügbar sind. Wenn die Feststellung von Schritt S23 positiv ausfällt, fährt der Ablauf mit Schritt S24 fort. Andernfalls geht der Ablauf periodisch zu Schritt S23 zurück, um festzustellen, ob mindestens ein Verkehrszeichen in einem der Bilder erkannt wird, die anschließend von der Bilderfassungseinheit 11 erfasst werden. Zum Beispiel, kann in dieser Ausführungsform, wenn kein Verkehrszeichen erkannt wird, der Prozessor 14 die Erkennung nach einer vorgegebenen Zeitspanne (z.B. 500 Millisekunden) erneut durchführen.
In Schritt S24 stellt der Prozessor 14 fest, ob zusätzliche Informationen, die einen Zustand anzeigen, der mit der Nachricht assoziiert ist, in oder in der Nähe des ersten Verkehrszeichens erkannt werden, und ob ein zweites Verkehrszeichen, das eine zweite Nachricht anzeigt, erkannt wird. Basierend auf der Feststellung von Schritt S24 kann einer der Schritte S25 bis S27, wie unten beschrieben, implementiert werden. In einem Beispiel kann das erste Verkehrszeichen eine Höchstgeschwindigkeitsgrenze (d.h. die erste Nachricht) mit einem Zustand anzeigen, und das zweite Verkehrszeichen kann eine andere Höchstgeschwindigkeitsgrenze (d.h. die zweite Nachricht) anzeigen.
Insbesondere ist in dieser Ausführungsform der Prozessor 14 zunächst konfiguriert einen Erfassungsbereich im genannten einen der Bilder zu definieren, der mit dem ersten Verkehrszeichen assoziiert ist. In dieser Ausführungsform kann der Erfassungsbereich in einer Form eines Kreises sein mit einem Mittelpunkt, der mit dem geometrischen Mittelpunkt des ersten Verkehrszeichens in dem Bild zusammenfällt, wobei eine Größe des Erfassungsbereichs positiv mit der Größe des ersten Verkehrszeichens in dem Bild zusammenhängt. Zum Beispiel kann die Größe des Erfassungsbereichs das Zweifache der Größe des ersten Verkehrszeichens im Bild betragen. Dann stellt der Prozessor 14 fest, ob die zusätzlichen Informationen und das zweite Verkehrszeichen innerhalb des Erfassungsbereichs erkannt werden.
Für den Fall, dass keine zusätzlichen Informationen und kein zusätzliches Verkehrszeichen erkannt werden, fährt der Ablauf mit Schritt S25 fort, in dem der Prozessor 14 feststellt, ob eine Alarmaktion auszuführen ist, basierend auf mindestens der Nachricht, die durch das Verkehrszeichen angezeigt wird und eines aktuellen Zustands, der mit Fahrzeug assoziiert ist. Es wird darauf hingewiesen, dass in diesem Fall die Operationen von Schritt S25 vom Prozessor 14 in ähnlich Weise ausgeführt werden können, wie die von Schritt S15 (siehe 2).
Für den Fall, dass zusätzliche Informationen erkannt werden und kein zusätzliches Verkehrszeichen erkannt wird, fährt der Ablauf mit Schritt S26 fort, in dem der Prozessor 14 feststellt, ob mindestens ein Teil des aktuellen Zustands zu mindestens einem Teil des Zustands passt. Es wird darauf hingewiesen, dass in diesem Fall die Operationen von Schritt S26 vom Prozessor 14 in ähnlicher Weise ausgeführt werden können, wie die Operationen der Schritte S16 und S17 (siehe 2).
Für den Fall, dass sowohl zusätzliche Informationen als auch das zweite Verkehrszeichen erkannt werden, fährt der Ablauf mit den Schritten S27 und S28 fort, in denen der Prozessor 14 eines von dem ersten Verkehrszeichen und dem zweiten Verkehrszeichen als zu bearbeitendes Verkehrszeichen [org.: to-be-dealt-with traffic sign] auswählt.
Insbesondere können die erkannten Verkehrszeichen in der Form einer Gruppe von Verkehrszeichen 3 sein, wie in 5 dargestellt. Die Gruppe von Verkehrszeichen 3 umfasst ein erstes Verkehrszeichen 31A, ein zweites Verkehrszeichen 31B und ein Bild 32. Das erste Verkehrszeichen 31A und das zweite Verkehrszeichen 31B können mit einer ersten Nachricht (z.B. einer Höchstgeschwindigkeitsgrenze oder einer Mindestgeschwindigkeitsgrenze) und entsprechend mit einer zweiten Nachricht (z.B. einer anderen Höchstgeschwindigkeitsgrenze oder einer anderen Mindestgeschwindigkeitsgrenze) assoziiert sein. Das Bild 32 kann grafische Informationen aufweisen, die eine Zustand (z.B. ein bestimmter Wetterzustand) darstellen und kann mit einem des ersten Verkehrszeichens 31A und des zweiten Verkehrszeichens 31B assoziiert werden. In anderen Ausführungsformen kann das Bild 32 Zeichen (z.B. Texte und Zahlen) enthalten, die zusätzliche Informationen bereitstellen.
Es wird darauf hingewiesen, dass in diesem Beispiel jeweils das erste Verkehrszeichen 31A, das zweite Verkehrszeichen 31B und das Bild 32 von unterbrochenen Linien eingeschlossen sind (die vielleicht in Wirklichkeit nicht auf den Verkehrszeichen vorhanden sind).
In dieser Ausführungsform wählt der Prozessor 14 eines der Verkehrszeichen, das über die zusätzlichen Informationen verfügt (d.h. das erste Verkehrszeichen 31A), als primäres Verkehrszeichen aus, in Schritt s27. Danach fährt der Ablauf mit Schritt S28 fort, in dem der Prozessor 14 feststellt, ob mindestens ein Teil des aktuellen Zustands zu mindestens einem Teil des Zustands passt. Zum Beispiel, kann in diesem Fall, wo die Gruppe der Verkehrszeichen 3 erkannt wird und der Zustand ein Regenwetter anzeigt, der Prozessor 14 auf einen Remote-Server zugreifen, um den aktuellen Wetterzustand zu erhalten, um festzustellen, ob der aktuelle Wetterzustand der Wetterzustand ist, der durch das Bild 32 angegeben ist (d.h. Regenwetter).
Wenn festgestellt wird, dass der aktuelle Wetterzustand der Wetterzustand ist, der in Bild 32 angegeben ist, fährt der Ablauf mit Schritt S29 fort, in dem der Prozessor 14, basierend auf einem Tachometer des Fahrzeugs feststellen kann, ob sich das Fahrzeug schneller bewegt als die durch das erste Verkehrszeichen 31A angezeigte Höchstgeschwindigkeitsgrenze (110 Kilometer pro Stunde), und die Ausführung der Alarmaktion veranlasst, wenn die Bewegung des Fahrzeugs gegen die erste Nachricht verstößt (das Fahrzeug bewegt sich mit einer Geschwindigkeit von mehr als 110 Kilometern pro Stunde). Mit anderen Worten, wenn die Feststellung von Schritt S28 positiv ausfällt, wird Schritt S29 in Bezug auf das primäre Verkehrszeichen ausgeführt, das als zu bearbeitendes Verkehrszeichen dient.
Auf der anderen Seite, wenn in Schritt S28 festgestellt wird, dass der aktuelle Wetterzustand nicht der Wetterzustand ist, der in Bild 32 angegeben ist, fährt der Ablauf mit Schritt S30 fort, in dem der Prozessor 14 basierend auf einem Tachometers des Fahrzeugs feststellen kann, ob sich das Fahrzeug schneller als die durch das zweite Verkehrszeichen 31B angezeigte Höchstgeschwindigkeitsgrenze (130 Kilometer pro Stunde) bewegt, und die Ausführung der Alarmaktion veranlasst, wenn die Bewegung des Fahrzeugs gegen die zweite Nachricht verstößt (das Fahrzeug bewegt sich mit einer Geschwindigkeit von mehr als 130 Kilometer pro Stunde). Mit anderen Worten, wenn die Feststellung von Schritt S28 negativ ist, dann wird Schritt S30 in Bezug auf das zweite Verkehrszeichen ausgeführt, das als zu bearbeitendes Verkehrszeichen dient.
In einigen Beispielen, kann bei der Verarbeitung der erkannten Gruppe der Verkehrszeichen 3, wenn festgestellt wird, dass die Nachrichten des ersten Verkehrszeichens 31A und des zweiten Verkehrszeichens 31B vom gleichen Typ sind (z.B. beide sind Höchstgeschwindigkeitsgrenze), und der Zustand typischerweise darauf hinweist, dass die betreffende Nachricht restriktiver wäre (z.B, typischerweise gilt eine niedrigere Höchstgeschwindigkeitsgrenze bei Regenwetter oder Nebel als bei gutem (normalem) Wetter), kann der Prozessor 14 direkt das Verkehrszeichen, das mit der restriktiveren Nachricht assoziiert ist (z.B. eine niedrigere der Höchstgeschwindigkeiten, welche 110 Kilometer pro Stunde sein kann), als primäres Verkehrszeichen in Schritt S27 auswählen und anschließend die Schritte S28 bis S30 entsprechend ausführen.
Es wird darauf hingewiesen, dass obwohl in dieser Ausführungsform das erste Verkehrszeichen 31A und das zweite Verkehrszeichen 31B nicht gleichzeitig erkannt werden können, der Prozessor 14 dennoch in der Lage ist eines von dem ersten Verkehrszeichen 31A und dem zweiten Verkehrszeichen 31B korrekt als ein primäres Verkehrszeichen auszuwählen, basierend auf dem Zustand, und eines der Verkehrszeichen zu verwenden, das auf den aktuellen Zustand des Fahrzeugs anwendbar ist, um festzustellen, ob die Alarmaktion durchzuführen ist. Das heißt, unter einem normalen (z.B. nicht regnerischen und nicht nebligen) Wetterzustanden ist der Prozessor 14 dazu programmiert festzustellen, ob sich das Fahrzeug schneller als 130 Kilometer pro Stunde bewegt, und an einem Regentag ist der Prozessor 14 dazu programmiert, festzustellen, ob sich das Fahrzeug schneller als 110 Kilometer pro Stunde bewegt.
In einer Ausführungsform können die Operationen des Schrittes S27, in dem der Prozessor 14 eines von dem ersten Verkehrszeichen und dem zweiten Verkehrszeichen als primäres Verkehrszeichen auswählt, auf eine andere Weise als die zuvor beschriebene durchgeführt werden.
Insbesondere in solchen Ausführungsform stellt der Prozessor 14 fest, ob eines der Verkehrszeichen zusammen mit den zusätzlichen Informationen durch eine sichtbare Grenze eingeschlossen ist und das andere Verkehrszeichen nicht innerhalb der sichtbaren Grenze eingeschlossen ist. In einem solchen Fall kann der Prozessor 14 das Verkehrszeichen, das zusammen mit den zusätzlichen Informationen von einer sichtbaren Grenze eingeschlossen ist, als primäres Verkehrszeichen auswählen. Unter Verwendung der Gruppe von Verkehrszeichen 3 wie in 5 dargestellt als ein Beispiel, wenn eine sichtbare Grenze 33B, die das erste Verkehrszeichen 31A und das Bild 32 einschließt, und eine sichtbare Grenze 33C, die das zweite Verkehrszeichen 31B einschließt, erkannt werden, kann der Prozessor 14 das erste Verkehrszeichen 31A, von dem angenommen wird mit dem Bild 32 assoziiert zu sein (und damit mit den zusätzlichen Informationen), als das primäre Verkehrszeichen auswählen.
Nach einer Ausführungsform der Offenbarung wird ein Computerprogrammprodukt bereitgestellt, das Anweisungen umfasst, die, wenn sie von einem Prozessor eines fahrzeuginternen Fahrassistenzsystems ausgeführt werden, den Prozessor veranlassen Schritte eines Verfahrens zur Bereitstellung von Fahrassistenz auszuführen, wie in jedem der oben genannten Ausführungsformen beschrieben ist. Das Computerprogrammprodukt kann auf einem nicht temporären computerlesbaren Speichermedium (wie einem Flash-Laufwerk, einer Compact Disc, einem Cloud-Laufwerk usw.) gespeichert werden.
Nach einigen Ausführungsformen kann das Fahrassistenzsystem 1 konfiguriert sein das aktuelle Wetter über eine von mehreren Möglichkeiten zu erhalten ohne mit den externen Servern zu kommunizieren. Zum Beispiel kann der Prozessor 14 dazu programmiert sein das aktuelle Wetter durch Ausführen der Bildverarbeitungsprozedur festzustellen, die programmiert sein kann das aktuelle Wetter basierend auf den Bildern, die von der Bilderfassungseinheit 11 erfasst wurden, festzustellen. Alternativ kann der Prozessor 14 dazu programmiert sein das aktuelle Wetter festzustellen, durch erkennen von Zuständen von einigen Komponenten des Fahrzeugs, zum Beispiel ob ein Scheibenwischer aktiviert ist, ob sich auf einer Windschutzscheibe Regentropfen befinden, usw.. Es wird darauf hingewiesen, dass die Feststellung des aktuellen Wetters basierend auf den Bildern in der zugehörigen Technik verfügbar sein kann, so dass Einzelheiten dazu hier der Kürze halber weggelassen werden.
In einem anderen Fall kann die Feststellung in Schritt S28 zunächst basierend auf dem aktuellen Wetter erfolgen, das vom Remote-Server bezogen wird. Wenn festgestellt wird, dass das aktuelle Wetter dem Zustand entspricht (d.h. es regnet, schneit, ist neblig, usw.), fährt der Ablauf mit Schritt S29 fort. Andererseits, wenn festgestellt wird, dass das aktuelle Wetter nicht zu dem Zustand passt (d.h. es ist sonnig, bewölkt usw.), kann der Prozessor 14 weiter das aktuelle Wetter basieren auf den Zuständen einiger Komponenten des Fahrzeugs und/oder des Ergebnisses der Bildverarbeitungsprozedur feststellen. Wenn die weitere Feststellung ebenfalls anzeigt, dass das aktuelle Wetter nicht zum Zustand passt, fährt der Ablauf mit Schritt S30 fort. Andererseits, wenn die weitere Feststellung anzeigt, dass das aktuelle Wetter dem Zustand entspricht, fährt der Ablauf mit Schritt S29 fort.
Auf diese Weise kann der Ablauf der obigen Ausführungsform dazu dienen, die vom Remote-Server erhaltenen Informationen doppelt zu überprüfen, um so die potentielle Situation auszuschließen, dass das aktuelle Wetter, das vom Remote-Server erhalten wird, nicht dasselbe tatsächlich vom Fahrzeug erlebten Wetter ist.
In diesen Fällen kann der Fahrer manuell umschalten, um die oben beschriebene Art und Weise zur Implementierung der Feststellung zu übernehmen. In den oben genannten Fällen können einige der Operationen in dem Verfahren effizienter und kostengünstiger durchgeführt werden, da der Bedarf an externen Eingaben (z.B. das aktuelle Wetter von den Remote-Servern) entfallen kann und mit den bereits im Fahrzeug vorhandenen Komponenten implementiert werden kann (d.h. keine zusätzliche Komponente ist erforderlich, die im Fahrzeug installiert werden muss).
Zusammenfassend, die Ausführungsformen der Offenbarung stellen ein Verfahren, ein System und ein Computerprogrammprodukt bereit, das in der Lage ist Bilder eines Verkehrszeichens auf der Straße zu erfassen, die Nachricht und den relevanten Zustand, der mit dem Verkehrszeichen assoziierten ist, zu identifizieren und festzustellen, ob der aktuelle Zustand des Fahrzeugs gegen die Nachricht verstößt. Wenn die Feststellung positiv ist, wird eine Alarmaktion ausgeführt, die die Ausgabe eines alarmierenden Textes, eines Warntons, einer Rede, die den alarmierenden Text laut vorliest, usw. umfassen kann, um den Benutzer des Fahrzeugs zu alarmieren. Auf diese Weise kann sich der Benutzer stärker auf das Fahren selbst konzentrieren und wird weniger durch die Notwendigkeit abgelenkt, auf die Verkehrszeichen zu schauen.
In der obigen Beschreibung wurden zu Erklärungszwecken zahlreiche spezifische Einzelheiten aufgeführt, um ein umfassendes Verständnis der Ausführungsformen bereit zu stellen. Es wird für den Fachmann jedoch offensichtlich sein, dass eine oder mehrere andere Ausführungsformen ohne einige dieser spezifischen Einzelheiten durchgeführt werden können. Es sollte auch gewürdigt werden, dass eine Bezugnahme in dieser gesamten Spezifikation auf „eine Ausführungsform“, „eine Ausführungsform“, eine Ausführungsform mit Angabe eines Bezugszeichens und so weiter bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft in die Ausübung der Offenbarung einbezogen werden kann. Es sollte ferner gewürdigt werden, dass in der Beschreibung manchmal verschiedene Merkmale in einer einzigen Ausführungsform, Figur oder Beschreibung davon zusammen gruppiert werden, aus dem Grund die Offenbarung zu straffen und bei dem Verständnis verschiedener erfinderischer Aspekte zu unterstützen, und dass ein oder mehrere Merkmale oder spezifische Einzelheiten aus einer Ausführungsform zusammen mit einem oder mehreren Merkmalen oder spezifischen Einzelheiten aus einer anderen Ausführungsform angewendet werden können, wo geeignet, in der Ausübung der Offenbarung.

Claims

Ein Verfahren zum Bereitstellen einer Fahrassistenz, das Verfahren wird unter Verwendung eines Fahrassistenzsystems (1) implementiert, das einen Prozessor (14) und eine Bilderfassungseinheit (11) umfasst, dadurch gekennzeichnet, dass das Verfahren folgende Schritte umfasst a) Steuern der Bilderfassungseinheit (11) durch den Prozessor (14), um kontinuierlich Bilder der Umgebung des Fahrzeugs zu erfassen; b) Durchführen einer Bildverarbeitungsprozedur durch den Prozessor (14), an mindestens einem der von der Bilderfassungseinheit (11) erfassten Bilder; c) Feststellen, durch den Prozessor (14), ob in mindestens einem der Bilder ein Verkehrszeichen erkannt wurde, das eine Nachricht anzeigt; d) wenn die Feststellung in Schritt c) positiv ist, feststellen, durch den Prozessor (14), ob zusätzliche Informationen in Bezug auf das Verkehrszeichen erkannt werden, die einen Zustand anzeigen, der mit der Nachricht assoziiert ist; e) Feststellen, durch den Prozessor (14), ob eine Alarmaktion ausgeführt werden muss basierend auf mindestens der Nachricht, die das Verkehrszeichen anzeigt und einem aktuellen Zustand, der mit dem Fahrzeug assoziiert ist, der aktuelle Zustand umfassend eine aktuelle Zeit, ein aktuelles Wetter, eine Bewegung des Fahrzeugs oder eine beliebige Kombination davon, und f) wenn die Feststellung in Schritt e) positiv ist, Ausführen der Alarmaktion durch den Prozessor (14) .
Das Verfahren nach Anspruchs 1, dadurch gekennzeichnet, dass Schritt d) umfasst: Definieren eines Erfassungsbereichs in mindestens einem der Bilder, das mit dem Verkehrszeichen assoziiert ist, wobei eine Größe des Erfassungsbereichs positiv mit einer Größe des Verkehrszeichens in dem mindestens einen der Bilder zusammenhängt; und Feststellen, ob die zusätzlichen Informationen innerhalb des Erfassungsbereichs erkannt werden.
Das Verfahre nach Anspruchs 1, dadurch gekennzeichnet, dass: Schritt e) die Feststellung umfasst, ob mindestens ein Teil des aktuellen Zustands zu mindestens einem Teil des Zustands passt, und wenn festgestellt wird, dass mindestens ein Teil des aktuellen Zustands zu mindestens einem Teil des Zustands passt, wird festgestellt, ob mindestens ein Teil des aktuellen Zustands mindestens gegen einen Teil der Nachricht verstößt; und Schritt f) umfasst die Steuerung einer Ausgabeeinheit (13) des Fahrassistenzsystems (1), um einen Alarm auszugeben, der mit der Nachricht assoziiert ist.
Das Verfahren nach Anspruchs 1, dadurch gekennzeichnet, dass das Verfahren zwischen den Schritten d) und e) weiter umfasst: g) wenn eine Vielzahl von Verkehrszeichen in dem mindestens einen der Bilder in Schritt c) erkannt wird und zusätzliche Informationen, die mit einem der Verkehrszeichen assoziiert sind, in Bezug auf das eine der Verkehrszeichen in Schritt d) erkannt werden, Auswahl eines der Verkehrszeichen als ein zu bearbeitendes Verkehrszeichen; wobei Schritt e) durchgeführt wird in Bezug auf das zu bearbeitende Verkehrszeichen.
Das Verfahren nach Anspruchs 4, dadurch gekennzeichnet, dass Schritt g) umfasst: Auswählen eines der Verkehrszeichen mit den zusätzlichen Informationen als primäres Verkehrszeichen; Feststellen, ob mindestens ein Teil des aktuellen Zustands zu mindestens einem Teil des Zustands passt; wenn die Feststellung positiv ausfällt, durchführen von Schritt e) in Bezug auf das primäre Verkehrszeichen, das als zu bearbeitendes Verkehrszeichen dient; und wenn die Feststellung negativ ist, durchführen von Schritt e) in Bezug auf das andere Verkehrszeichen, das als das zu bearbeitende Verkehrszeichen dient.
Verfahren nach Anspruch 4, wobei die Nachrichten für die Verkehrszeichen Geschwindigkeitsbegrenzungen umfassen, die zusätzlichen Informationen einen spezifischen Wetterzustand umfassen, dadurch gekennzeichnet, dass Schritt g) durchgeführt wird durch Vergleichen des aktuellen Wetters mit dem spezifischen Wetterzustand und Verwenden des einen der Verkehrszeichen mit den zusätzlichen Informationen als zu bearbeitendes Verkehrszeichen, wenn das aktuelle Wetter dem spezifischen Wetterzustand entspricht.
Das Verfahren nach Anspruchs 4, dadurch gekennzeichnet, dass Schritt g) umfasst: wenn festgestellt wird, dass eines der Verkehrszeichen zusammen mit den zusätzlichen Informationen innerhalb einer sichtbaren Grenze eingeschlossen ist und ein anderes der Verkehrszeichen nicht innerhalb der sichtbaren Grenze eingeschlossen ist, durchführen von Schritt e) in Bezug auf das eine der Verkehrszeichen, das als das zu bearbeitendes Verkehrszeichen dient.
Ein Fahrassistenzsystem (1), gekennzeichnet durch einen Prozessor (14) und eine Bilderfassungseinheit (11), die mit dem Prozessor (14) verbunden ist, wobei der Prozessor (14) dazu programmiert ist, die genannte Bilderfassungseinheit (11) zu steuern, um kontinuierlich Bilder der Umgebung des Fahrzeugs zu erfassen; ein Bildverarbeitungsverfahren an mindestens einem der Bilder, die von der Bilderfassungseinheit (11) erfasst wurden, durchzuführen; festzustellen, ob ein Verkehrszeichen, das eine Nachricht anzeigt, in mindestens einem der Bilder erkannt wird; wenn die Feststellung positiv ist, festzustellen, ob zusätzliche Informationen in Bezug auf das Verkehrszeichen erkannt werden, die einen Zustand anzeigen, der mit der Nachricht assoziierten ist; festzustellen, ob eine Alarmaktion auszuführen ist, basierend auf mindestens der Nachricht, die durch das Verkehrszeichen angezeigt wird und einem aktuellen Zustand, der mit dem Fahrzeug assoziiert ist, der aktuelle Zustand umfassend eine aktuelle Zeit, ein aktuelles Wetter, eine Bewegung des Fahrzeugs oder eine beliebige Kombination davon; und wenn die Feststellung positiv ist, die Alarmaktion auszuführen.
Das Fahrassistenzsystem (1) nach Anspruch 8, dadurch gekennzeichnet, dass bei der Feststellung, ob zusätzliche Informationen erkannt werden, der genannte Prozessor (14) dazu programmiert ist, einen Erfassungsbereich in mindestens einem der Bilder zu definieren, der mit dem Verkehrszeichen assoziiert ist, wobei eine Größe des Erfassungsbereichs positiv mit einer Größe des Verkehrszeichens in mindestens einem der Bilder zusammenhängt; und festzustellen, ob die zusätzlichen Informationen innerhalb des Erfassungsbereichs erkannt werden.
Das Fahrassistenzsystem (1) nach Anspruchs 8, weiter gekennzeichnet durch eine Ausgabeeinheit (13), wobei: bei der Feststellung, ob eine Alarmaktion ausgeführt werden soll, der genannte Prozessor (14) dazu programmiert ist, festzustellen, ob mindestens ein Teil des aktuellen Zustands zu mindestens einem Teil des Zustands passt, und wenn festgestellt wird, dass mindestens ein Teil des aktuellen Zustands zu mindestens einem Teil des Zustands passt, festzustellen, ob mindestens ein Teil des aktuellen Zustands gegen mindestens einen Teil der Nachricht verstößt; und bei der Ausführung der Alarmaktion der genannte Prozessor (14) dazu programmiert ist, um die Ausgabeeinheit (13) des Fahrassistenzsystems (1) zu steuern, um einen Alarm auszugeben, der mit der Nachricht assoziiert ist.
Das Fahrassistenzsystem (1) nach Anspruch 8, dadurch gekennzeichnet, dass der Prozessor (14) ferner dazu programmiert ist, vor der Feststellung, ob eine Alarmaktion ausgeführt werden soll: eines der Verkehrszeichen als ein zu bearbeitendes Verkehrszeichen auszuwählen, wenn eine Vielzahl von Verkehrszeichen in mindestens einem von den Bildern erkannt werden und zusätzliche Informationen, die mit einem der Verkehrszeichen assoziiert sind, in Bezug auf das eine der Verkehrszeichen erkannt werden; wobei die Feststellung, ob eine Alarmaktion auszuführen ist, von dem genannten Prozessor (14) in Bezug auf das zu bearbeitende Verkehrszeichen durchgeführt wird.
Das Fahrassistenzsystem (1) nach Anspruch 11, dadurch gekennzeichnet, dass bei der Auswahl eines von den Verkehrszeichen als zu bearbeitendes Verkehrszeichen, der genannte Prozessor (14) ferner dazu programmiert ist, eines der Verkehrszeichen mit den zusätzlichen Informationen als primäres Verkehrszeichen auszuwählen; festzustellen, ob mindestens ein Teil des aktuellen Zustands zu mindestens einem Teil des Zustands passt; wenn die Feststellung positiv ausfällt, festzustellen, ob die Alarmaktion in Bezug auf das primäre Verkehrszeichen ausgeführt werden soll, das als zu bearbeitendes Verkehrszeichen dient; und wenn die Feststellung negativ ausfällt, festzustellen, ob die Alarmaktion in Bezug auf das andere Verkehrszeichen ausgeführt werden soll, das als zu bearbeitendes Verkehrszeichen dient.
Das Fahrassistenzsystem (1) nach Anspruch 11, wobei die Nachrichten für die Verkehrszeichen Geschwindigkeitsbegrenzungen umfassen, die zusätzlichen Informationen einen spezifischen Wetterzustand umfassen, dadurch gekennzeichnet, dass bei der Auswahl eines von den Verkehrszeichen als ein zu bearbeitendes Verkehrszeichen, der genannte Prozessor (14) programmiert ist, um das aktuelle Wetter mit dem spezifischen Wetterzustand zu vergleichen und das eine der Verkehrszeichen mit den zusätzlichen Informationen als das zu bearbeitende Verkehrszeichen zu verwenden, wenn das Wetter dem spezifischen Wetterzustands entspricht.
Das Fahrassistenzsystem (1) nach Anspruch 11, dadurch gekennzeichnet, dass bei der Auswahl eines der Verkehrszeichen als ein zu bearbeitendes Verkehrszeichen der genannte Prozessor (14) dazu programmiert ist festzustellen, ob eine Alarmaktion in Bezug auf das eine von den Verkehrszeichen durchgeführt werden soll, das als zu bearbeitendes Verkehrszeichen dient, wenn festgestellt wird, dass eines der Verkehrszeichen zusammen mit den zusätzlichen Informationen innerhalb einer sichtbaren Grenze eingeschlossen sind und ein anderes der Verkehrszeichen nicht innerhalb der sichtbaren Grenze eingeschlossen ist.
Ein Computerprogrammprodukt, gekennzeichnet durch Anweisungen, die, wenn sie von einem Prozessor (14) eines fahrzeuginternen Fahrassistenzsystems (1) ausgeführt werden, den Prozessor (14) veranlassen, Schritte eines Verfahrens nach Anspruch 1 auszuführen.