DE102022129968A1

DE102022129968A1 - Verfahren zum betreiben eines fahrzeugs, computerprogrammprodukt, steuervorrichtung und fahrzeug

Info

Publication number: DE102022129968A1
Application number: DE102022129968.6A
Authority: DE
Inventors: Chen Ding; Thorsten Meyer
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2022-11-14
Filing date: 2022-11-14
Publication date: 2024-05-16

Abstract

Verfahren zum Betreiben eines Fahrzeugs (1), aufweisend:Empfangen (S1) von Sensordaten (S) von einer Sensoreinrichtung (2) des Fahrzeugs (1), wobei die Sensordaten (S) ein Verkehrszeichen (11) in einer Umgebung (U) des Fahrzeugs (1) zumindest teilweise erfassen,Ermitteln (S2), dass ein Erkennen eines Bedeutungsinhalts des Verkehrszeichens (11) basierend auf den Sensordaten (S) durch eine Steuervorrichtung (12) des Fahrzeugs (1) nicht oder nicht vollständig möglich ist,Senden (S3) einer Verkehrszeicheninformation (V) in Bezug auf das Verkehrszeichen (11) an eine cloudbasierte Servervorrichtung (30) und Anfragen der cloudbasierten Servervorrichtung (30), einen Bedeutungsinhalt des Verkehrszeichens (11) zu ermitteln (S4), undEmpfangen (S5) einer von der cloudbasierten Servervorrichtung (30) ermittelten Ergebnisinformation (E) in Bezug auf den Bedeutungsinhalt des Verkehrszeichens (11).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs, ein Computerprogrammprodukt, eine Steuervorrichtung für ein Fahrzeug und ein Fahrzeug mit einer derartigen Steuervorrichtung.
Intelligente Fahrzeuge mit Fahrerassistenzfunktionen oder automatisierten Fahrfunktionen müssen in der Lage sein, Verkehrszeichen zu erkennen und die entsprechenden Verkehrsregeln einzuhalten. Schwierigkeiten, die Bedeutung eines Verkehrszeichens zu erkennen, können auftreten, wenn ein Verkehrszeichen ein allgemein unbekanntes Zeichen oder beispielsweise Text enthält. Zum Beispiel kann, wenn das Fahrzeug im Ausland unterwegs ist, Text auf einem Verkehrszeichen in einer fremden Sprache geschrieben sein. Weiterhin gibt es zum Beispiel Verkehrszeichen, die zwei Abschnitte umfassen, z. B. ein Hauptzeichen mit einer Geschwindigkeitsbegrenzung und ein Zusatzzeichen, welches Bedingungen angibt, wann und/oder für welche Fahrzeugtypen das Hauptschild gültig ist. Ein derartiges Zusatzzeichen enthält oft Texte. Verkehrszeichen können für das Fahrzeugsystem auch in Fällen nicht lesbar sein, in denen Verkehrszeichen teilweise verdeckt, verschmutzt oder beschädigt sind.
In CN 113525228 A wird eine Fahrzeug-zu-Fahrzeug-Kommunikation (engl. vehicle to vehicle communication, V2V communication) vorgeschlagen. Die Fahrzeug-zu-Fahrzeug-Kommunikation dient dazu, einem Fahrzeug, dessen Sicht von einem vorausfahrenden Fahrzeug verdeckt wird, erfasste Videodaten des vorausfahrenden Fahrzeugs zu übermitteln. Die Übermittlung findet über einen Server statt, der ein cloudbasierter Server sein kann.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, ein verbessertes Verfahren zum Betreiben eines Fahrzeugs und eine verbesserte Steuervorrichtung für ein Fahrzeug bereitzustellen.
Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben eines Fahrzeugs vorgeschlagen. Das Verfahren weist die Schritte auf:

Empfangen von Sensordaten von einer Sensoreinrichtung des Fahrzeugs, wobei die Sensordaten ein Verkehrszeichen in einer Umgebung des Fahrzeugs zumindest teilweise erfassen,
Ermitteln, dass ein Erkennen eines Bedeutungsinhalts des Verkehrszeichens basierend auf den Sensordaten durch eine Steuervorrichtung des Fahrzeugs nicht oder nicht vollständig möglich ist,
Senden einer Verkehrszeicheninformation in Bezug auf das Verkehrszeichen an eine cloudbasierte Servervorrichtung und Anfragen der cloudbasierten Servervorrichtung, einen Bedeutungsinhalt des Verkehrszeichens zu ermitteln, und
Empfangen einer von der cloudbasierten Servervorrichtung ermittelten Ergebnisinformation in Bezug auf den Bedeutungsinhalt des Verkehrszeichens.

Folglich kann in einem Fall, in dem ein Verkehrszeichen in einer Umgebung eines Fahrzeugs von einer Steuervorrichtung des Fahrzeugs nicht verstanden werden kann, eine gezielte Anfrage an eine cloudbasierte Servervorrichtung gerichtet werden, den Bedeutungsinhalt des Verkehrszeichens zu ermitteln. Der von der cloudbasierten Servervorrichtung ermittelte Bedeutungsinhalt des Verkehrszeichens wird dann dem Fahrzeug, insbesondere einem Fahrerassistenzsystem und/oder einem automatisierten Fahrsystem des Fahrzeugs zur Verfügung gestellt.
Folglich kann die Leistung eines Fahrerassistenzsystem und/oder eines automatisierten Fahrsystems in Fahrzeugen auf einfache Weise verbessert werden. Insbesondere wird die Information, die dem Fahrerassistenzsystem und/oder dem automatisierten Fahrsystem in Bezug auf die Fahrzeugumgebung zur Verfügung steht, vergrößert, ohne dass eine Sensorik oder Sensordatenverarbeitung des Fahrzeugs selbst verbessert werden muss. Somit kann eine Fahrsicherheit des Fahrzeugs verbessert werden.
Das Fahrzeug ist zum Beispiel ein Kraftfahrzeug, wie beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen.
Das Verkehrszeichen ist beispielsweise an einem Verkehrsschild angeordnet. Das Verkehrsschild ist beispielsweise neben der Fahrbahn aufgestellt. Das Verkehrsschild kann beispielsweise auch über der Fahrbahn, z. B. hängend und/oder an einer Portalstruktur, angeordnet sein. Das Verkehrszeichen kann auch ein oder mehrere auf einer Fahrbahn angebrachte bzw. auf eine Fahrbahn gemalte Verkehrszeichen umfassen.
Das Verkehrszeichen kann beispielsweise ein passives Verkehrszeichen sein. Das Verkehrszeichen kann aber beispielsweise auch ein aktives Verkehrszeichen sein, das eine Anzeigevorrichtung aufweist, die von einer Steuereinheit angesteuert wird, um ein auf der Anzeigevorrichtung dargestelltes Verkehrszeichen aktiv zu steuern.
Das Verkehrszeichen weist beispielsweise einen Bildinhalt (z. B. ein oder mehrere Graphiken und/oder ein oder mehrere Symbole) und/oder einen Textinhalt auf.
Die Sensoreinrichtung des Fahrzeugs dient insbesondere zur Überwachung einer Umgebung des Fahrzeugs. Die Sensoreinrichtung weist beispielsweise ein oder mehrere Sensoreinheiten auf. Die Sensoreinheiten sind jeweils zum Ausgeben von Sensordaten eingerichtet. Beispielsweise sind die Sensoreinheiten jeweils zum Ausgeben von Sensordaten an die Steuervorrichtung des Fahrzeugs eingerichtet. Mit anderen Worten empfängt die Steuervorrichtung des Fahrzeugs die Sensordaten der Sensoreinrichtung des Fahrzeugs.
Beispielsweise umfasst die Steuervorrichtung Fahrerassistenzfunktionen, (teil-)autonome bzw. automatisierte Fahrfunktionen und/oder Parkassistenzfunktionen. Die Fahrerassistenzfunktionen, teilautonomen oder autonomen Fahrfunktionen und/oder Parkassistenzfunktionen des Fahrzeugs sind z. B. dazu eingerichtet, eine Fahrerassistenz, ein teilautonomes oder vollautonomes Fahren oder eine Parkassistenz in Abhängigkeit der erfassten Sensordaten durchzuführen.
Die Steuervorrichtung des Fahrzeugs ist zudem insbesondere dazu eingerichtet, die Sensordaten, in denen das Verkehrszeichen in der Umgebung des Fahrzeugs zumindest teilweise erfasst ist, zu empfangen und auszuwerten. Insbesondere ist die Steuervorrichtung des Fahrzeugs dazu eingerichtet, einen Bedeutungsinhalt des Verkehrszeichens, z. B. durch Bildverarbeitung, zu ermitteln. Wenn die Steuervorrichtung ermittelt, dass sie einen Bedeutungsinhalt des Verkehrszeichens nicht erkennen kann, dann sendet die Steuervorrichtung eine Information in Bezug auf das nicht erkannte Verkehrszeichen (d.h. die sog. Verkehrszeicheninformation) an die cloudbasierte Servervorrichtung. Weiterhin sendet die Steuervorrichtung in diesem Fall eine Anfrage an die cloudbasierte Servervorrichtung, einen Bedeutungsinhalt des Verkehrszeichens zu ermitteln.
Das Erkennen eines Bedeutungsinhalts des Verkehrszeichens weist beispielsweise ein Erkennen von Bild- und/oder Textinhalten des Verkehrszeichens und ein Erkennen einer Bedeutung des Bild- und/oder Textinhalts auf. Das Erkennen eines Bedeutungsinhalts des Verkehrszeichens weist beispielsweise eine Zuordnung des erkannten Bild- und/oder Textinhalts zu einer (z. B. vorbestimmten) Straßenverkehrsregel und/oder das Übersetzen des erkannten Bild- und/oder Textinhalts in eine Straßenverkehrsregel auf. Beispielsweise kann das Verkehrszeichen auch basierend auf den analysierten Sensordaten durch Vergleich mit vorbestimmten Verkehrszeichendaten klassifiziert werden.
Ein Erkennen eines Bedeutungsinhalts des Verkehrszeichens ist zum Beispiel dann nicht oder nicht vollständig möglich, wenn ein Bild- und/oder Textinhalt des Verkehrszeichens nicht oder nicht vollständig erkannt werden kann und/oder wenn eine Übersetzung eines teilweise oder vollständig erkannten Bild- und/oder Textinhalts in eine Straßenverkehrsregel nicht möglich ist.
Der Bedeutungsinhalt des Verkehrszeichens und/oder die dem Bedeutungsinhalt des Verkehrszeichens entsprechende Straßenverkehrsregel weist beispielsweise ein Verbot, eine Bedingung, unter der ein Verbot gilt, und/oder eine Aufhebung eines Verbots auf. Der Bedeutungsinhalt des Verkehrszeichens bzw. die entsprechende Straßenverkehrsregel kann beispielsweise auch ein Gebot und/oder eine Empfehlung aufweisen. Eine Bedingung, unter der ein Verbot gilt, kann eine Umgebungsbedingung (z. B. „bei Nässe“), eine zeitliche Bedingung (z. B. „zwischen 6 und 22 Uhr“) und/oder einen oder mehrere betroffene Fahrzeugtypen (z. B. „für Lastkraftwagen“) umfassen. Beispielen für den Bedeutungsinhalt des Verkehrszeichens bzw. die entsprechende Straßenverkehrsregel umfassen ein Tempolimit (d. h. ein Verbot, schneller als das angegebene Geschwindigkeitslimit zu fahren), die Aufhebung eines Tempolimits, ein Überholverbot, ein Tempolimit mit der Bedingung „bei Nässe“, ein Überholverbot mit der Bedingung „für Lastkraftwagen“, verschiedene Tempolimits für verschiedene Fahrzeugtypen usw.
Die Verkehrszeicheninformation ist eine mit dem von den Sensordaten zumindest teilweise erfassten Verkehrszeichen in Zusammenhang stehende Information. Die Verkehrszeicheninformation kann zum Beispiel die Sensordaten oder einen Teil der Sensordaten umfassen. Die Verkehrszeicheninformation kann zum Beispiel eine aus den Sensordaten abgeleitete Information sein und/oder eine Information, die mittels Bildverarbeitung ermittelt wurde.
Die cloudbasierte Servervorrichtung weist beispielsweise eine Empfangseinrichtung zum Empfangen der Verkehrszeicheninformation und der Anfrage von der Steuervorrichtung des Fahrzeugs auf. Die cloudbasierte Servervorrichtung weist beispielsweise eine oder mehrere Speichereinrichtungen auf. Zum Beispiel sind auf einer Speichereinrichtung der cloudbasierten Servervorrichtung ein oder mehrere Datenbanken gespeichert. Zum Beispiel sind auf der Speichereinrichtung der cloudbasierten Servervorrichtung Kartendaten gespeichert, welche Daten bezüglich der Art bzw. dem Bedeutungsinhalt von Verkehrszeichen zugeordnet zu ihrem Ort (z. B. Aufstellort) umfassen. Zum Beispiel sind auf der Speichereinrichtung der cloudbasierten Servervorrichtung Computerprogramme, z. B. Datenauswerteprogramme gespeichert, mit welchen die Verkehrszeicheninformation und/oder die Sensordaten des Fahrzeugs ausgewertet und/oder analysiert werden können. Zum Beispiel ist die Speichereinrichtung der cloudbasierten Servervorrichtung dazu eingerichtet, die von dem Fahrzeug übermittelte Verkehrszeicheninformation zu speichern.
Die Ergebnisinformation in Bezug auf den Bedeutungsinhalt ist zum Beispiel die dem Verkehrszeichen entsprechende Straßenverkehrsregel.
Ein Automatisierungsgrad des Fahrzeugs weist beispielsweise eine Automatisierungsstufe gemäß dem SAE-Klassifikationssystem auf. Das SAE-Klassifikationssystem wurde 2014 von SAE International, einer Standardisierungsorganisation für Kraftfahrzeuge, als J3016, „Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems“ veröffentlicht. Es basiert auf sechs verschiedenen Automatisierungsgraden und berücksichtigt das Maß des erforderlichen Eingreifens des Systems und der erforderlichen Aufmerksamkeit des Fahrers. Die SAE-Automatisierungsgrade reichen von Stufe 0, die einem vollständig manuellen System entspricht, über Fahrerassistenzsysteme in Stufe 1 bis 2 bis hin zu teil-autonomen (Stufe 3 und 4) und vollautonomen (Stufe 5) Systemen, bei der kein Fahrer mehr erforderlich ist. Ein autonomes Fahrzeug (auch als fahrerloses Auto, selbstfahrendes Auto und robotisches Auto bekannt) ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und ohne menschliche Eingabe zu navigieren und es entspricht dem SAE-Automatisierungsgrad 5.
Die Fahrerassistenzfunktion und/oder (teil-)autonome Fahrfunktion weist zum Beispiel eine Geschwindigkeitsassistenz (adaptive Geschwindigkeitsregelung, Abstandsregelung, ACC: Adaptive Cruise Control), eine Spurassistenz, eine Spurhalteassistenz (LKA: Lane Keep Assist), eine Spurwechselassistenz, eine Notbremsassistenz (AEB: Automatic Emergency Braking), eine Lenkassistenz, eine Notlenkassistenz (AES: Automatic Emergency Steering), eine Stauassistenz (TJA: Traffic Jam Assist), eine Lichtassistenz, eine Fernlichtassistenz, eine Autobahnassistenz (HWA: Highway Assist) und/oder einen Staupiloten (TJP: Traffic Jam Pilot) auf.
Gemäß einer Ausführungsform ermittelt die Steuervorrichtung des Fahrzeugs basierend auf den Sensordaten, dass
die Sensordaten das Verkehrszeichen in der Umgebung des Fahrzeugs zumindest teilweise erfassen, und
das Erkennen des Bedeutungsinhalts des von den Sensordaten erfassten Verkehrszeichens nicht oder nicht vollständig möglich ist.
Folglich kann die Steuervorrichtung des Fahrzeugs erkennen, dass sich in der Umgebung des Fahrzeugs ein Verkehrszeichen befindet. Allerdings kann die Steuervorrichtung des Fahrzeugs selbst das Verkehrszeichen nicht verstehen.
Gemäß einer weiteren Ausführungsform weist die Verkehrszeicheninformation eine Position des Verkehrszeichens, eine Position des Fahrzeugs, eine Fahrrichtung des Fahrzeugs und/oder eine Orientierung der Sensoreinrichtung auf. Weiterhin ermittelt die cloudbasierte Servervorrichtung den Bedeutungsinhalt des Verkehrszeichens basierend auf der entsprechenden Position, Fahrrichtung bzw. Orientierung und auf in der cloudbasierten Servervorrichtung gespeicherten Kartendaten.
Die Position und/oder Fahrrichtung des Fahrzeugs ist zum Beispiel eine Position bzw. Fahrrichtung des Fahrzeugs zum Zeitpunkt des Erfassens des Verkehrszeichens. Die Position des Fahrzeugs kann zum Beispiel auch ein oder mehrere Positionen des Fahrzeugs zeitlich kurz vor dem Erfassen des Verkehrszeichens aufweisen. Die Orientierung der Sensoreinrichtung weist beispielsweise eine Ausrichtung, Erfassungsrichtung, eine Blickrichtung und/oder ein Sichtfeld der Sensoreinrichtung auf.
Die Steuervorrichtung des Fahrzeugs ermittelt zum Beispiel die Position des Verkehrszeichens anhand der Sensordaten und/oder Anhand der Position des Fahrzeugs zum Zeitpunkt des Erfassens des Verkehrszeichens. Die Position des Fahrzeugs wird beispielsweise mithilfe eines globalen Navigationssatellitensystems (engl. global navigation satellite system, GNSS) ermittelt.
Die Verkehrszeicheninformation kann auch die Position des Verkehrszeichens relativ zur Position des Fahrzeugs (z. B. zum Zeitpunkt des Erfassens des Verkehrszeichens) aufweisen. Die Verkehrszeicheninformation kann auch eine Fahrrichtung des Fahrzeugs (z. B. zum Zeitpunkt des Erfassens des Verkehrszeichens) aufweisen.
In einem Fall, in dem die Steuervorrichtung Bild- und/oder Textinhalte des Verkehrszeichens teilweise erkennt und teilweise nicht erkennt, kann die Verkehrszeicheninformation beispielsweise in Bezug auf die erkannten Anteile einen ermittelten Bedeutungsinhalt und/oder daraus abgeleitete Informationen aufweisen. Weiterhin kann die Verkehrszeicheninformation in Bezug auf die nicht erkannten Anteile Bilddaten aufweisen und eine Anfrage an die cloudbasierte Servervorrichtung, die Bilddaten zu analysieren.
Lediglich beispielhaft kann es sich bei dem Verkehrszeichen um ein Haupt-Verkehrszeichen mit einem Tempolimit und ein Zusatz-Verkehrszeichen mit einer Bedingung (z. B. ein darunter angebrachtes Schild, auf welchem die Bedingung dargestellt ist, bei der das Tempolimit gilt) handeln. Weiterhin erkennt die Steuervorrichtung des Fahrzeugs beispielsweise die Bedeutung des Haupt-Verkehrszeichens (z. B. als ein bestimmtes Tempolimit). Jedoch erkennt die Steuervorrichtung des Fahrzeugs beispielsweise die Bedeutung des Zusatz-Verkehrszeichens nicht. Dann kann die Steuervorrichtung als Teil der Verkehrszeicheninformation zum Beispiel den Bedeutungsinhalt des Haupt-Verkehrszeichens und die Bilddaten des Zusatz-Verkehrszeichens an die cloudbasierte Servervorrichtung schicken. Beispielsweise kann die Steuervorrichtung des Fahrzeugs die Information schicken: „Schild mit Tempolimit 80 km/h und darunter angeordnetes, rechteckige Schild, dessen Bedeutung ermittelt werden soll“ plus die Bilddaten des Zusatz-Verkehrszeichens.
Die Kartendaten weisen beispielsweise geographische Kartendaten auf, in denen Verkehrszeichen mit ihrer Position (z. B. Aufstellort, Ausrichtung) und ihrem Bedeutungsinhalt umfasst sind.
Gemäß einer weiteren Ausführungsform umfasst die Sensoreinrichtung eine oder mehrere Sensoreinheiten, und weist eine jeweilige Sensoreinheit einen bildgebenden Sensor, eine Kamera und/oder eine Frontkamera auf, und/oder umfassen die Sensordaten (S) Bilddaten.
Mithilfe des bildgebenden Sensors, der Kamera und/oder der Frontkamera können Bilddaten des Verkehrszeichens erfasst werden. Die Bilddaten können auch Videodaten umfassen.
Die Kamera ist insbesondere an oder in dem Fahrzeug angebracht. Die Kamera ist zum Beispiel an oder unter einer Scheibe, insbesondere einer Frontscheibe, des Fahrzeugs angeordnet. Die Kamera ist zum Beispiel an einer Innenseite der vorderen Windschutzscheibe angeordnet und in Fahrtrichtung des Fahrzeugs gerichtet. In diesem Fall kann die Kamera als Frontkamera bezeichnet werden. Eine Frontkamera kann jedoch auch z. B. an einer vorderen Karosseriestruktur oder dergleichen angeordnet sein. Die Kamera kann jedoch auch an einer anderen Stelle des Fahrzeugs angeordnet und/oder in einer anderen Richtung ausgerichtet sein.
Die Kamera dient zum Aufnehmen eines Bildes, insbesondere eines Bildes einer Umgebung des Fahrzeugs. Durch geeignete Anordnung der Kamera können entsprechende Überwachungsbereiche vor, hinter, neben, über und/oder unter dem Fahrzeug mit der Kamera überwacht werden. Insbesondere können ruhende oder bewegte Objekte in der Umgebung des Fahrzeugs erfasst werden, wie beispielsweise Fahrzeuge, Personen, Tiere, Pflanzen, Hindernisse, Fahrbahnunebenheiten (z. B. Schlaglöcher oder Steine), Fahrbahnbegrenzungen, Verkehrszeichen oder Freiräume (z. B. Parklücken).
Die Kamera weist insbesondere ein optisches System, insbesondere ein Objektiv, eine Linse oder dergleichen auf. Weiterhin weist die Kamera insbesondere einen Bildsensor, z. B. eine CCD-Kamera (Charged Coupled Device) oder einen CMOS-Sensor (Complementary Metal-Oxide Semiconductor-Sensor), auf. Die Kamera weist zum Beispiel eine Leiterplatte auf, auf welcher elektrische und/oder elektronische Bauteile, wie beispielsweise der Bildsensor, angeordnet sind. Die Kamera weist zum Beispiel eine Speichereinheit zum Abspeichern der von der Kamera aufgenommenen Bilder und anderer Informationen auf. Die Kamera weist zum Beispiel einen Bildprozessor (z. B. Videoprozessor) auf. Der Bildprozessor ist z. B. auf der Leiterplatte der Kamera angeordnet. Der Bildprozessor kann aber auch woanders angeordnet sein. Der Bildprozessor ist beispielsweise Teil der hier beschriebenen Steuervorrichtung des Fahrzeugs. Die Steuervorrichtung des Fahrzeugs kann beispielsweise eine verteilte Steuervorrichtung sein.
Gemäß einer weiteren Ausführungsform weist die Verkehrszeicheninformation Bilddaten auf, in denen das Verkehrszeichen zumindest teilweise erfasst ist. Zudem ermittelt die cloudbasierte Servervorrichtung den Bedeutungsinhalt des Verkehrszeichens basierend auf einer Bildverarbeitung der Bilddaten.
Die cloudbasierte Servervorrichtung umfasst zum Beispiel bessere oder andere (insbesondere ergänzende) Bildanalysesoftware, leistungsstärkere Bildprozessoren (Videoprozessoren) und/oder umfangreichere Datenbanken als die Steuervorrichtung des Fahrzeugs. Folglich kann durch Senden der Bilddaten des Verkehrszeichens an die cloudbasierte Servervorrichtung, eine bessere Bildanalyse, eine rechenaufwendigere Bildanalyse und/oder ein Abgleich mit anderen, umfangreicheren Datenbanken erfolgen. Dadurch ist es möglich, dass der von der Steuervorrichtung des Fahrzeugs nicht erkannte Bedeutungsinhalt des Verkehrszeichens von der cloudbasierte Servervorrichtung dennoch erkannt wird.
Gemäß einer weiteren Ausführungsform ermittelt die cloudbasierte Servervorrichtung den Bedeutungsinhalt des Verkehrszeichens basierend auf einer Texterkennung in den Bilddaten.
Die Texterkennung ist insbesondere eine automatisierte Schriftzeichenerkennung in den Bilddaten. Die Texterkennung weist beispielsweise eine Erkennung einzelner Schriftzeichen auf (z. B. optische Zeichenerkennung, engl. optical character recognition, OCR). Die Texterkennung kann beispielsweise auch eine Kontexterkennung aufweisen, wie z. B. ein Vergleich mit Wortdatenbanken, Sprachdatenbanken, Verkehrszeichendatenbanken (z. B. intelligente Zeichenerkennung, engl. intelligent character recognition, ICR und/oder intelligente Worterkennung, engl. intelligent word recognition, IWR).
Die Texterkennung umfasst zum Beispiel mehrere Sprachen und/oder Schriftzeichensysteme. Die mehreren Schriftzeichensysteme umfassen z. B. lateinische, arabische, chinesische, kyrillische, griechische oder andere Schriftzeichensysteme.
Wenn die Steuervorrichtung des Fahrzeugs beispielsweise keine Mittel zur Texterkennung umfasst und deshalb den Bedeutungsinhalt eines Verkehrszeichens nicht erkennen kann, dann kann die Texterkennung vorteilhafterweise von der cloudbasierte Servervorrichtung durchgeführt werden.
Wenn das Fahrzeug zum Beispiel im Ausland unterwegs ist und/oder Text auf dem Verkehrszeichen in einem der Steuervorrichtung des Fahrzeugs unbekannten Schriftzeichensystem verfasst ist (z. B. griechisch), dann kann die Texterkennung des fremden Schriftzeichensystem von der cloudbasierte Servervorrichtung beispielsweise dennoch durchgeführt werden.
Gemäß einer weiteren Ausführungsform ermittelt die cloudbasierte Servervorrichtung den Bedeutungsinhalt des Verkehrszeichens basierend auf einer Sprachübersetzung von erkannten Textdaten.
Wenn das Fahrzeug zum Beispiel im Ausland unterwegs ist und/oder Text auf dem Verkehrszeichen in einer der Steuervorrichtung des Fahrzeugs unbekannten Sprache verfasst ist, dann kann die Texterkennung der fremden Sprache von der cloudbasierten Servervorrichtung beispielsweise dennoch durchgeführt werden.
Gemäß einer weiteren Ausführungsform fordert - wenn die cloudbasierte Servervorrichtung ermittelt, dass der Bedeutungsinhalt des Verkehrszeichens basierend auf in der cloudbasierten Servervorrichtung gespeicherten Kartendaten nicht ermittelt werden kann - die cloudbasierte Servervorrichtung das Übermitteln von Bilddaten, in denen das Verkehrszeichen zumindest teilweise erfasst ist, von der Steuervorrichtung des Fahrzeugs an die cloudbasierte Servervorrichtung an und ermittelt den Bedeutungsinhalt des Verkehrszeichens basierend auf einer Bildverarbeitung der Bilddaten.
Dadurch kann eine Aufwandsoptimierung erfolgen. Insbesondere wird in einem ersten Schritt eine Verkehrszeicheninformation ohne Bilddaten (z. B. eine Position des Verkehrszeichens und/oder des Fahrzeugs) an die cloudbasierte Servervorrichtung gesendet. Weiterhin versucht die cloudbasierte Servervorrichtung anhand der übermittelten Verkehrszeicheninformation ohne Bilddaten den Bedeutungsinhalt des Verkehrszeichens anhand in der cloudbasierten Servervorrichtung gespeicherten Kartendaten zu ermitteln. Lediglich wenn die cloudbasierte Servervorrichtung den Bedeutungsinhalt des Verkehrszeichens basierend auf in der cloudbasierten Servervorrichtung gespeicherten Kartendaten nicht ermitteln kann, wird sie in einem zweiten Schritt die Übermittelung von Bilddaten von der Steuervorrichtung des Fahrzeugs anfordern. Somit werden Bilddaten, welche in der Regel große Datenmengen aufweisen, nur im Bedarfsfall übermittelt.
Gemäß einer weiteren Ausführungsform wird die Verkehrszeicheninformation kabellos an die cloudbasierte Servervorrichtung gesendet, und/oder wird die Ergebnisinformation kabellos von der cloudbasierten Servervorrichtung empfangen.
Beispielsweise umfassen das Fahrzeug und die cloudbasierten Servervorrichtung jeweils RF-Sender und RF-Empfänger (RF: Radiofrequenz).
Gemäß einer weiteren Ausführungsform wird eine Fahrerassistenzfunktion und/oder eine teilautonome oder autonome Fahrfunktion des Fahrzeugs basierend auf der von der cloudbasierten Servervorrichtung empfangenen Ergebnisinformation ausgeführt.
Dies umfasst Fälle, in denen die Fahrerassistenzfunktion und/oder die teilautonome oder autonome Fahrfunktion des Fahrzeugs zum Zeitpunkt des Empfangens der Ergebnisinformation von der cloudbasierten Servervorrichtung bereits ausgeführt wird und durch die empfangene Ergebnisinformation verbessert ausgeführt wird.
Weiterhin können in dieser Ausführungsform auch Fälle umfasst sein, in denen durch Empfangen der Ergebnisinformation von der cloudbasierten Servervorrichtung eine Fahrerassistenzfunktion und/oder eine teilautonome oder autonome Fahrfunktion des Fahrzeugs aktiviert wird.
Dadurch, dass die der Steuervorrichtung des Fahrzeugs fehlende Information in Bezug auf den Bedeutungsinhalt eines bestimmten Verkehrszeichens durch die cloudbasierte Servervorrichtung bereitgestellt wird, kann eine Fahrerassistenz und/oder eine teilautonome oder autonome Fahrfunktion besser und sicherer ausgeführt werden.
Gemäß einer weiteren Ausführungsform weist die Verkehrszeicheninformation Bilddaten auf, in denen das Verkehrszeichen zumindest teilweise erfasst ist, und ermittelt die cloudbasierte Servervorrichtung den Bedeutungsinhalt des Verkehrszeichens basierend auf einer Bildverarbeitung der Bilddaten. Außerdem weist das Verfahren die Schritte auf:

Speichern der Verkehrszeicheninformation einschließlich der Bilddaten und der von der cloudbasierten Servervorrichtung basierend auf den Bilddaten ermittelten Ergebnisinformation in Bezug auf den Bedeutungsinhalt des Verkehrszeichens, und/oder
Ermitteln einer Instandhaltungsinformation in Bezug auf das Fahrzeug und/oder in Bezug auf das Verkehrszeichen basierend auf der Verkehrszeicheninformation einschließlich der Bilddaten und der von der cloudbasierten Servervorrichtung ermittelten Ergebnisinformation.

Durch Speichern der Verkehrszeicheninformation einschließlich der Bilddaten des von der Steuervorrichtung des Fahrzeugs nicht erkannten Verkehrszeichens sowie der von der cloudbasierten Servervorrichtung ermittelten Ergebnisinformation, d. h. dem ermittelten Bedeutungsinhalt des Verkehrszeichens, können diese Informationen dazu verwendet werden, eine Instandhaltungsinformation in Bezug auf das Fahrzeug und/oder in Bezug auf das Verkehrszeichen zu ermitteln.
Beispielsweise kann diese Instandhaltungsinformation von der Steuervorrichtung des Fahrzeugs selbst ermittelt werden. Alternativ können die entsprechenden gespeicherten Daten (d. h. die Verkehrszeicheninformation einschließlich der Bilddaten und die von der cloudbasierten Servervorrichtung basierend auf den Bilddaten ermittelte Ergebnisinformation in Bezug auf den Bedeutungsinhalt des Verkehrszeichens) auch ausgelesen werden und kann die Instandhaltungsinformation von einer anderen (z. B. externen) Einheit ermittelt werden. Beispielsweise kann eine Instandhaltungsinformation in Bezug auf das Fahrzeug von einer Werkstatt oder einer anderen Fahrzeugservicestätte basierend auf den von dem Fahrzeug ausgelesenen Daten ermittelt werden. In einer weiteren Alternative kann die Instandhaltungsinformation auch von der cloudbasierten Servervorrichtung ermittelt und/oder gespeichert werden. In diesem Fall kann die cloudbasierte Servervorrichtung auch dazu eingerichtet sein, die Instandhaltungsinformation an eine zuständige Behörde, z. B. ein Verkehrsordnungsamt und/oder eine Straßenmeisterei, zu senden.
Die Instandhaltungsinformation ist eine Information in Bezug auf eine Instandhaltung des Fahrzeugs und/oder des Verkehrszeichens. Eine Instandhaltung umfasst alle Maßnahmen, die zum Erhalt oder der Wiederherstellung des funktionsfähigen Zustands des Fahrzeugs und/oder des Verkehrsschilds dienen.
Die Instandhaltungsinformation in Bezug auf das Fahrzeug weist beispielsweise eine erforderliche Wartung, Reparatur und/oder Reinigung des Fahrzeugs auf. Dies kann z. B. eine Reparatur, eine Reinigung oder einen Ersatz der Sensoreinrichtung (z. B. einer oder mehrerer Kameras) des Fahrzeugs umfassen.
Die Instandhaltungsinformation in Bezug auf Verkehrszeichen weist beispielsweise eine erforderliche Wartung, Ersatz und/oder Reinigung des Verkehrsschildes auf.
Gemäß einer weiteren Ausführungsform weist das Verfahren den Schritt auf:

Ermitteln, durch die cloudbasierte Servervorrichtung, des Bedeutungsinhalts des Verkehrszeichens basierend auf der gesendeten Verkehrszeicheninformation.

In Ausführungsformen wird der Schritt des Speicherns der Verkehrszeicheninformation und des von der cloudbasierten Servervorrichtung ermittelten Bedeutungsinhalts für weitere Verkehrszeichen wiederholt, welche in Sensordaten der Sensoreinrichtung zumindest teilweise erfasst sind, für welche die Steuervorrichtung eine Abweichung zwischen dem in den Sensordaten erfassten Verkehrszeichen und einem Dateneintrag bezüglich des Verkehrszeichens in Kartendaten der cloudbasierten Servervorrichtung ermittelt hat, und für welche die cloudbasierte Servervorrichtung den Bedeutungsinhalt ermittelt hat. Außerdem wird die Instandhaltungsinformation in Bezug auf das Fahrzeug und/oder in Bezug auf das Verkehrszeichen basierend auf der Verkehrszeicheninformation und dem von der cloudbasierten Servervorrichtung ermittelten Bedeutungsinhalt der mehreren Verkehrszeichens ermittelt.
Dadurch, dass die Instandhaltungsinformation basierend auf den von dem Fahrzeug erhobenen Daten mehrerer Verkehrszeichen ermittelt wird, kann die Instandhaltungsinformation genauer ermittelt werden.
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen. Das Computerprogrammprodukt umfasst Befehle, die bei der Ausführung des Programms durch einen oder mehrere Computer diese/n veranlassen, das vorstehend beschriebene Verfahren auszuführen.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Bei dem Computerprogrammprodukt kann es sich beispielsweise um ein verteiltes Computerprogrammprodukt handeln, das auf mehreren Computern ausgeführt wird. Beispielsweise wird von einem auf einer Speichereinheit der Steuervorrichtung des Fahrzeugs gespeicherten Programm ermittelt, dass ein Bedeutungsinhalt des Verkehrszeichens nicht erkannt werden kann. Beispielsweise wird von einem auf einer Speichereinheit der cloudbasierten Servervorrichtung gespeicherten weiteren Programm der Bedeutungsinhalt des Verkehrszeichens ermittelt.
Gemäß einem dritten Aspekt wird eine Steuervorrichtung für ein Fahrzeug vorgeschlagen. Die Steuervorrichtung weist auf:

eine erste Empfangseinrichtung zum Empfangen von Sensordaten von einer Sensoreinrichtung des Fahrzeugs, wobei die Sensordaten ein Verkehrszeichen in einer Umgebung des Fahrzeugs zumindest teilweise erfassen,
eine Ermittlungseinrichtung zum Ermitteln, dass ein Erkennen eines Bedeutungsinhalts des Verkehrszeichens basierend auf den Sensordaten durch die Steuervorrichtung nicht oder nicht vollständig möglich ist,
eine Sendeeinrichtung zum Senden einer Verkehrszeicheninformation in Bezug auf das Verkehrszeichen an eine cloudbasierte Servervorrichtung und zum Anfragen der cloudbasierten Servervorrichtung, einen Bedeutungsinhalt des Verkehrszeichens zu ermitteln, und
eine zweite Empfangseinrichtung zum Empfangen einer von der cloudbasierten Servervorrichtung ermittelten Ergebnisinformation in Bezug auf den Bedeutungsinhalt des Verkehrszeichens.

Gemäß einem vierten Aspekt wird ein Fahrzeug mit einer wie vorstehend beschriebenen Steuervorrichtung vorgeschlagen.
Die jeweilige Einheit des Fahrzeugs, wie beispielsweise die Steuervorrichtung, die erste Empfangseinrichtung, die Ermittlungseinrichtung, die Sendeeinrichtung, die zweite Empfangseinrichtung, der Bildprozessor und Speichereinheiten, sowie die jeweilige Einheit der cloudbasierten Servervorrichtung kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.
Ferner kann jede der vorliegend genannten Einheiten des Fahrzeugs auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuervorrichtung (engl. electronic control unit, ECU), ausgebildet sein.
Die für das vorgeschlagene Verfahren beschriebenen Ausführungsformen und Merkmale gelten für die vorgeschlagene Steuervorrichtung und das Fahrzeug entsprechend und umgekehrt.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.

1 zeigt ein Fahrzeug gemäß einer Ausführungsform;
2 zeigt das Fahrzeug aus 1 auf einer Straße und eine cloudbasierte Servervorrichtung, mit der das Fahrzeug kommuniziert;
3 zeigt ein Beispiel für ein Verkehrsschild;
4 zeigt ein weiteres Beispiel für ein Verkehrsschild;
5 veranschaulicht eine Kommunikation zwischen dem Fahrzeug und der cloudbasierten Servervorrichtung aus 2 gemäß einer Ausführungsform;
6 zeigt ein Flussablaufdiagramm eines Verfahrens zum Betreiben eines Fahrzeugs gemäß einer Ausführungsform; und
7 veranschaulicht funktionelle Komponenten einer Steuervorrichtung des Fahrzeugs aus 1 gemäß einer Ausführungsform.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
1 zeigt ein Kraftfahrzeug 1. Das Kraftfahrzeug 1 ist in dem Beispiel ein Personenkraftwagen. In anderen Beispielen kann das Kraftfahrzeug 1 auch ein Lastkraftwagen, Bus oder ein anderes Kraftfahrzeug sein. Das Kraftfahrzeug 1 umfasst eine Sensoreinrichtung 2 mit einem oder mehreren Sensoreinheiten 3. Die Sensoreinrichtung 2 dient zum Erfassen von Sensordaten S. Als Beispiel für eine Sensoreinheit ist in 1 eine Kamera 4 gezeigt. Insbesondere ist die gezeigte Kamera 4 auf einer Innenseite der vorderen Windschutzscheibe 5 des Kraftfahrzeugs 1 angebracht. Die Kamera 4 ist insbesondere eine Frontkamera 4, die dazu eingerichtet ist, einen vor dem Fahrzeug 1 liegenden Bereich zu überwachen. Die Frontkamera 4 kann beispielsweise für verschiedene Fahrerassistenzfunktionen verwendet werden, wie beispielsweise für eine Verkehrszeichenerkennung, eine Objekterkennung, eine Spurhalteassistenz und eine Fernlichtassistenz.
Im Folgenden wird die Frontkamera 4 als Beispiel für eine Sensoreinheit 3 der Sensoreinrichtungen 2 beschrieben. Allerdings kann die Sensoreinrichtung 2 in anderen Beispielen auch mehrere Sensoreinheiten 3 (z. B. mehrere Kameras und/oder Frontkameras), an anderen Bereichen des Fahrzeugs 1 angebrachte Sensoreinheiten 3 und/oder andere Arten von bildgebenden Sensoreinheiten 3 aufweisen.
2 zeigt das Kraftfahrzeug 1 aus 1 auf einer Straße 6 fahrend. Das Fahrzeug 1 fährt in dem gezeigten Beispiel auf einer linken Fahrbahn 7 in einer Fahrrichtung R. Die Sensoreinrichtung 2 bzw. die Frontkamera 4 ist dazu eingerichtet, eine Umgebung U des Fahrzeugs 1 zu überwachen. Das Bezugszeichen 8 kennzeichnet exemplarisch Sichtstrahlen und damit ein Sichtfeld der Kamera 4. Das Bezugszeichen O kennzeichnet exemplarisch eine Orientierung, d.h. der Kamera 4. Am rechten Straßenrand 9 ist ein Verkehrsschild 10 mit einem Verkehrszeichen 11 zu sehen. Die Kamera 4 dient dazu, das Verkehrszeichen 11 zu erfassen und seinen Bedeutungsinhalt im Sinne einer Straßenverkehrsregel zu erkennen.
Das Fahrzeug 1 weist eine Steuervorrichtung 12 auf. Insbesondere ist die Steuervorrichtung 12 dazu eingerichtet, von der Kamera 4 erfasste Bilddaten zu analysieren. Die Steuervorrichtung 12 weist beispielsweise einen oder mehrere Bildprozessoren 13 (7) zur Analyse der Bilddaten der Kamera 4 auf.
Es kann vorkommen, dass die Steuervorrichtung 12 nicht in der Lage ist, den Bedeutungsinhalt eines von der Kamera 4 erfassten Verkehrszeichens 11 zu erkennen. Beispielsweise kann die Kamera 4 (z. B. eine Linse der Kamera 4) und/oder die Windschutzscheibe 5 vor der Kamera 4 verschmutzt sein. Die Kamera 4 kann auch einen Defekt aufweisen. Weiterhin ist es möglich, dass das Verkehrszeichen 11 verschmutz oder beschädigt ist. Ferner kann das Verkehrszeichen 11 aus Sicht der Kamera 4, z. B. von einem anderen Fahrzeug, verdeckt sein.
Weitere Beispiele, in denen die Steuervorrichtung 12 nicht in der Lage sein kann, den Bedeutungsinhalt eines von der Kamera 4 erfassten Verkehrszeichens zu erkennen, sind in den 3 und 4 veranschaulicht.
In 3 ist ein Verkehrsschild 14 mit einem Verkehrszeichen 15 gezeigt. Beispielhaft weist das Verkehrsschild 14 zwei einzelne Schilder 16, 17 jeweils mit einem Verkehrszeichen 18, 21 auf. Insbesondere zeigt das in 3 obere Schild 16 ein Verkehrszeichen 18 mit einem Bildinhalt 19 (roter kreisförmiger Ring) und einem Textinhalt 20 (Zahl „80“). Der Bedeutungsinhalt des Verkehrszeichens 18 ist ein Tempolimit. Weiterhin zeigt das in 3 untere Schild 17 ein Verkehrszeichen 21 mit einem Textinhalt 22 in chinesischen Schriftzeichen. Der Text 22 bedeutet „Tunnel“ auf Chinesisch. Wenn die Steuervorrichtung 12 keine Texterkennungssoftware zum Erkennen von chinesischen Schriftzeichen aufweist, dann kann die Steuervorrichtung 12 den Bedeutungsinhalt des Verkehrszeichens 21 nicht erkennen.
In 4 ist ein weiteres Verkehrsschild 23 gezeigt, welches ein Verkehrszeichen 24 mit drei einzelnen Teil-Verkehrszeichen 25, 26, 27 aufweist. Jedes der Teil-Verkehrszeichen 25, 26, 27 weist sowohl Zahlen 28 im Sinne eines Tempolimits als auch Text 29 in englischer Sprache auf. Dabei gibt der Text 29 jeweils eine Bedingung an, unter welcher das jeweilige Tempolimit gilt. Insbesondere gibt der Text 29 einen Fahrzeugtyp an, für welchen das jeweilige Tempolimit gilt. Wenn die Steuervorrichtung 12 über keine englische Sprachbibliothek verfügt, dann kann die Steuervorrichtung 12 den Bedeutungsinhalt des Verkehrszeichens 24 nicht erkennen. Weiterhin weist das Verkehrszeichen 24 mehrere Teil-Verkehrszeichen 25, 26, 27 auf und enthält eine relativ große Textmenge (Textinhalte 28, 29), welche verarbeitet werden muss. Wenn eine Verarbeitungsleistung der Steuervorrichtung 12, z. B. des Bildprozessors 13, nicht ausreicht, um den Inhalt des Verkehrszeichens 24 zu verarbeiten, dann kann die Steuerverrichtung 12 den Bedeutungsinhalt des Verkehrszeichens 24 nicht erkennen.
Im Folgenden wird mit Bezug zu den 5 und 6 ein Verfahren zum Betreiben eines Fahrzeugs 1 gemäß einer Ausführungsform beschrieben. Insbesondere wird bei dem Verfahren von dem Fahrzeug 1 der Service einer cloudbasierten Servervorrichtung 30 (2) in Anspruch genommen. 5 veranschaulicht eine Kommunikation zwischen dem Fahrzeug 1, insbesondere der Steuervorrichtung 12 des Fahrzeugs 1, und der cloudbasierten Servervorrichtung 30. 6 veranschaulicht ein Flussablaufdiagramm des Verfahrens.
In einem ersten Schritt S1 des Verfahrens empfängt die Steuervorrichtung 12 Sensordaten S von einer Sensoreinrichtung 2 des Fahrzeugs 1. Beispielsweise empfängt die Steuervorrichtung 12 Bilddaten der Frontkamera 4. Wie in 2 veranschaulicht, ist in den Sensordaten S bzw. Bilddaten ein Verkehrszeichen 11 in der Umgebung U des Fahrzeugs 1 erfasst.
Schritt S1 kann auch das Erfassen der Sensordaten S durch die Sensoreinrichtung 2 aufweisen.
In einem zweiten Schritt S2 des Verfahrens ermittelt die Steuervorrichtung 12, dass sie nicht fähig ist, einen Bedeutungsinhalt des Verkehrszeichens 11 basierend auf den Sensordaten S bzw. Bilddaten zu erkennen.
In Schritt S2 wird beispielsweise von der Steuervorrichtung 12 basierend auf den Sensordaten ermittelt, dass die Sensordaten S das Verkehrszeichen 11 in der Umgebung U des Fahrzeugs 1 erfassen. Weiterhin wird von der Steuervorrichtung 12 basierend auf den Sensordaten ermittelt, dass obwohl die Existenz des Verkehrszeichens 11 in der Umgebung U des Fahrzeugs 1 erkannt wurde, es für die Steuervorrichtung 12 nicht möglich ist, den Bedeutungsinhalt des Verkehrszeichens 11 zu verstehen.
In einem dritten Schritt S3 des Verfahrens sendet die Steuervorrichtung 12 eine Verkehrszeicheninformation V, d. h. eine Information in Bezug auf das Verkehrszeichen 11, an die cloudbasierte Servervorrichtung 30. Außerdem sendet die Steuervorrichtung 12 in S3 eine Anfrage an die cloudbasierte Servervorrichtung 30, den Bedeutungsinhalt des Verkehrszeichens 11 zu ermitteln.
In einem vierten Schritt S4 des Verfahrens ermittelt die cloudbasierte Servervorrichtung 30 den Bedeutungsinhalt des Verkehrszeichens 11 basierend auf der gesendeten Verkehrszeicheninformation V.
In einer ersten Variante der Ausführungsform weist die in S3 gesendete Verkehrszeicheninformation V beispielsweise eine Position P1 (2) des Verkehrszeichens 11 auf. Die Verkehrszeicheninformation V kann in der ersten Variante beispielsweise auch oder stattdessen eine Position P2 des Fahrzeugs 1 zum Zeitpunkt des Erfassens der Sensordaten S aufweisen und/oder Positionen P3 des Fahrzeugs 1 kurz vor dem Erfassen der Sensordaten S. Bei den Positionen P2, P3 handelt es sich beispielsweise um GNSS-Positionen des Fahrzeugs 1.
Wenn die Verkehrszeicheninformation V besagte Positionsdaten P1, P2 und/oder P3 aufweist, dann kann die cloudbasierte Servervorrichtung 30 in Schritt S4 basierend auf der Verkehrszeicheninformation V die Position P2 des Fahrzeugs 1, die Richtung R des Fahrzeugs 1 und/oder die Position P1 des Verkehrszeichens 11 ermitteln. Weiterhin kann die cloudbasierte Servervorrichtung 30 basierend auf den Positionsdaten/Richtungsdaten P1, P2, P3 und/oder R den Bedeutungsinhalt des Verkehrszeichens 11 durch Vergleich mit Kartendaten K ermitteln. Die Kartendaten K (2) weisen insbesondere Informationen über Ort (z. B. Aufstellort) und Bedeutungsinhalt von Verkehrszeichen, wie beispielsweise dem Verkehrszeichen 11, auf.
In einer zweiten Variante der Ausführungsform weist die in S3 gesendete Verkehrszeicheninformation V beispielsweise von der Sensoreinrichtung 2 erfasste Bilddaten auf. Das heißt, es werden bei der zweiten Variante die von der Sensoreinrichtung 2 erfassten Bilddaten an die cloudbasierte Servervorrichtung 30 gesendet.
Wenn die Verkehrszeicheninformation V besagte Bilddaten aufweist, dann kann die cloudbasierte Servervorrichtung 30 in Schritt S4 den Bedeutungsinhalt des Verkehrszeichens 11 basierend auf einer Bildverarbeitung der Bilddaten des Verkehrszeichens 11 ermitteln. Beispielsweise führt die cloudbasierte Servervorrichtung 30 eine Bildanalyse der Bilddaten und/oder eine Texterkennung in den Bilddaten aus. Beispielsweise kann die Bildanalyse und/oder Texterkennung auch das Erkennen von Text in anderen Schriftzeichen und/oder anderen Sprachen umfassen.
Die Varianten 1 und 2 können auch derart nacheinander und in Abhängigkeit voneinander ausgeführt werden, dass zunächst Variante 1 ausgeführt wird, bei der keine Bilddaten von der Steuervorrichtung 12 des Fahrzeugs 1 an die cloudbasierte Servervorrichtung 30 gesendet werden. Wenn jedoch die cloudbasierte Servervorrichtung 30 ermittelt, dass sie den Bedeutungsinhalt des Verkehrszeichens 11 bei Variante 1 anhand der Positionsdaten P1, P2, P3 und/oder R alleine nicht ermitteln kann, dann kann Variante 2 nachgeschaltet werden. Insbesondere kann die cloudbasierte Servervorrichtung 30 in diesem Fall das Übermitteln von Bilddaten von der Steuervorrichtung 12 anfordern. Sodann kann die cloudbasierte Servervorrichtung 30 den Bedeutungsinhalt des Verkehrszeichens 11 basierend auf einer Bildverarbeitung der Bilddaten des Verkehrszeichens 11 ermitteln.
In einem fünften Schritt S5 sendet die cloudbasierte Servervorrichtung 30 eine Ergebnisinformation E in Bezug auf den Bedeutungsinhalt des Verkehrszeichens 11 an die Steuervorrichtung 12 des Fahrzeugs 1. Somit empfängt die Steuervorrichtung 12 in Schritt S5 die von der cloudbasierten Servervorrichtung 30 ermittelte Ergebnisinformation E in Bezug auf den Bedeutungsinhalt des Verkehrszeichens 11.
In einem sechsten Schritt S6 führt die Steuervorrichtung 12 eine Fahrerassistenzfunktion und/oder eine automatisierte Fahrfunktion basierend auf dem von der cloudbasierten Servervorrichtung 30 ermittelten Bedeutungsinhalt des Verkehrszeichens 11 (Ergebnisinformation E) aus. Beispielsweise kann in Schritt S5 ein Fahrer des Fahrzeugs 1 über den Bedeutungsinhalt des Verkehrszeichens 11 informiert werden. Weiterhin kann in Schritt S5 eine Fahrerassistenz, wie beispielsweise ein Abstandsregeltempomat, basierend auf dem erkannten Bedeutungsinhalt des Verkehrszeichens 11 in ein Antriebssystem und/oder Bremssystem des Fahrzeugs 1 eingreifen, z. B. eine Geschwindigkeit des Fahrzeugs 1 auf das Tempolimit von 70 km/h des Verkehrszeichens 11 regeln.
In einem optionalen siebten Schritt S7 des Verfahrens kann bei Variante 2, bei der die Verkehrszeicheninformation V Bilddaten aufweist, in denen das Verkehrszeichen 11 zumindest teilweise erfasst ist, die Verkehrszeicheninformation V und die Ergebnisinformation E auch noch für das Ermitteln einer Instandhaltungsinformation in Bezug auf das Fahrzeug 1 und/oder in Bezug auf das Verkehrszeichen 11 verwendet werden.
Beispielsweise kann in Schritt S7 die Verkehrszeicheninformation V einschließlich der Bilddaten und die von der cloudbasierten Servervorrichtung 30 ermittelte Ergebnisinformation E (z. B. in einem Speicher der Steuervorrichtung 12) gespeichert werden.
Weiterhin kann in S7 beispielsweise eine Instandhaltungsinformation in Bezug auf das Fahrzeug 1 (z. B. Reparatur, Reinigung oder Ersatz der Sensoreinrichtung 2 und/oder einer oder mehrerer der Sensoreinheiten 3) und/oder in Bezug auf das Verkehrszeichen 11 (z. B. Reparatur, Reinigung oder Ersatz des Verkehrszeichens 11) ermittelt werden. Die Instandhaltungsinformation kann z. B. von der Steuervorrichtung 12 des Fahrzeugs 1 basierend auf der Verkehrszeicheninformation V einschließlich der Bilddaten und der von der cloudbasierten Servervorrichtung 30 ermittelten Ergebnisinformation E ermittelt werden. Alternativ kann die Instandhaltungsinformation auch von einer externen Einheit durch Auslesen der entsprechenden in der Steuervorrichtung 12 des Fahrzeugs 1 (z. B. in dem Speicher der Steuervorrichtung 12) gespeicherten Information ermittelt werden. In einer weiteren Alternative kann die cloudbasierte Servervorrichtung 30 die Instandhaltungsinformation in Bezug auf das Fahrzeug 1 und/oder in Bezug auf das Verkehrszeichen 11 ermitteln.
In 7 sind funktionelle Komponenten der Steuervorrichtung 12 des Fahrzeugs 1 veranschaulicht.
Die Steuervorrichtung 12 weist eine erste Empfangseinrichtung 31 zum Empfangen von Sensordaten S von der Sensoreinrichtung 2 (2) des Fahrzeugs 1 auf. Die Steuervorrichtung 12 weist außerdem eine Ermittlungseinrichtung 32 auf. Die Ermittlungseinrichtung 32 ist dazu eingerichtet, zu ermitteln, dass ein Erkennen eines Bedeutungsinhalts des Verkehrszeichens 11 (2) basierend auf den Sensordaten S durch die Steuervorrichtung 12, z. B. durch die Ermittlungseinrichtung 32, nicht möglich ist. Die Ermittlungseinrichtung 32 umfasst z. B. einen Bildprozessor 13 der Kamera 4 zum Analysieren von Bilddaten.
Weiterhin umfasst die Steuervorrichtung 12 eine Sendeeinrichtung 33 zum Senden der Verkehrszeicheninformation V in Bezug auf das Verkehrszeichen 11 an die cloudbasierte Servervorrichtung 30. Die Sendeeinrichtung 33 dient zudem dazu, die cloudbasierte Servervorrichtung 30 anzufragen, einen Bedeutungsinhalt des Verkehrszeichens 11 zu ermitteln. Die Steuervorrichtung 12 weist eine zweite Empfangseinrichtung 34 auf zum Empfangen der von der cloudbasierten Servervorrichtung 30 ermittelten Ergebnisinformation E in Bezug auf den Bedeutungsinhalt des Verkehrszeichens 11. Obwohl in den Figuren nicht gezeigt umfasst das Fahrzeug 1 beispielsweise einen RF-Sender (RF: Radiofrequenz) zum Senden von Daten an die cloudbasierte Servervorrichtung 30. Weiterhin umfasst das Fahrzeug 1 beispielsweise einen RF-Empfänger zum Empfangen von Daten von der cloudbasierten Servervorrichtung 30. Ebenso weist die cloudbasierte Servervorrichtung 30 entsprechende Sender und Empfänger auf.
Ferner weist die Steuervorrichtung 12 eine Fahrerassistenz- und/oder automatisierte Fahreinrichtung 35 auf. Die Fahrerassistenz- und/oder automatisierte Fahreinrichtung 35 führt basierend auf der Ergebnisinformation E eine Fahrerassistenzfunktion und/oder eine (teil-) autonome Fahrfunktion aus.
Obwohl in 7 nicht gezeigt, kann die Steuervorrichtung 12 auch eine weitere Ermittlungseinrichtung zum Ermitteln der vorstehend beschriebenen Instandhaltungsinformation aufweisen.
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
BEZUGSZEICHENLISTE

1: Fahrzeug
2: Sensoreinrichtung
3: Sensoreinheit
4: Kamera
5: Windschutzscheibe
6: Straße
7: Fahrbahn
8: Sichtstrahl
9: Straßenrand
10: Verkehrsschild
11: Verkehrszeichen
12: Steuervorrichtung
13: Bildprozessor
14: Verkehrsschild
15: Verkehrszeichen
16: Verkehrsschild
17: Verkehrsschild
18: Verkehrszeichen
19: Bildinhalt
20: Textinhalt
21: Verkehrszeichen
22: Textinhalt
23: Verkehrsschild
24: Verkehrszeichen
25: Verkehrszeichen
26: Verkehrszeichen
27: Verkehrszeichen
28: Zahl
29: Textinhalt
30: cloudbasierte Servervorrichtung
31: Empfangseinrichtung
32: Ermittlungseinrichtung
33: Sendeeinrichtung
34: Empfangseinrichtung
35: Fahrerassistenz- und/oder automatisierte Fahreinrichtung
E: Ergebnisinformation
K: Kartendaten
O: Orientierung
P1: Position
P2: Position
P3: Position
R: Richtung
S: Sensordaten
S1-S7: Verfahrensschritte
U: Umgebung
V: Verkehrszeicheninformation

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

CN 113525228 A [0003]

Claims

Verfahren zum Betreiben eines Fahrzeugs (1), aufweisend: Empfangen (S1) von Sensordaten (S) von einer Sensoreinrichtung (2) des Fahrzeugs (1), wobei die Sensordaten (S) ein Verkehrszeichen (11) in einer Umgebung (U) des Fahrzeugs (1) zumindest teilweise erfassen, Ermitteln (S2), dass ein Erkennen eines Bedeutungsinhalts des Verkehrszeichens (11) basierend auf den Sensordaten (S) durch eine Steuervorrichtung (12) des Fahrzeugs (1) nicht oder nicht vollständig möglich ist, Senden (S3) einer Verkehrszeicheninformation (V) in Bezug auf das Verkehrszeichen (11) an eine cloudbasierte Servervorrichtung (30) und Anfragen der cloudbasierten Servervorrichtung (30), einen Bedeutungsinhalt des Verkehrszeichens (11) zu ermitteln (S4), und Empfangen (S5) einer von der cloudbasierten Servervorrichtung (30) ermittelten Ergebnisinformation (E) in Bezug auf den Bedeutungsinhalt des Verkehrszeichens (11).
Verfahren nach Anspruch 1, wobei die Steuervorrichtung (12) des Fahrzeugs (1) basierend auf den Sensordaten (S) ermittelt, dass die Sensordaten (S) das Verkehrszeichen (11) in der Umgebung (U) des Fahrzeugs (1) zumindest teilweise erfassen, und das Erkennen des Bedeutungsinhalts des von den Sensordaten (S) erfassten Verkehrszeichens (11) nicht oder nicht vollständig möglich ist.
Verfahren nach Anspruch 1 oder 2, wobei die Verkehrszeicheninformation (V) eine Position (P1) des Verkehrszeichens (11), eine Position (P2, P3) des Fahrzeugs (1), eine Fahrrichtung (R) des Fahrzeugs (1) und/oder eine Orientierung (O) der Sensoreinrichtung (2) aufweist, und die cloudbasierte Servervorrichtung (30) den Bedeutungsinhalt des Verkehrszeichens (11) basierend auf der entsprechenden Position (P1, P2, P3), Fahrrichtung (R) bzw. Orientierung (O) und auf in der cloudbasierten Servervorrichtung (30) gespeicherten Kartendaten (K) ermittelt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensoreinrichtung (2) eine oder mehrere Sensoreinheiten (3) umfasst, und eine jeweilige Sensoreinheit (3) einen bildgebenden Sensor, eine Kamera (4) und/oder eine Frontkamera (4) aufweist, und/oder wobei die Sensordaten (S) Bilddaten aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Verkehrszeicheninformation (V) Bilddaten aufweist, in denen das Verkehrszeichen (11) zumindest teilweise erfasst ist, und die cloudbasierte Servervorrichtung (30) den Bedeutungsinhalt des Verkehrszeichens (11) basierend auf einer Bildverarbeitung der Bilddaten ermittelt.
Verfahren nach Anspruch 5, wobei die cloudbasierte Servervorrichtung (30) den Bedeutungsinhalt des Verkehrszeichens (11) basierend auf einer Texterkennung in den Bilddaten ermittelt.
Verfahren nach Anspruch 6, wobei die cloudbasierte Servervorrichtung (30) den Bedeutungsinhalt des Verkehrszeichens (15) basierend auf einer Sprachübersetzung von erkannten Textdaten (22) ermittelt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei, wenn die cloudbasierte Servervorrichtung (30) ermittelt, dass der Bedeutungsinhalt des Verkehrszeichens (11) basierend auf in der cloudbasierten Servervorrichtung (30) gespeicherten Kartendaten (K) nicht ermittelt werden kann, die cloudbasierte Servervorrichtung (30) das Übermitteln von Bilddaten, in denen das Verkehrszeichen (11) zumindest teilweise erfasst ist, von der Steuervorrichtung (12) des Fahrzeugs (1) an die cloudbasierte Servervorrichtung (30) anfordert und den Bedeutungsinhalt des Verkehrszeichens (11) basierend auf einer Bildverarbeitung der Bilddaten ermittelt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Verkehrszeicheninformation (V) kabellos an die cloudbasierte Servervorrichtung (30) gesendet wird, und/oder die Ergebnisinformation (E) kabellos von der cloudbasierten Servervorrichtung (30) empfangen wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Fahrerassistenzfunktion und/oder eine teilautonome oder autonome Fahrfunktion des Fahrzeugs (1) basierend auf der von der cloudbasierten Servervorrichtung (30) empfangenen Ergebnisinformation (E) ausgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Verkehrszeicheninformation (V) Bilddaten aufweist, in denen das Verkehrszeichen (11) zumindest teilweise erfasst ist, und die cloudbasierte Servervorrichtung (30) den Bedeutungsinhalt des Verkehrszeichens (11) basierend auf einer Bildverarbeitung der Bilddaten ermittelt, und das Verfahren die Schritte aufweist: Speichern der Verkehrszeicheninformation (V) einschließlich der Bilddaten und der von der cloudbasierten Servervorrichtung (30) basierend auf den Bilddaten ermittelten Ergebnisinformation (E) in Bezug auf den Bedeutungsinhalt des Verkehrszeichens (11), und/oder Ermitteln einer Instandhaltungsinformation in Bezug auf das Fahrzeug (1) und/oder in Bezug auf das Verkehrszeichen (11) basierend auf der Verkehrszeicheninformation (V) einschließlich der Bilddaten und der von der cloudbasierten Servervorrichtung (30) ermittelten Ergebnisinformation (E).
Verfahren nach einem der vorhergehenden Ansprüche, den Schritt aufweisend: Ermitteln (S4), durch die cloudbasierte Servervorrichtung (30), des Bedeutungsinhalts des Verkehrszeichens (11) basierend auf der gesendeten Verkehrszeicheninformation (V).
Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen oder mehrere Computer diese/n veranlassen, das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.
Steuervorrichtung (12) für ein Fahrzeug (1), aufweisend: eine erste Empfangseinrichtung (31) zum Empfangen von Sensordaten (S) von einer Sensoreinrichtung (2) des Fahrzeugs (1), wobei die Sensordaten (S) ein Verkehrszeichen (11) in einer Umgebung (U) des Fahrzeugs (1) zumindest teilweise erfassen, eine Ermittlungseinrichtung (32) zum Ermitteln, dass ein Erkennen eines Bedeutungsinhalts des Verkehrszeichens (11) basierend auf den Sensordaten (S) durch die Steuervorrichtung (12) nicht oder nicht vollständig möglich ist, eine Sendeeinrichtung (33) zum Senden einer Verkehrszeicheninformation (V) in Bezug auf das Verkehrszeichen (11) an eine cloudbasierte Servervorrichtung (30) und zum Anfragen der cloudbasierten Servervorrichtung (30), einen Bedeutungsinhalt des Verkehrszeichens (11) zu ermitteln, und eine zweite Empfangseinrichtung (34) zum Empfangen einer von der cloudbasierten Servervorrichtung (30) ermittelten Ergebnisinformation (E) in Bezug auf den Bedeutungsinhalt des Verkehrszeichens (11).
Fahrzeug (1) mit einer Steuervorrichtung (12) nach Anspruch 14.