-
Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs, ein Computerprogrammprodukt, eine Steuervorrichtung für ein Fahrzeug und ein Fahrzeug mit einer derartigen Steuervorrichtung.
-
Intelligente Fahrzeuge mit Fahrerassistenzfunktionen oder automatisierten Fahrfunktionen müssen in der Lage sein, Verkehrszeichen zu erkennen und die entsprechenden Verkehrsregeln einzuhalten. Informationen in Bezug auf Verkehrszeichen können auch in Kartendaten eines Navigationssystems des Fahrzeugs hinterlegt sein und von Fahrerassistenzfunktionen oder automatisierten Fahrfunktionen des Fahrzeugs genutzt werden. Allerdings können Kartendaten veraltet sein.
-
In
CN 113221756 A wird vorgeschlagen, ein hochaufgelöstes Bild einer Umgebung des Fahrzeugs zunächst auf ein kleines Datenformat zu komprimieren, sodass die Bildauflösung reduziert wird. Sodann wird das komprimierte Bild auf das Vorhandensein eines Haupt-Verkehrszeichens in dem Bild analysiert, was auch mit einer relativ kleinen Prozessorleistung möglich ist. Durch Lokalisieren eines Haupt-Verkehrszeichens kann anschließend ein Hilfs-Verkehrszeichen, das zu dem Haupt-Verkehrszeichen gehört, besser detektiert werden.
-
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, ein verbessertes Verfahren zum Betreiben eines Fahrzeugs und eine verbesserte Steuervorrichtung für ein Fahrzeug bereitzustellen.
-
Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben eines Fahrzeugs vorgeschlagen. Das Verfahren weist die Schritte auf:
- Empfangen, durch eine Steuervorrichtung des Fahrzeugs, von Sensordaten von einer Sensoreinrichtung des Fahrzeugs, wobei die Sensordaten ein Verkehrszeichen in einer Umgebung des Fahrzeugs zumindest teilweise erfassen,
- Ermitteln, durch die Steuervorrichtung, einer Abweichung zwischen dem in den Sensordaten erfassten Verkehrszeichen und einem Dateneintrag bezüglich des Verkehrszeichens in Kartendaten einer cloudbasierten Servervorrichtung, und
- Senden einer Verkehrszeicheninformation in Bezug auf das Verkehrszeichen an die cloudbasierte Servervorrichtung zum Aktualisieren der Kartendaten der cloudbasierten Servervorrichtung.
-
Wenn die Steuervorrichtung des Fahrzeugs eine Abweichung zwischen einem Verkehrszeichen, das mithilfe einer Sensoreinrichtung des Fahrzeugs erfasst wird, und einem Eintrag des Verkehrszeichens in Kartendaten einer cloudbasierten Servervorrichtung feststellt, dann kann das Fahrzeug eine entsprechende Aufforderung und/oder einen entsprechenden Hinweis zum Aktualisieren der Kartendaten der cloudbasierten Servervorrichtung an die cloudbasierte Servervorrichtung senden.
-
Dadurch können aktuelle Verkehrszeicheninformationen in der cloudbasierten Servervorrichtung durch das Fahrzeug bereitgestellt werden. Somit werden die cloudbasierten Dienste verbessert, was nicht nur für das Egofahrzeug, das die besagte Abweichung feststellt, sondern auch für andere Fahrzeuge vorteilhaft ist, die diese Informationen nutzen („Crowd Sourcing“, „Distributed Computing“).
-
Die Abweichung zwischen dem von der Sensoreinrichtung des Fahrzeugs erfassten Verkehrszeichen und dem Eintrag des Verkehrszeichens in den Kartendaten der cloudbasierten Servervorrichtung ist insbesondere eine Abweichung, die für das Einhalten der Straßenverkehrsregeln relevant ist. Die Abweichung zwischen dem von der Sensoreinrichtung des Fahrzeugs erfassten Verkehrszeichen und dem Eintrag des Verkehrszeichens in den Kartendaten der cloudbasierten Servervorrichtung weist beispielsweise eine Abweichung in Bezug auf eine Position und/oder einen Bedeutungsinhalt eines Verkehrszeichens auf. Eine Abweichung kann auch das (z. B. gänzliche) Fehlen von Informationen in Bezug auf ein existierendes Verkehrszeichen sein.
-
Das Verkehrszeichen ist beispielsweise an einem Verkehrsschild angeordnet. Das Verkehrsschild ist beispielsweise neben der Fahrbahn aufgestellt. Das Verkehrsschild kann beispielsweise auch über der Fahrbahn, z. B. hängend und/oder an einer Portalstruktur, angeordnet sein. Das Verkehrszeichen kann auch ein oder mehrere auf einer Fahrbahn angebrachte bzw. auf eine Fahrbahn gemalte Verkehrszeichen umfassen.
-
Das Verkehrszeichen kann beispielsweise ein passives Verkehrszeichen sein. Das Verkehrszeichen kann aber beispielsweise auch ein aktives Verkehrszeichen sein, das eine Anzeigevorrichtung aufweist, die von einer Steuereinheit angesteuert wird, um ein auf der Anzeigevorrichtung dargestelltes Verkehrszeichen aktiv zu steuern.
-
Das Verkehrszeichen weist beispielsweise einen Bildinhalt (z. B. ein oder mehrere Graphiken und/oder ein oder mehrere Symbole) und/oder einen Textinhalt auf.
-
Die Sensoreinrichtung des Fahrzeugs dient insbesondere zur Überwachung einer Umgebung des Fahrzeugs. Die Sensoreinrichtung weist beispielsweise ein oder mehrere Sensoreinheiten auf. Die Sensoreinheiten sind jeweils zum Ausgeben von Sensordaten eingerichtet. Beispielsweise sind die Sensoreinheiten jeweils zum Ausgeben von Sensordaten an die Steuervorrichtung des Fahrzeugs eingerichtet. Mit anderen Worten empfängt die Steuervorrichtung des Fahrzeugs die Sensordaten der Sensoreinrichtung des Fahrzeugs.
-
Beispielsweise umfasst die Steuervorrichtung Fahrerassistenzfunktionen, (teil-)autonome bzw. automatisierte Fahrfunktionen und/oder Parkassistenzfunktionen. Die Fahrerassistenzfunktionen, teilautonomen oder autonomen Fahrfunktionen und/oder Parkassistenzfunktionen des Fahrzeugs sind z. B. dazu eingerichtet, eine Fahrerassistenz, ein teilautonomes oder vollautonomes Fahren oder eine Parkassistenz in Abhängigkeit der erfassten Sensordaten durchzuführen.
-
Die Steuervorrichtung des Fahrzeugs ist zudem insbesondere dazu eingerichtet, die Sensordaten, in denen das Verkehrszeichen in der Umgebung des Fahrzeugs zumindest teilweise erfasst ist, zu empfangen und auszuwerten. Insbesondere ist die Steuervorrichtung des Fahrzeugs dazu eingerichtet, einen Bedeutungsinhalt des Verkehrszeichens, z. B. durch Bildverarbeitung, zu ermitteln.
-
Die Verkehrszeicheninformation ist eine mit dem von den Sensordaten zumindest teilweise erfassten Verkehrszeichen in Zusammenhang stehende Information. Die Verkehrszeicheninformation kann zum Beispiel die Sensordaten oder einen Teil der Sensordaten umfassen. Die Verkehrszeicheninformation kann zum Beispiel eine aus den Sensordaten abgeleitete Information sein und/oder eine Information, die mittels der Bildverarbeitung ermittelt wurde.
-
Die Steuervorrichtung ist zudem zum Beispiel dazu eingerichtet, eine Anfrage an die cloudbasierte Servervorrichtung zum Aktualisieren der Kartendaten zu senden.
-
Die cloudbasierte Servervorrichtung weist beispielsweise eine Empfangseinrichtung zum Empfangen der Verkehrszeicheninformation auf. Die Empfangseinrichtung der cloudbasierten Servervorrichtung kann auch zum Empfangen einer Anfrage von der Steuervorrichtung des Fahrzeugs eingerichtet sein.
-
Die cloudbasierte Servervorrichtung weist beispielsweise eine oder mehrere Speichereinrichtungen auf. Zum Beispiel sind auf einer Speichereinrichtung der cloudbasierten Servervorrichtung ein oder mehrere Datenbanken gespeichert. Insbesondere sind auf der Speichereinrichtung der cloudbasierten Servervorrichtung Kartendaten gespeichert. Zum Beispiel ist die Speichereinrichtung der cloudbasierten Servervorrichtung auch dazu eingerichtet, die von dem Fahrzeug übermittelte Verkehrszeicheninformation zu speichern. Weiterhin sind auf einer Speichereinrichtung der cloudbasierten Servervorrichtung beispielsweise Computerprogramme, z. B. Datenauswerteprogramme, gespeichert, mit welchen die Verkehrszeicheninformation des Fahrzeugs verarbeitet und/oder die Kartendaten aktualisiert werden können.
-
Die Kartendaten weisen beispielsweise geographische Kartendaten auf, in denen Verkehrszeichen mit ihrer Position (z. B. Aufstellort, Ausrichtung) und ihrem Bedeutungsinhalts umfasst sind.
-
Die Verkehrszeicheninformation und/oder die Anfrage wird beispielsweise kabellos an die cloudbasierte Servervorrichtung gesendet. Beispielsweise weisen das Fahrzeug und/oder die cloudbasierte Servervorrichtung jeweils RF-Sender und RF-Empfänger auf (RF: Radiofrequenz).
-
Das Fahrzeug ist zum Beispiel ein Kraftfahrzeug, wie beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen.
-
Ein Automatisierungsgrad des Fahrzeugs weist beispielsweise eine Automatisierungsstufe gemäß dem SAE-Klassifikationssystem auf. Das SAE-Klassifikationssystem wurde 2014 von SAE International, einer Standardisierungsorganisation für Kraftfahrzeuge, als J3016, „Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems“ veröffentlicht. Es basiert auf sechs verschiedenen Automatisierungsgraden und berücksichtigt das Maß des erforderlichen Eingreifens des Systems und der erforderlichen Aufmerksamkeit des Fahrers. Die SAE-Automatisierungsgrade reichen von Stufe 0, die einem vollständig manuellen System entspricht, über Fahrerassistenzsysteme in Stufe 1 bis 2 bis hin zu teil-autonomen (Stufe 3 und 4) und vollautonomen (Stufe 5) Systemen, bei der kein Fahrer mehr erforderlich ist. Ein autonomes Fahrzeug (auch als fahrerloses Auto, selbstfahrendes Auto und robotisches Auto bekannt) ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und ohne menschliche Eingabe zu navigieren und es entspricht dem SAE-Automatisierungsgrad 5.
-
Die Fahrerassistenzfunktion und/oder (teil-)autonome Fahrfunktion weist zum Beispiel eine Geschwindigkeitsassistenz (adaptive Geschwindigkeitsregelung, Abstandsregelung, ACC: Adaptive Cruise Control), eine Spurassistenz, eine Spurhalteassistenz (LKA: Lane Keep Assist), eine Spurwechselassistenz, eine Notbremsassistenz (AEB: Automatic Emergency Braking), eine Lenkassistenz, eine Notlenkassistenz (AES: Automatic Emergency Steering), eine Stauassistenz (TJA: Traffic Jam Assist), eine Lichtassistenz, eine Fernlichtassistenz, eine Autobahnassistenz (HWA: Highway Assist) und/oder einen Staupiloten (TJP: Traffic Jam Pilot) auf.
-
In Ausführungsformen kann die Steuervorrichtung des Fahrzeugs auch eine Abweichung zwischen dem in den Sensordaten erfassten Verkehrszeichen und einem Dateneintrag bezüglich des Verkehrszeichens in Kartendaten eines Navigationssystems des Fahrzeugs ermitteln. Dann kann eine Verkehrszeicheninformation in Bezug auf das Verkehrszeichen an die cloudbasierte Servervorrichtung gesendet werden.
-
Beispielsweise kann die Steuervorrichtung des Fahrzeugs bei der Ermittlung der Abweichung dann die Kartendaten des Navigationssystems des Fahrzeugs - anstatt der Kartendaten der cloudbasierten Servervorrichtung - heranziehen, wenn eine Datenübertragungsverbindung zu der cloudbasierten Servervorrichtung inaktiv und/oder unterbrochen ist. Beispielsweise kann die Steuervorrichtung des Fahrzeugs die basierend auf den Kartendaten des Navigationssystems des Fahrzeugs ermittelte Abweichung an die cloudbasierte Servervorrichtung senden, wenn eine Datenübertragungsverbindung zu der cloudbasierten Servervorrichtung wieder aktiv und/oder hergestellt ist.
-
Gemäß einer Ausführungsform weist das Ermitteln der Abweichung durch die Steuervorrichtung des Fahrzeugs auf:
- Ermitteln, dass die Sensordaten das Verkehrszeichen in der Umgebung des Fahrzeugs zumindest teilweise erfassen, und/oder
- Ermitteln einer Position des Verkehrszeichens basierend auf den Sensordaten.
-
Wenn die Steuervorrichtung des Fahrzeugs ermittelt, dass die Sensordaten das Verkehrszeichen in der Umgebung des Fahrzeugs zumindest teilweise erfassen, dann heißt dies, dass die Steuervorrichtung des Fahrzeugs erkennt, dass sich in einem von der Sensoreinrichtung des Fahrzeugs erfassten Ausschnitt der Umgebung des Fahrzeugs ein Verkehrszeichen befindet. Mit anderen Worten erfasst die Steuervorrichtung des Fahrzeugs die Existenz des Verkehrszeichens basierend auf den Sensordaten.
-
Ein Ermitteln einer Position des Verkehrszeichens basierend auf den Sensordaten kann zum Beispiel auch ein Ermitteln einer Position und/oder Fahrrichtung des Fahrzeugs zum Zeitpunkt des Erfassens der Sensordaten des Verkehrszeichens aufweisen. Die Position des Fahrzeugs wird beispielsweise mithilfe eines globalen Navigationssatellitensystems (engl. global navigation satellite system, GNSS) ermittelt.
-
Gemäß einer weiteren Ausführungsform weist das Ermitteln der Abweichung durch die Steuervorrichtung des Fahrzeugs auf:
- Erkennen eines Bedeutungsinhalts des Verkehrszeichens basierend auf den Sensordaten.
-
Das Erkennen eines Bedeutungsinhalts des Verkehrszeichens weist beispielsweise ein Erkennen von Bild- und/oder Textinhalten des Verkehrszeichens und ein Erkennen einer Bedeutung des Bild- und/oder Textinhalts auf. Das Erkennen eines Bedeutungsinhalts des Verkehrszeichens weist beispielsweise eine Zuordnung des erkannten Bild- und/oder Textinhalts zu einer (z. B. vorbestimmten) Straßenverkehrsregel und/oder das Übersetzen des erkannten Bild- und/oder Textinhalts in eine Straßenverkehrsregel auf. Beispielsweise kann das Verkehrszeichen auch basierend auf den analysierten Sensordaten durch Vergleich mit vorbestimmten Verkehrszeichendaten klassifiziert werden.
-
Der Bedeutungsinhalt des Verkehrszeichens und/oder die dem Bedeutungsinhalt des Verkehrszeichens entsprechende Straßenverkehrsregel weist beispielsweise ein Verbot, eine Bedingung, unter der ein Verbot gilt, und/oder eine Aufhebung eines Verbots auf. Der Bedeutungsinhalt des Verkehrszeichens bzw. die diesem entsprechende Straßenverkehrsregel kann beispielsweise auch ein Gebot und/oder eine Empfehlung aufweisen. Eine Bedingung, unter der ein Verbot gilt, kann eine Umgebungsbedingung und/oder Umweltbedingung (z. B. „bei Nässe“), eine zeitliche Bedingung (z. B. „zwischen 6 und 22 Uhr“) und/oder einen oder mehrere betroffene Fahrzeugtypen (z. B. „für Lastkraftwagen“) umfassen. Beispiele für den Bedeutungsinhalt des Verkehrszeichens bzw. die diesem entsprechende Straßenverkehrsregel umfassen ein Tempolimit (d. h. ein Verbot, schneller als das angegebene Geschwindigkeitslimit zu fahren), die Aufhebung eines Tempolimits, ein Überholverbot, ein Tempolimit mit der Bedingung „bei Nässe“, ein Überholverbot mit der Bedingung „für Lastkraftwagen“, verschiedene Tempolimits für verschiedene Fahrzeugtypen usw.
-
Gemäß einer weiteren Ausführungsform weist die Abweichung eine Abweichung einer anhand der Sensordaten ermittelten Position des Verkehrszeichens von einer in den Kartendaten der cloudbasierten Servervorrichtung in Bezug auf das Verkehrszeichen gespeicherten Position auf, und/oder weist die Abweichung eine Abweichung eines anhand der Sensordaten erkannten Bedeutungsinhalts des Verkehrszeichens von einem in den Kartendaten der cloudbasierten Servervorrichtung in Bezug auf das Verkehrszeichens gespeicherten Bedeutungsinhalt auf.
-
Durch die Aktualisierung der Kartendaten der cloudbasierten Servervorrichtung in Bezug auf eine Position eines Verkehrszeichens kann korrigiert werden, ab welchem Ort eine durch das Verkehrszeichen zum Ausdruck gebrachte Verkehrsregel gilt und/oder für welche Straße und/oder Fahrbahn die entsprechende Verkehrsregel gilt.
-
Durch die Aktualisierung der Kartendaten der cloudbasierten Servervorrichtung in Bezug auf einen Bedeutungsinhalt eines Verkehrszeichens kann die richtige Straßenverkehrsregel in den cloudbasierten Kartendaten hinterlegt werden.
-
Gemäß einer weiteren Ausführungsform umfasst die Sensoreinrichtung eine oder mehrere Sensoreinheiten, wobei eine jeweilige Sensoreinheit einen bildgebenden Sensor, eine Kamera und/oder eine Frontkamera aufweist, und/oder weisen die Sensordaten Bilddaten auf.
-
Mithilfe des bildgebenden Sensors, der Kamera und/oder der Frontkamera können Bilddaten des Verkehrszeichens erfasst werden. Die Bilddaten können auch Videodaten umfassen.
-
Die Kamera ist insbesondere an oder in dem Fahrzeug angebracht. Die Kamera ist zum Beispiel an oder unter einer Scheibe, insbesondere einer Frontscheibe, des Fahrzeugs angeordnet. Die Kamera ist zum Beispiel an einer Innenseite der vorderen Windschutzscheibe angeordnet und in Fahrtrichtung des Fahrzeugs gerichtet. In diesem Fall kann die Kamera als Frontkamera bezeichnet werden. Eine Frontkamera kann jedoch auch z. B. an einer vorderen Karosseriestruktur oder dergleichen angeordnet sein. Die Kamera kann jedoch auch an einer anderen Stelle des Fahrzeugs angeordnet und/oder in einer anderen Richtung ausgerichtet sein.
-
Die Kamera dient zum Aufnehmen eines Bildes, insbesondere eines Bildes einer Umgebung des Fahrzeugs. Durch geeignete Anordnung der Kamera können entsprechende Überwachungsbereiche vor, hinter, neben, über und/oder unter dem Fahrzeug mit der Kamera überwacht werden. Insbesondere können ruhende oder bewegte Objekte in der Umgebung des Fahrzeugs erfasst werden, wie beispielsweise Fahrzeuge, Personen, Tiere, Pflanzen, Hindernisse, Fahrbahnunebenheiten (z. B. Schlaglöcher oder Steine), Fahrbahnbegrenzungen, Verkehrszeichen oder Freiräume (z. B. Parklücken).
-
Die Kamera weist insbesondere ein optisches System, insbesondere ein Objektiv, eine Linse oder dergleichen auf. Weiterhin weist die Kamera insbesondere einen Bildsensor, z. B. eine CCD-Kamera (Charged Coupled Device) oder einen CMOS-Sensor (Complementary Metal-Oxide Semiconductor-Sensor), auf. Die Kamera weist zum Beispiel eine Leiterplatte auf, auf welcher elektrische und/oder elektronische Bauteile, wie beispielsweise der Bildsensor, angeordnet sind. Die Kamera weist zum Beispiel eine Speichereinheit zum Abspeichern der von der Kamera aufgenommenen Bilder und anderer Informationen auf. Die Kamera weist zum Beispiel einen Bildprozessor (z. B. Videoprozessor) auf. Der Bildprozessor ist z. B. auf der Leiterplatte der Kamera angeordnet. Der Bildprozessor kann aber auch woanders angeordnet sein. Der Bildprozessor ist beispielsweise Teil der hier beschriebenen Steuervorrichtung des Fahrzeugs. Die Steuervorrichtung des Fahrzeugs kann beispielsweise eine verteilte Steuervorrichtung sein.
-
Gemäß einer weiteren Ausführungsform weist die Verkehrszeicheninformation eine Position des Verkehrszeichens und/oder einen Bedeutungsinhalt des Verkehrszeichens auf.
-
Dadurch, dass die Verkehrszeicheninformation eine Position des Verkehrszeichens umfasst, kann das Verkehrszeichen in den Kartendaten lokalisiert werden und/oder kann eine in den Kartendaten falsch eingetragene Position des Verkehrszeichens korrigiert werden.
-
Dadurch, dass die Verkehrszeicheninformation einen Bedeutungsinhalt des Verkehrszeichens umfasst, kann ein in den Kartendaten falsch eingetragener Bedeutungsinhalt des Verkehrszeichens korrigiert werden.
-
Gemäß einer weiteren Ausführungsform weist die Verkehrszeicheninformation Bilddaten auf, in denen das Verkehrszeichen zumindest teilweise erfasst ist, und ermittelt die cloudbasierte Servervorrichtung einen Bedeutungsinhalt des Verkehrszeichens basierend auf einer Bildverarbeitung der Bilddaten.
-
Insbesondere weisen die Sensordaten Bilddaten auf und weist die Verkehrszeicheninformation zumindest einen Teil dieser Bilddaten auf.
-
Wenn beispielsweise die Steuervorrichtung des Fahrzeugs ermittelt, dass sie einen Bedeutungsinhalt des Verkehrszeichens nicht erkennen kann, dann sendet die Steuervorrichtung Bilddaten des nicht erkannten Verkehrszeichen (als Verkehrszeicheninformation oder als Teil der Verkehrszeicheninformation) an die cloudbasierte Servervorrichtung. Weiterhin sendet die Steuervorrichtung in diesem Fall beispielsweise eine Anfrage an die cloudbasierte Servervorrichtung, eine Bedeutung des Verkehrszeichens zu ermitteln.
-
Ein Erkennen eines Bedeutungsinhalts des Verkehrszeichens ist für die Steuervorrichtung des Fahrzeugs zum Beispiel dann nicht möglich, wenn Bild- und/oder Textinhalte des Verkehrszeichens nicht oder nicht vollständig erkannt werden können und/oder wenn eine Zuordnung eines teilweise oder vollständig erkannten Bild- und/oder Textinhalts in eine Straßenverkehrsregel nicht möglich ist.
-
Die cloudbasierte Servervorrichtung umfasst beispielsweise (z. B. auf einer Speichereinrichtung der cloudbasierten Servervorrichtung gespeichert) bessere oder andere (insbesondere ergänzende) Bildanalysesoftware, leistungsstärkere Bildprozessoren (Videoprozessoren) und/oder umfangreichere Datenbanken als die Steuervorrichtung des Fahrzeugs. Folglich kann durch Senden der Bilddaten des Verkehrszeichens an die cloudbasierte Servervorrichtung, eine bessere Bildanalyse, eine rechenaufwendigere Bildanalyse und/oder ein Abgleich mit anderen, umfangreicheren Datenbanken erfolgen. Dadurch ist es möglich, dass die von der Steuervorrichtung des Fahrzeugs nicht erkannte Bedeutung des Verkehrszeichens von der cloudbasierte Servervorrichtung basierend auf denselben Bilddaten dennoch erkannt wird.
-
In einem Fall, in dem die Steuervorrichtung Bild- und/oder Textinhalte des Verkehrszeichens teilweise erkennt und teilweise nicht erkennt, kann die Verkehrszeicheninformation beispielsweise in Bezug auf die erkannten Anteile einen ermittelten Bedeutungsinhalt und/oder daraus abgeleitete Informationen aufweisen. Weiterhin kann die Verkehrszeicheninformation in Bezug auf die nicht erkannten Anteile Bilddaten aufweisen und eine Anfrage an die cloudbasierte Servervorrichtung, die Bilddaten zu analysieren.
-
Lediglich beispielhaft kann es sich bei dem Verkehrszeichen um ein Haupt-Verkehrszeichen mit einem Tempolimit und ein Zusatz-Verkehrszeichen mit einer Bedingung (z. B. ein darunter angebrachtes Schild, auf welchem die Bedingung dargestellt ist, bei der das Tempolimit gilt) handeln. Weiterhin erkennt die Steuervorrichtung des Fahrzeugs beispielsweise die Bedeutung des Haupt-Verkehrszeichens (z. B. als ein bestimmtes Tempolimit). Jedoch erkennt die Steuervorrichtung des Fahrzeugs beispielsweise die Bedeutung des Zusatz-Verkehrszeichens nicht. Dann kann die Steuervorrichtung als Teil der Verkehrszeicheninformation zum Beispiel den Bedeutungsinhalt des Haupt-Verkehrszeichens und die Bilddaten des Zusatz-Verkehrszeichens an die cloudbasierte Servervorrichtung schicken. Beispielsweise kann die Steuervorrichtung des Fahrzeugs die Information schicken: „Schild mit Tempolimit 80 km/h und darunter angeordnetes, rechteckige Schild, dessen Bedeutung ermittelt werden soll“ plus die Bilddaten des Zusatz-Verkehrszeichens.
-
Gemäß einer weiteren Ausführungsform ermittelt die cloudbasierte Servervorrichtung den Bedeutungsinhalt des Verkehrszeichens basierend auf einer Texterkennung in den Bilddaten.
-
Die Texterkennung ist insbesondere eine automatisierte Schriftzeichenerkennung in den Bilddaten. Die Texterkennung weist beispielsweise eine Erkennung einzelner Schriftzeichen auf (z. B. optische Zeichenerkennung, engl. optical character recognition, OCR). Die Texterkennung kann beispielsweise auch eine Kontexterkennung aufweisen, wie z. B. ein Vergleich mit Wortdatenbanken, Sprachdatenbanken, Verkehrszeichendatenbanken (z. B. intelligente Zeichenerkennung, engl. intelligent character recognition, ICR und/oder intelligente Worterkennung, engl. intelligent word recognition, IWR).
-
Die Texterkennung umfasst zum Beispiel mehrere Sprachen und/oder Schriftzeichensysteme. Die mehreren Schriftzeichensysteme umfassen z. B. lateinische, arabische, chinesische, kyrillische, griechische oder andere Schriftzeichensysteme.
-
Wenn die Steuervorrichtung des Fahrzeugs beispielsweise keine Mittel zur Texterkennung umfasst und deshalb die Bedeutung eines Verkehrszeichens nicht erkennen kann, dann kann die Texterkennung vorteilhafterweise von der cloudbasierte Servervorrichtung durchgeführt werden.
-
Wenn das Fahrzeug zum Beispiel im Ausland unterwegs ist und/oder Text auf dem Verkehrszeichen in einem der Steuervorrichtung des Fahrzeugs unbekannten Schriftzeichensystem verfasst ist (z. B. griechisch), dann kann die Texterkennung des fremden Schriftzeichensystem von der cloudbasierte Servervorrichtung beispielsweise dennoch durchgeführt werden.
-
Gemäß einer weiteren Ausführungsform ermittelt die cloudbasierte Servervorrichtung den Bedeutungsinhalt des Verkehrszeichens basierend auf einer Sprachübersetzung von erkannten Textdaten ermittelt.
-
Wenn das Fahrzeug zum Beispiel im Ausland unterwegs ist und/oder Text auf dem Verkehrszeichen in einer der Steuervorrichtung des Fahrzeugs unbekannten Sprache verfasst ist, dann kann die Texterkennung der fremden Sprache von der cloudbasierten Servervorrichtung beispielsweise dennoch durchgeführt werden.
-
Gemäß einer weiteren Ausführungsform weist das Verfahren die Schritte auf:
- Speichern der Verkehrszeicheninformation einschließlich der Bilddaten und dem von der cloudbasierten Servervorrichtung ermittelten Bedeutungsinhalt des Verkehrszeichens, und/oder
- Ermitteln einer Instandhaltungsinformation in Bezug auf das Fahrzeug und/oder in Bezug auf das Verkehrszeichen basierend auf der Verkehrszeicheninformation und dem von der cloudbasierten Servervorrichtung ermittelten Bedeutungsinhalt des Verkehrszeichens.
-
Durch Speichern der Verkehrszeicheninformation einschließlich der Bilddaten eines von der Steuervorrichtung des Fahrzeugs nicht erkannten Verkehrszeichens sowie des von der cloudbasierten Servervorrichtung ermittelten Bedeutungsinhalts des Verkehrszeichens können diese Informationen dazu verwendet werden, eine Instandhaltungsinformation in Bezug auf das Fahrzeug und/oder in Bezug auf das Verkehrszeichen zu ermitteln.
-
Beispielsweise kann die Instandhaltungsinformation von der Steuervorrichtung des Fahrzeugs selbst ermittelt werden. Alternativ können die entsprechenden gespeicherten Daten (d. h. die Verkehrszeicheninformation einschließlich der Bilddaten und die von der cloudbasierten Servervorrichtung basierend auf den Bilddaten ermittelte Ergebnisinformation in Bezug auf den Bedeutungsinhalt des Verkehrszeichens) auch ausgelesen werden und kann die Instandhaltungsinformation von einer anderen (z. B. externen) Einheit ermittelt werden. Beispielsweise kann eine Instandhaltungsinformation in Bezug auf das Fahrzeug von einer Werkstatt oder einer anderen Fahrzeugservicestätte basierend auf von dem Fahrzeug gespeicherten Daten ermittelt werden. In einer weiteren Alternative kann die Instandhaltungsinformation auch von der cloudbasierten Servervorrichtung ermittelt und/oder gespeichert werden. In diesem Fall kann die cloudbasierte Servervorrichtung auch dazu eingerichtet sein, die Instandhaltungsinformation an eine zuständige Behörde, z. B. ein Verkehrsordnungsamt und/oder eine Straßenmeisterei zu senden.
-
Die Instandhaltungsinformation ist eine Information in Bezug auf eine Instandhaltung des Fahrzeugs und/oder des Verkehrszeichens. Eine Instandhaltung umfasst alle Maßnahmen, die zum Erhalt oder der Wiederherstellung des funktionsfähigen Zustands des Fahrzeugs und/oder des Verkehrsschilds dienen.
-
Die Instandhaltungsinformation in Bezug auf das Fahrzeug weist beispielsweise eine erforderliche Wartung, Reparatur und/oder Reinigung des Fahrzeugs auf. Dies kann z. B. eine Reparatur, eine Reinigung oder einen Ersatz der Sensoreinrichtung (z. B. einer oder mehrerer Kameras) des Fahrzeugs umfassen.
-
Die Instandhaltungsinformation in Bezug auf Verkehrszeichen weist beispielsweise eine erforderliche Wartung, Ersatz und/oder Reinigung des Verkehrsschildes auf.
-
Gemäß einer weiteren Ausführungsform wird der Schritt des Speicherns der Verkehrszeicheninformation und des von der cloudbasierten Servervorrichtung ermittelten Bedeutungsinhalts für weitere Verkehrszeichen wiederholt, welche in Sensordaten der Sensoreinrichtung zumindest teilweise erfasst sind, für welche die Steuervorrichtung eine Abweichung zwischen dem in den Sensordaten erfassten Verkehrszeichen und einem Dateneintrag bezüglich des Verkehrszeichens in Kartendaten der cloudbasierten Servervorrichtung ermittelt hat, und für welche die cloudbasierte Servervorrichtung den Bedeutungsinhalt ermittelt hat. Außerdem wird die Instandhaltungsinformation in Bezug auf das Fahrzeug und/oder in Bezug auf das Verkehrszeichen basierend auf der Verkehrszeicheninformation und dem von der cloudbasierten Servervorrichtung ermittelten Bedeutungsinhalt der mehreren Verkehrszeichens ermittelt.
-
Dadurch, dass die Instandhaltungsinformation basierend auf den von dem Fahrzeug erhobenen Daten mehrerer Verkehrszeichen ermittelt wird, kann die Instandhaltungsinformation genauer ermittelt werden.
-
Gemäß einer weiteren Ausführungsform weist das Verfahren den Schritt auf:
- Aktualisieren der Kartendaten der cloudbasierten Servervorrichtung basierend auf der von der Steuervorrichtung des Fahrzeugs gesendeten Verkehrszeicheninformation.
-
Beispielsweise ermittelt die cloudbasierte Servervorrichtung basierend auf der von der Steuervorrichtung des Fahrzeugs gesendeten Verkehrszeicheninformation, ob eine Aktualisierung der Kartendaten erforderlich ist oder nicht.
-
In Ausführungsformen aktualisiert die cloudbasierte Servervorrichtung die Kartendaten basierend auf der von der Steuervorrichtung des Fahrzeugs gesendeten Verkehrszeicheninformation und zusätzlich auf einer von einer Steuervorrichtung eines oder mehrerer weiterer Fahrzeuge gesendeten Verkehrszeicheninformation in Bezug auf dasselbe Verkehrszeichen.
-
In einem Fall, in dem die Verkehrszeicheninformation Bilddaten aufweist, in denen das Verkehrszeichen zumindest teilweise erfasst ist, und die cloudbasierte Servervorrichtung einen Bedeutungsinhalt des Verkehrszeichens basierend auf einer Bildverarbeitung der Bilddaten ermittelt, kann die cloudbasierte Servervorrichtung selbst eine Abweichung zu den Kartendaten feststellen und daraufhin die Kartendaten aktualisieren.
-
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen. Das Computerprogrammprodukt umfasst Befehle, die bei der Ausführung des Programms durch einen oder mehrere Computer diese/n veranlassen, das vorstehend beschriebene Verfahren auszuführen.
-
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
-
Bei dem Computerprogrammprodukt kann es sich beispielsweise um ein verteiltes Computerprogrammprodukt handeln, das auf mehreren Computern ausgeführt wird. Beispielsweise wird von einem auf einer Speichereinheit der Steuervorrichtung des Fahrzeugs gespeicherten Programm ermittelt, dass eine Bedeutung des Verkehrszeichens nicht erkannt werden kann. Beispielsweise wird von einem auf einer Speichereinheit der cloudbasierten Servervorrichtung gespeicherten weiteren Programm die Bedeutung des Verkehrszeichens ermittelt.
-
Gemäß einem dritten Aspekt wird eine Steuervorrichtung für ein Fahrzeug vorgeschlagen. Die Steuervorrichtung weist auf:
- eine Empfangseinrichtung zum Empfangen von Sensordaten von einer Sensoreinrichtung des Fahrzeugs, wobei die Sensordaten ein Verkehrszeichen in einer Umgebung des Fahrzeugs zumindest teilweise erfassen,
- eine Ermittlungseinrichtung zum Ermitteln einer Abweichung zwischen dem in den Sensordaten erfassten Verkehrszeichen und einem Dateneintrag bezüglich des Verkehrszeichens in Kartendaten einer cloudbasierten Servervorrichtung, und
- eine Sendeeinrichtung zum Senden einer Verkehrszeicheninformation in Bezug auf das Verkehrszeichen an die cloudbasierte Servervorrichtung zum Aktualisieren der Kartendaten der cloudbasierten Servervorrichtung.
-
Gemäß einem vierten Aspekt wird ein Fahrzeug mit einer wie vorstehend beschriebenen Steuervorrichtung vorgeschlagen.
-
Die jeweilige Einheit des Fahrzeugs, wie beispielsweise die Steuervorrichtung, die Empfangseinrichtung, die Ermittlungseinrichtung, die Sendeeinrichtung, ein Bildprozessor und Speichereinheiten, sowie die jeweilige Einheit der cloudbasierten Servervorrichtung kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.
-
Ferner kann jede der vorliegend genannten Einheiten des Fahrzeugs auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuervorrichtung (engl. electronic control unit, ECU), ausgebildet sein.
-
Die für das vorgeschlagene Verfahren beschriebenen Ausführungsformen und Merkmale gelten für die vorgeschlagene Steuervorrichtung und das Fahrzeug entsprechend und umgekehrt.
-
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
-
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
- 1 zeigt ein Fahrzeug gemäß einer Ausführungsform;
- 2 zeigt das Fahrzeug aus 1 auf einer Straße und eine cloudbasierte Servervorrichtung, mit der das Fahrzeug kommuniziert;
- 3 veranschaulicht ein Beispiel für eine Abweichung in Bezug auf eine Position eines mittels einer Sensoreinrichtung des Fahrzeugs aus 1 erfassten Verkehrszeichens und eines Dateneintrags bezüglich des Verkehrszeichens in Kartendaten einer cloudbasierten Servervorrichtung;
- 4 veranschaulicht ein Beispiel für eine Abweichung in Bezug auf einen Bedeutungsinhalt eines mittels einer Sensoreinrichtung des Fahrzeugs aus 1 erfassten Verkehrszeichens und eines Dateneintrags bezüglich des Verkehrszeichens in Kartendaten einer cloudbasierten Servervorrichtung;
- 5 veranschaulicht eine Kommunikation zwischen dem Fahrzeug und der cloudbasierten Servervorrichtung aus 2 gemäß einer Ausführungsform;
- 6 zeigt ein Flussablaufdiagramm eines Verfahrens zum Betreiben eines Fahrzeugs gemäß einer Ausführungsform; und
- 7 veranschaulicht funktionelle Komponenten einer Steuervorrichtung des Fahrzeugs aus 1 gemäß einer Ausführungsform.
-
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
-
1 zeigt ein Kraftfahrzeug 1. Das Kraftfahrzeug 1 ist in dem Beispiel ein Personenkraftwagen. In anderen Beispielen kann das Kraftfahrzeug 1 auch ein Lastkraftwagen, Bus oder ein anderes Kraftfahrzeug sein. Das Kraftfahrzeug 1 umfasst eine Sensoreinrichtung 2 mit einem oder mehreren Sensoreinheiten 3. Die Sensoreinrichtung 2 dient zum Erfassen von Sensordaten S. Als Beispiel für eine Sensoreinheit ist in 1 eine Kamera 4 gezeigt. Insbesondere ist die gezeigte Kamera 4 auf einer Innenseite der vorderen Windschutzscheibe 5 des Kraftfahrzeugs 1 angebracht. Die Kamera 4 ist insbesondere eine Frontkamera 4, die dazu eingerichtet ist, einen vor dem Fahrzeug 1 liegenden Bereich zu überwachen. Die Frontkamera 4 kann beispielsweise für verschiedene Fahrerassistenzfunktionen verwendet werden, wie beispielsweise für eine Verkehrszeichenerkennung, eine Objekterkennung, eine Spurhalteassistenz und eine Fernlichtassistenz.
-
Im Folgenden wird die Frontkamera 4 als Beispiel für eine Sensoreinheit 3 der Sensoreinrichtungen 2 beschrieben. Allerdings kann die Sensoreinrichtung 2 in anderen Beispielen auch mehrere Sensoreinheiten 3 (z. B. mehrere Kameras und/oder Frontkameras), an anderen Bereichen des Fahrzeugs 1 angebrachte Sensoreinheiten 3 und/oder andere Arten von bildgebenden Sensoreinheiten 3 aufweisen.
-
2 zeigt das Kraftfahrzeug 1 aus 1 auf einer Straße 6 fahrend. Das Fahrzeug 1 fährt in dem gezeigten Beispiel auf einer linken Fahrbahn 7. Die Sensoreinrichtung 2 bzw. die Frontkamera 4 ist dazu eingerichtet, eine Umgebung U des Fahrzeugs 1 zu überwachen. Das Bezugszeichen 8 kennzeichnet exemplarisch Sichtstrahlen und damit ein Sichtfeld der Kamera 4. Am rechten Straßenrand 9 ist ein Verkehrsschild 10 mit einem Verkehrszeichen 11 zu sehen. Die Kamera 4 dient dazu, das Verkehrszeichen 11 zu erfassen und seine Bedeutung im Sinne einer Straßenverkehrsregel zu erkennen.
-
Das Fahrzeug 1 weist eine Steuervorrichtung 12 auf. Insbesondere ist die Steuervorrichtung 12 dazu eingerichtet, von der Kamera 4 erfasste Bilddaten zu analysieren. Die Steuervorrichtung 12 weist beispielsweise einen oder mehrere Bildprozessoren 13 (7) zur Analyse der Bilddaten der Kamera 4 auf.
-
Weiterhin ist das Fahrzeug 1 dazu eingerichtet, mit einer cloudbasierten Servervorrichtung 14 zu kommunizieren. Beispielsweise weist das Fahrzeug 1 - obwohl in den Figuren nicht gezeigt - einen RF-Sender (RF: Radiofrequenz) zum Senden von Daten an die cloudbasierte Servervorrichtung 14 auf. Weiterhin weist das Fahrzeug 1 beispielsweise einen RF-Empfänger zum Empfangen von Daten von der cloudbasierten Servervorrichtung 14 auf. Ebenso weist die cloudbasierte Servervorrichtung 14 entsprechende Sender und Empfänger auf. Das Bezugszeichen 15 markiert eine, z. B. kabellose, Datenübertragung zwischen dem Fahrzeug 1 und der cloudbasierten Servervorrichtung 14.
-
Die cloudbasierte Servervorrichtung 14 weist insbesondere Kartendaten K auf. Beispielsweise sind die Kartendaten K auf einer Speichereinrichtung (nicht gezeigt) der cloudbasierten Servervorrichtung 14 gespeichert. Die Kartendaten K weisen insbesondere Dateneinträge (d. h. Informationen) über Position (z. B. Aufstellort) und Bedeutungsinhalt von Verkehrszeichen, wie beispielsweise dem Verkehrszeichen 11, auf.
-
Die Speichervorrichtung 12 des Fahrzeugs 1 ist insbesondere dazu eingerichtet, auf die Kartendaten K der cloudbasierten Servervorrichtung 14 zuzugreifen.
-
Es kann vorkommen, dass Informationen in den Kartendaten K der cloudbasierten Servervorrichtung 14 nicht aktuell sind. Insbesondere können Informationen in den Kartendaten K der cloudbasierten Servervorrichtung 14 in Bezug auf ein existierendes Verkehrszeichen 11 veraltet und/oder falsch sein. In einem solchen Fall kann die Steuervorrichtung 12 des Fahrzeugs 1 eine Abweichung A feststellen zwischen einem in den Sensordaten S der Sensoreinrichtung 2 aktuell erfassten Verkehrszeichen 11 und einem entsprechenden Dateneintrag in den Kartendaten K der cloudbasierten Servervorrichtung 14 in Bezug auf dieses Verkehrszeichen 11.
-
Eine Abweichung A kann zum Beispiel in Bezug auf eine Position P1 (2) des Verkehrszeichens 11 auftreten. In 3 ist ein Beispiel veranschaulicht, in dem eine Position P1 des Verkehrszeichens 11, die mittels der Sensoreinrichtung 2 des Fahrzeugs 1 ermittelt wurde, von einer Position P2 des Verkehrszeichens 11 gemäß den Kartendaten K abweicht. Die 3 zeigt ein x-y-Diagramm, das eine Position in zweidimensionalen Ortskoordinaten x und y angibt. In dem gezeigten Beispiel ist die mittels der Sensoreinrichtung 2 des Fahrzeugs 1 ermittelte Position P1 des Verkehrszeichens 11 durch die Ortskoordinaten (x1, y1) gegeben. Außerdem ist die in den Kartendaten K der cloudbasierten Servervorrichtung 14 eingetragene Position P2 des Verkehrszeichens 11 durch die Ortskoordinaten (x2, y2) gegeben. Wie in 3 gezeigt, weichen die entsprechenden Positionen P1 und P2 voneinander um die Abweichung A (Ax, Ay) voneinander ab.
-
Die Steuervorrichtung 12 ist dazu eingerichtet, die Abweichung A zu ermitteln. Weiterhin ist die Steuervorrichtung 12 dazu eingerichtet, eine Aufforderung und/oder einen Hinweis zum Aktualisieren der Kartendaten K der cloudbasierten Servervorrichtung 14 an die cloudbasierte Servervorrichtung 14 zu senden, wenn eine Abweichung A ermittelt wurde.
-
Beispielsweise kann die Steuervorrichtung 12 die ermittelte Abweichung A auch mit einem vorbestimmten Schwellenwert vergleichen. In diesem Fall kann die Steuervorrichtung 12 dazu eingerichtet sein, einen Hinweis auf eine erforderliche Aktualisierung der Kartendaten K der cloudbasierten Servervorrichtung 14 an die cloudbasierte Servervorrichtung 14 zu senden, wenn eine Abweichung A ermittelt wurde, die größer als der vorbestimmte Schwellenwert ist.
-
Wie in 4 veranschaulicht, kann eine Abweichung A' zum Beispiel auch in Bezug auf einen Bedeutungsinhalt eines Verkehrszeichens auftreten. In 4 ist ein Verkehrsschild 16 mit einem Verkehrszeichen 17 gezeigt, das an einem Straßenrand 9 (2) einer Straße 6 steht, auf der das Fahrzeug 1 fährt. Die Sensoreinrichtung 2 erfasst Sensordaten S, ins besondere Bilddaten, des Verkehrszeichens 17. Die Steuervorrichtung 12 analysiert die Sensordaten S und ermittelt einen Bedeutungsinhalt des Verkehrszeichens 17. Der ermittelte Bedeutungsinhalt des Verkehrszeichens 17 ist in dem gezeigten Beispiel ein „Tempolimit von 120 km/h“. Mit anderen Worten entspricht der von der Steuervorrichtung 12 ermittelte Bedeutungsinhalt des Verkehrszeichens 17 dem Verbot, schneller als 120 km/h zu fahren.
-
Wie in 4 schematisch gezeigt, ist in dem beschriebenen Beispiel in den Kartendaten K der cloudbasierten Servervorrichtung 14 zugeordnet zu der Position des Verkehrszeichens 17 ein abweichender Bedeutungsinhalt gespeichert. Insbesondere ist in den Kartendaten K der cloudbasierten Servervorrichtung 14 ein „Tempolimit von 100 km/h“ gespeichert. Wenn die Steuervorrichtung 12 die beschriebene Abweichung A' ermittelt, dann sendet die Steuervorrichtung 12 einen Hinweis an die cloudbasierte Servervorrichtung 14, die Kartendaten K zu aktualisieren. Insbesondere schickt die Steuervorrichtung 12 eine Verkehrszeicheninformation V an die cloudbasierte Servervorrichtung 14, welche den richtigen Bedeutungsinhalt eines Tempolimits von 120 km/h beinhaltet.
-
Im Folgenden wird mit Bezug zu den 5 und 6 ein Verfahren zum Betreiben eines Fahrzeugs 1 gemäß einer Ausführungsform beschrieben. Insbesondere werden bei dem Verfahren Kartendaten K einer cloudbasierten Servervorrichtung 14 (2) basierend auf von dem Fahrzeug 1 erfassten Sensordaten S aktualisiert. 5 veranschaulicht eine Kommunikation zwischen dem Fahrzeug 1, insbesondere der Steuervorrichtung 12 des Fahrzeugs 1, und der cloudbasierten Servervorrichtung 14. 6 veranschaulicht ein Flussablaufdiagramm des Verfahrens.
-
In einem ersten Schritt S1 des Verfahrens empfängt die Steuervorrichtung 12 Sensordaten S von einer Sensoreinrichtung 2 des Fahrzeugs 1. Beispielsweise empfängt die Steuervorrichtung 12 Bilddaten einer Frontkamera 4. Wie in 2 veranschaulicht, ist in den Sensordaten S bzw. Bilddaten ein Verkehrszeichen 11 in der Umgebung U des Fahrzeugs 1 erfasst.
-
Schritt S1 kann auch das Erfassen der Sensordaten S durch die Sensoreinrichtung 2 aufweisen.
-
In einem zweiten Schritt S2 des Verfahrens ermittelt die Steuervorrichtung 12 eine Abweichung zwischen dem in den Sensordaten S erfassten Verkehrszeichen 11 und einem Dateneintrag bezüglich des Verkehrszeichens 11 in den Kartendaten K der cloudbasierten Servervorrichtung 14.
-
In Schritt S2 wird beispielsweise von der Steuervorrichtung 12 ermittelt, dass die Sensordaten S das Verkehrszeichen 11 in der Umgebung U des Fahrzeugs 1 zumindest teilweise erfassen. Weiterhin wird eine Position P1 des Verkehrszeichen 11 basierend auf den Sensordaten S ermittelt.
-
Außerdem kann von der Steuervorrichtung 12 basierend auf den Sensordaten S beispielsweise ein Bedeutungsinhalt des Verkehrszeichens 11 ermittelt werden. Zum Beispiel weisen die Sensordaten S Bilddaten auf und wird der Bedeutungsinhalt des Verkehrszeichens 11 basierend auf einer Bildanalyse der Bilddaten ermittelt. Die Bildanalyse wird z. B. mithilfe eines Bildprozessors 13 (7) durchgeführt. Beispielsweise wird auch eine Texterkennung in den Bilddaten durchgeführt.
-
In einer ersten Variante der Ausführungsform ist die Steuervorrichtung 12 in der Lage, einen Bedeutungsinhalt des Verkehrszeichens 11 basierend auf den Sensordaten S zu erkennen.
-
In einer zweiten Variante der Ausführungsform ist die Steuervorrichtung 12 nicht in der Lage, einen Bedeutungsinhalt des Verkehrszeichens 11 basierend auf den Sensordaten S zu erkennen. Beispielsweise kann die Kamera 4 (z. B. eine Linse der Kamera 4) und/oder die Windschutzscheibe 5 vor der Kamera 4 verschmutzt sein. Die Kamera 4 kann auch einen Defekt aufweisen. Weiterhin ist es möglich, dass das Verkehrszeichen 11 verschmutz oder beschädigt ist. Ferner kann das Verkehrszeichen 11 aus Sicht der Kamera 4, z. B. von einem anderen Fahrzeug, verdeckt sein. Weitere Beispiele, in denen die Steuervorrichtung 12 nicht in der Lage sein kann, die Bedeutung eines von der Kamera 4 erfassten Verkehrszeichens 11 zu erkennen, umfassen Fälle, in denen die Steuervorrichtung 12 nicht über eine Texterkennung verfügt oder das Verkehrszeichen 11 für die Texterkennung fremde Schriftzeichen (z. B. chinesische Schriftzeichen) zeigt. Weitere Beispiele umfassen Fälle, in denen Verkehrszeichen sehr viel Information enthalten, welche verarbeitet werden muss. Wenn eine Verarbeitungsleistung der Steuervorrichtung 12, z. B. des Bildprozessors 13, nicht ausreicht, um den Inhalt eines Verkehrszeichens zu verarbeiten, dann kann die Steuerverrichtung 12 die Bedeutung des Verkehrszeichens in so einem Fall nicht oder nicht vollständig erkennen.
-
In einem dritten Schritt S3 des Verfahrens sendet die Steuervorrichtung 12 eine Verkehrszeicheninformation V, d. h. eine Information in Bezug auf das Verkehrszeichen 11, an die cloudbasierte Servervorrichtung 14.
-
Im Falle der ersten Variante, bei der die Steuervorrichtung 12 in der Lage ist, den Bedeutungsinhalt des Verkehrszeichens 11 basierend auf den Sensordaten S zu erkennen, weist die Verkehrszeicheninformation V die Position P1 des Verkehrszeichens 11 und den ermittelten Bedeutungsinhalt des Verkehrszeichens 11 auf. In diesem Fall sendet die Steuervorrichtung 12 in S3 eine Anfrage an die cloudbasierte Servervorrichtung 14, die Kartendaten K basierend auf der Verkehrszeicheninformation V zu aktualisieren.
-
Bei der ersten Variante enthält die Verkehrszeicheninformation V in der Regel keine Bilddaten, wodurch die übertragene Datenmenge reduziert werden kann. Allerdings kann die Verkehrszeicheninformation V in anderen Beispielen auch bei der ersten Variante Bilddaten enthalten.
-
Im Falle der zweiten Variante, bei der die Steuervorrichtung 12 nicht in der Lage ist, den Bedeutungsinhalt des Verkehrszeichens 11 basierend auf den Sensordaten S zu erkennen, weist die Verkehrszeicheninformation V die Position P1 des Verkehrszeichens 11 und Bilddaten auf, in welchen das Verkehrszeichen 11 zumindest teilweise erfasst ist. In diesem Fall sendet die Steuervorrichtung 12 in S3 eine Anfrage an die cloudbasierte Servervorrichtung 14, einen Bedeutungsinhalt des Verkehrszeichens 11 basierend auf den gesendeten Bilddaten zu ermitteln und die Kartendaten K basierend auf der Verkehrszeicheninformation V und dem von der cloudbasierten Servervorrichtung 12 ermittelten Bedeutungsinhalt zu aktualisieren.
-
In einem vierten Schritt S4 des Verfahrens aktualisiert die cloudbasierte Servervorrichtung 14 die Kartendaten K in Bezug auf das Verkehrszeichen 11 basierend auf der gesendeten Verkehrszeicheninformation V.
-
In einem optionalen fünften Schritt S5 des Verfahrens kann bei Variante 2, bei der die Verkehrszeicheninformation V Bilddaten aufweist, in denen das Verkehrszeichen 11 zumindest teilweise erfasst ist, die Verkehrszeicheninformation V und der von der cloudbasierten Servervorrichtung 14 ermittelte Bedeutungsinhalt zusätzlich für das Ermitteln einer Instandhaltungsinformation in Bezug auf das Fahrzeug 1 und/oder in Bezug auf das Verkehrszeichen 11 verwendet werden.
-
Beispielsweise kann in Schritt S5 die Verkehrszeicheninformation V einschließlich der Bilddaten und der zugehörige von der cloudbasierten Servervorrichtung 14 ermittelte Bedeutungsinhalt des Verkehrszeichens 11 gespeichert werden.
-
Beispielsweise sendet die cloudbasierte Servervorrichtung 14 in S5 eine Ergebnisinformation E in Bezug auf den ermittelten Bedeutungsinhalt des Verkehrszeichens 11 an die Steuervorrichtung 12 des Fahrzeugs 1. Dann kann das Speichern in S5 zum Beispiel auf einer Speichereinrichtung der Steuervorrichtung 12 erfolgen.
-
Weiterhin kann in S5 beispielsweise eine Instandhaltungsinformation in Bezug auf das Fahrzeug 1 (z. B. Reparatur, Reinigung oder Ersatz der Sensoreinrichtung 2 und/oder einer oder mehrerer der Sensoreinheiten 3) und/oder in Bezug auf das Verkehrszeichen 11 (z. B. Reparatur, Reinigung oder Ersatz des Verkehrszeichens 11) ermittelt werden. Die Instandhaltungsinformation kann z. B. von der Steuervorrichtung 12 des Fahrzeugs 1 basierend auf der Verkehrszeicheninformation V einschließlich der Bilddaten und der von der cloudbasierten Servervorrichtung 14 ermittelten Ergebnisinformation E ermittelt werden. Alternativ kann die Instandhaltungsinformation auch von einer externen Einheit durch Auslesen der entsprechenden in der Steuervorrichtung 12 des Fahrzeugs 1 (z. B. in dem Speicher der Steuervorrichtung 12) gespeicherten Information ermittelt werden. In einer weiteren Alternative kann die Instandhaltungsinformation auch von der cloudbasierten Servervorrichtung 14 ermittelt und/oder gespeichert werden.
-
In 7 sind funktionelle Komponenten der Steuervorrichtung 12 des Fahrzeugs 1 veranschaulicht.
-
Die Steuervorrichtung 12 weist eine Empfangseinrichtung 18 zum Empfangen von Sensordaten S von der Sensoreinrichtung 2 (2) des Fahrzeugs 1 auf. Die Steuervorrichtung 12 weist außerdem eine Ermittlungseinrichtung 19 auf. Die Ermittlungseinrichtung 19 ist dazu eingerichtet, eine Abweichung A zwischen dem in den Sensordaten S erfassten Verkehrszeichen 11 und einem Dateneintrag bezüglich des Verkehrszeichens 11 in den Kartendaten K der cloudbasierten Servervorrichtung 14 zu ermitteln. Die Ermittlungseinrichtung 19 umfasst z. B. einen Bildprozessor 13 der Kamera 4 zum Analysieren von Bilddaten.
-
Weiterhin umfasst die Steuervorrichtung 12 eine Sendeeinrichtung 20 zum Senden der Verkehrszeicheninformation V in Bezug auf das Verkehrszeichen 11 an die cloudbasierte Servervorrichtung 14. Die Sendeeinrichtung 20 dient zudem dazu, die cloudbasierte Servervorrichtung 14 anzufragen, die Kartendaten K zu aktualisieren.
-
Die Steuervorrichtung 12 kann eine weitere Empfangseinrichtung 21 auf zum Empfangen der von der cloudbasierten Servervorrichtung 14 ermittelten Ergebnisinformation E in Bezug auf die Bedeutung des Verkehrszeichens 11 aufweisen (Variante 2).
-
Ferner weist die Steuervorrichtung 12 eine Fahrerassistenz- und/oder automatisierte Fahreinrichtung 22 auf. Die Fahrerassistenz- und/oder automatisierte Fahreinrichtung 22 führt basierend auf der von der Steuervorrichtung 12 des Fahrzeugs 1 und/oder basierend auf der von der cloudbasierten Servervorrichtung ermittelten Ergebnisinformation E eine Fahrerassistenzfunktion und/oder eine (teil-) autonome Fahrfunktion aus.
-
Obwohl in 7 nicht gezeigt, kann die Steuervorrichtung 12 auch eine weitere Ermittlungseinrichtung zum Ermitteln der vorstehend beschriebenen Instandhaltungsinformation aufweisen.
-
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
-
BEZUGSZEICHENLISTE
-
- 1
- Fahrzeug
- 2
- Sensoreinrichtung
- 3
- Sensoreinheit
- 4
- Kamera
- 5
- Windschutzscheibe
- 6
- Straße
- 7
- Fahrbahn
- 8
- Sichtstrahl
- 9
- Straßenrand
- 10
- Verkehrsschild
- 11
- Verkehrszeichen
- 12
- Steuervorrichtung
- 13
- Bildprozessor
- 14
- cloudbasierte Servervorrichtung
- 15
- Datenübertragung
- 16
- Verkehrsschild
- 17
- Verkehrszeichen
- 18
- Empfangseinrichtung
- 19
- Ermittlungseinrichtung
- 20
- Sendeeinrichtung
- 21
- Empfangseinrichtung
- 22
- Fahrerassistenz- und/oder automatisierte Fahreinrichtung
- A, A'
- Abweichung
- Ax, Ay
- Abweichung
- E
- Ergebnisinformation
- K
- Kartendaten
- P1
- Position
- P2
- Position
- S
- Sensordaten
- S1-S5
- Verfahrensschritte
- U
- Umgebung
- V
- Verkehrszeicheninformation
- x
- Ortskoordinate
- x1, x2
- Ortskoordinate
- y
- Ortskoordinate
- y1, y2
- Ortskoordinate
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
