DE102018112233A1

DE102018112233A1 - Bereitstellung eines verkehrsspiegelinhalts für einen fahrer

Info

Publication number: DE102018112233A1
Application number: DE102018112233.0A
Authority: DE
Inventors: Nobuyuki Tomatsu; Siyuan Dai; Yusuke Kashiba; Shinichi Shiraishi
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-05-23
Filing date: 2018-05-22
Publication date: 2018-11-29
Anticipated expiration: 2038-05-23
Also published as: DE102018112233B4; US10366473B2; US20180342046A1; JP6798526B2; JP2018198055A

Abstract

Die Offenbarung beinhaltet Ausführungsbeispiele zum Unterstützen eines Fahrers eines Fahrzeugs beim Sehen von Verkehrsspiegelinhalt. Ein Verfahren gemäß einigen Ausführungsbeispielen enthält ein Abrufen von globalen Positionierungssystem-(GPS-)Daten, die einen aktuellen Ort eines Fahrzeugs beschreiben. Das Verfahren enthält ein Erzeugen von Spiegeldaten beruhend auf den GPS-Daten, wobei die Spiegeldaten einen festen Ort eines in einer Fahrbahnumgebung enthaltenen Verkehrsspiegels identifizieren. Das Verfahren enthält ein Anweisen eines mit dem Fahrzeug assoziierten externen Sensors beruhend auf den Spiegeldaten zur Aufnahme aufgenommener Bilddaten, die ein Bild des Verkehrsspiegels beschreiben. Das Verfahren enthält ein Erzeugen verarbeiteter Bilddaten, die eine optisch umgekehrte Version des Bildes beschreiben. Das Verfahren enthält ein Anweisen einer Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes.

Description

HINTERGRUND
Die Spezifikation bezieht sich auf ein Fahrerassistenzsystem zur Bereitstellung von Verkehrsspiegelinhalt für einen Fahrer eines Fahrzeugs.
Verkehrsspiegel sind für Fahrer unsicher und schwer zu sehen und zu verstehen. Verkehrsspiegel sind beispielsweise deshalb unsicher, weil Fahrer von der Straße, auf der sie fahren, wegschauen und den Horizont mit ihren Augen zum Lokalisieren und Sehen der Verkehrsspiegel abtasten müssen, was die Betrachtung von Verkehrsspiegeln unsicher macht. Verkehrsspiegel sind schwer zu sehen, weil das durch den Verkehrsspiegel reflektierte Bild selbst klein ist, was das Sehen des Bildes schwierig macht. Verkehrsspiegel sind schwer zu verstehen, weil die Objekte in dem Bild optisch umgekehrt bzw. seitenverkehrt sind.
KURZZUSAMMENFASSUNG
Vorhandene Lösungen für das Problem der Verwendung von Verkehrsspiegeln konzentrieren sich auf das Ersetzen von innerhalb einer Fahrbahnumgebung installierten Verkehrsspiegeln durch hochauflösende Kameras, die spezielle Sensoren und Kommunikationsfähigkeiten beinhalten, die sie zur Kommunikation mit Fahrzeugen befähigen (hier „Verkehrskameras“). Diese Verkehrskameras kommunizieren dann mit Fahrzeugen unter Verwendung von Fahrzeug-zu-Infrastruktur-(„vehicle to infrastructure“, V2I)Verfahren zum Streamen von durch die Kameras aufgenommenen Bildern zu den Fahrzeugen. Die Fahrer dieser Fahrzeuge können die durch diese Verkehrskameras aufgenommenen Bilder dann auf einer elektronischen Anzeige ihres Fahrzeugs sehen.
Die vorhandenen Lösungen sind problematisch, da sie sehr teuer sind und ihre Implementierung komplex ist. Zuerst müssen tausende von Verkehrsspiegeln entfernt und weggeworfen werden. Dieser Prozess ist teuer und unwirtschaftlich, da die Verkehrsspiegel für ihren gedachten Zweck gut arbeiten. Zweitens müssen tausende hochauflösende Kameras mit V2I-Kommunikationsfähigkeiten teuer eingekauft werden. Drittens ist der Prozess der Installation der hochauflösenden Kameras teuer und zeitaufwändig. Viertens sind die neu installierten Kameras eine ständige Quelle zusätzlicher Ausgaben, da sie Elektrizität und eine ständige Wartung durch Elektriker mit Fachkenntnissen erfordern, deren Anstellung teurer als die regulärer Straßenarbeiter ist. Dagegen erfordern Verkehrsspiegel keine Elektrizität und ihre Wartung ist auf eine regelmäßige Reinigung beschränkt, die durch nicht speziell ausgebildete Straßenarbeiter durchgeführt werden kann, deren Anstellung nicht teuer ist. Da die neu installierten Verkehrskameras ein bestimmtes Kommunikationsprotokoll anwenden, muss fünftens die landesweite Technologie dahingehend aktualisiert werden, dass sie Kommunikationsmodule aufweist, die sie zum Kommunizieren mit den Verkehrskameras unter Verwendung des bestimmten Kommunikationsprotokolls befähigt.
Hier ist ein Fahrerassistenzsystem zur Bereitstellung von Verkehrsspiegelinhalt für einen Fahrer eines Fahrzeugs beschrieben. Das Fahrerassistenzsystem ist von Vorteil, da es sich dabei um Software handeln kann, die in einem fahrzeugeigenen Computer eines Fahrzeugs installiert ist, die keine Installation neuer Hardware in dem Fahrzeug erfordert.
Das Fahrerassistenzsystem hilft Fahrern, dass sie die Bilder sicher sehen und verstehen können, die durch Verkehrsspiegel wiedergegeben werden. Auf diese Weise hilft das Fahrerassistenzsystem Fahrern, zu wissen, wann das Links- oder Rechtsabbiegen sicher ist, da sie ein besseres Verständnis von Bereichen der Fahrbahn bekommen, die sie mit bloßem Auge nicht sehen können.
Das Fahrerassistenzsystem kann Daten eines globalen Positionierungssystems (nachstehend „GPS“) abrufen, die einen aktuellen Ort des Fahrzeugs beschreiben. Die GPS-Daten können von einer GPS-Einheit empfangen werden, die mit einer dedizierten Kommunikation kurzer Reichweite („dedicated short range communication“, DSRC) konform ist, und die auf plus oder minus drei Meter genau ist. Das Fahrerassistenzsystem kann Spiegeldaten beruhend auf den GPS-Daten erzeugen. Kartendaten können beispielsweise den Ort von Verkehrsspiegeln für einen geographischen Bereich beschreiben. Das Fahrerassistenzsystem kann die GPS-Daten zum Identifizieren des entsprechenden Orts des Verkehrsspiegels in der Nähe des Fahrzeugs aus den Kartendaten identifizieren.
Das Fahrerassistenzsystem kann eine mit dem Fahrzeug assoziierte externe Kamera beruhend auf den Spiegeldaten zur Aufnahme von Bilddaten anweisen, die ein Bild des Verkehrsspiegels beschreiben. Das Fahrerassistenzsystem kann die externe Kamera beispielsweise zur Anpassung entsprechend dem Ort des Verkehrsspiegels zur Aufnahme eines Bildes anweisen, das den Verkehrsspiegel enthält.
Das Fahrerassistenzsystem erzeugt verarbeitete Bilddaten, die eine optisch umgekehrte bzw. seitenverkehrte Version des Bildes beschreiben. Die verarbeiteten Bilddaten können auch eine vergrößerte Version der optisch umgekehrten Version des Bildes und/oder eine nicht verzerrte Version der optisch umgekehrten Version des Bildes beschreiben.
Das Fahrerassistenzsystem kann eine Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes anweisen. Die Anzeigeeinrichtung kann eine erweiterte Realitätskorbbrille (hier „AR-Korbbrille“) enthalten, und das Anweisen der AR-Korbbrille zur Anzeige der optisch umgekehrten Version des Bildes kann ein Bereitstellen der verarbeiteten Bilddaten zu der AR-Korbbrille, Empfangen von eine Position eines Kopfs eines Fahrers des Fahrzeugs beschreibenden Kopfpositionsdaten, Erzeugen einer graphischen Überlagerung und Anweisen der AR-Korbbrille zur Anzeige der graphischen Überlagerung enthalten. Die Anzeigeeinrichtung kann auch eine dreidimensionale Blickfeldanzeige (hier „3D-HUD“) oder eine elektronische Vollfarbenanzeige enthalten, wie eine mit einem Infotainmentsystem verbundene Anzeige.
Das hier beschriebene Fahrerassistenzsystem kann eine Vielzahl von Vorteilen zur Verbesserung der Funktionalität eines Fahrzeugs und der Sicherheit eines Fahrers bieten. Erstens vermeidet das Fahrerassistenzsystem das Erfordernis zum Entfernen von Verkehrsspiegeln und Ersetzen dieser durch teure Kameras, die eine Wartung von Fachpersonal erfordern. Zweitens kann das Fahrerassistenzsystem die aktuelle Fahrzeughardware verwenden und erfordert keine zusätzliche Hardware, um zu arbeiten. Drittens bietet das Fahrerassistenzsystem dem Fahrer ein sichereres Erlebnis, da das Fahrerassistenzsystem verarbeitete Bilddaten anzeigt, die eine optisch umgekehrte Version von Objekten von einem Verkehrsspiegel enthalten. Viertens bietet das Fahrerassistenzsystem eine angenehmere Erfahrung für den Fahrer, da der Fahrer den Verkehrsspiegelinhalt auf einer Anzeigeeinrichtung sehen kann, anstelle von der Straße wegzuschauen und festzustellen, was in einem Verkehrsspiegel angezeigt wird.
Ein System eines oder mehrerer Computer kann zur Durchführung bestimmter Operationen oder Aktionen mittels Installation von Software, Firmware, Hardware oder einer Kombination aus diesen im System eingerichtet sein, der oder die das System im Betrieb zur Durchführung der Aktionen veranlasst bzw. veranlassen. Ein Computerprogramm oder mehrere Computerprogramme können zur Durchführung bestimmter Operationen oder Aktionen mittels eines Enthaltens von Anweisungen konfiguriert sein, die bei Ausführung durch eine Datenverarbeitungsvorrichtung die Vorrichtung zur Durchführung der Aktionen veranlassen.
Eine allgemeine Ausgestaltung beinhaltet ein Verfahren mit einem Abrufen von GPS-Daten, die einen aktuellen Ort eines Fahrzeugs beschreiben, Erzeugen von Spiegeldaten beruhend auf den GPS-Daten, wobei die Spiegeldaten einen festen Ort eines Verkehrsspiegels identifizieren, der in einer Fahrbahnumgebung enthalten ist, Anweisen eines mit dem Fahrzeug assoziierten externen Sensors beruhend auf den Spiegeldaten zur Aufnahme aufgenommener Bilddaten, die ein Bild des Verkehrsspiegels beschreiben, Erzeugen verarbeiteter Bilddaten, die eine optisch umgekehrte Version des Bildes beschreiben und Anweisen einer Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes.
Implementierungen können eines oder mehrere der folgenden Merkmale enthalten. Das Verfahren, bei dem die Anzeigeeinrichtung eine erweiterte Realitätskorbbrille umfasst und das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes ein Bereitstellen der verarbeiteten Bilddaten für die erweiterte Realitätskorbbrille, Empfangen von eine Position eines Kopfs eines Fahrers des Fahrzeugs beschreibenden Kopfpositionsdaten, im Ansprechen auf ein Bestimmen beruhend auf den Kopfpositionsdaten, eine die optisch umgekehrte Version des Bildes zeigende graphische Überlagerung anzuzeigen, Erzeugen der graphischen Überlagerung, Anweisen der erweiterten Realitätskorbbrille zur Anzeige der graphischen Überlagerung und Anweisen der erweiterten Realitätskorbbrille zur periodischen Anzeige einer Aktualisierung für die graphische Überlagerung enthält. Das Verfahren, bei dem im Ansprechen auf das Bestimmen zur Anzeige der graphischen Überlagerung ferner auf einer Bestimmung beruht, dass der Fahrer zu dem festen Ort in der echten Welt schaut, wo sich der Verkehrsspiegel befinden würde. Das Verfahren, bei dem das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes im Ansprechen auf eine Bestimmung beruhend auf analysierten Fahrzeugdaten geschieht, dass das Fahrzeug stationär ist. Das Verfahren umfasst ferner ein Bestimmen einer Absicht eines Fahrers des Fahrzeugs zum Abbiegen in eine bestimmte Richtung, Schätzen, ob das Abbiegen in die bestimmte Richtung für den Fahrer sicher ist, wobei das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes ein Anweisen der Anzeigeeinrichtung zur Bereitstellung einer Empfehlung darüber enthält, ob es für den Fahrer sicher ist, in die bestimmte Richtung abzubiegen. Das Verfahren, bei dem die Anzeigeeinrichtung eine 3D-HUD umfasst und das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes ein Anzeigen der optisch umgekehrten Version des Bildes auf der 3D-HUD enthält. Das Verfahren, bei dem die verarbeiteten Bilddaten ferner eine vergrößerte Version der optisch umgekehrten Version des Bildes und eine nicht verzerrte Version der optisch umgekehrten Version des Bildes beschreiben. Das Verfahren, bei dem das Anweisen des externen Sensors zur Aufnahme des Bildes des Verkehrsspiegels beruhend auf den Spiegeldaten ferner enthält: Empfangen aufgenommener Bilddaten von der externen Kamera, Vergleichen der aufgenommenen Bilddaten mit Objekt-A-priori-Wahrscheinlichkeiten („object priors“), und Identifizieren des Verkehrsspiegels beruhend auf einem Vergleich der aufgenommenen Bilddaten mit Objekt-A-priori-Wahrscheinlichkeiten. Das Verfahren, bei dem die Anzeigeeinrichtung eine elektronische Vollfarbenanzeige umfasst. Das Verfahren, bei dem die GPS-Daten von einer DSRC-konformen GPS-Einheit empfangen werden, die Teil des Fahrzeugs ist. Das Verfahren, bei dem das Erzeugen der Spiegeldaten beruhend auf den GPS-Daten enthält: Empfangen von Kartendaten, die entsprechende Orte für einen Satz von Verkehrsspiegeln an einem geographischen Ort beschreiben, und Identifizieren des festen Orts des Verkehrsspiegels durch Vergleichen des aktuellen Orts des Fahrzeugs mit den Kartendaten.
Eine allgemeine Ausgestaltung beinhaltet ein System mit einem fahrzeugeigenen Computersystem mit einem nichtflüchtigen Speicher, der Computercodes speichert, der bei Ausführung durch das fahrzeugeigene Computersystem das fahrzeugeigene Computersystem veranlasst zum: Abrufen von GPS-Daten, die einen aktuellen Ort eines Fahrzeugs beschreiben, Erzeugen von Spiegeldaten beruhend auf den GPS-Daten, wobei die Spiegeldaten einen festen Ort eines Verkehrsspiegels identifizieren, der in einer Fahrbahnumgebung enthalten ist, Anweisen eines mit dem Fahrzeug assoziierten externen Sensors beruhend auf den Spiegeldaten zur Aufnahme aufgenommener Bilddaten, die ein Bild des Verkehrsspiegels beschreiben, Erzeugen verarbeiteter Bilddaten, die eine optisch umgekehrte Version des Bildes beschreiben, und Anweisen einer Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes durch Bereitstellen der verarbeiteten Bilddaten für die Anzeigeeinrichtung. Das System kann auch die mit dem fahrzeugeigenen Computersystem verbundene Anzeigeeinrichtung enthalten, die zum Empfangen der verarbeiteten Bilddaten und zur Anzeige der optisch umgekehrten Version des Bildes betreibbar ist.
Implementierungen können eines oder mehrere der folgenden Merkmale enthalten. Die Anzeigeeinrichtung umfasst eine erweiterte Realitätskorbbrille und das fahrzeugeigene Computersystem enthält einen zusätzlichen Code, der bei Ausführung durch das fahrzeugeigene Computersystem das fahrzeugeigene Computersystem veranlasst zum Bereitstellen der verarbeiteten Bilddaten für die erweiterte Realitätskorbbrille, Empfangen von eine Position eines Kopfs eines Fahrers des Fahrzeugs beschreibenden Kopfpositionsdaten, im Ansprechen auf ein Bestimmen beruhend auf den Kopfpositionsdaten, eine die optisch umgekehrte Version des Bildes darstellende graphische Überlagerung anzuzeigen, Erzeugen der graphischen Überlagerung, Anweisen der erweiterten Realitätskorbbrille zur Anzeige der graphischen Überlagerung und Anweisen der erweiterten Realitätskorbbrille zum periodischen Anzeigen einer Aktualisierung für die graphische Überlagerung. Das System, bei dem das Ansprechen auf das Bestimmen zur Anzeige der graphischen Überlagerung ferner auf einer Bestimmung beruht, dass der Fahrer an den festen Ort in der realen Welt schaut, wo sich der Verkehrsspiegel befinden würde.
Eine allgemeine Ausgestaltung beinhaltet ein Computerprogrammprodukt mit einem nichtflüchtigen Speicher eines fahrzeugeigenen Computersystems eines Fahrzeugs, das den computerausführbaren Code speichert, der bei Ausführung durch das fahrzeugeigene Computersystem das fahrzeugeigene Computersystem veranlasst zum Abrufen von GPS-Daten, die einen aktuellen Ort eines Fahrzeugs beschreiben, Erzeugen von Spiegeldaten beruhend auf den GPS-Daten, wobei die Spiegeldaten einen festen Ort eines in einer Fahrbahnumgebung enthaltenen Verkehrsspiegels identifizieren, Anweisen eines mit dem Fahrzeug verbundenen externen Sensors beruhend auf den Spiegeldaten zur Aufnahme aufgenommener Bilddaten, die ein Bild des Verkehrsspiegels beschreiben, Erzeugen verarbeiteter Bilddaten, die eine optisch umgekehrte Version des Bildes beschreiben, und Anweisen einer Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes.
Implementierungen können eines oder mehrere der folgenden Merkmale enthalten. Das Computerprogrammprodukt beinhaltet, dass die Anzeigeeinrichtung eine erweiterte Realitätskorbbrille umfasst, und dass der computerausführbare Code das fahrzeugeigene Computersystem veranlasst zum Bereitstellen der verarbeiteten Bilddaten für die erweiterte Realitätskorbbrille, Empfangen von eine Position des Kopfs eines Fahrers eines Fahrzeugs beschreibenden Kopfpositionsdaten, im Ansprechen auf ein Bestimmen beruhend auf den Kopfpositionsdaten, dass eine die optisch umgekehrte Version des Bildes darstellende graphische Überlagerung anzuzeigen ist, Erzeugen der graphischen Überlagerung, Anweisen der erweiterten Realitätskorbbrille zur Anzeige der graphischen Überlagerung und Anweisen der erweiterten Realitätskorbbrille zur periodischen Anzeige einer Aktualisierung für die graphische Überlagerung. Das Computerprogrammprodukt enthält, dass im Ansprechen auf ein Bestimmen zur Anzeige der graphischen Überlagerung ferner auf einer Bestimmung beruht, dass der Fahrer an den festen Ort in der echten Welt schaut, wo sich der Verkehrsspiegel befinden würde. Das Computerprogrammprodukt enthält ferner, dass das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes im Ansprechen auf ein Bestimmen beruhend auf einem Analysieren von Fahrzeugdaten geschieht, dass das Fahrzeug stationär ist. Das Computerprogramm enthält ferner, dass der computerausführbare Code das fahrzeugeigene Computersystem veranlasst zum Bestimmen einer Absicht eines Fahrers des Fahrzeugs zum Abbiegen in eine bestimmte Richtung, Schätzen, ob es für den Fahrer sicher ist, in die bestimmte Richtung abzubiegen, wobei das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes ein Anweisen der Anzeigeeinrichtung zur Bereitstellung einer Empfehlung darüber enthält, ob es für den Fahrer sicher ist, in die bestimmte Richtung abzubiegen. Das Computerprogramm beinhaltet ferner, dass die Anzeigeeinrichtung eine 3D-HUD umfasst, und das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes ein Anzeigen der optisch umgekehrten Version des Bildes auf der 3D-HUD enthält.
Implementierungen der beschriebenen Technik können Hardware, ein Verfahren oder einen Prozess oder Computersoftware auf einem computerzugänglichen Medium umfassen.
Figurenliste
Die Offenbarung ist in den Figuren der beiliegenden Zeichnungen beispielhaft und nicht einschränkend veranschaulicht, in denen gleiche Bezugszeichen zur Bezeichnung ähnlicher Elemente verwendet werden.

1 zeigt ein Blockschaltbild einer Betriebsumgebung für ein Fahrerassistenzsystem eines Fahrzeugs gemäß einigen Ausführungsbeispielen.
2 zeigt ein Blockschaltbild eines das Fahrerassistenzsystem des Fahrzeugs enthaltenden Beispielcomputersystems gemäß einigen Ausführungsbeispielen.
3A zeigt ein Blockschaltbild, das veranschaulicht, wie ein Verkehrsspiegel Informationen über Objekte in einer Fahrbahnumgebung gemäß einigen Ausführungsbeispielen bereitstellt.
3B zeigt ein Blockschaltbild, das veranschaulicht, wie Verkehrsspiegel Informationen über Objekte in einer Fahrbahnumgebung gemäß einigen Ausführungsbeispielen bereitstellen.
4A zeigt eine Beispielsicht einer Straße mit Verkehrsspiegeln in einer Fahrbahnumgebung, die Objekte enthalten.
4B zeigt eine Beispielsicht des Verkehrsspiegelinhalts von 4A, nachdem das Fahrerassistenzsystem ein Bild des Verkehrsspiegels gemäß einigen Ausführungsbeispielen verarbeitet hat.
5A zeigt eine Beispielsicht einer Straße mit Verkehrsspiegeln in einer Fahrbahnumgebung, die Objekte enthalten.
5B zeigt eine Beispielsicht einer graphischen Beispielüberlagerung, die eine optisch umgekehrte Version des Bildes beruhend auf dem Verkehrsspiegelinhalt von 5A enthält.
6 zeigt ein Blockschaltbild einer 3D-HUD gemäß einigen Ausführungsbeispielen.
7 zeigt ein Beispielablaufdiagramm eines Verfahrens zur Erzeugung von Verkehrsspiegelinhalt für einen Fahrer eines Fahrzeugs gemäß einigen Ausführungsbeispielen.
8 zeigt ein Beispielablaufdiagramm eines Verfahrens zum Anweisen einer erweiterten Realitätskorbbrille zur Anzeige einer optisch umgekehrten Version eines Bildes gemäß einigen Ausführungsbeispielen.

AUSFÜHRLICHE BESCHREIBUNG
Nachstehend werden Ausführungsbeispiele eines in einem Fahrzeug enthaltenen Fahrerassistenzsystems beschrieben.
Beispielbetriebsumgebung
In 1 ist eine Betriebsumgebung 100 für ein Fahrerassistenzsystem 199 eines Fahrzeugs 123 gemäß einigen Ausführungsbeispielen beschrieben. Die Betriebsumgebung 100 kann das Fahrzeug 123 oder mehrere Fahrzeuge 123 und einen Server 107 enthalten. Diese Elemente können miteinander über ein Netzwerk 105 zum Kommunizieren verbunden sein. Obwohl in 1 lediglich ein Fahrzeug 123, ein Server 107 und ein Netzwerk 105 gezeigt sind, kann die Betriebsumgebung 100 in der Praxis ein oder mehrere Fahrzeuge 123, einen oder mehrere Server 107 und ein oder mehrere Netzwerke 105 umfassen.
Das Netzwerk 105 kann vom herkömmlichen Typ, drahtgebunden oder drahtlos sein, und kann eine Vielzahl verschiedener Konfigurationen aufweisen, einschließlich einer Sternkonfiguration, Token Ring-Konfiguration oder anderer Konfigurationen. Das Netzwerk 105 kann ferner ein lokales Netzwerk (LAN), ein Weitverkehrsnetz (WAN) (beispielsweise das Internet) oder andere untereinander verbundene Datenwege enthalten, über die eine Vielzahl von Einrichtungen und/oder Größen kommunizieren können. Bei einigen Ausführungsbeispielen kann das Netzwerk 105 ein Peer-to-Peer-Netzwerk enthalten. Das Netzwerk 105 kann auch mit Teilen eines Telekommunikationsnetzwerks verbunden sein oder diese enthalten, um Daten in einer Vielzahl verschiedener Kommunikationsprotokolle zu senden. In einigen Ausführungsbeispielen enthält das Netzwerk 105 Bluetooth®-Kommunikationsnetzwerke oder zellbasierte Kommunikationsnetzwerke zum Senden und Empfangen von Daten über einen Kurznachrichtendienst (SMS), Multimedianachrichtendienst (MMS), Hypertexttransferprotokoll (HTTP), eine direkte Datenverbindung, ein Protokoll für schnurlose Anwendungen (WAP), Email, DSRC, drahtlose Full-Duplexkommunikation, usw.. Das Netzwerk 105 kann auch ein mobiles Datennetzwerk umfassen, das 3G, 4G, LTE, LTE-V2X, VoLTE enthalten kann, oder ein anderes mobiles Datennetzwerk oder eine Kombination mobiler Datennetzwerke enthalten. Das Netzwerk 105 kann ein oder mehrere IEEE 802.11 Drahtlosnetzwerke umfassen.
In einigen Ausführungsbeispielen ist das Fahrzeug 123 ein mit DSRC ausgerüstetes Fahrzeug. Das Netzwerk 105 kann einen oder mehrere zwischen dem Fahrzeug 123 und dem Server 107 gemeinsam genutzte Kommunikationskanäle enthalten. Der Kommunikationskanal kann DSRC, LTE-Fahrzeug-zu-Allem (V2X), eine Vollduplexdrahtloskommunikation oder ein anderes drahtloses Kommunikationsprotokoll enthalten. Das Netzwerk 105 kann beispielsweise zum Senden einer DSRC-Nachricht, DSRC-Probe, Basissicherheitsnachricht („basic safety message“, BSM) oder einer Voll-Duplex-Nachricht mit beliebigen hier beschriebenen Daten verwendet werden.
Das Fahrzeug 123 umfasst jeden beliebigen Typ. Das Fahrzeug 123 ist beispielsweise einer der folgenden Fahrzeugtypen: ein Auto, ein Lastwagen, ein Geländewagen, ein Bus, ein Sattelschlepper, eine Drohne oder ein anderes straßenbasiertes Transportmittel.
In einigen Ausführungsbeispielen ist das Fahrzeug 123 ein autonomes Fahrzeug oder halbautonomes Fahrzeug. Das Fahrzeug 123 kann beispielsweise ein erweitertes Fahrerassistenzsystem („Advanced Driver Assistance System“, ADAS) enthalten. Das ADAS-System kann zur Bereitstellung einiger oder der gesamten Funktionalität betreibbar sein, die eine autonome Funktionalität bereitstellt.
In einigen Ausführungsbeispielen enthält das Fahrzeug 123 eines oder mehrere der folgenden Elemente: einen Prozessor 125A, einen Speicher 127A, eine Kommunikationseinheit 145A, eine DSRC-konforme GPS-Einheit 150, externe Sensoren 155, interne Sensoren 159, eine Anzeigeeinrichtung 198 und ein Fahrerassistenzsystem 199. Diese Elemente des Fahrzeugs 123 sind miteinander über einen Bus 120A zur Kommunikation verbunden.
Der Server 107 ist eine prozessorbasierte Recheneinrichtung. Der Server 107 kann beispielsweise einen oder mehrere der folgenden Typen prozessorbasierter Recheneinrichtungen enthalten: einen Personalcomputer, einen Laptop, einen Mainframe oder eine andere prozessorbasierte Recheneinrichtung, die zum Arbeiten als Server betreibbar ist. Der Server 107 kann einen Hardwareserver enthalten.
Bei einigen Ausführungsbeispielen enthält der Server 107 eines oder mehrere der folgenden Elemente: einen Prozessor 125B, einen Speicher 127B, eine Kommunikationseinheit 145B und ein Fahrerassistenzsystem 199. Diese Elemente des Servers 107 sind miteinander über einen Bus 120B zur Kommunikation verbunden.
Der Prozessor 125A des Fahrzeugs 123 und der Prozessor 125B des Servers 107 können hier insgesamt oder einzeln als „Prozessor 125“ bezeichnet sein, da der Prozessor 125A des Fahrzeugs 123 beispielsweise eine ähnliche Funktionalität für die Komponenten des Fahrzeugs 123 wie der Prozessor 125B des Servers 107 bereitstellt. Aus ähnlichen Gründen werden in der Beschreibung hier die folgenden Ausdrücke bei der Bezugnahme auf Elemente verwendet, die dem Fahrzeug 123 und dem Server 107 gemein sind: der „Speicher 127“ bei der Bezugnahme auf den Speicher 127A und den Speicher 127B insgesamt oder einzeln, und die „Kommunikationseinheit 145“ bei der Bezugnahme auf die Kommunikationseinheit 145A und die Kommunikationseinheit 145B insgesamt oder einzeln.
Nun werden das Fahrzeug 123 und der Server 107 beschrieben.
Fahrzeug 123
In einigen Ausführungsbeispielen können der Prozessor 125 und der Speicher 127 Elemente eines fahrzeugeigenen Computersystems (wie des nachstehend unter Bezugnahme auf 2 beschriebenen Computersystems 200) sein. Das fahrzeugeigene Computersystem kann zur Veranlassung oder Steuerung des Betriebs des Fahrerassistenzsystems 199 betreibbar sein. Das fahrzeugeigene Computersystem kann zum Zugreifen und Ausführen der auf dem Speicher 127 zur Bereitstellung der hier beschriebenen Funktionalität für das Fahrerassistenzsystem 199 oder seiner Elemente betreibbar sein (vgl. beispielsweise 2). Das fahrzeugeigene Computersystem kann zur Ausführung des Fahrerassistenzsystems 199 betreibbar sein, das das fahrzeugeigene Computersystem zur Ausführung eines oder mehrerer der Schritte des Verfahrens 700 veranlasst, das nachstehend unter Bezugnahme auf 7 beschrieben wird.
Die DSRC-konforme GPS-Einheit 150 kann zur Aufzeichnung von GPS-Daten 183 betreibbar sein, die einen oder mehrere Orte des Fahrzeugs 123 zu einer oder mehreren verschiedenen Zeiten beschreiben. Die GPS-Daten 183 können mit einem Zeitstempel versehen sein, um die Zeit anzugeben, wann das Fahrzeug 123 an diesem bestimmten Ort war. Die GPS-Daten 183 können beispielsweise den Ort des Fahrzeugs 123 mit der Genauigkeit einer Spur beschreiben, wodurch genauere Spiegeldaten 188 erzeugt werden. Die GPS-Daten 183 werden im Speicher 127 gespeichert. Die DSRC-konforme GPS-Einheit 150 enthält Hardware, um GPS mit DSRC konform zu machen, wie eine DSRC-Antenne.
Die externen Sensoren 155 können einen oder mehrere Sensoren enthalten, die zur Beschreibung der physikalischen Umgebung außerhalb des Fahrzeugs 123 betreibbar sind. Die externen Sensoren 155 können eine oder mehrere physikalische Eigenschaften der physikalischen Umgebung in der Nachbarschaft des Fahrzeugs 123 aufzeichnen. Die externen Sensoren 155 können beispielsweise aufgenommene Bilddaten 184 aufnehmen, die ein Bild eines Verkehrsspiegels beschreiben. Die externen Sensoren 155 können auch ein Bild des Verkehrsspiegels mit besonderem Fokus auf das durch den Verkehrsspiegel wiedergegebene Bild aufnehmen. Die aufgenommenen Bilddaten 184 können Rohbilder, JPEG-Bilder, PNG-Bilder, usw. enthalten. Die externen Sensoren 155 können die aufgenommenen Bilddaten 184 im Speicher 127 speichern.
In einigen Ausführungsbeispielen können die externen Sensoren 155 einen oder mehrere der folgenden Fahrzeugsensoren enthalten: eine Kamera, einen LIDAR-Sensor, einen Radarsensor, einen Laserhöhenmesser, eine Infraroterfassungseinrichtung, eine Bewegungserfassungseinrichtung, einen Temperaturregler, eine Geräuscherfassungseinrichtung, einen Kohlenmonoxidsensor, einen Kohlendioxidsensor, einen Sauerstoffsensor, einen Luftmassendurchsatzsensor, einen Antriebssystem-Kühlflüssigkeitstemperatursensor, einen Drosselpositionssensor, einen Kurbelwellenpositionssensor, einen Automobilantriebssystemsensor, einen Ventilzeitgeber, einen Luft-Kraftstoff-Verhältnismesser, einen Toten-Winkel-Messer, einen Bordsteinfühler, eine Fehlererfassungseinrichtung, einen Hall-Sensor, einen absoluten Ansaugdruck-Sensor, einen Parksensor, eine Radarpistole, einen Fahrtgeschwindigkeitsanzeiger, einen Geschwindigkeitssensor, einen Reifendrucküberwachungssensor, einen Drehmomentsensor, einen Getriebeflüssigkeitstemperatursensor, einen Turbinengeschwindigkeitssensor („turbine speed sensor“, TSS), einen Reluktanzabtastsensor, einen Fahrzeuggeschwindigkeitssensor („vehicle speed sensor“, VSS), einen Wassersensor, Drehzahlsensor und weiteren anderen beliebigen Typ Automobilsensor.
Die internen Sensoren 159 sind Sensoren im Fahrzeug 123. In einigen Ausführungsbeispielen enthalten die internen Sensoren 159 Sensoren, die eine Kopfposition des Fahrers beobachten, um Kopfpositionsdaten 189 zu erzeugen. In einigen Ausführungsbeispielen sind die internen Sensoren 159, die die Kopfposition des Fahrers beobachten, Teil einer Anzeigeeinrichtung 198, wie in Ausführungsbeispielen, in denen die Anzeigeeinrichtung 198 eine AR-Korbbrille enthält.
In einigen Ausführungsbeispielen enthalten die internen Sensoren 159 Sensoren, die Fahrzeugdaten 185 aufzeichnen. Die Fahrzeugdaten 185 können kinematische Fahrzeugdaten enthalten, die vom Fahrerassistenzsystem 199 zur Bestimmung verwendet werden können, ob sich das Fahrzeug 123 immer noch bewegt. Die internen Sensoren 159 können die Kopfpositionsdaten 189 und/oder die Fahrzeugdaten 185 im Speicher 127 speichern.
In einigen Ausführungsbeispielen enthalten die internen Sensoren 159 Sensoren, die eine Absicht eines Fahrers des Fahrzeugs 123 zum Abbiegen in eine bestimmte Richtung angeben. Die internen Sensoren 159 können beispielsweise Sensoren enthalten, die mit einem Abbiegesignal assoziiert sind, die Informationen für das Fahrerassistenzsystem 199 darüber bereitstellen, ob der Fahrer die Absicht hat, nach links oder rechts abzubiegen.
Der Prozessor 125 enthält eine Arithmetiklogikeinheit, einen Mikroprozessor, einen Universalcontroller oder eine andere Prozessoranordnung zur Durchführung von Berechnungen und Bereitstellung elektronischer Anzeigesignale für eine Anzeigeeinrichtung. Der Prozessor 125 verarbeitet Datensignale und kann verschiedene Rechenarchitekturen enthalten, wie eine Prozessor-mit-großem-Befehlsvorrat-(CISC-)Architektur, eine Prozessor-mit-reduziertem-Befehlsvorrat-(RISC-)Architektur oder eine Architektur, die eine Kombination dieser Befehlsvorräte implementiert. Das Fahrzeug 123 kann einen oder mehrere Prozessoren 125 enthalten. Andere Prozessoren, Betriebssysteme, Sensoren, Anzeigen und physikalische Konfigurationen können möglich sein.
Der Speicher 127 speichert Anweisungen oder Daten, die durch den Prozessor 125 zugänglich und ausführbar sind. Die Anweisungen oder Daten können Code zur Durchführung der hier beschriebenen Verfahren enthalten. Der Speicher 127 kann eine dynamischer-Speicher-mit-wahlfreiem-Zugriff-(D-RAM-)Einrichtung, eine statischer-Speicher-mit-wahlfreiem-Zugriff-(S-RAM-)Einrichtung, ein Flash-Speicher oder eine andere Speichereinrichtung sein. In einigen Ausführungsbeispielen enthält der Speicher 127 auch einen nichtflüchtigen Speicher oder ähnliche Permanentspeichereinrichtungen und Medien, wie ein Festplattenlaufwerk, ein Floppy-Disk-Laufwerk, eine CD-ROM-Einrichtung eine DVD-ROM-Einrichtung, eine DVD-RAM-Einrichtung, eine DVD-RW-Einrichtung, eine Flashspeichereinrichtung oder eine andere Massenspeichereinrichtung zur Speicherung von Informationen auf permanenterer Basis. Ein Abschnitt des Speichers 127 kann zur Verwendung als Puffer oder virtueller Speicher mit wahlfreiem Zugriff (virtueller RAM) reserviert sein. Das Fahrzeug 123 kann einen oder mehrere Speicher 127 enthalten.
Der Speicher 127 des Fahrzeugs 123 kann eines oder mehrere der folgenden Elemente speichern: GPS-Daten 183, aufgenommene Bilddaten 184, Fahrzeugdaten 185, Kartendaten 186, Objekt-A-priori-Wahrscheinlichkeitsdaten („object prior data“) 187, Spiegeldaten 188, Kopfpositionsdaten 189 und verarbeitete Bilddaten 190.
Die GPS-Daten 183 enthalten Informationen über einen aktuellen Ort des Fahrzeugs 123. Die GPS-Daten 183 können von der DSRC-konformen GPS-Einheit 150 empfangen werden und können den aktuellen Ort des Fahrzeugs 123 mit einer Präzision beschreiben, dass der Ort des Fahrzeugs 123 in einer bestimmten Spur identifiziert werden kann.
Die aufgenommenen Bilddaten 184 können durch die externen Sensoren 155 wie vorstehend beschrieben aufgenommene Bilder beschreiben. Die aufgenommenen Bilddaten 184 können alle Bilder beschreiben, die in einem Versuch zum Identifizieren von Bildern aufgenommen werden, die einen Verkehrsspiegel enthalten. Alternativ dazu können die aufgenommenen Bilddaten 184 bestimmen, ob ein Bild einen Verkehrsspiegel enthält, bevor sie als aufgenommene Bilddaten 184 gespeichert werden.
Die Fahrzeugdaten 185 können Informationen über das Fahrzeug beschreiben, wie Geschwindigkeit und Entfernung des Fahrzeugs als Funktion der Zeit. Die Fahrzeugdaten 185 können durch die internen Sensoren 159 wie vorstehend beschrieben aufgenommen werden.
Die Kartendaten 186 können digitale Daten sein, die durch Ortsdaten indiziert sind, wie GPS-Daten 183. Die Kartendaten 186 beschreiben den Ort von Verkehrsspiegeln und den Blickwinkel zur Abbildung eines Verkehrsspiegels von der bestimmten Fahrspur des Fahrzeugs 123 aus.
Die Objekt-A-priori-Wahrscheinlichkeitsdaten 187 beschreiben Objekt-A-priori-Wahrscheinlichkeiten für Verkehrsspiegel. Die Objekt-A-priori-Wahrscheinlichkeitsdaten 187 können die Form von Referenzverkehrsspiegeln, einen erwarteten Ort für Verkehrsspiegel, usw. beschreiben. Das Fahrerassistenzsystem 199 kann einen Ort eines Verkehrsspiegels durch Vergleichen aufgenommener Bilddaten 184 mit Objekt-A-priori-Wahrscheinlichkeitsdaten 187 identifizieren.
Die Spiegeldaten 188 enthalten Präsenzdaten, die beschreiben, ob ein Verkehrsspiegel an einem durch GPS-Daten beschriebenen Ort vorhanden ist. Die Spiegeldaten 188 enthalten optional auch Blickwinkeldaten, die beschreiben, wie die externen Sensoren 155 orientiert sein sollten, um ein Bild des Verkehrsspiegels aufzunehmen. Die Blickwinkeldaten reduzieren vorteilhafterweise die Zeitdauer, die die externen Sensoren 155 haben, um die Fahrbahnumgebung zum Identifizieren abzuschwenken, wo sich der Verkehrsspiegel befindet.
Die Kopfpositionsdaten 189 beschreiben die Orientierung des Fahrerkopfs. Die Kopfpositionsdaten 189 können verfolgt werden, während der Fahrer eine AR-Korbbrille trägt. Die Kopfpositionsdaten 189 können beispielsweise Rotationsvektoren mit Roll-, Nick- und Gierkoordinaten enthalten. Das Fahrerassistenzsystem 199 bestimmt beruhend auf den Kopfpositionsdaten 189, wohin der Fahrer schaut und wie die AR-Korbbrille zum Positionieren einer Überlagerung anzuweisen ist, die verarbeitete Bilddaten 190 enthält. In einigen Ausführungsbeispielen können die Kopfpositionsdaten 189 unabhängig davon verfolgt werden, ob der Fahrer eine AR-Korbbrille trägt. Die Kopfpositionsdaten 189 können beispielsweise vom Fahrerassistenzsystem 199 zur Bestimmung verwendet werden, ob der Fahrer zu einem festen Ort in der realen Welt schaut, wo sich ein Verkehrsspiegel befinden würde.
Die verarbeiteten Bilddaten 190 beschreiben verarbeitete Bilder, die durch das Fahrerassistenzsystem 199 verarbeitet werden. Das Fahrerassistenzsystem 199 kann beispielsweise ein Bild eines durch die externen Sensoren 155 aufgenommenen Verkehrsspiegels empfangen, das Bild vergrößern, das Bild entzerren und das vergrößerte entzerrte Bild optisch umkehren. Das vergrößerte, entzerrte und optisch umgekehrte Bild kann als verarbeitete Bilddaten 190 gespeichert werden.
Die Kommunikationseinheit 145 sendet und empfängt Daten zu und von einem Netzwerk 105 oder einem anderen Kommunikationskanal. Bei einigen Ausführungsbeispielen kann die Kommunikationseinheit 145 eine DSRC-Sende-/Empfangseinrichtung, einen DSRC-Empfänger oder andere Hardware oder Software enthalten, die erforderlich ist, um das Fahrzeug 123 (oder eine andere Einrichtung, wie den Server 107) zu einer DSRC-fähigen Einrichtung zu machen.
Bei einigen Ausführungsbeispielen enthält die Kommunikationseinheit 145 einen Anschluss für eine direkte physikalische Verbindung mit dem Netzwerk 105 oder einem anderen Kommunikationskanal. Die Kommunikationseinheit 145 enthält beispielsweise einen Universal Serial Bus (USB), Secure Digital (SD-), CAT-5- oder ähnlichen Anschluss für eine drahtgebundene Kommunikation mit dem Netzwerk 105. In einigen Ausführungsbeispielen enthält die Kommunikationseinheit 145 eine drahtlose Sende-/Empfangseinrichtung zum Austauschen von Daten mit dem Netzwerk 105 oder anderen Kommunikationskanälen unter Verwendung eines oder mehrerer der Drahtloskommunikationsverfahren wie IEEE 802.11, IEEE 802.16, BLUETOOTH®, EN ISO 14906:2004 Electronic Fee Collection - Application interface, EN 11253:2004 Dedicated Short-Range Communication - Physical layer using microwave at 5.8 GHz (Review), EN 12795:2002 Dedicated Short-Range Communication (DSRC) - DSRC Data link layer: Medium Access and Logical Link Control (Review), EN 12834:2002 Dedicated Short-Range Communication - Application layer (Review), EN 13372:2004 Dedicated Short-Range Communication (DSRC) - DSRC profiles for RTTT applications (Review), das in der US-Patentanmeldung 14/471,387 beschriebene Kommunikationsverfahren, die am 28.8.2014 eingereicht wurde und den Titel trägt „Full-Duplex Coordination System“, oder ein anderes geeignetes Drahtloskommunikationsverfahren.
In einigen Ausführungsbeispielen enthält die Kommunikationseinheit 145 ein Voll-Duplex-Koordinationssystem, wie es in der US-Patentanmeldung 14/471,387 beschrieben ist, die am 28.8.2014 eingereicht wurde und den Titel trägt „Full-Duplex Coordination System“.
In einigen Ausführungsbeispielen enthält die Kommunikationseinheit 145 eine zellbasierte Kommunikation-Sende-/Empfangseinrichtung zum Senden und Empfangen von Daten über ein zellbasiertes Kommunikationsnetzwerk mit einem Kurznachrichtendienst (SMS), Multimedianachrichtendienst (MMS), Hypertexttransferprotokoll (HTTP), einer direkten Datenverbindung, WAP, Email, oder einer anderen geeigneten elektronischen Kommunikationsart. In einigen Ausführungsbeispielen enthält die Kommunikationseinheit 145 einen drahtgebundenen Anschluss und eine Drahtlos-Sende-/Empfangseinrichtung. Die Kommunikationseinheit 145 stellt auch andere herkömmliche Verbindungen mit dem Netzwerk 105 zur Verteilung von Dateien oder Medienobjekten unter Verwendung von Standardnetzwerkprotokollen bereit, wie TCP/IP, HTTP, HTTPS, und SMTP, Millimeterwelle, DSRC, usw..
Die Anzeigeeinrichtung 198 ist eine Einrichtung, die die optisch umgekehrte Version des durch die verarbeiteten Bilddaten 190 beschriebenen Bildes anzeigt. Die Anzeigeeinrichtung 198 umfasst eine AR-Korbbrille, eine 3D-HUD oder eine elektronische Vollfarbenanzeige. Die Anzeigeeinrichtung 198 kann einen nichtflüchtigen Cache oder Puffer enthalten, der Daten vorübergehend speichert, die sie vom Fahrerassistenzsystem 199 empfängt.
Die AR-Korbbrille kann eines oder mehrere der folgenden Dinge enthalten: Google™ Glass, CastAR, Moverio BT-200, Meta, Vuzix M-100, Laster See-Thru, Icis, Optinvent ORA-S, GlassUP, Atheer One, K-Glass, und Microsoft™ Hololens. Die AR-Korbbrille kann derart konfiguriert sein, dass ein Fahrer des Fahrzeugs 123 sich auf das Fahrerlebnis fokussieren kann, wenn er das Fahrzeug 123 bedient. Die AR-Korbbrille erzeugt Kopfpositionsdaten 189, die die Orientierung des Fahrerkopfs beschreiben, während der Fahrer die AR-Korbbrille trägt. Die AR-Korbbrille kann einen oder mehrere interne Sensoren 159 zur Erzeugung der Kopfpositionsdaten 189 enthalten. In einigen Ausführungsbeispielen kann die AR-Korbbrille eine zusätzliche Ausstattung wie AR-Handschuhe zum Manipulieren virtueller Objekte enthalten, die durch die AR-Korbbrille angezeigt werden.
Die 3D-HUD kann als Schicht einer Windschutzscheibe des Fahrzeugs 123 installiert sein. Ein Beispiel der 3D-HUD ist in 6 gezeigt. Ein Fahrer des Fahrzeugs 123 kann beispielsweise die 3D-HUD betrachten, und die 3D-HUD kann die optisch umgekehrte Version des durch die verarbeiteten Bilddaten 190 beschriebenen Bildes anzeigen, die dem Fahrzeug 123 vom Fahrerassistenzsystem 199 bereitgestellt werden. Die 3D-HUD wird nachstehend unter Bezugnahme auf 6 näher beschrieben.
Die elektronische Vollfarbenanzeige kann einen Laptop, ein Tablet, einen LCD-Schirm, usw. enthalten. In einigen Ausführungsbeispielen ist die elektronische Vollfarbenanzeige mit einem Infotainmentsystem verknüpft.
In einigen Ausführungsbeispielen kann das Fahrerassistenzsystem 199 Code oder Routinen enthalten, die die Kommunikationseinheit 145 des Fahrzeugs 123 zum Kommunizieren mit einem auf dem Server 107 gespeicherten Fahrerassistenzsystem 199 über das Netzwerk 105 verwendet. Das Fahrerassistenzsystem 199 auf dem Server 107 kann dem Fahrerassistenzsystem 199 im Fahrzeug 123 Daten bereitstellen, die das Fahrerassistenzsystem 199 und die Anzeigeeinrichtung 198 zum Unterstützen des Fahrers brauchen. Das Fahrerassistenzsystem 199 auf dem Server 107 kann dem Fahrerassistenzsystem 199 im Fahrzeug 123 Kartendaten 186 und/oder aufgenommene Bilddaten 184 bereitstellen.
In einigen Ausführungsbeispielen kann das Fahrerassistenzsystem 199 des Fahrzeugs 123 unter Verwendung von Hardware implementiert sein, die ein feldprogrammierbares Gate-Array („field programmable gate array“, FPGA) oder eine anwendungsspezifische integrierte Schaltung („application-specific integrated circuit“, ASIC) enthält. In einigen anderen Ausführungsbeispielen kann das Fahrerassistenzsystem 199 unter Verwendung einer Kombination aus Hardware und Software implementiert sein. Das Fahrerassistenzsystem 199 kann in einer Kombination von Einrichtungen (beispielsweise Server oder andere Einrichtungen) oder in einer der Einrichtungen gespeichert sein.
Das Fahrerassistenzsystem 199 kann Spiegeldaten 188 unter Verwendung der GPS-Daten 183 und der Kartendaten 186 erzeugen, die externen Sensoren 155 beruhend auf den Spiegeldaten 188 zur Aufnahme von Bildern eines Verkehrsspiegels orientieren, und die Bilder als aufgenommene Bilddaten 186 speichern, die den Verkehrsspiegel beschreiben. Die externen Sensoren 155 können auch ein Bild des Verkehrsspiegels mit besonderem Fokus auf das durch den Verkehrsspiegel wiedergebebene Bild aufnehmen. Die aufgenommenen Bilddaten 184 beschreiben ein Bild des im Verkehrsspiegel gezeigten wiedergegebenen Bildes. Das Fahrerassistenzsystem 199 verarbeitet die aufgenommenen Bilddaten 184 zur Erzeugung verarbeiteter Bilddaten 190. Die verarbeiteten Bilddaten 190 sind derart konfiguriert, dass das Bild im Verkehrsspiegel optisch umgekehrt ist. Auf diese Weise erscheinen die Objekte, die in dem durch die verarbeiteten Bilddaten 190 beschriebenen Bild enthalten sind, wie sie in der realen Welt erscheinen würden, wenn sie direkt mit menschlichen Augen gesehen werden, anstatt sie im Spiegel zu betrachten. Das Fahrerassistenzsystem 199 veranlasst die Anzeigeeinrichtung 198 dann zur Anzeige der verarbeiteten Bilddaten 190. Das Fahrerassistenzsystem 199 veranlasst beispielsweise die Anzeigeeinrichtung 198 zur Anzeige der durch die verarbeiteten Bilddaten 190 beschriebenen optisch umgekehrten Version des Bildes. Die durch die Anzeigeeinrichtung 198 angezeigten Bilder sind leicht verständlich, da sie größer und optisch umgekehrt sind. Das Fahrerassistenzsystem 199 wird nachstehend unter Bezugnahme auf die 2, 3A, 3B, 4A, 4B, 5A, 5B, 7 und 8 näher beschrieben.
Server 107
In einigen Ausführungsbeispielen ist der Server 107 ein Cloudserver, der ein Fahrerassistenzsystem 199, einen Speicher 127B, einen Prozessor 125B und eine Kommunikationseinheit 145B enthält. Der Speicher 127 speichert beliebige für das Fahrerassistenzsystem 199 und die Anzeigeeinrichtung 198 erforderliche Daten, um das Fahrzeug 123 mit einer neuen oder anderen Fahrzeugfunktionalität zu versehen, die für den Fahrer dieses bestimmten Fahrzeugs 123 sonst nicht verfügbar wäre. Der Speicher 127 kann beispielsweise Kartendaten 186 enthalten, die den Ort von Verkehrsspiegeln für einen geographischen Bereich beschreiben. Der Speicher 127 kann auch aufgenommene Bilddaten 184 enthalten, die durch Kameras aufgenommene Bilder der Verkehrsspiegel beschreiben. Die aufgenommenen Bilddaten 184 können beispielsweise durch Kameras an anderen Fahrzeugen nahe dem Fahrzeug 123 aufgenommen werden, das das Fahrerassistenzsystem 199 enthält. Obwohl das Fahrerassistenzsystem 199 des Fahrzeugs 123 zur Erzeugung der Kartendaten 186 fähig sein kann, kann das Fahrerassistenzsystem 199 zur schnelleren Erzeugung von Spiegeldaten 188 fähig sein, wenn das Fahrerassistenzsystem 199 nicht auch noch die Kartendaten 186 erzeugen muss.
Die folgenden Elemente des Servers 107 sind jenen vorstehend für das Fahrzeug 123 beschriebenen gleich oder ähnlich, weshalb die Beschreibung dieser Elemente hier nicht wiederholt wird: der Prozessor 125B, der Speicher 127B und die Kommunikationseinheit 145B. Die Kommunikationseinheit 145B handhabt Kommunikationen zwischen dem Server 107 und dem Fahrzeug 123 über das Netzwerk 105.
Obwohl es in 1 nicht gezeigt ist, kann das Fahrerassistenzsystem 199 in einigen Ausführungsbeispielen ein Vollduplex-Koordinationssystem enthalten, wie es in der US-Patentanmeldung 14/471,387 beschrieben ist, die am 28.8.2014 eingereicht wurde und den Titel trägt „Full-Duplex Coordination System“.
Beispielcomputersystem
2 zeigt ein Blockschaltbild eines Beispielcomputersystems 200 mit einem Fahrerassistenzsystem 199 gemäß einigen Ausführungsbeispielen.
In einigen Ausführungsbeispielen kann das Computersystem 200 ein Spezialcomputersystem enthalten, das zur Durchführung eines oder mehrerer der Schritte des Verfahrens 700 und 725 programmiert ist, die nachstehend jeweils unter Bezugnahme auf die 7 und 8 beschrieben werden.
In einigen Ausführungsbeispielen können eine oder mehrere Komponenten des Computersystems 200 Teil des Servers 107 sein.
In einigen Ausführungsbeispielen kann das Computersystem 200 ein fahrzeugeigener Computer des Fahrzeugs 123 sein.
In einigen Ausführungsbeispielen kann das Computersystem 200 eine elektronische Steuereinheit, Kopfeinheit oder andere prozessorbasierte Recheneinrichtung des Fahrzeugs 123 sein.
Das Computersystem 200 kann eines oder mehrere der folgenden Elemente entsprechend einigen Beispielen enthalten: das Fahrerassistenzsystem 199, den Prozessor 125, den Speicher 127, die Kommunikationseinheit 145, die DSRC-konforme GPS-Einheit 150, die externen Sensoren 155, die internen Sensoren 159 und die Anzeigeeinrichtung 198. Die Komponenten des Computersystems 200 sind über einen Bus 120 zur Kommunikation verbunden.
In dem veranschaulichten Ausführungsbeispiel ist der Prozessor 125 mit dem Bus 120 über eine Signalleitung 238 kommunikativ verbunden. Der Speicher 127 ist über eine Signalleitung 240 mit dem Bus 120 kommunikativ verbunden. Die Kommunikationseinheit 145 ist über eine Signalleitung 242 mit dem Bus 120 kommunikativ verbunden. Die DSRC-konforme GPS-Einheit 150 ist über eine Signalleitung 244 mit dem Bus 120 kommunikativ verbunden. Die externen Sensoren 155 sind über eine Signalleitung 246 mit dem Bus 120 kommunikativ verbunden. Die internen Sensoren sind über eine Signalleitung 248 mit dem Bus 120 kommunikativ verbunden. Die Anzeigeeinrichtung 198 ist über eine Signalleitung 250 mit dem Bus 120 kommunikativ verbunden.
Die folgenden Elemente des Computersystems 200 sind vorstehend unter Bezugnahme auf 1 beschrieben, weshalb ihre Beschreibung hier nicht wiederholt wird: der Prozessor 125, der Speicher 127, die Kommunikationseinheit 145, die DSRC-konforme GPS-Einheit 150, die externen Sensoren 155, die internen Sensoren 159 und die Anzeigeeinrichtung 198.
Der Speicher 127 kann beliebige der vorstehend unter Bezugnahme auf 1 beschriebenen Daten speichern. Der Speicher 127 kann beliebige für das Computersystem 200 zur Bereitstellung seiner Funktionalität erforderliche Daten speichern.
In dem in 2 gezeigten veranschaulichten Ausführungsbeispiel enthält das Fahrerassistenzsystem 199 ein Kommunikationsmodul 202, ein Spiegelmodul 204, ein Bildverarbeitungsmodul 206, ein AR-Modul 208 und ein Empfehlungsmodul 210.
Das Kommunikationsmodul 202 kann Software mit Routinen zur Verarbeitung von Kommunikationen zwischen dem Fahrerassistenzsystem 199 und anderen Komponenten des Computersystems 200 sein. In einigen Ausführungsbeispielen kann das Kommunikationsmodul 202 ein durch den Prozessor 125 zur Bereitstellung der nachstehend beschriebenen Funktionalität zur Verarbeitung von Kommunikationen zwischen dem Fahrerassistenzsystem 199 und anderen Komponenten des Computersystems 200 ausführbarer Befehlsvorrat sein. In einigen Ausführungsbeispielen kann das Kommunikationsmodul 202 im Speicher 127 des Computersystems 200 gespeichert sein, und kann durch den Prozessor 125 zugänglich und ausführbar sein. Das Kommunikationsmodul 202 kann zum Kooperieren und Kommunizieren mit dem Prozessor 125 und anderen Komponenten des Computersystems 200 über die Signalleitung 222 eingerichtet sein.
Das Kommunikationsmodul 202 sendet und empfängt Daten über die Kommunikationseinheit 145 zu und von einem oder mehreren Elementen der Betriebsumgebung 100. Das Kommunikationsmodul 202 empfängt oder sendet beispielsweise eines oder mehrere der folgenden Elemente über die Kommunikationseinheit 145: die GPS-Daten 183, die aufgenommenen Bilddaten 184, die Fahrzeugdaten 185, die Kartendaten 186, die Objekt-A-priori-Wahrscheinlichkeitsdaten 187, die Spiegeldaten 188, die Kopfpositionsdaten 189 und die verarbeiteten Bilddaten 190. Das Kommunikationsmodul 202 kann beliebige der vorstehend unter Bezugnahme auf 1 oder nachstehend unter Bezugnahme auf die 7 und 8 beschriebenen Daten oder Nachrichten über die Kommunikationseinheit 145 senden oder empfangen.
In einigen Ausführungsbeispielen empfängt das Kommunikationsmodul 202 Daten von Komponenten des Fahrzeugs 123 und/oder des Fahrerassistenzsystems 199 und speichert die Daten im Speicher 127 (oder einem Puffer oder Cache der Anzeigeeinrichtung 198). Das Kommunikationsmodul 202 empfängt beispielsweise beliebige der vorstehend beschriebenen Daten von der Kommunikationseinheit 145 (über das Netzwerk 105) unter Bezugnahme auf den Speicher 127 und speichert diese Daten im Speicher 127 (oder einem Puffer oder Cache der Anzeigeeinrichtung 198). Bei einem anderen Beispiel empfängt das Kommunikationsmodul 202 GPS-Daten 183 von der DSRC-konformen GPS-Einheit 150 und speichert die GPS-Daten 183 im Speicher 127.
In einigen Ausführungsbeispielen kann das Kommunikationsmodul 202 Kommunikationen zwischen Komponenten des Fahrerassistenzsystems 199 handhaben. Das Kommunikationsmodul 202 kann beispielsweise verarbeitete Bilddaten 190 vom Bildverarbeitungsmodul 206 zu dem AR-Modul 208 senden.
Das Spiegelmodul 204 kann Software mit Routinen zur Erzeugung von Spiegeldaten 188 sein. Bei einigen Ausführungsbeispielen kann das Spiegelmodul 204 ein durch den Prozessor 125 ausführbarer Befehlsvorrat zur Bereitstellung der nachstehend beschriebenen Funktionalität zur Erzeugung der Spiegeldaten 188 sein. Bei einigen Ausführungsbeispielen kann das Spiegelmodul 204 im Speicher 127 des Computersystems 200 gespeichert sein und kann durch den Prozessor 125 zugänglich und ausführbar sein. Das Spiegelmodul 204 kann zum Kooperieren und Kommunizieren mit dem Prozessor 125 und anderen Komponenten des Computersystems 200 über die Signalleitung 224 eingerichtet sein.
Das Spiegelmodul 204 empfängt GPS-Daten 183 von der DSRC-konformen GPS-Einheit 150. Die GPS-Daten 183 beschreiben einen aktuellen Ort des Fahrzeugs 123. Da die GPS-Daten 183 von einer DSRC-konformen Einrichtung kommen, sind die GPS-Daten 183 innerhalb plus oder minus drei Metern genau. Zum Vergleich sind nicht-DSRC-konforme GPS-Einheiten lediglich innerhalb plus oder minus zehn Metern genau. Infolgedessen beschreiben die GPS-Daten 183 eine Spur, in der das Fahrzeug 123 fährt. Bei einigen Ausführungsbeispielen sind GPS-Daten 183 mit der Genauigkeit auf Spurebene relevant, da die Verkehrsspiegel in der echten Welt sich in Abhängigkeit davon an verschiedenen Blickwinkeln befinden, auf welcher Spur das Fahrzeug 123 fährt.
Bei einigen Ausführungsbeispielen erzeugt das Spiegelmodul 204 Spiegeldaten 188 beruhend auf den GPS-Daten 183 und den Kartendaten 186. Die GPS-Daten 183 beschreiben den aktuellen Ort des Fahrzeugs 123. Die Kartendaten 186 beschreiben entsprechende Orte für einen Satz von Verkehrsspiegeln an einem geographischen Ort. Die Kartendaten 186 können beispielsweise die entsprechenden Orte für einen Satz von Verkehrsspiegeln in San Jose, Kalifornien oder Zip Code 94043 in Mountain View, Kalifornien beschreiben. Das Spiegelmodul 204 kann die Spiegeldaten 188 durch Eingeben der GPS-Daten 183 für den aktuellen Ort des Fahrzeugs 123 und Ausgeben von Spiegeldaten 188 aus den Kartendaten 186 erhalten, wobei die Spiegeldaten 188 beschreiben, ob ein Verkehrsspiegel mit dem aktuellen Ort verknüpft ist.
Wenn die Kartendaten 186 beispielsweise durch die GPS-Daten 183 indiziert sind, können die GPS-Daten 183 als Abfrage zum Abrufen der Spiegeldaten 188 aus den Kartendaten 186 verwendet werden. Die Spiegeldaten 188 können den exakten Ort und die Orientierung des Verkehrsspiegels relativ zu anderen Objekten am selben Ort beschreiben, sodass der Verkehrsspiegel unter Verwendung der externen Sensoren 155 leichter zu lokalisieren und abzubilden ist.
Bei einigen Ausführungsbeispielen enthalten die Kartendaten 186 auch einen Blickwinkel für den Verkehrsspiegel an einer bestimmten Fahrspur des Fahrzeugs, wie sie durch die GPS-Daten 183 beschrieben ist. Das Spiegelmodul 204 kann daher Spiegeldaten 188 erzeugen, die das Spiegelmodul 204 zur Bestimmung verwendet, ob die externen Sensoren 155 zum Abtasten auf Verkehrsspiegel anzuweisen sind, und wie die externen Sensoren 155 zur schnellen Aufnahme von Bildern des Verkehrsspiegels zu orientieren sind. Das Spiegelmodul 204 weist die externen Sensoren 155 beruhend auf den Spiegeldaten 188 zur Aufnahme von Bildern an, die den Verkehrsspiegel enthalten. Die externen Sensoren 155 speichern die Bilder als aufgenommene Bilddaten 184.
Bei einigen Ausführungsbeispielen erzeugt das Spiegelmodul 204 Spiegeldaten 188 beruhend auf Objekt-A-priori-Wahrscheinlichkeiten. Das Spiegelmodul 204 kann die aufgenommenen Bilddaten 184 von den externen Sensoren 155 oder dem Speicher 127 (beispielsweise über das Kommunikationsmodul 202) und Objekt-A-priori-Wahrscheinlichkeitsdaten 187 aus dem Speicher 127 empfangen. Das Spiegelmodul 204 kann die aufgenommenen Bilddaten 184 mit den Objekt-A-priori-Wahrscheinlichkeitsdaten 187 vergleichen. Die Objekt-A-priori-Wahrscheinlichkeitsdaten 187 können beispielsweise die Form von Referenzverkehrsspiegeln, einen erwarteten Ort für Verkehrsspiegel, usw. beschreiben. Das Spiegelmodul 204 kann einen Ort eines Verkehrsspiegels durch Vergleichen der aufgenommenen Bilddaten 184 mit den Objekt-A-priori-Wahrscheinlichkeitsdaten 187 identifizieren.
Das Spiegelmodul 204 kann die Spiegeldaten 188 in Echtzeit erzeugen, sodass das Spiegelmodul 204 die externen Sensoren 155 zur schnellen Aufnahme der Bilder mit erhöhter Genauigkeit anweisen kann. Dies kann außerdem die Geschwindigkeit zur Erzeugung der verarbeiteten Bilddaten 190 erhöhen, woraus sich ein aktueller angezeigter Verkehrsspiegelinhalt ergibt, um das Fahrererlebnis zu verbessern und die Fahrersicherheit zu erhöhen.
Das Bildverarbeitungsmodul 206 kann Software mit Routinen zur Erzeugung der verarbeiteten Bilddaten 190 sein. Bei einigen Ausführungsbeispielen kann das Bildverarbeitungsmodul 206 ein durch den Prozessor 125 ausführbarer Befehlsvorrat zur Bereitstellung der nachstehend beschriebenen Funktionalität zur Erzeugung der verarbeiteten Bilddaten 190 sein. Bei einigen Ausführungsbeispielen kann das Bildverarbeitungsmodul 206 im Speicher 127 des Computersystems 200 gespeichert und durch den Prozessor 125 zugänglich und ausführbar sein. Das Bildverarbeitungsmodul 206 kann zur Zusammenarbeit und Kommunikation mit dem Prozessor 125 und anderen Komponenten des Computersystems 200 über die Signalleitung 226 eingerichtet sein.
In den 3A und 3B sind zwei Beispiele veranschaulicht, wie ein Verkehrsspiegel zur Erzeugung eines Verkehrsspiegelinhalts zum Unterstützen eines Fahrers verwendet werden kann. 3A zeigt ein Blockschaltbild 300, das veranschaulicht, wie ein Verkehrsspiegel Informationen über Objekte in einer Fahrbahnumgebung bereitstellt. Bei diesem Beispiel enthält ein Fahrzeug 305 das Fahrerassistenzsystem 199 mit dem Bildverarbeitungsmodul 206. Das Bildverarbeitungsmodul 206 empfängt aufgenommene Bilddaten 184 von den externen Sensoren 155 oder das Bildverarbeitungsmodul 206 ruft die aufgenommenen Bilddaten 184 aus dem Speicher 127 ab. Das Bildverarbeitungsmodul 206 verarbeitet die aufgenommenen Bilddaten 184 zur Erzeugung der verarbeiteten Bilddaten 190, die die aufgenommenen Bilddaten 184 für einen Fahrer verständlich machen. Das Bildverarbeitungsmodul 206 erzeugt beispielsweise ein verarbeitetes Bild, das das aufgenommene Bild von dem Verkehrsspiegel optisch umkehrt, da die Objekte in dem aufgenommenen Bild seitenverkehrt sind. Das Bildverarbeitungsmodul 206 weist eine Anzeigeeinrichtung 198 zur Anzeige der verarbeiteten Bilddaten 190 an. Das Bildverarbeitungsmodul 206 weist beispielsweise die Anzeigeeinrichtung 198 zur Anzeige der durch die verarbeiteten Bilddaten 190 beschriebenen optisch umgekehrten Version des Bildes an.
Ein Fahrer kann die verarbeiteten Bilddaten 190 zur Unterstützung beim Treffen einer Entscheidung darüber verwenden, ob das Fahren sicher ist. Wenn der Fahrer des Fahrzeugs 305 beispielsweise nach rechts abbiegen möchte, ist es für den Fahrer sicher, rechts abzubiegen, weil sich kein Fahrzeug von der linken Seite nähert. Wenn der Fahrer aber nach links abbiegen möchte, ist es nicht sicher, da das Fahrzeug 305 mit einem Fahrzeug 310 kollidieren würde. Wie es nachstehend näher beschrieben wird, kann das Fahrerassistenzsystem 199 ein Empfehlungsmodul 210 enthalten, das bestimmt, in welche Richtung der Fahrer fahren möchte, und das Empfehlungsmodul 210 kann entsprechende Empfehlungen aussprechen. Bei dem Beispiel in 3A könnte das Empfehlungsmodul 210 bestimmen, dass der Fahrer nach links abbiegen möchte, und das Empfehlungsmodul 210 kann eine Empfehlung gegen das Linksabbiegen aussprechen.
3B zeigt ein Blockschaltbild 350, das veranschaulicht, wie eine Vielzahl von Verkehrsspiegeln Informationen über Objekte in einer Fahrbahnumgebung gemäß einigen Ausführungsbeispielen bereitstellt. Bei diesem Beispiel ist der Verkehrsspiegelinhalt noch komplizierter, da es zwei Verkehrsspiegel und zwei weitere Fahrzeuge 360, 365 gibt. Würde der Fahrer des Fahrzeugs 355 versuchen, den Verkehrsspiegelinhalt aus den Verkehrsspiegeln zu betrachten, müsste der Fahrer ein von links kommendes erstes Auto 365 und ein von rechts kommendes zweites Auto 360 identifizieren. Infolgedessen kann das Fahrerassistenzsystem 199 den Fahrer des Fahrzeugs 355 unterstützen, indem es den Verkehrsspiegelinhalt verständlicher macht.
Bei einigen Ausführungsbeispielen erzeugt das Bildverarbeitungsmodul 206 verarbeitete Bilddaten 190 durch die Durchführung eines oder mehrerer der folgenden drei Verarbeitungsschritte in jeder beliebigen Reihenfolge. Zuerst erzeugt das Bildverarbeitungsmodul 206 eine vergrößerte Version des Bildes. Das Bildverarbeitungsmodul 206 identifiziert beispielsweise einen Abschnitt eines Bildes des Verkehrsspiegels, der den Verkehrsspiegelinhalt enthält, schneidet das Bild zu, sodass es lediglich den Abschnitt des Bildes enthält, der den Verkehrsspiegelinhalt enthält, und vergrößert das Bild. Zum Zweiten entzerrt das Bildverarbeitungsmodul 206 das Bild. Da der Verkehrsspiegel beispielsweise eine sphärische Form hat, kann der Verkehrsspiegelinhalt verzerrt sein. Das Bildverarbeitungsmodul 206 kann das Bild entzerren, indem es das Bild im Wesentlichen quadratisch oder im Wesentlichen rechteckig macht.
Zum Dritten kehrt das Bildverarbeitungsmodul 206 das Bild optisch um. Aufgrund physikalischer Gesetze ist das wiedergegebene Bild seitenverkehrt, sodass die im reflektierten Bild gezeigten Objekte seitenverkehrt dazu sind, wie diese Objekte in der echten Welt orientiert wären, wenn sie mit menschlichen Augen direkt gesehen werden würden, anstelle sie in einem Spiegel zu betrachten. Das Bildverarbeitungsmodul 206 kehrt das Bild optisch um, sodass in dem Bild enthaltene Objekte so erscheinen, wie sie in der echten Welt erscheinen würden, wenn sie direkt mit menschlichen Augen gesehen würden, anstelle sie in einem Spiegel zu betrachten.
Das Bildverarbeitungsmodul 206 weist die Anzeigeeinrichtung 198 zur Anzeige der verarbeiteten Bilddaten 190 an. Das Bildverarbeitungsmodul 206 weist die Anzeigeeinrichtung 198 beispielsweise zur Anzeige der durch die verarbeiteten Bilddaten 190 beschriebenen optisch umgekehrten Version des Bildes an. Bei einigen Ausführungsbeispielen, in denen die Anzeigeeinrichtung 198 eine AR-Korbbrille enthält, sendet das Bildverarbeitungsmodul 206 die verarbeiteten Bilddaten 190 zu dem AR-Modul 208. Bei einigen Ausführungsbeispielen sendet das Bildverarbeitungsmodul 206 die verarbeiteten Bilddaten 190 zu dem Empfehlungsmodul 210, sodass das Empfehlungsmodul 210 eine Empfehlung in Verbindung mit der Anzeige der verarbeiteten Bilddaten 190 erzeugen kann.
In den 4A und 4B ist ein Beispiel veranschaulicht, wie der Verkehrsspiegelinhalt durch das Bildverarbeitungsmodul 206 verarbeitet wird. 4A zeigt eine Beispielsicht 400 einer Straße mit Verkehrsspiegeln, die Objekte in einer Fahrbahnumgebung enthalten. Dieses Beispiel veranschaulicht, wie ein Fahrer beim Sitzen im Fahrzeug die echte Welt sieht. Ein Verkehrsspiegel 405 veranschaulicht einen Verkehrsspiegelinhalt links vom Fahrer. Ein Verkehrsspiegel 410 veranschaulicht einen Verkehrsspiegelinhalt rechts vom Fahrer.
4B zeigt ein Blockschaltbild 450 des Verkehrsspiegelinhalts von 4A, nachdem das Bildverarbeitungsmodul 206 ein Bild des Verkehrsspiegels verarbeitet hat. Der Verkehrsspiegelinhalt 455 vom linken Verkehrsspiegel 405 in 4A und der Verkehrsspiegelinhalt 460 vom rechten Verkehrsspiegel 410 in 4A sind vergrößert, entzerrt und optisch umgekehrt.
Bei einigen Ausführungsbeispielen bestimmt das Bildverarbeitungsmodul 206 einen Ort für die Anzeige der verarbeiteten Bilddaten 190 für den Benutzer. Das Bildverarbeitungsmodul 206 kann beispielsweise deshalb, weil die Anzeigeeinrichtung 198 eine elektronische Vollfarbenanzeige ist, bestimmen, dass der Bildschirm der elektronischen Vollfarbenanzeige lediglich die verarbeiteten Bilddaten 190 und keinen Inhalt enthalten sollte, der die verarbeiteten Bilddaten 190 umgibt. Bei einem anderen Beispiel, in dem die Anzeigeeinrichtung 198 eine AR-Korbbrille oder eine 3D-HUD enthält, kann das Bildverarbeitungsmodul 206 die verarbeiteten Bilddaten 190 als graphische Überlagerung positionieren, um den aktuellen Ort von Objekten aus den verarbeiteten Bilddaten 190 auf Objekten im Fahrerblick zu zeigen, die die verarbeiteten Bilddaten 190 verdecken. Wenn der Verkehrsspiegelinhalt beispielsweise aufdeckt, dass sich ein anderes Fahrzeug dem Fahrerfahrzeug 123 nähert, kann das Bildverarbeitungsmodul 206 die 3D-HUD zur Anzeige der verarbeiteten Bilddaten 190 als Überlagerung über einem Gebäude anweisen, da es die Fahrersicht auf das andere Fahrzeug verdeckt.
Das AR-Modul 208 kann Software mit Routinen zur Erzeugung einer graphischen Überlagerung sein, die die verarbeiteten Bilddaten 190 zeigt. Das AR-Modul 208 kann beispielsweise Software mit Routinen zur Erzeugung einer graphischen Überlagerung sein, die die optisch umgekehrte Version des durch die verarbeiteten Bilddaten 190 beschriebenen Bildes zeigt. Bei einigen Ausführungsbeispielen kann das AR-Modul 208 ein durch den Prozessor 125 ausführbarer Befehlsvorrat zur Bereitstellung der nachstehend beschriebenen Funktionalität zur Erzeugung der graphischen Überlagerung sein. Bei einigen Ausführungsbeispielen kann das AR-Modul 208 im Speicher 127 des Computersystems 200 gespeichert sein und kann durch den Prozessor 125 zugänglich und ausführbar sein. Das AR-Modul 208 kann zur Kooperation und Kommunikation mit dem Prozessor 125 und anderen Komponenten des Computersystems 200 über die Signalleitung 228 eingerichtet sein.
Bei einigen Ausführungsbeispielen stellt das Bildverarbeitungsmodul 206 oder das AR-Modul 208 die verarbeiteten Bilddaten 190 für die Anzeigeeinrichtung 198 bereit, wenn die Anzeigeeinrichtung 198 eine AR-Korbbrille enthält. Das AR-Modul 208 speichert beispielsweise die verarbeiteten Bilddaten 190 in einem Puffer der AR-Korbbrille, sodass sie durch die AR-Korbbrille schnell abgerufen werden können, wenn die Fahrerkopfposition derart orientiert ist, dass er den Verkehrsspiegelinhalt in der echten Welt sehen können sollte.
Bei einigen Ausführungsbeispielen bestimmt das Bildverarbeitungsmodul 206, ob es die Anzeigeeinrichtung 190 zur Anzeige des durch die verarbeiteten Bilddaten 190 beschriebenen Bildes anweisen soll, beruhend darauf, ob sich das Fahrzeug 123 bewegt. Das Bildverarbeitungsmodul 206 kann beispielsweise Fahrzeugdaten 185 von den internen Sensoren 159 oder dem Speicher 127 (beispielsweise über das Kommunikationsmodul 202) empfangen, die Fahrzeugbewegungsdaten enthalten. Das Bildverarbeitungsmodul 206 verwendet die Fahrzeugdaten 185 zur Bestimmung, ob sich das Fahrzeug 123 bewegt oder stationär ist. Das Bildverarbeitungsmodul 206 kann die Anzeigeeinrichtung 198 zur Anzeige der verarbeiteten Bilddaten 190 beruhend auf einer Bestimmung anweisen, dass das Fahrzeug 123 stationär ist. Das Verarbeitungsmodul 206 kann die Anzeigeeinrichtung 198 zur Anzeige der durch die verarbeiteten Bilddaten 190 beschriebenen optisch umgekehrten Version des Bildes beruhend auf einer Bestimmung anweisen, dass das Fahrzeug 123 stationär ist.
Bei einigen Ausführungsbeispielen kann das Bildverarbeitungsmodul 206 die Anzeigeeinrichtung 198 zur Aktualisierung der verarbeiteten Bilddaten 190 periodisch anweisen, sodass die verarbeiteten Bilddaten 190 als Bildfolge angezeigt werden, die wie ein Video gesehen werden kann. Das Bildverarbeitungsmodul 206 kann die Anzeigeeinrichtung 198 beispielsweise zur Aktualisierung der verarbeiteten Bilddaten 190 alle 0,1 Sekunden, alle 0,5 Sekunden, jede Sekunde, usw. anweisen. Auf diese Weise gibt das eine oder geben mehrere durch die verarbeiteten Bilddaten 190 beschriebenen Bilder den Echte-Welt-Inhalt des reflektierten Bildes des Verkehrsspiegels genau wieder.
Das AR-Modul 208 kann eine Position eines Kopfs eines Fahrers des Fahrzeugs 123 beschreibende Kopfpositionsdaten 189 empfangen. Das AR-Modul 208 kann beispielsweise die Kopfpositionsdaten 189 von den internen Sensoren 159 empfangen oder die Kopfpositionsdaten 189 aus dem Speicher 127 (beispielsweise über das Kommunikationsmodul 202) abrufen. Das AR-Modul 208 bestimmt beruhend auf den Kopfpositionsdaten 189, ob eine die verarbeiteten Bilddaten 190 zeigende graphische Überlagerung anzuzeigen ist (beispielsweise die durch die verarbeiteten Bilddaten 190 beschriebene optisch umgekehrte Version des Bildes). Das AR-Modul 208 kann beispielsweise die Kopfpositionsdaten 189 mit Spiegeldaten 188 vergleichen, die einen Blickwinkel für einen Verkehrsspiegel beschreiben, um zu bestimmen, dass der Verkehrsspiegel beruhend auf der Fahrzeugposition in einer bestimmten Spur einer Fahrbahnumgebung vom Fahrer gesehen werden würde.
Im Ansprechen darauf, dass das AR-Modul 208 die Anzeige der graphischen Überlagerung bestimmt, erzeugt das AR-Modul 208 die graphische Überlagerung und weist die AR-Korbbrille zur Anzeige der graphischen Überlagerung an. Die AR-Korbbrille zeigt die graphische Überlagerung mit den verarbeiteten Bilddaten 190 derart an, dass der Fahrer die echte Welt zu jeder Zeit sehen kann und nicht vom Fahrerlebnis abgeschnitten wird. Die graphische Überlagerung kann die echte Welt selektiv überlagern.
Bei einigen Ausführungsbeispielen kann das AR-Modul 208 die AR-Korbbrille zur Anzeige der graphischen Überlagerung anweisen, wenn der Fahrer zu Orten in der echten Welt schaut, wo sich der Verkehrsspiegel befinden würde. Wenn das Fahrzeug 123 beispielsweise an einer Kreuzung ankommt, die einen Verkehrsspiegel enthält, weist das AR-Modul 208 die AR-Korbbrille zur Anzeige der graphischen Überlagerung zur Anzeige der verarbeiteten Bilddaten 190 an, von denen bekannt ist, dass sie an dieser Kreuzung vorhanden sind, sodass der Fahrer weiß, was in dem Verkehrsspiegel angezeigt wird, ohne dass er von der Kreuzung weg nach oben zu dem Verkehrsspiegel schaut.
5A zeigt eine Beispielsicht 500 einer Straße mit Verkehrsspiegeln, die Objekte in einer Fahrbahnumgebung enthalten. Die externen Sensoren 155 können ein Bild 505 aufnehmen, das den Verkehrsspiegel enthält. Das Bildverarbeitungsmodul 206 kann verarbeitete Bilddaten 190 beruhend auf dem Bild 505 erzeugen. Das AR-Modul 208 kann eine AR-Korbbrille zur Anzeige einer graphischen Überlagerung anweisen, die die verarbeiteten Bilddaten 190 enthält. Das AR-Modul 208 kann die AR-Korbbrille beispielsweise zur Anzeige einer graphischen Überlagerung anweisen, die eine optisch umgekehrte Version des Bildes enthält, die durch die verarbeiteten Bilddaten 190 beschrieben wird.
5B zeigt eine Beispielsicht 550 einer graphischen Beispielüberlagerung, die verarbeitete Bilddaten 190 beruhend auf dem Verkehrsspiegelinhalt von 5A enthält. Bei diesem Beispiel erzeugt das AR-Modul 208 eine graphische Überlagerung beruhend auf den verarbeiteten Bilddaten 190, die einen Ort des Verkehrsspiegelinhalts identifizieren. Das Bild 505 in 5A kann beispielsweise ein anderes Fahrzeug 555 enthalten, das sich von links nähert, und einen Fußgänger 560, der sich von rechts nähert. Das AR-Modul 208 erzeugt eine graphische Überlagerung, die das andere Fahrzeug 555 auf einem Gebäude zeigt, das die Fahrersicht verdeckt. Die graphische Überlagerung zeigt auch den Fußgänger 560 auf einem anderen Gebäude, das die Fahrersicht verdeckt. Die graphische Überlagerung enthält außerdem Pfeile, die jeweils von dem anderen Fahrzeug 555 und dem Fußgänger 560 ausgehen, um die Richtung anzugeben, in die sich das andere Fahrzeug 555 und der Fußgänger 560 bewegen. Auf diese Weise wird der Fahrer alarmiert, dass ein Linksabbiegen wegen des anderen Fahrzeugs 555 schwierig sein kann. Wenn der Fahrer nach rechts abbiegt, weiß der Fahrer auch, dass er auf den Fußgänger achtgeben muss, der eventuell vor dem Fahrzeug 123 über die Straße gehen möchte.
Das Empfehlungsmodul 210 kann Software mit Routinen zur Erzeugung einer Empfehlung sein. Bei einigen Ausführungsbeispielen kann das Empfehlungsmodul 210 ein durch den Prozessor 125 ausführbarer Befehlsvorrat zur Bereitstellung der nachstehend beschriebenen Funktionalität zur Erzeugung der Empfehlung sein. Bei einigen Ausführungsbeispielen kann das Empfehlungsmodul 210 im Speicher 127 des Computersystems 200 gespeichert sein und kann durch den Prozessor 125 zugänglich und ausführbar sein. Das Empfehlungsmodul 210 kann zum Kooperieren und Kommunizieren mit dem Prozessor 125 und anderen Komponenten des Computersystems 200 über die Signalleitung 230 eingerichtet sein.
Bei einigen Ausführungsbeispielen bestimmt das Empfehlungsmodul 210 eine Absicht eines Fahrers des Fahrzeugs 123 zum Abbiegen in eine bestimmte Richtung. Das Empfehlungsmodul 210 empfängt beispielsweise Fahrzeugdaten 185 von den internen Sensoren 159 oder dem Speicher 127 (beispielsweise über das Kommunikationsmodul 202) darüber, ob der Fahrer ein Abbiegesignal initiiert hat, und wenn ja, welche Richtung das Abbiegesignal angibt. Das Empfehlungsmodul 210 schätzt ab, ob das Abbiegen in die bestimmte Richtung für den Fahrer sicher ist. Das Empfehlungsmodul 210 bestimmt beispielsweise, dass der Fahrer nach links abbiegen wird, und das Empfehlungsmodul 210 bestimmt beruhend auf den verarbeiteten Bilddaten 190, dass es ein ankommendes Fahrzeug gibt, das möglicherweise mit dem anderen Fahrzeug kollidieren könnte.
Das Empfehlungsmodul 210 weist die Anzeigeeinrichtung 198 zur Bereitstellung einer Empfehlung darüber an, ob das Abbiegen in die bestimmte Richtung für den Fahrer sicher ist. Das Empfehlungsmodul 210 bestimmt beispielsweise, dass ein Linksabbiegen wegen eines ankommenden Fahrzeugs nicht sicher ist, und das Empfehlungsmodul 210 weist die Anzeigeeinrichtung 198 zur Anzeige einer Warnung an, die sagt „Warnung: Nicht abbiegen!“. Bei einigen Ausführungsbeispielen hebt das Empfehlungsmodul 210 die verarbeiteten Bilddaten 190 hervor, um die Empfehlung bereitzustellen. Das Empfehlungsmodul 210 weist beispielsweise die Anzeigeeinrichtung 198 zur Anzeige eines roten Kästchens um Objekte an, die für den Benutzer ein Sicherheitsrisiko darstellen. Wenn das Empfehlungsmodul 210 bestimmt, dass das Abbiegen in die bestimmte Richtung sicher ist, kann das Empfehlungsmodul 210 die Anzeigeeinrichtung 198 zum Angeben anweisen, dass das Abbiegen sicher ist, indem beispielsweise ein Sicherheitssymbol, Worte, die angeben, dass das Abbiegen sicher ist, oder grüne Kästchen um Objekte bereitgestellt werden, die kein Sicherheitsrisiko für den Benutzer darstellen.
Unterschied zwischen erweiterter Realität und virtueller Realität
AR und virtuelle Realität („VR“) sind nicht dasselbe. Bei der VR trägt ein Benutzer eine VR-Korbbrille, die dem Benutzer das Sehen der Außenwelt nicht erlaubt, und Kopfhörer, die ein Audiosignal bereitstellen, das den durch die VR-Korbbrille angezeigten Bildern entspricht. Die Idee ist das Vertiefen des Benutzers in der VR-Welt, sodass der Benutzer die echte Welt total vergisst.
VR ist für die Anwendung in Fahrzeugen nicht geeignet, da sie den Fahrer von der Fahrbahn ablenkt, und daher ein Sicherheitsrisiko ist. Aus diesem Grund beinhaltet diese Erfindung keine VR.
Bei der AR trägt der Benutzer eine transparente AR-Korbbrille (oder Brille oder eine transparente HUD), die dem Benutzer das vollständige Sehen der realen Welt ermöglicht. Die AR-Korbbrille zeigt graphische Überlagerungen an, die die Weise verbessern, wie die reale Welt aussieht. Die graphische Überlagerung kann visuell transparent, lichtdurchlässig, lichtundurchlässig oder fest erscheinen. Die graphische Überlagerung verbessert oder modifiziert das Erscheinen der realen Welt, wenn sie durch die AR-Korbbrille gesehen wird. Der Benutzer kann auch einen AR-Handschuh tragen, der die Weise verbessert, wie sich die reale Welt anfühlt. Die AR fügt infolgedessen eine Erfahrung zu der echten Welt hinzu, ohne den Benutzer zum Vergessen der realen Welt zu veranlassen.
Beispiel-3D-HUD
6 zeigt ein Blockschaltbild einer Anzeigeeinrichtung 198 bei Ausführungsbeispielen, in denen die Anzeigeeinrichtung 198 eine 3D-HUD ist.
Bei einigen Ausführungsbeispielen enthält die 3D-HUD einen Projektor 601, einen beweglichen Schirm 602, eine Schirmansteuereinheit 603, ein optisches System (mit Linsen 604, 606, einem Reflektor 605, usw.). Der Projektor 601 kann eine beliebige Art Projektor sein, wie ein Spiegelaktor („digital mirror device“, DMD)-Projektor, ein Flüssigkristallprojektor. Der Projektor 601 projiziert ein Bild (Graphik) 608 auf den beweglichen Schirm 602. Das Bild 608 kann eine graphische Überlagerung enthalten. Das Bild 608 kann beispielsweise die verarbeiteten Bilddaten 190 darstellen, die vorstehend unter Bezugnahme auf 2 beschrieben sind.
Der bewegliche Schirm 602 enthält eine transparente Platte, sodass Licht des projizierten Bildes durch den beweglichen Schirm 602 hindurchgeht, um auf der Windschutzscheibe 607 eines Fahrzeugs (beispielsweise des Fahrzeugs 123) projiziert zu werden. Das auf die Windschutzscheibe 607 projizierte Bild wird durch einen Fahrer 610 wahrgenommen, als ob es ein echtes Objekt wäre (das als 611a, 611b gezeigt ist), das im dreidimensionalen Raum der echten Welt existiert, entgegen einem Objekt, das auf die Windschutzscheibe projiziert wird.
Bei einigen Ausführungsbeispielen kann die 3D-HUD die Richtung des Bildes relativ zum Fahrer 610 (d.h. die Bildposition auf der Windschutzscheibe) steuern, indem sie die Projektionsposition des Schirms 602 anpasst. Der Schirm 602 ist ferner durch die Schirmansteuereinheit 603 in dem Bereich zwischen den Positionen 603a und 603b beweglich. Ein Anpassen der Position des Schirms 602 kann die Tiefe (Entfernung) des projizierten Bildes vom Fahrer 610 in der echten Welt variieren. Bei einem Beispiel kann der Bewegungsbereich des Schirms 602 (Entfernung zwischen Positionen 603a und 603b) 5mm sein, was einer Entfernung von 5m bis unendlich in der echten Welt entspricht. Die Verwendung der 3D-HUD ermöglicht dem Fahrer 610 die Wahrnehmung des projizierten Bildes, als ob es in der echten Welt (im dreidimensionalen Raum) existierte. Wenn beispielsweise ein Bild an derselben dreidimensionalen Position (oder im Wesentlichen zumindest derselben Tiefe) wie ein echtes Objekt (wie ein Fußgänger, Auto, usw.) projiziert wird, muss der Fahrer seinen Augenfokus nicht zum Betrachten des projizierten Bildes anpassen, weshalb er das projizierte Bild leicht aufnehmen kann, während er das echte Objekt betrachtet.
Die in 6 gezeigte 3D-HUD ist ein Beispiel. Andere Beispiele sind möglich. Diese Beispiele können Blickfeldanzeigen mit mehr oder weniger Komplexität als die in 6 gezeigte 3D-HUD enthalten. Beispielsweise wird angenommen, dass es in der Zukunft Blickfeldanzeigen geben wird, die keine beweglichen Teile, wie den beweglichen Schirm 602, benötigen. Beispielsweise kann ein statischer Schirm angewendet werden, der sich nicht bewegt. Angewandte Blickfeldanzeigen müssen keine zweidimensionale Blickfeldanzeigeeinheit sein. Bei einigen Ausführungsbeispielen sind das Fahrerassistenzsystem 199 und die graphische Überlagerung so entworfen, dass sie mit diesen Komponenten betreibbar sind.
Beispielverfahren
7 zeigt ein Ablaufdiagramm eines Beispielverfahrens 700 zur Bereitstellung einer neuen oder anderen Fahrzeugfunktionalität für ein Fahrzeug unter Verwendung eines Fahrerassistenzsystems 199 gemäß einigen Ausführungsbeispielen. Die Fahrzeugfunktionalität kann durch Komponenten des Fahrzeugs 123, wie vorstehend unter Bezugnahme auf 1 beschrieben, vorgesehen sein.
Ein oder mehrere der hier für das Verfahren 700 beschriebenen Schritte kann/können durch ein oder mehrere Computersysteme 200 ausgeführt werden.
Nun wird auf 7 Bezug genommen. In Schritt 705 werden GPS-Daten 183 abgerufen, die einen aktuellen Ort eines Fahrzeugs beschreiben. Die GPS-Daten 183 können von einer DSRC-konformen GPS-Einheit 150 empfangen werden, und können einen Ort des Fahrzeugs 123 innerhalb einer Spur mit einer Genauigkeit von plus oder minus drei Metern beschreiben.
In Schritt 710 werden beruhend auf den GPS-Daten 183 Spiegeldaten 188 erzeugt, wobei die Spiegeldaten einen festen Ort eines Verkehrsspiegels identifizieren, der in einer Fahrbahnumgebung enthalten ist. Die GPS-Daten 183 können beispielsweise zum Erhalten der Spiegeldaten 188 aus Kartendaten 186 verwendet werden, die den Ort von Verkehrsspiegeln an einem geographischen Ort beschreiben.
In Schritt 715 wird ein mit dem Fahrzeug 123 assoziierter externer Sensor 155 beruhend auf den Spiegeldaten 188 zur Aufnahme aufgenommener Bilddaten 184 angewiesen, die ein Bild des Verkehrsspiegels beschreiben.
In Schritt 720 werden verarbeitete Bilddaten 190 erzeugt, die eine optisch umgekehrte Version des Bildes beschreiben. Bei einigen Ausführungsbeispielen kann das Bild vergrößert, entzerrt und optisch umgekehrt werden.
In Schritt 725 wird eine Anzeigeeinrichtung 198 zur Anzeige der verarbeiteten Bilddaten 190 angewiesen. Die Anzeigeeinrichtung 198 kann beispielsweise eine elektronische Vollfarbenanzeige, eine 3D-HUD oder AR-Korbbrille sein. Die Anzeigeeinrichtung 198 kann eine optisch umgekehrte Version des Bildes anzeigen, die durch die verarbeiteten Bilddaten 190 beschrieben ist.
8 zeigt ein Ablaufdiagramm eines Beispielverfahrens 725 gemäß einigen Ausführungsbeispielen zur Anweisung einer AR-Korbbrille zur Anzeige einer optisch umgekehrten Version des Bildes, die durch die verarbeiteten Bilddaten 190 beschrieben ist. Die Fahrzeugfunktionalität kann durch Komponenten des Fahrzeugs 123 vorgesehen sein, die vorstehend unter Bezugnahme auf 1 beschrieben sind.
In Schritt 805 werden die verarbeiteten Bilddaten 190 der AR-Korbbrille bereitgestellt. In Schritt 810 werden eine Position eines Kopfs eines Fahrers des Fahrzeugs 123 beschreibende Kopfpositionsdaten 189 empfangen. Die Kopfpositionsdaten 189 beschreiben beispielsweise einen Winkel des Fahrerkopfs, während der Fahrer die AR-Korbbrille verwendet.
In Schritt 815 wird im Ansprechen auf eine Bestimmung beruhend auf den Kopfpositionsdaten 189, dass eine die verarbeiteten Bilddaten 190 anzeigende graphische Überlagerung angezeigt wird, die graphische Überlagerung erzeugt. Die graphische Überlagerung enthält beispielsweise Objekte aus dem Bild des Verkehrsspiegels, die vergrößert, entzerrt und optisch umgekehrt wurden. In Schritt 820 wird die AR-Korbbrille zur Anzeige der graphischen Überlagerung angewiesen. Die graphische Überlagerung wird beispielsweise mit den Objekten aus dem Bild des Verkehrsspiegels an der Position positioniert, die sie haben würden, wenn sich nicht durch Objekte in der echten Welt verdeckt werden würden. In Schritt 820 wird die AR-Korbbrille zur periodischen Anzeige einer Aktualisierung für die graphische Überlagerung angewiesen.
In der vorstehenden Beschreibung sind zum Zweck der Beschreibung eine Vielzahl bestimmter Einzelheiten zum Erreichen eines gründlichen Verständnisses der Offenbarung angeführt. Der Fachmann erkennt allerdings, dass die Offenbarung ohne diese bestimmten Einzelheiten ausgeübt werden kann. In einigen Beispielen sind Strukturen und Einrichtungen in der Form eines Blockschaltbildes gezeigt, um eine Verschleierung der Beschreibung zu vermeiden. Die vorliegenden Ausführungsbeispiele können zum Beispiel vorstehend primär unter Bezugnahme auf Benutzerschnittstellen und bestimmte Hardware beschrieben sein. Die vorliegenden Ausführungsbeispiele können aber bei jeder Art Computersystem angewendet werden, das Daten und Befehle empfangen kann, und bei beliebigen peripheren Einrichtungen, die Dienste bereitstellen.
Eine Bezugnahme in der Offenbarung auf „einige Ausführungsbeispiele“ oder „einige Beispiele“ heißt, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft, die in Verbindung mit den Ausführungsbeispielen oder Beispielen beschrieben ist, in zumindest einem Ausführungsbeispiel der Beschreibung enthalten sein kann. Das Auftreten des Wortlauts „in einigen Ausführungsbeispielen“ an verschiedenen Stellen in der Beschreibung bezieht sich nicht unbedingt auf dieselben Ausführungsbeispiele.
Einige Abschnitte der ausführlichen Beschreibung sind als Algorithmen oder symbolische Darstellungen von Operationen bei Datenbits in einem Computerspeicher dargestellt. Diese algorithmischen Beschreibungen und Darstellungen sind die Mittel, die der Fachmann auf dem Gebiet der Datenverarbeitung verwendet, um den Inhalt seiner Arbeit zu anderen Fachleuten am effektivsten zu transportieren. Ein Algorithmus wird hier und im Allgemeinen als in sich konsistente Sequenz von Schritten verstanden, die zu einem gewünschten Ergebnis führt. Die Schritte sind die, die physikalische Manipulationen physikalischer Größen erfordern. Diese Größen nehmen für gewöhnlich aber nicht unbedingt die Form elektrischer oder magnetischer Signale an, die gespeichert, übertragen, kombiniert, verglichen und anderweitig manipuliert werden können. Es hat sich prinzipiell aus Gründen der allgemeinen Verwendung als passend erwiesen, auf diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Ausdrücke, Nummern oder dergleichen Bezug zu nehmen.
Diese und ähnliche Ausdrücke sollten allerdings mit den geeigneten physikalischen Größen verbunden sein, und sind lediglich praktische für diese Größen angewandte Etiketten. Wenn nichts Besonderes in der Beschreibung ausgesagt ist, wird angenommen, dass in der Beschreibung Erläuterungen unter Verwendung der Ausdrücke „Verarbeiten“ oder „Berechnen“ oder „Bestimmen“ oder „Anzeigen“ oder dergleichen sich auf die Aktion und Prozesse eines Computersystems oder ähnlichen elektronischen Recheneinrichtung beziehen, die als physikalische (elektronische) Größen in den Registern und Speichern des Computersystems dargestellte Daten in andere Daten manipulieren und transformieren, die auch als physikalische Größen im Speicher oder den Registern des Computersystems oder anderen derartigen Informationsspeichern, Übertragungen oder Anzeigeeinrichtungen dargestellt sind.
Die vorliegenden Ausführungsbeispiele der Beschreibung können sich auch auf eine Vorrichtung zur Durchführung der hier aufgeführten Operationen beziehen. Diese Vorrichtung kann eine für die erforderlichen Zwecke speziell aufgebaute sein, oder sie kann einen Universalcomputer enthalten, der durch ein im Computer gespeichertes Computerprogramm selektiv aktiviert oder rekonfiguriert wird. Ein derartiges Computerprogramm kann in einem computerlesbaren Speichermedium gespeichert sein, das eine beliebige Art Scheibe enthält, aber nicht darauf beschränkt ist, wie Floppy-Disks, optische Scheiben, CD-ROMs und magnetische Scheiben, Nur-Lese-Speicher (ROMs), Speicher mit wahlfreiem Zugriff (RAMs), EPROMs, EEPROMs, magnetische und optische Karten, Flash-Speicher einschließlich USB-Keys mit nichtflüchtigem Speicher oder jede Art Medium, die zur Speicherung elektronischer Anweisung geeignet ist, die jeweils mit einem Computersystembus verbunden sind.
Die Offenbarung kann die Form einiger Nur-Hardware-Ausführungsbeispiele, einiger Nur-Software-Ausführungsbeispiele oder einiger Ausführungsbeispiele annehmen, die sowohl Hardware- als auch Softwareelemente enthalten. Bei einigen bevorzugten Ausführungsbeispielen ist die Offenbarung als Software implementiert, die Firmware, residente Software, Mikrocode, usw. enthält, aber nicht darauf beschränkt ist.
Die Beschreibung kann ferner die Form eines Computerprogrammprodukts annehmen, das von einem computerverwendbaren oder computerlesbaren Medium zugänglich ist, das Programmcode zur Verwendung durch oder in Verbindung mit einem Computer oder einem beliebigen Anweisungsausführungssystem bereitstellt. Zum Zweck der Beschreibung kann ein computerverwendbares oder computerlesbares Medium eine beliebige Vorrichtung sein, die das Programm zur Verwendung durch oder in Verbindung mit dem Anweisungsausführungssystem, der Vorrichtung oder Einrichtung enthalten, speichern, kommunizieren, weiterleiten oder transportieren kann.
Ein zur Speicherung oder Ausführung von Programmcode geeignetes Datenverarbeitungssystem enthält zumindest einen direkt oder indirekt über einen Systembus mit Speicherelementen verbundenen Prozessor. Die Speicherelemente können einen lokalen Speicher enthalten, der während der tatsächlichen Ausführung des Programmcodes verwendet wird, einen Massenspeicher und Cachespeicher, die einem temporären Speicher zumindest einigen Programmcode bereitstellen, um die Anzahl der Zeiten zu verringern, die der Code aus dem Massenspeicher während der Ausführung abgerufen werden muss.
Eingabe-Ausgabe- oder I/O-Einrichtungen (die Tastaturen, Anzeigen, Zeigeeinrichtungen, usw. beinhalten aber nicht darauf beschränkt sind) können mit dem System entweder direkt oder über intervenierende I/O-Controller verbunden sein.
Netzwerkadapter können mit dem System verbunden sein, um dem Datenverarbeitungssystem die Verbindung mit anderen Datenverarbeitungssystemen oder entfernten Druckern oder Speichereinrichtungen über intervenierende private oder öffentliche Netzwerke zu ermöglichen. Modems, Kabelmodem und Ethernet-Karten sind lediglich einige der aktuell verfügbaren Arten von Netzwerkadaptern.
Die hier dargestellten Algorithmen und Anzeigen sind nicht eigentlich auf einen bestimmten Computer oder eine andere Vorrichtung bezogen. Verschiedene Universalsysteme können mit Programmen gemäß der hier beschriebenen Lehre verwendet werden, oder es kann passend sein, eine spezialisiertere Vorrichtung zur Durchführung der erforderlichen Verfahrensschritte aufzubauen. Die erforderliche Struktur für eine Vielfalt dieser Systeme ergibt sich aus der Beschreibung. Die Offenbarung ist auch nicht hinsichtlich einer bestimmten Programmiersprache beschrieben. Eine Vielfalt von Programmiersprachen kann zum Implementieren der hier beschriebenen Lehre verwendet werden.
Die vorstehende Beschreibung der Ausführungsbeispiele der Offenbarung ist zum Zweck der Veranschaulichung und Beschreibung präsentiert. Sie ist nicht erschöpfend oder soll die Beschreibung auf die offenbarte präzise Form einschränken. Im Lichte der vorstehenden Lehre sind viele Modifikationen und Variationen möglich. Der Schutzbereich der Offenbarung soll nicht durch diese ausführliche Beschreibung, sondern nur durch die Ansprüche dieser Anmeldung beschränkt sein. Der Fachmann erkennt, dass die Offenbarung in anderen speziellen Formen ausgeführt werden kann, ohne vom Schutzbereich oder ihren grundlegenden Eigenschaften abzuweichen. Gleichermaßen sind die bestimmten Benennungen und Einteilungen der Module, Routinen, Merkmale, Attribute, Methodiken und andere Aspekte nicht zwingend oder erheblich, und die Einrichtungen, die die Offenbarung oder ihre Merkmale implementieren, können verschiedene Namen, Einteilungen oder Formate haben. Der Fachmann erkennt ferner, dass die Module, Routinen, Merkmale, Attribute, Methodiken und andere Aspekte der Offenbarung als Software, Hardware, Firmware oder einer Kombination dieser drei implementiert werden kann. Wo immer eine Komponente der Offenbarung, deren Beispiel ein Modul ist, als Software implementiert ist, kann die Komponente als alleinstehendes Programm, als Teil eines größeren Programms oder eine Vielzahl separater Programme, als statisch oder dynamisch verlinkte Bibliothek, als kernladbares Modul, als Einrichtungstreiber oder in jeder beliebigen anderen bekannten oder zukünftigen dem Fachmann auf dem Gebiet der Computerprogrammierung bekannten Art implementiert werden. Außerdem ist die Offenbarung in keiner Weise auf ein Ausführungsbeispiel in einer bestimmten Programmiersprache oder für ein bestimmtes Betriebssystem oder bestimmte Umgebung beschränkt. Die Offenbarung veranschaulicht demnach den Schutzbereich der Spezifikation, der in den folgenden Patentansprüchen dargelegt ist, und schränkt ihn nicht ein.
Die Offenbarung beinhaltet Ausführungsbeispiele zum Unterstützen eines Fahrers eines Fahrzeugs beim Sehen von Verkehrsspiegelinhalt. Ein Verfahren gemäß einigen Ausführungsbeispielen enthält ein Abrufen von globalen Positionierungssystem-(GPS-)Daten, die einen aktuellen Ort eines Fahrzeugs beschreiben. Das Verfahren enthält ein Erzeugen von Spiegeldaten beruhend auf den GPS-Daten, wobei die Spiegeldaten einen festen Ort eines in einer Fahrbahnumgebung enthaltenen Verkehrsspiegels identifizieren. Das Verfahren enthält ein Anweisen eines mit dem Fahrzeug assoziierten externen Sensors beruhend auf den Spiegeldaten zur Aufnahme aufgenommener Bilddaten, die ein Bild des Verkehrsspiegels beschreiben. Das Verfahren enthält ein Erzeugen verarbeiteter Bilddaten, die eine optisch umgekehrte Version des Bildes beschreiben. Das Verfahren enthält ein Anweisen einer Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 14471387 [0052, 0063]

Claims

Verfahren mit Erzeugen von Spiegeldaten beruhend auf globalen Positionierungssystem-, GPS-, Daten, wobei die Spiegeldaten einen festen Ort eines in einer Fahrbahnumgebung enthaltenen Verkehrsspiegels identifizieren und die GPS-Daten einen aktuellen Ort eines in der Straßenumgebung enthaltenen Fahrzeugs beschreiben, Anweisen eines mit dem Fahrzeug assoziierten externen Sensors zur Aufnahme aufgenommener Bilddaten beruhend auf den Spiegeldaten, wobei die aufgenommenen Bilddaten ein Bild des Verkehrsspiegels beschreiben, Erzeugen verarbeiteter Bilddaten, die eine optisch umgekehrte Version des Bildes beschreiben, und Anweisen einer im Fahrzeug enthaltenen Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes durch Bereitstellen der verarbeiteten Bilddaten für die Anzeigeeinrichtung.
Verfahren nach Anspruch 1, wobei die Anzeigeeinrichtung eine erweiterte Realitätskorbbrille umfasst, und das Anweisen der Anzeigeeinrichtung zur Anzeige der verarbeiteten Bilddaten enthält Bereitstellen der verarbeiteten Bilddaten für die erweiterte Realitätskorbbrille, Empfangen von eine Position eines Kopfs eines Fahrers des Fahrzeugs beschreibenden Kopfpositionsdaten, im Ansprechen auf ein Bestimmen beruhend auf den Kopfpositionsdaten, dass eine die optisch umgekehrte Version des Bildes zeigende graphische Überlagerung anzuzeigen ist, Erzeugen der graphischen Überlagerung, Anweisen der erweiterten Realitätskorbbrille zur Anzeige der graphischen Überlagerung und Anweisen der erweiterten Realitätskorbbrille zur periodischen Anzeige einer Aktualisierung für die graphische Überlagerung.
Verfahren nach Anspruch 2, wobei im Ansprechen auf ein Bestimmen zur Anzeige der graphischen Überlagerung ferner auf einer Bestimmung beruht, dass der Fahrer an den festen Ort in der realen Welt schaut, wo sich der Verkehrsspiegel befinden würde.
Verfahren nach Anspruch 1, wobei das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes im Ansprechen auf eine Bestimmung beruhend auf einer Analyse von Fahrzeugdaten geschieht, dass das Fahrzeug stationär ist.
Verfahren nach Anspruch 1, ferner mit Bestimmen einer Absicht eines Fahrers des Fahrzeugs zum Abbiegen in eine bestimmte Richtung, Schätzen, ob das Abbiegen in die bestimmte Richtung für den Fahrer sicher ist, und wobei das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes ein Anweisen der Anzeigeeinrichtung zur Bereitstellung einer Empfehlung darüber enthält, ob das Abbiegen in die bestimmte Richtung für den Fahrer sicher ist.
Verfahren nach Anspruch 1, wobei die Anzeigeeinrichtung eine dreidimensionale Blickfeldanzeigeeinrichtung, 3D-HUD, umfasst, und das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes ein Anzeigen der verarbeiteten Bilddaten auf der 3D-HUD enthält.
Verfahren nach Anspruch 1, wobei die verarbeiteten Bilddaten ferner eine vergrößerte Version der optisch umgekehrten Version des Bildes und/oder eine nichtverzerrte Version der optisch umgekehrten Version des Bildes beschreiben.
Verfahren nach Anspruch 1, wobei das Anweisen des externen Sensors zur Aufnahme des Bildes des Verkehrsspiegels beruhend auf den Spiegeldaten ferner enthält Empfangen aufgenommener Bilddaten vom externen Sensor, Vergleichen der aufgenommenen Bilddaten mit Objekt-A-priori-Wahrscheinlichkeiten und Identifizieren des Verkehrsspiegels beruhend auf dem Vergleich der aufgenommenen Bilddaten mit den Objekt-A-priori-Wahrscheinlichkeiten.
Verfahren nach Anspruch 1, wobei die Anzeigeeinrichtung eine elektronische Vollfarbenanzeige umfasst.
Verfahren nach Anspruch 1, wobei die GPS-Daten von einer DSRC-konformen GPS-Einheit empfangen werden, die Teil des Fahrzeugs ist.
Verfahren nach Anspruch 1, wobei das Erzeugen der Spiegeldaten beruhend auf den GPS-Daten enthält Empfangen von Kartendaten, die entsprechende Orte für einen Satz von Verkehrsspiegeln an einem geographischen Ort beschreiben, und Identifizieren des festen Orts des Verkehrsspiegels durch Vergleichen des aktuellen Orts des Fahrzeugs mit den Kartendaten.
System mit einem fahrzeugeigenen Computersystem mit einem nichtflüchtigen Speicher, der Computercode speichert, der bei Ausführung durch das fahrzeugeigene Computersystem das fahrzeugeigene Computersystem veranlasst zum Empfangen von globalen Positionierungssystem-, GPS-, Daten, die einen aktuellen Ort eines Fahrzeugs beschreiben, Erzeugen von Spiegeldaten beruhend auf den GPS-Daten, wobei die Spiegeldaten einen festen Ort eines in einer Fahrbahnumgebung enthaltenen Verkehrsspiegels identifizieren, Anweisen eines mit dem Fahrzeug verbundenen externen Sensors beruhend auf den Spiegeldaten zur Aufnahme aufgenommener Bilddaten, die ein Bild des Verkehrsspiegels beschreiben, Erzeugen verarbeiteter Bilddaten, die eine optisch umgekehrte Version des Bildes beschreiben, und Anweisen einer Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes durch Bereitstellen der verarbeiteten Bilddaten für die Anzeigeeinrichtung, und der mit dem fahrzeugeigenen Computersystem verbundenen Anzeigeeinrichtung, wobei die Anzeigeeinrichtung zum Empfangen der verarbeiteten Bilddaten und zur Anzeige der optisch umgekehrten Version des Bildes betreibbar ist.
System nach Anspruch 12, wobei die Anzeigeeinrichtung eine erweiterte Realitätskorbbrille umfasst und das fahrzeugeigene Computersystem zusätzlichen Code enthält, der bei Ausführung durch das fahrzeugeigene Computersystem das fahrzeugeigene Computersystem veranlasst zum Bereitstellen der verarbeiteten Bilddaten für die erweiterte Realitätskorbbrille, Empfangen von eine Position eines Kopfs eines Fahrers des Fahrzeugs beschreibenden Kopfpositionsdaten, im Ansprechen auf ein Bestimmen beruhend auf den Kopfpositionsdaten, eine graphische Überlagerung anzuzeigen, die die optisch umgekehrte Version des Bildes zeigt, Erzeugen der graphischen Überlagerung, Anweisen der erweiterten Realitätskorbbrille zur Anzeige der graphischen Überlagerung und Anweisen der erweiterten Realitätskorbbrille zum periodischen Anzeigen einer Aktualisierung für die graphische Überlagerung.
System nach Anspruch 13, wobei im Ansprechen auf das Bestimmen zur Anzeige der graphischen Überlagerung ferner auf einer Bestimmung beruht, dass der Fahrer an den festen Ort in der realen Welt schaut, wo sich der Verkehrsspiegel befinden würde.
Computerprogrammprodukt mit einem nichtflüchtigen Speicher eines fahrzeugeigenen Computersystems eines Fahrzeugs, der computerausführbaren Code speichert, der bei Ausführung durch das fahrzeugeigene Computersystem das fahrzeugeigene Computersystem veranlasst zum Empfangen von globalen Positionierungssystem-, GPS-, Daten, die einen aktuellen Ort eines Fahrzeugs beschreiben, Erzeugen von Spiegeldaten beruhend auf den GPS-Daten, wobei die Spiegeldaten einen festen Ort eines in einer Fahrbahnumgebung enthaltenen Verkehrsspiegels identifizieren, Anweisen eines mit dem Fahrzeug assoziierten externen Sensors beruhend auf den Spiegeldaten zur Aufnahme aufgenommener Bilddaten, die ein Bild des Verkehrsspiegels beschreiben, Erzeugen verarbeiteter Bilddaten, die eine optisch umgekehrte Version des Bildes beschreiben, und Anweisen einer Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes.
Computerprogrammprodukt nach Anspruch 15, wobei die Anzeigeeinrichtung eine erweiterte Realitätskorbbrille umfasst und der computerausführbare Code das fahrzeugeigene Computersystem veranlasst zum Bereitstellen der verarbeiteten Bilddaten für die erweiterte Realitätskorbbrille, Empfangen von eine Position eines Kopfs eines Fahrers des Fahrzeugs beschreibenden Kopfpositionsdaten, im Ansprechen auf ein Bestimmen beruhend auf den Kopfpositionsdaten, eine graphische Überlagerung anzuzeigen, die die optisch umgekehrte Version des Bildes zeigt, Erzeugen der graphischen Überlagerung, Anweisen der erweiterten Realitätskorbbrille zur Anzeige der graphischen Überlagerung und Anweisen der erweiterten Realitätskorbbrille zur periodischen Anzeige einer Aktualisierung für die graphische Überlagerung.
Computerprogrammprodukt nach Anspruch 16, wobei im Ansprechen auf das Bestimmen zur Anzeige der graphischen Überlagerung ferner auf einer Bestimmung beruht, dass der Fahrer an den festen Ort in der echten Welt schaut, wo sich der Verkehrsspiegel befinden würde.
Computerprogrammprodukt nach Anspruch 15, wobei das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes im Ansprechen auf eine Bestimmung beruhend auf einem Analysieren von Fahrzeugdaten geschieht, dass das Fahrzeug stationär ist.
Computerprogrammprodukt nach Anspruch 15, wobei der computerausführbare Code das fahrzeugeigene Computersystem veranlasst zum Bestimmen einer Absicht eines Fahrers des Fahrzeugs zum Abbiegen in eine bestimmte Richtung, und Schätzen, ob das Abbiegen in die bestimmte Richtung für den Fahrer sicher ist, wobei das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes ein Anweisen der Anzeigeeinrichtung zur Bereitstellung einer Empfehlung darüber enthält, ob das Abbiegen in die bestimmte Richtung für den Fahrer sicher ist.
Computerprogrammprodukt nach Anspruch 15, wobei die Anzeigeeinrichtung eine dreidimensionale Blickfeldanzeige, 3D-HUD, umfasst, und das Anweisen der Anzeigeeinrichtung zur Anzeige der optisch umgekehrten Version des Bildes ein Anzeigen der optisch umgekehrten Version des Bildes auf der 3D-HUD enthält.