-
Die Erfindung betrifft ein Verfahren zum assistierten Betreiben eines Fahrzeugs, insbesondere eines Radfahrzeugs, wie eines Pkws, Lkws, Omnibusses oder Kraftrads.
-
Mit den Zielen Unfallzahlen zu verringern, den Fahrkomfort zu erhöhen und es Fahrzeugführern zu ermöglichen, die Fahrzeit produktiv zu gestalten, streben Entwicklungen in der Fahrzeugbranche danach, den Fahrzeugführer bei seiner Fahraufgabe stärker durch automatische Systeme zu unterstützen und von der Fahraufgabe zunehmend zu entlasten. Vollautonom fahrende Fahrzeuge sind eine starke Ausprägung des assistierten Betriebs eines Fahrzeugs sowie eines Fahrzeugassistenzsystems. Assistiert betriebene Fahrzeuge und die entsprechenden Fahrzeugassistenzsysteme müssen insoweit zunehmend befähigt werden, alltägliche Verkehrssituationen korrekt zu erfassen und zu verarbeiten.
-
Im Stadtverkehr ergeben sich regelmäßig Fahrsituationen, in denen die Sicht des Fahrzeugführers eingeschränkt ist, jedoch für eine Bewertung der Verkehrssituation erforderlich ist. An schwer einsehbaren Abzweigungen und Kreuzungen, in Parkhäusern oder in Gebieten mit dichtem Gebäudebestand, sind daher Spiegel vorgesehen, die dem Fahrer einen Einblick in einen schwer oder nicht einsehbaren Bereich erlauben. Zur Vergrößerung des Einsichtbereichs sind solche Spiegel bisweilen als Weitwinkelspiegel ausgeführt, die einen größeren Abbildungsbereich aufweisen, diesen jedoch verzerrt darstellen. Aufgrund der spiegelbildlichen Darstellung und der Verkleinerung der im Spiegel sichtbaren Szene, fällt es manchen Fahrzeugführern schwer, im Spiegel Gesehenes in Bezug auf die konkrete Fahrsituation korrekt zu interpretieren. Bei Weitwinkelspiegeln ist die korrekte Interpretation aufgrund der optischen Verzerrung zusätzlich erschwert.
-
Aus
DE 10 2014 224 762 A1 sind ein Verfahren und eine Vorrichtung bekannt, gemäß denen ein Kamerasystem Brems- oder Warnblinklichter eines vorausfahrenden Fahrzeugs erfasst, die durch ein unmittelbar vorausfahrendes Fahrzeug verdeckt sind. Dazu werden Reflektionen in lackierten Seitenflächen anderer Fahrzeuge, in Schau- oder Fahrzeugfenstern ausgewertet.
-
Aus
US20160179093A1 ist bekannt, im Sichtbereich eines Bildsensors nach Hilfssichtgeräten zu suchen, sobald erfasst wird, dass eine direkte Sicht des Bildsensors blockiert ist. Mittels der Hilfssichtgeräte werden Objekte in Bereichen detektiert, auf die eine direkte Sicht des Bildsensors blockiert ist.
-
Es ist Aufgabe der Erfindung, die Nachteile des Stands der Technik zu überwinden, insbesondere ein Verfahren zum assistierten Betreiben eines Fahrzeugs bereit zu stellen, die den Fahrer bei der Beurteilung einer schwer erfassbaren Verkehrssituation unterstützen.
-
Diese Aufgabe wird durch das Verfahren nach Anspruch 1 gelöst. Danach ist ein Verfahren zum assistierten Betreiben eines Fahrzeugs vorgesehen, bei dem mit einem insbesondere fahrzeugbasierten Bildgebungssensor, wie einem Kamerasystem, ein Bilddatenstrom erzeugt wird, der die Umgebung des Fahrzeugs repräsentiert. Vorzugsweise erfasst ein im Fahrzeug integriertes Spiegelerfassungsmodul einen Spiegel, insbesondere einen ortsfesten Spiegel, wie einen Verkehrsspiegel. Anschließend wird der Bilddatenstrom in einem vorzugsweise den Spiegel einfassenden Bereich, insbesondere von dem Spiegelerfassungsmodul analysiert. Der Spiegeleinfassungsbereich deckt wenigstens einen reflektierenden Teil des Spiegels ab. Optional wird der Spiegeleinfassungsbereich derart erweitert, dass eine Spiegelfassung, ein Spiegelrand, ein Spiegelmast und/oder ein Spiegelumfeld eingefasst sind. Ein Fahrzeugrechner leitet, basierend auf dem Ergebnis der Analyse des Spiegeleinfassungsbereichs und/oder des Spiegelreflexionsbereichs, ein Assistenzereignis ab und steuert ein Fahrzeugsystem auf Basis des Assistenzereignisses an. Vorzugsweise bestimmt der Fahrzeugrechner das Assistenzereignis aus einer Orientierung des Spiegels im Raum und einer Bewegung eines im Spiegel reflektierten und erfassten Objekts ab.
-
Das Verfahren kann auf einem Fahrzeugassistenzsystem ausgeführt werden, dass dafür ausgelegt und eingerichtet ist. Ein solches Fahrzeugassistenzsystem umfasst einen Bildgebungssensor, der einen die Umgebung des Fahrzeugs repräsentierenden Bilddatenstrom erzeugt, und einen Fahrzeugrechner, der dazu ausgelegt ist, aus einem Ergebnis eine Analyse des Bilddatenstroms ein Assistenzereignis abzuleiten und eine Schnittstelle zu einem Fahrzeugsystem auf Basis des Assistenzereignisses anzusteuern. Das Fahrzeugassistenzsystem umfasst auch ein Spiegelerfassungsmodul, das dazu ausgelegt ist, einen Spiegel im Bilddatenstrom zu erfassen.
-
Durch die Erfassung von Spiegeln, wie Verkehrs-, Sicherheits- und/oder Kontrollspiegeln, sowie der automatisierten Analyse von in einem Spiegel abgebildeten Szenen und Ableitung eines Assistenzereignisses, wie eines Warnhinweises, wird das Führen eines Fahrzeugs in einer für den Fahrzeugführer schwer einschätzbaren Situation vereinfacht. In teil- oder vollautonom betriebenen Fahrzeugen ermöglicht der Einsatz des erfindungsgemäßen Verfahrens oder Systems einen automatisierten Betrieb in Verkehrssituationen, in denen eine korrekte Erfassung der Umgebung von der Beobachtung eines Spiegels abhängt.
-
Bei einer bevorzugten Ausführung wird das Vorhandensein und/oder eine Position des Spiegels, insbesondere auf Basis von Daten eines Navigationssystems, wie Karteninformationen, eines Verkehrszeichenerkennungssystems, einer Fahrzeugsensorik, eines Car2Car- und/oder Infrastructure2Car-Kommunikationssystems vorzugsweise durch das Spiegelerfassungsmodul vorhergesagt, insbesondere bevor das Fahrzeug in einen Bereich einfährt, in dem der Bildgebungssensor den Spiegel insbesondere weiterverarbeitungssicher erfassen kann.
-
Vorzugsweise prüft das Spiegelerfassungsmodul in Abhängigkeit von der Momentanposition des Fahrzeugs eine Objektdatenbank, ob diese in einem Suchumfeld der Momentanposition als Spiegel klassifizierte Objekte enthält. Insbesondere ist das Suchumfeld größer als ein maximaler Erfassungsbereich des Bildgebungssensors. Vorzugsweise passt das Spiegelerfassungsmodul das Suchumfeld fortlaufend abhängig von der Fahrzeuggeschwindigkeit und/oder Fahrzeugrouteninformationen an, um ein optimales Verhältnis aus Datenverkehr und Informationsverfügbarkeit zu erzielen. Vorzugsweise ist die Objektdatenbank mit einem Navigationssystem, wie einem Satellitennavigationssystem, und/oder einem Umgebungsmodell des Fahrzeugs verbunden, welche(s) als Spiegel klassifizierte Objekte und deren Position an die Objektdatenbank übermitteln. Optional legt ein Verkehrszeichenerkennungsmodul Objekte, die Merkmale eines Verkehrszeichens aufweisen, jedoch keinem bekannten Verkehrszeichen exakt entsprechen, als potentielle Spiegel in der Objektdatenbank ab.
-
Das Fahrzeugumgebungsmodell wird insbesondere von einem Sensordatenfusionsmodul auf Basis von Sensorinformationen des Fahrzeugs und/oder fahrzeugexternen Informationen über die Fahrzeugumgebung laufend aktualisiert. Insbesondere wird auf Basis der Spiegelpositionsvorhersage ein Suchbereich im Bilddatenstrom definiert, in dem ein Spiegel mit erhöhter Wahrscheinlichkeit erfassbar ist.
-
Erfindungsgemäß wird der Bilddatenstrom für eine Erfassung des Spiegels, insbesondere durch ein Spiegelerfassungsmodul, in einem berechneten Suchbereich des Bilddatenstroms ausgewertet. Der Suchbereich auf Basis von der Position, und insbesondere Ausrichtung, Standort, Befestigungshöhe und/oder Spiegeltyp des Spiegels in der Umgebung des Fahrzeugs berechnet. Insbesondere wird Position, Blickfeld und/oder Abbildungsparameter des Bildgebungssensors bei der Berechnung einbezogen. Optional wird der Suchbereich unter Berücksichtigung einer Bewegung des Fahrzeugs laufend aktualisiert. Insbesondere wird der Suchbereich auf Basis einer Fahrzeugbewegungsvorhersage zeitlich vorausberechnet. Insbesondere wird hierzu ein parametriertes Bewegungsmodell eingesetzt, das den Suchbereich im Bilddatenstrom bewegungsparameterabhängig angibt, so dass über den Bewegungsparameter des Fahrzeugs recheneffizient der Suchbereich ermittelt werden kann. Vorzugsweise stellt das Spiegelerfassungsmodul die Größe des Suchbereichs dynamisch in Abhängigkeit von einem Vertrauenswert hinsichtlich der Suchbereichsberechnung ein.
-
In einer bevorzugten Ausführung umfasst das Erfassen des Spiegels, dass statische Objekte im Suchbereich identifiziert, wenigstens eine Objekteigenschaft extrahiert und die Objekte auf Basis der Objekteigenschaft klassifiziert werden. Als statische Objekte werden solche identifiziert, deren absolute Position sich im Wesentlichen, d.h. abgesehen beispielsweise Bewegungen im Wind bei Straßenschildern, nicht ändert. Als Objekteigenschaft werden eine oder mehrere von Geometrie, Orientierung im Raum, Farbgebung, Farbmuster, Kontrastverlauf, Intensitätsverlauf und/oder Polarisation ausgewertet. Insbesondere umfasst der Bildgebungssensor einen Lichtsignalsender, vorzugsweise im Nahinfrarot oder Infrarotbereich. Insbesondere wird ein von Objekten reflektiertes Signal des Lichtsignalsenders von Spiegelerfassungsmodul ausgewertet, um eine Objekteigenschaft zu bestimmen. Vorzugsweise wird die Orientierung des Spiegels im Raum mittels eines LIDAR ermittelt.
-
In einer bevorzugten Ausführung umfasst das Analysieren des Bilddatenstroms in dem Spiegeleinfassungsbereich, dass eine Orientierung des Spiegels im Raum, also bezüglich aller Raumachsen, und/oder ein Abstand, vorzugsweise mehrere Abstände, wie Abstände der Spiegelecken, relativ zum Bildgebungssensor bestimmt wird. Insbesondere wird bei dem Klassifizieren eines Objekts als Spiegel, eine Spiegelgeometrie ermittelt und durch Vergleich mit in einem Speicher abgelegten Spiegelgeometrien und/oder eine Spiegelorientierung relativ zum Fahrzeug durch die Auswertung von Abständen bezüglich des Spiegels berechnet. Insbesondere wird mit Hilfe der Spiegelorientierung ein optisches Modell parametriert. In dem Spiegel erkannte Bilddatenstrominhalte werden in das Umgebungsmodell des Fahrzeugs übertragen, wobei das optische Modell als Übertragungsfunktion arbeitet.
-
Insbesondere wird ein Spiegelrahmen und/oder ein Spiegelreflexionsbereich erfasst. Vorzugsweise umfasst das Spiegelerfassungsmodul einen Merkmalsspeicher typischer Spiegelrahmengestaltungen, insbesondere umfassend die Spiegelrahmengeometrie, -dimension, und -farbgebung. Das Spiegelerfassungsmodul arbeitet einen Klassifikationsalgorithmus ab, um einen Spiegelrahmen innerhalb des Spiegeleinfassungsbereichs zu erfassen und/oder gegenüber dem Spiegelreflexionsbereich abzugrenzen.
-
In einer bevorzugten Ausführung wird die Abbildungsqualität, beispielsweise anhand von Reflexionsgrad, Bildschärfe, Bildbereichsgröße und/oder -auflösung, insbesondere in dem Spiegelreflexionsbereich analysiert und bewertet. Ist beispielsweise ein Spiegel beschlagen, kann dem Bilddatenstrom im Bereich des Spiegels nur sehr eingeschränkte Information über die Umgebung des Fahrzeugs entnommen werden. Insbesondere werden abhängig von der Abbildungsqualität Analyseschritte des Bilddatenstroms im Spiegeleinfassungsbereich oder Spiegelreflexionsbereich ausgeführt oder nicht ausgeführt. Im Fall von Sichtbehinderungen im Bereich des Spiegels oder eines nicht einsatzfähigen Spiegels, können somit Rechenzeit eingespart und Fehldetektionen vermieden werden.
-
In einer bevorzugten Ausführung umfasst das Analysieren des Bilddatenstroms, dass insbesondere durch das Spiegelerfassungsmodul eine Abbildungsbeeinflussung durch den Spiegel anhand einer Referenz erkannt und/oder kompensiert wird. Als Referenz für das Erkennen der Abbildungsbeeinflussung dient insbesondere ein oder mehrere Teile des Fahrzeugumgebungsmodells. Insbesondere wird dazu eine Abbildung im Spiegel unter der Hypothese erfasst, dass keine Abbildungsbeeinflussung durch den Spiegel vorliegt, und mit einem optischen Modell zu einem Vorschlag für das Fahrzeugumgebungsmodell umgerechnet. Der Vorschlag wird mit dem Fahrzeugumgebungsmodell verglichen und das optische Modell hinsichtlich einer Minimierung der Abweichung vom Fahrzeugumgebungsmodell, insbesondere von der Referenz, optimiert. Insbesondere enthält das optische Modell wenigstens einen Parameter, der die Abbildungsbeeinflussung durch eine Wölbung des Spiegels in einer oder mehreren Raumrichtungen betrifft. Der Parameter wird derart optimiert wird, dass das optische Modell die Abbildungsbeeinflussung des Spiegels vorzugsweise innerhalb eines Toleranzbandes realitätsgetreu berechnet. Insbesondere ist die Referenz ein durch Navigationsdaten und/oder durch Sensordatenfusion mit hoher Konfidenz bestätigtes Objekt im Fahrzeugumgebungsmodell, wie eine gerade Straßenmarkierung, Gebäudewand, ein Pfosten, und/oder ein Verkehrsschild.
-
In einer bevorzugten Ausführung wird ein durch den Spiegel reflektierter Umgebungsbereich des Fahrzeugs analysiert. Insbesondere wird dazu ein Spiegelreflexionsbereich aus dem Spiegeleinfassungsbereich segmentiert und eine Objekterfassung in dem Umgebungsbereich durchgeführt, der im Spiegelreflexionsbereich abgebildet ist. Insbesondere ist hierzu ein Objekterfassungsmodul vorgesehen, das die Objekterfassung auf einem Fahrzeugrechner, vorzugsweise von einem Mehrkernprozessorsystem, durchführt. Das Objekterfassungsmodul berücksichtigt vorzugsweise Umgebungsinformation, wie Bildtiefeninformation, bezüglich des im Spiegel reflektierten Umgebungsbereichs auf Basis eines optischen Modells. Mit Hilfe der Objekterfassung werden dem Fahrzeugumgebungsmodell zusätzliche Daten über Objekte mitgeteilt, die von der Sensorik des Fahrzeugs ohne das erfindungsgemäße Verfahren nicht erfassbar wären. Insbesondere bestimmt das Objekterfassungsmodul Dimensionen von Objekten, wie ein Höhen- und/oder Breitenmaß eines Fahrzeugs, eine Breite einer Fahrbahnspur oder Höhe und/oder Abmessung von Verkehrsschildern. Vorzugsweise wird die Bestimmung von Abmessungen und einer Position der im Spiegel erfassten Objekte präzisiert, indem diese mit anderen erfassten Objekten, die standardisierte Maße ausweisen oder deren Dimensionen aus Navigationsdaten bekannt sind, geometrisch in Bezug gesetzt werden.
In einer bevorzugten Ausführung umfasst die Analyse des Spiegeleinfassungsbereichs, dass die Position von im Spiegeleinfassungsbereich, insbesondere im Spiegelreflexionsbereich, erfassten Objekte für beliebige Zeitpunkte prädiziert wird. Insbesondere wird die Eigenbewegung des Fahrzeugs und des Bildgebungssensors für die Prädiktion kompensiert. Vorzugsweise werden die erfassten Objekte in bewegliche und statische Objekte klassifiziert. Vorzugsweise wird für bewegliche Objekte durch das Objekterfassungsmodul eine Zeit bis zu einer potentiellen Kollision prädiziert (time to collision, kurz: TTC). Insbesondere leitet der Fahrzeugrechner aus der TTC ein Assistenzereignis, wie ein Automatische Notbremsung aus.
-
In einer bevorzugten Ausführung umfasst die Analyse des Spiegeleinfassungsbereichs, dass Bewegungen im Spiegel erfasster Objekte mittels des Strahlensatzes und des Reflexionsgesetzes prädiziert werden. Insbesondere werden damit Analyseergebnisse komplexerer optischer Modelle plausibilisiert. Insbesondere werden bei der Anwendung des Strahlensatzes und/oder des Reflexionsgesetzes für die Prädiktion notwendige Objektabmessungen durch Standardabmessungen dieses Objekttyps ersetzt. In die Prädiktion eingehende Strecken werden insbesondere aus Navigationsdaten ermittelt.
-
In einer bevorzugten Ausführung wird das Ergebnis der Analyse des Spiegeleinfassungsbereichs, vorzugsweise eines Spiegelreflexionsbereichs, einem Sensordatenfusionsmodul zugeführt. Optional gleicht das Sensordatenfusionsmodul die Daten über erfasste Objekte mit bestehenden Daten des Fahrzeugumgebungsmodells ab und bewertet deren Zuverlässigkeit. Insbesondere leitet das Sensordatenfusionsmodul vorzugsweise bezüglich deren Zuverlässigkeit bewertete Daten an das Fahrzeugumgebungsmodell weiter.
-
In einer bevorzugten Ausführung wird der Spiegeleinfassungsbereich, insbesondere der Spiegelreflexionsbereich, unter Verwendung von Daten eines Fahrzeugumgebungsmodells analysiert. Insbesondere werden in dem Fahrzeugumgebungsmodell bekannte oder geschätzte Objekte im Spiegelreflexionsbereich gesucht und deren Position und/oder Bewegungsdaten bestätigt. Vorzugsweise werden optisch (noch) nicht erfasste Objekte dem Fahrzeugumgebungsmodell aus Navigationsdaten und/oder Car2Car- und/oder Infrastructure2Car-Kommunikationsdaten hinzugefügt.
-
In einer bevorzugten Ausführung umfasst das Assistenzereignis eine Warnvorgabe, eine Fahrempfehlungsvorgabe, eine Beschleunigungs- und/oder Bremsvorgabe und/oder eine Lateralsteuerungsvorgabe. Vorzugsweise berechnet der Fahrzeugrechner abhängig von dem Automatisierungsgrad des Fahrzeugs und dem Autonomiegrad des aktuellen Fahrmodus an die Fahrsituation angepasste Assistenzereignisse. Optional wird die Routenplanung, das Verkehrsgeschehen und/oder Verkehrsregeln berücksichtigt. In einer Ausführung umfasst ein Assistenzereignis, dass die im Spiegel, vorzugsweise in Bezug auf das Fahrzeugumgebungsmodell, erfasste Verkehrssituation vergrößert und/oder als symbolische Repräsentation mit Hilfsinformationen auf einem Head-Up-Display und/oder einem Bildschirm dargestellt wird. In hochautomatisierten Fahrzeugen oder Fahrmodi berechnet der Fahrzeugrechner Brems-, Ausweich-, und/oder andere geeignete Fahrmanöver auf Basis der vorangehenden Verfahrensschritte, also der im Spiegel erfassten Szene. Die Fahrmanöver werden als Fahrempfehlungsvorgaben und/oder konkrete Stellsignale an andere Systeme des Fahrzeugs übermittelt.
-
In einer bevorzugten Ausführung umfasst der Bildgebungssensor ein 3D-Kamerasystem, wie ein Stereo-Kamerasystem, ein Triangulationssystem mit im Infrarotbereich arbeitender Lichtquelle, einen PMD-Sensor, und/oder ein LIDAR-System. In einer Variante wird der Bilddatenstrom von einem fahrzeugexternen Bildgebungssensor erzeugt und an das assistiert betriebene Fahrzeug über ein Datenübertragungsnetz, insbesondere ein Car-2-Car-Kommunikationsnetz, übertragen. In einer bevorzugten Ausführung der Erfindung ist der Bildgebungssensor ist der Bildgebungssensor Teil einer Monokamera.
-
In einer bevorzugten Ausführung der Erfindung umfasst der Bildgebungssensor ein Zoomobjektiv, das einen bestimmten Beobachtungsbereich vergrößert dem Bildgebungssensor bereitstellt. Vorzugsweise ist der Bildgebungssensor motorisiert drehbar und/oder neigbar. Insbesondere umfasst der Bildgebungssensor eine Nachführautomatik, die dazu ausgelegt ist, auf Basis von Bewegungsdaten des Fahrzeugs und/oder Daten eines Fahrzeugumgebungsmodells, einen bestimmten Beobachtungsbereich im Aufnahmebereich des Zoomobjektivs zu halten.
-
Weitere Vorteile, Eigenschaften und Merkmale der Erfindung werden durch die folgende Beschreibung bevorzugter Ausführungen der Erfindung anhand der beiliegenden Zeichnungen deutlich, in denen zeigen:
- 1: Eine beispielhafte Verkehrssituation, in der das erfindungsgemäße Verfahren zum Einsatz kommt;
- 2: eine schematische Darstellung eines Fahrzeugassistenzsystems; und
- 3: ein Blockdiagramm das den Ablauf des erfindungsgemäßen Verfahrens illustriert.
-
In 1 ist eine T-Kreuzung gezeigt, an der aufgrund eines Sichthindernisses 4 eine Vorfahrtsstraße 6 teilweise nicht einsehbar ist. Das Fahrzeug 2, das an die T-Kreuzung kommt und Vorfahrt gewähren muss, hat somit keine direkte Sicht auf die Vorfahrtsstraße 6. Als Hilfsmittel ist an der Kreuzung ein Verkehrsspiegel 8 aufgestellt, der im Raum so ausgerichtet ist, dass in dem Bereich der Kreuzung, in dem das Fahrzeug 2 seine Fahrt verlangsamt, um dem Fahrzeug 4, auf der Vorfahrtsstraße 6 Vorfahrt zu gewähren, ein Einblick in das Geschehen auf der Vorfahrtsstraße 6 durch Beobachtung des Verkehrsspiegels 8 möglich ist.
-
Sowohl das Fahrzeug 2 als auch das Fahrzeug 4 können mit einem Fahrzeugassistenzsystem 10 gemäß dem Beispiel in 2 ausgestattet sein und/oder nach dem in 3 beispielhaft dargestellten Verfahren 100 assistiert betrieben werden.
Das in 2 schematisch dargestellte Fahrzeugassistenzsystem 10 umfasst als Bildgebungssensor ein Kamerasystem 20. Das Kamerasystem 20 ist ein 3D-Kamerasystem, das für den Aufnahmebereich Tiefeninformationen und Abstandsinformationen relativ zur Aufnahmeposition des Kamerasystems 20 bereitstellt. Die Tiefeninformation und Abstandsinformation wird gemäß der Aufnahmeauflösung aus den Bildrohdaten ermittelt. Das 3D-Kamerasystem 20 ist mit in Fahrtrichtung weisender Aufnahmerichtung im Fahrzeug verbaut. Das 3D-Kamerasystem erzeugt im Verfahrensschritt 110 gemäß 3 in einem Zwischenspeicher 22 fortlaufend einen Bilddatenstrom, der die im Aufnahmebereich des 3D-Kamerabereichs 20 erfasste Umgebung des Fahrzeugs darstellt. Der in dem Zwischenspeicher 22 abgelegte Bilddatenstrom ist von dem Kamerasystem 20 vorverarbeitet, so dass Aufnahmeartefakte oder Störungen im Bilddatenstrom minimiert sind.
-
In einem nicht näher dargestellten Ausführungsbeispiel, das dem in den 2 und 3 erläuterten Ausführungsbeispielen entspricht, soweit es nicht explizit anders beschrieben ist, ist das Kamerasystem 20 als Monokamera mit nur einem Bildgebungssensor ausgeführt.
-
Das in 2 dargestellte Spiegelerfassungsmodul 24 greift im Verfahrensschritt 120 gemäß 3 auf den im Zwischenspeicher 22 vorgehaltenen Bilddatenstrom zu, um in diesem einen Spiegel zu erfassen. Dazu schneidet das Spiegelerfassungsmodul 24 einen Bildbereich aus dem Bilddatenstrom heraus, der mit einer hohen Wahrscheinlichkeit einen Spiegel enthält. Für die Bestimmung, welcher Bildbereich mit hoher Wahrscheinlichkeit einen Spiegel enthält, greift das Spiegelerfassungsmodul 24 auf eine im Fahrzeugassistenzsystem 10 vorgehaltene Suchzieldatenstruktur zu, die bestimmte Bildbereich vorgibt. Eine besondere Ausführung unterscheidet sich vom Ausführungsbespiel wie bis hierher und im Nachfolgenden beschrieben lediglich dadurch, dass die Datenstruktur laufend vom Fahrzeugrechner 30 anhand statistischer Kriterien über bekannte Verkehrsspiegel, von Navigationsdaten, der Fahrzeugposition, des Fahrzeugneigungswinkels und/oder absoluter Position und Erfassungsbereich des Bildgebungssensors 20 aktualisiert wird.
-
Das Fahrzeugassistenzsystem 10 schaltet das Spiegelerfassungsmodul 24 aus einem ressourcenschonenden Modus in einen aktiven Verarbeitungsmodus, sobald auf Basis des Fahrzeugumgebungsmodells eine für die Erfassung eines Spiegels relevante Fahrsituation erfasst wird. Besondere straßenbauliche Anordnungen, wie spitzwinklig aufeinander zulaufende Straßen, Kreuzungsbereiche, in denen Gebäude nahe an den Fahrbahnrand gebaut sind, Einmündungen von steil abfallenden oder stark ansteigenden Straßen und enge Gassen verlangen das Vorsehen eines Verkehrsspiegels. Bereiche dieser Art sind entweder in Navigationsdaten des Fahrzeugs mit hohem Spiegelhäufigkeitsindikator gekennzeichnet oder als Situationsmuster in dem Fahrzeugassistenzsystem 10 hinterlegt. In der letztgenannten Variante werden die Situationsmuster mit den Navigationsdaten der Umgebung des Fahrzeuges, insbesondere mit einer geschwindigkeitsabhängigen Vorlaufzeit, vorausschauend durch den Fahrzeugrechner 30 abgeglichen. Dazu wird ein Klassifikationsalgorithmus eingesetzt. Es wird in einer bevorzugten Ausführung ein größerer Bereich abgeglichen, als der vom Fahrzeugumgebungsmodell erfasst ist. Abhängig von der Ähnlichkeit des abgeglichenen Bereichs mit einem der Situationsmuster wird dem Bereich ein höherer oder niedrigerer Spiegelhäufigkeitsindikator zugewiesen. Wird ein Schwellwerts des Spiegelhäufigkeitsindikators bei Befahren eines Bereichs überschritten, aktiviert das Fahrzeugassistenzsystem 10 das Spiegelerfassungsmodul 24.
-
Optional berechnet das Fahrzeugassistenzsystem 10 auf Basis der Navigationsdaten eine erwartete absolute Position eines Spiegels und/oder die erwartete Position des Spiegels innerhalb des Bilddatenstroms voraus. Das Spiegelerfassungsmodul 24 schneidet auf Basis der vom Fahrzeugassistenzsystem 10 vorausberechneten erwarteten Position eines Spiegels einen Bereich aus dem Bilddatenstrom und führt eine Objekterkennung aus. Insbesondere klassifiziert das Spiegelerfassungsmodul 24 Objekte auf Basis von Verkehrsspiegelmustern einschließlich typischer Ausrichtungen in Spiegel und Nichtspiegel. Anschließend sucht das Spiegelerfassungsmodul 24 nach insbesondere für die Fahrzeugposition typischen Bildmerkmalen eines Verkehrsspiegels, wie Spiegelrahmengestaltungen, Sonnenschutzblenden, Spiegelmontagemerkmalen und/oder Dimensionen, um einen Spiegeleinfassungsbereich innerhalb des Bilddatenstroms festzulegen.
-
Optional sendet das Spiegelerfassungsmodul 24 den Spiegeleinfassungsbereich über eine Schnittstelle an ein Verkehrszeichenerkennungsmodul. Ermittelt das Verkehrszeichenerkennungsmodul kein Verkehrszeichen in dem übermittelten Bildabschnitt, setzt das Spiegelerfassungsmodul die Analyse des Spiegeleinfassungsbereichs fort.
-
Das Spiegelerfassungsmodul 24 klassifiziert, insbesondere unter Auswertung einer Geometrie des Spiegelrahmens, Objekte und/oder ermittelt auf Basis eines geometrischen Modells, die Orientierung eines erfassten Spiegels im Raum. Das Spiegelerfassungsmodul 24 berücksichtigt dabei die momentane Aufnahmeposition- und/oder perspektive des Kamerasystems 30. Die sich durch die Fahrzeugbewegung ändernde Perspektive auf den Spiegel wird optional mit Hilfe eines Perspektivenmodels unter Einbeziehung der zuvor ermittelten Spiegelorientierung berechnet und mit der tatsächlichen Perspektivenänderung des Spiegels, insbesondere des Spiegelrahmens, im Bilddatenstrom verglichen. Aus den Abweichungen zwischen Berechnung und der tatsächlichen Spiegelperspektive korrigiert das Spiegelerfassungsmodul eine ursprünglich ermittelte absolute Spiegelorientierung bezüglich der Umgebung, sofern ein Fehlertoleranzband nicht eingehalten ist.
-
Anschließend führt das Spiegelerfassungsmodul 24 eine Bildmerkmalssuche im Spiegeleinfassungsbereich durch, um einen Spiegelreflexionsbereich zu bestimmen. Die Bildmerkmalssuche umfasst, dass die Farbgestaltung eines Spiegelrahmens, typische Rahmenformen und/oder -dimensionen, Farb- und/oder Helligkeitsverläufe, Kontrastverläufe und/oder Lichtpolarisation ermittelt und im Hinblick auf die Bestimmung des Spiegelreflexionsbereichs klassifiziert und lokalisiert werden. Insbesondere werden Farb- und/oder Helligkeitsverläufe über die Zeit verglichen. Auf Grund des sich mit der Fahrzeugbewegung ändernden Beobachtungspunkt ändert sich Farb- und/oder Helligkeitsverlauf oder -verteilung im Spiegelreflexionsbereich. Der Spiegelrahmen bleibt demgegenüber im Wesentlichen unverändert, so dass bei dieser Ausführung aus den Verlaufs- oder Verteilungsänderungen über die Zeit, der Spiegelreflexionsbereich durch das Spiegelerfassungsmodul 24 von einer Spiegelumgebung und/oder einem Spiegelrahmen differenziert wird.
-
Das Spiegelerfassungsmodul 24 umfasst eine Nachführautomatik, die den Spiegeleinfassungsbereich im Bilddatenstrom auf Basis von Fahrzeugbewegungsdaten verfolgt. In einer optionalen Ausgestaltung umfasst das Kamerasystem 20 einen insbesondere zusätzlichen Zielsensor, dessen Erfassungsbereich beweglich, wie motorisch dreh- und/oder neigbar ist. In dieser Ausgestaltung arbeitet die Nachführautomatik des Spiegelerfassungsmoduls 24 mit dem Zielsensor zusammen, um eine bestmögliche Spiegelerfassung und Verfolgung im Bilddatenstrom zu erreichen. Vorzugsweise gleicht der Zielsensor Fahrzeugbewegungen durch Sensorgegenbewegungen zumindest teilweise aus. Optional ist das Kamerasystem 20, insbesondere der Zielsensor mit einem Zoomobjektiv ausgestattet. Das Zoomobjektiv kann weit entfernte Verkehrsspiegel erfassen und dem Fahrzeugassistenzsystem 10 einen Bilddatenstrom und/oder eine Auswertung des Spiegeleinfassungsbereichs frühzeitig zur Verfügung stellen.
-
Der Fahrzeugrechner 30 empfängt vom Spiegelerfassungsmodul 24 als Ergebnis einer Analyse des Bilddatenstroms, insbesondere des Spiegelreflexionsbereichs, Daten über Objekte in der Umgebung des Fahrzeugs, die von dem Spiegelerfassungsmodul 24 bei der Analyse des Spiegelreflexionsbereichs erfasst wurden. Die Daten umfassen insbesondere eine Objektklassifikation, Objektbewegungsdaten, vorhergesagte Objektbewegungsdaten und/oder Objekttrajektorien. Der Fahrzeugrechner 30 wertet die vom Spiegelerfassungsmodul 24 übermittelten Informationen aus und leitet ein für die Situation und/oder den Fahrmodus geeignetes Assistenzergebnis ab.
Der Fahrzeugrechner 30 umfasst einen Speicher von Assistenzereignissen. Assistenzereignisse sind hörbare, sichtbare und spürbare Rückmeldungen für die Insassen des Fahrzeugs und/oder situationsabhängige Ansteuerbefehle für Fahrzeugsysteme. Die Ansteuerbefehle werden über die Schnittstelle 90 an das jeweilige Fahrzeugsystem übermittelt. Insbesondere umfasst die Schnittstelle einen Ver- und Entschlüsselungschip. Insbesondere an das Fahrverhalten beeinflussende Aktoren überträgt die Schnittstelle 90 die Ansteuerbefehle kryptographisch verschlüsselt. Die Ansteuerbefehle, die in dem Verfahrensschritt 160 übermittelt werden, bewirken eine Fahrzeugaktion, wie eine Geschwindigkeitsänderung, ein Richtungsänderung, eine Änderung eines Fahrzeugsystemparameters, wie die Absenkung einer Airbagauslöseschwelle, die Vorbereitung des Fahrzeugs, insbesondere von Fahrzeugbediensystemen, auf eine Übergabe einzelner Assistenzfunktionen an einen Fahrer, nach au-ßen hör- oder sichtbare Warnsignale, wie ein Warnhupen, und/oder das präventive Absenden eines Unfallnotrufs, sofern eine Kollision unvermeidbar ist.
-
In 3 ist ein Ausführungsbeispiel eines Verfahrens 100 zum assistierten Betreiben eines Fahrzeugs dargestellt. Dabei wird in einem Umgebungserfassungsschritt 110 mit einem in dem Fahrzeug integrierten Bildgebungssensor, wie einer Monokamera oder dem 3D-Kamerasystem 20, ein Bilddatenstrom, d. h. eine zeitdiskrete kontinuierliche Abfolge von Datensätzen, die die Umgebung des Fahrzeugs repräsentieren, erzeugt.
-
In einer nicht näher dargestellten Variante des Verfahrens, wird der Umgebungserfassungsschritt mit einem Bildgebungssensor ausgeführt, das sich in der Umgebung des Fahrzeugs befindet, das mit dem Verfahren 100 betrieben wird. Beispielsweise kann ein mit Car2Car-Kommunikationsmitteln ausgestattetes Fahrzeug, das vor dem assistiert betriebenen Fahrzeug fährt, den Bilddatenstrom versenden. In dieser Variante wird der Bilddatenstrom mit Aufnahmepositionsinformationen an das Fahrzeug übermittelt, das assistiert betrieben wird.
-
Im Spiegelerfassungsschritt 120 ermittelt das Fahrzeugassistenzsystem 10, ob und wo ein Verkehrsspiegel in dem Bilddatenstrom vorhanden ist. Dazu wird insbesondere der Inhalt des Bilddatenstroms in statische und sich bewegende Objekte klassifiziert. Auf die statischen Objekte wird ein Mustervergleich angewandt, der mit standardisierten oder üblichen Merkmalen von Verkehrsspiegeln arbeitet, wie Rahmen gewisser Farben, vorbestimmte Rahmenbreiten und/oder übliche Rahmengeometrien. Während des Mustervergleichs werden die statischen Objekte im Bilddatenstrom nachverfolgt. Die für den Mustervergleich relevanten Ausschnitte des Bilddatenstroms werden vom übrigen Bilddatenstrom segmentiert, so dass die Rechenzeit optimiert ist. Der Bilddatenstrom umfasst zudem eine Tiefeninformation, beispielsweise bereitgestellt durch eine 3D-Kamera oder ein LIDAR-System. Bildbereiche und -objekte werden auf Basis von Tiefeninformation und/oder einer Realgrößenberechnung ausgeschlossen, wenn diese nicht im plausiblen Umgebungsbereich eines Verkehrsspiegels oder einer üblichen Verkehrsspiegelposition liegen.
-
Ist ein potentieller Verkehrsspiegel in dem Bilddatenstrom identifiziert, werden im Erfassungsschritt 120 spiegeltypische Bildmerkmale im Bereich des Spiegels untersucht, insbesondere Farb- und/oder Helligkeitsvarianz und/oder -verläufe, Lichtintensität und/oder Polarisierung des Lichts. Dies dient wie oben zu 2 beschrieben dazu, den Spiegel, dessen Eigenschaften und einen Spiegelreflexionsbereich zu erfassen.
-
In einer Variante des Verfahrens empfängt das Spiegelerfassungsmodul 24 Positionsdaten eines sich in der Umgebung befindenden Verkehrsspiegels. Die Positionsdaten werden von einem fahrzeuginternen Navigationssystem oder fahrzeugextern, insbesondere durch einen an den Verkehrsspiegel angebrachten Infrastrukturdatensender mitgeteilt. Auf Basis der Positionsdaten berechnet das Spiegelerfassungsmodul 24, unter Berücksichtigung der Fahrzeugposition, eine erwartete Spiegelposition relativ zum Fahrzeug und/oder dem Bildgebungssensor und wählt einen vorbestimmten Bereich im Bilddatenstrom für die Spiegelerfassung aus. Eine Objektklassifikation bezüglich eines Spiegels wird in einer optionalen Ausgestaltung dieser Ausführung auf den vorbestimmten Bereich beschränkt.
-
Ist ein Spiegel erfasst, wird wie weiter zu 2 beschrieben ein Spiegelreflexionsbereich im Bilddatenstrom ermittelt und analysiert, um einen Qualitätsindikator für die Darstellung im Spiegel zu bestimmen. Hierzu kann eine Objekterkennungsrate und/oder eine Kantenschärfe und/oder ein Verhältnis von polarisiertem im Vergleich zu diffusem Licht als Qualitätsindikator herangezogen werden. Ist der Qualitätsindikator unterhalb eines Schwellwerts, wird im Analyseschritt 130 keine Objekterkennung ausgeführt, sondern dem Fahrzeugrechner als Analyseergebnis eine Nichtanalysebestätigung gesendet. Als Assistenzereignis leitet der Fahrzeugrechner 30 optional einen Hinweis an ein Fahrzeugbediensystem weiter.
-
Im Spiegelerfassungsschritt 120 berechnet das Spiegelerfassungsmodul 24 aus dem Bilddatenstrom auch eine absolute Orientierung des Spiegels im Raum. Dazu werden Spiegelgeometrie, Aufnahmeperspektive des Bildgebungssensors und/oder perspektivische Verzerrung der Spiegelgeometrie ausgewertet. Ein Kantendetektor extrahiert die Geometrie des Spiegelrahmens und bestimmt auf Basis geometrischer Grundmodelle, wie einem Rechteckspiegel oder einem Rundspiegel, unter Einbeziehung der Position des Bildgebungssensors, Fluchtpunktdaten im Bilddatenstrom und der Winkel und/oder Formabweichung relativ zum Grundmodell den Dreh- und/oder Kippwinkel des Spiegels im Raum, also dessen Orientierung im Raum.
-
Eine anderen, nicht weiter dargestellten, Ausführung, unterscheidet sich lediglich dadurch von den vorher erläuterten Ausführung, dass eine Tiefinformation des Bildgebungssensors zusätzlich ausgewertet wird, um die Orientierung im Raum zu präzisieren.
-
In einer anderen, nicht weiter dargestellten, im Übrigen übereinstimmenden Ausführung, die mit den vorher erläuterten Ausführungen kombinierbar ist, werden die Ausrichtung oder Orientierung des Spiegels alternativ oder zusätzlich durch Navigationsdaten oder eine fahrzeugexterne Datenquelle bereitgestellt.
-
Auf Basis der ermittelten absoluten Raumorientierung des Verkehrsspiegels, erzeugt das Spiegelerfassungsmodul 24 im Analyseschritt 130 ein optisches Abbildungsmodell, das im Spiegelbereich des Bilddatenstroms dargestellten Objekten, auf Basis deren virtueller Position im Spiegel, eine Realposition im Umgebungsmodell des Fahrzeugs zuweist. Bei der Berechnung des optischen Modells werden Navigationsdaten und/oder das Umgebungsmodell des Fahrzeugs als Raummodell verwendet. Das Spiegelerfassungsmodul 24 berechnet das optische Abbildungsmodell kontinuierlich unter Einbeziehung der Position des Bildgebungssensors neu.
-
Im Analyseschritt 130 erfasst ein Objekterkennungsmodul des Fahrzeugassistenzsystems 10 Objekte in dem zur Analyse weitergeleiteten Spiegelreflexionsbereich des Spiegelerfassungsmoduls 24. Das Objekterkennungsmodul leitet die Objektinformationen an das Spiegelerfassungsmodul 24 zurück, das mit Hilfe des optischen Modells eine Position, Bewegung und Eigenschaften der Objekte berechnet. Das Spiegelerfassungsmodul 24 aktualisiert mit den berechneten Objekten das Umgebungsmodell des Fahrzeugs.
Im Verarbeitungsschritt 140 analysiert das Fahrzeugassistenzsystem 10 mit dem Fahrzeugprozessor 30 laufend die Ergebnisse des Analyseschritts 130 durch Überwachung des Fahrzeugumgebungsmodells und leitet einer Fahr- und/oder Betriebsstrategie entsprechende Assistenzereignisse ab. Wird ein sich bewegendes Objekt mit für das assistiert betriebene Fahrzeug potentiell gefährlicher Trajektorie im Spiegel erfasst, leitet der Fahrzeugrechner 30 als Assistenzereignis in einer Ausführung ein Hinweisereignis für ein Fahrzeugbediensystem ab. In einem teilautonomen Betriebsmodus eines Fahrzeugs wird als Assistenzereignis, sofern eine Kollision mit einem im Spiegel erfassten Objekt wahrscheinlich wäre, eine Brems- und/oder Lenkvorgabe abgeleitet, die eine Kollision mit dem Objekt vermeidet. Bei der Ableitung eines Assistenzereignisses in einem teil- oder vollautonomen Fahrbetriebsmodus wird bei der Ableitung des Assistenzereignisses die geplante Fahrtrajektorie sowie die Fahrstrategie berücksichtigt.
-
Im Ansteuerschritt 150 wird wenigstens ein Fahrzeugsystem entsprechend dem abgeleiteten Assistenzereignis angesteuert. Dazu sendet das Fahrzeugassistenzsystem 10 an das Fahrzeugsystem über die Schnittstelle 90 Ansteuerbefehle, die das Assistenzereignis umsetzen.
-
In einer nicht näher dargestellten Ausführung, die im Übrigen identisch zu dem vorbeschriebenen Verfahren ist, wird im Analyseschritt 130 eine Verzerrung des Verkehrsspiegels ermittelt. Dazu wird wenigstens eine Referenz, wie ein Objekt, verwendet, die sich in der Fahrzeugumgebung befindet und im Spiegelreflexionsbereich abgebildet ist. Beispielsweise werden Straßenrandmarkierungen, Bordsteinkanten, Bäume, Gebäude oder Verkehrszeichen als Referenzmerkmale verwendet. Zunächst wird die Referenz im Spiegelreflexionsbereich erfasst, wobei vorzugsweise ein Objektklassifikationsalgorithmus ausgeführt und ein Objekt ausgewählt werden. Dabei werden auf Basis von Navigationsdaten die zu erfassende Referenz sowie deren Positionen und deren Eigenschaften im Bilddatenstrom prädiziert. Hierbei wird das im Spiegelerfassungsmodul 24 berechnete optische Modell insbesondere gewichtet nach dessen Zuverlässigkeit berücksichtigt. Weicht die Referenz im Spiegelreflexionsbereich gegenüber einer erwarteten Darstellung ab, optimiert das Spiegelerfassungsmodul 24 Verzerrungsparameter bezüglich des Spiegels in dem optischen Modell, um die Abweichung zu minimieren. In einer Variante des Verfahrens sind die Verzerrungsparameter aus hochauflösenden Navigationsdaten und/oder einem Infrastrukturinformationsmodul vorbekannt und/oder werden dem Spiegelerfassungsmodul 24 von fahrzeugexternen Datenquellen übermittelt.
-
In einem nicht näher dargestellten Ausführungsbeispiel arbeitet das vorbeschriene Fahrzeugassistenzsystem 10 oder eine seiner Varianten gemäß dem Ausführungsbeispiel des Verfahrens 100 nach 3 oder einer seiner Varianten.
