DE102016001308A1

DE102016001308A1 - Verfahren zum Betreiben eines Fahrzeugs sowie Fahrzeug zum Durchführen des Verfahrens

Info

Publication number: DE102016001308A1
Application number: DE102016001308.7A
Authority: DE
Inventors: Frank Keck; Tobias Dirndorfer; Wolfgang Utschick; Stephan Herrmann
Original assignee: Tu Muenchen; Audi AG
Current assignee: Audi AG
Priority date: 2016-02-05
Filing date: 2016-02-05
Publication date: 2017-08-10

Abstract

Die vorliegende Erfindung betrifft ein Verfahren, umfassend die Schritte: a) Bereitstellen eines ersten Fahrzeugs, das (a1) eine Speichereinrichtung, in der eine Mehrzahl an Bildern gespeichert ist, die aus einer Mehrzahl an verschiedenen Positionen außerhalb des ersten Fahrzeugs oder eines gleichen Fahrzeug-Typs aufgenommen wurden, wobei jedes Bild eine Außenansicht des ersten Fahrzeugs/des Fahrzeug-Typs enthält und jedem Bild eine Information in Bezug auf die Aufnahmeposition relativ zu dem ersten Fahrzeug/Fahrzeug-Typ zugeordnet ist, (a2) eine Car-to-Car-Kommunikationseinrichtung sowie (a3) eine Einrichtung zum Auswerten von mittels der Car-to-Car-Kommunikationseinrichtung empfangenen Daten aufweist (S1), b) Bereitstellen eines zweiten Fahrzeugs, das (b1) eine bildgebende Sensorik zur Erfassung von wenigstens einem Bild eines Umfelds des zweiten Fahrzeugs und (b2) eine Car-to-Car-Kommunikationseinrichtung aufweist (S2), c) Erfassen von wenigstens einem aktuellen Bild durch die bildgebende Sensorik des zweiten Fahrzeugs, Aussenden des wenigstens einen Bildes mittels dessen Car-to-Car-Kommunikationseinrichtung und Empfangen des wenigstens einen ausgesandten Bildes durch die Car-to-Car-Kommunikationseinrichtung des ersten Fahrzeugs (S3), und d) Auswerten des von dem ersten Fahrzeug empfangenen wenigstens einen Bildes mittels seiner Auswertungseinrichtung und für den Fall, dass in dem wenigstens einen empfangenen Bild wenigstens ein Teil der Außenansicht des ersten Fahrzeugs enthalten ist, Berechnen oder Schätzen der Relativposition und Ausrichtung des zweiten Fahrzeugs in Bezug auf das erste Fahrzeug (S4).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs umfassend eine kooperative Lokalisierung eines zweiten Fahrzeugs relativ zu einem ersten Fahrzeug sowie ein Fahrzeug, das zur Durchführung des Verfahrens eingerichtet ist. Des Weiteren betrifft die vorliegende Erfindung ein System mit einem ersten und einem zweiten Fahrzeug.
Aus dem Stand der Technik ist bekannt, von fahrzeugseitigen Sensoreinrichtungen (die bspw. eine Kamera-, Video-, Radar-, Lasereinrichtung, etc. umfassen können) erfasste Daten bezüglich eines Umfelds des Fahrzeugs, sowie Eigendaten des Fahrzeugs für verschiedene Zwecke zu verwenden, wie etwa eine adaptive Abstandsregelung, eine Spurverlassenswarnung, eine Protokollierung einer Kollision, eine Warnung vor einer drohenden Kollision und eine Kollisionsvermeidung.
Sollen Daten einer fahrzeugseitigen Umfeldsensorik und die Eigendaten eines Fahrzeugs im Wege eines aktiven Sicherheitssystems verwendet werden, um bspw. Kollisionen im Straßenverkehr zu vermeiden oder um deren Folgen zu mindern, ist es für den Nutzen und die Akzeptanz solcher aktiven Sicherheitssysteme entscheidend, dass diese Systeme weder unnötigerweise auslösen (falsch-positiv) noch zu spät oder gar nicht auslösen (falsch-negativ).
Um eine möglichst hohe Güte der Auslöseentscheidung von aktiven Sicherheitssystemen zu erreichen, wird für eine Auslöseentscheidung daher in der Regel eine Plausibilisierung auf Grundlage von mehreren fahrzeugseitigen Sensoreinrichtungen vorgenommen. Ein entsprechendes Kollisionserkennungssystem für ein Fahrzeug ist bspw. in der DE 10 2013 108 000 A1 beschrieben.
Weiter ist aus dem Stand der Technik bekannt, dass für eine Kollisionsvermeidung ein erstes Kraftfahrzeug mittels Car-to-Car-Kommunikation von einem zweiten Kraftfahrzeug von selbigem gewonnene Umfeld-Messdaten empfängt und verarbeitet, damit das erste Kraftfahrzeug auf von den Umfeldsensoren des zweiten Kraftfahrzeugs erfasste, von dem ersten Kraftfahrzeug aber noch nicht erfasste oder noch nicht erfassbare Hindernisse reagieren kann, indem bspw. Steuerbefehle erzeugt werden. Ein entsprechendes Verfahren und ein entsprechendes Kraftfahrzeug ist bspw. Gegenstand der DE 10 2010 015 686 A1 .
Es ist Aufgabe der vorliegenden Erfindung, ein im Vergleich zum vorbekannten Stand der Technik verbessertes Verfahren, Fahrzeug und System zum Betreiben eines Kraftfahrzeugs bereitzustellen. Diese Aufgaben werden gelöst durch das Verfahren gemäß Anspruch 1, das Fahrzeug gemäß Anspruch 7 sowie das System gemäß Anspruch 10. Vorteilhafte Weiterbildungen und Ausgestaltungen des Verfahrens und des Fahrzeugs sind Gegenstand der Unteransprüche.
Erfindungsgemäß wird ein Verfahren zum Betreiben eines Kraftfahrzeugs vorgeschlagen, das die Schritte umfasst:

a) Bereitstellen eines ersten Fahrzeugs, das
(a1) eine Speichereinrichtung, in der eine Mehrzahl an Bildern gespeichert ist, die aus einer Mehrzahl an verschiedenen Positionen außerhalb des ersten Fahrzeugs oder eines gleichen Fahrzeug-Typs wie das erste Fahrzeug aufgenommen wurden, wobei jedes Bild eine Außenansicht des ersten Fahrzeugs oder des Fahrzeug-Typs enthält und jedem Bild eine Information in Bezug auf die Aufnahmeposition relativ zu dem ersten Fahrzeug oder Fahrzeug-Typ zugeordnet ist,
(a2) eine Car-to-Car-Kommunikationseinrichtung sowie
(a3) eine Einrichtung zum Auswerten von mittels der Car-to-Car-Kommunikationseinrichtung empfangenen Daten aufweist,
b) Bereitstellen eines zweiten Fahrzeugs, das
(b1) eine bildgebende Sensorik zur Erfassung von wenigstens einem aktuellen Bild eines Umfelds des zweiten Fahrzeug und
(b2) eine Car-to-Car-Kommunikationseinrichtung aufweist,
c) Erfassen von wenigstens einem aktuellen Bild durch die bildgebende Sensorik des zweiten Fahrzeugs, Aussenden des wenigstens einen Bildes mittels dessen Car-to-Car-Kommunikationseinrichtung und Empfangen des wenigstens einen ausgesandten Bildes durch die Car-to-Car-Kommunikationseinrichtung des ersten Fahrzeugs, und
d) Auswerten des von dem ersten Fahrzeug empfangenen wenigstens einen Bildes mittels seiner Auswertungseinrichtung und für den Fall, dass in dem wenigstens einen empfangenen Bild wenigstens ein Teil der Außenansicht des ersten Fahrzeugs enthalten ist, Berechnen oder Schätzen der Relativposition und Ausrichtung des zweiten Fahrzeugs in Bezug auf das erste Fahrzeug unter Vergleich der in dem wenigstens einen empfangenen Bild enthaltenen Außenansicht des ersten Fahrzeugs mit den in der Speichereinrichtung enthaltenen Außenansichten.

Wie oben bereits erwähnt, wird bei aktiven Sicherheitssystemen nach dem Stand der Technik zur Erreichung einer möglichst hohen Güte der Auslöseentscheidung für die Auslöseentscheidung in der Regel eine Plausibilisierung auf Grundlage von mehreren fahrzeugseitigen Sensoreinrichtungen vorgenommen.
Entscheidende Eingangsgrößen aktueller aktiver Sicherheitssysteme sind Umfeldinformationen wie Positionen, Winkel und Relativgeschwindigkeiten, die aus den Sensorrohdaten geschätzt werden. Die Techniken dieser Schätzung unterscheiden sich zwischen den verschiedenen OEMs bzw. Zulieferern und beeinflussen signifikant Güteeigenschaften wie Streuung, Drift, Latenz u. v. m.
Sowohl die Technik der Schätzung, als auch die Güte der Signale sind Geschäftsgeheimnisse. Daher ist in einem aktiven Sicherheitssystem derzeit keine Information dahin vorhanden, wie zuverlässig Umfeldinformationen eines anderen Fahrzeugs sind, weshalb diesen Informationen (Daten) nicht vertraut wird bzw. nicht vertraut werden kann.
Dieser Vertrauensmangel ist ein wichtiger Grund dafür, warum für Auslöseentscheidung derzeit lediglich Sensordaten genutzt werden, die vom eigenen Fahrzeug stammen, und dies auch dann, wenn das fremde Kollisionsfahrzeug ebenfalls über eine Umfeldsensorik verfügt.
Es werden somit nicht alle vorhandenen sensoriellen Informationen über eine Kollisionsszene genutzt. Dadurch können Falschentscheidungen entstehen, die den Nutzen von aktiven Sicherheitssystemen verringern.
Dieser Nachteil wird durch die vorliegende Erfindung zumindest zu einem großen Teil überwunden.
Für das Verfahren gemäß der vorliegenden Erfindung wird in einem Vorverfahren von der Außenansicht des ersten Fahrzeugs (das nachfolgend oftmals als „EGO-Fahrzeug” bezeichnet wird) oder von einem gleichen Fahrzeug-Typ wie das erste Fahrzeug eine Mehrzahl (d. h. 2 oder mehr) an Bildern aus geeignet gewählten Relativpositionen aufgenommen, diese gegebenenfalls auf geeignete Weise komprimiert, gegebenenfalls auf geeignete Weise entzerrt und in einer Speichereinrichtung des EGO-Fahrzeugs als Referenzdaten gespeichert. Jedem der gespeicherten Bilder ist eine Information in Bezug auf die Aufnahmeposition relativ zu dem EGO-Fahrzeug oder dem Fahrzeug-Typ zugeordnet, so dass die Referenzdaten aus einer Mehrzahl an Tupeln aus Bild und Informationen in Bezug auf die Aufnahmeposition des Bildes (bspw. unter Angabe von Relativposition und Relativwinkel) bestehen.
Das EGO-Fahrzeug kann die Relativposition und Ausrichtung zu einem zweiten Fahrzeug (das nachfolgend oftmals auch als KOOP-Fahrzeug bezeichnet wird) berechnen oder schätzen, indem das KOOP-Fahrzeug Bildinformationen aussendet, die von einer bildgebenden Sensorik des KOOP-Fahrzeugs stammen, mit der eine Umgebung des KOOP-Fahrzeugs erfasst wird oder werden kann.
Diese vom KOOP-Fahrzeug ausgesandten Bildinformationen können vom EGO-Fahrzeug empfangen und dahin ausgewertet werden, ob sie wenigstens einen Teil der Außenansicht des EGO-Fahrzeugs enthalten. Ist dies der Fall, erhält das EGO-Fahrzeug eine Information (ein Abbild) dahin, wie das EGO-Fahrzeug aus der Perspektive des KOOP-Fahrzeugs aussieht. Das EGO-Fahrzeug kann dieses Abbild mit den gespeicherten Referenzdaten vergleichen, um die Relativposition, Ausrichtung und/oder Trefferlage in Bezug auf das KOOP-Fahrzeug zu berechnen oder zu schätzen.
Durch die vorliegende Erfindung ist es somit nicht mehr erforderlich, dass ein Vertrauen in Berechnungen oder Schätzungen eines KOOP-Fahrzeugs vorhanden ist, deren Qualität wie oben beschrieben unbekannt ist, sondern lediglich in die Rohdaten der bildgebenden Sensorik des KOOP-Fahrzeugs. Die Abschätzung von Relativposition, Ausrichtung und/oder Trefferlage in Bezug auf das KOOP-Fahrzeug kann vom EGO-Fahrzeug selbst durchgeführt werden und ist somit vertrauenswürdig.
Erfindungsgemäß ergibt sich somit der Vorteil einer erhöhten Präzision von Auslöseentscheidungen von aktiven Sicherheitssystemen eines EGO-Fahrzeugs durch Verwendung von vertrauenswürdigen Sensordaten eines KOOP-Fahrzeugs, verbunden mit einer besseren Schätzung von Relativposition, Winkel und/oder Trefferlage bei (drohenden) Kollisionen.
Gemäß einer ersten vorteilhaften Weiterbildung des Verfahrens

– wird in Schritt a) ein EGO-Fahrzeug bereitgestellt, das weiter eine Steuereinrichtung aufweist,
– wird in Schritt c) eine Mehrzahl an aktuellen Bildern in zeitlicher Abfolge durch die bildgebende Sensorik des KOOP-Fahrzeugs erfasst, werden die erfassten Bilder mittels der Car-to-Car-Kommunikationseinrichtung des KOOP-Fahrzeugs ausgesandt und durch die Car-to-Car-Kommunikationseinrichtung des EGO-Fahrzeugs empfangen,
– werden in Schritt d) die von dem EGO-Fahrzeug empfangenen Bilder mittels seiner Auswertungseinrichtung ausgewertet und wird für den Fall, dass in wenigstens zwei der empfangenen Bilder wenigstens ein Teil der Außenansicht des EGO-Fahrzeugs enthalten ist, auch die Trefferlage des KOOP-Fahrzeugs in Bezug auf das EGO-Fahrzeug unter Vergleich der in den wenigstens zwei der empfangenen Bilder enthaltenen Außenansicht des EGO-Fahrzeugs mit den in der Speichereinrichtung enthaltenen Außenansichten berechnet oder geschätzt, und

– wird für den Fall, dass durch die Auswertungseinrichtung in Schritt d) das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit (etwa 50%ige, 55%ige, 60%ige, 65%ige, 70%ige, 75%ige, 80%ige, 85%ige, 90%ige, 92%ige, 93%ige, 94%ige, 95%ige, 96%ige, 97%ige, 98%ige, 99%ige, 100%ige Wahrscheinlichkeit; diese Angaben gelten auch für alle nachfolgend erwähnten „Grade an Wahrscheinlichkeit”) für eine Kollision des EGO-Fahrzeugs mit dem KOOP-Fahrzeug innerhalb einer vorgebbaren Zeitspanne (etwa innerhalb von 1 s, 1,5 s, 2 s, 2,5 s, 3 s, 3,5 s, 4 s, 4,5 s oder 5 s; diese Angaben gelten auch für alle nachfolgend erwähnten „Zeitspannen”) feststellt wird, von der Steuereinrichtung wenigstens ein Steuerbefehl an eine fahrzeugseitige Einrichtung des EGO-Fahrzeugs ausgegeben.
Aufgrund des von der Steuereinrichtung ausgegebenen wenigstens einen Steuerbefehls kann etwa

– ein optisch (etwa in Form eines Warnlichtes), akustisch (etwa in Form eines Warntons, einer Warntonfolge und/oder einer Sprachausgabe) und/oder haptisch (etwa in Form eines vibrierenden Bauteils, bspw. einer Lenkhandhabe, eines Sitzes) wahrnehmbares Warnsignal durch eine fahrzeugseitige Einrichtung des EGO-Fahrzeugs erzeugt werden, und/oder
– ein automatischer Eingriff in die Lenkung, die Bremseinrichtung und/oder die Motorsteuerung des EGO-Fahrzeugs durchgeführt werden.

Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens

– wird in Schritt a) ein EGO-Fahrzeug bereitgestellt, bei dem die in der Speichereinrichtung in Bezug auf die Aufnahmeposition relativ zum EGO-Fahrzeug oder Fahrzeug-Typ gespeicherte Information Daten auf Grundlage eines Inertialsystems, bevorzugt auf Grundlage eines kartesischen Koordinatensystems oder eines Polarkoordinatensystems umfasst,
– wird in Schritt a) ein EGO-Fahrzeug bereitgestellt, bei dem die in der Speichereinrichtung gespeicherten Bilder vor der Speicherung entzerrt wurden,
– wird in Schritt b) ein KOOP-Fahrzeug bereitgestellt, das eine Bildauswertungseinrichtung für das wenigstens eine von seiner bildgebenden Sensorik erfasste Bild aufweist,
– wird in Schritt c) wenigstens ein erfasstes Bild vor dem Aussenden einer Merkmalsextraktion durch die Bildauswertungseinrichtung des KOOP-Fahrzeugs unterzogen,
– wird in Schritt c) wenigstens ein erfasstes Bild vor der Aussendung durch die Bildauswertungseinrichtung des KOOP-Fahrzeugs entzerrt,
– wird in Schritt c) auch eine Information in Bezug auf die bei der bildgebenden Sensorik des KOOP-Fahrzeugs verwendete Optik und den verwendeten Bildsensor übertragen, und/oder
– werden in Schritt c) auch eine Information in Bezug auf den Abstand zwischen der Verbauposition der bildgebenden Sensorik und dem vorderen Ende der Vorderseite des zweiten Fahrzeugs, in Bezug auf die Breite der Vorderseite des zweiten Fahrzeugs und/oder einen Winkel der Zentralachse der Erfassungsrichtung der bildgebenden Sensorik in Bezug auf die senkrechte Mittenlängsebene des zweiten Fahrzeugs übertragen.

Weitere Vorteile ergeben sich, wenn bei dem Verfahren

– in Schritt a) ein EGO-Fahrzeug bereitgestellt wird, das weiter eine Umfeldsensoreinrichtung aufweist, mittels der eine Relativposition, Ausrichtung und/oder Trefferlage von wenigstens einem Objekt in einem Umfeld des EGO-Fahrzeugs festgestellt werden kann,
– in einem Fall, bei dem durch die Umfeldsensoreinrichtung des EGO-Fahrzeugs das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des EGO-Fahrzeugs mit einem Objekt innerhalb einer vorgebbaren Zeitspanne festgestellt wird, über die Car-to-Car-Kommunikationseinrichtung des EGO-Fahrzeugs eine Anforderung zum Aussenden von wenigstens einem aktuellen Bild der bildgebenden Sensorik eines KOOP-Fahrzeugs ausgesandt wird, und
– das KOOP-Fahrzeug in Schritt c) nur bei Empfang einer derartigen Anforderung wenigstens ein aktuelles Bild seiner bildgebenden Sensorik mittels seiner Car-to-Car-Kommunikationseinrichtung aussendet.

Gemäß noch einer weiteren vorteilhaften Weiterbildung des Verfahrens, kann

– in Schritt b) ein KOOP-Fahrzeug bereitgestellt werden, das weiter eine Umfeldsensoreinrichtung aufweist, mittels der eine Relativposition, Ausrichtung und/oder Trefferlage von wenigstens einem Objekt in einem Umfeld des KOOP-Fahrzeugs erkannt werden kann, und
– das KOOP-Fahrzeug in Schritt c) nur dann wenigstens ein aktuelles Bild seiner bildgebenden Sensorik mittels seiner Car-to-Car-Kommunikationseinrichtung aussendet, wenn durch seine Umfeldsensoreinrichtung das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des KOOP-Fahrzeugs mit dem Objekt innerhalb einer vorgebbaren Zeitspanne festgestellt wird.

Die vorliegende Erfindung umfasst auch ein EGO-Fahrzeug zur Durchführung des Verfahrens gemäß der vorliegenden Erfindung oder einer seiner vorteilhaften Weiterbildungen, wobei das EGO-Fahrzeug eine Car-to-Car-Kommunikationseinrichtung sowie eine Einrichtung zum Auswerten von mittels der Car-to-Car-Kommunikationseinrichtung empfangenen Daten aufweist.
Das EGO-Fahrzeug ist dadurch gekennzeichnet, dass es weiter aufweist

– eine Speichereinrichtung, in der eine Mehrzahl an Bildern gespeichert ist, die aus einer Mehrzahl an verschiedenen Positionen außerhalb des EGO-Fahrzeugs oder eines gleichen Fahrzeug-Typs wie das EGO-Fahrzeug aufgenommen wurden, wobei jedes Bild eine Außenansicht des EGO-Fahrzeugs oder des Fahrzeug-Typs enthält und jedem Bild wenigstens eine Information in Bezug auf die Aufnahmeposition relativ zu dem EGO-Fahrzeug oder dem Fahrzeug-Typ zugeordnet ist, und
– eine Auswertungseinrichtung, die dazu eingerichtet ist, wenigstens ein von einer bildgebenden Sensorik eines KOOP-Fahrzeugs stammendes und mittels der Car-to-Car-Kommunikationseinrichtung des EGO-Fahrzeugs empfangenes aktuelles Bild eines Umfelds des KOOP-Fahrzeugs auszuwerten und für den Fall, dass in dem wenigstens einen empfangenen Bild wenigstens ein Teil der Außenansicht des EGO-Fahrzeugs enthalten ist, die Relativposition und Ausrichtung des KOOP-Fahrzeugs in Bezug auf das EGO-Fahrzeug unter Vergleich der in dem wenigstens einen empfangenen Bild enthaltenen Außenansicht des Fahrzeugs mit den in der Speichereinrichtung des Fahrzeugs enthaltenen Außenansichten zu berechnen oder zu schätzen.

Gemäß einer ersten vorteilhaften Weiterbildung des EGO-Fahrzeugs kann

– das EGO-Fahrzeug weiter eine Steuereinrichtung aufweisen,
– die Auswertungseinrichtung des EGO-Fahrzeugs dazu eingerichtet sein, eine Mehrzahl an von einer bildgebenden Sensorik eines KOOP-Fahrzeugs stammende und von dieser in zeitlicher Abfolge erfasste, mittels der Car-to-Car-Kommunikationseinrichtung des EGO-Fahrzeugs empfangene aktuelle Bilder eines Umfelds des KOOP-Fahrzeugs auszuwerten und für den Fall, dass in wenigstens zwei der empfangenen Bilder wenigstens ein Teil der Außenansicht des EGO-Fahrzeugs enthalten ist, auch die Trefferlage des KOOP-Fahrzeugs in Bezug auf das EGO-Fahrzeug unter Vergleich der in den wenigstens zwei empfangenen Bildern enthaltenen Außenansicht des EGO-Fahrzeugs mit den in der Speichereinrichtung enthaltenen Außenansichten zu berechnen oder zu schätzen, und
– die Steuereinrichtung dazu eingerichtet sein, für den Fall, dass durch die Auswertungseinrichtung das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des EGO-Fahrzeugs mit dem KOOP-Fahrzeug innerhalb einer vorgebbaren Zeitspanne feststellt wird, wenigstens einen Steuerbefehl an eine fahrzeugseitige Einrichtung des EGO-Fahrzeugs auszugeben.

Weitere Vorteile ergeben sich, wenn bei dem EGO-Fahrzeug

– die in der Speichereinrichtung in Bezug auf die Aufnahmeposition relativ zu dem EGO-Fahrzeug oder dem Fahrzeug-Typ gespeicherte Information Daten auf Grundlage eines Inertialsystems, bevorzugt auf Grundlage eines kartesischen Koordinatensystems oder eines Polarkoordinatensystems umfasst,
– die in der Speichereinrichtung gespeicherten Bilder vor der Speicherung entzerrte Bilder umfassen, und/oder
– das EGO-Fahrzeug weiter eine Umfeldsensoreinrichtung aufweist, mittels der eine Relativposition, Ausrichtung und/oder Trefferlage von wenigstens einem Objekt in einem Umfeld des EGO-Fahrzeugs festgestellt werden kann, und das EGO-Fahrzeug dazu eingerichtet ist, in einem Fall, bei dem durch die Umfeldsensoreinrichtung das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des EGO-Fahrzeugs mit einem Objekt innerhalb einer vorgebbaren Zeitspanne festgestellt wird, über seine Car-to-Car-Kommunikationseinrichtung eine Anforderung zum Aussenden von wenigstens einem aktuellen Bild der bildgebenden Sensorik eines KOOP-Fahrzeugs auszusenden.

Die vorliegende Erfindung umfasst auch ein System aus einem erfindungsgemäßen EGO-Fahrzeug oder einem EGO-Fahrzeug gemäß den hier offenbarten vorteilhaften Weiterbildungen und Ausgestaltungen und wenigstens einem KOOP-Fahrzeug, das eine bildgebende Sensorik zur Erfassung von wenigstens einem aktuellen Bild eines Umfelds des KOOP-Fahrzeugs und eine Car-to-Car-Kommunikationseinrichtung aufweist.
Das System gemäß der vorliegenden Erfindung ist dadurch gekennzeichnet, dass das wenigstens eine KOOP-Fahrzeug

– weiter eine Bildauswertungseinrichtung für das von seiner bildgebenden Sensorik erfasste wenigstens eine aktuelle Bild aufweist, und die Bildauswertungseinrichtung dazu eingerichtet ist, eine Merkmalsextraktion bei dem von seiner bildgebenden Sensorik wenigstens einen erfassten Bild durchzuführen und/oder das wenigstens eine von seiner bildgebenden Sensorik erfasste Bild zu entzerren,
– dazu eingerichtet ist, mittels seiner Car-to-Car-Kommunikationseinrichtung eine Information in Bezug auf die bei der bildgebenden Sensorik des KOOP-Fahrzeugs verwendete Optik und den verwendeten Bildsensor zu übertragen,
– dazu eingerichtet ist, mittels seiner Car-to-Car-Kommunikationseinrichtung eine Information in Bezug auf den Abstand zwischen der Verbauposition der bildgebenden Sensorik und dem vorderen Ende der Vorderseite des KOOP-Fahrzeugs, in Bezug auf die Breite der Vorderseite des KOOP-Fahrzeugs und/oder einen Winkel der Zentralachse der Erfassungsrichtung der bildgebenden Sensorik in Bezug auf die senkrechte Mittenlängsebene des KOOP-Fahrzeugs zu übertragen,
– dazu eingerichtet ist, nur bei Empfang einer Anforderung zum Aussenden von wenigstens einem aktuellen Bild durch das EGO-Fahrzeug wenigstens ein aktuelles Bild seiner bildgebenden Sensorik mittels seiner Car-to-Car-Kommunikationseinrichtung auszusenden, und/oder
– weiter eine Umfeldsensoreinrichtung aufweist, mittels der eine Relativposition, Ausrichtung und/oder Trefferlage von wenigstens einem Objekt im einem Umfeld des KOOP-Fahrzeugs festgestellt werden kann, und es dazu eingerichtet ist, nur dann wenigstens ein von seiner bildgebenden Sensorik stammendes aktuelles Bild mittels seiner Car-to-Car-Kommunikationseinrichtung auszusenden, wenn durch seine Umfeldsensoreinrichtung das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des KOOP-Fahrzeugs mit dem Objekt innerhalb einer vorgebbaren Zeitspanne festgestellt wird.

Von der vorliegenden Erfindung umfasst sind auch alle Verfahren, die sich aus der Beschreibung der Fahrzeuge sowie des Systems gemäß der vorliegenden Anmeldung oder einer ihrer vorteilhaften Weiterbildungen für einen Fachmann ohne weiteres ergeben. Von der vorliegenden Erfindung umfasst sind auch alle EGO-Fahrzeuge, die sich aus der Beschreibung des Verfahrens sowie des Systems gemäß der vorliegenden Anmeldung oder einer ihrer vorteilhaften Weiterbildungen für einen Fachmann ohne weiteres ergeben. Ebenso sind von der vorliegenden Erfindung auch alle Systeme umfasst, die sich aus der Beschreibung des Verfahrens sowie der Fahrzeuge gemäß der vorliegenden Anmeldung oder einer ihrer vorteilhaften Weiterbildungen für einen Fachmann ohne weiteres ergeben. Entsprechendes gilt auch für die nachfolgende Beschreibung sowie die Figuren und deren Beschreibung.
Die vorliegende Erfindung wird anhand der beigefügten Zeichnungen näher erläutert.
Dabei zeigen:
1 eine schematische Darstellung der in einem Vorverfahren offline zu gewinnenden Referenzdaten;
2 eine schematische Darstellung des Verfahrens gemäß der vorliegenden Erfindung.
Die Darstellungen in den Figuren sind rein schematisch und nicht maßstabsgerecht.
Die nachfolgend erläuterten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar. Die vorliegende Erfindung ist selbstverständlich nicht auf diese Ausführungsformen beschränkt.
Die in der obigen Beschreibung genannten Merkmale und Merkmalskombinationen sowie die in der nachfolgenden Beschreibung von Ausführungsformen, Ausführungsbeispielen und der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Wie in 1 schematisch und beispielhaft gezeigt ist, wird für das Verfahren gemäß der vorliegenden Erfindung in einem Vorverfahren von dem EGO-Fahrzeug oder von einem gleichen Fahrzeug-Typ wie das EGO-Fahrzeug eine Mehrzahl an Bildaufnahmen aus geeignet gewählten, diskreten Relativpositionen aufgenommen. In 1 sind lediglich rein beispielhafte 8 Relativpositionen gezeigt. Gemäß der vorliegenden Erfindung ist jedoch weder die Anzahl an Relativpositionen noch der dargestellte Abstand der Aufnahmepositionen zum EGO-Fahrzeug entsprechend beschränkt.
Ziel der Aufnahme der Bilder ist es nämlich, Abbildungen vom EGO-Fahrzeug (oder von dem Fahrzeug-Typ) zu erhalten, in denen das EGO-Fahrzeug (oder der Fahrzeug-Typ) aus verschiedenen Winkeln abgebildet ist, derart, dass bei Durchführung des erfindungsgemäßen Verfahrens oder einer seiner vorteilhaften Weiterbildungen und Ausgestaltungen, etwa mittels geeigneter Interpolations- und/oder Regressionsverfahren eine möglichst gute Übereinstimmung zwischen der Abbildung der (Teil)Außenansicht in den vom KOOP-Fahrzeug empfangenen Bildern und den in der Speichereinrichtung des EGO-Fahrzeugs gespeicherten Außenansichten erreicht werden kann.
Viele Fahrzeuge, insbesondere Kraftfahrzeuge weisen einen spiegelsymmetrischen oder nahezu spiegelsymmetrischen Aufbau bezogen auf ihre senkrechte Mittenlängsebene auf. Bei derartigen Fahrzeugen ist es somit in einem einfachen Fall ausreichend, wenn im Rahmen des Vorverfahrens Bilder nur von einer Hälfte des EGO-Fahrzeugs oder vom gleichen Fahrzeugtyp wie das EGO-Fahrzeug aufgenommen werden, derart, dass aus den Bildern der einen Hälfte rechnerisch auch Bilder der zweiten Hälfte erstellt werden können.
In einem einfachsten Fall wären, bei einem geeigneten Abstand der Aufnahmeposition (Relativposition) von dem EGO-Fahrzeug (oder dem gleichen Fahrzeugtyp wie das EGO-Fahrzeug) und geeigneten bzw. geeignet gewählten Parametern der Aufnahmeeinrichtung somit bereits zwei Aufnahmen ausreichend, eine schräg von vorne und eine schräg von hinten, wobei darauf zu achten ist, dass in der Gesamtheit der beiden Aufnahmen eine Hälfte der Vorderseite bzw. Front (ab der senkrechten Mittenlängsebene), die vollständige Seite und eine Hälfte des Hecks (bis zur senkrechten Mittenlängsebene) enthalten ist. Aus diesen zwei Aufnahmen können dann rechnerisch Aufnahmen aus allen Winkeln rund um das EGO-Fahrzeug (oder dem gleichen Fahrzeugtyp) berechnet werden und auch rechnerisch Informationen bezüglich aller „virtuellen” Aufnahmepositionen erstellt werden.
Werden im Rahmen des Vorverfahrens nur Bilder von einer Hälfte eines spiegelsymmetrischen oder nahezu spiegelsymmetrischen EGO-Fahrzeugs in der Speichereinrichtung des EGO-Fahrzeugs gespeichert, so kann mit einer im Vergleich zur Aufnahme beider Hälften des EGO-Fahrzeugs (unter der Annahme eines gleichen „Abstands” der Aufnahmepositionen) halbierten Anzahl an Bildaufnahmen und damit auch mit der Hälfte an erforderlichem Speicherplatz in der Speichereinrichtung die gleiche Auflösung erreicht werden, oder es kann bei Verwendung eines Speicherplatzes, der bei einer Aufnahme von beiden Hälften des EGO-Fahrzeugs erforderlich wäre, (ebenfalls unter der Annahme eines gleichen „Abstands” der Aufnahmepositionen) die doppelte Auflösung erreicht werden, wodurch gegebenenfalls eine Erhöhung der Genauigkeit bei der verfahrensgemäßen Berechnung oder Schätzung erreicht werden kann.
In vielen Fällen kann es ausreichend sein, wenn die Bilder des EGO-Fahrzeugs (oder des Fahrzeug-Typs) mit einer Aufnahmeeinrichtung aufgenommen werden, bei der die Zentralachse der Linse(n) horizontal ausgerichtet ist und deren Relativposition zum EGO-Fahrzeug so gewählt ist, dass der Erfassungsbereich der Aufnahmeeinrichtung vom Boden bis zum oberen Ende des EGO-Fahrzeugs reicht.
Da jedoch vorab nicht bekannt ist, welcher Art das KOOP-Fahrzeug sein wird und wo, insbesondere in welcher Höhe die bildgebende Sensorik (die etwa eine Kamera für sichtbares Licht und/oder eine Kamera für für einen Menschen nicht sichtbares Licht, etwa eine Infrarot-, UV-Kamera, mit oder ohne aktiver Umgebungsbeleuchtung, umfassen kann) des KOOP-Fahrzeugs verbaut sein wird, kann es in vielen Fällen von Vorteil sein, wenn im Rahmen des Vorverfahrens bspw. bei einem Personenkraftwagen als EGO-Fahrzeug auch Bildaufnahmen von einer etwas erhöhten Position schräg von oben auf das EGO-Fahrzeug (oder den Fahrzeug-Typ) angefertigt werden (was dann in etwa der Perspektive einer erhöht angeordneten bildgebenden Sensorik eines Lastkraftwagens oder eines Busses entspricht), oder bei einem Lastkraftwagen oder Bus als EGO-Fahrzeug auch Bildaufnahmen mit einer leicht nach oben gerichteten Zentralachse der Linse(n) der Aufnahmeeinrichtung angefertigt werden, und entsprechende Bilder (Bilddatensätze) in der Speichereinrichtung gespeichert werden.
Da die von einem KOOP-Fahrzeug ausgesandten Bilder je nach Umgebungshelligkeit und verwendeter Kameratechnik ganz unterschiedliche Informationsgehalte und eine ganz unterschiedliche Qualität aufweisen können, können im Rahmen des Vorverfahrens auch Bilder bei unterschiedlichen Umgebungshelligkeiten und unter Verwendung von unterschiedlichen Kamerasystemen (bspw. unter Verwendung einer Kamera für sichtbares Licht und einer Kamera für Infrarotlicht) aufgenommen werden und entsprechende Bilder (Bilddatensätze) in der Speichereinrichtung gespeichert werden.
Der Abstand, aus dem die Bildaufnahmen des EGO-Fahrzeugs im Vorverfahren aufgenommen werden, ist nicht besonders beschränkt und es kann dieser in geeigneter Weise ausgewählt werden. Als mögliche Kriterien für die Wahl des räumlichen Abstands kann bspw. ein interessierender Relativgeschwindigkeitsbereich zwischen dem EGO-Fahrzeug und einem KOOP-Fahrzeug und ein als ausreichend empfundener Zeitraum ab der Feststellung einer möglichen Kollision zwischen dem EGO-Fahrzeug und einem KOOP-Fahrzeug und dem berechneten oder abgeschätzten Kollisionszeitpunkt dienen. Wenn bspw. für das erfindungsgemäße Verfahren insbesondere Relativgeschwindigkeiten zwischen EGO-Fahrzeug und KOOP-Fahrzeug in einem Bereich von 0 bis 60 km/h von Interesse sind, und ein Zeitraum ab der Feststellung einer möglichen Kollision zwischen dem EGO-Fahrzeug und einem KOOP-Fahrzeug und dem berechneten oder abgeschätzten Kollisionszeitpunkt von 2 Sekunden (etwa für eine Reaktion durch einen Fahrer eines EGO-Fahrzeugs, für eine fahrzeugseitige Einrichtung des EGO-Fahrzeugs und/oder für eine Reaktion des EGO-Fahrzeugs) für ausreichend erachtet werden, würden gemäß der vorliegenden Erfindung vorzugsweise Bildinformationen des KOOP-Fahrzeugs auszuwerten sein, die in einem maximalen Abstand des KOOP-Fahrzeugs von etwa 33 Metern zum EGO-Fahrzeug erfasst werden.
Basierend auf diesen Überlegungen kann bei dem obigen Beispiel somit ein maximaler Abstand von etwa 33 Metern für die Bildaufnahmen des EGO-Fahrzeugs im Vorverfahren verwendet werden. Von der vorliegenden Erfindung ist es selbstverständlich auch umfasst, wenn – etwa um die erforderliche Rechenarbeit durch das EGO-Fahrzeug beim Auswerten der empfangenen Bilddaten zu verringern und/oder die Genauigkeit der Berechnung oder Schätzung zu erhöhen – im Rahmen des Vorverfahrens Bildaufnahmen des EGO-Fahrzeugs aus verschiedenen Abständen der Aufnahmeeinrichtung zum EGO-Fahrzeug (oder zum Fahrzeug-Typ) aufgenommen und entsprechende Bilder in der Speichereinrichtung gespeichert werden.
Die angefertigten Bilder vom EGO-Fahrzeug können ebenfalls noch im Rahmen eines Vorverfahrens auf jede erdenkliche, sinnvolle Weise bearbeitet und/oder verändert werden. So ist es bspw. möglich, die Aufnahmen zu entzerren (bspw. aufgrund einer vorab vorgenommenen intrinsischen Kalibrierung der Aufnahmeeinrichtung) und/oder bei den Bildaufnahmen eine Merkmalsextraktion vorzunehmen. Die Merkmalsextraktion sollte sich bevorzugt auf solche Merkmale beziehen, die für die Berechnung oder Schätzung des Abstands und des Winkels zwischen EGO-Fahrzeug und KOOP-Fahrzeug von Relevanz sind. Durch eine Merkmalsextraktion können nicht nur für den Zweck der vorliegenden Erfindung optimierte Bilder (Bilddatensätze) erhalten werden (bspw. bei denen aus den aufgenommenen Bildern jeweils ein Drahtgittermodell extrahiert wird und als Bildinformation gegebenenfalls auch nur das Drahtgittermodell in der Speichereinrichtung gespeichert wird), sondern es ist mit der Merkmalsextraktion in aller Regel auch eine Verringerung der Datenmenge pro Bild und somit auch eine Verringerung des erforderlichen Speicherplatzes in der Speichereinrichtung des EGO-Fahrzeugs für die Bilder verbunden.
Jedem in der Speichereinrichtung des EGO-Fahrzeugs zu speichernde oder gespeicherte (gegebenenfalls berechnete, entzerrte und komprimierte) Bild ist, wie in 1 beispielhaft angedeutet ist, wenigstens eine Information in Bezug auf die Aufnahmeposition relativ zu dem EGO-Fahrzeug oder dem Fahrzeug-Typ zugeordnet. Die Art und der Umfang dieser Information sind nicht besonders beschränkt und es kann jede geeignete Art und jeder geeignete Umfang vorgesehen sein.
So kann, wie bei dem in 1 dargestellten Beispiel, zu jeder Bildaufnahme deren Relativposition zu dem EGO-Fahrzeug (oder dem Fahrzeug-Typ) auf Grundlage eines kartesischen Koordinatensystems angegeben sein (d. h. wenigstens die x-Position und die y-Position bezogen auf einen vorgebbaren Bezugspunkt, etwa die Mitte der Grundfläche des EGO-Fahrzeugs (oder Fahrzeug-Typs), ein Winkel φ der Position der Aufnahmeeinrichtung in Bezug auf die Fahrzeuglängsachse L). Darüber hinaus können einem jeden Bild weitere Informationen zugeordnet sein, etwa ein Winkel ψ der optischen Achse der Aufnahmeeinrichtung in Bezug auf die Mitte der Grundfläche des EGO-Fahrzeugs (oder Fahrzeug-Typs), die Höhe H der Aufnahmeposition, etc.
Die in Bezug auf die Aufnahmeposition relativ zu dem EGO-Fahrzeug (oder Fahrzeug-Typ) gespeicherte Information ist jedoch nicht auf die in 1 und der oben beschriebenen Daten beschränkt. Grundsätzlich kann diese Information auf Grundlage eines jeden geeigneten Inertialsystems erfolgen, also bspw. auch auf Grundlage eines Polarkoordinatensystems.
Eine geeignete Anzahl an auf die oben beschriebene Weise erhalten Bilder (mit den entsprechenden Informationen in Bezug auf die Aufnahmeposition) vom EGO-Fahrzeug (oder Fahrzeug-Typ) wird zum Abschluss des Vorverfahrens in der Speichereinrichtung des EGO-Fahrzeugs gespeichert, die in ihrer Gesamtheit die Referenzdaten D bilden.
Aus der in der Speichereinrichtung gespeicherten, endlichen Anzahl an Bildern können mittels Interpolation entsprechende Bildaufnahmen (Perspektiven) für alle anderen Winkel berechnet werden. Diese Berechnung kann bspw. im Rahmen der Durchführung des Verfahrens gemäß der vorliegenden Erfindung in dem EGO-Fahrzeug erfolgen.
Die Speichereinrichtung kann bspw. Bestandteil der Auswertungseinrichtung des EGO-Fahrzeugs, Bestandteil einer Steuereinrichtung des EGO-Fahrzeugs oder eine davon separate fahrzeugseitige Einrichtung sein (bei der dann eine geeignete kommunikative Verbindung zu der Auswertungseinrichtung vorgesehen ist).
In 2 ist rein schematisch der einfachste Ablauf des Verfahrens gemäß der vorliegenden Erfindung dargestellt. Das Verfahren gemäß der vorliegenden Erfindung umfasst in seiner einfachsten Ausgestaltung wenigstens die vier Schritte S1 bis S4, wobei die in 2 angegebenen Schritte S1 bis S4 den Schritten a) bis d) entsprechen, wie sie in Anspruch 1 angegeben sind.
Bezüglich der Schritte S1 und S2 ist keine zeitliche Reihenfolge vorgegeben, so dass Schritt S2 auch vor S1 stattfinden kann, auch können die Schritte S1 und S2 zeitgleich erfolgen. Vor diesem Hintergrund ist offensichtlich, dass die Schritte S1 und S2 nur zur erleichterten Darstellung und Erläuterung des Verfahrens in der vorliegenden Anmeldung als zwei getrennte Schritte formuliert sind.
Erfindungsgemäß nimmt das KOOP-Fahrzeug das EGO-Fahrzeug mittels der bildgebenden Sensorik des KOOP-Fahrzeugs wahr. Zu jedem Zeitpunkt t entsteht ein aktuelles Bild B_t des EGO-Fahrzeugs, wie es von der bildgebenden Sensorik des KOOP-Fahrzeugs gesehen wird. Der Abstand zwischen zwei Zeitpunkten t kann in geeigneter Weise gewählt sein, so dass etwa pro Sekunde 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 35, 40, 45, 50 oder mehr Bilder von der bildgebenden Sensorik des KOOP-Fahrzeugs aufgenommen werden können.
Die Bilder B_t können – wie oben bereits erwähnt – vor dem Aussenden durch die Bildauswertungseinrichtung des KOOP-Fahrzeugs entzerrt werden (etwa auf Grundlage einer intrinsischen Kalibrierung der bildgebenden Sensorik), alternativ oder ergänzend kann vor dem Aussenden durch das KOOP-Fahrzeug auch eine geeignete Merkmalsextraktion durchgeführt werden, wobei auch hier – wie bei der möglichen Merkmalsextraktion im Vorverfahren – der Fokus auf solche Merkmale gelegt wird oder werden soll, die für eine Abschätzung der Entfernung und/oder eines Winkels zwischen KOOP-Fahrzeug und EGO-Fahrzeug von Relevanz sind.
Wenigstens ein der so gegebenenfalls bearbeiteten Bilder B_t wird mittels der Car-to-Car-Kommunikationseinrichtung des KOOP-Fahrzeugs ausgesandt.
Im EGO-Fahrzeug wird wenigstens ein empfangenes Bild B_t mit den offline aufgenommenen und abgespeicherten Referenzdaten D verglichen, um eine Relativposition und einen Winkel zwischen KOOP-Fahrzeug und EGO-Fahrzeug zu berechnen oder zu schätzen. Für diese Berechnung oder Schätzung können unter anderem Interpolations- und Regressionsverfahren verwendet werden, die die beste Übereinstimmung von einem Bild B_t mit einem Bild „Bild_i” aus den Referenzdaten bestimmen.
Wie oben bereits erwähnt wurde, kann in vorteilhafter Weise mit den von einem KOOP-Fahrzeug übertragenen Bilddaten auch eine Information in Bezug auf die bei der bildgebenden Sensorik des KOOP-Fahrzeugs verwendete Optik und den verwendeten Bildsensor übertragen werden. Dies ist insbesondere dann von Vorteil, wenn bei den verschiedenen möglichen KOOP-Fahrzeugen unterschiedliche bildgebende Sensoriken mit unterschiedlichen Optiken und/oder unterschiedlichen Bildsensoren vorhanden sein können oder der Typ der bildgebenden Sensorik eines KOOP-Fahrzeugs nicht im EGO-Fahrzeug hinterlegt oder dem EGO-Fahrzeug nicht bekannt ist. In einem solchen Fall kann aus der Größe der (Teil)Ansicht des EGO-Fahrzeugs in den von einem KOOP-Fahrzeug übermittelten Bilddaten nicht ohne weiteres auf den Abstand zwischen KOOP-Fahrzeug und EGO-Fahrzeug geschlossen werden. Durch Übertragung der genannten Daten der bildgebenden Sensorik eines KOOP-Fahrzeugs stehen dem EGO-Fahrzeug jedoch die erforderlichen Daten zur Verfügung, um einen korrekten Abstand zwischen dem EGO-Fahrzeug und dem KOOP-Fahrzeug mit wenigstens ausreichender Genauigkeit berechnen oder schätzen zu können.
Und wenn mit den von einem KOOP-Fahrzeug übertragenen Bilddaten auch Informationen in Bezug auf den Abstand zwischen der Verbauposition der bildgebenden Sensorik und dem vorderen Ende der Vorderseite des KOOP-Fahrzeugs und wahlweise auch in Bezug auf die Breite der Vorderseite (Front) des KOOP-Fahrzeugs übertragen werden, wird das EGO-Fahrzeug in die Lage versetzt, eine besonders genaue Berechnung oder Schätzung bezüglich einer möglichen Kollision zwischen einem KOOP-Fahrzeug und dem EGO-Fahrzeug durchzuführen.
Für den Fall, dass die Haupt-„Blickrichtung” der bildgebenden Sensorik des KOOP-Fahrzeugs (anders als etwa bei den üblichen „Frontkameras”) nicht parallel zu der senkrechten Mittenlängsebene des KOOP-Fahrzeugs verläuft, ist es weiter von Vorteil, wenn eine Information bezüglich eines Winkels zwischen der Zentralachse der Erfassungsrichtung der bildgebenden Sensorik und der senkrechten Mittenlängsebene des zweiten Fahrzeugs übertragen wird. Auf diese Weise kann von dem EGO-Fahrzeug aus dieser Information auch bei einer „zur Seite blickenden” bildgebenden Sensorik des KOOP-Fahrzeugs, ein korrekter Winkel zwischen dem EGO-Fahrzeug und dem KOOP-Fahrzeug ermittelt werden.
Wenn, wie dies gemäß bevorzugter Ausgestaltungen des Verfahrens vorgesehen ist, in einem Fall, bei dem durch die Umfeldsensoreinrichtung des EGO-Fahrzeugs das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des EGO-Fahrzeugs mit einem Objekt innerhalb einer vorgebbaren Zeitspanne festgestellt wird, über die Car-to-Car-Kommunikationseinrichtung des EGO-Fahrzeugs eine Anforderung zum Aussenden von Bilddaten der bildgebenden Sensorik eines KOOP-Fahrzeugs ausgesandt wird, und ein oder mehrere KOOP-Fahrzeuge nur bei Empfang einer derartigen Anforderung Bilddaten ihrer bildgebenden Sensorik mittels seiner/ihrer Car-to-Car-Kommunikationseinrichtung aussenden, kann die Menge an ausgesandten Daten in vorteilhafter Weise verringert werden.
Auch kann in einem solchen Fall auch die Menge an auszuwertenden Daten in vorteilhafter Weise verringert werden. In einem solchen Fall „weiß” das EGO-Fahrzeug nämlich bereits, aus welchem Winkel eine Kollision droht und kennt den Abstand des KOOP-Fahrzeugs, mit dem eine Kollision droht. Empfängt nun das EGO-Fahrzeug von verschiedenen KOOP-Fahrzeugen Bilddaten, so braucht das EGO-Fahrzeug nach einer ersten Überprüfung aller empfangenen Bilddaten nur noch die Bilddaten von dem KOOP-Fahrzeug berücksichtigen, dessen Abstand und Winkel zu den Ergebnissen der eigenen Umfeldsensoreinrichtung „passt”.
Eine weitere vorteilhafte Verringerung der ausgesandten Daten und somit auch der auszuwertenden Bilddaten kann erreicht werden, wenn – wie dies gemäß noch einer weiteren vorteilhaften Ausgestaltung des Verfahrens vorgesehen ist – wenigstens ein KOOP-Fahrzeug bereitgestellt wird, das auch eine Umfeldsensoreinrichtung aufweist, mittels der eine Relativposition, Ausrichtung und/oder Trefferlage von wenigstens einem Objekt im Umfeld des KOOP-Fahrzeugs erkannt werden kann, und das KOOP-Fahrzeug nur dann von seiner bildgebenden Sensorik stammende Bilddaten mittels seiner Car-to-Car-Kommunikationseinrichtung aussendet, wenn durch seine Umfeldsensoreinrichtung das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des KOOP-Fahrzeugs mit einem Objekt innerhalb einer vorgebbaren Zeitspanne festgestellt wird.
In besonders vorteilhafter Weise können die beiden vorstehend genannten Ausgestaltungen des Verfahrens miteinander kombiniert werden, wodurch in aller Regel erreicht werden kann, dass nach Aussenden einer Anforderung zum Aussenden von Bilddaten durch das EGO-Fahrzeug nur von einem solchen KOOP-Fahrzeug Bilddaten ausgesandt und vom EGO-Fahrzeug empfangen und ausgewertet werden, von dem tatsächlich eine Gefahr für eine Kollision mit dem EGO-Fahrzeug innerhalb einer vorgebbaren Zeitspanne ausgeht. Hierdurch kann somit in besonders vorteilhafter Weise sowohl die Menge an ausgesandten Bilddaten als auch die für das Auswerten der Bilddaten erforderliche Rechenleistung und -zeit auf ein sehr geringes Maß reduziert werden.
Da das Verfahren gemäß der vorliegenden Erfindung u. a. dazu dient, eine mögliche Kollision zwischen einem EGO-Fahrzeug und einem KOOP-Fahrzeug zu verhindern oder doch dessen Folgen zu mindern, erfolgen die verfahrensgemäßen Schritte so rasch wie möglich, werden bspw. die von der bildgebenden Sensorik des KOOP-Fahrzeugs aktuell erfassten Bilddaten (gegebenenfalls nach deren „Bearbeitung” durch das KOOP-Fahrzeug) so rasch wie möglich ausgesendet und die vom EGO-Fahrzeug empfangenen Bilddaten so rasch wie möglich ausgewertet.
Soweit in der vorliegenden Anmeldung der Begriff „Fahrzeug” verwendet wird, ist darunter jede Art von Land-, Luft- und Wasser-Fahrzeug, schienen- und nicht schienengebundenem Fahrzeug, insbesondere aber auch ein Kraftfahrzeug zu verstehen.
Da einem Fachmann die für die vorliegende Anmeldung erforderlichen und hier erwähnten Vorrichtungen, Einrichtungen, Baugruppen, Elemente, etc. und deren mögliches Zusammenwirken bekannt sind, braucht in der vorliegenden Anmeldung hierauf nicht näher eingegangen zu werden. Auch ist einem Fachmann bekannt, wie die in der vorliegenden Anmeldung beschriebenen Verfahrensschritte durchgeführt werden können, so dass auch hierauf in der vorliegenden Anmeldung nicht näher eingegangen zu werden braucht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102013108000 A1 [0004]
DE 102010015686 A1 [0005]

Claims

Verfahren zum Betreiben eines Fahrzeugs, umfassend die Schritte: a) Bereitstellen eines ersten Fahrzeugs, das (a1) eine Speichereinrichtung, in der eine Mehrzahl an Bildern gepeichert ist, die aus einer Mehrzahl an verschiedenen Positionen außerhalb des ersten Fahrzeugs oder eines gleichen Fahrzeug-Typs wie das erste Fahrzeug aufgenommen wurden, wobei jedes Bild eine Außenansicht des ersten Fahrzeugs oder des Fahrzeug-Typs enthält und jedem Bild eine Information in Bezug auf die Aufnahmeposition relativ zu dem ersten Fahrzeug oder Fahrzeug-Typ zugeordnet ist, (a2) eine Car-to-Car-Kommunikationseinrichtung sowie (a3) eine Einrichtung zum Auswerten von mittels der Car-to-Car-Kommunikationseinrichtung empfangenen Daten aufweist (S1), b) Bereitstellen eines zweiten Fahrzeugs, das (b1) eine bildgebende Sensorik zur Erfassung von wenigstens einem aktuellen Bild eines Umfeld des zweiten Fahrzeugs und (b2) eine Car-to-Car-Kommunikationseinrichtung aufweist (S2), c) Erfassen von wenigstens einem aktuellen Bild durch die bildgebende Sensorik des zweiten Fahrzeugs, Aussenden des wenigstens einen Bildes mittels dessen Car-to-Car-Kommunikationseinrichtung und Empfangen des wenigstens einen ausgesandten Bildes durch die Car-to-Car-Kommunikationseinrichtung des ersten Fahrzeugs (S3), und d) Auswerten des von dem ersten Fahrzeug empfangenen wenigstens einen Bildes mittels seiner Auswertungseinrichtung und für den Fall, dass in dem wenigstens einen empfangenen Bild wenigstens ein Teil der Außenansicht des ersten Fahrzeugs enthalten ist, Berechnen oder Schätzen der Relativposition und Ausrichtung des zweiten Fahrzeugs in Bezug auf das erste Fahrzeug unter Vergleich der in dem wenigstens einen empfangenen Bild enthaltenen Außenansicht des ersten Fahrzeugs mit den in der Speichereinrichtung enthaltenen Außenansichten (S4).
Verfahren gemäß Anspruch 1, wobei – in Schritt a) ein erstes Fahrzeug bereitgestellt wird, das weiter eine Steuereinrichtung aufweist, – in Schritt c) eine Mehrzahl an aktuellen Bildern in zeitlicher Abfolge durch die bildgebende Sensorik des zweiten Fahrzeugs erfasst, die erfassten Bilder mittels der Car-to-Car-Kommunikationseinrichtung des zweiten Fahrzeugs ausgesandt und durch die Car-to-Car-Kommunikationseinrichtung des ersten Fahrzeugs empfangen werden, – in Schritt d) die von dem ersten Fahrzeug empfangenen Bilder mittels seiner Auswertungseinrichtung ausgewertet werden und für den Fall, dass in wenigstens zwei der empfangenen Bilder wenigstens ein Teil der Außenansicht des ersten Fahrzeugs enthalten ist, auch die Trefferlage des zweiten Fahrzeugs in Bezug auf das erste Fahrzeug unter Vergleich der in den wenigstens zwei der empfangenen Bilder enthaltenen Außenansicht des ersten Fahrzeugs mit den in der Speichereinrichtung enthaltenen Außenansichten berechnet oder geschätzt wird, und – für den Fall, dass durch die Auswertungseinrichtung in Schritt d) das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des ersten Fahrzeugs mit dem zweiten Fahrzeug innerhalb einer vorgebbaren Zeitspanne feststellt wird, von der Steuereinrichtung wenigstens ein Steuerbefehl an eine fahrzeugseitige Einrichtung des ersten Fahrzeugs ausgegeben wird.
Verfahren gemäß Anspruch 2, wobei aufgrund des von der Steuereinrichtung ausgegebenen wenigstens einen Steuerbefehls – ein optisch, akustisch und/oder haptisch wahrnehmbares Warnsignal durch eine fahrzeugseitige Einrichtung des ersten Fahrzeugs erzeugt wird, und/oder – ein automatischer Eingriff in die Lenkung, die Bremseinrichtung und/oder die Motorsteuerung des ersten Fahrzeugs durchgeführt wird.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei – in Schritt a) ein erstes Fahrzeug bereitgestellt wird, bei dem die in der Speichereinrichtung in Bezug auf die Aufnahmeposition relativ zu dem ersten Fahrzeug oder Fahrzeug-Typ gespeicherte Information Daten auf Grundlage eines Inertialsystems, bevorzugt auf Grundlage eines kartesischen Koordinatensystems oder eines Polarkoordinatensystems umfasst, – in Schritt a) ein erstes Fahrzeug bereitgestellt wird, bei dem die in der Speichereinrichtung gespeicherten Bilder vor der Speicherung entzerrt wurden, – in Schritt b) ein zweites Fahrzeug bereitgestellt wird, das eine Bildauswertungseinrichtung für das wenigstens eine von seiner bildgebenden Sensorik erfasste Bild aufweist, – in Schritt c) wenigstens ein erfasstes Bild vor der Aussendung einer Merkmalsextraktion durch die Bildauswertungseinrichtung des zweiten Fahrzeugs unterzogen wird, – in Schritt c) wenigstens ein erfasstes Bild vor der Aussendung durch die Bildauswertungseinrichtung des zweiten Fahrzeugs entzerrt wird, – in Schritt c) auch eine Information in Bezug auf die bei der bildgebenden Sensorik des zweiten Fahrzeugs verwendete Optik und den verwendeten Bildsensor übertragen wird, und/oder – in Schritt c) auch eine Information in Bezug auf den Abstand zwischen der Verbauposition der bildgebenden Sensorik und dem vorderen Ende der Vorderseite des zweiten Fahrzeugs, in Bezug auf die Breite der Vorderseite des zweiten Fahrzeugs und/oder einen Winkel der Zentralachse der Erfassungsrichtung der bildgebenden Sensorik in Bezug auf die senkrechte Mittenlängsebene des zweiten Fahrzeugs übertragen werden.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei – in Schritt a) ein erstes Fahrzeug bereitgestellt wird, das weiter eine Umfeldsensoreinrichtung aufweist, mittels der eine Relativposition, Ausrichtung und/oder Trefferlage von wenigstens einem Objekt in einem Umfeld des ersten Fahrzeugs festgestellt werden kann, – in einem Fall, bei dem durch die Umfeldsensoreinrichtung des ersten Fahrzeugs das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des ersten Fahrzeugs mit dem Objekt innerhalb einer vorgebbaren Zeitspanne festgestellt wird, über die Car-to-Car-Kommunikationseinrichtung des ersten Fahrzeugs eine Anforderung zum Aussenden von wenigstens einem aktuellen Bild der bildgebenden Sensorik eines zweiten Fahrzeugs ausgesandt wird, und – das zweite Fahrzeug in Schritt c) nur bei Empfang einer derartigen Anforderung wenigstens ein aktuelles Bild seiner bildgebenden Sensorik mittels seiner Car-to-Car-Kommunikationseinrichtung aussendet.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei – in Schritt b) ein zweites Fahrzeug bereitgestellt wird, das weiter eine Umfeldsensoreinrichtung aufweist, mittels der eine Relativposition, Ausrichtung und/oder Trefferlage von wenigstens einem Objekt in einem Umfeld des zweiten Fahrzeugs festgestellt werden kann, und – das zweite Fahrzeug in Schritt c) nur dann wenigstens ein aktuelles Bild seiner bildgebenden Sensorik mittels seiner Car-to-Car-Kommunikationseinrichtung aussendet, wenn durch seine Umfeldsensoreinrichtung das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des zweiten Fahrzeugs mit dem Objekt innerhalb einer vorgebbaren Zeitspanne festgestellt wird.
Fahrzeug zur Durchführung des Verfahrens gemäß einem der Ansprüche 1 bis 6, mit einer Car-to-Car-Kommunikationseinrichtung sowie einer Einrichtung zum Auswerten von mittels der Car-to-Car-Kommunikationseinrichtung empfangenen Daten dadurch gekennzeichnet, dass es weiter aufweist – eine Speichereinrichtung, in der eine Mehrzahl an Bildern gespeichert ist, die aus einer Mehrzahl an verschiedenen Positionen außerhalb des Fahrzeugs oder eines gleichen Fahrzeug-Typs wie das erste Fahrzeug aufgenommen wurden, wobei jedes Bild eine Außenansicht des Fahrzeugs des Fahrzeug-Typs enthält und jedem Bild wenigstens eine Information in Bezug auf die Aufnahmeposition relativ zu dem Fahrzeug oder dem Fahrzeug-Typ zugeordnet ist, und – eine Auswertungseinrichtung, die dazu eingerichtet ist, wenigstens ein von einer bildgebenden Sensorik eines zweiten Fahrzeugs stammendes und mittels der Car-to-Car-Kommunikationseinrichtung des Fahrzeugs empfangenes aktuelles Bild eines Umfelds des zweiten Fahrzeugs auszuwerten und für den Fall, dass in dem wenigstens einen empfangenen Bild wenigstens ein Teil der Außenansicht des Fahrzeugs enthalten ist, die Relativposition und Ausrichtung des zweiten Fahrzeugs in Bezug auf das Fahrzeug unter Vergleich der in dem wenigstens einen empfangenen Bild enthaltenen Außenansicht des Fahrzeugs mit den in der Speichereinrichtung des Fahrzeugs enthaltenen Außenansichten zu berechnen oder zu schätzen.
Fahrzeug gemäß Anspruch 7, dadurch gekennzeichnet, dass es – weiter eine Steuereinrichtung aufweist, – die Auswertungseinrichtung dazu eingerichtet ist, eine Mehrzahl an von einer bildgebenden Sensorik eines zweiten Fahrzeugs stammende und von dieser in zeitlicher Abfolge erfasste, mittels der Car-to-Car-Kommunikationseinrichtung des Fahrzeugs empfangene aktuelle Bilder eines Umfelds des zweiten Fahrzeugs auszuwerten und für den Fall, dass in wenigstens zwei der empfangenen Bilder wenigstens ein Teil der Außenansicht des Fahrzeugs enthalten ist, auch die Trefferlage des zweiten Fahrzeugs in Bezug auf das Fahrzeug unter Vergleich der in den wenigstens zwei empfangenen Bildern enthaltenen Außenansicht des Fahrzeugs mit den in der Speichereinrichtung enthaltenen Außenansichten zu berechnen oder zu schätzen, und – die Steuereinrichtung dazu eingerichtet ist, für den Fall, dass durch die Auswertungseinrichtung das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des Fahrzeugs mit dem zweiten Fahrzeug innerhalb einer vorgebbaren Zeitspanne feststellt wird, wenigstens einen Steuerbefehl an eine fahrzeugseitige Einrichtung des Fahrzeugs auszugeben.
Fahrzeug gemäß Anspruch 7 oder 8, dadurch gekennzeichnet, dass – die in der Speichereinrichtung in Bezug auf die Aufnahmeposition relativ zu dem Fahrzeug oder dem Fahrzeug-Typ gespeicherte Information Daten auf Grundlage eines Inertialsystems, bevorzugt auf Grundlage eines kartesischen Koordinatensystems oder eines Polarkoordinatensystems umfasst, – die in der Speichereinrichtung gespeicherten Bilder vor der Speicherung entzerrte Bilder umfassen, und/oder – es weiter eine Umfeldsensoreinrichtung aufweist, mittels der eine Relativposition, Ausrichtung und/oder Trefferlage von wenigstens einem Objekt in einem Umfeld des Fahrzeugs festgestellt werden kann, und das Fahrzeug dazu eingerichtet ist, in einem Fall, bei dem durch die Umfeldsensoreinrichtung das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des Fahrzeugs mit dem Objekt innerhalb einer vorgebbaren Zeitspanne festgestellt wird, über seine Car-to-Car-Kommunikationseinrichtung eine Anforderung zum Aussenden von wenigstens einem aktuellen Bild der bildgebenden Sensorik eines zweiten Fahrzeugs auszusenden.
System aus einem ersten Fahrzeug gemäß einem der Ansprüche 7 bis 9 und wenigstens einem zweiten Fahrzeug, das eine bildgebende Sensorik zur Erfassung von wenigstens einem aktuellen Bild eines Umfelds des zweiten Fahrzeugs und eine Car-to-Car-Kommunikationseinrichtung aufweist, dadurch gekennzeichnet, dass das wenigstens eine zweite Fahrzeug – weiter eine Bildauswertungseinrichtung für das von seiner bildgebenden Sensorik erfasste wenigstens eine aktuelle Bild aufweist, und die Bildauswertungseinrichtung dazu eingerichtet ist, eine Merkmalsextraktion bei dem von seiner bildgebenden Sensorik wenigstens einen erfassten Bild durchzuführen und/oder das wenigstens eine von seiner bildgebenden Sensorik erfasste Bild zu entzerren, dazu eingerichtet ist, mittels seiner Car-to-Car-Kommunikationseinrichtung eine Information in Bezug auf die bei der bildgebenden Sensorik des zweiten Fahrzeugs verwendete Optik und den verwendeten Bildsensor zu übertragen, dazu eingerichtet ist, mittels seiner Car-to-Car-Kommunikationseinrichtung eine Information in Bezug auf den Abstand zwischen der Verbauposition der bildgebenden Sensorik und dem vorderen Ende der Vorderseite des zweiten Fahrzeugs, in Bezug auf die Breite der Vorderseite des zweiten Fahrzeugs und/oder einen Winkel der Zentralachse der Erfassungsrichtung der bildgebenden Sensorik in Bezug auf die senkrechte Mittenlängsebene des zweiten Fahrzeugs zu übertragen, – dazu eingerichtet ist, nur bei Empfang einer Anforderung zum Aussenden von wenigstens einem aktuellen Bild durch das erste Fahrzeug wenigstens ein aktuelles Bild seiner bildgebenden Sensorik mittels seiner Car-to-Car-Kommunikationseinrichtung auszusenden, und/oder – weiter eine Umfeldsensoreinrichtung aufweist, mittels der eine Relativposition, Ausrichtung und/oder Trefferlage von wenigstens einem Objekt im einem Umfeld des zweiten Fahrzeugs festgestellt werden kann, und es dazu eingerichtet ist, nur dann wenigstens ein von seiner bildgebenden Sensorik stammendes aktuelles Bild mittels seiner Car-to-Car-Kommunikationseinrichtung auszusenden, wenn durch seine Umfeldsensoreinrichtung das Erreichen oder Überschreiten eines vorgebbaren Grads an Wahrscheinlichkeit für eine Kollision des zweiten Fahrzeugs mit dem Objekt innerhalb einer vorgebbaren Zeitspanne festgestellt wird.