-
GEBIET
-
Die vorliegende Erfindung bezieht sich allgemein auf Fahrzeugsicherheitssysteme und insbesondere auf Fahrzeugkollisionswarnsysteme, die eine visuelle Anzeige verwenden, um einen Fahrer vor einer drohenden Kollision zu warnen oder zu alarmieren.
-
HINTERGRUND
-
Fahrzeuge verwenden immer häufiger eine Vielzahl von Sicherheitssystemen, um Kollisionen zu vermeiden und deren Gesamtsicherheit zu optimieren. Wenn beispielsweise eine potentielle Kollision detektiert wird, erzeugen einige Fahrzeugsicherheitssysteme akustische, visuelle oder haptische Warnungen, um den Fahrer hinsichtlich der drohenden Kollision zu alarmieren. Während solche Warnungen von Vorteil sein können, ist es immer notwendig, die Nützlichkeit solcher Warnungen zu optimieren oder zu verbessern, indem sie für den Fahrer intuitiver gemacht werden, indem eine zusätzliche Information übermittelt wird, oder indem die Betriebsbedingungen, unter denen sie verwendet werden können, erweitert werden, um einige Beispiele zu nennen.
-
ZUSAMMENFASSUNG
-
Gemäß einer Ausführungsform wird ein Kollisionswarnsystem für ein Fahrzeug bereitgestellt, das ein Sichtsystem, ein Steuermodul und eine visuelle Anzeige umfasst. Das Sichtsystem stellt ein Video eines bevorstehenden Straßensegments bereit, das zumindest ein sich auf dem Pfad befindendes Objekt umfasst. Das Steuermodul empfängt das Video von dem Sichtsystem und stellt ein verbessertes Video des bevorstehenden Straßensegments, das das sich auf dem Pfad befindende Objekt umfasst, bereit, wobei das sich auf dem Pfad befindende Objekt gemäß Kollisionsdaten hervorgehoben wird, so dass es sich von dem Rest des bevorstehenden Straßensegments abhebt. Die visuelle Anzeige empfängt dann das verbesserte Video von dem Steuermodul und zeigt das verbesserte Video für einen Fahrer an.
-
Gemäß einer anderen Ausführungsform wird ein Verfahren zum Betreiben eines Kollisionswarnsystems für ein Fahrzeug bereitgestellt. Das Verfahren kann die Schritte umfassen, dass: (a) ein Video eines bevorstehenden Straßensegments empfangen wird, das ein sich auf dem Pfad befindendes Objekt umfasst; (b) Kollisionsdaten empfangen werden, die das sich auf dem Pfad befindende Objekt betreffen; (c) das Video und die Kollisionsdaten verwendet werden, um ein verbessertes Video, das das bevorstehende Straßensegment enthält und das sich auf dem Pfad befindende Objekt umfasst, zu erzeugen, welches gemäß den Kollisionsdaten hervorgehoben wird; und (d) das verbesserte Video für eine visuelle Anzeige bereitgestellt wird.
-
ZEICHNUNGEN
-
Nachfolgend werden bevorzugte beispielhafte Ausführungsformen in Verbindung mit den beigefügten Zeichnungen beschrieben, in denen gleiche Bezugszeichen gleiche Elemente bezeichnen, und wobei:
-
1 eine schematische Ansicht eines Host-Fahrzeugs mit einem beispielhaften Kollisionswarnsystem ist;
-
2 ein Flussdiagramm eines beispielhaften Verfahrens, das mit einem Fahrzeugkollisionswarnsystem wie dem in 1 gezeigten verwendet werden kann, ist; und
-
3A und 3B Darstellungen von Frames eines verbesserten Videos eines bevorstehenden Straßensegments zu verschiedenen Zeitpunkten sind, wobei ein sich auf dem Pfad befindendes Objekt (in diesem Fall ein anderes Fahrzeug) hervorgehoben ist, so dass es sich von dem Rest des bevorstehenden Straßensegments abhebt.
-
BESCHREIBUNG
-
Das Kollisionswarnsystem und -verfahren, die hierin beschrieben sind, können einen Fahrer hinsichtlich einer drohenden Kollision alarmieren, indem ein verbessertes Video eines bevorstehenden Straßensegments angezeigt wird, wobei das verbesserte Video ein oder mehrere sich auf dem Pfad befindende Objekte umfasst, die hervorgehoben sind, so dass sie sich von dem Rest des bevorstehenden Straßensegments abheben. Das System und das Verfahren empfangen ein Video eines bevorstehenden Straßensegments von einem nach vorn gerichteten Sichtsystem, sie erhalten bestimmte Kollisionsdaten für ein sich auf dem Pfad befindendes Objekt, das sich in dem bevorstehenden Straßensegment befindet, und sie verwenden dann das Video und die Kollisionsdaten, um ein verbessertes Video des bevorstehenden Straßensegments für eine visuelle Anzeige bereitzustellen, die ein Fahrer sieht. In dem verbesserten Video wird das sich auf dem Pfad befindende Objekt gemäß den Kollisionsdaten hervorgehoben (z. B. mit einem farbcodierten Schema hervorgehoben, wobei das sich auf dem Pfad befindende Objekt seine Farbe auf der Grundlage von Daten einer Zeitdauer bis zur Kollision ändert), so dass es sich von dem Rest des Straßensegments abhebt. Es ist möglich, dass das verbesserte Video für einen Fahrer über eine Head-Up-Anzeige (HUD), ein Armaturenbrett, eine Mittelkonsole oder eine beliebige andere geeignete visuelle Anzeige, die unter Fahrbedingungen bei Tag und bei Nacht verwendet werden kann, angezeigt wird.
-
Mit Bezug auf 1 sind Teile eines beispielhaften Host-Fahrzeugs 10 mit einem Kollisionswarnsystem 12 gezeigt, das verwendet werden kann, um einen Fahrer hinsichtlich einer drohenden Kollision mit einem sich auf dem Pfad befindenden Objekt 14 zu warnen oder zu alarmieren. Es sei angemerkt, dass 1 nur eine schematische Darstellung eines möglichen Fahrzeug- und Kollisionswarnsystems ist, und dass das hierin beschriebene Verfahren mit einer beliebigen Anzahl von verschiedenen Fahrzeugen und Systemen verwendet werden könnte und nicht auf die hier gezeigten Beispiele beschränkt ist. Beispielsweise können das vorliegende System und Verfahren mit einem beliebigen Typ von Fahrzeug verwendet werden, der Motorräder, Personenkraftwagen, Geländewagen (SUVs), Cross-Over-Fahrzeuge, Lastwagen, Lieferwagen, Busse, Wohnmobile (RVs), Nutzfahrzeuge, Sattelschlepper etc. umfasst. Dies sind lediglich einige der möglichen Anwendungen, da das System und das Verfahren, die hierin beschrieben sind, nicht auf die gezeigten beispielhaften Ausführungsformen beschränkt sind und auf eine beliebige Anzahl von verschiedenen Arten realisiert werden könnten. Gemäß einem Beispiel umfasst das Kollisionswarnsystem 12 ein Sichtsystem 20, ein Steuermodul 22 und eine visuelle Anzeige 24.
-
Das Sichtsystem 20 stellt dem Kollisionswarnsystem 12 ein Video eines bevorstehenden Straßensegments bereit und kann dies auf eine Anzahl von verschiedenen Arten tun. Bei einer Ausführungsform ist das Sichtsystem 20 ein nach vorn gerichtetes Stereo-Sichtsystem, das zwei oder mehrere Videokameras 30, 32 (z. B. digitale CMOS-Videokameras mit mehreren Megapixeln) umfasst, die vor dem Host-Fahrzeug 10 ausgerichtet sind und dem System ein Echtzeit-Streaming-Video des bevorstehenden Straßensegments bereitstellen. Ungeachtet der Tatsache, dass das Sichtsystem eine oder mehrere zusätzliche Video- oder Fotokameras aufweisen kann, die um das Fahrzeug herum angeordnet sind und zusätzliche Perspektiven oder einen zusätzlichen Videoausgang für das Kollisionswarnsystem 12 bereitstellen, ist das Sichtsystem 20 vorzugsweise ein nach vorn gerichtetes Stereo-Sichtsystem, das Bilder eines bevorstehenden Straßensegments erfasst, welches sich ungefähr 1 m–25 m vor dem Host-Fahrzeug 10 befindet. Die Verwendung mehrerer Videokameras 30, 32 (d. h. ein Stereo-Sichtsystem) ermöglicht dem Sichtsystem 20, mehrere verschiedene Perspektiven des gleichen Bilds zu erfassen, so dass sie auf etwa die gleiche Weise wie bei menschlichen Augen zusammengefügt, vermischt und/oder auf andere Weise kombiniert werden können. Dies stellt typischerweise ein vollständigeres, ergiebigeres und kompletteres Bild des bevorstehenden Straßensegments bereit, ist jedoch nicht notwendig, da auch eine einzelne Videokamera verwendet werden kann.
-
Einige geeignete Anbringungsorte für das Sichtsystem 20 umfassen eine Rückspiegelanordnung, die sich in der Nähe eines oberen mittleren Abschnitts der Windschutzscheibe befindet, auf dem Armaturenbrett in der Nähe eines unteren mittleren Abschnitts der Windschutzscheibe, oder hinter dem Kühlergrill des Fahrzeugs, nur um einige Möglichkeiten zu nennen. Das Sichtsystem 20 kann mehrere Videokameras, andere Typen von Objektdetektionssensoren und eine Verarbeitungseinheit umfassen, die alle in einem einzelnen Paket integriert sind; bei einer anderen Ausführungsform sind die mehreren Videokameras, die Objektdetektionssensoren und die Verarbeitungseinheit voneinander beabstandet und an verschiedenen Orten an dem Fahrzeug angebracht. Die Videokameras des Sichtsystems 20 können Teil einer anderen Komponente, einer anderen Einrichtung, eines anderen Moduls und/oder eines anderen Systems in dem Fahrzeug sein, wie beispielsweise eines Fahrzeugsicherheitssystems oder Kollisionsvermeidungssystems; in solch einem Fall können die gleichen Kameras durch das Kollisionswarnsystem 12 verwendet werden oder mit diesen geteilt werden. Obwohl das Sichtsystem 20 im Kontext eines videokamerabasierten Systems beschrieben wurde, ist es möglich, dass das System anstatt von Videokameras andere Bilderfassungseinrichtungen verwendet.
-
Zusätzlich zu Videokameras kann das Kollisionswarnsystem 12 andere Objektdetektionssensoren 34, 36, 38 umfassen, die um das Fahrzeug herum angeordnet sind und dem System bestimmte Kollisionsdaten bezüglich sich auf dem Pfad befindender oder sich außerhalb des Pfads befindender Objekte bereitstellen. Beispielsweise können ein oder mehrere Infrarotsensoren (IR-Sensoren) 38 auf das bevorstehende Straßensegment ausgerichtet sein und dem Kollisionswarnsystem 12 eine zusätzliche Information bereitstellen, wie beispielsweise Daten einer erwarteten Zeitdauer bis zur Kollision für verschiedene interessierende Objekte, um das durch das Sichtsystem 20 bereitgestellte Video zu ergänzen. ”Daten einer Zeitdauer bis zur Kollision” beziehen sich wie hierin verwendet allgemein auf die geschätzte Zeitdauer oder Distanz, bis das Host-Fahrzeug mit einem Objekt gemäß deren aktuellen oder erwarteten Pfaden kollidiert. In Abhängigkeit von den bestimmten Bedürfnissen der Anwendung können zusätzlich zu den oben erwähnten IR-Sensoren oder anstatt dieser Objektdetektionssensoren wie Fotokameras, RADAR-Sensoren, LASER-Sensoren und/oder LIDAR-Sensoren verwendet werden. Diese Objektdetektionssensoren können zusammen mit zusätzlichen Videokameras, in Abhängigkeit von den bestimmten Bedürfnissen des Systems, um das Fahrzeug herum angebracht sein und an der Vorderseite, der Seite oder der Hinterseite des Fahrzeugs ausgerichtet sein. Es ist möglich, dass die Objektdetektionssensoren 34, 36, 38 Teil des Sichtsystems 20 oder einer anderen Komponente, einer anderen Einrichtung, eines anderen Moduls und/oder eines anderen Systems in dem Fahrzeug sind, wie es oben erwähnt ist.
-
Das Steuermodul 22 empfängt ein Video des bevorstehenden Straßensegments von dem Sichtsystem 20, erhält bestimmte Kollisionsdaten bezüglich eines sich auf dem Pfad befindenden Objekts (z. B. Daten einer Zeitdauer bis zur Kollision) und verwendet das Video und die Kollisionsdaten, um der visuellen Anzeige 24 ein verbessertes Video bereitzustellen. ”Verbessertes Video” umfasst wie hier verwendet breit ein beliebiges Video mit einem oder mehreren sich auf dem Pfad befindenden Objekten, die basierend auf einem Typ von Kollisionsdaten visuell geändert oder modifiziert wurden. Ein nicht einschränkendes Beispiel eines verbesserten Videos ist der Videoausgang von dem Steuermodul 22, wobei der Ausgang ein digitaler Echtzeit- oder Streaming-Schwarzweiß-Videoausgang des bevorstehenden Straßensegments ist und ein oder mehrere sich auf dem Pfad befindende Objekte 14 farbig oder durch ein anderes Mittel basierend auf Daten einer Zeitdauer bis zur Kollision für dieses Objekt hervorgehoben wurden.
-
Das Steuermodul 22 kann eine beliebige Vielzahl von elektronischen Verarbeitungseinrichtungen, Speichereinrichtungen, Eingabe/Ausgabe-Einrichtungen (I/O-Einrichtungen) und/oder anderen bekannten Komponenten umfassen und kann verschiedene steuer- und/oder kommunikationsbezogene Funktionen durchführen. Bei einer beispielhaften Ausführungsform umfasst das Steuermodul 22 eine elektronische Speichereinrichtung 42, die folgendes speichert: ein Video, Standbilder und/oder andere Kollisionsdaten von dem Sichtsystem 20 und den Sensoren 34, 36, 38; Nachschlagetabellen oder andere Datenstrukturen; Algorithmen, wie beispielsweise den in den dem nachstehend beschriebenen beispielhaften Verfahren ausgeführten etc. Die Speichereinrichtung 42 kann auch geeignete Eigenschaften und Hintergrundinformationen bezüglich des Host-Fahrzeugs 10 speichern, wie beispielsweise beschleunigungs- und bremsbezogene Parameter und Einstellungen etc. Das Steuermodul 22 kann auch eine elektronische Verarbeitungseinrichtung 44 (z. B. einen Mikroprozessor, einen Mikrocontroller, einen anwendungsspezifischen integrierten Schaltkreis (ASIC) etc.) umfassen, die Anweisungen für Software, Firmware, Programme, Algorithmen, Skripte, etc. ausführt, die in der Speichereinrichtung 42 gespeichert sind und die hierin beschriebenen Prozesse und Verfahren überwachen können. Das Steuermodul 22 kann elektronisch über geeignete Fahrzeugkommunikationen mit anderen Fahrzeugeinrichtungen, Modulen und Systemen verbunden sein und kann mit diesen bei Bedarf in Interaktion treten. Dies sind natürlich nur einige der möglichen Anordnungen, Funktionen und Fähigkeiten des Steuermoduls 22, da auch andere Ausführungsformen verwendet werden könnten.
-
In Abhängigkeit von der bestimmten Ausführungsform kann das Steuermodul 22 ein unabhängiges Fahrzeugelektronikmodul sein (z. B. ein Kollisionswarnungssteuermodul, ein Steuermodul einer visuellen Anzeige etc.), kann es in ein anderes Fahrzeugelektronikmodul einbezogen oder in diesem umfasst sein (z. B. ein Modul eines adaptiven Tempomaten, ein Steuermodul für einen automatischen Spurwechsel etc.) oder kann es Teil eines größeren Fahrzeugnetzes oder -systems sein (z. B. eines Kollisionsvermeidungssystems, eines Systems einer aktiven Sicherheit, eines Antiblockiersystems (ABS) etc.), um einige Möglichkeiten zu nennen. Gemäß einer möglichen Ausführungsform ist das Steuermodul 22 ein Steuermodul einer visuellen Anzeige und ist es mit sowohl dem Sichtsystem 20 als auch der visuellen Anzeige 24 gekoppelt, wobei das Sichtsystem dem Steuermodul sowohl ein Video als auch Kollisionsdaten liefert. Bei einer anderen Ausführungsform ist das Steuermodul 22 ein Sichtsystemcontroller und ist es zusammen mit Videokameras, Objektdetektionssensoren und anderen geeigneten Komponenten in dem Sichtsystem 20 integriert. Es ist auch möglich, dass das Steuermodul 22 mit anderen Fahrzeugsystemen, wie beispielsweise einem Kollisionsvermeidungssystem oder einem System einer aktiven Sicherheit, gekoppelt ist, so dass das Steuermodul solchen Systemen Kollisionsdaten und andere möglicherweise nützliche Informationen bereitstellen kann, die diesem ermöglichen, automatische Maßnahmen zu treffen, um mögliche Kollisionen zu vermeiden, abzuschwächen oder sich auf andere Weise darauf vorzubereiten. Es sei angemerkt, dass das Steuermodul 22 nicht auf irgendeine bestimmte Ausführungsform oder Anordnung beschränkt ist und sich von der hier gezeigten und beschriebenen unterscheiden kann.
-
Die visuelle Anzeige 24 empfängt das verbesserte Video von dem Steuermodul 22 und übermittelt dann das verbesserte Video an einen Fahrer, so dass er hinsichtlich sich auf dem Pfad befindender Objekte in dem bevorstehenden Straßensegment gewarnt werden kann. Die visuelle Anzeige 24 stellt für den Fahrer eine Information bereit und kann eine beliebige Kombination aus visuellen, akustischen und/oder anderen Typen von Komponenten hierfür umfassen. Die visuelle Anzeige 24 kann eine unabhängige Einheit sein oder kann in eine andere Komponente, eine andere Einrichtung, ein anderes Modul oder ein anderes System in dem Fahrzeug integriert sein (z. B. eine Rückspiegelanordnung); sie kann Teil einer Anzeige bei einem Fahrzeug-Infotainment- oder -Sicherheitssystem sein oder diese teilen (z. B. den gleichen Bildschirm verwenden wie der, der Filme abspielt, Navigationsdienste bereitstellt oder den Ausgang einer Rückfahrkamera anzeigt); oder sie kann Teil einer Gerätegruppe, einer Mittelkonsole oder einer Fahrerinformationszentrale (DIC) sein, um einige Beispiele zu nennen. Bei der in 1 gezeigten beispielhaften Ausführungsform ist die visuelle Anzeige 24 eine farbige Head-up-Anzeige (HUD), die das verbesserte Video auf einen abseits gelegenen Abschnitt der Windschutzscheibe projiziert (z. B. die untere fahrerseitige Ecke der Windschutzscheibe) und den Fahrer hinsichtlich einer möglichen Kollision alarmiert, indem sich auf dem Pfad befindende Objekte 14 und andere mögliche Hindernisse hervorgehoben werden. Natürlich können stattdessen andere visuelle Anzeigen verwendet werden.
-
Wieder sollen 1 und die vorstehende Beschreibung des beispielhaften Host-Fahrzeugs 10 und Kollisionswarnsystems 12 nur eine mögliche Ausführungsform darstellen, da das folgende Verfahren nicht auf die Verwendung mit nur diesem System beschränkt ist. Stattdessen kann eine beliebige Anzahl von anderen Systemanordnungen, Kombinationen und Architekturen, die jene umfassen, die sich signifikant von der in 1 gezeigten unterscheiden, verwendet werden.
-
Nun auf 2 Bezug nehmend ist ein beispielhaftes Verfahren 100 zum Betreiben eines Kollisionswarnsystems für ein Fahrzeug, wie beispielsweise das in 1 gezeigte, gezeigt. Beginnend mit Schritt 110 empfängt das Verfahren ein Video des bevorstehenden Straßensegments und Kollisionsdaten für zumindest ein sich auf dem Pfad befindendes Objekt. Gemäß einer beispielhaften Ausführungsform, bei der das Sichtsystem 20 seine eigenen Kollisionsdatenerzeugungsfähigkeiten besitzt, empfängt Schritt 110 sowohl ein Video als auch Kollisionsdaten von dem Sichtsystem 20.
-
Bei einer anderen Ausführungsform empfängt Schritt 110 ein Video von dem Sichtsystem 20 und Kollisionsdaten von separaten Objektdetektionssensoren, wie beispielsweise dem nach vorn gerichteten IR- oder RADAR-Sensor 38. Das Video von dem Sichtsystem 20 kann kontinuierlich auf einer Echtzeit-Basis geliefert werden, so dass es von dem Sichtsystem 20 zu dem Steuermodul 22 gestreamt wird, wann immer das Kollisionswarnsystem 12 in Betrieb ist, oder das Video kann zeitweise auf einer Ereignisbasis geliefert werden, so dass Speicher-, Verarbeitungs- und/oder andere Ressourcen gespart werden. Bei verschiedenen Beispielen einer Version auf Ereignisbasis liefert das Sichtsystem 20 das Video dem Steuermodul 22 nur, wenn das Fahrzeug mit einem oder oberhalb eines bestimmten Schwellenwerts fährt (d. h. das Übersteigen des Schwellenwerts durch die Fahrzeuggeschwindigkeit ist das Ereignis), oder wenn in dem bevorstehenden Straßensegment ein sich auf dem Pfad befindendes Objekt 14 detektiert wurde (d. h. die Detektion des sich auf dem Pfad befindenden Objekts ist das Ereignis). Es können auch andere Ereignisse oder Bedingungen verwendet werden. Es sei angemerkt, dass das sich auf dem Pfad befindende Objekt 14 ein sich bewegendes Objekt umfassen kann, wie beispielsweise ein anderes Fahrzeug, einen Radfahrer oder einen Fußgänger, oder dass es ein stationäres Objekt umfassen kann, wie beispielsweise eine Verschmutzung auf der Straße, ein heruntergefallener Baumast oder ein liegengebliebenes Fahrzeug. In Abhängigkeit von dem Sichtfeld des Sichtsystems 20 und/oder der Objektdetektionssensoren 34, 36, 38 ist es möglich, dass ein oder mehrere Objekte wie Bäume und Strommasten in dem Video erfasst werden könnten, auch wenn sie eigentlich nicht auf dem Pfad des Host-Fahrzeugs 10 liegen; solche Objekte werden nachstehend ausführlicher behandelt.
-
Wie oben erwähnt kann Schritt 110 auch Kollisionsdaten empfangen, die ein oder mehrere sich auf dem Pfad befindende Objekte 14 in dem bevorstehenden Straßensegment betreffen. ”Kollisionsdaten” umfassen wie hierin verwendet breit einen beliebigen Typ von Information oder andere Daten, die ein sich auf dem Pfad befindendes Objekt in dem bevorstehenden Straßensegment oder ein sich außerhalb des Pfads befindendes Objekt, das sich auf der Seite der Straße befindet, betreffen. Einige nicht einschränkende Beispiele möglicher Kollisionsdaten umfassen: Daten einer Zeitdauer bis zur Kollision für ein sich bewegendes oder stationäres Objekt (z. B. Entfernungsdaten, die verwendet werden, um die Zeitdauer bis zu einer Kollision zu schätzen), eine geschätzte Geschwindigkeit oder Beschleunigung für ein sich bewegendes sich auf dem Pfad befindendes Objekt (z. B. die Absolutgeschwindigkeit eines sich auf dem Pfad befindenden Fahrzeugs oder die Relativgeschwindigkeit zwischen einem sich auf dem Pfad befindenden Fahrzeug und dem Host-Fahrzeug) und eine geschätzte Größe eines sich auf dem Pfad befindenden Objekts, so dass das Verfahren zwischen einem abgestellten Fahrzeug und einem kleinen Müllsack auf der Spur des Host-Fahrzeugs unterscheiden kann. Es sei angemerkt, dass Daten einer Zeitdauer bis zur Kollision (auch als Entfernungsdaten bezeichnet) hinsichtlich Zeit (z. B. 3 Sekunden bis zum Aufprall), Distanz (z. B. 15 Meter (50 Fuß) bis zum Aufprall) oder eines anderen geeigneten Maßes ausgedrückt werden können und in einigen Fällen bereits durch Einrichtungen an dem Fahrzeug, wie das Sichtsystem 20, erfasst und verwendet werden.
-
Die folgende Beschreibung nimmt an, dass ein sich auf dem Pfad befindendes Objekt bereits in dem bevorstehenden Straßensegment detektiert wurde und dass das Sichtsystem 20 sowohl ein Video als auch Kollisionsdaten bereitstellt; wie oben erklärt ist dies nicht notwendig, da die Kollisionsdaten von anderen Quellen stammen könnten. Bei diesem bestimmten Beispiel überlagert das Sichtsystem 20 die Kollisionsdaten dem Video, um ein Entfernungsabbildungsvideo zu erzeugen, wobei jedes Pixel des Entfernungsabbildungsvideos gemäß seinem Wert einer Zeitdauer bis zur Kollision farbcodiert ist. Die Pixel, die Objekten entsprechen, die weiter entfernt sind, können beispielsweise grün gefärbt sein, während die Pixel, die näheren Objekten entsprechen, orange, rot oder mit einer anderen Farbe gefärbt sein können, die deren jeweilige Dringlichkeit angibt. Auf diese Weise wurden die Video- und Kollisionsdaten durch das Sichtsystem 20 kombiniert oder miteinander verflochten und zusammen bereitgestellt. Eine mögliche Herausforderung bezüglich eines einfachen Anzeigens dieses Entfernungsabbildungsvideos für den Fahrer ist, dass der gänzliche Umfang an übermittelten Informationen ablenkend, verwirrend oder einfach nicht hilfreich sein könnte, da jedes Pixel in dem Entfernungsabbildungsvideo farbig ist und dies eine ziemlich große Zusammenstellung an Bildern ergeben kann. Es sei angemerkt, dass das Video und die Kollisionsdaten auf eine beliebige Anzahl an verschiedenen Arten, mit einer beliebigen Anzahl von Formaten etc. bereitgestellt werden können, die die hier bereitgestellten Beispiele umfassen, jedoch nicht darauf beschränkt sind. Die folgenden Schritte sind in Verbindung mit 3A und 3B beschrieben, die einfache Darstellungen von zwei verschiedenen Frames eines verbesserten Videos von dem Steuermodul 22, aufgezeichnet zu zwei verschiedenen Zeitpunkten, sind. In dem Frame von 3A ist ein sich auf dem Pfad befindendes Objekt 14 (in diesem Fall ein Fahrzeug) weiter entfernt; in dem Frame von 3B ist das sich auf dem Pfad befindende Objekt näher.
-
In Schritt 120 bewertet das Verfahren das Video und die Kollisionsdaten, die in dem vorherigen Schritt erhalten wurden, so dass ein Wert einer Zeitdauer bis zur Kollision für jedes Pixel oder jede Gruppe von Pixeln in dem Video ermittelt werden kann. Gemäß dem obigen Beispiel, bei dem das Sichtsystem 20 ein Video und Kollisionsdaten, kombiniert in einem Entfernungsabbildungsvideo, bereitstellt, dechiffriert Schritt 120 das farbcodierte Entfernungsabbildungsvideo, bei dem jedem Pixel auf der Grundlage seines geschätzten Werts einer Zeitdauer bis zur Kollision eine Farbe zugeordnet wurde. Beim Abschluss dieses beispielhaften Schritts sollte das Verfahren für jedes Pixel oder jede Gruppe von Pixeln in dem Video einen erwarteten Wert einer Zeitdauer bis zur Kollision haben. In 3A ermittelt Schritt 120 beispielsweise Werte einer Zeitdauer bis zur Kollision für das gesamte Video des bevorstehenden Straßensegments, die umfassen: die Pixel oder Gruppen von Pixeln 100, die der Fahrbahn direkt vor dem Host-Fahrzeug 10 entsprechen, die Pixel oder Gruppen von Pixeln 102, die einem sich außerhalb des Pfads befindenden Baum 110 entsprechen, und die Pixel oder Gruppen von Pixeln 104, die einem sich auf dem Pfad befindenden Objekt oder Fahrzeug 14 entsprechen. Die Daten einer Zeitdauer bis zur Kollision werden auch für die anderen Pixel in dem Video-Frame erfasst, wobei jedoch die 100, 102, 104 zugehörigen Pixel in dem Bestreben, bestimmte Merkmale oder Techniken darzustellen, die durch Schritt 130 verwendet werden können, herausgegriffen wurden. Diese Sammlung von Werten einer Zeitdauer bis zur Kollision kann in einer beliebigen geeigneten Datenform und -struktur aufrechterhalten werden (z. B. könnte zu jedem Pixel oder jeder Gruppe von Pixeln ein Vektor gehören), und kann in der elektronischen Speichereinrichtung 42 gespeichert sein. Natürlich können stattdessen andere Techniken zum Erfassen, Extrahieren, Bewerten und/oder Speichern von Daten einer Zeitdauer bis zur Kollision oder anderen Kollisionsdaten verwendet werden.
-
Als Nächstes filtert Schritt 130 die Pixel oder Gruppen von Pixeln, die nicht einen interessierenden sich auf dem Pfad befindenden Objekt zugehörig sind, heraus oder ignoriert diese. Beim Durchführen dieses Schritts kann eine Vielzahl von Kriterien verwendet werden. Beispielsweise gehören die Pixel 100 zu der Fahrbahn, die sich auf dem Pfad befindet und ziemlich nahe an dem Host-Fahrzeug 10 liegt, sie sind jedoch kein Objekt von Interesse, da die Fahrbahn nicht der Typ von Objekt ist, der typischerweise zu einer möglichen Kollision führt; somit können die Pixel 100 ignoriert werden. Die Pixel 102 gehören zu einem Baum 110, der einigermaßen nahe bei dem Host-Fahrzeug 10 liegt und eindeutig der Typ von Objekt ist, der von Interesse ist, wobei sich der Baum jedoch nicht auf dem Pfad befindet; daher können die Pixel 102 ignoriert werden. Andererseits gehören die Pixel 104 zu dem Fahrzeug 14, das sich ziemlich nahe an dem Host-Fahrzeug 10 liegend auf dem Pfad befindet und der Typ von Objekt ist, der von Interesse ist; dementsprechend werden die Pixel 104 nicht ignoriert, sondern für eine weitere Verarbeitung identifiziert. Durch Herausfiltern oder Ignorieren von Pixeln, die zu Objekten gehören, die sehr weit entfernt sind, die sich nicht auf dem Pfad befinden oder die nicht die Typen von Objekten von signifikantem Interesse oder von signifikanter Wichtigkeit sind, kann sich das Verfahren auf jene Objekte konzentrieren, die am wahrscheinlichsten eine mögliche Kollision darstellen, ohne den Fahrer mit überflüssiger Information zu verwirren oder abzulenken. Es können verschiedene Algorithmen, Techniken und Kriterien verwendet werden, um zu ermitteln, welche Pixel herausgefiltert oder ignoriert werden sollen und welche für eine weitere Verarbeitung identifiziert werden sollen. einige andere Kriterien oder Eingänge, die verwendet werden können, umfassen Lenkwinkel, Gierraten, Fahrzeuggeschwindigkeiten, Objektgeschwindigkeiten etc.
-
Schritt 140 ermittelt dann ein Prioritätsniveau für die Pixel oder Gruppen von Pixeln, die zu einem sich auf dem Pfad befindenden interessierenden Objekt gehören. Das heißt, für die Pixel, die in dem vorherigen Schritt nicht herausgefiltert oder ignoriert wurden. Die tatsächlichen Techniken und Verfahren, die zum Ausführen dieses Schritts verwendet werden, können variieren. Beispielsweise kann Schritt 140 die nicht gefilterten Pixel oder Gruppen von Pixeln bewerten und ihnen ein Prioritätsniveau zuordnen, das auf deren entsprechendem Wert einer Zeitdauer bis zur Kollision basiert. Allen Pixeln mit einem Wert einer Zeitdauer bis zur Kollision von 0–3 Sekunden kann ein hohes Prioritätsniveau zugeordnet werden (z. B. eines, bei dem die Pixel ”rot” oder mit einer anderen Farbe, die eine Dringlichkeit bezeichnet, hervorgehoben werden), allen Pixeln mit einem Wert einer Zeitdauer bis zur Kollision von 3–6 Sekunden kann ein mittleres Prioritätsniveau gegeben werden (z. B. eines, bei dem die Pixel ”orange” hervorgehoben werden), allen Pixeln mit einem Wert einer Zeitdauer bis zur Kollision von 6–9 Sekunden kann ein niedriges Prioritätsniveau gegeben werden (z. B. eines, bei dem die Pixel ”grün” hervorgehoben werden), und alle anderen Pixel, wie beispielsweise jene mit einem Wert einer Zeitdauer bis zur Kollision, der größer als 9 Sekunden ist, oder ohne einen derartigen Wert, könnten ein Standardprioritätsniveau auf niedriger Ebene bekommen. Beim Durchführen von Schritt 140 können andere Kollisionsdaten als Werte einer Zeitdauer bis zur Kollision (z. B. Lenkwinkel, Gierrate, Host-Fahrzeuggeschwindigkeit oder -beschleunigung, Geschwindigkeit oder Beschleunigung eines sich auf dem Pfad befindenden Objekts etc.) verwendet werden. Die vorstehenden Werte, Bereiche, Prioritätsniveaus, Farben und Kriterien werden lediglich bereitgestellt, um diesen Schritt darzustellen, wobei sicherlich andere verwendet werden könnten. Beispielsweise kann Schritt 140 mehr oder weniger als drei Prioritätsniveaus, andere Farben oder andere Techniken zum Hervorheben des interessierenden Objekts als eine Farbe verwenden. Die Reihenfolge, in der die Pixel oder Gruppen von Pixeln bewertet werden und ihnen eine Priorität zugeordnet wird, kann auf deren Ort in dem Videobild oder einigen anderen Kriterien basieren, und die Techniken, die verwendet werden, um den Pixeln eine Priorität oder Einstufung zuzuordnen, kann sich von dem obigen nicht einschränkenden Beispiel unterscheiden.
-
Als Nächstes stellen die Schritte 150–174 ein verbessertes Video des bevorstehenden Straßensegments bereit, wobei ein oder mehrere sich auf dem Pfad befindende Objekte gemäß ihrem jeweiligen Prioritätsniveau hervorgehoben werden. Durch Hervorheben von interessierenden, sich auf dem Pfad befindenden Objekten oder anderweitiges Lenken der Aufmerksamkeit auf diese kann das vorliegende Verfahren ein verbessertes Video bereitstellen, bei dem sich solche Objekte von dem Rest des bevorstehenden Straßensegments abheben und daher für den Fahrer als intuitivere Warnung fungieren. Es wird das in 3A dargestellte Beispiel betrachtet, bei dem das sich auf dem Pfad befindende Fahrzeug 14 das einzige interessierende sich auf dem Pfad befindende Objekt in dem bevorstehenden Straßensegment ist und seinen entsprechenden Pixeln eine niedrige Priorität zugeordnet wurde, da das Fahrzeug immer noch relativ weit entfernt ist. In diesem Fall fährt das Verfahren mit den Schritten 170, 174 fort und erzeugt und liefert es ein verbessertes Video, bei dem das Fahrzeug 14 gemäß einem Hervorhebungs- oder Farbschema einer niedrigen Priorität hervorgehoben wird. Gemäß einem Beispiel hebt Schritt 174 alle oder einige der dem Fahrzeug 14 zugehörigen Pixel hervor, indem ihnen eine Farbe, wie beispielsweise Grün, zugeordnet wird, die auf eine nicht unmittelbare Situation oder eine Situation einer niedrigen Priorität hindeutet. Die farbigen Pixel können nur jene umfassen, die der Kontur oder dem Umfang des Objekts zugehörig sind (d. h. ein gewisser ”Heiligenschein”-Effekt), sie könnten auch alle der inneren Pixel umfassen oder sie könnten einige der benachbarten Pixel umfassen, die das Objekt umgeben, um einige Möglichkeiten zu nennen. Bei einem anderen Beispiel hebt Schritt 174 alle oder einige der dem Fahrzeug 14 zugehörigen Pixel hervor, indem bewirkt wird, dass sie heller sind, blinken oder sich auf andere Weise von dem Rest des bevorstehenden Straßensegments abheben. Bei dem Beispiel, bei dem das Verfahren ein Farbschema einsetzt, um das interessierende sich auf dem Pfad befindende Objekt hervorzuheben, könnte der Rest des Videobilds in Schwarzweiß bereitgestellt werden, um einen stärkeren Kontrast für das hervorgehobene Objekt bereitzustellen.
-
Bei dem in 3B gezeigten Beispiel befindet sich das Fahrzeug 14 nun näher an dem Host-Fahrzeug 10, und daher wurde seinen entsprechenden Pixeln oder Gruppen von Pixeln 104 ein mittleres Prioritätsniveau zugeordnet, so dass die Schritte 160 und 164 ein verbessertes Video bereitstellen, in dem das Fahrzeug orange oder mit einer anderen Farbe einer mittleren Priorität hervorgehoben ist. Wenn das Fahrzeug 14 dem Host-Fahrzeug noch näher kommt, können die Schritte 150 und 154 die entsprechenden Pixel rot oder in einer anderen Farbe, die ausgewählt wurde, um ein hohes Prioritätsniveau zu bezeichnen, hervorheben. Das Farbschema mit grün, orange und rot ist nicht die einzige Art, auf die ein interessierendes sich auf dem Pfad befindendes Objekt hervorgehoben werden kann; wie oben erwähnt können auch andere Techniken verwendet werden. Bei den vorstehenden Beispielen kann der Rest der Pixel in dem verbesserten Video (d. h. jene Pixel, die herausgefiltert wurden oder denen kein hohes, mittleres oder niedriges Prioritätsniveau zugeordnet ist) in Schwarzweiß, in Graustufen oder in einem anderen Format bereitgestellt werden, so dass die hervorgehobenen Pixel für den Fahrer leicht unterscheidbar sind.
-
Fachleute für Video- und/oder Bildeditierung, -bearbeitung, -verarbeitung etc. werden erkennen, dass es eine Vielzahl von Arten gibt, auf die das verbesserte Video erzeugt und bereitgestellt werden kann. Beispielsweise können die Schritte 154, 164 und/oder 174 das neue Farbschema mit den hervorgehobenen Pixeln oder Gruppen von Pixeln (z. B. die Pixel-Vektoren, die zu dem interessierenden sich auf dem Pfad befindenden Objekt gehören) einer Schwarzweiß-Version des ursprünglich von dem Sichtsystem 20 erhaltenen Videos überlagern, so dass ein verbessertes Video erzeugt wird. In diesem Fall wird das interessierende sich auf dem Pfad befindende Objekt, wie beispielsweise das Fahrzeug 14, mit einer bestimmten Farbe hervorgehoben, die dessen aktuelle Dringlichkeit oder Priorität bezeichnet und sich leicht von dem Rest des Videobilds abhebt, das Schwarzweiß ist. Dieser Typ von Ansatz kann in Fahrumgebungen sowohl bei Tag als auch bei Nacht nützlich sein und kann mit akustischen und/oder anderen Warnungen gekoppelt werden, um den Fahrer hinsichtlich des sich auf dem Pfad befindenden Objekts zu alarmieren. Bei einer anderen Ausführungsform entfernt das Verfahren lediglich den Hintergrund des Videobilds (d. h. jene Pixel oder Gruppen von Pixeln, die nicht zu einem interessierenden sich auf dem Pfad befindenden Objekt gehören) von dem Video, so dass das hervorgehobene interessierende sich auf dem Pfad befindende Objekt alles ist, was der Fahrer vor einem leeren Hintergrund sieht. Es sind auch andere Techniken möglich. Die Schritte 110–174 können durch das Sichtsystem 20, das Steuermodul 22, eine andere Einrichtung oder eine Kombination hiervon durchgeführt oder ausgeführt werden und können auf eine individuelle Pixel-für-Pixel-Basis, eine Pixel-gruppe-für-Pixelgruppe-Basis oder gemäß einem anderen Ansatz ausgeführt werden.
-
In Schritt 180 stellt das Verfahren das verbesserte Video der visuellen Anzeige 24 bereit, wobei ein oder mehrere sich auf dem Pfad befindende Objekte hervorgehoben sind. Wie oben erwähnt kann die visuelle Anzeige 24 eine einer Anzahl von Anzeigeeinheiten umfassen, wie beispielsweise eine farbige Head-up-Anzeigeeinheit (HUD-Einheit). In Abhängigkeit von dem bestimmten Aufbau kann die visuelle Anzeige 24 das verbesserte Video kontinuierlich von dem Steuermodul 22 empfangen und für den Fahrer anzeigen oder kann sie nur ein verbessertes Video anzeigen, wenn ein interessierendes sich auf dem Pfad befindendes Objekt detektiert wurde oder einige andere Kriterien erfüllt wurden. Wenn mehrere interessierende sich auf dem Pfad befindende Objekte detektiert werden, kann das Verfahren ermitteln, welches Objekt eine unmittelbarere Gefahr darstellt, und nur dieses Objekt hervorheben, oder kann es gemäß dem oben beschriebenen Prioritätsschema mehrere Objekte gleichzeitig hervorheben. Es ist auch möglich, dass das Verfahren 100 in dem Fall, dass ein hohes, mittleres und/oder niedriges Prioritätsniveau ermittelt wird, ein Befehlssignal eines Typs an ein System einer aktiven Sicherheit, wie beispielsweise ein Kollisionsvermeidungssystem etc., sendet. Eine Koordination zwischen solchen Systemen kann über einen Fahrzeugkommunikationsbus oder dergleichen ausgeführt werden. Es sind auch andere Merkmale und Ausführungsformen möglich.
-
Es ist zu verstehen, dass die vorstehende Beschreibung keine Definition der Erfindung, sondern eine Beschreibung einer oder mehrerer bevorzugter beispielhafter Ausführungsformen der Erfindung ist. Die Erfindung soll nicht auf die hierin offenbarte(n) bestimmte(n) Ausführungsform(en) beschränkt sein, sondern ist lediglich durch die nachstehenden Ansprüche definiert. ferner beziehen sich die in der vorstehenden Beschreibung enthaltenen Aussagen auf bestimmte Ausführungsformen und sollen sie nicht als Einschränkungen des Schutzumfangs der Erfindung oder der Definition von in den Ansprüchen verwendeten Begriffen ausgelegt werden, außer, wenn ein Begriff oder eine Phrase oben ausdrücklich definiert ist. Verschiedene andere Ausführungsformen und verschiedene Änderungen und Abwandlungen der offenbarten Ausführungsform(en) werden für Fachleute ersichtlich werden. Beispielsweise ist die spezifische Kombination und Reihenfolge von Schritten nur eine Möglichkeit, da das vorliegende Verfahren eine Kombination von Schritten umfassen kann, die weniger, mehr oder andere Schritte als die hier gezeigten aufweist. Bei einem solchen Beispiel werden die Schritte 120 und 130 ausgetauscht, so dass Pixel, die nicht zu interessierenden sich auf dem Pfad befindenden Objekten gehören, herausgefiltert werden, bevor Werte einer Zeitdauer bis zur Kollision ermittelt werden. Alle solchen anderen Ausführungsformen, Änderungen und Abwandlungen sollen innerhalb des Schutzumfangs der beigefügten Ansprüche umfasst sein.
-
Wie in dieser Beschreibung und in den Ansprüchen verwendet sollen die Begriffe ”zum Beispiel”, ”z. B.”, ”beispielsweise”, ”wie beispielsweise” und ”wie” und die Verben ”umfassen”, ”aufweisen”, ”einschließen” und ihre anderen Verbformen, wenn sie in Verbindung mit einer Auflistung einer oder mehrerer Komponenten oder eines oder mehrerer anderer Elemente verwendet werden, jeweils als ein offenes Ende aufweisend betrachtet werden, was bedeutet, dass die Auflistung nicht als andere, zusätzliche Komponenten oder Elemente ausschließend betrachtet werden soll. Andere Begriffe sollen als ihre breiteste vernünftige Bedeutung umfassend betrachtet werden, wenn sie nicht in einem Kontext verwendet werden, der eine andere Interpretation erfordert.
