-
QUERVERWEISE ZU VERWANDTEN ANMELDUNGEN
-
Für diese wird die Priorität unter, und zugunsten von 35 U.S.C. § 119(e) der provisorischen U.S.-Patentanmeldung Nr. 61/742,680, eingereicht am 16. August 2012 mit dem Titel „METHOD AND SYSTEM FOR IMAGING AN EXTERNAL SCENE BY EMPLOYING A CUSTOM IMAGE SENSOR” (VERFAHREN UND ABBILDUNG EINER AUSSENSZENE DURCH VERWENDUNG EINES ANWENDUNGSSPEZIFISCHEN BILDSENSORS), deren vollständige Offenbarung hierin unter Bezugnahme enthalten ist.
-
ANWENDUNGSBEREICH DER ERFINDUNG
-
Die vorliegende Erfindung betrifft im Allgemeinen in ein Fahrzeug eingebaute Bildsensoren und insbesondere ein System zur Abbildung von einer Szene außerhalb des gesteuerten Fahrzeugs.
-
HINTERGRUND DER ERFINDUNG
-
Abbildungssysteme sind mittlerweile in Fahrzeugen ein weit verbreitetes Merkmal, und werden in einer Vielzahl von Fahrzeuganwendungen eingesetzt. Eine wichtige Anwendung umfasst die Erkennung des Vorhandenseins anderer Fahrzeuge. Zu diesem Zweck erkennen die Abbildungssysteme die Leuchten anderer Fahrzeuge und können außerdem das Licht entweder als einen Scheinwerfer oder als eine Schlussleuchte kategorisieren. Ein Nachteil aktueller Abbildungssysteme umfasst jedoch die Schwierigkeit, eine Schlussleuchte unter bestimmten Bedingungen abzubilden, z. B. wenn das andere Fahrzeug weiter entfernt ist. Aus diesem Grund besteht ein Bedarf nach einem Abbildungssystem, das eine genauere Abbildung von Schlussleuchten bietet.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Gemäß einer Ausführungsform der vorliegenden Erfindung wird ein System zur Abbildung einer Außenszene bereitgestellt. Das System umfasst die Filterung von Licht, welches von der Szene mit einem in den Bildsensor integrierten GRRB-Filter-Array empfangen wurde, der Bilddaten erzeugt, die dem gefilterten Licht entsprechen, Empfangen und Analysieren von Bilddaten in einem Controller und Berechnen einer GRRB-Farbmatrix um zu bestimmen, ob das gefilterte Licht einem Scheinwerfer oder einer Schlussleuchte von einem anderen Fahrzeug entspricht.
-
In Übereinstimmung mit einer weiteren Ausführungsform der Erfindung wird ein weiteres System zur Abbildung einer Außenszene eines gesteuerten Fahrzeugs bereitgestellt. Das System umfasst die Filterung von Licht, welches von der Szene mit einem in den Bildsensor integrierten GRRB-Filter-Array empfangen wurde, welches Bilddaten erzeugt, die dem gefilterten Licht entsprechen, und Empfangen und Analysieren von Bilddaten in einem Controller zum Erkennen des Lichts anderer Fahrzeuge.
-
In Übereinstimmung mit einer weiteren Ausführungsform der Erfindung wird ein System zur Steuerung der Außenleuchten eines gesteuerten Fahrzeugs bereitgestellt. Das System umfasst einen Bildsensor mit einem GRRB-Filter-Array zum Empfang von Licht von einer Szene außerhalb und vor dem gesteuerten Fahrzeug, und zur Erzeugung von Bilddaten, und einen Controller zum Empfangen und Analysieren der Bilddaten zum Erkennen des Lichts anderer Fahrzeuge.
-
Diese und weitere Merkmale, Vorteile und Gegenstände der vorliegenden Erfindung werden unter Bezugnahme auf die nachfolgende Beschreibung, die Ansprüche und die beigefügten Zeichnungen von Fachleuten auf diesem Gebiet verstanden und gewürdigt.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
In den Zeichnungen ist:
-
1 ein Blockdiagramm eines Systems, welches gemäß einer Ausführungsform konstruiert ist;
-
2 ein Teilquerschnitt einer Rücksichtbaugruppe mit einem System in Übereinstimmung mit einer weiteren Ausführungsform;
-
3 eine bildliche Darstellung einer erkannten Schlussleuchte auf einem GRRB-Filter-Array, welches zur Abbildung einer Szene außerhalb und vor einem gesteuerten Fahrzeug dient, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
-
4 eine bildliche Darstellung eines dreidimensionalen Farbwürfels, der zur Umwandlung einer roten, grünen und blauen 3-D-Skala in eine lineare Skala von nicht rot zu rot verwendet wird, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
-
5 eine bildliche Darstellung der Auswertung von Farbe mittels einer 3-D-Farbebene, die einen 3-D-Farbwürfel schneidet, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
-
6 eine bildliche Darstellung einer am meisten nicht roten Farblinie, die entlang einer Kante der 3-D-Farbebene auftritt, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
-
7 eine bildliche Darstellung eines Bereichs einer 3-D-Farbebene, die als Schlussleuchten bewertet wird, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
-
8A eine grafische Veranschaulichung einer Überkreuzung zwischen Scheinwerfern und Schlussleuchten bei Verwendung einer RGGB-Kamera, die ein RGGB-Filter-Array aufweist und eine RGGB-Farbmetrik verwendet;
-
8B eine grafische Veranschaulichung einer Überkreuzung zwischen Scheinwerfern und Schlussleuchten bei Verwendung einer GRRB-Kamera, die ein GRRB-Filter-Array aufweist und eine GRRB-Farbmetrik verwendet, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
-
9A eine grafische Veranschaulichung eines Lichtausfalls bei Verwendung der RGGB-Kamera;
-
9B eine grafische Veranschaulichung eines Lichtausfalls bei Verwendung der GRRB-Kamera; und
-
9C eine grafische Veranschaulichung eines laufenden Mittelwerts der Anzahl von Dropped Frames für die RGGB-Kamera und die GRRB-Kamera.
-
DETAILLIERTE BESCHREIBUNG
-
Nachfolgend wird detailliert Bezug genommen auf die vorliegenden bevorzugten Ausführungsformen der Erfindung, wobei Beispiele davon in den beigefügten Zeichnungen veranschaulicht sind. Wann immer dies möglich ist, werden in den gesamten Zeichnungen zur Bezeichnung gleicher oder ähnlicher Teile dieselben Bezugszeichen verwendet. In den Zeichnungen sind die abgebildeten Konstruktionselemente nicht maßstabsgetreu, und bestimmte Komponenten sind im Verhältnis zu den anderen Komponenten zum Zwecke besserer Hervorhebung und Verständnisses vergrößert.
-
Die in hierin beschriebenen Ausführungsformen betreffen Verfahren und Systeme zur Abbildung einer Szene außerhalb und vor einem gesteuerten Fahrzeug. Ein Beispiel dafür ist ein Außenleuchtensteuerungssystem zur Steuerung der Außenleuchten eines gesteuerten Fahrzeugs als Reaktion auf Bilddaten, die von einem Bildsensor erfasst werden, der Bilder vor dem Fahrzeug aufnimmt. Altere Systeme sind bekannt dafür, dass sie Außenleuchten von Fahrzeugen als Reaktion auf Bilder steuern, die vor dem Fahrzeug aufgenommen wurden. Bei diesen älteren Systemen analysierte ein Controller die aufgenommenen Bilder und bestimmte, ob vorausfahrende oder kommende Fahrzeuge in einem Blendbereich vor dem Fahrzeug mit dem System vorhanden waren. Dieser „Blendbereich” war der Bereich, in dem die Außenleuchten übermäßige Blendung für einen Fahrer verursachten, wenn die Außenleuchten im Fernlichtzustand waren (oder in einem Zustand außer dem Abblendlichtzustand). Wenn ein Fahrzeug in dem Blendbereich vorhanden war, dann reagierte der Controller, indem er den Zustand der Außenleuchten derart änderte, dass sie für einen anderen/andere Fahrer keine Blendung verursachten. Beispiele solcher Systeme sind beschrieben in den
U.S.-Patenten Nr. 5,837,994 ,
5,990,469 ,
6,008,486 ,
6,049,171 ,
6,130,421 ,
6,130,448 ,
6,166,698 ,
6,379,013 ,
6,403,942 ,
6,587,573 ,
6,611,610 ,
6,631,316 ,
6,774,988 ,
6,861,809 ,
7,321,112 ,
7,417,221 ,
7,565,006 ,
7,567,291 ,
7,653,215 ,
7,683,326 ,
7,881,839 ,
8,045,760 und
8,120,652 sowie in der U.S.-Patentanmeldung Nr. 13/432,250 mit dem Titel „VEHICULAR IMAGING SYSTEM AND METHOD FOR DETERMINING ROADWAY WIDTH” (FAHRZEUGABBILDUNGSSYSTEM UND VERFAHREN ZUR BESTIMMUNG EINER STRASSENBREITE), eingereicht am 28. MARZ 2012 von Jeremy A. Schut et al., deren gesamte Offenbarungen in diesem Dokument durch Bezugnahme enthalten sind.
-
Diese älteren Systeme unterscheiden typischerweise zwischen Scheinwerfern und Schlussleuchten, um zwischen kommenden und vorausfahrenden Fahrzeugen zu unterscheiden. Bei der Erkennung von Schlussleuchten in einer Entfernung sind die Schlussleuchten typischerweise nicht sehr hell und erscheinen als sehr kleine Lichtpunkte auf dem Bildsensor, wobei oftmals nur einer oder wenige Pixel nebeneinander abgebildet werden. Wenn bei dem Bildsensor das, was als ein Bayer-Array bekannt ist, als Farbfilter verwendet wird, dann ist jeder Block aus vier Pixeln RGGB, oder in anderen Worten ausgedrückt, eines der vier Pixel ist rot, eines ist blau und zwei sind grün. Wenn also ein solches herkömmliches Bayer-Array in einem System zur Erkennung von Schlussleuchten verwendet wird, dann kann der abgebildete Punkt einer entfernten Schlussleuchte nur durch eines der RGGB-Pixel hindurchgehen, und bietet somit nur eine Chance von 25%, ein rotes Pixel vollständig zu beleuchten. Wenn der abgebildete Punkt einer entfernten Schlussleuchte kein rotes Pixel trifft, dann kann seine Farbe nicht so einfach als diejenige einer Schlussleuchte identifiziert werden. Obwohl sich der abgebildete Punkt über weitere Pixel des Bildsensors in nachfolgend aufgenommenen Bildrahmen bewegt, da sich das vorausfahrende Fahrzeug im Verhältnis zu dem gesteuerten Fahrzeug bewegt, sind Verbesserungen über solche Bildsensoren mit Bayer-Array-Filtern möglich, um die Wahrscheinlichkeit zu erhöhen, dass solch eine entfernte Schlussleuchte in jedem Bildrahmen erkannt werden kann.
-
Eine erste Ausführungsform eines Außenleuchtensteuerungssystems 10 ist in 1 dargestellt. Ein Außenleuchtensteuerungssystem 10 wird zur Steuerung der Außenleuchten 80 und optional anderer Ausrüstung 50, 62 eines gesteuerten Fahrzeugs bereitgestellt. Das System 10 umfasst ein neuartiges Abbildungssystem 20 und einen Controller 30. Das Abbildungssystem 20 umfasst einen Bildsensor 201, 2, der zur Abbildung einer Szene außerhalb und vor dem gesteuerten Fahrzeug, und zur Erzeugung von Bilddaten ausgestaltet ist, die den erfassten Bildern entsprechen. Der Controller 30 empfängt und analysiert die Bilddaten und erzeugt ein Außenleuchten-Steuersignal, welches zur Steuerung von Außenleuchten 80 verwendet wird und Steuersignale zur Steuerung von beliebiger zusätzlicher Ausrüstung 50, 62 erzeugen kann. Diese Steuersignale werden als Reaktion auf die Analyse der Bilddaten erzeugt.
-
Der Controller 30 kann ausgestaltet sein, um direkt mit der gesteuerten Ausrüstung 50 so verbunden zu werden, dass die erzeugten Steuersignale die Ausrüstung direkt steuern. Alternativ kann der Controller 30 kann ausgestaltet sein, um direkt mit einer Ausrüstungssteuerung 60 und 70 verbunden zu werden, die wiederum so mit der gesteuerten Ausrüstung 62 und 80 verbunden ist, dass die vom Controller 30 erzeugten Steuersignale die Ausrüstung nur indirekt steuern. So kann z. B. der Controller 30 dann, wenn es sich bei der Ausrüstung um Außenleuchten 80 handelt, die Bilddaten von Abbildungssystem 20 analysieren, um Steuersignale zu erzeugen, bei denen es sich mehr um eine Empfehlung für die Verwendung einer Außenleuchtensteuerung 70 bei der Steuerung von Außenleuchten 80 handelt. Die Steuersignale können weiterhin nicht nur eine Empfehlung umfassen, sondern auch einen Code, der einen Grund für die Empfehlung darstellt, sodass Ausrüstungssteuerung 60 und 70 bestimmen können, ob eine Empfehlung überregelt wird oder nicht.
-
Wie in 1 dargestellt, können dem Controller 30 verschiedene Eingänge (z. B. Eingänge 21–24) bereitgestellt werden, die bei der Bildung einer Empfehlung oder eines direkten Steuersignals berücksichtigt werden können. In einigen Fällen können solche Eingänge stattdessen der Ausrüstungssteuerung 60 und 70 bereitgestellt werden. So kann z. B. ein Eingang von Handschaltern der Ausrüstungssteuerung 60 und 70 bereitgestellt werden, die der Ausrüstungssteuerung 60 und 70 erlauben kann, eine Empfehlung von Controller 30 zu überregeln. Es wird gewürdigt werden, dass verschiedene Interaktions- und Kooperationsebenen zwischen Controller 30 und Ausrüstungssteuerungen 60 und 70 vorhanden sein können. Ein Grund für die Trennung von Steuerungsfunktionen besteht darin zuzulassen, dass das Abbildungssystem 20 an der besten Stelle im Fahrzeug zur Aufnahme von Bildern angeordnet ist, was in einer Entfernung von der zu steuernden Ausrüstung sein kann, und um eine Kommunikation über den Fahrzeugbus 25 zuzulassen.
-
Gemäß einer Ausführungsform kann die Ausrüstung, die System 10 steuert, eine oder mehrere Außenleuchten 80 umfassen, und das von Controller 30 erzeugte Steuersignal kann ein Außenleuchtensteuersignal sein. Bei dieser Ausführungsform können die Außenleuchten 80 direkt durch Controller 30 oder durch eine Außenleuchtensteuerung 70 gesteuert werden, die ein Steuersignal von dem Controller 30 empfängt. Wie hierin verwendet, umfassen „Außenleuchten” jede beliebige Außenbeleuchtung des Fahrzeugs. Solche Außenleuchten können Scheinwerfer (Abblend- und Fernlicht, sofern diese voneinander getrennt sind), Schlussleuchten, Schlechtwetterleuchten, wie z. B. Nebelleuchten, Bremsleuchten, zentrale oben angebrachte Stopplichter (CHMSLs), Blinker, Rückfahrleuchten usw., sein. Bei den Außenleuchten kann eine Vielzahl von Beleuchtungslösungen, wie z. B. lichtemittierende Dioden (LED), Halogen-, Xenon-, Bi-Xenon-, LED-Matrix-Strahlbeleuchtung und LASER-Matrixstrahlbeleuchtung, zum Einsatz kommen, die in mehreren unterschiedlichen Modi einschließlich herkömmlichen Abblendlicht- und Fernlichtzuständen betrieben werden können. Sie können auch als Tagfahrleuchten betrieben werden sowie zusätzlich als superhelle Fernlichtleuchten in den Ländern, in denen sie zugelassen sind.
-
Die Helligkeit der Außenleuchten kann auch stufenlos zwischen den Abblendlicht-, Fernlicht- und superhellen Zuständen verändert werden. Es können getrennte Leuchten bereitgestellt werden, um jeden dieser Außenbeleuchtungszustände zu erreichen, oder die tatsächliche Helligkeit der Außenleuchten kann verändert werden, um diese unterschiedlichen Außenbeleuchtungszustände bereitzustellen. In beiden Fällen ändert sich das „wahrgenommene Helligkeits-” oder Beleuchtungs-Array der Außenleuchten. Wie hierin verwendet, bedeutet „wahrgenommene Helligkeit” die Helligkeit der Außenleuchten, wie sie von einem Betrachter außerhalb des Fahrzeugs wahrgenommen wird. Am typischsten handelt es sich bei diesen Betrachtern um Fahrer oder Beifahrer in einem vorausfahrenden Fahrzeug oder in einem Fahrzeug, welches in derselben Straße in der Gegenrichtung fährt. Idealerweise werden die Außenleuchten so gesteuert, dass wenn sich ein Betrachter in einem Fahrzeug innerhalb eines „Blendbereichs” im Verhältnis zu dem Fahrzeug befindet (d. h. der Bereich, in dem der Betrachter die Helligkeit der Außenleuchten so wahrnehmen würde, dass sie übermäßige Blendung verursachen), wird das Strahlbeleuchtungs-Array so verändert, dass sich der Betrachter nicht mehr in dem Blendbereich befindet. Der wahrgenommene Helligkeits- und/oder Blendbereich der Außenleuchten kann durch Veränderung der Beleuchtungsleistung eines oder mehrerer Außenleuchten geändert werden, indem eines oder mehrere Leuchten so gesteuert werden, dass das Ziel eines oder mehrerer der Außenleuchten verändert wird, indem selektiv einige oder alle der Außenleuchten blockiert oder ansonsten aktiviert oder deaktiviert werden, indem das Beleuchtungs-Array vor dem Fahrzeug verändert wird, oder durch eine Kombination des oben Erwähnten.
-
Das Abbildungssystem
20 umfasst einen Bildsensor (oder Kamera), der/die weiter unten beschrieben wird, zur Aufnahme von Bildern, die dann angezeigt und/oder analysiert werden, um die Fahrzeugausrüstung zusätzlich zu Außenleuchten zu steuern. Solche Abbildungssysteme wurden z. B. für Spurhaltewarnsysteme, Vorwärts-Kollisionswarnsysteme, adaptive Geschwindigkeitsregelungssysteme, Fußgängererkennungssysteme, Nachtsichtsysteme, Geländeerkennungsssysteme, Einparkhilfesysteme, Verkehrszeichenerkennungssysteme und Rückfahrkamera-Anzeigesysteme verwendet. Beispiele von Systemen, bei denen Abbildungssysteme für solche Zwecke zum Einsatz kommen, sind beschrieben in den
U.S.-Patenten Nr. 5,837,994 ,
5,990,469 ,
6,008,486 ,
6,049,171 ,
6,130,421 ,
6,130,448 ,
6,166,698 ,
6,379,013 ,
6,403,942 ,
6,587,573 ,
6,611,610 ,
6,631,316 ,
6,774,988 ,
6,861,809 ,
7,321,112 ,
7,417,221 ,
7,565,006 ,
7,567,291 ,
7,653,215 ,
7,683,326 ,
7,881,839 ,
8,045,760 und
8,120,652 sowie in den provisorischen U.S.-Patentanmeldungen Nr. 61/512,213 mit dem Titel „RAISED LANE MARKER DETECTION SYSTEM AND METHOD THEREOF” (SYSTEM UND VERFAHREN ZUR ERKENNUNG VON SPUREN DURCH ERFASSUNG ERHABENER FAHRBAHNMARKIERUNGEN), eingereicht am 27. Juli 2011 von Brock R. Rycenga et al., und 61/512,158 mit dem Titel „COLLISION WARNING SYSTEM AND METHOD THEREOF” (KOLLISIONSWARNSYSTEM UND VERFAHREN DAFÜR), eingereicht am 27. Juli 2011 von Brock R. Rycenga et al., deren gesamte Offenbarungen in diesem Dokument durch Bezugnahme enthalten sind.
-
Bei dem in 1 dargestellten Beispiel kann das Abbildungssystem 20 durch Controller 30 gesteuert werden. Die Kommunikation von Abbildungssystemparametern sowie von Bilddaten erfolgt über den Kommunikationsbus 40, wobei es sich um einen bidirektionalen seriellen Bus, parallelen Bus, eine Kombination von beiden, oder andere geeignete Mittel handeln kann. Controller 30 dient zur Ausführung von Ausrüstungssteuerungsfunktionen durch die Analyse von Bildern von Abbildungssystem 20, Bestimmung eines Zustands der Ausrüstung (oder der Außenleuchte) basierend auf innerhalb dieser Bilder erkannten Informationen, und Kommunikation des bestimmten Zustandes der Ausrüstung (oder der Außenleuchte) an die Ausrüstung 50, Ausrüstungssteuerung 60 oder Außenleuchtensteuerung 70 durch Bus 42, wobei es sich um den Fahrzeugbus 25, einen CAN-Bus, einen LIN-Bus oder jede andere geeignete Kommunikationsverbindung handeln kann. Controller 30 kann das Abbildungssystem so steuern, dass es in mehreren unterschiedlichen Modi mit unterschiedlichen Belichtungszeiten und unterschiedlichen Auslesefenstern aktiviert wird. Controller 30 kann sowohl zur Ausführung der Ausrüstungs- oder Außenleuchtensteuerfunktion, als auch zur Steuerung der Parameter des Abbildungssystems 20 verwendet werden.
-
Controller 30 kann auch Signale zu seinem Vorteil nutzen (wie z. B. Fahrzeuggeschwindigkeit und -drehung), die über diskrete Verbindungen oder über den Fahrzeugbus 25 kommuniziert werden, und zwar durch das Treffen von Entscheidungen in Bezug auf den Betrieb der Außenleuchten 80. Insbesondere stellt der Geschwindigkeitseingang 21 Fahrzeuggeschwindigkeitsinformationen an den Controller 30 bereit, wobei die Geschwindigkeit ein Faktor bei der Bestimmung des Steuerzustands für die Außenleuchten 80 oder andere Ausrüstung sein kann. Das Rückwärtssignal 22 informiert den Controller 30, dass sich das Fahrzeug im Rückwärtsgang befindet, wobei der Controller 30 als Reaktion darauf ein elektrochromes Spiegelelement unabhängig von den Signalen löschen kann, die von Lichtsensoren abgegeben werden. Der Auto EIN/AUS-Schaltereingang 23 ist mit einem Schalter verbunden, der zwei Zustände aufweist um dem Controller 30 vorzuschreiben, ob die Fahrzeugaußenleuchten 80 automatisch oder manuell gesteuert werden sollten. Der Auto EIN/AUS-Schalter (nicht dargestellt), der mit dem EIN/AUS-Schaltereingang 23 verbunden ist, kann in den Scheinwerferschaltern integriert sein, die herkömmlicherweise an dem Armaturenbrett des Fahrzeugs angebracht, oder in die Lenksäulenstufen integriert ist. Der manuelle Dimmerschaltereingang 24 ist so mit einem manuell betätigten Schalter (nicht dargestellt) verbunden, dass er ein manuelles Überregelungssignal für einen Außenleuchten-Steuerzustand bereitstellt. Einige oder alle der Eingänge 21, 22, 23, 24 und Ausgänge 42a, 42b und 42c sowie beliebige andere Eingänge und Ausgänge, wie z. B. Lenkradeingänge, Scheibenwischereingänge, Scheibenwischerzustandseingänge, Blinkerzustandseingänge und/oder Scheinwerferzustandseingänge, können optional durch den in 1 dargestellten Fahrzeugbus 25 bereitgestellt werden. Alternativ können diese Eingänge 21–24 der Ausrüstungssteuerung 60 oder der Außenleuchtensteuerung 70 bereitgestellt werden.
-
Controller 30 kann zumindest teilweise eine andere Ausrüstung 50 innerhalb des Fahrzeugs steuern, die mit dem Controller 30 über den Fahrzeugbus 42 verbunden ist. Insbesondere sind nachfolgend einige Beispiele von einer oder mehreren Ausrüstungen 50 aufgeführt, die von Controller 30 gesteuert werden können: Außenleuchten 80, ein Regensensor, ein Kompass, Informationsanzeigen, Scheibenwischer, eine Heizung, ein Fahrzeugentfroster, eine Scheibenheizung, eine Klimaanlage, eine Telefonanlage, ein Navigationssystem, ein Sicherheitssystem, ein Reifendrucküberwachungssystem, ein Garagentoröffnungssender, ein schlüsselloses Fernbedienungs-Zugangssystem, ein Telematiksystem, ein Spracherkennungssystem, wie z. B. ein digitalsignalprozessorbasiertes Sprachbetätigungssystem, eine Fahrzeuggeschwindigkeitsregelung, Innenleuchten, Rückspiegel, ein Audiosystem, ein Motorsteuerungssystem und verschiedene andere Schalter und Anzeigevorrichtungen, die überall im Fahrzeug angeordnet sein können.
-
Außerdem kann der Controller 30 mindestens teilweise innerhalb einer Rücksichtbaugruppe eines Fahrzeugs angeordnet sein, oder kann an einer beliebigen Stelle innerhalb des Fahrzeugs angeordnet sein. Der Controller 30 kann auch einen zweiten Controller (oder mehrere Controller), wie z. B. eine Ausrüstungssteuerung 60, verwenden, die innerhalb einer Rücksichtbaugruppe oder an einer beliebigen Stelle innerhalb des Fahrzeugs angeordnet sein kann, um bestimmte Arten von Ausrüstung 62 zu steuern. Die Ausrüstungssteuerung 60 kann so verbunden sein, dass sie über den Fahrzeugbus 42 von dem Controller 30 erzeugte Steuersignale erhält. Die Ausrüstungssteuerung 60 kommuniziert mit der Ausrüstung 62 und steuert diese über Bus 61. So kann die Ausrüstungssteuerung 60 z. B. eine Scheibenwischer-Steuerungseinheit sein, die die Scheibenwischerausrüstung steuert und diese Ausrüstung auf EIN oder auf AUS schaltet. Die Ausrüstungssteuerung 60 kann auch eine elektrochrome Spiegelsteuerungseinheit sein, wobei der Controller 30 programmiert ist, um mit der elektrochromen Steuerungseinheit zu kommunizieren, damit die elektrochrome Spiegelsteuerungseinheit die Reflexion des/der elektrochromen Spiegel(s) als Reaktion auf die von einem Umgebungslichtsensor, einem Blendsensor sowie beliebigen anderen, mit dem Prozessor verbundenen Komponenten erhaltenen Informationen ändern kann. Insbesondere kann die Ausrüstungssteuerungseinheit 60, die mit dem Controller 30 in Kommunikation steht, die folgende Ausrüstung steuern: Außenleuchten, einen Regensensor, einen Kompass, Informationsanzeigen, Scheibenwischer, eine Heizung, einen Fahrzeugentfroster, eine Scheibenheizung, eine Klimaanlage, eine Telefonanlage, ein Navigationssystem, ein Sicherheitssystem, ein Reifendrucküberwachungssystem, einen Garagentoröffnungssender, ein schlüsselloses Fernbedienungs-Zugangssystem, ein Telemetriesystem, ein Spracherkennungssystem, wie z. B. ein digitalsignalprozessorbasiertes Sprachbetätigungssystem, eine Fahrzeuggeschwindigkeitsregelung, Innenleuchten, Rückspiegel, ein Audiosystem, eine Klimaregelung, ein Motorsteuerungssystem und verschiedene andere Schalter und Anzeigevorrichtungen, die überall im Fahrzeug angeordnet sein können.
-
Teile von System 10 können vorteilhafterweise in eine Rücksichtbaugruppe 200 integriert sein, wie in 2 veranschaulicht, wobei das Abbildungssystem 20 in eine Halterung 203 einer Rücksichtbaugruppe 200 integriert ist. Diese Stelle bietet eine ungehinderte Vorwärtssicht über einen Bereich der Windschutzscheibe 202 des Fahrzeugs, die typischerweise von den Scheibenwischern (nicht dargestellt) des Fahrzeugs gereinigt wird. Außerdem wird durch die Montage des Bildsensors 201 des Abbildungssystems 20 in der Rücksichtbaugruppe das Teilen der Schaltungen, wie z. B. der Stromversorgung, des Microcontrollers und der Lichtsensoren, ermöglicht.
-
Unter Bezugnahme auf 2 ist der Bildsensor 201 innerhalb der Rücksichthalterung 203 angebracht, die an der Fahrzeugwindschutzscheibe 202 montiert ist. Die Rücksichthalterung 203 stellt für den Bildsensor ein lichtundurchlässiges Gehäuse mit Ausnahme einer Öffnung bereit, durch welche Licht von einer vorwärts liegenden Außenszene empfangen wird.
-
Controller 30 von 1 kann auf einer Hauptplatine 215 bereitgestellt und in dem Rücksichtgehäuse 204 montiert sein, wie in 2 dargestellt. Wie oben abgehandelt, kann der Controller 30 mit dem Abbildungssystem 20 durch einen Bus 40 oder andere Mittel verbunden sein. Die Hauptplatine 215 kann mithilfe von herkömmlichen Mitteln innerhalb des Rücksichtgehäuses 204 montiert sein. Strom sowie eine Kommunikationsverbindung 42 mit der elektrischen Anlage des Fahrzeugs, einschließlich der Außenleuchten 80 (1), werden über einen Fahrzeugkabelbaum 217 (2) bereitgestellt.
-
Die Rücksichtbaugruppe 200 kann ein Spiegelelement oder eine Anzeige umfassen, die eine Rückansicht anzeigen. Das Spiegelelement kann ein prismatisches Element oder ein elektro-optisches Element, wie z. B. ein elektrochromes Element, sein.
-
Zusätzliche Details der Art, in der das System
10 in eine Rückspiegelbaugruppe
200 integriert werden kann, sind in dem
U.S.-Patent Nr. 6,611,610 beschrieben, dessen vollständige Offenbarung hierin unter Bezugnahme enthalten ist. Alternative Rückspiegelbaugruppenkonstruktionen, die zur Umsetzung von Außenleuchten-Steuerungssystemen verwendet werden, sind in dem
U.S.-Patent Nr. 6,587,573 offenbart, dessen vollständige Offenbarung hierin unter Bezugnahme enthalten ist.
-
3 zeigt eine bildliche Darstellung einer erkannten Schlussleuchte 110 auf einem GRRB-Filter 120, der zur Abbildung einer Szene außerhalb und vor einem gesteuerten Fahrzeug dient. Wie in 3 dargestellt, trifft ein großer Teil des Schlusslichts 110 zum Abbilden einer Schlussleuchte vorzugsweise auf eine Mehrzahl von roten Pixeln auf, da alles von den grünen oder blauen Pixeln erkannte Licht herausgefiltert wird. Typischerweise bewegen sich Fahrzeuge innerhalb der von dem Bildsensor aufgenommenen Szene in vier Richtungen: hoch, runter, links und rechts, wenn sich das Fahrzeug nähert, sodass die Lichtspitzen seiner Leuchten zufällig unterschiedliche Pixel auf dem Filter-Array treffen können, was genauere Attribute des Objekts ermöglicht. Außerdem kann der GRRB-Filter, wenn er für die Spurerkennung verwendet wird, eine Vergrößerung des Kontrasts zwischen den Fahrbahnmarkierungen und umgebenden Objekten bereitstellen. Im Verhältnis zu einem RGGB-Bayer-Filter ist ein Bildsensor mit einem GRRB-Filter empfindlicher für in der Szene vorhandenes rotes Licht, was eine erhöhte Abbildungsgenauigkeit von Schlusslichtern ermöglicht, da sich das Schlusslicht nach oben, unten, links oder rechts bewegt, wobei die Spitze des Schlusslichts auf mehr roten Pixeln abgebildet, und ein kleinerer Teil des Lichts durch grüne und blaue Pixel herausgefiltert wird. Außerdem trifft das Schlusslicht, wenn es sich diagonal bewegt, etwa vier rote Pixel, wobei die Schlussleuchte zuverlässig abgebildet wird.
-
Eine GRRB-Farbmetrik kann berechnet werden um zu ermöglichen, dass ein GRRB-Filter „rote” und „nicht rote” Lichter zumindest gleich gut wie ein RGGB-Bayer-Filter auflöst. Der GRRB-Filter und die GRRB-Farbmetrik können in Abbildungssystemen verwendet werden, die eine Szene vor einem gesteuerten Fahrzeug abbilden, so wie Abbildungssysteme, die eine Szene auf der Rückseite eines gesteuerten Fahrzeugs abbilden, wie z. B. eine Rückfahrkamera. Bei jeder der Ausführungsformen macht die Verwendung eines GRRB-Filters den Bildsensor empfindlicher für rotes Licht, wie zuvor beschrieben, wodurch es ermöglicht wird, dass ein Abbildungssystem Schlussleuchten zuverlässiger erkennt, aber auch eine zuverlässigere Abbildung ermöglicht wird, wenn rotes Licht von anderen Quellen die Szene durchdringt. Wenn z. B. ein gesteuertes Fahrzeug rückwärts führt, wird die hintere Szene durch die eigenen Schlussleuchten des gesteuerten Fahrzeugs beleuchtet. Bei Verwendung einer Rückfahrkamera mit einem GRRB-Filter und Annahme der hierin beschriebenen GRRB-Farbmetrik können Objekte in der hinteren Szene zuverlässiger abgebildet und auf einem zugehörigen Anzeigebildschirm angezeigt werden, wodurch einem Fahrer eine bessere Sicht des abgebildeten Bereichs bereitgestellt wird, während er ein Rückfahrmanöver durchführt.
-
Die GRRB-Farbmetrik basiert auf der Art, in der Standardanzeigen Farbinformationen interpretieren und anzeigen, wodurch sie Informationen über das Licht insgesamt weitgehend genauso aufnehmen, wie dies eine Videoanzeige tun würde. Dies kann durch Folgendes erreicht werden:
- 1) Ausführung einer bilinearen Interpolation rund um einen 5 × 5-Filterbereich, der jedes der Pixel umgibt, auf welches ein/eine Lichtmaximum/-Spitze fiel, was „Spitzen-Pixel” genannt wird.
- 2) Summierung von jedem der Farbkanäle des interpolierten 5 × 5-Bereichs, um einen Rot-, Grün- und Blau-Helligkeitswert für das Licht zu erhalten.
- 3) Normalisierung der Farbkanalhelligkeit zur Gesamthelligkeit des Lichts: Rot-Helligkeit geteilt durch die Summe von Rot-, Grün- und Blau-Helligkeit; Grün-Helligkeit geteilt durch die Summe von Rot-, Grün- und Blau-Helligkeit; Blau-Helligkeit geteilt durch die Summe von Rot-, Grün- und Blau-Helligkeit.
-
Nach einer Normalisierung von Energie für jeden der drei Farbkanäle kann die Umwandlung der roten, grünen und blauen dreidimensionalen Skala in eine lineare Skala von nicht rot zu rot ausgeführt werden. 4 zeigt ein Beispiel einer bildlichen Darstellung eines dreidimensionalen RGB-Farbwürfels 100, der zur Umwandlung einer roten, grünen und blauen 3-D-Skala in eine lineare Skala von nicht rot zu rot verwendet wird. So ist die auf dem LCD-Bildschirm angezeigte Farbe z. B. von der Lage der roten, grünen und blauen Pixel abhängig, und wohin sie in dem in 4 dargestellten Würfel fällt. Ein ähnliches Konzept kann auf die berechnete Farbmetrik der vorliegenden Ausführungsform mit Ausnahme mindestens einer Patentanmeldung angewendet werden. Während der Maximalwert für einen einzelnen Farbkanal für eine 8-Bit-Anzeige bekannt wäre (d. h. das Maximum ist 255), kann der absolute Maximalwert des Farbkanals eines spezifischen Lichts bei der vorliegenden Erfindung unbekannt sein. Anstatt die genaue Farbe eines Lichts auszuwerten, kann die Berechnung der Farbe des Lichts im Verhältnis zu einer Erwartung eines roten Lichts verwendet werden.
-
5 zeigt ein Beispiel der Auswertung von Farbe durch eine Farbebene 102, die einen RGB-Farbwürfel 104 als Teil des Prozesses der Berechnung der Farbe des Lichts im Verhältnis zu einer Erwartung von rotem Licht schneidet. Durch Normalisierung der einzelnen Farbkanäle zu einem Gesamthelligkeitswert von Licht können die Rot-, Grün- und Blau-Helligkeitswerte auf der Farbebene abgebildet werden, um einen Farbbereich, wie z. B. den in 7 dargestellten Farbbereich 108, zu definieren. Sobald dies erfolgt ist, kann ein Verhältnis zwischen den roten, grünen und blauen normalisierten Werten, und ein erwarteter Wert eines „roten” Lichts (R = 1, B = 0, G = 0) definiert werden. Danach wird die Differenz zwischen einem erwarteten Wert von „rot” und den normalisierten Rot-, Grün- und Blau-Werten eines Lichts für eine spezifizierte Anzahl von Punkten in, und einschließlich der Begrenzungskanten des Farbbereichs 108 berechnet. Der oben beschriebene Prozess wird durch die folgende mathematische Gleichung definiert: FARBE = R + (1 – G) + (1 – B) (1)
-
Die oben erwähnte mathematische Gleichung kann auf jeden Punkt in, und einschließlich der Begrenzungskanten des Farbbereichs 108 angewendet werden. Anhand der Gleichung (1) ist zu sehen, dass der Rot-Wert (R) so belassen wird wie er ist, während der Grün- (G) und der Blau-Wert (B) von eins subtrahiert werden, sodass ein höherer Wert auf der Rotheitsskala für den Grün- und den Blau-Wert erreicht werden kann. Dann können die drei Werte summiert werden, um eine Skala zu erzeugen, in der 0 = „am meisten nicht rot” und 3 = „am meisten rot” ist. Daher tritt das „am meisten rote Licht” auf, wenn R = 1, G = 0 und B = 0, was einen FARB-Wert von 3 ergibt, und das „am meisten nicht rote Licht” tritt auf, wenn R = 0, G = 1, und B = 1, was einen FARB-Wert von 0 ergibt. Da jedoch der Schnitt des RGB-Farbwürfels 104 und der Farbebene 102 ein gleichschenkliges Dreieck bildet, bei dem jede Ecke der Farbebene 102 auf die „am meisten roten” (R = 1, G = 0, B = 0), „am meisten grünen” (R = 0, G = 1, B = 0) und „am meisten blauen” (R = 0, G = 0, B = 1) Koordinaten fällt, ist es möglich, dass das „am meisten nicht rote” Licht auf die Kante des Dreiecks fallen könnte, die der „am meisten roten” Ecke gegenüberliegt. Folglich entspricht der FARB-Wert für jeden beliebigen Punkt entlang dieser Linie 1, d. h. dass der Rotheitsbereich tatsächlich von 1 bis 3 geht, wobei 1 das „am meisten nicht rote” Licht und 3 das „am meisten rote” Licht ist. In 6 ist ein Beispiel dargestellt, in dem eine Linie 106 von „am meisten nicht rot” im Verhältnis zu dem Farbwürfel 104 der vorliegenden Ausführungsform auftritt. In jedem Fall können die FARB-Werte, sobald diese für eine spezifizierte Anzahl von Punkten eines Farbbereichs berechnet wurden, summiert werden, um einen GESAMTFARB-Wert zu erreichen, der dann mit einem Farbschwellenwert verglichen werden kann um zu bestimmen, ob der Farbbereich derjenige einer Schlussleuchte oder eines Scheinwerfers ist. Bei Verwendung der hierin beschriebenen GRRB-Lichtmetrik ist der GESAMTFARB-Wert für eine Schlussleuchte typischerweise größer als derjenige eines Scheinwerfers. Als solcher kann der Farbschwellenwert derart ausgewählt werden, dass der Farbbereich als Schlussleuchte betrachtet wird, wenn die GESAMTFARBE größer als der Farbschwellenwert ist. Umgekehrt kann der Farbbereich als Scheinwerfer betrachtet werden, wenn die GESAMTFARBE weniger oder gleich dem Farbschwellenwert ist. 7 zeigt ein Beispiel eines Farbbereichs 108 der Farbebene 102, der als Schlussleuchten bewertet werden kann.
-
Die Umsetzung des GRRB-Farbfilters der vorliegenden Erfindung bietet mehrere Verbesserungen für automatische Fahrzeugausrüstungs-Steuerungssysteme. 8A und 8B veranschaulichen eine Verbesserung einer Überkreuzung zwischen Scheinwerfern und Schlussleuchten bei Verwendung einer GRRB-Farbmetrik. Eine Überkreuzung ist anhand des Überlappungsbetrags zwischen Scheinwerfern und Schlussleuchten messbar, der innerhalb eines gegebenen Zeitrahmens erkannt wird. In Bezug auf 8A und 8B wurde ein Seite-an-Seite-Test ausgeführt, bei dem eine mit einem RGGB-Bildsensor ausgestattete Kamera und eine mit einem GRRB-Bildsensor ausgestattete Kamera, die nebeneinander montiert waren, dieselben Szenen gleichzeitig aufnahmen. Bei der Kamera mit dem RGGB-Bildsensor kam eine herkömmliche RGGB-Lichtmetrik zum Einsatz, während bei der Kamera mit dem GRRB-Bildsensor die zuvor hierin beschriebene GRRB-Lichtmetrik zum Einsatz kam. Überkreuzungsdaten wurden für jede Kamera gesammelt und sind jeweils in 8A und 8B dargestellt. In Bezug auf die Daten, die in 8A und 8B dargestellt sind, wurden für die Überkreuzung bei der RGGB-Kamera etwa 2,101% errechnet, während für die Überkreuzung bei der GRRB-Kamera etwa 1,370% errechnet wurden. Daher weist die bei der GRRB-Kamera festgestellte niedrigere Überkreuzung aufgrund der Ergebnisse aus dem oben erwähnten Test darauf hin, dass die Verwendung eines GRRB-Filter-Arrays und der GRRB-Lichtmetrik, wie hierin beschrieben, eine größere Genauigkeit bei der Erkennung von Schlussleuchten und Scheinwerfern bieten könnte.
-
An Hand des oben erwähnten Seite-an-Seite-Tests wurde außerdem eine Verbesserung beim Lichtausfall beobachtet. Lichtausfall ist der Prozentsatz von Rahmen, die nicht erkannt werden, weil die Erkennung einer bestimmten Lichtquelle aufgrund zu geringer Helligkeit oder unzureichender Rotheit der Farbe misslingt, oder weil sich die Lichtquelle auf der Bildkante befindet. Der Lichtausfall für eine mit der RGGB-Kamera abgebildete Schlussleuchte ist in 9A dargestellt, während der Lichtausfall für dieselbe, mit der GRRB-Kamera abgebildete Schlussleuchte in 9B dargestellt ist. Wie in 9C dargestellt, ist ein laufender Mittelwert der Anzahl von Dropped Frames typischerweise mindestens zwei Mal niedriger als ein RGGB-Filter-Array. Basierend auf den Ergebnissen von dem zuvor beschriebenen Seite-an-Seite-Test kann der GRRB-Filter eine Schlussleuchte mit gleichwertigem Ausfall wie bei RGGB abbilden, jedoch bei doppelter Entfernung.
-
Die obige Beschreibung wird nur als diejenige der bevorzugten Ausführungsformen angesehen. Änderungen der Erfindung werden für Fachleute auf diesem Gebiet und für die Erfinder oder Anwender der Erfindung offensichtlich sein. Daher wird verstanden, dass die Ausführungsformen, die in den Zeichnungen dargestellt und oben beschrieben sind, lediglich veranschaulichenden Zwecken dienen und nicht den Umfang der Erfindung begrenzen sollen, der durch die Ansprüche festgelegt ist, wie sie gemäß den Prinzipien des Patentgesetzes einschließlich der Äquivalenzlehre interpretiert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 5837994 [0022, 0029]
- US 5990469 [0022, 0029]
- US 6008486 [0022, 0029]
- US 6049171 [0022, 0029]
- US 6130421 [0022, 0029]
- US 6130448 [0022, 0029]
- US 6166698 [0022, 0029]
- US 6379013 [0022, 0029]
- US 6403942 [0022, 0029]
- US 6587573 [0022, 0029, 0038]
- US 6611610 [0022, 0029, 0038]
- US 6631316 [0022, 0029]
- US 6774988 [0022, 0029]
- US 6861809 [0022, 0029]
- US 7321112 [0022, 0029]
- US 7417221 [0022, 0029]
- US 7565006 [0022, 0029]
- US 7567291 [0022, 0029]
- US 7653215 [0022, 0029]
- US 7683326 [0022, 0029]
- US 7881839 [0022, 0029]
- US 8045760 [0022, 0029]
- US 8120652 [0022, 0029]
