-
Die Erfindung betrifft ein Assistenzsystem eines Kraftfahrzeugs, mit einer einen Bildsensor aufweisenden Kamera sowie einen Bildsensor einer Kamera.
-
Kraftfahrzeuge umfassen eine Vielzahl von Assistenzsystemen, wie z. B. Regensensoren, Spurhalteassistenten oder Müdigkeitswarnassistenten. Jedes derartige Assistenzsystem umfasst eine Kamera, mittels derer bei Betrieb die Frontscheibe, die Fahrbahn bzw. der Fahrer erfasst wird. Das erfasste Bild wird nach Abweichungen von einem bestimmten Soll-Zustand überprüft, und bei einem Vorhandensein desselben ein Aktor betätigt, wie ein Scheibenwischermotor, ein Motor zur Beeinflussung des Lenkeinschlags bzw. ein akustischer oder optischer Signalgeber.
-
Die Erfassung der Bilder erfolgt üblicherweise mittels eines Bildsensors, der eine Matrix- oder rasterförmige Anordnung aus Sensorelementen aufweist. Die Sensorelemente selbst arbeiten in CCD- oder CMOS-Technik. Mittels einer derartigen Technik ist lediglich ein Helligkeitswert erfassbar. Um Farbinformationen zu erhalten, weist jedes der Sensorelemente einen Farbfilter auf, der lediglich für Licht eines bestimmten Wellenlängenbereichs transparent ist. Infolgedessen ist die Sensitivität und folglich die tatsächliche Auslösung reduziert. Ferner ist eine Interpolation der Helligkeitswerte zwischen Sensorelementen erforderlich, die einen gleichartigen Farbfilter aufweisen, also einen Filter, der Licht der gleichen Wellenlänge passieren lässt.
-
Die die Farbfilter aufweisenden Sensorelemente sind in einer bestimmten Anordnung positioniert, um einerseits eine vergleichsweise hohe Auflösung und andererseits eine vergleichsweise hohe Farbinformationsqualität zu erhalten. Hierbei sind die Farbfilter stets im gleichen Muster angeordnet, beispielsweise in einem sogenannten Bayer-Muster. Eine Alternative hierzu ist die Verwendung von sogenannten Clearpixeln, also Sensorelementen, die farbfilterlos sind. Diese sind beispielsweise isoliert, folglich direkt benachbart zu Sensorelementen mit Farbfiltern, oder spaltenweise angeordnet, z. B. in einem sogenannten RGBW-Muster.
-
Der Erfindung liegt die Aufgabe zugrunde, sowohl ein besonders geeignetes Assistenzsystem mit einer Kamera als auch einen besonders geeigneten Bildsensor einer Kamera anzugeben, bei dem geeigneterweise eine Informationsqualität erhöht ist.
-
Hinsichtlich des Assistenzsystems wird diese Aufgabe durch die Merkmale des Anspruchs 1 und hinsichtlich des Bildsensors durch die Merkmale des Anspruchs 10 erfindungsgemäß gelöst. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der Unteransprüche.
-
Das Assistenzsystem ist Bestandteil eines Kraftfahrzeugs und weist eine Kamera auf. Beispielsweise wird mittels des Assistenzsystems ein Verkehrsfluss vor dem Kraftfahrzeug überwacht. Alternativ oder in Kombination hierzu wird mittels des Assistenzsystems eine Positionierung des Kraftfahrzeugs auf einer Straße, insbesondere auf einer Fahrbahn, ermittelt und/oder etwaige Verkehrszeichen erfasst. Die Kamera weist einen Bildsensor auf, der eine Vielzahl erster und zweiter Sensorelemente umfasst, die rasterförmig zu Spalten und Zeilen angeordnet sind. Mit anderen Worten ist mittels der ersten und zweiten Sensorelemente eine Matrix-Anordnung geschaffen. Insbesondere weist der Bildsensor eine Gesamtzahl von 256, 512, 1024 oder ein ganzzahliges Vielfaches hiervon an Spalten und/oder Zeilen auf. Der Bildsensor arbeitet beispielsweise nach CCD- oder besonders bevorzugt nach CMOS-Technik.
-
Die ersten Sensorelemente sind für elektromagnetische Strahlung in einem bestimmten Bereich im sichtbaren Spektralbereich sensitiv. Mit anderen Worten wird bei Betrieb mittels der ersten Sensorelemente lediglich ein Bruchteil elektromagnetischer Strahlung erfasst, die eine Wellenlänge zwischen 350 nm und 790 nm aufweist. Hierbei werden bestimmte Wellenlängenbereiche überhaupt nicht oder nur vergleichsweise schwach erfasst. Beispielsweise ist die Sensitivität in dem bestimmten Bereich im Vergleich zu den übrigen Bereichen über das 10-Fache erhöht. Die Wellenlängen der elektromagnetischen Strahlung in dem bestimmten Bereich unterscheidet sich zweckmäßigerweise um weniger als 100 nm, 80 nm, 50 nm oder 20 nm.
-
Dahingegen sind die zweiten Sensorelemente für elektromagnetische Strahlung im gesamten Bereich des sichtbaren Spektralbereichs sensitiv, wobei die Sensitivität beispielsweise konstant ist oder der jeweiligen physikalischen Vorgabe des Materials des Bildsensors selbst entspricht, also insbesondere abhängig von der Bandstruktur des verwendeten Halbleitermaterials ist. Geeigneterweise sind sämtliche erste Sensorelemente und sämtliche zweite Sensorelemente baugleich. Vorzugsweise entsprechen die ersten Sensorelemente den zweiten Sensorelementen zuzüglich eines Farbfilters. Mit anderen Worten sind die ersten Sensorelemente jeweils mittels eines Farbfilters ausgestaltet, mittels dessen die Sensitivität mit Ausnahme des jeweils bestimmten Bereichs reduziert ist. Beispielsweise weisen ebenfalls die zweiten Sensorelemente einen Filter auf, mittels dessen jedoch lediglich Bestandteile elektromagnetischer Strahlung gefiltert werden, die Wellenlängen kleiner als z. B. 390 nm und/oder größer als 790 nm aufweisen. Alternativ hierzu sind die zweiten Sensorelemente filterlos.
-
Der Bildensor weist ferner einen ersten Bereich, einen zweiten Bereich und einen dritten Bereich auf und ist insbesondere in diese Bereiche unterteilt. Die Bereiche sind mittels der Sensorelemente gebildet und bestehen vorzugsweise aus diesen. Hierbei verläuft zumindest eine, zweckmäßigerweise eine Anzahl, der Spalten bzw. Zeilen durch zwei der Bereiche und beispielsweise durch alle drei Bereiche.
-
Mit anderen Worten ist zumindest mittels Abschnitten der Spalten bzw. Zeilen der erste, zweite und dritte Bereich gebildet. Mit nochmals anderen Worten ist die Matrixanordnung der einzelnen Sensorelemente in den ersten, zweiten und dritten Bereich unterteilt. Hierbei ist die Dichte der zweiten Sensorelemente im dritten Bereich größer als im zweiten Bereich. Mit anderen Worten ist die durchschnittliche Anzahl an zweiten Sensorelementen pro Fläche und/oder pro Sensorelemente im dritten Bereich größer als im zweiten Bereich. Folglich weist der dritte Bereich mehr zweite Sensorelemente auf als der zweite Bereich, sofern die beiden Bereiche gleich groß sind. Ferner ist die Dichte der zweiten Sensorelemente im zweiten Bereich größer als im ersten Bereich. Geeigneterweise sind die drei Bereiche lediglich mittels der ersten und zweiten Sensorelemente gebildet. Insbesondere ist die Dichte der ersten Sensorelemente im ersten Bereich größer als im zweiten Bereich und/oder im zweiten Bereich größer als im dritten Bereich. Geeigneterweise sind hierbei die ersten und zweiten Sensorelemente in einem bestimmt sich wiederholenden Muster angeordnet. Beispielsweise ist der Abstand zwischen benachbarten zweiten Sensorelementen im ersten Bereich größer als im zweiten und dort größer als im dritten Bereich. Zweckmäßigerweise unterscheiden sich die Muster zwischen den einzelnen Bereichen. Vorzugsweise ist das Muster in dem jeweiligen Bereich konstant. Vorzugsweise beträgt die Anzahl der Sensorelemente pro Bereich 16, 32, 128 oder mehr. Zweckmäßigerweise sind die Sensorelemente pro Bereich in einer Matrix angeordnet, die größer oder gleich einer 4×4, 10×10, 20×20 oder 50×50 Matrix ist. Vorzugsweise ist die Anzahl der Spalten und/oder Zeilen pro Bereich größer oder gleich 2, 10, 20, 30, 50, oder 100.
-
Auf diese Weise ist es ermöglicht, mittels des ersten Bereichs vergleichsweise viele Farbinformationen zu erfassen. Dahingegen ist mittels des dritten Bereichs eine vergleichsweise hohe Sensitivität und somit tatsächliche Auflösung realisiert, mittels derer auch vergleichsweise entfernte Objekte erfasst werden können. Mittels des zweiten Bereichs ist die Erfassung von Objekten ermöglicht, die in einem größeren Abstand zu dem Kraftfahrzeug sind, als dass eine Erfassung mittels des ersten Bereichs ermöglich ist. Hierbei ist jedoch im Vergleich zu der Erfassung lediglich mittels des dritten Bereichs die Bestimmung einer etwaigen Farbe des Objekts ermöglicht. Folglich ist es ermöglicht, den Bildsensor sowohl auf eine vergleichsweise hohe Farbinformationsqualität als auch auf eine vergleichsweise hohe Sensitivität zu optimieren. Aufgrund des zweiten Bereichs ist zudem die Erfassung von Objekten ermöglicht, die weder mittels des ersten noch mittels des dritten Bereichs erfassbar wären. Zumindest jedoch ist ein vergleichsweise flüssiger Übergang zwischen dem ersten und dem dritten Bereichen gewährleistet. Sofern außerdem das Objekt mittels verschiedener Bereiche erfasst wird, also beispielsweise ein Teil des Objekts mittels des ersten Bereichs und ein weiterer Teil des Objekts mittels des zweiten Bereichs, kann das Objekt immer noch als Ganze (entweder in Farbe oder in Graustufen) rekonstruiert werden. Somit ist die Informationsqualität des Assistenzsystems erhöht.
-
Zweckmäßigerweise ist der zweite Bereich zwischen dem ersten Bereich und dem dritten Bereich angeordnet, sodass ein gradueller Übergang der Dichte der zweiten Sensorelemente vom dritten Bereich zu dem ersten Bereich gegeben ist. Beispielsweise grenzt der erste Bereich an den zweiten Bereich an. Mit anderen Worten ist der zweite Bereich in direktem Kontakt mit dem ersten Bereich. Alternativ oder in Kombination hierzu grenzt der zweite Bereich an den dritten Bereich an. Auf diese Weise wird mittels des Bildsensors zunächst ein vergleichsweise weit entferntes Objekt mittels des dritten Bereichs erfasst. Bei einer Annäherung des Kraftfahrzeugs an dieses Objekt ist es ermöglicht, dieses mittels des zweiten Bereichs zu erfassen und zusätzlich zu dem Vorhandensein und der Position des Objekts auch zumindest teilweise dessen Farbe zu bestimmen. Sofern der Abstand zwischen dem Objekt und dem Kraftfahrzeug vergleichsweise gering ist, ist es ermöglicht, das Objekt mittels des ersten Bereichs zu erfassen, und auf diese Weise vergleichsweise viele Farbinformationen bezüglich des Objekts zu gewinnen.
-
Besonders bevorzugt ist der dritte Bereich ein zentraler Bereich des Bildsensors. Bei einer Ausrichtung der Kamera auf einen Bereich vor dem Kraftfahrzeug, also in dessen Bewegungsrichtung, ist somit mittels des dritten Bereichs das Erfassen von vergleichsweise weit entfernten Objekten ermöglicht, die sich vor dem Kraftfahrzeug befinden. Zweckmäßigerweise ist der erste Bereich ein Randbereich des Bildsensors. Sofern die Kamera in Bewegungsrichtung des Kraftfahrzeugs ausgerichtet ist, ist somit ein Erfassen von farbigen Verkehrszeichen mittels des Bildsensors ermöglicht, die sich seitlich des Kraftfahrzeugs befinden und somit eine Bedeutung für den Fahrer des Kraftfahrzeugs aufweisen.
-
Beispielsweise ist der erste Bereich im Wesentlichen U-förmig, wobei auf dem horizontalen Schenkel zweckmäßigerweise mittels einer Linse der Kamera ein oberer Bereich des zu erfassenden Bildes abgebildet wird. Mit anderen Worten wird mittels dieses Schenkels ein Himmel, eine etwaige Tunneldecke oder dergleichen, erfasst. Folglich ist es möglich, auch Verkehrszeichen mittels des ersten Bereichs zu erfassen, die an einer Verkehrszeichenbrücke oberhalb einer Straße, auf der sich das Kraftfahrzeug befindet, einer Tunneldecke oder dergleichen angebracht sind. Dahingegen werden mittels der beiden vertikalen Schenkel des ersten Bereichs Verkehrszeichen erfasst, die seitlich einer Fahrbahn des Kraftfahrzeugs positioniert sind.
-
Beispielsweise ist der zweite Bereich U-förmig ausgestaltet, wobei der dritte Bereich ebenfalls U-förmig ausgestaltet ist und den zweiten Bereich außenseitig zumindest teilweise umgibt. Auf diese Weise wird ein Verkehrszeichen bei einer Annäherung des Kraftfahrzeugs an dieses zunächst mittels des zweiten Bereichs und erst bei einer verringerten Distanz zu dem Verkehrszeichen mittels des ersten Bereichs erfasst. Folglich wird zunächst mittels des zweiten Bereichs das Vorhandensein eines zumindest teilweise farbigen Verkehrszeichens bestimmt. Sofern die Farbinformationen, die bei der Erfassung ermittelt werden, ausreichen, um den Sinngehalt des Verkehrszeichens zu erfassen, wird bei einer Erfassung des Verkehrszeichens mittels des ersten Bereichs der Sinn erneut bestätigt. Beispielsweise ist bereits bei Erfassung mittels des zweiten Bereichs eine Unterschidung ermöglicht, ob es sich bei dem Verkehrszeichen um ein Verbot oder um eine Aufhebung des Verbots handelt. Sofern die Ermittlung des Sinngehalts des Verkehrszeichens bei Erfassung mittels des zweiten Bereichs nicht möglich ist, wird der Sinngehalt ermittelt, sobald mehr Farbinformationen zur Verfügung stehen, nämlich wenn das Verkehrszeichen mittels des ersten Bereichs erfasst wird. Hierbei ist bereits aufgrund der Erfassung mittels des zweiten Bereichs bekannt, an welcher Position das Verkehrszeichen bei Eintritt in den ersten Bereich zu erwarten ist.
-
Geeigneterweise ist der dritte Bereich im Wesentlichen rechteckförmig und insbesondere in einem mittleren Bereich des Bildsensors angeordnet. Insbesondere ist der dritte Bereich von den beiden vertikalen Kanten des Bildsensors beabstandet. Auf diese Weise ist es ermöglicht, mittels des dritten Bereichs auch vergleichsweise entfernte Objekte zu erfassen, sofern ein geeignetes Objektiv der Kamera gewählt wird.
-
Zweckmäßigerweise ist die Dichte der ersten Sensorelemente im dritten Bereich geringer als die Dichte der zweiten Sensorelemente im dritten Bereich. Mit anderen Worten weist der dritte Bereich weniger erste Sensorelemente auf als zweite Sensorelemente. Beispielsweise ist der dritte Bereich frei von ersten Sensorelementen. Mit anderen Worten ist der dritte Bereich lediglich mittels der zweiten Sensorelemente gebildet. Folglich ist bei Erfassen eines Objekts mittels des dritten Bereichs keine Extraktion von Farbinformationen möglich. Dahingegen ist bei einer Erfassung mittels des dritten Bereichs die Auflösung aufgrund der Messwerte der zweiten Sensorelemente vergleichsweise groß, die absoluten Helligkeitswerte entsprechen.
-
Alternativ oder in Kombination hierzu ist die Dichte der ersten Sensorelemente im ersten Bereich größer als die Dichte der zweiten Sensorelemente im ersten Bereich. Folglich weist der erste Bereich mehr erste Sensorelemente als zweite Sensorelemente auf. Besonders bevorzugt ist der erste Bereich frei von zweiten Sensorelementen und vorzugsweise lediglich mittels erster Sensorelemente gebildet. Auf diese Weise ist ein Bestimmen einer Farbe eines mittels des ersten Bereichs erfassten Objekts vereinfacht. Beispielsweise sind die ersten Sensorelemente des ersten Bereichs in einem Bayer-Muster angeordnet. Sofern der erste Bereich zweite Sensorelemente aufweist, sind die Sensorelemente beispielsweise in einem French-, Italian-, Kodak- oder RGBW-Muster angeordnet. Auf diese Weise ist sowohl eine Bestimmung der Farbe als auch eine vergleichsweise hohe Sensitivität gegeben. Alternativ oder in Kombination hierzu sind die Sensorelemente des zweiten Bereichs beispielsweise in einem French-, Italian-, Kodak- oder RGBW-Muster angeordnet.
-
Beispielsweise weist der Bildsensor einen vierten Bereich auf, der ebenfalls mittels der Sensorelemente gebildet ist. Hierbei ist die Dichte der zweiten Sensorelemente im vierten Bereich größer als im zweiten Bereich. Ferner ist die Dichte der zweiten Sensorelemente im vierten Bereich kleiner als im dritten Bereich. Auf diese Weise ist eine weitere Abstufung der Sensitivität des Bildsensors sowie dessen Möglichkeit zur Farbinformationsextraktion gegeben. Zweckmäßigerweise ist der vierte Bereich zwischen dem zweiten und dem dritten Bereich angeordnet. Auf diese Weise ist der graduelle Übergang der Dichte zwischen dem ersten und dem dritten Bereich verfeinert. Folglich ist es ermöglicht, den vierten Bereich auf eine vergrößerte Sensitivität und den zweiten Bereich auf eine erhöhte Extraktion von Farbinformationen hin zu optimieren.
-
In einer besonders bevorzugten Ausführungsform der Erfindung weist die Kamera eine Auswerteeinrichtung auf, mittels derer die mittels der die ersten und zweiten Sensorelemente erfassten Messdaten bei Betrieb des Assistenzsystems ausgewertet werden und hieraus ein Abbild erstellt wird. Hierbei wird zweckmäßigerweise jedem der mittels der ersten und zweiten Sensorelemente erfassten Messwerte ein Pixel des Abbilds zugeordnet, wobei die Position des Pixels zu der Position des jeweiligen Sensorelements korrespondiert. Hierbei entspricht der mittels der zweiten Sensorelemente erfasste jeweilige Messwert einem Helligkeitswert des die Pixel aufweisenden Abbilds, wohingegen jeder mittels der ersten Sensorelemente erfasste Messwert einem Farbwert entspricht, der zu dem jeweiligen sensitiven Bereich des jeweiligen ersten Sensorelements korrespondiert.
-
Vorzugsweise wird zumindest für die zu den zweiten Sensorelementen des zweiten Bereichs und/oder beispielsweise den zweiten Sensorelementen des ersten und oder dritten Bereichs, korrespondierenden Pixel ein Farbwert zugewiesen, der mittels Interpolation der Messwerte der jeweiligen ersten Sensorelemente erstellt wird. Mit anderen Worten wird jedem zweiten Sensorelement ein Farbwert zugewiesen, wobei dieser beispielsweise dem Mittelwert der Messwerte entspricht, der mittels benachbarter, den gleichen Farbfilter aufweisender erster Sensorelemente erfasst wurde. Besonders bevorzugt wird jedoch ein binomialer Filter hierfür herangezogen, also die benachbarten Messwerte der jeweiligen ersten Sensorelemente entsprechend gewichtet.
-
Zweckmäßigerweise weisen die ersten Sensorelemente wenigstens zwei unterschiedliche Farbfilter auf. Mit anderen Worten unterscheiden sich zwei der ersten Sensorelemente durch deren jeweiligen Farbfilter. Folglich sind diese ersten Sensorelemente in unterschiedlichen Bereichen im sichtbaren Spektralbereich sensitiv. Zweckmäßigerweise ist mittels der ersten Sensorelemente eine erste Menge und eine zweite Menge gebildet, wobei sämtliche ersten Sensorelemente der gleichen Menge im jeweils selben bestimmten Bereich im sichtbaren Spektralbereich sensitiv sind. Hierbei unterscheidet sich der bestimmte Bereich zwischen der ersten Menge und der zweiten Menge. Beispielsweise unterscheiden sich die beiden bestimmten Bereiche um eine Wellenlänge von mehr als 100 nm. Auf diese Weise ist eine Analyse des Abbilds auf das Vorliegen von nicht lediglich in einer einzigen Farbe vorliegenden Elementen ermöglicht.
-
Beispielsweise weisen die ersten Sensorelemente drei oder mehr unterschiedliche Farbfilter auf. Mit anderen Worten ist zumindest eine dritte Menge mittels der ersten Sensorelemente gebildet, deren Farbfilter sich von dem Farbfilter der ersten und zweiten Menge unterscheidet. Auf diese Weise ist die Anzahl und Qualität von Farbinformationen des Abbilds erhöht.
-
Geeigneterweise wird als Farbfilter ein Farbfilter für die Spektralfarben Rot, Grün oder Blau herangezogen. Hierbei wird mittels des blauen Farbfilters zweckmäßigerweise elektromagnetische Strahlung mit einer Wellenlänge zwischen 450 nm bis 500 nm im Wesentlichen nicht absorbiert, mittels des grünen Farbfilters elektromagnetische Strahlung mit einer Wellenlänge von 520 nm bis 565 nm nicht absorbiert und mittels des roten Farbfilters elektromagnetische Strahlung mit einer Wellenlänge zwischen 625 nm bis 650 nm, bis 690 nm oder bis 740 nm nicht absorbiert, wohingegen die jeweils komplementären Bereiche mittels des jeweiligen Filters absorbiert werden. Mit anderen Worten sind die Farbfilter lediglich für elektromagnetische Strahlung mit einer Wellenlänge zwischen 450 nm und 500 nm, 520 nm und 565 nm bzw. 625 nm bis 650 nm, bis 690 nm oder bis 740 nm transparent. Vorzugsweise gelten bei den jeweiligen Wellenlängen Toleranzen von im Wesentlichen 5 nm.
-
Zweckmäßigerweise ist die Anzahl der ersten Sensorelemente mit dem grünen Farbfilter vorzugsweise gleich dem Doppelten der ersten Sensorelemente mit dem roten Farbfilter und/oder der Anzahl der ersten Sensorelemente mit dem blauen Farbfilter. Geeigneterweise ist die Anzahl der ersten Sensorelemente mit dem roten Farbfilter gleich der Anzahl der Sensorelemente mit dem blauen Farbfilter.
-
Zweckmäßigerweise sind die ersten Sensorelemente in dem ersten Bereich in einem Bayer-Muster (pattern) angeordnet, sofern der erste Bereich zweite Sensorelemente aufweist, sind die Sensorelemente in dem ersten Bereich vorzugsweise in einem French-. RGBW- oder Kodak-Muster angeordnet. Alternativ oder in Kombination hierzu sind die Sensorelemente in dem zweiten Bereich und/oder dritten Bereich in einem French-. RGBW- oder Kodak-Muster angeordnet. Bevorzugt ist das Muster des zweiten oder dritten Bereichs gleich dem Muster des ersten Bereichs, wobei zwischen jeweils benachbarten ersten Sensorelementen zumindest eines der zweiten Sensorelemente angeordnet ist.
-
In einer alternativen Ausführungsform weisen die ersten Sensorelemente zumindest zwei unterschiedliche Farbfilter auf, von denen jeder entweder für die Spektralfarbe Gelb, die Spektralfarbe Magenta oder die Spektralfarbe Zyan wirkt. Zweckmäßigerweise weist der Bildsensor erste Sensorelemente mit Farbfiltern für die Farben Gelb, Magenta und Zyan auf, sodass eine vergleichsweise umfangreiche Rekonstruktion von Farbinformationen ermöglicht ist, wenn auch mittels anderer Berechnungsvorschriften als bei Farbfiltern für die Spektralfarben Rot, Grün und Blau. Mit anderen Worten weist der Bildsensor drei unterschiedliche Arten von ersten Sensorelementen auf, die sich durch den jeweiligen Farbfilter unterscheiden.
-
Der Bildsensor ist Bestandteil einer Kamera und weist eine Anzahl von Spalten und Zeilen auf, die geeigneterweise zueinander benachbart sind. Jede Spalte und Zeile wird mittels einer Vielzahl an Sensorelementen gebildet, die folglich in einer Matrix-Anordnung vorliegen. Hierbei sind die Sensorelemente in erste und zweite Sensorelemente unterteilt. Mit anderen Worten weist der Bildsensor die ersten und zweiten Sensorelemente auf und besteht vorzugsweise aus diesen oder weist ansonsten insbesondere zumindest lediglich Ansteuerungsanschlüsse und/oder eine Ansteuerungselektronik auf. Die ersten Sensorelemente sind lediglich für einen bestimmten Bereich im sichtbaren Spektralbereich der elektromagnetischen Strahlung sensitiv, wohingegen die zweiten Sensorelemente für elektromagnetische Strahlung im gesamten Bereich des sichtbaren Spektralbereichs sensitiv sind. Mit anderen Worten sind die zweiten Sensorelemente über einen größeren Bereich der elektromagnetischen Strahlung im sichtbaren Bereich sensitiv als die jeweiligen ersten Sensorelemente.
-
Die ersten und zweiten Sensorelemente sind in einem ersten Bereich, einem zweiten Bereich und einem dritten Bereich angeordnet, wobei die jeweiligen Bereiche vorzugsweise mittels der Sensorelemente gebildet sind. Die Dichte der zweiten Sensorelemente ist im dritten Bereich größer als im zweiten Bereich. Mit anderen Worten sind durchschnittlich pro Fläche oder pro absoluter Anzahl von Sensorelementen mehr zweite Sensorelemente im dritten Bereich als im zweiten Bereich vorhanden. Ferner ist die Dichte der zweiten Sensorelemente im zweiten Bereich größer als im ersten Bereich. Bevorzugt verläuft zumindest eine Anzahl der Spalten und/oder Zeilen durch zwei der Bereiche oder durch sowohl den ersten Bereich als auch durch den zweiten Bereich und durch den dritten Bereich.
-
Nachfolgend werden Ausführungsbeispiele der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:
-
1 schematisch vereinfacht ein Assistenzsystem mit einer Kamera,
-
2 in einer Draufsicht eine erste Ausführungsform eines Bildsensors der Kamera,
-
3 eine zweite Ausführungsform des Bildsensors gemäß 2, und
-
4–7 jeweils ein Farbmuster der Bildsensoren.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist schematisch vereinfacht ein Assistenzsystem 2 eines Kraftfahrzeugs dargestellt. Das Assistenzsystem 2 weist eine Kamera 4 sowie eine Signaleinrichtung 6 auf, die signaltechnisch miteinander gekoppelt sind. Mittels der Signaleinrichtung 6 wird dem Fahrer des Kraftfahrzeugs das Vorhandensein eines Verkehrszeichens mitgeteilt, welches mit Hilfe der mittels der Kamera 4 erstellten Abbilder ermittelt wurde. Die Signaleinrichtung 6 ist ein Head-up-Display, mittels dessen diese Informationen auf die Frontscheibe des Kraftfahrzeugs projiziert werden. Alternativ ist die Signaleinrichtung 6 angepasst, den Fahrer akustisch oder haptisch zu informieren, oder die Informationen an weitere Systeme des Kraftfahrzeugs mittels elektrischer Signalen weiterzuleiten, wie z.B. einem System zur Steuerung der Bremsen, der Beschleunigung oder der Lenkung.
-
Die Kamera 4 weist ein Objektiv 8 mit einer Kunststoff- oder Glaslinse oder einer Kombination hieraus auf, mittels dessen ein Bildsensor 10 abgedeckt ist. Die Helligkeitswerte, die mittels des auf CMOS-Technik basierenden Bildsensors 10 erfasst werden, werden einer Auswerteeinrichtung 12 zugeführt, mittels derer aus den mittels des Bildsensors 10 erfassten Helligkeitswerten, also aus den aufgenommenen Messdaten, ein Abbild rekonstruiert wird. Hieraus werden verschiedene Objekte wie weitere Kraftfahrzeuge, Fußgänger, Straßenschilder mittels eines Bildverarbeitungsalgorithmus detektiert.
-
In 2 ist in einer Draufsicht der Bildsensor 10 dargestellt. Hierbei ist der Bildsensor 10 gemäß dem mittels der Kamera 4 abzubildenden Bild orientiert. Mit anderen Worten entspricht ein oberer Bereich des Bildsensors 10 einem oberen Bereich des abzubildenden Bildes. Beispielsweise wird der Bildsensor 10 um 180° gedreht verbaut, sofern das Objektiv 8 lediglich nach Art einer Sammellinse wirkt. Der Bildsensor 10 weist einen ersten Bereich 14, einen zweiten Bereich 16 sowie einen dritten Bereich 18 auf. Der erste Bereich 14 bildet hierbei die beiden vertikalen Randbereiche sowie den oberen horizontalen Randbereich des Bildsensors 10 und ist folglich U-förmig ausgestaltet. An den ersten Bereich 14 grenzt der zweite Bereich 16 direkt an, der ebenfalls U-förmig ausgestaltet ist. Der an den zweiten Bereich angrenzende dritte Bereich 18 ist rechteckförmig gestaltet, wobei die horizontale und vertikale Ausdehnung des dritten Bereichs 18 größer als das Doppelte der jeweiligen Ausdehnung des Bildsensors 10 ist. Hierbei bildet der dritte Bereich 18 zumindest teilweise die untere Kante des rechteckförmigen Bildsensors 10.
-
Der erste Bereich 14 ist ausschließlich mittels erster Sensorelemente 20 gebildet, die entweder einen roten Farbfilter R, einen grünen Farbfilter G oder einen blauen Farbfilter B aufweisen, der lediglich für elektromagnetische Strahlung mit einer zur Spektralfarbe Rot, Grün bzw. Blau korrespondierenden Wellenlänge durchlässig ist. Die ersten Sensorelemente 20 sind rasterartig zur Ausbildung von Zeilen und Spalten angeordnet, wie in 4 schematisch gezeigt. Mit anderen Worten ist mittels der Sensorelemente 20 eine Matrixanordnung geschaffen. Die ersten Sensorelemente 20 sind gemäß einem sich wiederholenden Bayer-Muster 22 angeordnet. Jedes Bayer-Muster 22 besteht aus zwei ersten Sensorelementen 20 mit grünem Farbfilter G, die zueinander diagonal versetzt sind, sowie einem der ersten Sensorelemente 20 mit rotem Farbfilter R sowie einem der ersten Sensorelemente 20 mit blauem Farbfilter B. Alternativ ist die erste Zeile des Musters aus einem der ersten Sensorelemente 20 mit rotem Farbfilter R, und einem der ersten Sensorelemente 20 mit grünem Farbfilter G und die zweite Zeile aus einem der ersten Sensorelemente 20 mit grünem Farbfilter G, und einem der ersten Sensorelemente 20 mit blauen Farbfilter B gebildet, wobei die ersten Sensorelemente 20 mit grünem Farbfilter G, ebenfalls zueinander diagonal versetzt sind, jedoch im Vergleich zu dem vorhergehenden Muster um 90° gedreht. In einer weiteren Alternative sind das erste Sensorelement 20 mit dem blauen Farbfilter B und das erste Sensorelement 20 mit dem roten Farbfilter R ausgetauscht.
-
Zur Bildung des zweiten Bereichs 16 werden sowohl die ersten Sensorelemente 20 als auch zweite Sensorelemente 24 herangezogen, die im Wesentlichen baugleich zu den ersten Sensorelementen 20 sind, jedoch keinen Farbfilter aufweisen. Mit anderen Worten sind die zweiten Sensorelemente 24 farbfilterlos. Jedoch weisen die zweiten Sensorelemente 20 einen UV- und IR-Sperrfilter C auf, der beispielsweise mittels des Objektivs 8 und/oder einer den vollständigen Bildsensor 10 abdeckenden IR-Sperrfilter realisiert ist. Infolgedessen sind die zweiten Sensorelemente 24 für elektromagnetische Strahlung im gesamten Bereich des sichtbaren Spektralbereichs sensitiv, zumindest jedoch in einem Wellenlängenbereich von 400 nm bis 650 nm–690 nm. Die Sensorelemente 20, 24 sind zu einem sich wiederholenden French-Muster 26 angeordnet, das in 5 dargestellt ist. Das French-Muster 26 ist eine 2×2-Matrix, wobei die erste Zeile mittels eines der ersten Sensorelemente 20 mit dem roten Farbfilter R sowie einem der zweiten Sensorelemente 24 gebildet ist. Die zweite Zeile ist mittels eines weiteren der zweiten Sensorelemente 24 sowie einem der ersten Sensorelemente 20 mit dem blauen Farbfilter B gebildet. Die beiden zweiten Sensorelemente 24 des French-Musters 26 sind hierbei zueinander diagonal versetzt.
-
Folglich weist der zweite Bereich 16 pro vier Sensorelemente 20, 24 zwei zweite Sensorelemente 24 auf, wohingegen der erste Bereich 14 keines der zweiten Sensorelemente 24 pro vier Sensorelemente 20, 22 aufweist. Somit ist die Dichte an zweiten Sensorelementen 24 im zweiten Bereich 16 im Vergleich zum ersten Bereich 14 erhöht. Infolgedessen ist die Empfindlichkeit und Auflösung in Graustufen des Bildsensors 10 im zweiten Bereich 16 im Vergleich zum ersten Bereich 14 erhöht, wobei die Qualität an erfassten Farbinformationen verringert ist. Zwar ist es möglich, aus den mittels der Sensorelemente 20, 24 des zweiten Bereichs 16 aufgenommenen Messwerten mittels der Auswerteeinrichtung 12 auch einen Grünkanal zu errechnen. Jedoch ist hierbei ein Qualitätsverlust gegenüber der direkten Erfassung mittels der ersten Sensorelemente 20 mit grünem Farbfilter G des ersten Bereichs 14 gegeben. Der dritte Bereich 18 ist lediglich mittels der zweiten Sensorelemente 24 gebildet, wie ausschnittsweise in 7 dargestellt. Infolgedessen ist keine Farbextraktion mittels der Messdaten der Sensorelemente 24 des dritten Bereichs 18 möglich, wohingegen die Sensitivität und Empfindlichkeit in diesem Bereich erhöht ist, also die Empfindlichkeit und Auflösung in Graustufen des Bildsensors 10 maximal ist. Die einzelnen Sensorelemente 20, 24 der unterschiedlichen Bereiche 14, 16, 18 sind zu gemeinsamen Zeilen und Spalten angeordnet. Mit anderen Worten fluchten die einzelnen Sensorelemente 20, 24 bei dem jeweiligen Übergang zwischen den Bereichen 14, 16, 18.
-
In 3 ist eine weitere Ausgestaltungsform des Bildsensors 10 gemäß 2 dargestellt. Hierbei ist der dritte Bereich 18 im Wesentlichen unverändert belassen. Mit anderen Worten entspricht die Position des dritten Bereichs 18 sowie dessen Bildung mittels der zweiten Sensorelemente 24 gemäß 7 der vorhergehenden Ausführungsform. Dahingegen ist der erste Bereich 14 sowie der zweite Bereich 16 abgewandelt. Die horizontale und vertikale Ausdehnung des ersten Bereichs 14 ist verringert, also deren jeweilige Dicke verringert, wobei der erste Bereich 14 weiterhin zumindest abschnittsweise den Randbereich des Bildsensors 10 bildet. So werden die beiden vertikalen und die obere horizontale Kante mittels des ersten Bereichs 14 gebildet. Auch ist die Anordnung der ersten Sensorelemente 20 gemäß des in 4 gezeigten Bayer-Muster-Anordnung 22 beibehalten.
-
Der zweite Bereich 16 wird weiterhin mittels erster und zweiter Sensorelemente 20, 24 gebildet, die in dem in 5 gezeigten French-Muster 26 angeordnet sind. Auch grenzt der zweite Bereich 16 an den ersten Bereich 14 an. Der zweite Bereich 16 ist weiterhin U-förmig ausgestaltet, wobei die Dicke der das U bildenden Schenkel reduziert ist. In dem verbleibenden Freiraum zwischen dem zweiten Bereich 16 und dem dritten Bereich 18 befindet sich ein vierter Bereich 28, der U-förmig ausgestaltet ist, und der an den zweiten Bereich 16 sowie den dritten Bereich 18 angrenzt. Der vierte Bereich 28 ist sowohl mittels erster Sensorelemente 20 als auch mittels zweiter Sensorelemente 24 gebildet. Hierbei sind pro 2×2-Matrix jeweils drei zweite Sensorelemente 24 vorhanden, so dass die Dichte der zweiten Sensorelemente 24 im vierten Bereich 28 größer als im zweiten Bereich 16, jedoch kleiner als im dritten Bereich 18 ist.
-
Das sich wiederholende Muster des vierten Bereichs 28 ist mittels einer 4×4-Matrix gebildet, wobei die Eckbereiche jeweils mittels eines der ersten Sensorelemente 20 gebildet sind. Diagonal gegenüberliegende Ecken weisen entweder den roten Farbfilter R oder den blauen Farbfilter B auf. Die übrigen Sensorelemente sind zweite Sensorelemente 24. Alternativ hierzu entspricht das Muster des vierten Bereichs 28 dem Bayer-Muster 22 oder dem French-Muster 26, wobei zwischen die beiden vorhandenen Zeilen und Spalten jeweils eine oder mehr Zeile und Spalte eingefügt ist, die lediglich mittels zweiter Sensorelemente 24 gebildet ist. Mit anderen Worten ist das Muster aus einer 4×4-Matrix gebildet, die zwölf bzw. vierzehn zweite Sensorelemente 24 aufweist.
-
In einer Alternative weist der Bildsensor 10 lediglich den ersten, zweiten und dritten Bereich 14, 16, 18 auf, die gemäß der in 2 dargestellten Ausführungsform angeordnet sind. Hierbei weist der erste Bereich 14 das Bayer-Muster 22, der zweite Bereich 16 das French-Muster 26 auf. Der dritte Bereich 18 ist mittels Wiederholgen des in 6 dargestellten Musters gebildet.
-
Zur Rekonstruktion des Abbilds aus den mittels der Sensorelemente 20, 24 erstellten Messwerten wird mittels der Auswerteeinrichtung 12 jedem zweiten Sensorelement 24 des zweiten Bereichs 16 ein Farbwert zugewiesen. Hierfür wird sämtlichen Sensorelementen 20, 24, die zwischen zueinander benachbarten ersten Sensorelementen 20 mit dem roten Farbfilter R liegen, mittels eines binomialen Filters ein Zwischenwert zwischen diesen beiden Messwerten zugewiesen. Das gleiche Verfahren wird für die verbleibenden ersten Sensorelemente 24 mit dem blauen Farbfilter B bzw. dem grünen Farbfilter B durchgeführt, sofern diese vorhanden sind.
-
Die Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt. Vielmehr können auch andere Varianten der Erfindung von dem Fachmann hieraus abgeleitet werden, ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit den Ausführungsbeispielen beschriebenen Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen.
-
Bezugszeichenliste
-
- 2
- Assistenzsystem
- 4
- Kamera
- 6
- Signaleinrichtung
- 8
- Objektiv
- 10
- Bildsensor
- 12
- Auswerteeinrichtung
- 14
- erster Bereich
- 16
- zweiter Bereich
- 18
- dritter Bereich
- 20
- erstes Sensorelement
- 22
- Bayer-Muster
- 24
- zweites Sensorelement
- 26
- French-Muster
- 28
- vierter Bereich
- C
- IR- und UV-Sperrfilter
- R
- roter Farbfilter
- G
- grüner Farbfilter
- B
- blauer Farbfilter
