DE102014218460A1 - Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor - Google Patents

Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor Download PDF

Info

Publication number
DE102014218460A1
DE102014218460A1 DE102014218460.6A DE102014218460A DE102014218460A1 DE 102014218460 A1 DE102014218460 A1 DE 102014218460A1 DE 102014218460 A DE102014218460 A DE 102014218460A DE 102014218460 A1 DE102014218460 A1 DE 102014218460A1
Authority
DE
Germany
Prior art keywords
sensor elements
type
columns
rows
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102014218460.6A
Other languages
English (en)
Other versions
DE102014218460B4 (de
Inventor
Dieter Krökel
Martin Randler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102014218460.6A priority Critical patent/DE102014218460B4/de
Publication of DE102014218460A1 publication Critical patent/DE102014218460A1/de
Application granted granted Critical
Publication of DE102014218460B4 publication Critical patent/DE102014218460B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Die Erfindung betrifft ein Assistenzsystem (2) eines Kraftfahrzeugs, mit einer einen Bildsensor (10) aufweisenden Kamera (4). Der Bildsensor (10) umfasst eine Vielzahl sowohl an für elektromagnetische Strahlung in einem bestimmten Bereich im sichtbaren Spektralbereich sensitiven ersten Sensorelementen (14) als auch an für elektromagnetische Strahlung im gesamten sichtbaren Spektralbereichs sensitiven zweiten Sensorelementen (16), die rasterförmig in Zeilen (18) und Spalten (20) angeordnet sind. Hierbei sind Spalten und Zeilen eines ersten Typs (18a, 20a), die die ersten Sensorelemente (14) aufweisen, und Spalten und Zeilen eines zweiten Typs (18b, 20b) gebildet, die lediglich zweite Sensorelemente (16) umfassen. Die Erfindung betrifft ferner einen Bildsensor (10) einer Kamera (4).

Description

  • Die Erfindung betrifft sowohl ein Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera als auch einen Bildsensor einer Kamera.
  • Kraftfahrzeuge umfassen eine Vielzahl von Assistenzsystemen, wie z.B. Regensensoren, Spurhalteassistenten oder Müdigkeitswarnassistenten. Jedes derartige Assistenzsystem umfasst eine Kamera, mittels derer bei Betrieb die Frontscheibe, die Fahrbahn bzw. der Fahrer erfasst wird. Das erfasste Bilde wird nach Abweichungen von einem bestimmten Soll-Zustand überprüft, und bei einem Vorhandensein desselben ein Aktor betätigt, wie ein Scheibenwischermotor, ein Motor zur Beeinflussung des Lenkeinschlags bzw. ein akustischer oder optischer Signalgeber.
  • Die Erfassung der Bilder erfolgt üblicherweise mittels eines Bildsensors, der eine Matrix- oder rasterförmige Anordnung aus Sensorelementen aufweist. Die Sensorelemente selbst arbeiten in CCD- oder CMOS-Technik. Mittels einer derartigen Technik ist lediglich ein Helligkeitswert erfassbar. Um Farbinformationen zu erhalten, weist jedes der Sensorelemente einen Farbfilter auf, der lediglich für Licht einer bestimmten Wellenlänge transparent ist. Infolgedessen ist die räumliche Auflösung reduziert. Ferner ist zum Erhalten eines Farbbilds eine Interpolation der Helligkeitswerte zwischen Sensorelementen erforderlich, die einen gleichartigen Farbfilter aufweisen, also einen Filter, der Licht der gleichen Wellenlänge passieren lässt. Die die Farbfilter aufweisenden Sensorelemente sind in einer bestimmten Anordnung positioniert, um einerseits eine vergleichsweise hohe Auflösung und andererseits eine vergleichsweise hohe Farbinformationsqualität zu erhalten. Hierbei sind die Farbfilter stets im gleichen Muster angeordnet, beispielsweise in einem sogenannten Bayer-Muster. Eine Alternative hierzu ist die Verwendung von sogenannten Clearpixeln, also Sensorelementen, die farbfilterlos sind. Diese sind beispielsweise isoliert, folglich direkt benachbart zu Sensorelementen mit Farbfiltern, oder spaltenweise angeordnet, beispielsweise in einem sogenannten RGBW-Muster.
  • Der Erfindung liegt die Aufgabe zugrunde, ein besonders geeignetes Assistenzsystem mit einer Kamera sowie einen besonders geeigneten Bildsensor anzugeben, bei dem geeigneterweise eine Empfindlichkeit und eine Informationsqualität erhöht ist.
  • Hinsichtlich des Assistenzsystems wird diese Aufgabe durch die Merkmale des Anspruchs 1 und hinsichtlich des Bildsensors durch die Merkmale des Anspruchs 10 erfindungsgemäß gelöst. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der hierauf bezogenen Unteransprüche.
  • Das Assistenzsystem ist Bestandteil eines Kraftfahrzeugs und weist eine Kamera auf. Beispielsweise wird mittels des Assistenzsystems ein Verkehrsfluss vor dem Kraftfahrzeug überwacht. Alternativ oder in Kombination hierzu wird mittels des Assistenzsystems eine Positionierung des Kraftfahrzeugs auf einer Straße, insbesondere auf einer Fahrbahn, ermittelt und/oder etwaige Verkehrszeichen erfasst. Die Kamera weist einen Bildsensor auf, der eine Vielzahl erster und zweiter Sensorelemente umfasst, die rasterförmig zu Spalten und Zeilen angeordnet sind. Mit anderen Worten ist mittels der ersten und zweiten Sensorelemente eine Matrix-Anordnung geschaffen. Der Bildsensor arbeitet beispielsweise nach CCD- oder besonders bevorzugt nach CMOS-Technik.
  • Die ersten Sensorelemente sind für elektromagnetische Strahlung in einem bestimmten Bereich im sichtbaren Spektralbereich sensitiv. Mit anderen Worten wird bei Betrieb mittels der ersten Sensorelemente lediglich ein Bruchteil elektromagnetischer Strahlung erfasst, die eine Wellenlänge zwischen 350 nm und 790 nm aufweist. Hierbei werden gewisse Wellenlängenbereiche überhaupt nicht oder nur vergleichsweise schwach erfasst. Beispielsweise ist die Sensitivität in dem bestimmten Bereich im Vergleich zu den übrigen Bereichen über das 10-Fache erhöht. Die Wellenlängen der elektromagnetischen Strahlung in dem bestimmten Bereich unterscheidet sich zweckmäßigerweise um weniger als 100 nm, 80 nm, 50 nm oder 20 nm.
  • Dahingegen sind die zweiten Sensorelemente für elektromagnetische Strahlung im gesamten Bereich des sichtbaren Spektralbereichs sensitiv, wobei die Sensitivität beispielsweise konstant ist oder der jeweiligen physikalischen Vorgabe des Materials des Bildsensors selbst entspricht, also insbesondere abhängig von der Bandstruktur des verwendeten Halbleitermaterials ist. Geeigneterweise sind sämtliche ersten Sensorelemente und sämtliche zweiten Sensorelemente baugleich. Vorzugsweise entsprechen die ersten Sensorelemente den zweiten Sensorelementen zuzüglich eines Farbfilters. Mit anderen Worten sind die ersten Sensorelemente jeweils mittels eines Farbfilters ausgestaltet, mittels dessen die Sensitivität mit Ausnahme des jeweils bestimmten Bereichs reduziert ist. Beispielsweise weisen ebenfalls die zweiten Sensorelemente einen Filter auf, mittels dessen jedoch lediglich Bestandteile elektromagnetischer Strahlung gefiltert werden, die Wellenlängen kleiner als 390 nm und/oder größer als 790 nm aufweisen. Alternativ hierzu sind die zweiten Sensorelemente filterlos.
  • Mittels der zweiten Sensorelemente sind Spalten und Zeilen eines zweiten Typs gebildet. Mit anderen Worten umfassen Spalten des zweiten Typs und Zeilen des zweiten Typs lediglich die zweiten Sensorelemente. Zusammenfassend weist der Bildsensor folglich Spalten und Zeilen auf, die lediglich die zweiten Sensorelemente umfassen und folglich frei von den ersten Sensorelementen sind. Ferner weist der Bildsensor Spalten und Zeilen eines ersten Typs auf, die die ersten Sensorelemente umfassen. Mit anderen Worten weist jede der Zeilen des ersten Typs und jede der Spalten des ersten Typs jeweils eine Anzahl der ersten Sensorelemente auf. Aufgrund der Rasteranordnung der Sensorelemente weisen hierbei die Spalten und Zeilen des ersten Typs ebenfalls die zweiten Sensorelemente auf. Mit anderen Worten weist beispielsweise jede Spalte des ersten Typs eine Anzahl von zweiten Sensorelementen auf, die jeweils Bestandteil der Zeilen des zweiten Typs sind. Ebenso weisen die Zeilen des ersten Typs eine Anzahl an zweiten Sensorelementen auf, die Bestandteil von Spalten des zweiten Typs sind. Beispielsweise weisen die Spalten und Zeilen des ersten Typs lediglich zweite Sensorelemente auf, die auch Bestandteil der Zeilen bzw. Spalten des zweiten Typs sind. Alternativ hierzu weisen die Spalten und/oder Zeilen des ersten Typs weitere zweite Sensorelemente auf, also zweite Sensorelemente, die nicht Bestandteil einer der Spalten bzw. Zeilen des zweiten Typs sind.
  • Infolgedessen weist der Bildsensor im Wesentlichen über dessen gesamte Breite und Höhe die zweiten Sensorelemente auf, was zu einer vergleichsweise hohen Empfindlichkeit des Bildsensors und somit zu einer vergleichsweise hohen Auflösung der Kamera führt. Aufgrund der Verwendung der ersten Sensorelemente sind hierbei auch Farbinformationen vorhanden, so dass bei einer geeigneten Aufbereitung der mittels der Sensorelemente erfassten Messdaten ein farbiges Abbild erstellt werden kann. Somit ist die Informationsqualität vergleichsweise hoch. Auch kann ein vergleichsweise kleiner Bildsensor verwendet werden, wobei dennoch die räumliche Auflösung erhöht ist. Beispielsweise weist der Bildsensor eine Gesamtzahl von 256, 512, 1024 oder ein ganzzahliges Vielfaches hiervon an Spalten und/oder Zeilen auf.
  • Besonders bevorzugt ist zwischen jeweils zweien der Spalten des ersten Typs eine der Spalten des zweiten Typs angeordnet. Mit anderen Worten sind die Spalten des ersten Typs nicht direkt zueinander benachbart, sondern vielmehr mittels zumindest einer Spalte des zweiten Typs beabstandet. Beispielsweise ist eine Spalte des ersten Typs direkt benachbart zu einer Spalte des zweiten Typs und diese direkt benachbart zu einer weiteren Spalte des ersten Typs, und diese direkt benachbart zu einer weiteren Spalte des zweiten Typs usw. angeordnet. Mit anderen Worten wechseln sich Spalten des ersten und des zweiten Typs zueinander ab. Alternativ oder in Kombination hierzu ist zwischen benachbarten Zeilen des ersten Typs jeweils eine Zeile des zweiten Typs angeordnet, wobei sich beispielsweise jeweils die Zeilen des ersten Typs und die Zeilen des zweiten Typs zueinander abwechseln. Mit anderen Worten weist der Bildsensor die gleiche Anzahl an Zeilen des ersten Typs und des zweiten Typs oder eine Zeile mehr oder weniger hiervon auf.
  • Mit anderen Worten ist jedes vom Rand des Bildsensors beabstandete erste Sensorelement von zweiten Sensorelementen umgeben. Mit anderen Worten ist eine 3×3-Matrix mittels der Sensorelemente gebildet, wobei das mittlere Sensorelement eines der ersten Sensorelemente und jedes der übrigen eines der zweiten Sensorelemente ist. Infolgedessen umfasst der Bildsensor im Wesentlichen die dreifache Anzahl an zweiten Sensorelementen im Vergleich zu ersten Sensorelementen. Folglich ist die Sensitivität des Bildsensors erhöht, wobei aufgrund der zwischen den Zeilen bzw. Spalten des zweiten Typs angeordneten Spalten bzw. Zeilen des ersten Typs dennoch Farbinformationen vorhanden sind.
  • Besonders bevorzugt sind zwischen jeweils zweien Spalten des ersten Typs zwei Spalten des zweiten Typs oder mehr Spalten des zweiten Typs, also drei Spalten des zweiten Typs, vier Spalten des zweiten Typs, oder mehr angeordnet. Zweckmäßigerweise sind zwischen benachbarten Zeilen des ersten Typs, zwei, drei, vier, fünf oder mehr Zeilen des zweiten Typs angeordnet. Zweckmäßigerweise entspricht die zwischen benachbarten Zeilen des ersten Typs angeordnete Anzahl an Zeilen des zweiten Typs der Anzahl von zwischen benachbarten Spalten des ersten Typs angeordneten Spalten des zweiten Typs. Sofern eine Farbinformation, die in dem mittels der Kamera erstellen Abbild vorhanden ist, eine vergleichsweise geringe Priorität aufweist, beispielsweise sofern das Assistenzsystem ein Abstandswarnassistent oder dergleichen ist, ist auf diese Weise die Erfassung von vergleichsweise weit entfernten Objekten mittels der Kamera verbessert, wobei aufgrund der farbsensitiven ersten Sensorelemente auch eine Identifikation von meist farbigen Verkehrszeichen ermöglichst ist.
  • Zweckmäßigerweise weisen die ersten Sensorelemente wenigstens zwei unterschiedliche Farbfilter auf. Mit anderen Worten unterscheiden sich zwei der ersten Sensorelemente durch deren jeweiligen Farbfilter. Folglich sind diese ersten Sensorelemente in unterschiedlichen Bereichen im sichtbaren Spektralbereich sensitiv. Zweckmäßigerweise ist mittels der ersten Sensorelemente eine erste Menge und eine zweite Menge gebildet, wobei sämtliche ersten Sensorelemente der gleichen Menge im jeweils selben bestimmten Bereich im sichtbaren Spektralbereich sensitiv sind. Hierbei unterscheidet sich der bestimmte Bereich zwischen der ersten Menge und der zweiten Menge. Beispielsweise unterscheiden sich die beiden bestimmten Bereiche um eine Wellenlänge von mehr als 100 nm. Auf diese Weise ist eine Analyse des Abbilds auf das Vorliegen von nicht lediglich in einer einzigen Farbe vorliegenden Elementen ermöglicht.
  • Beispielsweise weisen die ersten Sensorelemente drei oder mehr Farbfilter auf. Mit anderen Worten ist zumindest eine dritte Menge mittels der ersten Sensorelemente gebildet, deren Farbfilter sich von dem Farbfilter der ersten und zweiten Menge unterscheidet. Auf diese Weise ist die Anzahl und Qualität von Farbinformationen des Abbilds erhöht.
  • Geeigneterweise wird als Farbfilter ein Farbfilter für die Spektralfarben Rot, Grün oder Blau herangezogen. Hierbei wird mittels des blauen Farbfilters zweckmäßigerweise elektromagnetische Strahlung mit einer Wellenlänge zwischen 450 nm bis 500 nm im Wesentlichen nicht absorbiert, mittels des grünen Farbfilters elektromagnetische Strahlung mit einer Wellenlänge von 520 nm und 565 nm nicht absorbiert und mittels des roten Farbfilters elektromagnetische Strahlung mit einer Wellenlänge zwischen 625 nm bis 740 nm nicht absorbiert, wohingegen die jeweils komplementären Bereiche mittels des jeweiligen Filters absorbiert werden. Mit anderen Worten sind die Farbfilter lediglich für elektromagnetische Strahlung mit einer Wellenlänge zwischen 450 nm und 500 nm, 520 nm und 565 nm bzw. 625 nm bis 740 nm transparent.
  • Zweckmäßigerweise ist die Anzahl der ersten Sensorelemente mit dem grünen Farbfilter vorzugsweise gleich dem Doppelten der ersten Sensorelemente mit dem roten Farbfilter und/oder der Anzahl der ersten Sensorelemente mit dem blauen Farbfilter. Geeigneterweise ist die Anzahl der ersten Sensorelemente mit dem roten Farbfilter gleich der Anzahl der Sensorelemente mit dem blauen Farbfilter.
  • Besonders bevorzugt weisen die ersten Sensorelemente der Spalten des ersten Typs Farbfilter der Spektralfarben Rot und Grün auf. Alternativ hierzu umfassen die ersten Sensorelemente der Spalten des ersten Typs Farbfilter für die Spektralfarben Grün und Blau. Zweckmäßigerweise weisen diese Spalten des ersten Typs keine weiteren ersten Sensorelemente mit einem hierzu unterschiedlichen Farbfilter auf. Mit anderen Worten sind die Spalten des ersten Typs entweder sowohl mittels erster Sensorelemente mit Farbfiltern für die Spektralfarbe Rot als auch mittels erster Sensorelemente mit Farbfiltern für die Spektralfarbe Grün und mittels zweiten Sensorelementen gebildet oder aber mittels erster Sensorelemente mit Farbfiltern für die Spektralfarben Grün und erster Sensorelemente mit Farbfiltern für die Spektralfarbe Blau sowie mittels zweiter Sensorelementen gebildet. Alternativ oder in Kombination hierzu weisen die jeweiligen Zeilen des ersten Typs entweder Farbfilter für die Spektralfarben Rot und Grün oder Farbfilter für die Spektralfarben Grün und Blau auf.
  • Beispielsweise weisen zueinander benachbarte Spalten und/oder Zeilen des ersten Typs unterschiedliche Farbfilter auf, was zu einer feineren Verteilung von Farbinformationen innerhalb des mittels der Kamera erstellten Abbildes führt. Zweckmäßigerweise sind Spalten des ersten Typs mit Farbfiltern für die Spektralfarben Rot und Grün abwechselnd zu Spalten des ersten Typs mit Farbfiltern für die Spektralfarben Grün und Blau angeordnet, wobei zwischen diesen Spalten des ersten Typs zweckmäßigerweise stets eine Spalte des zweiten Typs angeordnet ist. Alternativ oder besonders bevorzugt in Kombination hierzu sind Zeilen des erstens Typs mit Farbfiltern für die Spektralfarben Rot und Grün abwechselnd zu Zeilen des ersten Typs mit Farbfiltern für die Spektralfarben Grün und Blau angeordnet, wobei zwischen diesen Zeilen des ersten Typs geeigneterweise zumindest eine Zeile des zweiten Typs angeordnet ist. Vorzugsweise weisen hierbei diese Spalten bzw. Zeilen des ersten Typs keine weiteren Farbfilter auf. Folglich ist auf diese Weise ein modifiziertes Bayer-Muster geschaffen, wobei zwischen jeweils benachbarten ersten Sensorelementen mit einem der Farbfilter ein zweites Sensorelement angeordnet ist. Mit nochmals anderen Worten weist der Bildsensor ein sogenanntes Bayer-Muster auf, wobei zwischen den farbsensitiven Sensorelementen sogenannte Clearpixel eingefügt sind und die Anzahl der Clearpixel pro Muster dem Dreifachen der farbsensitiven Sensorelemente (Pixeln) entspricht.
  • In einer alternativen Ausführungsform weisen die ersten Sensorelemente zumindest zwei unterschiedliche Farbfilter auf, von denen jeder entweder für die Spektralfarbe Gelb, die Spektralfarbe Magenta oder die Spektralfarbe Zyan wirkt. Zweckmäßigerweise weist der Bildsensor erste Sensorelemente mit Farbfiltern für die Farben Gelb, Magenta und Zyan auf, sodass eine vergleichsweise umfangreiche Rekonstruktion von Farbinformationen ermöglicht ist, wenn auch mittels anderer Berechnungsvorschriften als bei Farbfiltern für die Spektralfarben Rot, Grün und Blau. Mit anderen Worten weist der Bildsensor drei unterschiedliche Arten von ersten Sensorelementen auf, die sich durch den jeweiligen Farbfilter unterscheiden.
  • In einer besonders bevorzugten Ausführungsform der Erfindung weist die Kamera eine Auswerteeinrichtung auf, mittels derer die mittels der die ersten und zweiten Sensorelemente erfassten Messdaten bei Betrieb des Assistenzsystems ausgewertet werden und hieraus ein Abbild erstellt wird. Hierbei wird zweckmäßigerweise jedem der mittels der ersten und zweiten Sensorelemente erfassten Messwerte ein Pixel des Abbilds zugeordnet, wobei die Position des Pixels zu der Position des jeweiligen Sensorelements korrespondiert. Hierbei entspricht der mittels der zweiten Sensorelemente erfasste jeweilige Messwert einem Helligkeitswert des die Pixel aufweisenden Abbilds, wohingegen jeder mittels der ersten Sensorelemente erfasste Messwert einem Farbwert entspricht, der zu dem jeweiligen sensitiven Bereich des jeweiligen ersten Sensorelements korrespondiert.
  • Vorzugsweise wird jedem der zu den zweiten Sensorelementen korrespondierenden Pixel ein Farbwert zugewiesen, der mittels Interpolation der Messwerte der jeweiligen ersten Sensorelemente erstellt wird. Mit anderen Worten wird jedem zweiten Sensorelement ein Farbwert zugewiesen, wobei dieser beispielsweise dem Mittelwert der Messwerte entspricht, der mittels benachbarter, den gleichen Farbfilter aufweisender erster Sensorelemente erfasst wurde. Besonders bevorzugt wird jedoch ein binomialer Filter hierfür herangezogen, also die benachbarten Messwerte der jeweiligen ersten Sensorelemente entsprechend gewichtet. Sofern die ersten Sensorelemente unterschiedliche Farbfilter aufweisen, erfolgt die Zuweisung von einer zu der Anzahl der Farbfilter korrespondierenden Anzahl von Farbwerten. Hierbei wird zweckmäßigerweise auch jedem der ersten Sensorelemente ein Farbwert zugewiesen, der mittels des ersten Sensorelements aufgrund dessen Intensität in diesem Bereich nicht erfassbar ist. Beispielsweise wird also jedem ersten Sensorelement mit grünem Farbfilter ein roter Farbwert zugewiesen, insbesondere mittels eines weiteren binomialen Filters.
  • Der Bildsensor ist Bestandteil einer Kamera und weist eine Anzahl von Spalten und Zeilen auf, die geeigneterweise zueinander benachbart sind. Jede Spalte und Zeile wird hierbei mittels einer Vielzahl an Sensorelementen gebildet, die folglich in einer Matrix-Anordnung vorliegen. Hierbei sind die Sensorelemente in erste und zweite Sensorelemente unterteilt. Mit anderen Worten weist der Bildsensor die ersten und zweiten Sensorelemente auf und besteht vorzugsweise aus diesen. Die ersten Sensorelemente sind lediglich für einen bestimmten Bereich im sichtbaren Spektralbereich der elektromagnetischen Strahlung sensitiv, wohingegen die zweiten Sensorelemente für elektromagnetische Strahlung im gesamten Bereich des sichtbaren Spektralbereichs sensitiv sind. Mit anderen Worten sind die zweiten Sensorelemente über einen größeren Bereich der elektromagnetischen Strahlung im sichtbaren Bereich sensitiv als die jeweiligen ersten Sensorelemente. Mittels der zweiten Sensorelemente ist ein zweiter Typ von Spalten und Zeilen gebildet, die folglich keine ersten Sensorelemente aufweisen. Ferner weist der Bildsensor Spalten und Zeilen eines ersten Typs auf, der die ersten Sensorelemente umfasst und geeigneterweise eine Anzahl der zweiten Sensorelemente.
  • Nachfolgend werden Ausführungsbeispiele der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:
  • 1 schematisch vereinfacht ein Assistenzsystem mit einer Kamera,
  • 2 in einer Draufsicht eine erste Ausführungsform eines Bildsensors der Kamera, mit einem sich wiederholenden Muster,
  • 3 vergrößert das Muster gemäß 2, und
  • 4 ein weiteres Muster einer zweiten Ausführungsform des Bildsensors gemäß 2.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • In 1 ist schematisch vereinfacht ein Assistenzsystem 2 eines Kraftfahrzeugs dargestellt. Das Assistenzsystem 2 weist eine Kamera 4 sowie eine Signaleinrichtung 6 auf, die signaltechnisch miteinander gekoppelt sind. Mittels der Signaleinrichtung 6 wird dem Fahrer des Kraftfahrzeugs das Vorhandensein eines Verkehrszeichens mitgeteilt, welches mit Hilfe der mittels der Kamera 4 erstellten Abbilder ermittelt wurde. Die Signaleinrichtung 6 ist ein Head-up-Display, mittels dessen diese Informationen auf die Frontscheibe des Kraftfahrzeugs projiziert werden.
  • Die Kamera 4 weist ein Objektiv 8 mit einer Kunststofflinse auf, mittels dessen ein Bildsensor 10 abgedeckt ist. Die mittels des auf CMOS-Technik basierenden Bildsensors 10 erfassten Helligkeitswerte werden einer Auswerteeinrichtung 12 zugeführt und aus den mittels des Bildsensors 10 erfassten Helligkeitswerte, also aus den aufgenommenen Messdaten, ein Abbild rekonstruiert.
  • In 2 ist in einer Draufsicht ausschnittsweise der Bildsensor 10 dargestellt, der eine Vielzahl an ersten Sensorelementen 14 und eine Vielzahl an zweiten Sensorelementen 16 umfasst. Die ersten Sensorelemente 14 weisen hierbei entweder einen roten Farbfilter R, einen grünen Farbfilter G oder einen blauen Farbfilter B auf, der lediglich für elektromagnetische Strahlung mit einer zur Spektralfarbe Rot, Grün bzw. Blau korrespondierenden Wellenlänge durchlässig ist. Dahingegen weisen die zweiten Sensorelemente 16 lediglich einen UV- und IR-Sperrfilter C auf. Infolgedessen sind die zweiten Sensorelemente 16 für elektromagnetische Strahlung im gesamten Bereich des sichtbaren Spektralbereichs sensitiv.
  • Die Sensorelemente 14, 16 sind rasterartig zur Ausbildung von Zeilen 18 und Spalten 20 angeordnet. Mit anderen Worten ist mittels der Sensorelemente 14, 16 eine Matrix-Anordnung geschaffen, die hier lediglich ausschnittsweise dargestellt ist. Hierbei sind entweder Zeilen eines ersten Typs 18a oder Zeilen eines zweiten Typs 18b gebildet. Mit anderen Worten weist der Bildsensor 10 lediglich Zeilen des ersten Typs 18a oder Zeilen des zweiten Typs 18b auf. Die Zeilen des ersten Typs 18a bestehen hierbei entweder aus ersten Sensorelementen 14 mit grünem Farbfilter G, ersten Sensorelementen 14 mit blauem Farbfilter B und zweiten Sensorelementen 16 oder aber aus ersten Sensorelementen 14 mit rotem Farbfilter R, ersten Sensorelementen 14 mit grünem Farbfilter G sowie zweiten Sensorelementen 16 auf. Dahingegen bestehen die Zeilen des zweiten Typs 18b lediglich aus den zweiten Sensorelementen 16.
  • Ebenso sind die Spalten in Spalten eines ersten Typs 20a und Spalten eines zweiten Typs 20b unterteilt. Die Spalten des zweiten Typs 20b sind lediglich mittels zweiter Sensorelemente 16 gebildet. Die Spalten des ersten Typs 20a hingegen sind entweder mittels sowohl erster Sensorelemente 14 mit grünem Farbfilter G als auch erster Sensorelemente 14 mit blauem Farbfilter B sowie zweiter Sensorelemente 16 oder mittels erster Sensorelemente 14 mit rotem Farbfilter R, erster Sensorelemente 14 mit grünem Farbfilter G und zweiter Sensorelemente 16 gebildet. Hierbei wechseln sich die unterschiedlichen Spalten des ersten Typs 20a in horizontaler Richtung ab, wobei jeweils zwischen benachbarten Spalten des ersten Typs 20a eine der Spalten des zweiten Typs 20b angeordnet ist. Ebenso ist stets zwischen benachbarten Spalten des ersten Typs 18a jeweils eine Spalte des zweiten Typs 20b angeordnet, wobei benachbarte Spalten 18a mittels unterschiedlicher erster Sensorelemente 14 gebildet sind. Infolgedessen ist ein sich wiederholendes Muster 22 gebildet, das in 3 näher dargestellt ist.
  • Das Muster 22 ist eine 4×4-Matrix, das aus zwölf zweiten Sensorelementen 16 und vier ersten Sensorelementen 14 gebildet ist. Von den vier ersten Sensorelementen 14 weist eines einen roten Farbfilter R, eines einen blauen Farbfilter B und zwei jeweils einen grünen Farbfilter G auf. Die erste Zeile des Musters ist mittels des den roten Farbfilter R aufweisenden ersten Sensorelements 14, eines der zweiten Sensorelemente 16, eines der den grünen Farbfilter G aufweisenden ersten Sensorelemente 14 sowie eines weiteren zweiten Sensorelements 16 gebildet. Die zweite Zeile ist lediglich mittels zweiter Sensorelemente 16 gebildet, besteht folglich aus vier der zweiten Sensorelemente 16. Die dritte Zeile ist mittels des verbleibenden, den grünen Farbfilter G aufweisenden ersten Sensorelements 14, einem der zweiten Sensorelemente 16, des den blauen Farbfilter B aufweisenden ersten Sensorelements 14 sowie eines weiteren zweiten Sensorelements 16 gebildet. Die vierte Zeile besteht wiederum lediglich aus zweiten Sensorelementen 16. Die Reihenfolge der Sensorelemente ist hierbei konstant, so dass die erste Spalte das den roten Farbfilter R aufweisende erste Sensorelement 14 sowie eines der den grünen Farbfilter G aufweisenden ersten Sensorelemente 14 aufweist. Die dritte Spalte weist das verbleibende den grünen Farbfilter G aufweisenden ersten Sensorelemente 14 sowie das den blauen Farbfilter B aufweisende erste Sensorelement 14 auf.
  • In 4 ist eine weitere Ausführungsform des Musters 22 dargestellt, das eine 6×6-Matrix ist. Auch dieses Muster 22 weist die vier ersten Sensorelemente 14 des vorhergehenden Ausführungsbeispiels auf. Jedoch ist die Anzahl der zweiten Sensorelemente 16 erhöht. So sind die zweite, dritte, fünfte und sechste Spalte sowie die zweite, dritte, fünfte und sechste Zeile lediglich mittels der zweiten Sensorelemente 16 gebildet. Dahingegen sind sowohl in der erste Spalte als auch in der erste Zeile das Sensorelement 14 mit dem roten Farbfilter R, zwei zweite Sensorelemente 16, jeweils eines der ersten Sensorelemente 14 mit dem grünen Farbfilter G sowie zwei weitere zweite Sensorelemente 16 angeordnet. Sowohl in der vierten Spalte als auch in der vierten Zeile sind als Reihenfolge zunächst eines der ersten Sensorelemente 14 mit dem grünen Farbfilter G, zwei zweite Sensorelemente 16, das erste Sensorelement 14 mit dem blauen Farbfilter B sowie zwei weitere zweite Sensorelemente 16 angeordnet.
  • Zur Rekonstruktion eines Abbilds aus dem mittels der Sensorelemente 14, 16 erstellten Messwerte wird mittels der Auswerteeinrichtung 12 jedem zweiten Sensorelement 16 ein Farbwert zugewiesen. Hierfür wird sämtlichen Sensorelementen 14, 16, die zwischen zueinander benachbarten ersten Sensorelementen 14 mit dem roten Farbfilter R liegen, mittels eines binomialen Filters ein Zwischenwert zwischen diesen beiden Messwerten zugewiesen. Das gleiche Verfahren wird für die verbleibenden ersten Sensorelemente 14 mit den grünen Farbfiltern G und blauen Farbfiltern B durchgeführt. Hierbei weist der binomiale Filter pro Muster 22 bei den Farben rot und blau lediglich eine Stützstelle auf, wohingegen bei der Spektralfarbe grün pro Muster 22 zwei Stützstellen vorhanden sind.
  • In einer alternativen Ausführungsform ist der roten Farbfilter R zu einem cyan Farbfilter, der blaue Farbfilter B zu einem magenta Farbfilter und einer der grünen Farbfiltern G zu einem yellow Farbfilter abgewandelt.
  • Die Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt. Vielmehr können auch andere Varianten der Erfindung von dem Fachmann hieraus abgeleitet werden, ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit den Ausführungsbeispielen beschriebenen Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen.
  • Bezugszeichenliste
  • 2
    Assistenzsystem
    4
    Kamera
    6
    Signaleinrichtung
    8
    Objektiv
    10
    Bildsensor
    12
    Auswerteeinrichtung
    14
    erstes Sensorelement
    16
    zweites Sensorelement
    18
    Zeile
    18a
    Zeile ersten Typs
    18b
    Zeile zweiten Typs
    20
    Spalte
    20a
    Spalte ersten Typs
    20b
    Spalte zweiten Typs
    22
    Muster
    C
    IR- und UV-Sperrfilter
    R
    roter Farbfilter
    G
    grüner Farbfilter
    B
    blauer Farbfilter

Claims (10)

  1. Assistenzsystem (2) eines Kraftfahrzeugs, mit einer einen Bildsensor (10) aufweisenden Kamera (4), der eine Vielzahl sowohl an für elektromagnetische Strahlung in einem bestimmten Bereich im sichtbaren Spektralbereich sensitiven ersten Sensorelementen (14) als auch an für elektromagnetische Strahlung im gesamten sichtbaren Spektralbereich sensitiven zweiten Sensorelementen (16) umfasst, die rasterförmig in Zeilen (18) und Spalten (20) angeordnet sind, wobei Spalten und Zeilen eines ersten Typs (18a, 20a) gebildet sind, die die ersten Sensorelemente (14) aufweisen, und wobei Spalten und Zeilen eines zweiten Typs (18b, 20b) gebildet sind, die lediglich zweite Sensorelemente (16) umfassen.
  2. Assistenzsystem (2) nach Anspruch 1, dadurch gekennzeichnet, dass jeweils zwischen Spalten und/oder Zeilen des ersten Typs (18a, 20a) eine der Spalte bzw. Zeile des zweiten Typs (18b, 20b) angeordnet ist.
  3. Assistenzsystem (2) nach Anspruch 2, dadurch gekennzeichnet, dass jeweils zwischen Spalten und/oder Zeilen des ersten Typs (18a, 20a) zwei oder mehr Spalten bzw. Zeilen des zweiten Typs (18b, 20b) angeordnet sind.
  4. Assistenzsystem (2) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die ersten Sensorelemente (14) wenigstens zwei unterschiedliche Farbfilter (R, G, B) aufweisen.
  5. Assistenzsystem (2) nach Anspruch 4, dadurch gekennzeichnet, dass die Farbfilter (R, G, B) für die Spektralfarben Rot, Grün oder Blau sind.
  6. Assistenzsystem (2) nach Anspruch 5, dadurch gekennzeichnet, dass die Spalten und/oder Zeilen des ersten Typs (18a, 20a) Farbfilter (R, G) für die Spektralfarben Rot und Grün oder Farbfilter (G, B) für die Spektralfarben Grün und Blau umfassen.
  7. Assistenzsystem (2) nach Anspruch 6, dadurch gekennzeichnet, dass Spalten und/oder Zeilen des ersten Typs (18a, 20a), mit Farbfilter (R, G) für die Spektralfarben Rot und Grün abwechselnd zu Spalten bzw. Zeilen des ersten Typs (18a, 20a), mit Farbfilter (G, B) für die Spektralfarben Grün und Blau angeordnet sind.
  8. Assistenzsystem (2) nach Anspruch 4, dadurch gekennzeichnet, dass die Farbfilter für die Spektralfarben Gelb, Magenta oder Cyan sind.
  9. Assistenzsystem (2) nach einem der Ansprüche 1 bis 8, gekennzeichnet durch eine Auswerteeinrichtung (12), die vorgesehen und eingerichtet ist, jedem zweiten Sensorelement (16) einen Farbwert mittels eines binomialen Filters zuzuweisen.
  10. Bildsensor (10) einer Kamera (4) nach einem der Ansprüche 1 bis 9.
DE102014218460.6A 2014-09-15 2014-09-15 Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor Active DE102014218460B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014218460.6A DE102014218460B4 (de) 2014-09-15 2014-09-15 Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014218460.6A DE102014218460B4 (de) 2014-09-15 2014-09-15 Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor

Publications (2)

Publication Number Publication Date
DE102014218460A1 true DE102014218460A1 (de) 2016-03-17
DE102014218460B4 DE102014218460B4 (de) 2021-02-11

Family

ID=55405935

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014218460.6A Active DE102014218460B4 (de) 2014-09-15 2014-09-15 Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor

Country Status (1)

Country Link
DE (1) DE102014218460B4 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016217282A1 (de) 2016-09-12 2018-03-15 Conti Temic Microelectronic Gmbh Bildsensor, bilderfassungsvorrichtung, fahrerassistenzsystem, fahrzeug und verfahren zur auswertung von elektromagnetischer strahlung
DE102016221336A1 (de) * 2016-10-28 2018-05-03 Conti Temic Microelectronic Gmbh Bildsensor mit einem für pixelbinning geeigneten farbfilter
WO2023129243A1 (en) * 2022-01-03 2023-07-06 Microsoft Technology Licensing, Llc Generate super-resolution images from sparse color information
US12073540B2 (en) 2022-01-03 2024-08-27 Microsoft Technology Licensing, Llc Use motion data to generate higher resolution images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005115820A1 (de) * 2004-05-25 2005-12-08 Siemens Aktiengesellschaft Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
DE102009001122A1 (de) * 2009-02-24 2010-08-26 Robert Bosch Gmbh Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten
DE102010003668A1 (de) * 2010-04-07 2011-10-13 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera
EP2642759A1 (de) * 2012-03-21 2013-09-25 Ricoh Company, Ltd. Mehrlinsenkamerasystem

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005115820A1 (de) * 2004-05-25 2005-12-08 Siemens Aktiengesellschaft Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
DE102009001122A1 (de) * 2009-02-24 2010-08-26 Robert Bosch Gmbh Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten
DE102010003668A1 (de) * 2010-04-07 2011-10-13 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera
EP2642759A1 (de) * 2012-03-21 2013-09-25 Ricoh Company, Ltd. Mehrlinsenkamerasystem

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NISCHWITZ, Alfred; FISCHER, Max; HABERÄCKER, Peter; SOCHER, Gudrun: Computergrafik und Bildverarbeitung. Band II: Bildverarbeitung. 3. Aufl., ISBN 978-3-8348-1712-9. Wiesbaden: Vieweg+Teubner/Springer Fachmedien, 2011. Kapitel 10: Demosaicing, S. 251 - 280. *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016217282A1 (de) 2016-09-12 2018-03-15 Conti Temic Microelectronic Gmbh Bildsensor, bilderfassungsvorrichtung, fahrerassistenzsystem, fahrzeug und verfahren zur auswertung von elektromagnetischer strahlung
DE102016221336A1 (de) * 2016-10-28 2018-05-03 Conti Temic Microelectronic Gmbh Bildsensor mit einem für pixelbinning geeigneten farbfilter
WO2018077357A1 (de) * 2016-10-28 2018-05-03 Conti Temic Microelectronic Gmbh Bildsensor mit einem für pixelbinning geeigneten farbfilter
WO2023129243A1 (en) * 2022-01-03 2023-07-06 Microsoft Technology Licensing, Llc Generate super-resolution images from sparse color information
US11972539B2 (en) 2022-01-03 2024-04-30 Microsoft Technology Licensing, Llc Generate super-resolution images from sparse color information
US12073540B2 (en) 2022-01-03 2024-08-27 Microsoft Technology Licensing, Llc Use motion data to generate higher resolution images

Also Published As

Publication number Publication date
DE102014218460B4 (de) 2021-02-11

Similar Documents

Publication Publication Date Title
DE102014218460B4 (de) Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor
EP3004851B1 (de) Verfahren zur bestimmung der brechkraft eines transparenten objekts sowie entsprechende vorrichtung
DE102013104046A1 (de) Optische Anordnung und Anzeigegerät
DE102004003612B4 (de) Verfahren und Auswertung eines Bildes von einem vorbestimmten Ausschnitt eines Druckerzeugnisses
DE102015202330A1 (de) Fahrerassistenzsystem
DE10220825A1 (de) Bildaufnahmevorrichtung für Fahrerassistenzsysteme
DE102016105579A1 (de) Optisches Filter für eine Kamera eines Kraftfahrzeugs, Kamera für ein Fahrerassistenzsystem, Fahrerassistenzsystem sowie Kraftfahrzug mit einem Fahrerassistensystem
DE102012021736A1 (de) Bildsensor für sichtbares und infrarotes Licht und Kamerasystem
DE602004001909T2 (de) Verfahren und Instrument zur Kontrolle der Verbindung von Wänden einer wabenförmigen Struktur mit einem Substrat
DE102014218459A1 (de) Assistenzsystem eines Kraftfahrzeugs, mit einer einen Bildsensor aufweisenden Kamera sowie Bildsensor einer Kamera
DE102021205703A1 (de) Verfahren und Vorrichtung zur lichttechnischen Vermessung eines elektronischen Displays sowie Verfahren zur Ansteuerung eines elektronischen Displays
DE102004020881B4 (de) Verfahren und Vorrichtung zum geometrischen Kalibrieren von optoelektronischen Messbildkameras
WO2015074915A1 (de) Filteranordnung und verfahren zum herstellen einer filteranordnung
DE102017120648B4 (de) 3D-Anzeigeelement, 3D-Anzeigesystem, Verfahren zum Betreiben eines 3D-Anzeigeelements und Verfahren zum Betreiben eines 3D-Anzeigesystems
EP2600605A1 (de) Verfahren und eine Aufnahmevorrichtung zur Aufnahme von Multispektralbildern
DE102014215373A1 (de) Kamerasystem, Verfahren zum Betrieb eines solchen, Verwendung eines solchen und Kraftfahrzeug mit einem solchen
DE102015200580A1 (de) Assistenzsystem eines Kraftfahrzeugs und Verfahren zum Betrieb eines Assistenzsystem eines Kraftfahrzeugs
DE102021004071B3 (de) Vorrichtung und Verfahren zum Erzeugen photometrischer Stereobilder und eines Farbbildes
DE102012014994B4 (de) Bildverarbeitungsverfahren für eine digitale Stereokameraanordnung
DE102016217282A1 (de) Bildsensor, bilderfassungsvorrichtung, fahrerassistenzsystem, fahrzeug und verfahren zur auswertung von elektromagnetischer strahlung
DE102017124077B4 (de) Detektor mit verkleinerten Randpixel Elementen
DE10016566A1 (de) Verfahren zur Messung von Farbwerten an gedruckten Farbmarken
DE102015210536A1 (de) Filterpixelmaske, Fahrerassistenzkamera mit der Filterpixelmaske sowie Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes
EP3220112B1 (de) Vorrichtung mit wenigstens einem optischen sensormodul und betriebsverfahren hierfür
DE102019003276A1 (de) Verfahren zur Kalibrierung und/oder Überprüfung der Kalibrierung einer Fahrzeugkamera eines Fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005335000

Ipc: H04N0025000000