DE102014220322B4 - Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes - Google Patents

Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes Download PDF

Info

Publication number
DE102014220322B4
DE102014220322B4 DE102014220322.8A DE102014220322A DE102014220322B4 DE 102014220322 B4 DE102014220322 B4 DE 102014220322B4 DE 102014220322 A DE102014220322 A DE 102014220322A DE 102014220322 B4 DE102014220322 B4 DE 102014220322B4
Authority
DE
Germany
Prior art keywords
processing parameters
image
color channels
sensor
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102014220322.8A
Other languages
English (en)
Other versions
DE102014220322A1 (de
Inventor
Konrad Rothenhäusler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102014220322.8A priority Critical patent/DE102014220322B4/de
Publication of DE102014220322A1 publication Critical patent/DE102014220322A1/de
Application granted granted Critical
Publication of DE102014220322B4 publication Critical patent/DE102014220322B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Bilderfassungsvorrichtung (1), mit:einem optischen Sensor (10), der dazu ausgelegt ist, Sensordaten für eine Mehrzahl von Farbkanälen zu erfassen;einem optischen Transmissionsfilter (40), welches zwischen dem optischen Sensor (10) und einem zu erfassen Objekt angeordnet ist, wobei das optische Transmissionsfilter (40) für benachbarte Pixelelemente auf dem optischen Sensor gleiche oder unterschiedliche Transmissionseigenschaften aufweist,undeiner Verarbeitungsvorrichtung (20), die dazu ausgelegt ist, erste Bilddaten unter Anwendung erster Verarbeitungsparameter auf die einzelnen Farbkanäle der erfassten Sensordaten zu generieren, und zweite Bilddaten unter Anwendung zweiter Verarbeitungsparameter auf die einzelnen Farbkanäle der erfassten Sensordaten zu generieren,und die ferner dazu ausgelegt ist,Verstärkungen einzelner Farbkanäle zu variieren und/oder die Integrationszeiten der Pixelelemente in dem optischen Sensor (10) für die einzelnen Farbkanäle anzupassen,und die überdies dazu ausgelegt ist,die ersten Verarbeitungsparameter für jeden Farbkanal derart anzupassen, dass die ersten Bilddaten eine möglichst starke Farbtrennung aufweisen, und die zweiten Verarbeitungsparameter für jeden Farbkanal derart anzupassen, dass die zweiten Bilddaten eine Kompensation von Empfindlichkeitsunterschieden in den einzelnen Farbkanälen, welche durch die unterschiedlichen Transmissionseigenschaften der Transmissionsfilter (40) bedingt sind, bewirken, so dass ein homogenes Bild generiert wird.

Description

  • Die vorliegende Erfindung betrifft eine Bilderfassungsvorrichtung sowie ein Verfahren zum Erfassen eines optischen Bildes.
  • Die Druckschriften
  • K. Baur et al.: Fernsehtechnik - Zweiter Teil: Technik des elektronischen Fernsehens, Herausgegeben von F. Schröter, in: VON KORSHENEWSKY, Nicolai; RUNGE, Wilhelm T. [Hrsg.]: Lehrbuch der drahtlosen Nachrichtentechnik, Fünfter Band. ISBN 978-3-662-23703-8. Berlin, Heidelberg: Springer, 1963, Kapitel XI.: Farbfernsehen, S. 473-503, sowie
    L. Krisch: Fernsehtechnik - Grundlagen, Verfahren, Systeme; ISBN 978-3-528-04920-1; Braunschweig; Wiesbaden: Vieweg; 1993. Kapitel 1: Farbkomponenten, Bildabtastung und Übertragung - ein Überblick, S. 1 - 16; Kapitel 6: Farbfernsehübertragungsverfahren NTSC, PAL und SECAM, S. 66 - 120,
    beschreiben die allgemeinen Grundlagen zur Generierung von drei Farbkanälen mittels einer Fernsehkamera.
  • WO 99/34235 A1 betrifft die Aufnahme eines dreidimensionalen Abstandsbildes. Als Bildsensor wird ein Sensor mit hoher Lichtempfindlichkeit eingesetzt, der pixelauflösend auslesbar ist und für jedes Pixel eine einstellbare Integrationszeit aufweist.
  • DE 10 2004 020 682 A1 betrifft ein fahrzeuggebundenes Bildaufnahmesystem mit einem farbempfindlichen Bildsensor. Der Weißabgleich ist in Abhängigkeit von Betriebsgrößen des Fahrzeugs und/oder Umgebungsbedingungen des Fahrzeugumfelds steuerbar.
  • S. PARK, Sang Wook; KANG, Moon Gi: Color interpolation with variable color ratio considering cross-channel correlation. Opt. Eng. 43(1), 34-43 (Jan 01, 2004), zeigt einen Farbsensor mit einem Farbfilter in Form eines Bayer-Musters. Das Farbfilter kann dabei auch für rote bzw. blaue Pixel komplementäre Anordnungen aufweisen.
  • DE 10 2008 003 791 A1 betrifft die Verarbeitung und Auswertung eines Farbbildes in einem Fahrassistenzsystem. Die empfangenen Lichtsignale können über ein Blau-Cut-Filter geführt werden und es können mehrere Ausgabesignale für verschiedene Farbkanäle erzeugt werden.
  • US 5 382 976 A zeigt eine adaptive Interpolation von Luminanzwerten eines Bildsensors.
  • Fahrassistenzsysteme, wie sie beispielsweise in Kraftfahrzeugen eingesetzt werden, verwenden unter anderem Bilder und Videosequenzen von Szenen, die geometrisch auf mindestens einem Bildsensor abgebildet werden. Zur Farberkennung werden dabei Bildsensoren verwendet, bei denen die einzelnen Bildpixel durch geeignete vorgeschaltete Transmissionsfilter unterschiedliche spektrale Empfindlichkeiten haben. Beispielsweise sind sogenannte RedClear-Sensoren (RCCC) bekannt, bei denen von vier benachbarten Bildpixeln eines mit einem roten Transmissionsfilter versehen ist und die verbleibenden drei das gesamte (sichtbare) Spektrum erfassen. Ferner sind sogenannte Bayer-kodierte Bildsensoren (RGGB) bekannt, bei denen von vier benachbarten Pixelelementen eines rotes, eines blaues und zwei grünes Licht erfassen.
  • Wie insbesondere am Beispiel eines RedClear-Sensors zu erkennen ist, hat das rot-kodierte Pixel im Vergleich zu den weißen Pixeln (clear pixel) eine schmalbandigere spektrale Transmission und liefert somit auch geringere Signalwerte. Dafür kann jedoch aus diesem Pixel Informationen über den roten Teil der abgebildeten Szene gewonnen werden. Die unterschiedlich kodierten Pixel werden im Folgenden als Farbkanal bezeichnet. Die Rohdaten der farbkodierten Signale eines Bildsensors weisen in der Regel ein starkes Fixed Pattern Noise auf. Durch Mittelung mehrerer Pixel mittels Tiefpassfilters kann ein homogeneres Bild erreicht werden. Durch diese Nachbearbeitung wird jedoch auch die Modulationstransferfunktion (MTF) reduziert.
  • Offenbarung der Erfindung
  • Die vorliegende Erfindung schafft gemäß einem ersten Aspekt eine Bilderfassungsvorrichtung mit den Merkmalen des Patentanspruchs 1.
  • Gemäß einem weiteren Aspekt schafft die vorliegende Erfindung ein Verfahren zum Erfassen eines optischen Bilds mit den Merkmalen des Patentanspruchs 9.
  • Gemäß einem weiteren Aspekt schafft die vorliegende Erfindung ein Fahrassistenzsystem mit einer erfindungsgemäßen Bilderfassungsvorrichtung.
  • Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass Bilddaten mit mehreren Farbkanälen, die durch einen optischen Sensor erfasst werden, im Rohdatenmodus ein starkes Fixed Pattern Noise aufweisen. Weiterhin führt eine Nachbearbeitung der Rohdaten, beispielsweise durch Anwendung einer Tiefpassfilterung, zu einer Reduzierung der Modulationstransferfunktion.
  • Eine Idee der vorliegenden Erfindung besteht nun darin, dieser Erkenntnis Rechnung zu tragen und diese zwei gegenläufigen Eigenschaften bei der Weiterverarbeitung der erfassten Bildsensordaten zu berücksichtigen. Hierzu werden die von den Bildsensoren erfassten Sensordaten auf mindestens zwei unterschiedlichen Arten ausgewertet. Daraufhin stehen separate Bilddaten für eine möglichst starke Farbtrennung auf der einen Seite und für Bilddaten mit kompensierten Empfindlichkeitsunterschieden auf der anderen Seite zur Verfügung, so dass diese Daten jeweils entsprechend ihrer weiteren Anwendungen getrennt oder gemeinsam verarbeitet werden können.
  • Der optische Sensor der Bilderfassungsvorrichtung kann hierzu für eine Mehrzahl von Farbkanälen separate Sensordaten erfassen. Abhängig von dem zu erfassenden Farbspektrum kann dabei die Intensität des Sensorsignals für den jeweiligen Farbkanal variieren. Entsprechend kann daraufhin eine Verarbeitung der so erfassten Sensordaten erfolgen, bei der für jeden Farbkanal des optischen Sensors mehrere Verarbeitungsparameter bereitgestellt und angewendet werden können. Beispielsweise kann ein erster Satz von Verarbeitungsparametern bereitgestellt werden, der bei einer Anwendung auf die Sensordaten der einzelnen Farbkanäle des optischen Sensors eine möglichst starke Farbtrennung der einzelnen Farbkanäle ermöglicht. In einem weiteren Verarbeitungsschritt können weitere Verarbeitungsparameter auf jeden Farbkanal angewendet werden, die Empfindlichkeitsunterschiede der Farbkanäle unterdrücken, so dass ein homogenes Bild erzeugt wird, wie es von einem Bildsensor ohne Farbkodierung erzeugt werden würde.
  • Durch die separate Verarbeitung der Sensordaten von einem optischen Sensor mit mehreren Farbkanälen kann somit ohne zusätzlichen Aufwand oder weitere teure Komponenten eine Auswertung des von dem optischen Sensor erfassten Bildbereichs erfolgen, wobei sehr gut die spektralen Unterschiede der erfassten Szene berücksichtigt werden können und darüber hinaus auch homogene Bilddaten für eine Weiterverarbeitung bereitgestellt werden können.
  • Gemäß einer Ausführungsform ist die Verarbeitungsvorrichtung der Bilderfassungsvorrichtung dazu ausgelegt, eine Integrationszeit für die einzelnen Farbkanäle in dem optischen Sensor unter Verwendung der ersten und zweiten Verarbeitungsparameter anzupassen. Durch die Anpassung der Integrationszeit in den einzelnen Farbkanälen können auf einfache Weise die Intensitätsunterschiede in den Signalen der einzelnen Farbkanäle kompensiert werden, bzw. die von dem Sensor gelieferten Daten für eine optimale Auswertung der Farbkanäle angepasst werden.
  • Gemäß einer Ausführungsform umfassen die ersten und die zweiten Verarbeitungsparameter Verstärkungsfaktoren für die einzelnen Farbkanäle. Durch das Anpassen der Verstärkungsfaktoren als Verarbeitungsparameter für die einzelnen Farbkanäle der Sensordaten können die von dem Sensor gelieferten Werte angepasst und optimiert werden, ohne dass hierbei unmittelbar Einfluss auf die Verarbeitung des optischen Sensors genommen werden muss.
  • Gemäß einer Ausführungsform ist die Verarbeitungsvorrichtung ferner dazu ausgelegt, die ersten und/oder die zweiten Verarbeitungsparameter anzupassen. Durch die Variation bzw. Anpassung der Verarbeitungsparameter, die von der Verarbeitungsvorrichtung herangezogen werden, um die Verarbeitung der einzelnen Farbkanäle des optischen Sensors anzupassen, können die Bilddaten, die für die Weiterverarbeitung generiert werden, auch während des operativen Betriebs kontinuierlich angepasst und optimiert werden.
  • Gemäß einer Ausführungsform umfasst die Bilderfassungsvorrichtung ferner einen Lichtdetektor, der dazu ausgelegt ist, eine Beleuchtung eines von dem optischen Sensor erfassten Objekts zu detektieren. Die Verarbeitungsvorrichtung ist dabei dazu ausgelegt, den ersten und/oder zweiten Verarbeitungsparameter unter Verwendung der detektierten Beleuchtung anzupassen. Auf diese Weise können die Verarbeitungsparameter für die Weiterverarbeitung der von dem optischen Sensor bereitgestellten Sensordaten kalibriert werden. Bei Kenntnis der Beleuchtung und dem damit verbundenen Einfluss auf das zu verarbeitende Farbspektrum ist eine gute Anpassung der Verarbeitungsparameter möglich.
  • Gemäß einer Ausführungsform umfasst die Bilderfassungsvorrichtung mindestens zwei optische Transmissionsfilter. Diese mindestens zwei optischen Transmissionsfilter weisen dabei inverse Bildsensorfarbkodierungen auf. Auf diese Weise ist es möglich, mit einem ersten Transmissionsfilter die Farbselektion zu steigern, während durch das mindestens eine weitere Transmissionsfilter die Bildsensorfarbkodierung invertiert wird, um ein homogenes Ausgangsbild zu erreichen.
  • Gemäß einer Ausführungsform umfasst der Bildsensor einen RedClear (RCCC) oder einen Bayer (RGGB) kodierten Bildsensor. Derartige Bildsensoren eignen sich gut für den Einsatz in der erfindungsgemäßen Bilderfassungsvorrichtung.
  • Gemäß einer weiteren Ausführungsform werden in dem Schritt zum Erfassen der Sensordaten die Sensordaten für jeden Farbkanal mit einer vorbestimmten Integrationszeit erfasst. Die vorbestimmte Integrationszeit kann dabei für jeden Farbkanal verschieden sein. Insbesondere kann die vorbestimmte Integrationszeit in Abhängigkeit von den ersten und/oder zweiten Verarbeitungsparametern angepasst werden.
  • Gemäß einer weiteren Ausführungsform werden die ersten Verarbeitungsparameter und/oder die zweiten Verarbeitungsparameter automatisch bestimmt. Auf diese Weise können die von der Bilderfassungsvorrichtung und dem erfindungsgemäßen Verfahren generierten Bilddaten ohne zusätzliche manuelle Eingriffe bei Bedarf angepasst werden.
  • Gemäß einer Ausführungsform umfasst das Verfahren einen Schritt zum Detektieren einer Beleuchtung eines optisch zu erfassenden Objekts, wobei die ersten Verarbeitungsparameter und/oder die zweiten Verarbeitungsparameter unter Verwendung der detektierten Beleuchtung bestimmt werden.
  • Gemäß einer weiteren Ausführungsform werden die ersten Verarbeitungsparameter für eine gesteigerte Farbtrennung angepasst.
  • Gemäß einer weiteren Ausführungsform werden die zweiten Verarbeitungsparameter für eine Kompensation von Empfindlichkeitsunterschieden in den einzelnen Farbkanälen angepasst.
  • Weitere Ausführungsformen und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezug auf die beigefügten Zeichnungen.
  • Figurenliste
  • Dabei zeigen:
    • 1: eine schematische Darstellung einer Bilderfassungsvorrichtung gemäß einer Ausführungsform;
    • 2: eine schematische Darstellung der Farbkodierung auf einem Bildsensor gemäß einer Ausführungsform; und
    • 3: eine schematische Darstellung eines Ablaufdiagramms, wie es einer Ausführungsform der vorliegenden Erfindung zugrunde liegt.
  • Beschreibung von Ausführungsformen
  • 1 zeigt eine schematische Darstellung einer Bilderfassungsvorrichtung 1 gemäß einer Ausführungsform. Die Bilderfassungsvorrichtung 1 umfasst einen optischen Sensor 10 und eine Verarbeitungsvorrichtung 20. Bei dem optischen Sensor 10 kann es sich beispielsweise um ein Sensorarray mit einer Vielzahl von Sensorelementen handeln. Beispielsweise kann dieses Sensorarray aus einer Vielzahl von Zeilen und Spalten mit Sensorelementen bestehen. Aber auch weitere, alternative Konfigurationen von Sensorarrays sind möglich. Jedes Sensorelement des Sensorarrays des optischen Sensors 10 kann Licht in einem vorbestimmten Lichtspektrum detektieren. Ohne zusätzliche Maßnahmen handelt es sich dabei in der Regel um ein sehr breites Lichtspektrum, das von den einzelnen Sensorelementen des optischen Sensors 10 detektiert werden kann. Das Lichtspektrum kann dabei insbesondere das sichtbare optische Lichtspektrum zwischen 400 und 800 Nanometern umfassen. Darüber hinaus sind jedoch auch Sensoren möglich, die zusätzlich oder ausschließlich infrarotes bzw. ultraviolettes Licht detektieren können. Grundsätzlich kann die erfindungsgemäße Bilderfassungsvorrichtung 1 auf jedes Strahlungsspektrum angewendet werden.
  • Um die zunächst sehr breitbandig detektierenden Pixelelemente des optischen Sensors 10 auf ein vorbestimmtes Spektrum einzugrenzen, kann in dem Strahlengang zwischen einem zu detektierenden Objekt 2 und dem optischen Sensor 10 ein optisches Transmissionsfilter 40 angeordnet werden. Dabei sind beispielsweise optische Transmissionsfilter 40 möglich, die ein breites Spektrum, beispielsweise das komplette sichtbare Lichtspektrum transmittieren lassen. Auch Transmissionsfilter für infrarotes Licht bzw. ultraviolettes Licht oder weitere selektive Lichtspektren sind darüber hinaus möglich. Ferner sind auch Transmissionsfilter möglich, die nur ein sehr schmalbandiges Lichtspektrum, beispielsweise Lichtspektrum für eine vorbestimmte Farbe transmittieren lassen.
  • Das optische Transmissionsfilter 40 kann für benachbarte Pixel auf dem optischen Sensor 10 unterschiedliche Transmissionseigenschaften aufweisen. Aber auch vollständige Zeilen bzw. Spalten mit gleichen Transmissionseigenschaften sind möglich. Ferner sind auch beliebige weitere Muster mit geeigneten Transmissionseigenschaften möglich.
  • Das optische Transmissionsfilter 40 kann fest in dem Strahlengang zwischen zu erfassendem Objekt 2 und optischem Sensor 10 angeordnet sein. Darüber hinaus ist es auch möglich, das optische Transmissionsfilter 40 durch Einklappen, Einrollen, Schwenken oder ähnliches zu bewegen und gegebenenfalls vollständig aus dem Strahlengang zwischen zu beobachtendem Objekt 2 und optischem Sensor 10 zu entfernen.
  • Darüber hinaus ist es auch möglich, abwechselnd verschiedene optische Transmissionsfilter 40 in den Strahlengang zwischen zu erfassendem Objekt 2 und optischem Sensor 10 einzubringen.
  • Beispielsweise kann ein erstes optisches Transmissionsfilter in den Strahlengang eingebracht werden, um die Farbselektion der einzelnen Sensorelemente des optischen Sensors 10 zu steigern. So kann zum Beispiel ein erstes Transmissionsfilter eingebracht werden, dass Transmission von Licht blockiert, das grünen Lischt entspricht, um eine stärkere Unterscheidung zwischen blauem und rotem Licht zu ermöglichen. Anschließend kann ein weiteres zweites optisches Transmissionsfilter eingebracht werden, das inverse Transmissionseigenschaften aufweist, um so aus einer Kombination der beiden Sensordaten zu einem homogenen Ausgangsbild zu gelangen.
  • Auf diese Weise werden von dem optischen Sensor 10 in Abhängigkeit der optischen Transmissionsfilter 40 vor dem optischen Sensor 10 Sensordaten für eine Mehrzahl von Farbkanälen erfasst und ausgegeben. Diese Sensordaten für die Mehrzahl von Farbkanälen werden an die Verarbeitungsvorrichtung 20 weitergeleitet. Die Verarbeitungsvorrichtung 20 generiert aus den von dem optischen Sensor 10 bereitgestellten Sensordaten zunächst erste Bilddaten. Dabei wird in Abhängigkeit des jeweiligen Farbkanals auf die Sensordaten jeweils ein spezifischer Verarbeitungsparameter angewendet. Bei diesem spezifischen Verarbeitungsparameter kann es sich beispielsweise um eine speziell auf den Farbkanal abgestimmte Verstärkung handeln. Die Verstärkungen für die einzelnen Farbkanäle zur Erzeugung der ersten Bilddaten können dabei in Bezug auf eine möglichst starke Farbtrennung der Bilddaten hin optimiert sein. Weiterhin werden durch die Verarbeitungsvorrichtung 20 basierend auf den gleichen, oder separat gewonnenen Sensordaten zweite Bilddaten generiert. Zur Generierung dieser zweiten Bilddaten wird durch die Verarbeitungsvorrichtung 20 auf die Sensordaten von dem optischen Sensor 10 für jeden Farbkanal ein individueller weiterer zweiter Verarbeitungsparameter angewendet. Bei diesem zweiten Verarbeitungsparameter kann es sich beispielsweise um eine Verstärkung handeln, bei der die einzelnen Farbkanäle im Unterschied zu der ersten Verstärkung für eine Kompensation von Empfindlichkeitsunterschieden angepasst sind. Wie bereits zuvor ausgeführt, kann aufgrund der unterschiedlichen Transmissionseigenschaften des Transmissionsfilters 40 die Intensität des von dem optischen Sensor 10 ausgegebenen Signals je nach transmittiertem Spektrum verschieden sein. Durch Anwendung einer diese Intensitätsunterschiede kompensierenden Verstärkung können daraufhin in der Verarbeitungsvorrichtung 20 die zweiten Bilddaten derart generiert werden, dass alle diese Empfindlichkeitsunterschiede zumindest annähernd ausgeglichen werden und ein homogenes Bild generiert wird.
  • Alternativ zu der Anwendung von individuellen Verstärkung auf die einzelnen Farbkanäle zur Erzeugung der ersten und der zweiten Bilddaten kann die Verarbeitungsvorrichtung 20 auch die Integrationszeit des optischen Sensors 10 variieren, um dadurch die Intensität der von dem optischen Sensor 10 ausgegebenen Signale anzupassen. Beispielsweise kann das Signal eines Farbkanals erhöht werden, das aufgrund eines erfassten schmalbandigen Spektrums nur ein geringes Signal liefert, um so die Intensität des von dem optischen Sensor 10 ausgegebenen Signals für diesen Farbkanal zu erhöhen. Auf gleiche Weise kann auch die Integrationszeit in dem optischen Sensor 10 für Farbkanäle verkleidet werden, die aufgrund eines breiten Farbspektrums relativ hohe Signalwerte liefern.
  • Die Verarbeitungsparameter, wie beispielsweise die zuvor beschriebene Verstärkung oder die Integrationszeiten für die einzelnen Farbkanäle, können dabei in der Verarbeitungsvorrichtung 20 bzw. in dem optischen Sensor 10 fest vorbestimmt und abgespeichert werden. Alternativ ist es jedoch auch möglich, die ersten und/oder zweiten Verarbeitungsparameter anzupassen. Beispielsweise kann durch Auswertung der von der Verarbeitungsvorrichtung 20 generierten ersten und/oder zweiten Bilddaten der Erfolg der Kompensation von Intensitätsunterschieden bzw. von Verstärkung der unterschiedlichen Farbkanäle analysiert werden und daraufhin die entsprechenden ersten und/oder zweiten Verarbeitungsparameter angepasst werden. Wird zum Beispiel festgestellt, dass die Bilddaten mit dem Ziel von kompensierten Empfindlichkeitsunterschieden dennoch einen Intensitätsüberschuss in einem bestimmten spektralen Bereich aufweisen, so kann daraufhin der entsprechende Verarbeitungsparameter korrigiert werden.
  • Alternativ ist es auch möglich, weitere Rahmenbedingungen und Umgebungsparameter bei der Bestimmung der Verarbeitungsparameter zur Generierung der ersten bzw. zweiten Bilddaten zu berücksichtigen. Ist beispielsweise die Lichtquelle bekannt, mit der ein von dem optischen Sensor 10 zu erfassendes Objekt 2 beleuchtet wird, so kann auch diese Information mit in die Bestimmung der ersten und/oder zweiten Verarbeitungsparameter mit einbezogen werden. Ist zum Beispiel bekannt, dass ein zu erfassendes Objekt 2 von einer Lichtquelle mit einem geringen Blauanteil beleuchtet wird, so kann eine entsprechende Anpassung der Verarbeitungsparameter erfolgen, um bei der Generierung der ersten bzw. zweiten Bilddaten diesen Umständen Rechnung zu tragen und beispielsweise den Farbkanal mit dem Blauanteil zusätzlich zu verstärken, bzw. die Integrationszeit für den Farbkanal mit dem Blauanteil zu verlängern.
  • Hierzu können die Informationen über die Beleuchtung des zu erfassenden Objekts 2 in die Verarbeitungsvorrichtung 20 eingegeben werden. Alternativ ist es auch möglich, die Beleuchtung des zu erfassenden Objekts 2 mittels eines zusätzlichen Detektors 30 zu erfassen und die Information über das Farbspektrum der Beleuchtung des zu erfassenden Objekts 2 von dem Detektor 30 an der Verarbeitungsvorrichtung 20 bereitzustellen. Die Verarbeitungsvorrichtung 20 kann daraufhin die Informationen des Detektors 30 auswerten, um die Verarbeitungsparameter entsprechend anzupassen.
  • Die erfindungsgemäße Bilderfassungsvorrichtung 1 eignet sich für alle Anwendungen, bei denen für die weitere Bildverarbeitung Informationen über eine möglichst starke Farbtrennung einer zu erfassenden Szene erforderlich sind und darüber hinaus auch Bilddaten mit möglichst kompensierten Empfindlichkeitsunterschieden in den einzelnen Farbkanälen von Interesse sind. Insbesondere kann die erfindungsgemäße Bilderfassungsvorrichtung 1 beispielsweise in einem Fahrassistenzsystem eingesetzt werden, wie es beispielsweise in Kraftfahrzeugen, insbesondere Personenkraftwagen, eingesetzt werden kann. Hierzu kann die Bilderfassungsvorrichtung 1 in einem Kraftfahrzeug 3 integriert werden. Der optische Sensor 10 erfasst dabei die Umgebung um das Kraftfahrzeug 3. Durch Kombination der Bilddaten mit erhöhter Farbtrennung in den einzelnen Farbkanälen und Bilddaten mit kompensierten Empfindlichkeitsunterschieden stehen somit Informationen zur Auswertung bereit, die in einem Fahrassistenzsystem weiter verarbeitet werden können. Ist darüber hinaus insbesondere auch das Lichtspektrum der Beleuchtungsanlage des Fahrzeugs 3 bekannt, so können diese Informationen ebenfalls herangezogen werden, um die Verarbeitungsparameter der Verarbeitungsvorrichtung 20 anzupassen. So können beispielsweise beim Einschalten der Beleuchtung des Kraftfahrzeugs die Verarbeitungsparameter auf das Lichtspektrum der Beleuchtungsanlage angepasst werden, und beim Ausschalten der Beleuchtung alternative Verarbeitungsparameter verwendet werden, die dem bekannten Tageslicht entsprechen.
  • 2 zeigt eine schematische Darstellung eines Diagramms mit Farbkanälen, bei denen die Empfindlichkeitsunterschiede der Farbkanäle kompensiert wurden. Sowohl der blaue Farbanteil λ1, als auch der grüne Farbanteil λ2 und der rote Farbanteil λ3 weisen dabei eine gleiche maximale Intensität auf. Hierzu werden die Verarbeitungsparameter bei der Generierung der entsprechenden Bilddaten entsprechend eingestellt. Ist beispielsweise bekannt, dass der Blauanteil durch den Transmissionsfilter besonders stark gedämpft wird, oder gegebenenfalls durch eine verwendete Beleuchtungsquelle, wie zum Beispiel ein Halogenscheinwerfer, nur ein geringer Blauanteil zur Verfügung steht, so können die Sensordaten des blauen Farbkanals stärker verstärkt werden. Alternativ ist, wie bereits zuvor beschrieben, auch eine längere Integration des blauen Farbkanals möglich, um die Signalstärke dieses Farbkanals zu erhöhen.
  • 3 zeigt eine schematische Darstellung eines Ablaufdiagramms, wie es einem Verfahren zum Erfassen eines optischen Bildes zugrunde liegt. In einem Schritt S1 werden zunächst Sensordaten für eine Mehrzahl von Farbkanälen erfasst. Anschließend werden in einem Schritt S2 erste Bilddaten unter Anwendung von ersten Verarbeitungsparametern auf die einzelnen Farbkanäle der erfassten Sensordaten generiert, und in Schritt S3 zweite Bilddaten unter Anwendung von zweiten Verarbeitungsparametern auf die einzelnen Farbkanäle der erfassten Sensordaten generiert.
  • Die ersten bzw. zweiten Verarbeitungsparameter können dabei automatisch bestimmt werden, insbesondere unter Verwendung der Kenntnis der Beleuchtungsverhältnisse oder einer detektierten Beleuchtung. Basierend auf den ersten und zweiten Verarbeitungsparametern kann entweder eine Anpassung der Verstärkung für die einzelnen Farbkanäle erfolgen, oder es kann alternativ, wie bereits zuvor beschrieben, auch die Integrationszeit in dem Bildsensor 10 angepasst werden.
  • Vorzugsweise werden die ersten Verarbeitungsparameter für die Anpassung der einzelnen Farbkanäle für eine gesteigerte Farbtrennung angepasst. Weiterhin werden die zweiten Verarbeitungsparameter für eine Kompensation von Empfindlichkeitsunterschieden in den einzelnen Farbkanälen angepasst.
  • Zusammenfassend betrifft die vorliegende Erfindung eine separate Verarbeitung von Sensordaten eines Bildsensors mit mehreren verschiedenen Farbkanälen, bei denen einerseits Bilddaten generiert werden können, die eine gesteigerte Farbtrennung erlauben, und darüber hinaus weitere Bilddaten generiert werden können, die Empfindlichkeitsunterschiede in den einzelnen Farbkanälen kompensieren. Hierzu können entweder die Verstärkungen der einzelnen Farbkanäle variiert werden, oder die Integrationszeiten der Pixelelemente in dem Bildsensor für die einzelnen Farbkanäle können angepasst werden.

Claims (11)

  1. Bilderfassungsvorrichtung (1), mit: einem optischen Sensor (10), der dazu ausgelegt ist, Sensordaten für eine Mehrzahl von Farbkanälen zu erfassen; einem optischen Transmissionsfilter (40), welches zwischen dem optischen Sensor (10) und einem zu erfassen Objekt angeordnet ist, wobei das optische Transmissionsfilter (40) für benachbarte Pixelelemente auf dem optischen Sensor gleiche oder unterschiedliche Transmissionseigenschaften aufweist, und einer Verarbeitungsvorrichtung (20), die dazu ausgelegt ist, erste Bilddaten unter Anwendung erster Verarbeitungsparameter auf die einzelnen Farbkanäle der erfassten Sensordaten zu generieren, und zweite Bilddaten unter Anwendung zweiter Verarbeitungsparameter auf die einzelnen Farbkanäle der erfassten Sensordaten zu generieren, und die ferner dazu ausgelegt ist, Verstärkungen einzelner Farbkanäle zu variieren und/oder die Integrationszeiten der Pixelelemente in dem optischen Sensor (10) für die einzelnen Farbkanäle anzupassen, und die überdies dazu ausgelegt ist, die ersten Verarbeitungsparameter für jeden Farbkanal derart anzupassen, dass die ersten Bilddaten eine möglichst starke Farbtrennung aufweisen, und die zweiten Verarbeitungsparameter für jeden Farbkanal derart anzupassen, dass die zweiten Bilddaten eine Kompensation von Empfindlichkeitsunterschieden in den einzelnen Farbkanälen, welche durch die unterschiedlichen Transmissionseigenschaften der Transmissionsfilter (40) bedingt sind, bewirken, so dass ein homogenes Bild generiert wird.
  2. Bilderfassungsvorrichtung (1) nach Anspruch 1, wobei die Verarbeitungsvorrichtung (20) dazu ausgelegt ist, eine Integrationszeit für die einzelnen Farbkanäle in dem optischen Sensor (10) unter Verwendung der ersten und zweiten Verarbeitungsparameter anzupassen.
  3. Bilderfassungsvorrichtung (1) nach Anspruch 1, wobei die ersten und zweiten Verarbeitungsparameter Verstärkungsfaktoren für die einzelnen Farbkanäle umfassen.
  4. Bilderfassungsvorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei die Verarbeitungsvorrichtung (20) ferner dazu ausgelegt ist, die ersten und/oder zweiten Verarbeitungsparameter anzupassen.
  5. Bilderfassungsvorrichtung (1) nach einem der Ansprüche 1 bis 4, mit einem Lichtdetektor (30), der dazu ausgelegt ist, eine Beleuchtung eines von dem optischen Sensor (10) erfassten Objekts (2) zu detektieren, wobei die Verarbeitungsvorrichtung (20) dazu ausgelegt ist, die ersten und/oder zweiten Verarbeitungsparameter unter Verwendung der detektierten Beleuchtung anzupassen.
  6. Bilderfassungsvorrichtung (1) nach einem der Ansprüche 1 bis 5, mit mindesten zwei optischen Transmissionsfiltern (40) mit zueinander inversen Transmissionseigenschaften.
  7. Bilderfassungsvorrichtung (1) nach einem der Ansprüche 1 bis 6, wobei der Bildsensor ein RedClear, RCCC, oder einem Bayer-kodierten, RGGB, Bildsensor umfasst.
  8. Fahrassistenzsystem mit einer Bilderfassungsvorrichtung nach einem der Ansprüche 1 bis 7.
  9. Verfahren zum Erfassen eines optischen Bildes mit den Schritten: optisches Erfassen (S1) von Sensordaten mit einer Mehrzahl von Farbkanälen mittels eines optischen Sensors (10), wobei zwischen dem optischen Sensor (10) und einem zu erfassen Objekt ein optisches Transmissionsfilter (40) angeordnet ist, wobei das optische Transmissionsfilter (40) für benachbarte Pixelelemente auf dem optischen Sensor gleiche oder unterschiedliche Transmissionseigenschaften aufweist, wobei die Sensordaten für jeden Farbkanal mit einer in Abhängigkeit von den ersten und/oder zweiten Verarbeitungsparametern angepassten Integrationszeit erfasst werden; Generieren(S2) von ersten Bilddaten unter Anwendung erster Verarbeitungsparameter auf die einzelnen Farbkanäle der erfassten Sensordaten, wobei die ersten Verarbeitungsparameter für jeden Farbkanal derart angepasst werden, dass die ersten Bilddaten eine möglichst starke Farbtrennung aufweisen; und Generieren (S3) von zweiten Bilddaten unter Anwendung zweiter Verarbeitungsparameter auf die einzelnen Farbkanäle der erfassten Sensordaten, wobei die zweiten Verarbeitungsparameter für jeden Farbkanal derart angepasst werden, dass die zweiten Bilddaten eine Kompensation von Empfindlichkeitsunterschieden in den einzelnen Farbkanälen, welche durch die unterschiedlichen Transmissionseigenschaften der Transmissionsfilter (40) bedingt sind, bewirken, so dass ein homogenes Bild generiert wird.
  10. Verfahren nach Anspruch 9, wobei die ersten Verarbeitungsparameter und/oder die zweiten Verarbeitungsparameter automatisch bestimmt werden.
  11. Verfahren nach Anspruch 9 oder 10, mit einem Schritt zum Detektieren einer Beleuchtung eines optisch zu erfassendes Objekts, wobei die ersten Verarbeitungsparameter und/oder die zweiten Verarbeitungsparameter unter Verwendung der detektierten Beleuchtung bestimmt werden.
DE102014220322.8A 2014-10-07 2014-10-07 Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes Active DE102014220322B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014220322.8A DE102014220322B4 (de) 2014-10-07 2014-10-07 Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014220322.8A DE102014220322B4 (de) 2014-10-07 2014-10-07 Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes

Publications (2)

Publication Number Publication Date
DE102014220322A1 DE102014220322A1 (de) 2016-04-07
DE102014220322B4 true DE102014220322B4 (de) 2020-02-13

Family

ID=55531197

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014220322.8A Active DE102014220322B4 (de) 2014-10-07 2014-10-07 Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes

Country Status (1)

Country Link
DE (1) DE102014220322B4 (de)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
DE3619708C2 (de) * 1985-06-13 1988-09-22 Olympus Optical Co., Ltd., Tokio/Tokyo, Jp
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
WO1999034235A1 (de) * 1997-12-23 1999-07-08 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
DE102004020682A1 (de) * 2004-04-28 2005-11-24 Robert Bosch Gmbh Bildaufnahmesystem
US20080128598A1 (en) * 2006-03-31 2008-06-05 Junichi Kanai Imaging device camera system and driving method of the same
DE102008003791A1 (de) * 2008-01-10 2009-07-16 Robert Bosch Gmbh Verfahren zur Verarbeitung und Auswertung eines Farbbildes und zugehöriges Fahrerassistenzsystem
DE102009009649A1 (de) * 2009-02-19 2009-10-15 Daimler Ag Bildsensor
DE102006038646B4 (de) * 2006-08-17 2011-03-24 Baumer Optronic Gmbh Bildverarbeitungsvorrichtung für Farb-Bilddaten
DE102011081405A1 (de) * 2011-08-23 2013-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor, Abbildungsvorrichtung und Verfahren für einen Bildsensor

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
DE3619708C2 (de) * 1985-06-13 1988-09-22 Olympus Optical Co., Ltd., Tokio/Tokyo, Jp
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
WO1999034235A1 (de) * 1997-12-23 1999-07-08 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
DE102004020682A1 (de) * 2004-04-28 2005-11-24 Robert Bosch Gmbh Bildaufnahmesystem
US20080128598A1 (en) * 2006-03-31 2008-06-05 Junichi Kanai Imaging device camera system and driving method of the same
DE102006038646B4 (de) * 2006-08-17 2011-03-24 Baumer Optronic Gmbh Bildverarbeitungsvorrichtung für Farb-Bilddaten
DE102008003791A1 (de) * 2008-01-10 2009-07-16 Robert Bosch Gmbh Verfahren zur Verarbeitung und Auswertung eines Farbbildes und zugehöriges Fahrerassistenzsystem
DE102009009649A1 (de) * 2009-02-19 2009-10-15 Daimler Ag Bildsensor
DE102011081405A1 (de) * 2011-08-23 2013-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor, Abbildungsvorrichtung und Verfahren für einen Bildsensor

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BAUR, K.; BERNDT, W.; BRUCH, W. et al.: Fernsehtechnik. Zweiter Teil: Technik des elektronischen Fernsehens. Herausgegeben von F. Schröter. In: VON KORSHENEWSKY, Nicolai; RUNGE, Wilhelm T. [Hrsg.]: Lehrbuch der drahtlosen Nachrichtentechnik, Fünfter Band. ISBN 978-3-662-23703-8. Berlin, Heidelberg: Springer, 1963. Kapitel XI.: Farbfernsehen, S. 473 - 503. *
HOLST, Gerald C.; LOMHEIM, Terrence S.: CMOS/CCD Sensors and Camera Systems. 2nd Edition. ISBN 978-0-9707-7498-9 + ISBN 978-0-8194-8653-0. Winter Park, FL, USA: JCD Publishing + Bellingham, WA, USA: SPIE Press, 2011. Chapter 5.6.1: Color Filter Arrays, pp. 142 - 149. *
KRISCH, Lothar: Fernsehtechnik. Grundlagen, Verfahren, Systeme. ISBN 978-3-528-04920-1. Braunschweig; Wiesbaden: Vieweg, 1993. Kapitel 1: Farbkomponenten, Bildabtastung und Übertragung - ein Überblick, S. 1 - 16; Kapitel 6: Farbfernsehübertragungsverfahren NTSC, PAL und SECAM, S. 66 - 120. *
LIU, Yung-Cheng; CHAN, Wen-Hsin; CHEN, Ye-Quang: Automatic White Balance for Digital Still Camera. IEEE Transactions on Consumer Electronics, Vol. 41, No. 3, August 1995, pp. 460 - 466. *
PARK, Sang Wook; KANG, Moon Gi: Color interpolation with variable color ratio considering cross-channel correlation. Opt. Eng. 43(1), 34-43 (Jan 01, 2004). *

Also Published As

Publication number Publication date
DE102014220322A1 (de) 2016-04-07

Similar Documents

Publication Publication Date Title
DE102014110131A1 (de) Bildaufnahmevorrichtung und Bildaufnahmeverfahren
DE102008005679B4 (de) Bildsignalverarbeitungseinheit
DE3641186C2 (de)
DE10324693A1 (de) Vorrichtung zur automatischen Bildsignalverstärkung für ein elektronisches Endoskop
DE102013012810A1 (de) Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug
DE102016220757A1 (de) Verfahren und Vorrichtung zur Materialbahnbeobachtung und Materialbahninspektion
DE10203421C1 (de) Automobiles Infrarot-Nachtsichtgerät und automobiles Display
DE112014002331T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
EP2367360A2 (de) Verfahren zur Korrektur von Farbfehlern in Bildern von digitalen Farbkameras
DE102016216795A1 (de) Verfahren zur Ermittlung von Ergebnisbilddaten
DE102015107406A1 (de) Kamera für ein Kraftfahrzeug mit zumindest zwei Lichtleitern und einem optischenFilterelement, Fahrerassistenzsystem sowie Kraftfahrzeug
EP2583464A2 (de) Farbbildsensor
WO2018202762A1 (de) Verfahren zur ermittlung des knickwinkels eines gespanns
DE60211440T9 (de) Verfahren und system zum infrarotnachweis mit auf histogrammen beruhender manueller pegel- und verstärkungsregelung
WO2008113461A1 (de) Verfahren und vorrichtung zum auswerten von fluoreszenzbildsätzen und vorrichtung zu seiner durchführung
EP3855723A1 (de) Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
DE102014118314A1 (de) Verfahren zum Anpassen einer Helligkeit eines Hochkontrastbilds, Kamerasystem und Kraftfahrzeug
DE102014220322B4 (de) Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes
DE102011117654B4 (de) Verfahren zum Betreiben einer Bildverarbeitungseinrichtung sowie entsprechende Bildverarbeitungseinrichtung
EP1185079A2 (de) Auf- oder Durchlichtscanner und Bildverarbeitungsverfahren für eingescannte Bildvorlagen
DE112017000024T5 (de) Bildverarbeitungsvorrichtung und elektronisches Endoskopsystem
DE102022106599A1 (de) Verfahren zur identifizierung der zusammensetzung eines anatomischen ziels
EP1206123B1 (de) Verfahren zur Falschfarbendarstellung von Bildinformation
DE102018207386B3 (de) Verfahren und Bilderzeugungssystem zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug
DE102018212179A1 (de) Bildverarbeitungsvorrichtung und verfahren zur bildverarbeitung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005335000

Ipc: H04N0025000000