-
Stand der Technik
-
Die Erfindung geht aus von einem Verfahren und einer Vorrichtung nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Aktuelle active Pixel CMOS Imager fahren ein festes Schema zum Laden (Reset) und Auslesen von Imager-Photodioden. Dabei erfolgt das Wiederaufladen der Pixel unabhängig von ihrem zu diesem Reset-Zeitpunkt vorliegenden Ladungszustand. Es gibt also keinen individuellen Entscheider in jedem Pixel für diesen Vorgang.
-
Hierbei kann ein sequenzielles Abfahren von mehreren unterschiedlich langen Belichtungszeiten eines Pixels erfolgen. Die Belichtungszeit ist dabei der Zeitraum zwischen einem Reset und Read-out eines Pixels. Die Entladungswerte des Pixels aus den unterschiedlichen Belichtungszeiten werden zu einer gemeinsamen Zahl plausibilisiert, dafür können eine Vielzahl von Algorithmen verwendet werden. Das Verfahren ist u. a. als HDR bekannt.
-
Denkbar ist ferner das zeitgleiche gemeinsame Reset und Read-out aller Pixel (global shutter), das zeilenweise Reset/Read-out (Rolling Shutter) und der Random Access einzelner Pixel.
-
Auch kann die Veränderung der Steilheit (Sensitivity) der Pixel durch Veränderung der Kapazität (Dual Conversion Gain DGC) vorgenommen werden.
-
Dies passiert üblicherweise global für alle Pixel, es gibt also keine individuellen Steuerleitungen pro Pixel.
-
Auch können bimodale Beleuchtungsregelungen verwendet werden. Dabei werden von Frame zu Frame wechselweise komplette Registersettings zur Parametrierung der Imagereigenschaften ausgetauscht, z. B. passend zu einem Kontext „kurz belichtend” mit wenig Eigenbewegung der Objekte über die Belichtungszeit versus „lang belichtend” mit moderater Verschmierung der Objekte durch Eigenbewegung innerhalb der Belichtungszeit, aber erhöhter Empfindlichkeit. Ebenfalls sind langsame Regelungen der Kontexte über die Bedingung Tag/Nacht üblich.
-
Die Veröffentlichung „BERMAK, Amine; BOUZERDOUM, Abdesselam; ESHRAGHIAN, Kamran: A Digital Vision Sensor with Pixel Level Analog-to-Digital Converter. Proc. SPIE 4591, Electronics and Structures for MEMS II, (21. November 2001); pp. 353–358” offenbart einen Analog-Digital-Wandler zur Ermittlung einer Beleuchtung einer Fotodiode. Mittels eines Komparators wird ermittelt, wie oft sich die Fotodiode aufgrund von auf der Fotodiode eingehender Strahlung entlädt. Die Anzahl der Entladungen pro Zeiteinheit bzw. die Entladungsfrequenz wird anhand des Ausgangssignals des Komparators ermittelt. Anhand dieser Frequenz, welche proportional zu einem Fotostrom ist, wird die Beleuchtungsstärke der Fotodiode ermittelt.
-
Die Veröffentlichung ”BERMAK, Amine: A CMOS Imager with PFM/PWM Based Analog-to-Digital Converter. IEEE International Symposium an Circuits and Systems, Phoenix-Scottsdale, AZ, USA, 26–29 May 2002, ISCAS 2002. Conference Proceedings, ISBN 0-7803-7448-7, pp. IV-53–IV-56” offenbart ebenfalls einen Analog-Digital-Wandler zur Ermittlung einer Beleuchtung einer Fotodiode. Anhand eines Komparators wird auch hier eine Entladungsfrequenz ermittelt, wobei basierend auf einer Pulsweitenmodulation oder einer Pulsfrequenzmodulation eine Beleuchtungsintensität der Diode ermittelt wird.
-
Die
US6130713A offenbart einen Analog-Digital-Wandler, welcher mittels eines als Komparator dienenden Schaltkreises umgesetzt ist. Auch in diesem Verfahren wird eine Beleuchtungsintensität einer Fotodiode anhand einer Anzahl an Resetvorgängen, in welchen der Ladungszustand der Fotodiode zurückgesetzt wird, durch den Komparator-Schaltkreis ermittelt.
-
Die Veröffentlichung „KAVUSI, Sam; GHOSH, Kunal; EL GAMAL, Abbas: Arichtectures for High Dynamic Range, High Speed Image Sensor Readout Circuits. 2006 IFIP International Conference an Very Large Scale Integration, Nice, France, 16–18 October 2006. Conference Proceedings, ISBN 3-901882-19-7, pp. 36–41” offenbart ein Verfahren, bei welchem ein Integrator einer Fotodiode zurückgesetzt wird, sobald der mittels des Integrators integrierte Wert eines Fotostroms einen vordefinierten Schwellenwert überschreitet. Der integrierte Wert wird hierbei in zeitgleichen Abständen mit dem Schwellenwert verglichen, wobei der Ausgang des Integrators digitalisiert wird. Zur Bestimmung der Belichtung der Fotodiode wird in unregelmäßigen Abständen (siehe bspw. 7) der Wert des integrierten Fotostroms ausgelesen. Anhand des ausgelesen Wertes und dem Zeitpunkt des letzten Zurücksetzens des Integrators wird die Belichtung der Fotodiode ermittelt.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Es wird vorliegend ein Verfahren zum Auslesen und/oder Betreiben eines Lichtsensors, der zumindest ein Pixel aufweist, wobei das Verfahren den folgenden Schritt aufweist:
- – Bereitstellen eines Pixelwertes, wobei der Pixelwert ein auf das Pixel eingefallenes Licht repräsentiert, und wobei das Pixel in Abhängigkeit von dem Entladungszustand des ersten Pixels zurückgesetzt wird.
-
Unter einem Pixel kann vorliegend eine Licht-sensitive Sensorzelle verstanden werden. Unter einem Pixelwert kann ein Parameter verstanden werden, der den Einfall von Licht auf das jeweils betreffende Pixel repräsentiert. Als Pixel werden hierbei kapazitive Elemente verwendet, die vor einer Messung aufgeladen (d. h. zurückgesetzt) werden und durch Einfall von Licht auf die Pixel entladen werden. Beispielsweise kann ein Pixel eine speziell ausgelegte Zelle eines CCD-Elementes sein. Entgegen dem Stand der Technik, bei dem mehrere Pixel gemeinsam zurückgesetzt werden, erfolgt bei dem hier vorgestellten Ansatz ein autonomes Zurücksetzen zumindest eines Pixels, d. h. Wiederaufladen der Kapazität eines oder mehrerer Pixel, in Abhängigkeit von dem Entladungszustand dieser einzelnen Pixel.
-
Der hier vorgestellte Ansatz basiert auf der Erkenntnis, dass ein sehr realitätsnahes Abbild der Umgebung durch einen Lichtsensor ermittelt werden kann, bei dem einzelne Pixel in Abhängigkeit von ihrem Entladungszustand zurückgesetzt werden. Auf diese Weise können sehr unterschiedliche Lichteinfallszenarien auf unterschiedliche Teilbereiche des Lichtsensors schnell und eindeutig identifiziert werden.
-
Günstig ist eine Ausführungsform des hier vorgestellten Ansatzes, bei dem im Schritt des Bereitstellens ferner zumindest ein zweiter Pixelwert bereitgestellt wird, wobei der zweite Pixelwert ein auf ein zweites Pixel eingefallenes Licht repräsentiert und wobei das zweite Pixel in Abhängigkeit von dem Entladungszustand des zweiten Pixels zurückgesetzt wird. Hierdurch kann sichergestellt werden, dass unterschiedliche Pixel je nach Entladungszustand auch autonom bzw. unabhängig voneinander zurückgesetzt werden können.
-
Technisch sehr einfach umsetzbar und zuverlässig arbeitend ist eine Ausführungsform des hier vorgeschlagenen Ansatzes, bei der im Schritt des Bereitstellens zum Bereitstellen des Pixelwertes ein Ladungszustand des Pixels mit einem vordefinierten ersten Schwellwert vergleichen wird und/oder wobei zum Bereitstellen des zweiten Pixelwertes ein Ladungszustand des zweiten Pixels mit einem vordefinierten zweiten Schwellwert vergleichen wird. Beispielsweise können der Schwellwert und der zweite Schwellwert innerhalb eines Toleranzbereichs gleich sein. Beispielsweise kann der Schwellwert um nicht mehr als zehn Prozent vom zweiten Schwellwert abweichen. Auf diese Weise kann schnell und einfach ein Zurücksetzen des betreffenden Pixels in Abhängigkeit vom Entladungszustand ausgeführt werden.
-
Gemäß einer besonders günstigen Ausführungsform des hier vorgestellten Ansatzes kann im Schritt des Bereitstellens ferner das Auslesen des Pixelwertes nach einer vordefinierten Auslesezeitdauer erfolgen, insbesondere wobei die Auslesezeitdauer für das Auslesen von mehreren aufeinanderfolgend ausgelesenen Pixelwerten gleich ist. Hiedurch kann ein standardisierter Auslesealgorithmus verwendet werden, wobei die einzelnen Pixel unabhängig vom Auslesen sondern in Abhängigkeit von ihrem Entladungszustand zurückgesetzt werden können. Besonders vorteilhaft ist weiterhin, wenn das Auslesen von mehreren aufeinanderfolgenden zweiten Pixelwerten mit einer vordefinierten zweiten Auslesezeitdauer erfolgt, insbesondere wobei die zweite Auslesezeitdauer von der Auslesezeitdauer unterschiedlich ist. Dies ermöglicht vorteilhaft die Realisierung präzise Auslesung von unterschiedlich stark belichteten Bereichen eines Lichtsensors (d. h., die Pixel an unterschiedlichen Stellen des Lichtsensors) mit unterschiedlichen Belichtungsparametern wie hier der Auslesenzeitdauer, wobei eine solche vorteilhafte Parametrierung beim Betrieb des Lichtsensors durch technisch sehr einfache Mittel implementiert werden kann. Von Vorteil ist weiterhin eine Ausführungsform des hier vorgeschlagenen Ansatzes, bei der im Schritt des Bereitstellens der Pixelwert unter Verwendung eines Impedanzwandlers und/oder eines Sample-and-Hold-Elementes bereitgestellt wird und/oder der zweite Pixelwert unter Verwendung eines zweiten Impedanzwandlers und/oder eines zweiten Sample-and-Hold-Elementes bereitgestellt wird. Eine solche Ausführungsform ist technisch einfach umsetzbar und verhindert oder minimiert eine Störung oder ein fehlerhaftes Auslesen der Pixel bei der Bestimmung der Pixelwerte.
-
Besonders flexibel einsetzbar ist eine Ausführungsform des hier vorgeschlagenen Ansatzes, bei der im Schritt des Einlesens ein Pixelwert von einem Pixel eingelesen wird, das in einer anderen Zeile oder einer anderen Spalte wie das zweite Pixel angeordnet ist, wobei der Lichtsensor matrixförmig angeordnete Pixel aufweist. Auch eine derartige Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, je nach Beleuchtungssituation einzelne Pixel auszulesen und somit die Beleuchtungssituation des Lichtsensors optimal zu erfassen.
-
Um Rückschlüsse auf ein Farbspektrum der lokalen Beleuchtung von unterschiedlichen Pixeln zu ermöglichen, kann gemäß einer anderen Ausführungsform des hier vorgeschlagenen Ansatzes im Schritt des Einlesens der Pixelwert von dem Pixel eingelesen wird und der zweite Pixelwert von dem zweiten Pixel einlesen werden, wobei zumindest das erste oder zweite Pixel durch zumindest ein Farbfilter bedeckt ist, sodass auf das Pixel ein spektraler Lichtanteil einfällt, der sich von einem auf das zweite Pixel einfallenden spektralen Lichtanteil unterscheidet.
-
Besonders robust und störungsfrei arbeitend ist eine Ausführungsform des hier vorgestellten Ansatzes, das folgende weitere Schritte aufweist:
- – Bilden eines Differenzwerts aus zumindest zwei zeitlich aufeinanderfolgenden Pixelwerten, insbesondere wobei der Differenzwert einen zeitlichen Verlauf der Entladung des Pixels repräsentiert; und
- – Erkennen eines Beleuchtungswertes für das erste Pixel unter Verwendung des Differenzwerts.
-
Unter einem Differenzwert kann vorliegend ein Wert verstanden werden, der unter Verwendung einer Differenz zwischen aufeinanderfolgenden Pixelwerten ermittelt wurde oder der einer solchen Differenz entspricht. Zur robusten und störungsarmen Erkennung einer Beleuchtungssituation des Lichtsensors wird somit ein zeitlicher Verlauf des Pixelwertes eines Pixels in der Form eines Differenzwerts verwendet, wodurch auch die Zurücksetzung der einzelnen Pixel zu unterschiedlichen Zeitpunkten eine hinreichende Berücksichtigung bei einer Signalauswertung finden kann.
-
Vorteilhaft ist eine Ausführungsform des hier vorgestellten Ansatzes, bei dem der Differenzwert als Quotient unter Verwendung einer Differenz zwischen zumindest zwei zeitlich aufeinanderfolgenden Pixelwerten und einer Zeitdauer zwischen den zumindest zwei zeitlich aufeinanderfolgenden Pixelwerten gebildet wird. Hierdurch wird eine besonders effiziente Auswertung des zeitlichen Belichtungsverlaufs des Pixels (also an einer bestimmten Stelle des Lichtsensors) ermöglicht.
-
Besonders vorteilhaft ist eine Ausführungsfrom des hier vorgestellten Ansatzes, bei der im Schritt des Bildens ein zweiter Differenzwert aus zumidnest zwei zeitlich aufeinanderfolgenden zweiten Pixelwerten gebildet wird, insbesondere wobei der zweite Differenzwert einen zeitlichen Verlauf der Entladung des zweiten Pixels repräsentiert, wobei im Schritt des Erkennens ein zweiter Beleuchtungswert unter Verwendung des zweiten Differenzwertes erkannt wird. Einee solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, die Beleuchtungssituation des Lichteinfalls auf unterschiedliche Bereiche des Lichtsensors miteinander vergleichen zu können.
-
Gemäß einer besonders vorteilhaften Ausführungsform des hier vorgestellten Ansatzes kann im Schritt des Erkennens eine stärkere Beleuchtung des (ersten) Pixels gegenüber dem zweiten Pixel erkannt werden, wenn der (erste) Differenzwert größer als der zweite Differenzwert ist und/oder eine schwächere Beleuchtung des (ersten) Pixels gegenüber dem zweiten Pixel erkannt werden, wenn der erste Differenzwert kleiner als der zweite Differenzwert ist. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil einer technisch sehr einfachen Unterscheidung von unterschiedlichen Beleuchtungsszenarien auf das (erste) Pixel und/oder das zweite Pixel.
-
Günstig ist auch eine Ausführungsform des hier vorgestellten Ansatzes, bei der im Schritt des Bildens ein negativer (erster) Differenzwert und/oder zweiter Differenzwert für eine Verwendung im Schritt des Erkennens verworfen wird. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil der Erkennung eines Zurücksetzens des betreffenden Pixels zwischen den Zeitpunkten der für die Bildung des Differenzwerts verwendeten Pixelwerte. Auf diese Weise kann ein Fehler bei dem Auslesen eines durch ein solches Zurücksetzen betroffenen Pixels vermieden werden.
-
Gemäß einer weiteren Ausführungsform des hier vorgeschlagenen Ansatzes kann im Schritt des Erkennens ein rechteckförmiger Verlauf mehrerer zeitlich aufeinanderfolgender Differenzwerte als gepulste Beleuchtung des Pixels erkannt werden und/oder ein rechteckförmiger Verlauf mehrerer zeitlich aufeinanderfolgender zweiter Differenzwerte als gepulste Beleuchtung des zweiten Pixels erkannt werden. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet eine technisch einfache und zuverlässige Möglichkeit, eine gepulste Beleuchtung des jeweils betreffenden Pixels zu erkennen, auch wenn das betreffende Pixel in Abhängigkeit von seinem Entladungszustand zurückgesetzt wird.
-
Denkbar ist auch eine weitere Ausführungsform des hier vorgeschlagenen Ansatzes, bei der im Schritt des Erkennens ein Interpolieren von mehreren Differenzwerten erfolgt, um zumindest einen interpolierten Differenzwert zu erhalten und/oder ein Interpolieren von mehreren zweiten Differenzwerten erfolgt, um zumindest einen interpolierten zweiten Differenzwert zu erhalten, wobei der Beleuchtungswert des für das Pixel unter Verwendung des interpolierten Differenzwerts und/oder der zweite Beleuchtungswert für das zweite Pixel unter Verwendung des interpolierten zweiten Differenzwerts erkannt wird. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil dass fehlerhafte Pixelwerte oder Differenzwerte oder -quotienten (beispielsweise mit negativem Vorzeichen), die durch ein Zurücksetzen des Pixels verursacht wurden, durch das Interpolieren korrigiert oder kompensiert werden können. Hierdurch lässt sich eine für weitere Funktionalitäten optimierte Erkennung einer Beleuchtungssituation des Lichtsensors vornehmen.
-
Besonders vorteilhaft ist eine Ausführungsform des hier vorgeschlagenen Ansatzes, bei der im Schritt des Erkennens ein zeitlicher Verlauf des Differenzwerts ermittelt wird, um eine Veränderung des Beleuchtungswertes für das Pixel zu erkennen und/oder ein zeitlicher Verlauf des zweiten Differenzwerts ermittelt wird, um eine Veränderung des Beleuchtungswertes für das zweite Pixel zu erkennen. Auf diese Weise kann beispielsweise eine heller oder dunkler werdende Beleuchtung erkannt und/oder gegebenenfalls bei selbst leuchtenden Objekten auf deren Annäherungsprofil geschlossen werden.
-
Diese hier vorgestellten Ausführungsformen des Verfahrens können beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 eine schematische Darstellung eines Szenarios, in der ein Ausführungsbeispiel der hier vorgestellte Erfindung vorteilhaft eingesetzt werden kann;
-
2 ein schematisches Schaltbild eines Teilbereichs einer Einheit zum Bereitstellen zumindest eines Pixelwertes gemäß einem Ausführungsbeispiel;
-
3 eine schematische Darstellung eines Lichtsensors, der matrixförmig angeordnete Pixel aufweist;
-
4 ein Diagramm, unter dessen Zuhilfenahme die Funktion der Vorrichtung zum Betreiben und/oder Auslesen des Lichtsensors gemäß einem Ausführungsbeispiel näher erläutert wird;
-
5 ein Diagramm 500, in dem die in der 4 dargestellten Verläufe der Pixel-Ladezustände eines Pixel entsprechend den unterschiedlichen Beleuchtungsszenarien als Abtastwerte zu vordefinierten Abtastzeitpunkten;
-
6 ein Diagramm, in dem der Verlauf von Differenzwerten für die unterschiedlichen Beleuchtungsszenarien dargestellt ist; und
-
7 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung eines Szenarios, in der ein Ausführungsbeispiel der hier vorgestellte Erfindung vorteilhaft eingesetzt werden kann. Die Vorrichtung 100 zum Auslesen des Lichtsensors 105 gemäß einem Ausführungsbeispiel der Erfindung ist hierbei in einem Fahrzeug 110 angeordnet. Das Fahrzeug 110 fährt beispielsweise in Richtung eines Berges 115, in dem sich ein Tunnel 120 befindet. Das im Tunnel 120 fahrende Fremdfahrzeug 125 fährt auf das Fahrzeug 110 zu, wobei dieses Fremdfahrzeug 125 aufgrund der Lichtverhältnisse in dem 120 selbst das Fahrlicht eingeschaltet hat. Ein Bereich 130 außerhalb des Tunnels 120, beispielsweise der Baum 132, wird von der hinter dem Fahrzeug 110 befindlichen Sonne 135 beleuchtet, sodass am Lichtsensor 105 sehr unterschiedliche Lichtverhältnisse der einzelnen Objekte wie beispielsweise dem Baum 132 oder Fremdfahrzeugs 125 im Tunnel 120 vorliegen.
-
Kameras bzw. Imager (= Bildsensoren) wie beispielsweise der Lichtsensor 105 sollten im Feld mit unterschiedlichen Helligkeitsbedingungen zu Recht kommen. Diese können zeitgleich in einem Frame auftreten. Das vorstehend genannte Szenario wäre ein Beispiel für solche unterschiedlichen Lichtverhältnisse: Eine Fahrzeug-Frontkamera wie der Lichtsensor 105 in hellem Tageslicht schaut mit einem Anteil ihres Bildes in einen unbeleuchteten Tunnel 120. In diesem Tunnel 120 befindet sich ein entgegenkommendes Fahrzeug 125 mit aufgeblendeten Scheinwerfern. Um diese Szenerie zu erfassen ohne die Dynamikgrenzen des Imagers bzw. Lichtsensors 105 zu verletzen werden unterschiedliche Belichtungszustände in mehreren Frames notwendig. Dies geht zulasten der Latenz des Systems.
-
Ein weiteres nicht beherrschtes Szenario könnte beispielsweise in der Erfassung von Informationen von Wechselverkehrszeichen bestehen, da Wechselverkehrszeichen mit gepulsten LEDs zur Darstellung wechselnder Anzeigesymbole arbeiten. Sowohl zur Verbesserung der Lebensdauer der einzelnen LEDs als auch der Reduzierung der Leistungsaufnahme werden die LEDs nicht nur gepulst, sondern dies erfolgt segmentweise über Abschnitte der Gesamtanzeige. Auslegungen arbeiten z. B. mit 10 ms Repetition, 1 ms on-time, also einem Duty Cycle von 10%. Für den Menschen ist der gepulste Betrieb quasi unsichtbar, da seine Netzhaut mit einer Trägheit von 10–20 ms integriert. Für eine Kamera im Tageslicht verbieten sich Belichtungszeiten größer der LED-Repetition, da diese die hellen Bildabschnitte übersteuern. Selbst wenn durch Zufall in einer kürzeren Belichtungszeit LEDs im On-Zustand erfasst werden, so betrifft dies nur Segmentabschnitte des Wechselverkehrszeichens.
-
Um eine Verbesserung in für derartige Szenarien zu schaffen, biete der hier vorgestellte Ansatz eine Lösung, gemäß der sowohl unterschiedlich helle Objekte mit konstanter Beleuchtung ohne sequenziellen Wechsel der Imagereinstellungen zu erfassen als auch mit Objekten stark wechselnder Helligkeit (beispielsweise gepulst) innerhalb einer Framerate (typischerweise 30–40 ms) zu erfassen. Der hier vorgestellte Ansatz basiert dabei auf einem individuellen Automatismus in jedem Pixel, nicht aber mit einer globalen Ansteuerung aller Pixel(-zeilen) gemäß den Lösungen aus dem Stand der Technik ohne Berücksichtigung der individuellen Pixelbeleuchtung. Im Gegensatz zu dem hier vorgestellten Ansatz arbeiten die im Stand der Technik verwendeten Verfahren für einen gesamten Frame. Es gibt somit keinen individuellen Kontext pro Pixel anhand seiner individuellen Beleuchtungssituation.
-
Speziell wird mit dem hier vorgestellten Ansatz gemäß einem Ausführungsbeispiel eine Vorrichtung 100 zum Beitreiben eines Lichtsensors 105 vorgestellt, wie sie beispielhaft in der 1 dargestellt ist. Die Vorrichtung 100 weist eine Einheit 140 zum Bereitstellen, eine Einheit 150 zum Bilden und eine Einheit 155 zum Erkennen. In der Einheit 140 zum Bereitstellen wird ein (erster) Pixelwert 160 und ein zweiter Pixelwert 165 bereitgetsellt, wobei der (erste) Pixelwert 160 ein auf ein (erstes) Pixel 170 des Lichtsensors 105 eingefallenes Licht repräsentiert und der zweite Pixelwert 165 ein auf ein zweites Pixel 175 des Lichtsensors 105 eingefallenes Licht repräsentiert. Das (erste) Pixel 170 und das zweite Pixel 175 werden hierbei je in Abhängigkeit von ihrem Entladungszustand durch die Einheit 145 zum Bereitstellen zurückgesetzt. In der Einheit 150 zum Bilden wird ein (erster) Differenzwert 180 aus zumindest zwei zeitlich aufeinanderfolgenden (ersten) Pixelwerten 160 und/oder ein zweiter Differenzwert 185 aus zumindest zwei zeitlich aufeinanderfolgenden zweiten Pixelwerten 165 gebildet, insbesondere wobei der (erste) Differenzwert 180 einen zeitlichen Verlauf der Entladung des (ersten) Pixels 170 repräsentiert und/oder der zweite Differenzwert 185 einen zeitlichen Verlauf der Entladung des zweiten Pixels 175 repräsentiert. In der Einheit 155 zum Erkennen wird eines (ersten) Beleuchtungswertes 190 für das (erste) Pixel 170 unter Verwendung des (ersten) Differenzwerts 180 und/oder eines zweiten Beleuchtungswertes 195 für das zweite Pixel 175 unter Verwendung des zweiten Differenzwerts 195 erkannt. Der (erste) Beleuchtungswert 190 und/oder der zweite Beleuchtungswert 195 können dann beispielsweise zur Verarbeitung an eine Steuereinheit 197 geleitet werden, die beispielsweise eine Erkennung und/oder Zuordnung von Objekten oder Objekttypen zu den in von dem Lichtsensor 105 erkannten Mustern vornimmt und hierauf basierend beispielsweise Assistenzfunktionen wie eine Spurhaltefunktion oder eine Notausweichfunktion über ein Steuersignal 198 aktiviert.
-
2 zeigt ein schematisches Schaltbild eines Teilbereichs einer Einheit 140 zum Bereitstellen zumindest eines Pixelwertes 160. Die Einheit 140 umfasst eine mit einer Kapazität 200 parallelgeschaltete Fotodiode 210, wobei die Kapazität 200 und die Fotodiode 210 zwischen einen Abgriffspunkt 225 und einen Masseanschluss 230 geschaltet sind. Der Abgriffspunkt 225 ist über einen Rücksetztransistor 235 (der beispielsweise als MOSFET-Transistor ausgebildet ist) mit einem Rücksetzanschluss 240 zum Einspeisen einer Rücksetzspannung Vreset zum Rücksetzen der Kapazität 200 verbunden. Der Abgriffspunkt 225 ist mit einem Steuereingang eines Spannungsfolger-Transistors 245 (der beispielsweise ebenfalls als MOSFET-Transistor ausgestaltet ist) verbunden, wobei ein Eingang des Spannungsfolger-Transistors 245 mit einem Ausleseanschluss 250 zum Auslesen einer Auslesespannung VAA verbunden ist. Der Ausgang des Spannungsfolger-Transistors 245 ist über einen Zeilenzeiger-Transistor 255 mit einem ersten Anschluss eines Komparators 260 verbunden, der die am ersten Anschluss anliegende Spannung mit einem Schwellwert U_thresh vergleicht und ein entsprechendes Steuersignal Reset an den Rücksetztransistor 235 ausgibt. Optional kann das Steiersignal Reset noch durch ein Filter 265 gefiltert werden. Mit einem Auslesesignal Read kann der Zeilenzeiger-Transistor 260 durchgeschaltet werden. Ferner kann auch der erste Anschluss des Komparators 260 als Ausgangssignal Out mit einem Eingang eines Zeilen-Auslese-Analog-Digital-Wandlers 270 verbunden sein. Denkbar ist ferner eine Variante, in der der Ausgang des Spannungsfolger-Transistors 245 ohne eine Zwischenschaltung des Zeilenzeiger-Transistors 255 direkt mit dem ersten Anschluss des Komparators 260 verbunden ist und/oder der Abgriffspunkt 225 über einen Auslesetransistor 275 und eine Auslesekapazität 280 mit dem Ausleseanschluss 250 verbunden ist.
-
Die Grundlage vor den hier vorgestellten Ansatz kann in dem Vorsehen eines möglichst einfach implementierbaren Entscheiders in jedem oder für jedes Pixel gesehen werden. Statt eines zwangsgeführten Resets durch eine globale Ablaufsteuerung entscheidet der aktuelle Ladungszustand des Pixels autonom, ob ein Reset notwendig ist. Der Ladungszustand der Fotodiode des Pixels kann durch einen Impedanzwandler hochohmig ausgelesen werden, ohne die Ladung selbst zu beeinflussen (Rückwirkungsfreiheit!). Die Realisierung des Impedanzwandlers erfolgt z. B. vorzugsweise durch eine Source Follower wie Stand der Technik in CMOS. Somit gibt es Zwischensamples des Entladeverlaufs ohne das weitere Entladen des Pixels durch ein global ausgelöstes Reset zu unterbrechen. Dies ist ein deutlicher Unterschied zu den state-of-the-art-Verfahren.
-
Der Ausgang des Impedanzwandlers liegt entweder fix oder geschaltet über einen Read-out-Transistor an einem Eingang eines Komparators. Am zweiten Eingang des Komparators liegt eine Referenzspannung U_Thresh als Definition der Entladungsgrenze. Wird diese Spannung unterschritten, so wird ein Reset-Transistor durchgeschaltet und die Kapazität der Fotodiode wieder aufgeladen. Wird der Ausgang des Impedanzwandlers direkt mit dem Eingang des Komparators verbunden, so soll für eine ausreichende Durchschaltzeit des Reset-Transistors gesorgt werden. Dazu kann beispielsweise ein nachgeführtes Monoflop vorsehen werden oder aber den Komparator als Schmitt-Trigger mit zeitbehafteter Hysterese (kapazitive Mitkopplung) realisiert werden. Wird der Ausgang des Read-Transistors mit dem Eingang des Komparators verbunden, so ist ein Reset nur zum Zeitpunkt des Read-out möglich und der Automat damit taktsynchronisiert.
-
Ein wichtiger Aspekt des hier vorgestellten Ansatzes kann darin gesehen werden, das der Zeitpunkt des Resets autonom im Pixel anhand intrinsischer Information und nicht durch eine übergeordnete Ablaufsteuerung erfolgt. Damit können hell beleuchtete Pixel 170 bzw. 175 anders reagieren als schwach beleuchtete oder gepulst beleuchtete Pixel.
-
Eine übergeordnete Ablaufsteuerung kann beispielsweise ähnlich dem bekannten Rolling-Shutter-Prinzip erfolgen. Es gibt eine Kette von Rowpointern. Zeigt ein Rowpointer auf eine Zeile, so ist in dieser für alle Pixel der Zeile des Read-Transistors durchgeschaltet und die entsprechenden Ausgänge der Impedanzwandler mit den S&Hs einer Zeile von AD-Wandlern verbunden. Es gibt allerdings keine Resetpointer wie vom klassischen Rolling-Shutter bekannt. Die Samplingperiode t_sample ist durch den Zeilenabstand der Rowpointer untereinander bestimmt.
-
3 zeigt eine schematische Darstellung eines Lichtsensors, der matrixförmig angeordnete Pixel aufweist. Hierbei wird in der 3 dargestellt, wie eine Ablaufsteuerung beim Auslesen des Lichtsensors arbeiten könnte. Die einzelnen Pixel, beispielsweise die Pixel 175 bzw. 175 sind zeilen- und spaltenweise im Lichtsensor angeordnet, wobei jedes der Pixel beispielsweise mittels einer Einheit 140 entsprechend der 2 ausgelesen werden kann bzw. einen Pixelwert bereitstellen kann. Es wird dabei ein Zeilenzeiger 300 zum Zeitpunkt i auf eine Zeile des Lichsensors gerichtet, wobei nach einem zeitlichen Abstand tSample der Zeilenzeiger 300 zum Zeitpunkt i + 1 auf eine nachfolgende Zeile gerichtet wird. Ist ein Zeilenzeiger 300 auf eine Zeile gerichtet, kann dies durch ein entsprechendes Signal Read, wie es beispielsweise an den Steuereingang des Zeilenzeiger-Transistors 255 angelegt wird, einem entsprechenden Pixel signalisiert werden. Heridurch kann dann der Ausleseausgang Out mit einem Eingang ADCj (1 <= j <= m) eines Bus-Analog-Digital-Wandlers 270 beispielsweise entsprechend der Darstellung aus 2, verbunden werden, wobei andere Ausleseausgänge Out von Pixeln, die ebenfalls in der Zeile i des Lichtsensors angeordnet sind, an weitere Eingänge des Bus-Analog-Digital-Wandlers 270 angelegt werden. Hierdurch ist es möglich, zeilenweise die Pixel 170 bzw. 175 des Lichsensors auszulesen, wobei jedes der Pixel beispielsweise unabhängig voneinander auf der Basis seines jeweiligen Entladungszustands zurückgesetzt wird.
-
Beispielsweise kann der Lichtsensor 105 die folgenden Parameter aufweisen:
Anzahl der Pixel: 2000×800, 1.6 MPx (einschließlich Darkpixel zum FPN Flatfielding)
Abtastfrequenz: f_px = 40 MHz
Abtaszeitdauer des Auslesens einer Zeile: t_row = 2000/40 MHz = 50 μs (entspricht Aufenthaltsdauer eines Rowpointers auf einer Reihe, dann eine Zeile weiterrücken)
Abtastzeitdauer: t_s = 0.5 ms (Sollvorgabe)
Zeilenabstand der Pointer: n = t_s/t_row = 10
Framerate: 1/(800·50 μs) = 25 frames/s
Quantisierung der Pixelwerte (DN): 2 Byte (incl. Gütekriterium)
Datentransferrate zu Companion, IP3 o. ä.: TR = 2 Byte/Px·25 frames/s·1.6 MPx/frame = 80 MB/s
-
4 zeigt ein Diagramm 400, unter dessen Zuhilfenahme die Funktion der Vorrichtung 100 zum Betreiben und/oder Auslesen des Lichtsensors 105 gemäß einem Ausführungsbeispiel näher erläutert werden soll. In der 4 ist hierbei die Anzahl der Ladungsträger in den betreffenden Kapazitäten der Pixel des Lichtsensors 105 über die Zeit aufgetragen. Die in der 4 dargestellten Zeitdiagramme, die der besseren Übersichtlichkeit und Vergleichbarkeit alle in dem Diagramm aus 4 zusammengefasst sind, zeigen somit das Verhalten von Pixel-Ladezustände für
- a) schwache konstante Beleuchtung mit Entladerate 1.000 e-/ms (Graf 410)
- b) mittlere konstante Beleuchtung mit Entladerate 10.000 e-/ms (Graf 420)
- c) hohe konstante Beleuchtung mit Entladerate 100.000 e-/ms (Graf 430)
- d) gepulste Beleuchtung mit 10.000 e-/ms während einer t_on von 1 ms, Periode von 10 ms (Graf 440).
-
Zusätzlich wird mit dem Graf 450 beispielhaft dargestellt, zu welchen Zeitintervallen bei Wechselverkehrszeichen die entsprechenden LEDs dieser Zeichen eingeschaltet (hoher Signalpegel) oder ausgeschaltet (niedriger Signalpegel) sind. Die einzelnen Zeitpunkte der Abtastwerte (wobei die Abtastwerte den Pixelwerten gemäß der Beschreibung zur 1 entsprechen) sind in dem Diagramm aus 4 mit den Punktsymbolen 460 markiert.
-
Hierbei wird bei einem Zurücksetzen des Pixels eine Spannung von U_reset = 1 V an das Pixel angelegt und hierdurch eine Ladung von ca. 100.000 Elektronen (auch mit der Bezeichnung e- abgekürzt) in die Raumladungszone eingebracht. Bei einem unterschreiten einer Schwellenspannung von U_thresh = 0.2 V bei einer Anzahl von Ladung von 20.000 e- in der Raumladungszone wird ein erneutes Zurücksetzen vorgenommen. Diese Ladungszustände aus den Sample&Hold-Elementen werden z. B. alle 0.5 ms gesampelt und die Ladungszustände als digitale Werte (DN) abgelegt, die dann für die nachfolgenden Verarbeitungsschritte als Pixelwerte bezeichnet werden. Bei Bedarf, also bei Unterschreiten der Schwellenspannung, wird ein Reset bzw. ein Zurücksetzen durchgeführt.
-
5 zeigt ein Diagramm 500, in dem die in der 4 dargestellten Verläufe der Pixel-Ladezustände eines Pixel entsprechend den unterschiedlichen Beleuchtungsszenarien als Abtastwerte zu den Abtastzeitpunkten i im Zeitintervall 0,5 ms dargestellt sind.
-
Zwischen den sukzessiven Samples bzw. den Pixelwerten 160 bzw. 165 werden die Differenzenquotienten 170 bzw. 175 beispielsweise gemäß dem folgenden Zusammenhang Diff = (Sample[i] – Sample[i + 1])/(t[i + 1] – t[i]) gebildet, die die Entladung beschreiben. Hierbei beschreibt die Variable Diff den zu bildenden Differenzenquotienten, die Variable Sample[i] den Pixelwert zum Abtastpunkt i, die Variable Sample[i + 1] den Pixelwert zum auf den Abtastpunkt i unmittelbar folgenden Abtastpunkt i + 1, die Variable t[i] die Zeit zum Abtastpunkt i und die Variable t[i + 1] die Zeit auf den zum Abtastpunkt i unmittelbar folgenden Abtastpunkt i + 1.
-
Sind die Differenzenquotienten negativ, so werden sie verworfen, da ein Reset zwischen den sukzessiven Samples bzw. den Pixelwerten 160 bzw. 165 stattgefunden hat. Dadurch entstehen „Resetlücken” im Datenstrom, die fehlerhafte bzw. ungültige Differenzquotienten Diff enthalten würden. Die (beispielsweise gegeneinander plausibilisierten) Differenzenquotienten Diff beschreiben genau die Entladeraten der unterschiedlichen Beleuchtungen.
-
6 zeigt ein Diagramm 600, in dem der beispielhafte Verlauf von Differenzwerten Diff für die unterschiedlichen Beleuchtungsszenarien entsprechend den Grafen 410, 420, 430 und 440 dargestellt ist.
-
Für die gepulste Beleuchtung (entsprechend der Darstellung in den 4 bis 6 durch den Graf 440) fällt der Differenzenquotient im Off-Zustand der LED auf Null bzw. auf das Entladeniveau des umgebenden Restlichts. Der rechteckige Verlauf des Differenzenquotienten Diff charakterisiert also eine gepulste Beleuchtung des entsprechenden Pixels. Schließlich wird der Verlauf des Differenzenquotienten zu einem Ausgabedatum zusammengefasst, welches beispielsweise den Beleuchtungswert 190 bzw. 192 repräsentiert, der für weitere Funktionen verwendet werden kann.
-
Es können weiterhin auch beispielsweise jeweils zwischen den Resetlücken Regressionsgeraden auf die Datenblöcke durch Interpolation von Pixelwerten und/oder Differenzenquotienten Diff gebildet werden. Dies reduziert das Rauschen des Ausgabedatums bzw. Beleuchtungswertes (Stichwort Grenzempfindlichkeit), setzt aber eine entsprechende Anzahl von Speicherzellen im Imager bzw. der Vorrichtung 100 zum Betreiben des Lichtsensors 105 voraus. Werden nur die Differenzenquotienten vor und nach einem Reset einem Zurücksetzen des Pixels verwendet, so entspricht das Rauschen den bekannten Verfahren bei gleichem Speicherbedarf.
-
Auch können gemäß besonders günstigen Ausführungsbeispielen weitere Features, Funktionalitäten oder Vorteile durch den hier vorgestellten Ansatz realisiert werden.
- a) Die Berechnung der Differenzenquotienten Diff entspricht einem CDS. Damit werden systematische Fehler des Read-Pfades (Reset und Feler durch einen AD-Wandler) genullt. Weder die Spannungen U_Reset (oder V_Reset) noch U_Thresh (V_thresh) unterliegen besonderen Genauigkeitsanforderungen. Ihre Differenz bestimmt nur den Dynamikbereich ohne Reset.
- b) Ein zeitgleiches initiales Reset der Pixel ist nicht notwendig. Sie schwingen sich autonom ein.
- c) Das Timing des Ausgabedatenstroms kann von der Ablaufsteuerung der Pixel und damit der Datenerfassung zeitlich entkoppelt und damit gegebenenfalls situationsabhängig adaptiert werden (z. B. schnellerer Zyklus in der Stadtfahrt). Ein solches Betreiben des Lichtsensors 105 setzt jedoch einen entsprechend groß ausgelegten Speicher/Buffer voraus.
- d) Es kann ein weiteres Gütekriterium mit übertragen werden, was den zeitlichen Verlauf der Differenzenquotienten Diff charakterisiert (beispielsweise wenn die zweite Ableitung der Differenzquotienten gebildet wird). Damit kann beispielsweise eine heller oder dunkler werdende Beleuchtung beschreiben und gegebenenfalls bei selbstleuchtenden Objekten wie dem Fremdfahrzeug 125 im Tunnel 120 auf deren Annäherungsprofil geschlossen werden. Dies birgt also Potential für Objekttracking bzw. ein weiteres lokales Feature zur Bildung von Signaturen (Eingangsgrößen für Fluss etc.).
- e) Es kann eine mögliche designbedingte systematische Nichtlinearität des Imager bzw. des Lichtsensors 105 bezüglich einer Sensitivität DN/e über den Dynamikbereich von U_Reset bis U_Thresh in der Berechnung der Differenzenquotienten mit ausgeglichen werden, z. B. über eine LUT (LUT = Look-Up-Table = Nachschlagetabelle).
- f) Benachbarte Pixel eines Tupels können mit einem unterschiedlichen Farbfilter belegt sein (z. B. in der Abfolge RGGB). Die Differenzenquotienten Diff dieser benachbarten Pixel können untereinander in Bezug gesetzt werden und es lassen sich Rückschlüsse auf das Farbspektrum der lokalen Beleuchtung ziehen.
- g) Die Möglichkeit der globalen Umsetzung der Sensitivität aller Pixel (DGC) bleibt erhalten.
- h) Die Notwendigkeit mehrerer Belichtungsmodi (bimodale Regelung oder Ähnliches) kann gegebenenfalls entfallen.
- i) Die Implementierung der zusätzlichen Pixel-Features (beispielsweise des Komparators) ist gut vereinbar mit der BSI-Technologie ohne Reduzierung der Eintrittsfläche der Fotodiode.
-
7 zeigt ein Ausführungsbeispiel eines Verfahrens 700 zum Auslesen und/oder Betreiben eines Lichtsensors, der zumindest ein erstes und ein zweites Pixel aufweist. Das Verfahren 700 umfasst einen Schritt 710 des Bereitstellens eines ersten Pixelwertes und eines zweiten Pixelwertes, wobei der erste Pixelwert ein auf das erste Pixel eingefallenes Licht repräsentiert und der zweite Pixelwert ein auf das zweite Pixel eingefallene Licht repräsentiert, und wobei das erste Pixel in Abhängigkeit von dem Entladungszustand des ersten Pixels zurückgesetzt wird und wobei das zweite Pixel in Abhängigkeit von dem Entladungszustand des zweiten Pixels zurückgesetzt wird. Ferner umfasst das Verfahren 700 einen Schritt 720 des Bildens eines Differenzwerts aus zumindest zwei zeitlich aufeinanderfolgenden Pixelwerten (und/oder eines zweiten Differenzwerten aus zumindest zwei zeitlich aufeinanderfolgenden zweiten Pixelwerten), insbesondere wobei der Differenzwert einen zeitlichen Verlauf der Entladung des Pixels repräsentiert (und/oder der zweite Differenzwert einen zeitlichen Verlauf der Entladung des zweiten Pixels repräsentiert). Schließlich umfasst das Verfahren 700 einen Schritt 730 des Erkennens eines Beleuchtungswertes für das Pixel unter Verwendung des Differenzwerts (und/oder eines zweiten Beleuchtungswertes für das zweite Pixel unter Verwendung des zweiten Differenzwerts).
-
Umfasst ein Ausführungsbeispiel eine „und/oder”-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.