-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft Belichtungszeitregelungssysteme für Bildsensoren im Kraftfahrzeug.
-
Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung zur Regelung einer Pixel-Integrationszeit für einen Bildsensor.
-
Technischer Hintergrund
-
Derzeit werden unterschiedliche Methoden für Bildsensoren verwendet, um die Belichtung jedes einzelnen Pixels in mehrere, kurze Segmente aufzuteilen, um die zeitliche Abdeckung zu steigern. Beispielsweise werden unterschiedliche Pixel eines Bildsensors unterschiedlich lange belichtet.
-
Zusammenfassung der Erfindung
-
Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Belichtungsverfahren bereitzustellen, um flackernde oder blinkende Leuchtdioden, kurz LED, abzubilden.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weiterbildungen und Ausführungsformen sind den abhängigen Patentansprüchen, der Beschreibung und den Figuren der Zeichnungen zu entnehmen.
-
Ein erster Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zur Regelung einer Pixel-Integrationszeit für einen Bildsensor, die Vorrichtung umfassend: eine Bildsensorunterteilungseinrichtung, welche dazu ausgebildet ist, den Bildsensor in eine Vielzahl von Sensorbereichen in Form von zweidimensionalen Pixelfeldern zu unterteilen; und eine Zeitintervallverteilungseinrichtung, welche dazu ausgebildet ist, die einzelnen Pixel-Integrationszeiten für die Pixel der Sensorbereiche innerhalb eines für den Sensorbereich vorgesehenen Sensorzeitintervalls zeitlich zu verteilen.
-
Die vorliegende Erfindung ermöglicht vorteilhaft, die Belichtungsreihenfolge der Pixel auf einem Bildsensor nicht sequentiell zu ordnen.
-
Mit anderen Worten ausgedrückt, die Pixel eines Bildbereiches bzw. eines Taps werden nicht direkt nacheinander oder monoton sequentiell belichtet, sondern es werden die Pixeln innerhalb eines Bildbereiches an unterschiedlichen Taps angeschlossen, damit sie zeitversetzt angesprochen werden können, um kurze Lichtpulse von im Vergleich zur Pixel-Integrationszeit nur kurz aufleuchtenden Bildbereichen besser zu erfassen.
-
Mit anderen Worten ausgedrückt, das Sensorzeitintervall wird durch entsprechend vorbestimmte Pixel-Integrationszeitabstände und Reihen-Integrationszeitabstand zum Auslesen der zweidimensionalen Pixelfelder zeitlich gesehen weitreichend abgedeckt. Mit anderen Worten ausgedrückt, beispielsweise decken der Zeitpunkt des Anfanges des - zeitlich gesehen - ersten Auslesens eines Pixels und der Zeitpunkt des Endes des - zeitlich gesehen - letzens Auslesens eines Pixels von einem jeweiligen zweidimensionalen Pixelfeld mindestens 90 %, oder mindestens 80 %, oder mindestens 70 % der Dauer des gesamten Sensorzeitintervalls des jeweiligen zweidimensionalen Pixelfeldes ab.
-
Die vorliegende Erfindung ermöglicht vorteilhaft, dass Pixel zeitversetzt angesprochen werden können. Als Beispiel sei hierbei ein 2x2 Pixelblock eines zweidimensionalen Pixelfeldes angeführt, ohne Farbfilter:
-
Die Taps sind hierbei mit a,b,c, und d bezeichnet die Zahlen stellen die Reihenfolge dar, in welcher die Pixel von den jeweiligen Tap ausgelesen werden.
-
Die Zeitinterwalle a0 → a1, a1 → a2 sind dabei identisch, und die gleichen wie beim Ansprechen bzw. beim Wechsel von b0 → b1 etc.
-
Die Zeitenverschiebungen an -> bn, bn -> cn, cn -> dn sind diejenigen, die verändert werden, und können auch als Reihen-Integrationszeitabstände definiert werden.
-
Dadurch besteht jeder Block aus Pixeln, die zu kontrollierbaren und unterschiedlichen Zeitpunkten für die jeweilige Pixel-Integrationszeit belichtet werden, unabhängig von Belichtungszeiten für andere Pixel.
-
Die vorliegende Erfindung ermöglicht vorteilhaft, dass an einem Tap in diesem Beispiel, alle Pixeln ‚a‘ im Bild angeschlossen sind, also der obere linke Pixel von den vier Pixeln in jedem 2x2-Block eines zweidimensionalen Pixelfeldes, d.h. jeder Pixel an einer geraden Position an einer geraden Zeile des gesamten Bildes.
-
Die vorliegende Erfindung ermöglicht vorteilhaft, dass die Erkennung von LEDs oder von mit LEDs beleuchteten Gegenständen und Objekten verbessert wird, da der Sensor die unmittelbare Umgebung von jedem Punkt zu mehreren verschiedenen Zeitpunkten aufnimmt, wobei die Bewegungsunschärfe noch kontrollierbar bleibt und ein Flackern von aufgenommen LEDs vermieden wird.
-
Die vorliegende Erfindung ermöglicht vorteilhaft, dass keine zusätzliche Logik oder eine zusätzliche digitale Verschaltung in den einzelnen Pixeln bzw. in der Ausleseschaltung der Pixel integriert werden muss.
-
Mit anderen Worten ausgedrückt, die Pixel in einem Bildsensor sind horizontal und vertikal in Taps oder Bildbereiche angeordnet, die getrennt angesteuert werden können.
-
Dadurch sind beispielsweise jeder n-ter Pixel entlang der Bildzeilen des Bildsensors und auch jede n-te Zeile selbst getrennt voneinander anzusprechen. Gleiches gilt für die Spalten, jeder n-ter Pixel entlang der Bildspalten des Bildsensors und auch jede n-te Spalte selbst sind getrennt voneinander anzusprechen.
-
Normalerweise werden die Belichtungen der einzelnen n-ten Pixel direkt hinter einander angestoßen, d.h. zeitlich direkt aufeinander abfolgend. Und die Zeilen werden sequentiell der Reihenfolge nach in monotoner Abfolge belichtet und ausgelesen. Dadurch werden die Pixel innerhalb eines z.B. 4×4-Block innerhalb sehr kurzer Zeit belichtet, ohne die Sensorintegrationszeit weitreichend abzudecken, beispielsweise innerhalb einer Zeitspanne von weniger als 10 % der Dauer der gesamten Sensorintegrationszeit bzw. der Sensorzeitintervalls.
-
Der Zeitversatz zwischen den Pixeln beträgt üblicherweise einige ns, und zwischen den Zeilen einige µs. Dadurch werden alle Pixel des Blocks innerhalb sehr kurzer Zeit belichtet, viel kurzer als notwendig um die Bewegungsunschärfe zu reduzieren.
-
Die Belichtungen horizontal benachbarten Pixeln überlappen sich fast vollständig, und die von vertikal benachbarten Pixeln überlappen sich auch schon für sehr kurze Belichtungszeiten.
-
Die vorliegende Erfindung ermöglicht vorteilhaft, die Taps zeitlich von einander so zu versetzen, dass die Belichtungen der einzelnen Pixel in Form einer Pixel-Integrationszeit gleichmäßiger verteilt werden und auch über längere Zeitintervalle verteilt werden.
-
Weil diese Pixel-Integrationszeit unabhängig von Belichtungszeit und Pixelauslesetakt ist, muss die Pixel-Integrationszeit nicht derart verlängert werden, dass eine zusätzliche Bewegungsunschärfe rein durch die verlängerte bedingt Pixel-Integrationszeit entsteht.
-
Wie viele Pixel zusammengefasst werden, hängt von der Sensorauflösung und der gewünschten Auflösung des Ergebnisbildes ab. Wenn zum Beispiel 4x4 Pixel zusammengefasst werden, und ein CFA-Block 2x2 Pixel enthält, ist das Ergebnis erst um ein Faktor 2 unterskaliert. Dies wird dadurch ermöglicht, dass die 4 CFAs die zeitlich versetzt sind, zusammengefasst werden.
-
Die Pixel innerhalb von einem CFA werden auch zeitlich verteilt, wobei diese in der Ausgabe nicht zusammengefasst werden müssen, damit die Farbinformation erhalten bleibt.
-
Vorteilhafte Ausgestaltungen der vorliegenden Erfindung sind den Unteransprüchen zu entnehmen.
-
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Pixel eines Sensorbereiches innerhalb eines für den Sensorbereich vorgesehen Zeitintervalls mit der jeweiligen Pixel-Integrationszeit zu unterschiedlichen Zeitpunkten belichtet werden. In anderen Worten ausgedrückt, die Zeitintervallverteilungseinrichtung ist dazu ausgebildet, die einzelnen Pixel-Integrationszeiten für die Pixel der Sensorbereiche innerhalb des für den Sensorbereich vorgesehen Sensorzeitintervalls zeitlich in Form einer stetigen oder diskreten Verteilung zu verteilen.
-
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Zeitintervallverteilungseinrichtung dazu ausgebildet ist, zwischen den unterschiedlichen Zeitpunkten für die Belichtung von mindestens zwei Pixeln mindestens ein Zeitabstand vorzusehen, welcher größer ist ein Vielfaches von der Taktzeit zwischen den Pixeln am gleichen Tap für einen der mindestens zwei Pixel.
-
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Zeitintervallverteilungseinrichtung dazu ausgebildet ist, zwischen den unterschiedlichen Zeitpunkten für die Belichtung von mindestens zwei Pixeln mindestens einen Pixel-Integrationszeitabstand vorzusehen, welcher größer ist als ein vierfaches, sechsfaches, achtfaches oder ein zehnfaches der Pixel-Integrationszeit für einen der mindestens zwei Pixel.
-
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Bildsensorunterteilungseinrichtung dazu ausgebildet ist, den Bildsensor in die Sensorbereiche in Form von 2x2, 3x3, 4x4, 5x5-Pixelfelder zu unterteilen.
-
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Bildsensorunterteilungseinrichtung dazu ausgebildet ist, den Bildsensor in die Sensorbereiche basierend auf einer vom Bildsensor auszugebenden Sollauflösung der Bilddaten zu unterteilen.
-
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Bildsensorunterteilungseinrichtung dazu ausgebildet ist, den Bildsensor in die Sensorbereiche basierend auf einer vom Bildsensor erreichbaren optischen Auflösung zu unterteilen.
-
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Zeitintervallverteilungseinrichtung dazu ausgebildet ist, zwischen den unterschiedlichen Zeitpunkten für die Belichtung von mindestens zwei Pixelreihen mindestens einen Reihen-Integrationszeitabstand vorzusehen, welcher größer ist als ein Vielfaches der Pixel-Integrationszeit für einen der mindestens zwei Pixel.
-
In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Zeitintervallverteilungseinrichtung dazu ausgebildet ist, zwischen den unterschiedlichen Zeitpunkten für die Belichtung von mindestens zwei Pixelreihen mindestens einen Reihen-Integrationszeitabstand vorzusehen, welcher größer ist als ein vierfaches, sechsfaches, achtfaches oder ein zehnfaches der Pixel-Integrationszeit für einen der mindestens zwei Pixel.
-
Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.
-
Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der vorliegenden Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsformen beschriebenen Merkmale der vorliegenden Erfindung.
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der vorliegenden Erfindung vermitteln.
-
Die beiliegenden Zeichnungen veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Konzepten der vorliegenden Erfindung.
-
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Figuren der Zeichnungen. Die dargestellten Elemente der Figuren der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
Figurenliste
-
Es zeigen:
- 1: eine schematische Darstellung eines Vergleichs von bekannten Pixel-Integrationszeiten und von Pixel-Integrationszeiten und deren Verteilung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zur Erläuterung der vorliegenden Erfindung;
- 2: eine schematische Darstellung eines Pixel-Arrays gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
- 3: eine schematische Darstellung einer Vorrichtung zur Regelung einer Pixel-Integrationszeit für einen Bildsensor gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; und
- 4 eine schematische Darstellung von Pixel-Integrationszeiten und deren Verteilung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
Detaillierte Beschreibung der Ausführungsbeispiele
-
In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile, Komponenten oder Verfahrensschritte, soweit nichts Gegenteiliges angegeben ist.
-
Bei dem Kraftfahrzeug bzw. Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug oder um ein Hybridfahrzeug, beispielsweise ein Hybridfahrzeug mit Segelfunktion, beispielsweise ein Motorrad, ein Bus oder ein Lastkraftwagen oder ein Fahrrad.
-
In einer weiteren Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass der Zeitabstand von Pixel-Integrationszeiten zwischen a0 und b0 keinen Bezug auf die Integrationszeit hat.
-
Der Zeitabstand ist entweder im Bereich von 0 µs, wenn die gleiche Zeile, oder sogar der gleiche Sensor, gleichzeitig anfängt zu integrieren, oder sehr gering, wenn die Pixeln hintereinander getriggert werden.
-
In einer weiteren Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass der Zeitabstand zwischen a0 und c0 normalerweise die Zeit beträgt, die das Auslesen einer Zeile dauert, auch als „Rolling Shutter“ bezeichnet, aber dies kann auch 0 sein, auch als „Global Shutter“ bezeichnet.
-
Weil die Zeitabstände in einem normalen, herkömmlichen Sensor oft viel kürzer sind, als die Integrationszeiten bzw. Pixel-Integrationszeiten, überlappen sich die Integrationszeiten von zwei benachbarten Pixel.
-
In einer weiteren Ausführungsform der vorliegenden Erfindung können folgende Werte vorgesehen sein:
-
Typische Auslesetakten sind beispielsweise 10-100 MHz oder höher, was nur zufälligerweise zu Zeilenversätzen in der gleichen Größenordnung führen kann.
-
Integrationszeit bzw. Pixel-Integrationszeit: 10 µs, die Zeile wird gleichzeitig getriggert, die nächste Zeile wird 5 µs später angestoßen.
-
Sensorzeitintervall: 1000 µs.
-
In diesem Fall wird bei herkömmlichen Verfahren innerhalb des eines Zeitraums von 15 µs irgendeinem Pixel im 2x2-Block „offen“ sein.
-
In einer weiteren Ausführungsform der vorliegenden Erfindung ist vorgesehen, die Zeitabstände so wählen, dass beispielsweise erstens, alle 4 Pixeln zum unterschiedlichen Zeitpunkten integrieren, zweitens, diese vier Pixeln auch nicht direkt hinter einander integrieren, sondern über eine noch längere Zeit verteilt sind.
-
Zum Beispiel können die vier Pixeln auf 1000 µs der Dauer des für den Sensorbereich vorgesehenen Sensorzeitintervalls verteilt werden, wenn tpixl = 200 µs, tpix2 = 300 µs, und trow = 790µs. In anderen Worten, innerhalb von 1000 µs werden die vier Pixel ausgelesen, und zwar nach 200 µs Pixel 1, nach 300 µs Pixel 2 und mit 790 µs als trow wird die zweite Reihe, d.h. Pixel 3 und 4 ausgelesen.
-
Am Anfang, zum Zeitpunkt t = 0 µs, beginnt man mit dem Auslesen vom dem ersten Pixel in der ersten Zeile, Zeitpunkt t = 0 µs . Der zweiten Pixel in der ersten Zeile wird dann am Zeitpunkt t = 200 µs. Der erste Pixel in der zweiten Zeile, d.h. Pixel 3 wird dann nach 790 µs ausgelesen, und Pixel 4, der zweite Pixel der zweiten Reihe nach 990 µs.
-
Die 1 zeigt eine schematische Darstellung eines Vergleichs von bekannten Pixel-Integrationszeiten und von Pixel-Integrationszeiten zur Erläuterung der vorliegenden Erfindung.
-
Die 2 zeigt eine schematische Darstellung eines Pixel-Arrays gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
Ein primärfarbiges Filtermuster, beispielsweise ein 2 × 2 CFA, CFA steht hierbei für „color filter array“, oder beispielsweise ein RCCB, red-clear-clear-blue, RCCB, Feld von 4×4 Pixel, über vier Taps kontrolliert, ist dabei wie in der 2 dargestellt angeordnet:
-
In einer weiteren Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass der Versatz zwischen beispielsweise a0 und a1 nicht wie üblich, nur das einfache oder das zweifache der Pixel-Integrationszeit ist, sondern wesentlich länger sein kann.
-
Beispielsweise kann der Versatz ein Vielfaches der Integrationszeit sein. Ebenso können die anderen Zeitabständen, a1→a2, a2→a3 ein Vielfaches der Pixel-Integrationszeit betragen und gleiches gilt für andere Pixel innerhalb eines Blocks, d.h. innerhalb des 4x4 Pixel-Blocks wie dargestellt.
-
In einer weiteren Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die zeitliche Gruppierung der Taps dabei als 0, 1, 2, 3 bezeichnet wird, auch wenn jedem Pixel, a, b, c, d auch ein eigenes Taps zugeordnet werden könnte, in dem Fall wären 16 Tabs für 16 Pixel definiert.
-
Normalerweise werden die Taps, wenn mehrere vorhanden, praktisch zeitgleich belichtet.
-
Mehrere Taps werden, normalerweise aus anderen Gründen verwendet: Es sind beispielsweise Begrenzungen oder Anforderungen bezüglich der nutzbaren Bandbreite vorhanden, etwa bei einem einzelnen analogen Auslesepfad mit begrenztem Datenübertragungsvermögen.
-
In einer weiteren Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die einzelnen Pixel innerhalb eines 2x2 CFAs mit unterschiedlichen analogen Parametern anzusteuern sind, wie beispielsweise mit einer unterschiedlichen analogen Signalverstärkung.
-
Die Ansteuerung kann entweder im Bildsensor selbst oder in der Signalnachbearbeitung etwa innerhalb einer Ausleseschaltung erfolgen.
-
In einer weiteren Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Zeitpunkte für die Integrationszeiten der Pixel variiert werden.
-
Die 3 zeigt eine schematische Darstellung einer Vorrichtung zur Regelung einer Pixel-Integrationszeit für einen Bildsensor gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.
-
Die Vorrichtung 1 zur Regelung einer Pixel-Integrationszeit für einen Bildsensor umfasst eine Bildsensorunterteilungseinrichtung 10 und eine Zeitintervallverteilungseinrichtung 20.
-
Die Bildsensorunterteilungseinrichtung 10 ist dazu ausgebildet ist, den Bildsensor in eine Vielzahl von Sensorbereichen in Form von zweidimensionalen Pixelfeldern zu unterteilen.
-
Die Zeitintervallverteilungseinrichtung 20 ist dazu ausgebildet, die einzelnen Pixel-Integrationszeiten für die Pixel der Sensorbereiche innerhalb eines für den Sensorbereich vorgesehenen Sensorzeitintervalls zeitlich zu verteilen.
-
Die Zeitintervallverteilungseinrichtung 20 ist beispielsweise dazu ausgebildet, zwischen dem Zeitpunkt für die Belichtung von einem ersten Pixel und einem letzten Pixel einen Integrationszeitabstand vorzusehen, welcher mindestens 90 %, oder mindestens 80 %, oder mindestens 70 % der Dauer des für den Sensorbereich vorgesehenen Sensorzeitintervalls umfasst.
-
Die 4 zeigt eine schematische Darstellung von Pixel-Integrationszeiten und deren Verteilung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie nicht darauf beschränkt, sondern auf vielfältige Art und Weise modifizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.
-
Ergänzend sei darauf hingewiesen, dass „umfassend“ und „aufweisend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt.
-
Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.
