-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Prüfung eines Bildsensors sowie ein Kraftfahrzeug.
-
Stand der Technik
-
Bei der Verwendung von Bildsensoren in sicherheitskritischen Anwendungen, wie beispielsweise Fahrerassistenzsysteme oder Ausweichassistenten in Kraftfahrzeugen, ist es erforderlich, den Bildsensor zu prüfen, um seine korrekte Funktionsfähigkeit zu gewährleisten.
-
Im Sinne der vorliegenden Erfindung umfassen Bildsensoren Pixel und eine Signalverarbeitung zur Bereitstellung von digitalen Signalwerten der Pixel. Ein Teil der Pixel, die sogenannten Testpixel, ist jeweils mit einem von zwei vordefinierten Spannungswerten verschaltet. Die restlichen, regulären Pixel geben Spannungen aus in Abhängigkeit von der Intensität des Lichts, das auf das jeweilige Pixel einfällt. Üblicherweise sind die Pixel in einer Matrix aus Zeilen und Spalten angeordnet.
-
Eine Möglichkeit, einen Bildsensor zu prüfen, besteht darin, in Hinblick auf ein Testmuster zugehörige Signalwerte der regulären Pixel auszuwerten. So kann der Bildsensor einen internen Speicher umfassen, der mit dem Testmuster temporär beschrieben werden kann oder permanent beschrieben sein kann. Weiterhin kann der Bildsensor ausgebildet sein, dass an die Pixel eine oder mehrere Referenzspannungen angelegt werden können.
-
Während der Prüfung des Bildsensors kann keine reguläre Bildausgabe also kein Bereitstellen regulärer Bildsignale aus digitalen Signalwerten, die durch den aktuellen Lichteinfall bestimmt sind, erfolgen. Daher erfolgen Prüfungen des Bildsensors bei Start, Wartung oder Ruhezustand des Bildsensors.
-
Zur Bandende-Kalibrierung oder andere Zwecke sind in Bildsensoren manchmal Testpixel vorgesehen, die anstatt ihre Ausgangsspannung lichteinfallsabhängig zu verändern, fest mit einem von zwei vordefinierten Spannungswerten verschaltet sind.
-
Offenbarung der Erfindung
-
Die hier vorgestellte Erfindung erlaubt, einen Bildsensor zu prüfen, wobei die reguläre Bildausgabe des Bildsensors möglich bleibt.
-
Erfindungsgemäß wird ein Verfahren nach Anspruch 1 zur Prüfung eines Bildsensors vorgeschlagen, wobei der Bildsensor reguläre Pixel und Testpixel, von denen jedes mit einem von zwei vordefinierten Spannungswerten verschaltet ist, und eine Signalverarbeitung zur Bereitstellung von digitalen Signalwerten zu Ausgangsspannungen der Pixel und Testpixel umfasst. Das Verfahren umfasst Empfangen von digitalen Signalwerten der Testpixel und ist gekennzeichnet durch Verwenden der Signalwerte mindestens einer echten oder unechten Teilmenge der Testpixel zur Prüfung des Bildsensors, wobei alle Testpixel der Teilmenge mit einem ersten der zwei Spannungswerte verschaltet sind.
-
Die Verwendung der Testpixel zur Prüfung erlaubt die Prüfung im laufenden Betrieb, das heißt während des Empfangs regulärer Bildsignale.
-
In einer vorteilhaften Ausführungsform sind die Testpixel in Zeilen und Spalten angeordnet und in Blöcken verschaltet, wobei Testpixel innerhalb eines Blocks gleich verschaltet sind und Testpixel innerhalb benachbarter Blöcke unterschiedlich verschaltet sind. Zur Prüfung des Bildsensors können dann Signalwerte von Teilmengen verwendet werden, die jeweils alle mit dem ersten Spannungswert verschalteten Testpixel aus einer Zeile, einer Spalte, einem Block oder aus allen Blöcken umfassen.
-
So lassen sich relative Abweichungen von einzelnen Testpixeln oder mehreren Testpixeln in einzelnen Zeilen, Spalten oder Blöcken leicht bestimmen.
-
Der Bildsensor kann auf einen Helligkeitsfehler, auf einen Zeilenverarbeitungsfehler, auf einen Spaltenverarbeitungsfehler, eine Blocklageabweichung und/oder eine Bildverschiebung hin geprüft werden. Dies sind die häufigsten Fehler von Bildsensoren.
-
Zur Prüfung des Bildsensors können auch Signalwerte von Teilmengen verwendet werden, die jeweils alle mit dem zweiten der zwei Spannungswerte verschalteten Testpixel aus einer Zeile, einer Spalte, einem Block oder aus allen Blöcken umfassen. So kann ein absoluter Helligkeitsversatz aller Testpixel festgestellt werden.
-
Zur Prüfung des Bildsensors können Signalwerte von einer der verwendeten Teilmengen geprüft werden, wobei die Signalwerte der übrigen verwendeten Teilmengen verwendet werden. So lässt sich etwa ein Zeilen- oder ein Spaltenfehler detektieren. Weiterhin sind so Fehler in Blöcken erkennbar.
-
Ein geringer und ein größerer Grenzwert können unter Verwendung einer Mittelung über die Signalwerte der Testpixel der Teilmenge bestimmt werden. Die Grenzwerte tragen einem Rauschen Rechnung, dem die von den Pixeln ausgegebenen Spannungen unterworfen sind.
-
Die Grenzwerte können weiterhin unter Verwendung einer Temperaturmessung bestimmt werden. So ist die Berücksichtigung einer Temperaturabhängigkeit des Rauschens möglich.
-
Ein Signalwert eines Prüfpixels aus der Teilmenge kann mit den Grenzwerten verglichen werden. Das Prüfpixel kann dann als fehlerhaft identifiziert werden, wenn der Signalwert geringer als der geringere Grenzwert oder größer als der größere Grenzwert ist.
-
So lassen sich fehlerhafte Pixel erkennen. Beispielsweise kann ein Prüfpixel mit allen gleich verschalteten Testpixeln in derselben Spalte, in derselben Zeile, im selben Block oder aus allen Testpixeln verglichen werden.
-
Erfindungsgemäß wird weiterhin eine Vorrichtung nach Anspruch 9 zur Prüfung eines Bildsensors vorgeschlagen, wobei der Bildsensor reguläre Pixel und Testpixel, von denen jedes mit einem von zwei vordefinierten Spannungswerten verschaltet ist, und eine Signalverarbeitung zur Bereitstellung von digitalen Signalwerten zu Ausgangsspannungen der Pixel und Testpixel umfasst. Die Vorrichtung umfasst Mittel zum Empfangen von Signalwerten der Testpixel, und ist gekennzeichnet durch eine elektronische Datenverarbeitungsvorrichtung, die ausgebildet ist, das erfindungsgemäße Verfahren oder eine seiner Ausführungsformen zur Prüfung des Bildsensors auszuführen.
-
Die Vorrichtung ermöglicht eine Prüfung eines Bildsensors im laufenden Betrieb, das heißt während des Empfangs regulärer Bildsignale.
-
Weiterhin wird ein Kraftfahrzeug gemäß Anspruch 10 mit einem Bildsensor und einer erfindungsgemäßen Vorrichtung vorgeschlagen. Der Bildsensor umfasst reguläre Pixel und Testpixel, von denen jedes mit einem von zwei vordefinierten Spannungswerten verschaltet ist, und eine Signalverarbeitung zur Bereitstellung von digitalen Signalwerten zu Ausgangsspannungen der Pixel und Testpixel. Die Vorrichtung ist so mit dem Bildsensor verbunden, dass sie die Signalwerte der Testpixel der Teilmenge empfangen kann.
-
Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben und in der Beschreibung beschrieben.
-
Zeichnungen
-
Ausführungsbeispiele der Erfindung werden anhand der Zeichnungen und der nachfolgenden Beschreibung näher erläutert. Es zeigen:
-
1 beispielhaft eine Menge von Testpixeln, die in Zeilen und Spalten angeordnet und in Blöcken verschaltet sind, und
-
2 beispielhaft ein Muster einer erwarteten digitalen Signalantwort des Bildsensors bei einer beispielhaften Verschaltung der Textpixel.
-
Ausführungsformen der Erfindung
-
Ein Bildsensor, der für eine beispielhafte Ausführungsform der Erfindung geeignet ist, umfasst eine Matrix von regulären Pixeln, die mit einer von Masse verschiedenen Referenzspannung versorgt werden. Jedes reguläre Pixel stellt eine Ausgangsspannung zur Verfügung, deren Höhe von der Intensität des Lichts, das auf das jeweilige reguläre Pixel einfällt, abhängt. Beispielsweise ist die Ausgangsspannung gleich der Referenzspannung bei Lichteinfall oberhalb einer oberen Intensitätsschwelle und gleich Masse bei Lichteinfall unterhalb einer unteren Intensitätsschwelle. Zwischen den Intensitätsschwellen ist die Ausgangsspannung proportional zur Intensität des einfallenden Lichts. Am Rande der Matrix sind Testpixel angeordnet.
-
Die Ausgangsspannungen der regulären Pixel und der Testpixel werden von einer vom Bildsensor umfassten Signalverarbeitung in digitale Signalwerte umgesetzt, die an einem oder mehreren Ausgängen der Signalverarbeitung bereitgestellt werden. Die digitalen Signalwerte können beispielsweise den Wert 0, den Wert 100 oder Werte entsprechend den natürlichen Zahlen zwischen 0 und 100 annehmen. Beispielsweise entspricht bei korrekter Funktion des Bildsensors der digitale Signalwert 0 keinem Lichteinfall (schwarz) und der digitale Signalwert 100 entspricht dem maximalen Lichteinfall (weiß). Die Signalverarbeitung kann insbesondere Mittel für Analog-Digital-Wandlung umfassen. Die Signalverarbeitung kann weiterhin Mittel für analoge Verstärkung und/oder Mittel für digitale Verstärkung umfassen.
-
In der 1 ist eine beispielhafte Anordnung von Testpixeln Tn, 0 ... Tn + 3, j – 1 gezeigt. Die Anordnung ist unterhalb von n Zeilen mit je j regulären Pixeln eines Bildsensors angeordnet. Die n·j regulären Pixel generieren Spannungen in Abhängigkeit vom Lichteinfall auf das jeweilige reguläre Pixel. Dabei sind unter einer Spalte k regulärer Pixel die Testpixel Tank ... Tn + 3, k angeordnet. Testpixel können zusätzlich oder alternativ oberhalb, links und/oder rechts der regulären Pixel angeordnet sein. Die Spaltenanzahl der Testpixel ober- oder unterhalb der regulären Pixel kann, aber muss nicht, mit der Spaltenanzahl der regulären Pixel übereinstimmen. Insbesondere kann die Spaltenanzahl der Testpixel ober- oder unterhalb der regulären Pixel kleiner oder größer als die Spaltenanzahl der regulären Pixel sein. Die Zeilenanzahl der Testpixel rechts oder links der regulären Pixel kann, aber muss nicht, mit der Zeilenanzahl der regulären Pixel übereinstimmen. Insbesondere kann die Zeilenanzahl der Testpixel rechts oder links der regulären Pixel kleiner oder größer als die Zeilenanzahl der regulären Pixel sein.
-
Die Testpixel Tn, 0 ... Tn + 3, j – 1 sind mit der Masse oder der Referenzspannung verschaltet, sodass die Ausgangspannung eines funktionstüchtigen Testpixels der verschalteten Spannung entspricht. Dabei sind Testpixel im Ausführungsbeispiel in einer selben Spalte mit derselben Spannung, entweder Masse oder Referenzspannung, verschaltet. Im Beispiel sind Testpixel in benachbarten Spalten k und k+1 genau dann unterschiedlich verschaltet, wenn (k+1) modulo 4 = 0, also wenn die Division von k+1 durch 4 eine ganze Zahl ergibt. Allgemein kann bei l Zeilen von Testpixeln Tn, 0 ... Tn + l, j die unterschiedliche Verschaltung von benachbarten Spalten der Testpixel genau dann vorliegen, wenn (k+1) modulo l = 0 ist, also wenn die Division von k+1 durch l eine ganze Zahl ergibt. Die Textpixel sind also in Blöcken mit je l*l Testpixeln gleich verschaltet und wechseln sich ab. Blöcke mit einer Spaltenanzahl, die von einer Zeilenanzahl der Blöcke abweicht, sind auch möglich. Bei l > 4 Zeilen von Testpixeln Tn, 0 ... Tn + l, j kann auch in den Spalten die Verschaltung alle vier Zeilen wechseln und die unterschiedliche Verschaltung von benachbarten Textpixeln in einer selben Zeile in Spalten k und k+1 genau dann vorliegen, wenn (k+1) modulo 4 = 0 ist, also wenn die Division von k+1 durch 4 eine ganze Zahl ergibt.
-
Beispielsweise sind die Testpixel Tn, 0 ... Tn + 3,3 mit der höheren Referenzspannung und die Testpixel Tn, 4 ... Tn + 3,7 mit Masse verschaltet. Testpixel Tn, 8 ... Tn + 3,11 sind wieder mit der höheren Referenzspannung und die Testpixel Tn, 12 ... Tn + 3,15 sind wieder mit Masse verschaltet und so weiter.
-
Viele andere Verschaltungsmuster sind möglich. Jedes Verschaltungsmuster hat dabei ein zugeordnetes, erwartetes Muster digitaler Signale der Testpixel.
-
2 zeigt beispielhaft das erwartete Muster digitaler Signale der Testpixel Tn,0 ... Tn + 3, j – 1 aus 1, wobei Testpixel einer selben Spalte mit derselben Referenzspannung verschaltet sind und Testpixel in benachbarten Spalten k und k+1 genau dann unterschiedlich verschaltet sind, wenn (k+1) modulo 4 = 0, also wenn die Division von k+1 durch 4 eine ganze Zahl ergibt.
-
Da die Testpixel am Rand der regulären Pixel angeordnet und separat verschaltet sind, lassen sie sich zur Prüfung des Bildsensors heranziehen, ohne den Betrieb der regulären Pixel zu beeinflussen. Insbesondere kann die Prüfung während des Empfangs regulärer digitaler Bildsignale, die auf Basis der von den regulären Pixeln ausgegebenen, durch den Lichteinfall bestimmten Spannungen erzeugt werden, erfolgen.
-
Dazu werden in einer beispielhaften Ausführungsform der Erfindung Mittelungen der digitalen Signalwerte über alle oder einige der Testpixel durchgeführt, die mit der Referenzspannung verschaltet sind. Alternativ oder zusätzlich werden Mittelungen der digitalen Signalwerte über alle oder einige der Testpixel durchgeführt, die mit der Masse verschaltet sind.
-
Beispielsweise werden die digitalen Signalwerte aller Textpixel gemittelt, die mit der Referenzspannung verschaltet sind. Der bestimmte Mittelwert wird mit einem erwarteten Mittelwert verglichen. Der erwartete Mittelwert kann vorbestimmt sein oder in Abhängigkeit von einem aktuellen Betriebsmodus des Bildsensors bestimmt werden. Dabei können in die Bestimmung zum Beispiel eine Betriebstemperatur des Bildsensors und/oder ein aktueller Wert der Referenzspannung einfließen. Weitere Einflussgrößen, die berücksichtigt werden können, sind Schwankungen in einer analogen und/oder einer digitalen Verstärkung in der Signalverarbeitung.
-
Vorteilhafterweise wird zudem um den erwarteten Mittelwert herum ein Toleranzintervall, also ein größerer und ein geringer Grenzwert, bestimmt, das auch entweder vorbestimmt ist oder in Abhängigkeit vom aktuellen Betriebsmodus des Bildsensors bestimmt wird. Die Größe des Toleranzintervalls kann beispielsweise mit steigender Betriebstemperatur zunehmen.
-
Durch Vergleich des aus den digitalen Signalwerten bestimmten Mittelwertes mit dem Toleranzintervall kann dann beispielsweise festgestellt werden, ob der Bildsensor digitale Signalwerte liefert, die um einen von 1 verschiedenen Faktor multiplikativ zu hell beziehungsweise zu dunkel sind. Weiterhin kann eine Bildverschiebung erkannt werden, da dann die ausgewerteten Testpixel nicht diejenigen sind, die mit der Referenzspannung verschaltet sind.
-
In analoger Weise kann zusätzlich oder alternativ eine Mittelung der digitalen Signalwerte aller Textpixel erfolgen, die mit der Masse verschaltet sind. So kann eine Bildverschiebung ebenfalls erkannt werden, da dann die ausgewerteten Testpixel nicht diejenigen sind, die mit Masse verschaltet sind. Weiterhin kann ein additiver Versatz der Signalwerte erkannt werden, da der erwartete Mittelwert über alle mit Masse verschalteten Testpixel Null ist, wobei auch hier ein Toleranzintervall berücksichtigt werden kann.
-
In analoger Weise kann für einen, mehrere oder alle Blöcke zusätzlich oder alternativ eine Mittelung der digitalen Signalwerte aller Textpixel im jeweiligen Block erfolgen. Der bestimmte Mittelwert des jeweiligen Blocks kann dann mit einem erwarteten Mittelwert verglichen werden. Der erwartete Mittelwert kann vorbestimmt sein oder in Abhängigkeit von einem aktuellen Betriebsmodus des Bildsensors und/oder des Mittelwertes über alle entsprechend gleich verschalteten Testpixel bestimmt werden. Dabei können in die Bestimmung zum Beispiel eine Betriebstemperatur des Bildsensors und/oder ein aktueller Wert der Referenzspannung einfließen. Weitere Einflussgrößen, die berücksichtigt werden können, sind Schwankungen in einer analogen und/oder einer digitalen Verstärkung in der Signalverarbeitung.
-
Vorteilhafterweise wird zudem um den erwarteten Mittelwert herum ein Toleranzintervall, also ein größerer und ein geringer Grenzwert, bestimmt, das auch entweder vorbestimmt ist oder in Abhängigkeit vom aktuellen Betriebsmodus des Bildsensors bestimmt wird. Die Größe des Toleranzintervalls kann beispielsweise mit steigender Betriebstemperatur zunehmen.
-
In analoger Weise kann für eine, mehrere oder alle Zeilen und/oder Spalten zusätzlich oder alternativ eine Mittelung der digitalen Signalwerte aller gleich verschalteten Textpixel in der jeweiligen Zeile/Spalte erfolgen. Der Mittelwert einer Zeile/Spalte kann dann mit dem Mittelwert aller entsprechend gleich verschalteter Testpixel verglichen werden. Dies ermöglicht, einen Zeilen- beziehungsweise einen Spaltenfehler in der Signalverarbeitung zu detektieren.
-
Schließlich lässt sich für ein, mehrere oder alle Testpixel der digitale Signalwert des jeweiligen Testpixels mit dem Mittelwert über entsprechend verschaltete Testpixel vergleichen. Beispielsweise lässt sich so ein digitaler Signalwert eines Testpixels mit dem entsprechenden Mittelwert über alle Testpixel, dem Mittelwert über den Block, der das Testpixel enthält, dem entsprechenden Mittelwert über die Spalte, die das Testpixel enthält, und/oder dem entsprechenden Mittelwert über die Zeile, die das Testpixel enthält, vergleichen.
-
So kann beispielsweise Variationen in der Signalverarbeitung einzelner Zeilen oder Spalten Rechnung getragen werden.
-
Tabelle 1 zeigt beispielhaft digitale Signalwerte von Testpixeln in 4 Zeilen, die in 4*4 Testpixel großen Blöcken mit der Referenzspannung verschaltet sind. Die erwartete digitale Signalantwort für die Testpixel aus Tabelle 1 ist 100. Die Tabelle 1 zeigt die tatsächlich empfangenen Signalwerte:
Tabelle 1
-
Tabelle 2 zeigt beispielhaft digitale Signalwerte von den Testpixeln, die mit Masse verschaltet sind. Die erwartete digitale Signalantwort für die Testpixel aus Tabelle 2 ist 0. Die Tabelle 2 zeigt die tatsächlich empfangenen Signalwerte:
| Block | 2 | | | | | 100 | | | |
| Zeile 1 | 1 | 0 | 3 | 5 | ... | 0 | 2 | 5 | 3 |
| Zeile 2 | 2 | 1 | 3 | 4 | ... | 2 | 4 | 6 | 5 |
| Zeile 3 | 4 | 0 | 5 | 5 | ... | 1 | 1 | 7 | 3 |
| Zeile 4 | 1 | 2 | 3 | 5 | ... | 9 | 2 | 8 | 4 |
Tabelle 2
-
Mit Toleranzintervallen, die von 0 bis 5 und von 95 bis 105 zulassen, lassen sich folgende Schlüsse ziehen
-
Der Mittelwert über die Signalwerte aller Testpixel mit erwarteter Signalantwort 100 ist im Toleranzintervall um 100, sodass keine multiplikative Verschiebung festgestellt wird.
-
Der Mittelwert über die Signalwerte aller Testpixel mit erwarteter Signalantwort 0 ist im Toleranzintervall um 0, sodass keine additive Verschiebung festgestellt wird.
-
Der Mittelwert über die Signalwerte aller Testpixel im Block 1 ist im Toleranzintervall um 100, sodass kein Fehler in Block 1 festgestellt wird.
-
Der Mittelwert über die Signalwerte aller Testpixel im Block 3 ist außerhalb des Toleranzintervalls um 100, sodass ein Fehler in Block 3 festgestellt wird.
-
Der Mittelwert über die Signalwerte aller Testpixel im Block 99 ist außerhalb des Toleranzintervalls um 100, sodass ein Fehler in Block 99 festgestellt wird.
-
Der Mittelwert über die Signalwerte aller Testpixel im Block 2 ist im Toleranzintervall um 0, sodass kein Fehler in Block 2 festgestellt wird.
-
Der Mittelwert über die Signalwerte aller Testpixel im Block 100 ist im Toleranzintervall um 0, sodass kein Fehler in Block 100 festgestellt wird.
-
Der Mittelwert über die Signalwerte aller Testpixel in Spalte 10 (zweite Spalte des Blocks 3) ist außerhalb des Toleranzintervalls um 100, sodass ein Fehler in der zweiten Spalte des Blocks 3 festgestellt wird.
-
Der Mittelwert über die Signalwerte aller Testpixel in Spalte 394 (zweite Spalte des Blocks 99) ist außerhalb des Toleranzintervalls um 100, sodass ein Fehler in der zweiten Spalte des Blocks 99 festgestellt wird.
-
Der Mittelwert über die Signalwerte aller Testpixel mit erwartetem Signalwert 100 in der dritten Zeile ist außerhalb des Toleranzintervalls um 100, sodass ein Fehler in der dritten Zeile festgestellt wird.
-
Die von Testpixeln in den als fehlerhaft erkannten Spalten ausgegebenen Signalwerte können nun einzeln mit dem Toleranzintervall um den erwarteten Signalwert verglichen werden. Weiterhin können die von Testpixeln, die in den als fehlerhaft erkannten Zeilen und zugleich in als fehlerhaft erkannten Blöcken liegen, ausgegebenen Signalwerte einzeln mit dem Toleranzintervall um den erwarteten Signalwert verglichen werden.
-
So lässt sich schließlich feststellen, dass insgesamt 5 Testpixel nicht korrekt funktionieren. Nun kann entschieden werden, ob eine solche Fehlerrate für die jeweilige Anwendung tolerabel ist oder der Bildsensor als defekt bewertet werden muss. Das Verfahren lässt sich einfach durch Hardwarekomponenten oder Software auf einem Computer realisieren. Es erlaubt robuste, effiziente und in den Normalbetrieb nicht eingreifende Analyse eines Bildsensors einschließlich eines Teils des Signalverarbeitungspfades. Es dient damit der Unterstützung einer effizienten Bildverarbeitungsarchitektur zum Beispiel in sicherheitskritischen Anwendungen.
