-
Die
vorliegende Erfindung betrifft im Allgemeinen CMOS-Bildsensoren
und im Besonderen ein Verfahren zur Steuerung der Belichtungszeit
oder der Verstärkung
eines Bildsensors.
-
Die
Technologie der integrierten Schaltkreise hat verschiedenste Gebiete,
einschließlich
Computer, Steuersysteme, Telekommunikation und Bildgebung, revolutioniert.
Im Bereich der Bildgebung, beispielsweise, haben CMOS-Bildsensoren
bewiesen, dass sie im Vergleich zu CCD-Bildgebungsvorrichtungen
kostengünstiger
herzustellen sind. Außerdem sind
CMOS-Vorrichtungen für
gewisse Anwendungen leistungsstärker.
Die Pixelelemente können
in einer MOS-Vorrichtung kleiner gemacht und somit eine höhere Auflösung als
CCD-Bildsensoren bereitstellen. Zudem kann die für die benötigte Signalverarbeitungslogik
mit der Bildschaltung integriert werden, wodurch ein einziger integrierter
Chip zur Bildung einer vollständigen
allein operierenden Bildgebungsvorrichtung verwendet werden kann.
-
Beispiele
für MOS-Bildgebungsvorrichtungen
sind in Kawashima et al., "A ¼ Inch
Format 250K Pixel Amplified MOS Image Sensor Using CMOS Process", in: IEDM 93–575, 1993,
und in Ozaki et al., A Low Noise Line-Amplified MOS-Imaging Devices", in: IEEE Transactions
on Electron Devices, Nr. 5, Bd. 3, Mai 1991, detailliert beschrieben.
Zudem bescheibt das US-Patent Nr. 5.345.266, ausgegeben an Denyer,
unter dem Titel "Matrix.
Array Image Sensor Chip" einen
MOS-Bildsensor. CMOS-Bildsensoren sind heute bei einer Vielzahl
von Herstellern, unter anderem beim Zessionar der vorliegenden Erfindung,
OmniVision Technologies, Inc., erhältlich.
-
Der
Hauptbaustein eines durch einen CMOS-Bildsensor aufgebauten Bildes
ist ein Pixel. Die Anzahl, Größe und der
Abstand der Pixel bestimmen die Auflösung des von der Bildgebungsvorrichtung
erzeugten Bilds. Die Pixel eines CMOS-Bildsensors sind Halbleitervorrichtungen,
die einfallende Lichtphotonen in Stromsignale umwandeln. Das von jedem
Pixel erzeugte Signal ist äußerst klein.
-
Ein
wichtiger Parameter ist die notwendige Fähigkeit des CMOS-Bildsensors
zur Steuerung der Belichtungszeit, der ein jedes Pixel dem einfallenden Licht
ausgesetzt ist. Ähnlich
wie bei der Belichtungszeit eines photographischen Films muss die
Belichtungszeit eines jeden Pixels eingestellt werden, um Variationen
der Lichtverhältnisse,
etwa zwischen Innen- und Außenbeleuchtung,
zu kompensieren. Eine zu lange Belichtungszeit führt zu einem zu stark aufgehellten
und verwaschenem Bild. Andererseits ergibt eine zu kurze Belichtungszeit
ein Bild, das dunkel und schwer zu erkennen ist.
-
Ein
weiteres Verfahren zum Variieren der Intensität der Pixelsignale ist die
Anpassung des Verstärkungsfaktors
der Verstärkungsschaltung.
In vielerlei Hinsicht ist die Steuerung des Verstärkungsfaktors
der Steuerung der Belichtungszeit ähnlich. Durch Variieren eines
oder beider Aspekte kann das vom Bildsensor erzeugte Bild für die Betrachtung
optimiert werden.
-
Das
US-Patent Nr. 5.734.426 beschreibt ein Verfahren zur Steuerung der
Belichtungszeit nach dem Stand der Technik. Obwohl dies für viele
Anwendungen angemessen ist, ist die Geschwindigkeit, mit der die
Belichtungszeit automatisch verändert
werden kann, für
einige Anwendungen unzulänglich.
Beispielsweise ist es bei Fahrzeuganwendungen, bei denen ein Fahrzeug
vom Sonnenlicht in die Dunkelheit (etwa einen Tunnel) hineinfährt, von
großer
Bedeutung, dass der Bildsensor zu einer raschen Anpassung der Belichtungszeit
fähig ist.
-
Das
Dokument
US 5734426 offenbart
ein Verfahren zur automatischen Belichtungssteuerung in einer MOS-Bildgebungsanordnung,
das die Verwendung von zwei Schwellenwerten der Pixelanzahl beinhaltet.
Das US-Patent Nr. 5.194.960 offenbart eine Steuervorrichtung für optische
Bildsignale, die die Erfassung einer ersten vorläufigen Belichtung und einer
zweiten vorläufigen
Belichtung voraussetzt, wobei die aus diesen Belichtungen erhaltenen Informationen
die Vervollständigung
der Messung ermöglichen.
Das US-Patent Nr. 6.151.073 offenbart ein Kamerablitzsystem, bei
dem die Kamerablitzenergie den Bildpixelwerten entsprechend reguliert
ist.
-
In
einem ersten Aspekt stellt die vorliegende Erfindung ein Verfahren
zur automatischen Steuerung der Belichtungszeit eines Bildsensors
bereit, wobei der Bildsensor eine Pixelmatrix nach Anspruch 1 umfasst.
-
Kurzbeschreibung
der Zeichnungen
-
In
den Zeichnungen kennzeichnen gleiche Verweiszahlen gleiche Teile
in den verschiedenen Ansichten der nicht einschränkenden und nicht erschöpfend aufgeführten Ausführungsformen
der vorliegenden Erfindung, wobei:
-
1 ein
schematisches Diagramm eines CMOS-Bildsensors ist und
-
2 ein
Flussdiagramm ist, das das Verfahren der vorliegenden Erfindung
veranschaulicht.
-
Detaillierte Beschreibung
der bevorzugten Ausführungsform
-
In
der folgenden Beschreibung werden zahlreiche spezifische Einzelheiten
bereitgestellt, wie beispielsweise die Identifizierung von verschiedenen Systemkomponenten,
um so für
ein gründliches
Verständnis
der Ausführungsformen
der vorliegenden Erfindung zu sorgen. Für einen Fachmann auf dem Gebiet
der Erfindung ist jedoch klar ersichtlich, dass die Erfindung auch
ohne einem oder mehrere der spezifischen Details oder mit anderen
Methoden, Komponenten, Materialen usw. umgesetzt werden kann. In
anderen Fällen
werden bekannte Strukturen, Materialien oder Arbeitsweisen nicht
dargestellt oder beschrieben, um Aspekte der verschiedenen Ausführungsformen
der Erfindung nicht zu verschleiern.
-
Der
Verweis auf "eine
Ausführungsform" bedeutet, dass ein
in Zusammenhang mit der Ausführungsform
beschriebenes bestimmtes Merkmal, Struktur oder Eigenschaft in zumindest
einer Ausführungsform
der vorliegenden Erfindung enthalten ist. Somit beziehen sich die
Phrasen wie "in
einer Ausführungsform", die im Laufe dieser
Spezifikation immer wieder auftauchen, nicht notwendigerweise auf ein
und dieselbe Aus führungsform.
Zudem können bestimmten
Merkmale, Strukturen oder Eigenschaften auf jede beliebige, geeignete
Weise kombiniert in einer oder mehreren Ausführungsformen kombiniert werden.
-
Mit
Bezug auf 1 umfasst der Aufbau einer CMOS-Bildgebungsanordnung 101 eine
rechteckige Pixelmatrix 103. Die Anzahl der Pixel in der
horizontalen oder x-Richtung
und die Anzahl der Pixel in der vertikalen oder y-Richtung bildet
die Auflösung der
Bildgebungsvorrichtung 101. Jedes Pixel 103 in einer
vertikalen Spalte leitet sein Signal an einen einzigen Ladungsverstärker 105.
-
Die
Abfrage von Informationen aus den Pixel 103 erfolgt gemäß dem wohlbekannten
Rasterabtastverfahren. Im Besonderen wird dabei die Pixel 103 einer
Reihe sequentiell von links nach rechts abgetastet. Danach wird
die nächste
Reihe auf dieselbe Weise angetastet, bis sequentiell alle Reihen
von oben nach unten abgetastet wurden. Auf das Ende einer jeden
vollständigen
Abtastung der gesamten Anordnung 101 folgt eine eine vorbestimmte
Zeit dauernde vertikale Austastperiode, bis das Rasterabtastmuster
wiederholt wird. Diese Art von Abtastverfahren erfolgt gemäß dem NTSC-Abtastschema. Eine
herkömmlich
konstruierte Steuerschaltung arbeitet, um die Pixel 103 auf
diese Weise sequentiell zu lesen.
-
Bei
der Abtastung eines jeden einzelnen Pixels wird von diesem Pixel
ein Signal bereitgestellt, um den Verstärker 105 dieser Spalte
zu laden. Der Ladungsverstärker 105 empfängt somit
sequentiell Signale. Die sequentiellen Signale der Ladungsverstärker 105 werden
an einen sekundären
Verstärker 107 weitergeleitet,
der die Signale so verstärkt,
dass die weiterverarbeitet werden können. In verschiedenen Ausführungsformen
können
entweder der Spaltenverstärker
oder der sekundäre
Verstärker
weggelassen werden.
-
Die
vorliegende Erfindung zieht die Größe der verstärkten Signale
eines jeden Pixels zur Bestimmung der Belichtungszeit für jedes
Pixel heran. Allgemein ausgedrückt
kann die Belichtungszeit für jedes
Pixel durch die Steuerung des Rasterabtastalgorithmus variiert werden.
-
Das
Verfahren der vorliegenden Erfindung ist in 2 dargestellt.
Auch wenn im Folgenden das Verfahren der vorliegenden Erfindung
in Zusammenhang mit der Steuerung der Belichtungszeit beschrieben
wird, ist das Verfahren genauso gut auf die Steuerung des Verstärkungsfaktors
anwendbar. Im Abfolgekästchen 201 wird
die Größe eines
Pixelsignals eines Pixels der Anordnung bestimmt. Dann wird in Kästchen 203 bestimmt,
ob das Pixelsignal größer als
ein vorbestimmter Wert VHIGH ist. Typischerweise liegt das Pixelsignal
zwischen 0,34 und 1,0 Volt. Dieser Spannungspegel ist von der NTSC-Fernsehnorm
festgelegt. Man kann jedoch davon ausgehen, dass die Größe des Pixelsignals
je nach Art der verwendeten Pixel, dem Verstärkungsfaktor in den Spaltenverstärkern oder
den sekundären
Verstärkern und
verschiedenen anderen Faktoren variieren kann. Die genauen Spannungsangaben
haben somit hierin einen rein beispielhaften Charakter und sollten
nicht als einschränkend
interpretiert werden.
-
In
einer Ausführungsform
beträgt
ein typischer Wert für
VHIGH 0,8 Volt. Ist die Größe des Pixelsignals
höher als
VHIGH, so wird im Kästchen 205 ein
Zähler
NW um eins erhöht.
Nach der Erhöhung folgt
der nächste
Schritt im Kästchen 211.
-
Ist
jedoch in Kästchen 203 das
Pixelsignal nicht größer als
VHIGH, so wird im Kästchen 207 bestimmt,
ob das Pixelsignal unter einem weiteren vorbestimmten Schwellenwert
VLOW liegt. In einer Ausführungsform
beträgt
VLOW 0,5 Volt. Ist das Pixelsignal kleiner als VLOW, so wird im
Kästchen 209 ein Zähler NB
um 1 erhöht.
Nach dem Kästchen 209 geht die
Steuerung auf Kästchen 211 über.
-
Während das
Verfahren der Kästchen 203, 205, 207 und 209 für ein Pixelsignal
ausgeführt
wird, wird dasselbe Pixelsignal gleichzeitig auch hinsichtlich eines
zweiten Satzes an "Super"-Schwellenwerten
(daher die Kennzeichnung mit "S" in den Bezeichnungen
für die
Schwellen) analysiert. Spezifisch wird in Kästchen 202 bestimmt,
ob das Pixelsignal größer als
ein vorbestimmter Schwellenwert VSHIGH ist. Ein typischer Wert für VSHIGH
liegt bei 0,9 Volt. Überschreitet
die Größe des Pixelsignals
VSHIGH, so wird in Kästchen 204 ein
Zähler
NVW um eins erhöht. Nach
der Erhöhung
folgt der nächste
Schritt im Kästchen 211.
-
Ist
im Kästchen 202 das
Pixelsignal nicht größer als
VSHIGH, so wird im Kästchen 206 bestimmt,
ob das Pixelsignal unter einem vorbestimmten Schwellenwert VSLOW
liegt. In einer Ausführungsform
liegt VSLOW bei 0,4 Volt. Liegt das Pixelsignal unter VSLOW, so
wird in Kästchen 208 ein Zähler NVB
um eins erhöht.
Nach dem Kästchen 208 geht
die Steuerung auf Kästchen 211 über.
-
Nun
wird im Kästchen 211 bestimmt,
ob im Rahmen noch weitere Pixel im Bild zu analysieren sind. Falls
dies zutrifft, wird der Vorgang der Kästchen 201–209 wiederholt.
Es sollte angemerkt werden, dass nicht alle Pixel in einem Bild
analysiert werden müssen.
Es kann auch nur ein Teilsatz der Pixel im Bild analysiert werden.
In einer bevorzugten Ausführungsform
werden jedoch alle Pixel analysiert. Wurde nun die ganze Pixelanordnung
des Bilds analysiert, so wird im Kästchen 213 bestimmt,
ob der Zähler
NW einen höheren
Wert als ein vorbestimmter Schwellenwert KW aufweist. Typischerweise
ist KW eine Zahl, die etwa 25% der Gesamtzahl der Pixel in der Bildgebungsanordnung
entspricht.
-
Ist
NW nicht größer als
KW, so wird die Belichtungszeit nicht verkürzt und die Steuerung geht auf
Kästchen 221 über. Liegt
hingegen NW über
KW, so muss die Belichtungszeit gesenkt werden. Schließlich zeigt
der Zähler
NW die Anzahl der Pixel an, die hohe Ausgabesignale erzeugen, was
einer großen
Menge an auftreffendem Licht entspricht. Erzeugt eine große Anzahl
der Pixel hohe Ausgabesignale, so weist dies darauf hin, dass eventuell
eine zu lange Belichtungszeit vorliegt. In diesem Fall sollte die
Belichtungszeit verkürzt
werden.
-
Nach
dem Stand der Technik wird nach der Bestimmung, dass NW größer als
KW ist, die Belichtungszeit um ein vorbestimmtes Ausmaß gemindert. Ist
das vorbestimmte Ausmaß dieser
Verkürzung aber
zu klein, so kann es einige Bildfolgen dauern, bis die Belichtung
angemessen korrigiert ist. Ist das Ausmaß der Verkürzung hingegen zu groß festgelegt,
so kommt es zu einem "Überschuss" im Ausmaß der Belichtungszeitverkürzung, wodurch
der Video-Bildstrom unruhig wirken kann.
-
Um
die Methode der automatischen Belichtungskorrektur nach dem Stand
der Technik zu verbessern, erfolgt gemäß der Erfindung ein zweiter Schritt
in der Analyse, um eine passende Größe der Verkürzung der Belichtungszeit zu
bestimmen. Spezifisch wird im Kästchen 215 bestimmt,
ob der Zählerwerf
NVW größer als
ein Schwellenwert KVW ist. Falls dies zutrifft, wird in Kästchen 217 die
Belichtungszeit um ein erstes vorbestimmtes Ausmaß verkürzt. In
einer Ausführungsform
ist das erste vorbestimmte Verkürzungsausmaß als ein
Prozentsatz (P1) der Belichtungszeit definiert. Ist der Zählerwert NVW
jedoch nicht größer als
der Wert KVW, so wird im Kästchen 219 die
Belichtungszeit um ein zweites vorbestimmtes Ausmaß verkürzt. In
einer Ausführungsform
ist das zweite vorbestimmte Verkürzungsausmaß als ein
Prozentsatz (P2) der Belichtungszeit definiert. Typischerweise ist
P1 größer als
P2, und in einer Ausführungsform
beträgt
P1 50 Prozent und P2 6 Prozent.
-
Zusammengefasst
sollte also die Belichtungszeit verkürzt werden, wenn festgestellt
wird, dass eine große
Anzahl der Pixel Signale hohe Pegel ausgeben (NW > KW). Nun kommt es
zu einem weiteren Vorgang, bei dem die Größe bestimmt wird, P1 oder P2,
um die die Belichtungszeit verkürzt
werden soll. Für
diese Analyse wird der Zähler
NVW (der die Anzahl der Pixel misst, die ein Signal über einem "Super"-Schwellenwert ausgeben) herangezogen.
Spezifisch wird eine größere Verkürzung der
Belichtungszeit angeordnet, wenn der Zählerwert NVW größer als
die Schwellenzahl KVW ist. Ist der Zählerwert NVW hingegen nicht
größer als
KVW, so wird eine geringere Verkürzung
der Belichtungszeit ausgeführt.
-
Ein ähnliches
Verfahren wird zur Anhebung der Belichtungszeit verfolgt. Deshalb
wird im Kästchen 221,
wenn im Kästchen 213 NW
nicht größer als
KW ist, bestimmt, ob der Zählerwert
NB größer als
ein vorbestimmter Schwellenwert KB ist. Typischerweise ist KB eine
Zahl, die in etwa 75% der Gesamtanzahl der Pixel in der Bildgebungsanordnung entspricht.
-
Ist
NB nicht größer als
KB, so kommt es zu keiner Anhebung der Belichtungszeit. Ist hingegen NB
größer als
KB, so besteht der Bedarf nach einer Verlängerung der Belichtungszeit.
Schließlich
zeigt der Zähler
NB die Anzahl der Pixel an, die kleine Ausgabesignale aufweisen,
was einer geringen Menge an auftreffendem Licht entspricht. Erzeugt
eine große Anzahl
an Pixel kleine Ausgabesignale, so weist dies darauf hin, dass eventuell
eine zu kurze Belichtungszeit vorliegt. In diesem Fall sollte die
Belichtungszeit verlängert
werden.
-
Nach
dem Stand der Technik wird nach der Bestimmung, dass NB größer als
KB ist, die Belichtungszeit um ein vorbestimmtes Ausmaß angehoben.
Ist das vorbestimmte Ausmaß dieser
Verlängerung
aber zu klein, so kann es einige Bildfolgen dauern, bis die Belichtung
angemessen korrigiert ist. Ist das Ausmaß der Verlängerung hingegen zu groß festgelegt,
so kommt es zu einem "Überschuss" im Ausmaß der Belichtungszeitverlängerung,
wodurch der Video-Bildstrom unruhig wirken kann.
-
Um
die Methode der automatischen Belichtungskorrektur nach dem Stand
der Technik zu verbessern, erfolgt gemäß der Erfindung ein zweiter Schritt
in der Analyse, um eine passende Größe der Verlängerung der Belichtungszeit
zu bestimmen. Spezifisch wird im Kästchen 223 bestimmt,
ob der Zählerwert
NVB größer als
ein Schwellenwert KVB ist. Falls dies zutrifft, wird in Kästchen 225 die
Belichtungszeit um ein erstes vorbestimmtes Verlängerungsausmaß angehoben.
In einer Ausführungsform ist
das erste vorbestimmte Verlängerungsausmaß als ein
Prozentsatz (P3) der Belichtungszeit definiert. Ist der Zählerwert
NVB jedoch nicht größer als
der Wert KVB, so wird im Kästchen 227 die
Belichtungszeit um ein zweites vorbestimmtes Verlängerungsausmaß angehoben.
In einer Ausführungsform
ist das zweite vorbestimmte Verlängerungsausmaß als ein
Prozentsatz (P4) der Belichtungszeit definiert. Typischerweise ist
P3 größer als
P4, und in einer Ausführungsform
beträgt
P3 100 Prozent und P4 6 Prozent.
-
Zusammengefasst
sollte also die Belichtungszeit verlängert werden, wenn festgestellt
wird, dass eine große
Anzahl der Pixel Signale mit niedrigen Pegeln ausgeben (NB > KB). Nun kommt es
zu einem weiteren Vorgang, bei dem die Größe bestimmt wird, P3 oder P4,
um die die Belichtungszeit verlängert
werden soll. Für
diese Analyse wird der Zähler
NVB (der die Anzahl der Pixel misst, die ein Signal unter einem "Super"-Schwellenwert ausgeben)
herangezogen. Spezifisch wird eine größere Ver längerung der Belichtungszeit
angeordnet, wenn der Zählerwert
NVB größer als
die Schwellenzahl KVB ist. Ist der Zählerwert NVB hingegen nicht
größer als
KVB, so wird eine geringere Verlängerung
der Belichtungszeit ausgeführt.
-
Es
kann davon ausgegangen werden, dass das Verfahren aus 2 typischerweise
in der integrierten Schaltung eines Bildsensors ausgeführt wird.
Im Besonderen umfassen auch die meisten Bildsensorchips eine Sensoranordnung
und eine Prozessorschaltkreis. Der Prozessorschaltkreis ist in einem
Beispiel gegebenenfalls so programmiert, dass die in 2 detailliert
veranschaulichte Analyse ausgeführt
wird.
-
Die
veranschaulichten und beschriebenen Ausführungsformen sollen in all
ihren Gesichtspunkten als veranschaulichend und nicht einschränkend betrachtet
werden. So bezieht sich etwa die obige detaillierte Beschreibung
auf die Anpassung der Belichtungszeit. Die zuvor beschriebenen Verfahren
sind jedoch genauso auf die Steuerung des Verstärkungsfaktors anwendbar. Beispielsweise
kann anstelle des Verlängerns
oder Verkürzens
des Ausmaßes
der Belichtung auch das Ausmaß des
Verstärkungsfaktors ähnlich angehoben
oder gesenkt werden. Auch können
beide, also die Belichtungszeit und der Verstärkungsfaktor, nach Bedarf angehoben
oder gemindert werden. Der Schutzumfang der Erfindung geht deshalb
aus den beigefügten
Ansprüchen
und nicht aus der obigen Beschreibung hervor, und alle Änderungen,
die im Rahmen des Konzepts und in einem Bereich der Äquivalenz
mit den Ansprüchen
ausgeführt werden,
sind somit in diesen Letzteren enthalten.