Nach
dem Stand der Technik gibt es Farbzeilenkameras in verschiedenen
Ausführungen:
- – 3-Chip
Kameras, bei denen ein optischer Strahlteiler das Licht auf drei
Sensorchips verteilt,
- – Zeilensensoren
mit Parallelanordnung von drei Zeilen, wobei jeder Zeile ein spezifisches
Filter (rot, grün,
blau) vorgeschaltet ist
- – Einzeilige
Zeilensensoren, bei denen verschiedene Farbfilter in fortlaufender
Folge auf die nebeneinander liegenden Pixel wirken (z.B. RGBRGBRGB
....) Wesentlich für
die Erfindung ist der Einsatz eines Bildsensors mit mindestens zwei
Pixelzeilen, vor denen Farbfilter in Form einer Bayer-Farbfiltermatrix
angeordnet sind.
Als
Vorteil der Erfindung gegenüber
dem Stand der Technik ist es anzusehen, dass Sensorchips für Flächenkameras
mit Bayer-Matrix im Vergleich zu Zeilensensoren sehr preisgünstig sind
und hinsichtlich Bildauflösung
und Geschwindigkeit in einer großen Auswahl zur Verfügung stehen.
Weiters sollte der Sensorchip in CMOS-Technologie ausgeführt sein,
denn CMOS-Sensoren haben den Vorteil, dass einzelne belichtete Sensorpixel-Zeilen
selektiv ausgelesen werden können.
Bei CCD-Sensoren ist das zumeist nicht oder nur mit Einschränkungen möglich.
Bei
CMOS-Sensoren kann zum Auslesen der belichteten Sensorpixel jede
Zeile einzeln angesteuert und ausgelesen werden. Der Auslesevorgang dauert
beispielsweise bei einem bestimmten handelsüblichen Sensortyp pro Zeile
etwa 2 μs.
Das ist etwa um eine Größenordnung
schneller als bei herkömmlichen
Zeilenkameras mit Zeilen vergleichbarer Länge.
Der
Vorteil des wahlweisen Auslesens von Bildbereichen ist generell
ein Vorteil von CMOS-Sensoren gegenüber CCD-Sensoren. Die große Schnelligkeit
von CMOS-Sensoren übertrifft
mitunter schnelle Zeilenkameras. Der limitierende Faktor („Flaschenhals") ist jedoch die
relativ langsame Übertragung
der Daten zum Bildverarbeitungsrechner. Um aus der großen Datenmenge
größtmöglichen
Nutzen ziehen zu können,
wird diese in Hardwareeinheiten in der Kamera vorverarbeitet und
für eine
nachfolgende Bildverarbeitung aufbereitet und allenfalls reduziert.
Durch
die Erfindung wird es nun möglich, eine
Farbzeilenkamera durch Einsatz eines Bayer-Matrix-Flächensensors,
vorzugsweise in CMOS-Technologie, preisgünstig zu realisieren.
Die
Umwandlung bzw. Vorverarbeitung des Signals des mit der Bayermatrix
versehenen Bildsensors in ein Farbsignal, insbesondere RGB- oder CMY-Signal,
erfolgt vorzugsweise in einer elektronischen Schaltung (ASIC oder
FPGA) direkt in der Kamera. Die Schaltung kann aber auch auf dem
Sensorchip integriert oder in einem Signalprozessor oder einem anderen
Bildauswerterechner realisiert werden.
Der
Algorithmus wird vorzugsweise nach einer Digitalisierung der Sensorsignale
digital durchgeführt,
ist jedoch prinzipiell auch dafür
geeignet, in einer Analogschaltung realisiert zu werden.
Zur
Erhöhung
der Empfindlichkeit bzw. um das Signal-Rauschverhältnis zu
verbessern, sind die Merkmale des Anspruches 2 von Vorteil.
Exakte
Ergebnisse erhält
man, wenn die Merkmale der Ansprüche
3 und/oder 4 realisiert werden.
Eine
rasche Auswertung mit einfacher Hardware wird erreicht, wenn die
Merkmale der Ansprüche
5 und/oder 6 und/oder 7 vorgesehen werden.
Eine
einfache Vorgangsweise zur rechnerischen Ermittlung der Farbwerte,
die den Pixel einer Objektzeile entsprechen, wird mit den Merkmalen des
Anspruches 8 erreicht. Eine Erhöhung
der Sensitivität
bzw. eine Vermeidung von Rauschen wird mit den Merkmalen des Anspruches
erreicht.
Für eine rasche
und exakte Abbildung sind die Merkmale des Anspruchs 10 zweckmäßig. Von Vorteil
ist es, wenn die Merkmale des Anspruches 11 verwirklicht sind. Damit
wird ein einfacher Gesamtaufbau einer erfindungsgemäßen Farbzeilenkamera
mit entsprechend hohen Abbildungsleistungen erreicht.
Eine
rasche und hardwaremäßig einfache Auswertung
der aufgenommenen Objektzeilen wird bei Anwendung der Merkmale der
Ansprüche
12 und/oder 13 erreicht. Die hardwaremäßige Auswertung der vom Flächensensor
erhaltenen Signale bzw.
Farbwerte
erfolgt in rascher, exakter und kostengünstiger Weise, wenn die Merkmale
der Ansprüche
14 und/oder 15 und/oder 16 und/oder 17 verwirklicht werden.
Unter
einer Bayermatrix wird eine Filteranordnung beispielsweise entsprechend
U.S. Patent 3,971065 verstanden, bestehend aus einer Anordnung von
Farbfiltern in der Art
Zeile 1: R G R G ...
Zeile 2: G
B G B ...
Zeile 3: R G R G ...
Zeile 4: G B G B ...
...
Dabei
bedeutet
- R:
- Rotfilter
- G:
- Grünfilter
- B:
- Blaufilter
Vom
Prinzip her ist es aber auch möglich,
als erste Zeile der Filteranordnung eine Zeile beginnend mit GBGB....
vorzusehen, d. h. mit Zeile 2 zu beginnen. In gleicher Weise können Bayer-Farbfiltermatrices
eingesetzt werden, die Farbfilter entsprechend den Farben eines
anderen Farbraumes, z.B. CMY Farbraumes, aufweisen.
Die
prinzipielle Aufgabe der Erfindung besteht vor allem darin, ein
Objekt, das sich mit annähernd
konstanter oder bekannter Geschwindigkeit relativ zur Kamera in
einer Richtung annähernd
normal zur Richtung der Sensorzeilen bewegt, aufzunehmen und eine
exakte Farbabbildung zu erreichen.
Ein
vorgegebener Bildaufnahmetakt legt die Zeitpunkte der Bildaufnahme
fest. Pro Bildaufnahmetakt wird mit mindestens einem ausgewählten Zeilenpaar
des Flächensensors,
umfassend eine Rot-Grün-Filter
und eine, insbesondere benachbarte, Grün-Blau-Filter besitzende Zeile
dieselbe Objektzeile aufgenommen und anschließend werden die erhaltenen
Pixelsignale bzw. Farbwerte über
den Sensorausgang der Verarbeitungseinheit zugeführt. Falls die beiden Zeilen
des Zeilenpaars nicht benachbart sind, muss der Algorithmus zur
Auswertung entsprechend angepasst werden. Die Erfindung betrifft
ein Verfahren gemäß dem Oberbegriff
des Patentanspruches 1 sowie eine Farbzeilenkamera gemäß dem Oberbegriff
des Patentanspruches 9.
Die
Erfindung bezieht sich vor allem auf die optische Qualitätskontrolle,
beispielsweise von Druckwerken, bei denen die Kamera und das zu
prüfende
Objekt eine bekannte, vorzugsweise gleichmäßige Relativbewegung vollführen. Eingesetzte
Standardprüfverfahren
verwenden für
diese Anwendungsfälle
Zeilenkameras oder TDI-Kameras.
Ziel
der Erfindung ist es vor allem, die Herstellungskosten der eingesetzten
Kamera und die Übertragungskosten
der Daten zum Bildverarbeitungssystem zu senken. Ferner soll die
Verarbeitungsgeschwindigkeit bei exakter Auswertung erhöht werden.
Ziel der Erfindung ist es ferner, dass bei der Anwendung der Farbzeilenkamera
zur Aufnahme eines mit annähernd
konstanter bzw. bekannter Geschwindigkeit bewegten Objektes aus
den Sensorsignalen für
jeden Bildpunkt mit entsprechender Genauigkeit ein Farbwert eines
Farbraumes, z.B. RGB- oder CMY-Farbraum, gewonnen werden kann.
Im
RGB-Farbraum liegen der subtraktiven Farbsynthese die Farben Rot,
Grün und
Blau zugrunde; dem CMY-Farbraum liegen die Farben Cyan, Magenta
und YELLOW zugrunde. Die Grundlagen, mit denen aus diesen beiden
subtraktiven Farbmodellen die Farbwahrnehmungen resultieren, sind
im wesentlichen vergleichbar.
Diese
Ziele werden bei dem Verfahren der eingangs genannten Art mit den
im Kennzeichen des Anspruches 1 angegebenen Merkmalen erreicht. Eine
erfindungsgemäße Farbzeilenkamera
ist durch die Merkmale des Anspruches 9 charakterisiert. Durch die
Hardwareeinheiten in der Kamera und die damit realisierte Vorverarbeitung
kann eine rasche Übertragung
der Daten und/oder eine Datenreduktion erreicht werden und somit
können
die Kosten für die Übertragungswege
von der Kamera zum Bildverarbeitungssystem verringert werden.
Nach
dem Stand der Technik gibt es Farbzeilenkameras in verschiedenen
Ausführungen:
- – 3-Chip
Kameras, bei denen ein optischer Strahlteiler das Licht auf drei
Sensorchips verteilt,
- – Zeilensensoren
mit Parallelanordnung von drei Zeilen, wobei jeder Zeile ein spezifisches
Filter (rot, grün,
blau) vorgeschaltet ist
- – Einzeilige
Zeilensensoren, bei denen verschiedene Farbfilter in fortlaufender
Folge auf die nebeneinander liegenden Pixel wirken (z.B. RGBRGBRGB
...Wesentlich für
die Erfindung ist der Einsatz eines Bildsensors mit mindestens zwei
Pixelzeilen, vor denen Farbfilter in Form einer Bayer-Farbfiltermatrix
angeordnet sind.
Als
Vorteil der Erfindung gegenüber
dem Stand der Technik ist es anzusehen, dass Sensorchips für Flächenkameras
mit Bayer-Matrix im Vergleich zu Zeilensensoren sehr preisgünstig sind
und hinsichtlich Bildauflösung
und Geschwindigkeit in einer großen Auswahl zur Verfügung stehen.
Weiters sollte der Sensorchip in CMOS-Technologie ausgeführt sein,
denn CMOS-Sensoren haben den Vorteil, dass einzelne belichtete Sensorpixel-Zeilen
selektiv ausgelesen werden können.
Bei CCD-Sensoren ist das zumeist nicht oder nur mit Einschränkungen möglich.
Bei
CMOS-Sensoren kann zum Auslesen der belichteten Sensorpixel jede
Zeile einzeln angesteuert und ausgelesen werden. Der Auslesevorgang dauert
beispielsweise bei einem bestimmten handelsüblichen Sensortyp pro Zeile
etwa 2 μs.
Das ist etwa um eine Größenordnung
schneller als bei herkömmlichen
Zeilenkameras mit Zeilen vergleichbarer Länge.
Der
Vorteil des wahlweisen Auslesens von Bildbereichen ist generell
ein Vorteil von CMOS-Sensoren gegenüber CCD-Sensoren. Die große Schnelligkeit
von CMOS-Sensoren übertrifft
mitunter schnelle Zeilenkameras. Der limitierende Faktor („Flaschenhals") ist jedoch die
relativ langsame Übertragung
der Daten zum Bildverarbeitungsrechner. Um aus der großen Datenmenge
größtmöglichen
Nutzen ziehen zu können,
wird diese in Hardwareeinheiten in der Kamera vorverarbeitet und
für eine
nachfolgende Bildverarbeitung aufbereitet und allenfalls reduziert.
Durch
die Erfindung wird es nun möglich, eine
Farbzeilenkamera durch Einsatz eines Bayer-Matrix-Flächensensors,
vorzugsweise in CMOS-Technologie, preisgünstig zu realisieren.
Die
Umwandlung bzw. Vorverarbeitung des Signals des mit der Bayermatrix
versehenen Bildsensors in ein Farbsignal, insbesondere RGB- oder CMY-Signal,
erfolgt vorzugsweise in einer elektronischen Schaltung (ASIC oder
FPGA) direkt in der Kamera. Die Schaltung kann aber auch auf dem
Sensorchip integriert oder in einem Signalprozessor oder einem anderen
Bildauswerterechner realisiert werden.
Der
Algorithmus wird vorzugsweise nach einer Digitalisierung der Sensorsignale
digital durchgeführt,
ist jedoch prinzipiell auch dafür
geeignet, in einer Analogschaltung realisiert zu werden.
Zur
Erhöhung
der Empfindlichkeit bzw. um das Signal-Rauschverhältnis zu
verbessern, sind die Merkmale des Anspruches 2 von Vorteil.
Exakte
Ergebnisse erhält
man, wenn die Merkmale der Ansprüche
3 und/oder 4 realisiert werden.
Eine
rasche Auswertung mit einfacher Hardware wird erreicht, wenn die
Merkmale der Ansprüche
5 und/oder 6 und/oder 7 vorgesehen werden.
Eine
einfache Vorgangsweise zur rechnerischen Ermittlung der Farbwerte,
die den Pixel einer Objektzeile entsprechen, wird mit den Merkmalen des
Anspruches 8 erreicht. Eine Erhöhung
der Sensitivität
bzw. eine Vermeidung von Rauschen wird mit den Merkmalen des Anspruches
erreicht.
Für eine rasche
und exakte Abbildung sind die Merkmale des Anspruchs 10 zweckmäßig. Damit wird
ein einfacher Gesamtaufbau einer erfindungsgemäßen Farbzeilenkamera mit entsprechend
hohen Abbildungsleistungen erreicht.
Eine
rasche und hardwaremäßig einfache Auswertung
der aufgenommenen Objektzeilen wird bei Anwendung der Merkmale der
Ansprüche
11 und/oder 12 erreicht.
Die
hardwaremäßige Auswertung
der vom Flächensensor
erhaltenen Signale bzw. Farbwerte erfolgt in rascher, exakter und
kostengünstiger
Weise, wenn die Merkmale der Ansprüche 13 und/oder 14 und/oder
15 und/oder 16 verwirklicht werden.
Unter
einer Bayermatrix wird eine Filteranordnung beispielsweise entsprechend
U.S. Patent 3,971065 verstanden, bestehend aus einer Anordnung von
Farbfiltern in der Art
Zeile 1: R G R G ...
Zeile 2: G
B G B ...
Zeile 3: R G R G ...
Zeile 4: G B G B ...
...
Dabei
bedeutet
- R:
- Rotfilter
- G:
- Grünfilter
- B:
- Blaufilter
Vom
Prinzip her ist es aber auch möglich,
als erste Zeile der Filteranordnung eine Zeile beginnend mit GBGB....
vorzusehen, d. h. mit Zeile 2 zu beginnen. In gleicher Weise können Bayer-Farbfiltermatrices
eingesetzt werden, die Farbfilter entsprechend den Farben eines
anderen Farbraumes, z.B. CMY Farbraumes, aufweisen.
Die
prinzipielle Aufgabe der Erfindung besteht vor allem darin, ein
Objekt, das sich mit annähernd
konstanter oder bekannter Geschwindigkeit relativ zur Kamera in
einer Richtung annähernd
normal zur Richtung der Sensorzeilen bewegt, aufzunehmen und eine
exakte Farbabbildung zu erreichen.
Ein
vorgegebener Bildaufnahmetakt legt die Zeitpunkte der Bildaufnahme
fest. Pro Bildaufnahmetakt wird mit mindestens einem ausgewählten Zeilenpaar
des Flächensensors,
umfassend eine Rot-Grün-Filter
und eine, insbesondere benachbarte, Grün-Blau-Filter besitzende Zeile
dieselbe Objektzeile aufgenommen und anschließend werden die erhaltenen
Pixelsignale bzw. Farbwerte über
den Sensorausgang der Verarbeitungseinheit zugeführt. Falls die beiden Zeilen
des Zeilenpaars nicht benachbart sind, muss der Algorithmus zur
Auswertung entsprechend angepasst werden.
Im
Folgenden wird eine Vorgangsweise beschrieben, für die angenommen wird, dass
die zuerst ausgelesene Pixelzeile eine Sensorzeile mit den Bayer-Filtern
Rot-Grün
ist und die zweite, danach ausgelesene Pixelzeile eine Sensorzeile
mit den Bayerfiltern Grün-Blau
ist. Wird mit einer Grün-Blau-Pixelzeile
als erster Zeile begonnen, ist der Algorithmus entsprechend anzupassen
bzw. sind zyklische Vertauschungen vorzunehmen.
Im
Folgenden wird die Pixelzeile mit den Rot-Grün-Filtern als U-Zeile und die
Pixelzeile mit den Grün-Blau-Filtern
als V-Zeile bezeichnet.
In
zwei aufeinanderfolgenden Bildaufnahmetakten wird eine Objektzeile
als ein UV-Zeilenpaar auf dem Flächensensor
abgebildet. Der Bildaufnahmetakt wird mit der Bewegung des Objektes
so synchronisiert, dass sich das Objekt für die jeweils nächste Aufnahme
annähernd
um eine Zeile weiterbewegt hat.
Eine
bestimmte Zeile X des Objektes, die während einer Aufnahme durch
eine V-Zeile erfasst bzw.
auf diese abgebildet wird, bewegt sich bis zur nächsten Aufnahme um eine Zeilendistanz
weiter und wird dann in der nächsten
Aufnahme auf die U-Zeile abgebildet und bildet so das oben erwähnte UV-Zeilenpaar.
Sollte
das nicht der Fall sein, weil die Bewegung des Objektes in die andere
Richtung läuft,
kann entweder die Kamera um 180 Grad gedreht werden oder aber der
Algorithmus zur Auswertung muss der anderen Reihenfolge entsprechend
angepasst werden.
Im
Folgenden wird die Erfindung anhand der Zeichnung näher erläutert. 1 zeigt schematisch die
Erstellung von resultierenden Zeilen mit RGB-Farbwerten, die den
Objektzeilen entsprechen. 2 zeigt
eine Hardwareanordnung zur Verknüpfung
von Farbwerten von Pixel einer Zeile. 3 zeigt
die Akkumulierung von aus einem Sensor ausgelesenen Farbwerten mehrerer
Paare von Pixelzeilen.
In
einer vorteilhaften Implementierung der Erfindung gemäß 1 ist ein CMOS-Kamerasensor mit
Bayer-Matrix 1 vorgesehen. Dieser liefert die Bilddaten über einen
digitalen Ausgang Pixel für
Pixel (mit dem Pixeltakt) und Zeile für Zeile (mit dem Zeilentakt)
an eine Auswerteeinheit 3. Der Zeilentakt muss mindestens
die doppelte Geschwindigkeit des Bildaufnahmetaktes haben, damit
alle aufgenommenen Zeilen bis zur nächsten Aufnahme ausgelesen und
verarbeitet werden können.
Die Steuerung der Belichtung und die Adressierung der auszulesenden Zeilen
erfolgt durch eine Sensor-Kontrolleinheit 2. Die
Kontrolleinheit bekommt als Input einen Bildaufnahmetakt T, der
mit dem Transport des Objektes in oben beschriebener Weise synchronisiert
ist.
Die
Auswerteeinheit umfasst einen Zwischenspeicher 4 und eine
Dekodiereinheit 5.
In
dem Zwischenspeicher 4 wird je nach den gegebenen Anfangsbedingungen
eine V-Zeile zwischengespeichert und dann bei der nächsten Aufnahme
gemeinsam mit der U-Zeile der folgenden Aufnahme der Objektzeile
X an die Dekodiereinheit 5 geschickt. Die Dekodiereinheit 5 bekommt
damit als Input eine U- und eine V-Zeile, die der Abbildung der selben
Objektzeile X entsprechen.
Aufgabe
der Dekodiereinheit 5 ist es, aus den Farbwerten der einzelnen
Pixel der U- und der V-Zeile für
jede Pixelposition einer resultierenden Zeile je einen Rot- Grün- und Blauwert zu
bestimmen und an den entsprechenden RGB-Ausgängen auszugeben.
Für jeden
Pixeltakt ist nun ein G-Wert vorhanden, der entweder von der U-Zeile
oder von der V-Zeile resultiert. R- und B-Werte sind jeweils nur
für jedes
zweite Pixel vorhanden und können
aus den Nachbarpixel durch Interpolation gewonnen werden. Geeignete
Vorgangsweisen werden dazu weiter unten beschrieben.
Unter
der eingangs getroffenen Annahme, dass das erste Pixel der U-Zeile
ein Pixel mit Rotfilter und das erste Pixel einer V-Zeile ein Pixel
mit Grünfilter
ist, geht die Dekodiereinheit für
ein Pixel mit der Indexzahl n bzw. das n-te Pixel einer Zeile wie
folgt vor:
Für Pixel
mit ungeradem Index n werden die Ausgangssignale bzw. Ausgangsfarbwerte
R(n), G(n), und B(n) berechnet: R(n) = U(n) G(n) = V(n) B(n) = Interpolate
(V(n – 1),
V(n + 1))
Für Pixel
mit geradem Index n: R(n) = Interpolate (U(n – 1), U(n
+ 1)) G(n) = U(n) B(n)
= V(n)
Für das erste
Pixel einer Zeile wird an Stelle des nicht existenten U(n – 1) und
V(n – 1)
der entsprechende Wert für
U(n + 1) und V(n + 1) genommen.
Für das letzte
Pixel einer Zeile wird an Stelle des nicht existenten U(n + 1) und
V(n + 1) der entsprechende Wert für U(n – 1) und V(n – 1) genommen.
Eine
Alternative dazu ist, die Ausgabezeilen zu verkürzen, sodass die Eingabepixel
auch am Rand der Zeile immer existieren.
In
der 2 wird eine vorteilhafte
Vorgangsweise für
das erfindungsgemäße Verfahren
gezeigt.
Die
Dekodiereinheit 5 umfasst jeweils einen Eingang für eine U-Zeile
und eine V-Zeile,
die jeweils an ein zweistufiges Schieberegister 6 und einen
Interpolator 7 geführt
sind. Die Ausgänge
des Schieberegisters und des Interpolators sind an eine Selektionseinheit 8 angeschlossen.
Die
beiden Schieberegister dienen dazu, Pixelwerte bzw. Farbwerte zwischenzuspeichern
und deren Ausgabe zu verzögern,
sodass die Werte für R(n),
G(n) und B(n) erst dann ausgegeben werden, wenn U(n + 1) und V(n
+ 1) bereits an den jeweiligen Eingängen anliegen. In der ersten
Stufe des Schieberegisters 6 ist der Wert des vorigen Pixels
und in der zweiten Stufe des vorvorigen Pixels gespeichert.
In
den Interpolatoreinheiten 7 können nun aus den aktuellen
Werten (U(n + 1) bzw. V(n + 1)) und den vorvorigen Werten (U(n – 1) bzw.
V(n – 1
)) die interpolierten Werte für
B(n) bzw. R(n) berechnet werden. Da die Ausgabe verzögert ist,
enthält
die erste Stufe des Schieberegisters die für die Ausgabe passenden Werte
R(n) bzw. G(n) bzw. B(n).
Die
Selektionseinheit 8 wählt
aus den zur Verfügung
stehenden aktuellen Werten und den Schieberegisterwerten die gemäß obiger
Formel passenden Werte für
gerade und ungerade Pixelindizes n aus.
Die
Möglichkeiten,
die Interpolation vorzunehmen, sind vielfältig und können an den Anwendungsfall
angepasst werden.
Varianten der Interpolation:
Die
einfachste Art der Interpolation ist gemäß Variante 1 eine Mittelwertbildung
der beiden Pixelwerte U(n – 1)
und U(n + 1). Dies ist für
viele Anwendungen ein durchaus brauchbares Verfahren.
Es
ist bekannt, dass bisweilen entlang von vertikalen kontrastreichen
Kanten Artefakte entstehen können.
Ein wesentlicher Vorteil der gegenständlichen Erfindung ist es,
dass solche Artefakte in wesentlich geringerem Ausmaß als bei
Flächenkameras auftreten,
da für
jede Objektzeile X Daten vorhanden sind, die von zwei Zeilen U,
V stammen. Für jede
Pixelposition gibt es einen Grünwert
und für
jede Pixelposition gibt es alternativ einen Blau- oder Rotwert.
Dennoch
auftretende Artefakte können durch
eine gewichtete Interpolation von Nachbarpixel unterdrückt werden,
wobei die Gewichte aus den lokalen Grünwerten gewonnen werden können. Dabei wird
davon ausgegangen, dass der Helligkeitswert von Rot und Blau mit
dem Helligkeitswert von Grün korreliert.
Der
zu interpolierende Wert wird für
R und B nach dem selben Verfahren bestimmt.
Im
Folgenden werden die zu interpolierenden Farbwerte mit X bezeichnet,
wobei X für
R bzw. B steht.
Die
folgenden zwei Varianten einer Interpolation sind besonders vorteilhaft,
weil sie sehr einfach in elektronischen Schaltungen realisiert werden
können:
Gemäß einer
Variante 2 gilt für
ein vorgegebenes Delta:
Wenn |G(n – 1) – G(n)| < Delta und |G(n + 1) – G(n)| < Delta, dann ist
X(n) = (X(n – 1)
+ X(n + 1))/2,
ansonsten:
Wenn |G(n – 1) – G(n)| < |G(n + 1) – G(n)|, dann ist X(n) = X(n – 1), sonst
X(n) = X(n + 1)
Gemäß einer
Variante 3 gilt für
einen vorgegebenen Gewichtungsfaktor Alpha: X(n)
= (X(n – 1)
+ X(n + 1))/2 + Alpha·(G(n) – (G(n – 1) + G(n
+ 1))/2)
Gemäß einer
Variante 4 wird wie bei Variante 3 vorgegangen, jedoch wird Alpha
berechnet: Alpha = (X(n – 1) + X(n + 1))/(2·G(n))
Gemäß einer
Variante 5 wird wie bei Variante 3 vorgegangen, jedoch wird Alpha
berechnet: Alpha = (X(n – 1) + X(n + 1))/(G(n – 1) + G(n
+ 1))
Auch
andere Interpolationsvorgänge
sind möglich.
Eine
vorteilhafte Vorgangsweise sieht vor, dass zur Reduktion der Ausgabedaten
die Auflösung in
horizontaler und/oder vertikaler Richtung um den Faktor 2 reduziert
wird. Diese Reduktion kann fix vorgegeben sein oder über einen
Konfigurationsparameter gesteuert erfolgen.
Bei
vertikaler Reduktion der Auflösung
errechnen sich die R-, G- und B-Werte der Pixel der resultierenden
Zeile durch eine Summierung und/oder Auswahl und/oder Mittelwertbildung
der vorhandenen und/oder interpolierten R-, G- und B-Werte der Pixel
von jeweils zwei aufeinander folgenden bzw. zusammengehörigen Pixelzeilen
U, VObjektzeilen.
Bei
horizontaler Reduktion der Auflösung
errechnen sich die R-, G- und B-Werte der Pixel der resultierenden
Spalte durch eine Summierung und/oder Auswahl und/oder Mittelwertbildung
der vorhandenen und/oder interpolierten R-, G- und B-Werte der Pixel
von jeweils zwei benachbarten Objektspalten. Besonders zu erwähnen ist
jedoch, dass Bei horizontaler Reduktion der Auflösung können ebenfalls die Farbwerte
von jeweils zwei benachbartenaus den R-, G- und B-Farbwerten benachbarter Pixel
der beidenvon zwei benachbarten bzw. zusammengehörigen Pixelzeilen U, V summiert
bzw. gemittelt durch Summieren, Auswählen und/oder Mitteln ermittelt
werden. Alternativ dazu kann man bei horizontaler (und evtl. auch
vertikaler) Auflösungsreduktion
auf das Interpolationsverfahren gänzlich verzichtet werden kannn,
da in zwei benachbarten Pixel nun in jedem Fall ein R-, ein B- und
zwei G-Werte für
jede Pixelposition zumindest ein R-, G- und B-Wert vorhanden istsind.
Dies führt
nochmals zu einer Vereinfachung der Farbdekodierung, da pro Ausgabepixel einer
resultierenden Zeile nur mehr aus den vorhandenen Farbwerten der
Zeilenpixel selektiert werden muss.
Eine
Reduktion in einer Richtung kann vollkommen unabhängig von
einer Reduktion in der anderen Richtung erfolgen. Falls interpoliert
wurde, sind für
jedes resultierende Pixel immer der resultierenden Zeile sind alle
3 Farbwerte vorhanden.
Im
allgemeinen Fall sind 2 Möglichkeiten
zur Reduktion vorhanden: Man kann aus den vorhandenen Farbwerten
auswählen
oder kann die vorhandenen Farbwerte mitteln. Diese 2 Möglichkeiten
zur Reduktion (Summieren, Auswählen
und Mitteln) können auch
beliebig kombiniert werden. Man kann z. B. in vertikaler Richtung
mitteln, in horizontaler Richtung auswählen; man kann z. B. den Grünkanal mitteln und
bei den beiden anderen Kanälen
auswählen.
Wenn
man sich für
die Methode "Auswählen" entscheidet, kann
in manchen Fällen
das Interpolieren erspart werden, weil der vorhandene Farbwert ausgewählt und
der nicht vorhandene Farbwert nicht interpoliert werden muss.
Sofern
nicht interpoliert wird, werden hätte bei vertikaler Reduktion
jeweils 2 Zeilen zusammengefasstjedes Pixel nur 2 Farbwerte:. Dabei
könnte
z. B. könnte
das 1. Pixel in beiden Zeilen R- und G-Farbwerte habenein R- bzw.
G-Pixel sein. Eine B-Information fehlt, aber keine B-Farbwerte.
Die R- und die G-Information wird beliebig zusammengefasst:; man
kann mitteln oder auswählen.
Das resultierende Pixel hätte
keinen B-Farbwert. Wird horizontal reduziert, fasst man jeweils
2 Spalten zusammen, wobei z. B. das 1. Pixel in der einen Spalte
ein R- bzw. G-Pixel mit R- und G-Farbwerten ist und das 1. Pixel
in der anderen Spalte ein Pixel mit B- und G-Farbwerten B- bzw.
G-Pixel ist. Die
G-Information kann beliebig zusammengefasst werden:; man kann mitteln
oder auswählen.
Bei der R- und bei der B-Information besteht nur die Möglichkeit
des "Auswählens", denn es ist nur
genau ein R- und genau ein B-Wert vorhanden. Von Vorteil ist es,
in horizontaler Richtung bei R- und B-Kanal auszuwählen und
sonst immer zu mitteln. Damit wird kann eine Interpolation bei optimaler
Informationserhaltung auf Interpolation erspartverzichtet werden
und jedes resultierende Pixel hat dennoch alle drei Farbwerte.
Bei
einer Aufakkumulierung mehrerer Doppelzeilen wird wie folgt vorgegangen:
Pro Belichtungstakt können
mehr als nur ein Zeilenpaar umfassend eine U- und eine V-Zeile aus dem Bildsensor ausgelesen
werden. Dabei können
Daten, die aus Aufnahmen bzw. Belichtungen der selben Objektpunkte
bzw. Elemente einer Objektzeile und aus den selben Farbfiltern stammen,
aufakkumuliert werden, bevor sie der Dekodiereinheit 5 zugeführt werden, wie
folgt:
Eine Objektzeile X des aufzunehmenden Objektes wird
zu einem bestimmten Belichtungstakt auf die U-Zeile eines ersten
Zeilenpaares abgebildet. In dem nächsten Belichtungstakt wird
die Objektzeile X auf die V-Zeile des ersten Zeilenpaares abgebildet.
Die für
die jeweiligen Pixelzeilen erhaltenen Daten bzw. Farbwerte werden
mit U1 und V1 bezeichnet.
Im
nächstfolgenden
Belichtungstakt wird die Objektzeile X auf die U-Zeile eines zweiten
Zeilenpaares abgebildet und der erhaltene Farbwert wird mit U2 bezeichnet.
Dies wird für
eine vorgegebene Anzahl von Zeilenpaaren fortgesetzt.
Da
die Objektzeile X von dieser U-Zeile des zweiten und von den U-Zeilen
der weiteren Zeilenpaare (s) mit den selben Farbfiltern aufgenommen wird
wie die erste U-Zeile,
und da die Helligkeitswerte von der selben Objektzeile X des Objektes
stammen, können
die Werte für
die Zeilen U1 und U2 usw. addiert werden. Das Selbe gilt für die V-Zeilen.
Werden
n Zeilenpaare pro Belichtungstakt aufgenommen, können also n Werte summiert
werden, bevor diese zur weiteren Auswertung an die Dekodiereinheit 5 weitergeleitet
werden.
Voraussetzung
dafür ist,
dass die Zeilentaktrate zumindest 2·n so hoch ist wie die Belichtungstaktrate.
Das Aufakkumulieren der Zeilen kann so vorgenommen werden, dass
man nur Zeilen, deren Farbwerte bzw. Helligkeitswerte über einem
gegebenen Schwellwert liegen, aufakkumuliert, um Zeilen, die nur
sinnloses Rauschen enthalten, nicht mit aufzunehmen.
Zur
Akkumulation ist eine Akkumulationseinheit 9 erforderlich
(3), die zumindest 2·(n – 1) aufakkumulierte
Werte zwischenspeichern kann.
Die
Vorteile der Akkumulierung sind:
- – eine höhere Empfindlichkeit,
da die effektive Belichtungszeit um das n-fache der Belichtung einer Aufnahme
steigt.
- – ein
höherer
Dynamikbereich
Wenn beispielsweise die Ausgangsdaten des Bildsensors
mit 10 Bit Auflösung
digitalisiert werden und über
8 Doppelzeilen akkumuliert wird, entspricht die effektive Auflösung nach
der Akkumulation 13 Bit.
- – ein
geringeres Rauschen
Ist man an der hohen Empfindlichkeit nicht
interessiert, können
die akkumulierten Ergebnisse durch die Anzahl der Summationen dividiert
werden. Dadurch wird ein statistisches Rauschen herausgemittelt.
- – Unempfindlichkeit
gegenüber
Bildstörung
und Verschmutzung. Das Ergebnis wird durch mehrere Aufnahmen ermittelt.
Wenn nun eine Aufnahme gestört
ist, indem z. B. das Objekt oder die Kamera vibrieren, können sich
die Bildstörungen
durch die Mittelung über
mehrere aufakkumulierte Werte kompensieren.
Die
optischen Sensoren liefern auch bei absoluter Dunkelheit ein positives
Signal, das so genannte Dunkelsignal. Ferner ist jedes Pixel des
Sensors unterschiedlich empfindlich. Auch die Helligkeit der Beleuchtung
kann über
die Zeile unterschiedlich intensiv sein. Um diese Effekte auszugleichen,
kann für
jede Pixelposition eine individuelle Korrektur durch Subtraktion
des vorher ermittelten Dunkelsignals und Multiplikation eines ebenfalls
durch eine Kalibrierung ermittelten Faktors durchgeführt werden. Diese
Korrektur wird vorzugsweise auf die U- und V-Zeilen unmittelbar
vor dem Eingang zur Dekodiereinheit 5 und nach der Serialisierungseinheit 10 (3) durchgeführt. Es
brauchen somit nur Korrekturwerte für eine U-Zeile und eine V-Zeile
ermittelt werden und nicht für
alle Zeilen, die pro Belichtungstakt vom Sensor ausgelesen werden.
Die Korrektur muss aber vor der Interpolation in der Dekodiereinheit 5 durchgeführt werden,
da es ansonsten zu nicht korrigierbaren Fehlern in der Interpolation
kommen kann.
Mit
dieser pixelindividuellen Kalibrierung der U- und V-Zeilen kann
auch eine multiplikative Anpassung der Grünwerte mit vorgenommen werden,
um Grünwerte,
die aus U-Zeilen stammen und Grünwerte,
die aus V-Zeilen stammen, einander anzugleichen.
Es
wird bemerkt, dass für
das erfindungsgemäße Verfahren
und für
die erfindungsgemäße Vorrichtung
Bayer-Farbfiltermatrices einsetzbar sind, deren Farbwerte unterschiedliche
Farbräume
repräsentieren
bzw. bestimmen, so z.B. RGB- oder CMY-Bayer-Farbfiltermatrices. Grundlegend
für derartige
Bayer-Farbfiltermatrices ist es, dass für die Pixel in den jeweiligen
Zeilen des Sensors abwechselnd Farbfilter für zwei unterschiedliche Farben
bzw. Farbwerte der drei vorgesehenen Farbwerte des Farbraumes angeordnet
sind, so dass Filter für
einen ersten der drei Farbwerte in jeder der vorgesehenen Zeilen
angeordnet sind.
In
jeder Zeile sind zusätzlich
Filter für
jeweils nur einen der beiden weiteren Farbwerte angeordnet. In den
Zeilen wechseln sich ferner die Filter für diese weiteren Farbwerte
ab, so dass, wenn in einer Zeile Filter für den ersten Farbwert und einen
weiteren Farbwert angeordnet sind, in der unmittelbar darauf folgenden
Zeile Filter für
den ersten Farbwert und den anderen weiteren Farbwert angeordnet
sind. In diesen beiden unterschiedliche weitere Farbwerte enthaltenen
Zeilen liegen die Filter für
den ersten der drei Farbwerte allerdings nicht an denselben Pixelpositionen.
Es
ist für
die Durchführung
der Erfindung nicht von Bedeutung, um welche Farbräume bzw. welche
unterschiedliche Farbwerte es sich handelt. Beispielsweise wird
in der Beschreibung der Erfindung auf die RGB-Farben des RGB-Farbraumes
und die CMY-Farben des CMY-Farbraumes Bezug genommen. Des weiteren
sind die einzelnen Farben eines Farbraumes bzw. Filter beliebig
zyklisch vertauschbar, soferne die oben angegebenen Gesetzmäßigkeiten
für die
Anordnung der Filter gewahrt werden. Dies gilt auch für die Interpolationsberechnungen.