DE102006013810A1

DE102006013810A1 - Verfahren und Vorrichtung zur Bestimmung von Farbinformationen eines Objektabbildes mit Hilfe eines CCD-Bildsensors im TDI-Betriebsmodus

Info

Publication number: DE102006013810A1
Application number: DE102006013810A
Authority: DE
Inventors: Martin Langfeld
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-03-22
Filing date: 2006-03-22
Publication date: 2007-11-15
Anticipated expiration: 2026-03-23
Also published as: DE102006013810B4

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von Farbinformationen eines Objektabbildes mit Hilfe eines CCD-Bildsensors, wobei jedem Pixel des Bildsensors je ein separates Farbfilterelement zugeordnet ist und die Farbfilterelemente als Bayer-Matrix den Pixeln des Bildsensors zugeordnet sind, und bei einer Relativbewegung des Objektabbildes relativ zu dem Bildsensor der Bildsensor derart im TDI-Modus betrieben wird, dass das Schieben der Ladungen der einzelnen Pixel über die Zeilen des Bildsensors auf die Relativgeschwindigkeit des Objektabbildes auf dem Bildsensor synchronisiert wird. Hierbei wird eine erste Pixelzeile des Bildsensors in einer Auslesezeile ausgelesen, nach der zum Auslesen der ersten Pixelzeile notwendigen Zeit T1 die Ladungen der Pixelzeilen auf dem Bildsensor in die jeweils nächste Pixelzeile weiter in Richtung auf die Auslesezeile geschoben, wobei der nächste Auslesevorgang einer zweiten, der ersten benachbarten Pixelzeile erst nach einer weiteren Zeit T2 erfolgt, die in einem Verhältnis zu T1 steht und zur Relativgeschwindigkeit des Objektabbildes auf dem Bildsensor synchronisiert ist, und sich anschließend der Verfahrensablauf für weitere Pixelzeilen wiederholt, wobei aus den Ladungen der weiter geschobenen ersten und zweiten Pixelzeile mittels eines Interpolationsvorgangs auf Basis der Bewertung der Farbanteile der Bayer-Matrix die Zuordnung der Farben des Objektabbildes zu den einzelnen Pixeln berechnet wird.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung von Farbinformationen eines Objektabbildes mit Hilfe eines CCD-Bildsensors im TDI-Betriebsmodus gemäß Oberbegriff des Anspruches 1.
Die digitale Photographie ersetzt zunehmend die konventionelle Photographie und dringt dabei auch in Bereiche vor, die durch hohe Leistungsanforderungen an Aufnahmegeschwindigkeit und Farbgenauigkeit gekennzeichnet sind. Bei der digitalen Photographie kommen üblicherweise Bildsensoren aus einer großen Anzahl matrixförmig angeordneter Sensorelemente zum Einsatz, die die durch die Optik auf den Bildsensor geworfenen Bildinformation digitalisiert erfassen und einem geeigneten Speichermedium zuführen.
CCD-Sensoren (Charge Coupled Device) als derzeit am weitesten verbreitete Bildsensoren sammeln durch über die Optik einfallendes Licht erzeugte Ladungen in üblicherweise matrixförmig angeordneten Pixelstrukturen, die über Schieben von Ladungen von Zeile zu Zeile und, zuletzt im Ausleseregister, von Pixel zu Pixel zu einer Ausgangsstufe hin, die die Ladung in eine Spannung umsetzt, ausgelesen werden. Der Bildaufnahmevorgang setzt hierbei einen Verschluss voraus, da während des Auslesevorgangs der Sensor nicht weiter belichtet werden darf, da es sonst zu Verschmieren der Bildinformationen kommt.
Der Vorgang der Bildaufnahme läuft vereinfacht wie folgt ab:

a) Auslesen des Sensors, um den Sensor von unerwünschten Ladungen zu befreien (z.B. auch von Dunkelsignalen, die durch thermische Effekte im Sensor gesammelt werden),
b) Verschluss öffnen und Bild belichten,
c) Verschluss schließen und Bild auslesen.

Weit verbreitet sind die in der digitalen Photographie verwendeten Full-Frame-CCD-Sensoren, die das bildaufnehmende Element sind und auf der ganzen einfallenden Bildfläche der Kamera das Bild zeitgleich aufnehmen.
Derartige Bildsensoren haben das Problem, dass sie das Bild eigentlich nur monochrom aufnehmen können, also nur Schwarz/Weiß-Aufnahmen entsprechend der Bildhelligkeit jedes einzelnen Pixels ermöglichen. Es gibt daher verschiedene Ansätze, um mit derartigen eigentlich monochrom arbeitenden Bildsensoren trotzdem farbige Bildinformationen zu gewinnen.
Bei einer technisch vorteilhaften Lösung lässt sich die Farbinformation durch Verwendung von 3 Sensoren und eines Strahlteilers gewinnen (je ein Sensor z.B. für die Grundfarben Rot, Grün, Blau oder auch für die Komplementärfarben Cyan, Magenta und Gelb). Dies ist eine aufwändige und teure Lösung und nur unter Verwendung von speziellen Objektiven, die auf den Strahlteiler abgestimmt sind, möglich. Hierbei wird auf jeden der Bildsensoren über seine ganze Fläche nur der Farbanteil aufgegeben, der den ebenfalls über die ganze Bildfläche dieses Bildsensors gleichmäßig wirkenden Farbfilter passieren kann. Mit dieser Technik lassen sich dann aus den zueinander gehörigen Pixelinformationen jedes der drei Bildsensoren sehr genaue Farbinformationen des Pixels gewinnen.
Eine weitere Möglichkeit die Farbinformation zu gewinnen, ist die Verwendung einer sog. Bayer-Matrix. Hierbei werden die Pixel nur eines Bildsensors mit einer Farbfiltermatrix aus einzelnen Farbfilterelementen versehen, die, wie folgt, aufgebaut ist: RGRGRGRGRGRG... GBGBGBGBGBGB... RGRGRGRGRGRG... GBGBGBGBGBGB... ... ...
Den nebeneinander liegenden Pixeln werden somit verschiedene Farben, z.B. Rot (R), Grün (G) und Blau (B) zugeordnet. Um diese Farbinformationen zu erhalten, wird vor jeder einzelnen Zellen ein winziger Farbfilter z.B. in einer der drei Grundfarben Rot, Grün oder Blau aufgebracht. Jedes CCD-Element liefert dementsprechend nur die Information für einen einzigen Farbanteil, so dass die benachbarten Pixel für die Errechnung der tatsächlichen Farbe per Farbinterpolation herangezogen werden müssen. Bei der Farbinterpolation geht man von der Annahme aus, dass es zwischen zwei benachbarten Pixeln zu keinen erheblichen Farbunterschieden kommt.
Da das menschliche Auge empfindlicher für Grüntöne ist, wird dem in der Bayer-Matrix Rechnung getragen und es gibt insgesamt 50% grüne Sensorpixel (G) und je 25% blaue (B) und rote Sensorpixel (R). Aus einem so gewonnen Rohbild wird mit Hilfe von Algorithmen, die üblicherweise in Computersoftware realisiert sind, ein komplettes Farbbild interpoliert. Hierbei ist Bildqualität geringer als bei der Drei-Sensor-Lösung, da nur 1/3 der Bildinformation zur Verfügung steht. Die Bildqualität hängt dabei entscheidend von der Qualität der Interpolationsalgorithmen ab. Ein Algorithmus zur Farbinterpolation benötigt je Bildpunkt im fertigen Foto die Information von drei beieinanderliegenden RGB-Pixeln und kann so in etwa 33% der CCD-Fläche ausnutzen, um ein Bild zu berechnen.
Bekannt sind weiterhin spezielle CCD-Sensoren der Firma Foveon, bei denen die drei Farbpixel nicht mehr nebeneinander liegen, sondern übereinander in drei Schichten angeordnet sind und so die Farbinformation gewinnen. Das Licht dringt hierbei auf Grund der Wellenlänge verschieden tief in den Bildsensor ein und die Farbinforation kann gewonnen werden (ähnlich wie beim Farbfilm). So steht die phy sikalische Auflösung auch unmittelbar als Bildauflösung zur Verfügung. Diese Technologie ist nicht gut beherrschbar und hat sich bisher nicht durchgesetzt.
Bekannt sind auch andere Sensortechnologien als CCD-Sensoren. Es gibt z.B. CMOS-Sensoren, die die Information über Multiplexerstrukturen auslesen und günstig herzustellen sind. Sie sind bereits sehr verbreitet. Hierbei kann im Sensor auch ein „elektronischer" Verschluss integriert sein.
Es gibt auch Interline- und Frametransfer-CCD-Sensoren. Hierbei werden die Ladungen schnell in einen abgedeckten Teil des Sensors transferiert, um auf den Verschluss verzichten zu können. Diese Sensoren kommen hauptsächlich in Video-Kameras zum Einsatz.
Als spezielle Betriebsart von CCD-Sensoren und insbesondere von Full-Frame-CCD-Sensoren ist die so genannte TDI-Betriebsart bekannt (Time Delay and Integration). Besonderheit hierbei ist, dass während des Auslesevorgangs des CCD-Sensors das Bild belichtet wird. Hierbei wird das Schieben der Zeilen hin zum Ausleseregister auf die Bewegung des aufzunehmenden Bildes synchronisiert und so ein „Scan-Vorgang" realisiert, der theoretisch unbegrenzt lang sein kann. Damit lassen sich die Belichtungszeiten je Pixel des Bildsensors und damit die gewonnene Ladungsmenge bzw. die Lichtempfindlichkeit deutlich erhöhen. Problematisch hieran ist es, dass vorausgesetzt werden muss, dass sich entweder der Sensor vor einer still stehenden Vorlage bewegt oder sich die Vorlage bewegt, da ansonsten ein Verwischen der Bildinformationen über benachbarte Pixel des Bildsensors auftreten würde.
Die TDI-Betriebsart von CCD-Sensoren kann an einem einfachen Beispiel erläutert werden, z.B. dem Scannen einer sich bewegenden Textilbahn. Die Textilbahn bewegt sich dabei schnell in einer Herstellungsmaschine und soll auf Fehler runtersucht werden. Erster Ansatz wäre die Verwendung eines Zeilensensors, der das Bild Zeile für Zeile belichtet und ausliest. Hierbei funktioniert ein Zeilensensor so ähnlich wie ein CCD-Sensor, nur dass er aus einer Zeile besteht und die Zeile immer neu belichtet wird. Das Bild der Textilbahn wird durch die Bewegung der Textilbahn selbst erzeugt. Der Nachteil hierbei ist, dass bei hoher Geschwindigkeit der Bahn die Belichtungszeit pro Zeile sehr kurz wird, da die Belichtungszeit die Pixelgröße in Scanrichtung bestimmt und daher auf die Geschwindigkeit abgestimmt werden muss. Möglicherweise reicht das Licht nicht aus, um ein qualitativ gutes Bild zu erzeugen. Die Belichtungszeit müsste erhöht werden.
Verwendet man hingegen einen CCD-Sensor im TDI-Mode, wird nun die Schiebegeschwindigkeit der Zeilen auf die Geschwindigkeit der Textilbahn synchronisiert. Hierbei wird nun eine Zeile auf der Textilbahn nacheinander auf jede Zeile des CCD-Sensors abgebildet und daher eine um den Faktor der Zeilenzahl höhere Lichtempfindlichkeit gegenüber dem Zeilensensor erreicht.
Verschiedene Hersteller bieten hierfür spezielle TDI-Sensoren an, die z.B. aus 96 Zeilen mit 4000 Pixeln pro Zeile bestehen. Hierbei wird die Empfindlichkeit um den Faktor 96 erhöht. Wichtig ist jedoch, dass die Schiebegeschwindigkeit exakt auf die Geschwindigkeit des Objekts synchronisiert wird, das sonst ein „Verwischen" auftritt und das Bild unscharf wird.
Es ist wichtig zu bemerken, dass zur Gewinnung der Farbinformation hierbei wieder drei Sensoren mit Strahlteiler benötigt werden. Die Verwendung eines Matrixfilter wie etwa der Bayer-Matrix ist nicht möglich, da die Farbinformation beim Schieben „verwischen" würde, also sich ausmitteln würden.
Um technisch anspruchsvolle, gleichwohl kostensensitive Applikationen realisieren zu können, wie etwa Panorama-Scanner zur Aufnahme von Landschaften, Gebäuden etc., könnte das TDI-Ausleseprinzip vorteilhaft benutzt werden, um die bei derartigen Anwendungen benötigte Lichtempfindlichkeit und Scangeschwindigkeit zu erreichen. Dem steht allerdings nachteilig gegenüber, dass die Verwendung der industriellen TDI-Sensoren in Verbindung mit Strahlteilern und mehreren Bildsensoren zur Gewinnung der Farbinformationen viel zu teuer und nicht praktikabel ist.
Aus dem Fachartikel „Image Motion Compensation with Frame Transfer CCD's" von Gaylord Olson (veröffentlicht in „Machine Vision and Three-Dimensional Imaging Systems for Inspection and Metrology II", Hrsg. Kevin G. Harding und John W.V. Miller, Proceedings of the SPIE, Vol. 4567) ist es bekannt, einen einzelnen CCD-Sensor im TDI-Betriebsmodus zu betreiben, wobei eine Bayer-Matrix zur Filterung der Farbinformationen genutzt wird. Hierbei wird vorgeschlagen, zur Vermeidung der ungewünschten Veränderung der Farbinformationen durch das sich verschiebende Gegenstandsbild auf dem CCD-Bildsensor bei gleichzeitig relativ zu den CCD-Pixeln fest vorgegebener Bayer-Matrix ein Auslesen der Pixelreihen so durchzuführen, dass an einem Zeitpunkt T₀ zwei benachbarte Zeilen des CCD mit höchstmöglicher Geschwindigkeit (damit näherungsweise gleichzeitig) ausgelesen werden und das nächste Auslesen der nächsten zwei Zeilen erst dann erfolgt, wenn das Bild des Objektes auf dem CCD genau um zwei Pixelreihen weiter gewandert ist. Grund hierfür ist, dass die Bayer-Matrix sich alle zwei Pixelreihen identisch wiederholt und damit die Farbinformationen auf den jeweils um zwei Reihen verschobenen Pixeln der Objektbildes auf dem CCD immer gleichartig bewertet werden. Das dort vorgeschlagene Verfahren ist aber nur sehr begrenzt anwendbar, da dadurch die erreichbare Scangeschwindigkeit gering ist. Die Auswertung der derart gewonnenen Informationen ist relativ einfach durch bekannte Interpolationsverfahren möglich, die die Farbbewertung mit Hilfe der Bayer-Matrix unmittelbar gegeben ist.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren vorzuschlagen, mit dem bei der Verwendung von CCD-Sensoren im TDI-Betriebsmodus gleichwohl gerätetechnisch mit geringem Aufwand und hoher Erfassungsgeschwindigkeit Farbinformationen des aufgenommenen Bildes gewonnen und ausgewertet werden können.
Die Lösung der erfindungsgemäßen Aufgabe ergibt sich aus den kennzeichnenden Merkmalen des Anspruches 1 in Zusammenwirken mit den Merkmalen des Oberbegriffes. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Die Erfindung geht aus von einem Verfahren zur Bestimmung von Farbinformationen eines Objektabbildes mit Hilfe eines CCD-Bildsensors, wobei jedem Pixel des Bildsensors je ein separates Farbfilterelement zugeordnet ist und die Farbfilterelemente als Bayer-Matrix den Pixeln des Bildsensors zugeordnet sind, und bei einer Relativbewegung des Objektabbildes relativ zu dem Bildsensor der Bildsensor derart im TDI-Modus betrieben wird, dass das Schieben der Ladungen der einzelnen Pixel über die Zeilen des Bildsensors auf die Relativgeschwindigkeit des Objektabbildes auf dem Bildsensor synchronisiert wird. Hierbei wird ein derart gattungsgemäßes Verfahren dadurch erfinderisch weiter entwickelt, dass eine erste Pixelzeile des Bildsensors in einer Auslesezeile ausgelesen wird, nach der zum Auslesen der ersten Pixelzeile notwendigen Zeit T₁ die Ladungen der Pixelzeilen auf dem Bildsensor in die jeweils nächste Pixelzeile weiter in Richtung auf die Auslesezeile geschoben werden und der nächste Auslesevorgang einer zweiten, der ersten benachbarten Pixelzeile erst nach einer weiteren Zeit T₂ erfolgt, die in einem Verhältnis zu T₁ steht und zur Relativgeschwindigkeit des Objektabbildes auf dem Bildsensor synchronisiert ist, und sich anschließend der Verfahrensablauf für weitere Pixelzeilen wiederholt, wobei aus den Ladungen der weiter geschobenen ersten und zweiten Pixelzeile mittels eines Interpolationsvorgangs auf Basis der Bewertung der Farbanteile der Bayer-Matrix die Zuordnung der Farben des Objektabbildes zu den einzelnen Pixeln berechnet wird. Das erfindungsgemäße Verfahren schlägt anschaulich gesprochen eine Art zyklisch synchronisiertes Auslesen der Pixelinformationen vor, wobei die Auslesezeitpunkte und damit die Integrationsdauer der Ladungsträger auf den einzelnen Pixelzeilen des CCD-Bildsensors erstens auf die relative Bewegung des Objektabbildes auf dem CCD-Bildsensor abgestimmt sind und zum anderen die durch die vor den Bildsensorelementen angeordneten Farbfilter nach der Bayer-Matrix gewonnenen Helligkeitsinformationen der einzelnen Pixel des Bildsensors mittels relativ einfacher Interpolationsalgorithmen näherungsweise in die Farbinformationen des Objektabbildes umgerechnet werden können. Dabei wird der Aufbau der Bayer-Matrix ausgenutzt und durch das Verhältnis der Zeiten T₁ und T₂ dafür gesorgt, dass die Farbüberlagerungen in den einzelnen Pixeln aufgrund der festen Zuordnung der Bayer-Matrix zu den unbewegt angeordneten Pixeln des Bildsensors überschaubar wieder durch Interpolation zurück gewonnen werden können. Gleichzeitig wird dabei die Scangeschwindigkeit nicht negativ beeinflusst, wie dies bei der Vorgehensweise aus dem Stand der Technik mit sehr schnellem Auslesen zweier benachbarter Zeilen unvermeidlich ist. Das Verfahren eignet sich daher auch für Anwendungen, die schnell bewegte Objekte erfassen müssen bzw. es ist möglich, durch schnelle Bewegung des CCD-Bildsensors in entsprechenden Scannern oder Panoramakameras für im wesentlichen unbewegte Objekte kurze Belichtungszeiten zu erreichen. Gleichzeitig ist der apparative Aufwand zur Umsetzung des Verfahrens gering, da nur ein handelsüblicher CCD-Bildsensor mit einer Bayer-Matrix benötigt wird und die eigentliche Bildbearbeitung sogar offline nach der Aufnahme erfolgen kann. Damit werden teure Lösungen mit drei parallelen Bildsensoren und Strahlenteiler unnötig. Auch ist durch die Anwendung des TDI-Betriebsmodus des CCD-Bildsensors eine hohe Lichtempfindlichkeit realisierbar.
Besonders vorteilhaft ist es für das vorgeschlagene Verfahren, wenn die Zeit T₂ einem geringen ganzzahligen Vielfachen der Zeit T₁ entspricht, beispielsweise wenn die Zeit T₂ doppelt so lang wie die Zeit T₁ ist. Hierbei werden die geometrischen Verhältnisse sowie die sich daraus ergebenden Zeiten und damit die Auswertung der Bayer-Matrix besonders einfach und überschaubar, so dass ein solchen Verfahren online etwa auch zur direkten Bildanzeige ei der Aufnahme geeignet sein könnte. Ebenfalls ist es denkbar, dass die Zeit T₂ in einem festen Verhältnis zu der Zeit T₁ steht, wobei das feste Verhältnis beliebig entsprechend der geometrischen und optischen Gegebenheiten gewählt werden kann und selbstverständlich auch T₁ größer als T₂ sein kann.
Von Vorteil ist es, wenn das Sammeln der von einem Objektabbild einlangenden Ladungsträger während des Belichtens der zweiten Pixelzeile im Verhältnis der Zeiten T₂/T₁ z.B. länger ist als das Sammeln der von einem Objektabbild einlangenden Ladungsträger während des Belichtens der ersten Pixelzeile. Wenn etwa die erste Pixelzeile ein Drittel und die zweite Pixelzeile zwei Drittel der Ladungsträger eines Objektabbildes aufsummiert, wenn die Zeit T₂ doppelt so lang wie die Zeit T₁ ist, kann durch das ungleichmäßig lange Sammeln der Ladungsträger auf den Pixelelementen der ersten und der zweiten Pixelreihe dafür gesorgt werden, dass die sich überlagernden Farbinformationen besonders gut durch Interpolationsverfahren zurück gewonnen werden.
Von weiterer Bedeutung für die praktische Umsetzung des Verfahrens ist es, wenn die zeitdiskrete Verschiebung der Ladungsträger auf den Pixelzeilen des CCD-Bildsensors mit einer mittleren Geschwindigkeit erfolgt, die der Geschwindigkeit der kontinuierlichen Bewegung des Objektabbildes im wesentlichen entspricht. Damit ist ein Verwischen der Bildinformationen auf den Pixeln des Bildsensors weitgehend verhindert, da zumindest im Mittel die Verschiebung des Objektabbildes auf dem Bildsensor und das Verschieben der Ladungen zwischen den einzelnen Pixelzeilen in Richtung auf das Ausleseregister zueinander synchronisiert sind.
Für die Anwendung der Synchronisation ist es von besonderer Bedeutung, dass die Zeit T₂ für das Auslesen der zweiten Zeile sich berechnet aus
wobei gilt

v_o: = effektive Geschwindigkeit der Objektabbildung auf dem CCD-Sensor
T₁: = Auslesezeit erster Teilschritt
T₂: = Auslesezeit zweiter Teilschritt
P: = Pixelgröße eines CCD-Bildelementes.

Hierdurch ist rein geometrisch eine Berechnungsvorschrift für die Zeiten T₁ und T₂ abhängig von den geometrischen Abmessungen der CCD-Bildelemente und der effektiven Geschwindigkeit der Objektabbildung auf dem CCD-Sensor angegeben, die eine optimale Auswahl der Zeit T₂ erlaubt, wenn die weitgehend gerätetechnisch bedingte Zeit T₁ für das Auslesen des Ausleseregisters bekannt ist.
Die vorstehend angegebene Berechnungsvorschrift kann nun dazu genutzt werden, bei einer Aufnahme eines stillstehenden Objektes mit einem bewegten CCD-Bildsensor die Bewegung des CCD-Bildsensors und damit die Geschwindigkeit des Objektabbildes auf dem CCD-Bildsensor vorzugeben. Wird beispielsweise mit einer Panoramakamera nach dem erfindungsgemäßen Verfahren gearbeitet, gibt beispielsweise die Drehgeschwindigkeit der Panoramakamera um ihre Drehachse die Verschiebung des Objektabbildes des typischerweise stillstehenden Objektes auf dem CCD-Bildsensor an und damit kann T₂ passend gewählt werden, so dass insbesondere die Bewegung des CCD-Bildsensors so eingestellt wird, dass die Zeit T₂ auf die Bewegung des Objektabbildes auf dem CCD-Bildsensor abgestimmt ist.
Handelt es sich hingegen bei einer Aufnahme um eine Aufnahme eines selbst bewegten Objektes mit einem stillstehenden CCD-Bildsensor, so kann ebenfalls anhand der vorstehend angegebenen Berechnungsvorschrift die Geschwindigkeit des Objektabbildes auf dem CCD-Bildsensor ermittelt und zur Bestimmung der Zeit T₂ berücksichtigt werden muss.
Die vorstehend beschriebene Ermittlung der Werte für T₂ kann dabei beispielsweise auch automatisch anhand etwa anhand eines wählbaren Betriebsmodus oder etwa auch einer internen oder externen Geschwindigkeitsmessung des aufzunehmenden Objektes erfolgen, etwa indem aus der ermittelten Geschwindigkeit des Objektabbil des auf dem CCD-Bildsensor ein im wesentlichen konstantes Verhältnis der Zeiten T₁ und T₂ bestimmt wird, das die Zeiten zum Auslesen der ersten und zweiten Pixelzeile auf die mittlere Bewegungsgeschwindigkeit des Objektabbildes auf dem CCD-Bildsensor synchronisiert.
Von Vorteil für die Scangeschwindigkeit ist es, wenn die erste und zweite Pixelzeile mit im wesentlichen höchstmöglicher Auslesegeschwindigkeit ausgelesen wird.
Die Verarbeitung der wie vorstehend beschrieben gewonnenen Bildinformationen lässt sich dann besonders vorteilhaft ausführen, wenn als Interpolationsverfahren auf Basis der Bewertung der Farbinformationen mit Hilfe der Bayer-Matrix lineare und/oder nichtlineare Interpolationsverfahren verwendet werden. Derartige Interpolationsverfahren sind vielfältig gebräuchlich und etwa in Digitalkameras in unterschiedlichster Ausgestaltung integriert und dem Fachmann vertraut. Einige einfach derartige Interpolationsverfahren kennt der Fachmann etwa aus der Veröffentlichung „Farbverarbeitung mit Bayer-Mosaic-Sensoren" von Uwe Furtner vom 31.8.2001, erschienen als Firmenveröffentlichung der Matrix Vision GmbH im Internet unter www.matrix-vision.com sowie wieder darin angegebener weiterer Literatur. Der Fachmann ist selbstverständlich nicht auf die dort beschriebenen Interpolationsverfahren beschränkt.
Hierbei ist es von Vorteil, wenn die Interpolation mit Hilfe von Farbinformationen benachbarter Pixel des ausgelesenen Objektabbildes erfolgt und ggf. auch geometrisch fehlende Pixel bestimmt werden.
Weiterhin ist die Zuordnung der ersten und der zweiten Zeile zu den sich wiederholenden Zeilen der Bayer-Matrix beliebig, solange bei der Interpolation die Zuordnung bekannt ist und berücksichtigt werden kann.
Von Vorteil ist es, dass bei der Interpolation der Farbanteile des Objektabbildes in der ersten und zweiten Zeile des CCD-Bildsensors unter Verwendung einer Bayer-Matrix bei T2 = 2·T1 gilt, dass die Grün-Anteile in halber möglicher Auflösung und die Rot- und Blau-Anteile als ein Viertel der möglichen Auflösung vorliegen. Damit ist eine gute Interpolation und damit eine recht genau Wiedergewinnung der Farbinformationen des Objektabbildes aus den interpolierten Helligkeitswerten der Pixel des CCD-Bildsensors möglich.
Eine besonders bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens zeigt die Zeichnung.
Es zeigen:
1–15 – Darstellung des Ablaufs der relativen Verschiebungsbewegung eines Objektabbildes auf den zeilen- und spaltenförmigen Bildelementen eines CCD-Bildsensors mit Darstellung der Verschiebung der Ladungsträger auf den mit einer Farbfilterung in Anordnung einer Bayer-Matrix versehenen Bildelementen,
16 – Überlagertes Objektabbild als Resultat eines verfahrensgemäßen Ablaufes gemäß der 1 bis 15.
In den 1 bis 15 ist in sehr schematischer Darstellung ein verfahrensgemäßer Ablauf in der Draufsicht auf einen Bildsensor in Form eines aus zeilen- und spaltenförmigen Pixeln aufgebauten CCD-Bildsensors zu erkennen, bei dem jedem lichtempfindlichen Pixel des Bildsensors genau ein Farbfilterelement aus den hier drei Grundfarben Rot (R), Grün (G) und Blau (B) zugeordnet ist. Die Farbfilterelemente R, G, B sind in Form einer sog. Bayer-Matrix den einzelnen Pixeln zugeordnet und damit innerhalb einer ersten Zeile in der Reihenfolge RGRGRGRGRGRG... und innerhalb einer zweiten Zeile in der Reihenfolge GBGBGBGBGBGB... aufeinanderfolgend angeordnet. Danach wiederholt sich in einer dritten Zeile die Anordnung der ersten Zeile, in einer vierten Zeile die Anordnung der zweiten Zeile und so fort. Derartige Bayer-Matrix-Anordnungen sind grundsätzlich bekannt und sollen hier nicht weiter erläutert werden.
Die Bayer-Matrix dient dazu, mit den eigentlich nur monochrom empfindlichen Pixeln des CCD-Bildsensors Informationen über den Farbgehalt eines Objektabbildes gewinnen zu können, das hier nur schematisch in Form eines auf den Bildsensor durch nicht dargestellte optische Einrichtungen projizierten Großbuchstabens „A" angedeutet sein soll und sich relativ zu dem Bildsensor bewegt. Die Relativverschiebung des Objektabbildes kann hierbei entweder durch eine Verschiebung oder Verdrehung des Bildsensors relativ zu einem feststehenden Objekt oder durch eine Verschiebung oder Verdrehung des Objektes relativ zu einem feststehenden Bildsensor oder durch eine Überlagerung beider Bewegungen erzeugen.
Der Bildsensor sammelt im Gegensatz zu der normalen Betriebsweise derartiger Bildsensoren bei der Bewegung des Objektabbildes über einen Zeitraum die von dem Objektabbild einfallenden Ladungsträger, indem der Bildsensor im sogenannten TDI-Betriebsmodus (Time Delay and Integration) arbeitet. Dabei werden nicht nur während der kurzzeitigen Öffnung eines Verschlusses Bildinformationen des Objektes auf den Bildsensor geworfen, sondern während einer längeren Zeit Ladungsträger der Bildinformation über den gesamten ladungsträgerempfindlichen Bereich des Bildsensors gesammelt. Da sich während dieser Zeit in der Regel das Objektabbild relativ zu dem Bildsensor bewegt, ist es erforderlich, dass die Verschiebebewegung der Ladungsträger innerhalb der Zeilen des Bildsensors hin zu einer nicht dargestellten Auslesezeile mit der Relativverschiebung des Objektabbildes relativ zu dem Bildsensor synchronisiert wird. Hierzu kann etwa die Relativgeschwindigkeit des Objektabbildes relativ zu dem Bildsensor ermittelt werden und die Ladungsträger einer Zeile des Bildsensors immer dann diskretisiert um eine Zeile in Richtung auf eine endseitig des Bildsensors angeordnete Auslesezeile hin verschoben werden, wenn sich das Objektabbild kontinuierlich um etwa den gleichen Betrag verschoben hat. Diese bisher dargestellte Vorgehensweise ist grundsätzlich bekannt und soll daher nur kurz beschrieben werden.
Will man mit einer solchen Anordnung eines Bildsensors farbige Bildinformationen gewinnen, so ist dies bisher nicht sinnvoll möglich. Da die Pixel selbst nur schwarzweiss empfindlich sind und daher keine Farben erfassen können, muss eine separate Farbfilterung wie etwa in Form einer Bayer-Matrix verwendet werden, die jedes Pixel nur empfindlich gegenüber einer einzelnen der typischerweise drei Grundfarben macht. Wandert nun das zu erfassende Objektabbild relativ zu den Bildelementen des Bildsensors weiter und werden die mit jedem farbig bewertenden Pixel aufsummierten Ladungsträger in die nächste Zeile und damit in ein anderes Pixel verschoben, so überlagern sich die von den jeweiligen Pixeln erfassten Ladungsträger, die aber aufgrund der Farbfilterelemente jeweils unterschiedlichen Farbinformationen entsprechen und es kommt zu einem Verwischen der Farbinformation. Anschaulich gesprochen wird eine weiter geschobene Ladung in einem Pixel, dessen Farbfilterelement beispielsweise den Rot-Anteil ausfiltert, anschließend einem Pixel zugeordnet, das nun durch die Bayer-Matrix einen Blau-Anteil ausfiltert. Die jeweils der roten bzw. blauen Filterung entsprechenden Ladungen in dem Pixel überlagern sich dabei und es entsteht ein Ladungszustand, der einer Mischfarbe entspricht und nur begrenzte Aussagekraft über die vom Objekt tatsächlich vorhandene Farbinformation beinhaltet.
Das erfindungsgemäße Verfahren schlägt nun aber vor, durch eine geschickte Auslesestrategie im Zusammenhang mit einer Interpolation der überlagerten Farbinformationen entsprechend den verschobenen Ladungsträgern in den Pixeln benachbarter Zeilen eine weitgehende Ermittlung der tatsächlichen Farbinformationen zu ermöglichen, ohne dass die vorstehend beschriebene Farbverfälschung durch die Verwendung einer Bayer-Matrix oder ähnlicher Farbbewertungsmethoden auftreten kann.
Hierzu ist in den 1 bis 16 die Situation des Bildsensors in der Draufsicht dargestellt, der aus mit Farbfilterelementen R, G und B versehenen Pixeln besteht und über den das Objektabbild „A" langsam aufgrund einer Relativbewegung wandert. Beginnend zu einem Zeitpunkt T₀ wird eine Zeile des CCD-Bildsensors vorzugsweise mit höchstmöglicher Geschwindigkeit ausgelesen, wobei der Auslesevorgang selbst eine Zeit T₁ benötigt. Währenddessen wandert das Objektabbild „A" aufgrund der kontinuierlichen Relativbewegung um einen Betrag weiter, der zwischen den 1 und 5 etwa einer Ausdehnung von zwei Dritteln eines Pixels entspricht. Die Ladungen in den einzelnen Pixeln des Bildsensors bleiben während dieser Zeit T₁ den jeweiligen Pixeln unverändert zugeordnet, d.h. die Pixel sammeln währenddessen Ladungsträger entsprechend ihrer jeweiligen Farbbewertung durch die jeweils zugeordneten Farbfilterelemente R, G oder B.
Unmittelbar nach dem Auslesen der ersten Pixelzeile (in den Figuren entspricht das dem Übergang zwischen 5 und 6) werden nun die Ladungen des gesamten Bildsensors jeweils um eine Zeile in Richtung auf die Auslesezeile weiter geschoben. Hierdurch verschieben sich die Ladungen, die beispielsweise bisher in der linken oberen Ecke des Bildsensors in einem mit einem grünen Farbfilterelement G versehenen Pixel gesammelt wurden, nun in ein Pixel mit einem roten Farbfilterelement R. Entsprechend werden nunmehr aufgrund der Anordnung der Farbfilterelemente in der Bayer-Matrix eine Verschiebung der Ladungsträger und eine Integration andersfarbig gefilterter Ladungsträger vorgenommen.
Dieser Zustand der Sammlung farbig bewerteter Ladungsträger in den Pixeln des Bildsensors wird nun nach dem hier dargestellten Verfahren solange vorgenommen, bis eine weitere Zeit T₂ = 2·T₁ verstrichen ist (dies entspricht dem Verschieben des Objektabbildes in den 6 bis 15). Innerhalb dieser Zeit T₂ = 2·T₁ können sich in jedem Pixel grundsätzlich also doppelt so viele Ladungsträger sammeln wie in der vorhergehenden Zeit des Auslesens T₁, selbstverständlich abhängig von der jeweilig einfallenden Lichtintensität. Nach Ablauf von T₂ wird erneut ein Auslesevorgang in der Auslesezeile gestartet, indem die Ladungsträger in den Pixeln des Bildsensors um eine Zeile weiter geschoben werden und die Auslesezeile erneut ausgelesen wird. Der gesamte Verfahrensablauf gemäß den 1 bis 15 beginnt von vorn. Das Objektabbild „A" überstreicht in dieser Zeit T₁ + T₂ insgesamt 2 Pixel, wodurch durch die synchrone Verschiebung der Ladungsträger um insgesamt ebenfalls 2 Pixel die Relativbewegung des Objektabbildes ein geometrisches Verwischen der Bildinformationen in den Pixeln bezogen auf das Objektabbild verhindert wird, also das Objektabbild bezogen auf die Pixelverschiebung synchronisiert ist und scharf abgebildet bleibt.
Als Ergebnis der Addition der in den Pixeln gesammelten und durch die Farbfilterelemente farblich bewerteten Ladungsträger ergibt sich letztendlich die in der 16 dargestellte Situation. Aus diesem Bild mit den in den Ladungsträgern gesammelten und den Pixeln zugeordneten Farbinformationen r, g und b lassen sich nun anhand folgender Überlegungen die tatsächlich aufgrund des Objektabbildes sich ergebenden Farbinformationen durch Interpolationsverfahren herausrechnen.
Die Darstellung in der 16 ist insofern nicht ganz richtig, da das Pixel die kleinste geometrische Einheit ist, d.h. die Verläufe innerhalb eines Pixels wären eigentlich als Mittelwert über das ganze Pixel darzustellen. Die Farben r, g und b der Pixel sind allerdings ein Hinweis darauf, mit welcher Farbe das Pixel eigentlich zu interpretieren ist. Das bedeutet, dass z.B. ein rotes Pixel r in der 16 aufgrund der Farbbwertung durch die Bayer-Matrix und die zeitliche Gestaltung der Verschiebebewegung zu 1/3 mit einem Grünfilter der Bayer-Matrix belichtet wurde und zu 2/3 mit einem Rotfilter der Bayer-Matrix (T₂ = 2·T₁). Entsprechend kann für alle anderen Pixel ebenfalls die nachstehend angegebene Farbinformation r, g und b interpretiert werden. Das ausgelesene Bild selbst ist ohne Farbinterpolation zunächst als Schwarz /Weißbild zu sehen. Aufgabe der nachfolgenden Interpolation ist dabei die Geometrie und die Farbe des Objektabbildes möglichst richtig wiederherzustellen.
Nimmt man im erfindungsgemäßen Verfahren wie vorstehend als Beispiel angeführt und in der Praxis vorteilhaft T₂ = 2·T₁ an, wird in jedem Pixel ein Grünanteil belichtet, wobei im Grün-Kanal die Spalten im Verhältnis der Zeiten verschoben und auch im Verhältnis ein Teil der Nachbarfarben addiert sind:

Bayer-Matrix: RGRGRGRG... GBGBGBGB...

Man erhält im ausgelesenen Bild gemäß der Überlagerung in 16: rgrgrgrgrg... mit r = 2/3 R + 1/3 G, g = 1/3 R + 2/3 G gbgbgbgb... mit g = 1/3 B + 2/3 G, b = 2/3 B + 1/3 G
Da in jedem Pixel grün enthalten ist, ist der Grün-Kanal sehr gut wiederherzustellen. Das Grün ist besonders wichtig, da das Grün den größten Anteil an der Bildintensität hat und daher die meiste geometrische Information über das Bild enthält (100% Weiß ∼ 13% Blau + 30% Rot + 57% Grün gemäß dem physiologischen Eindruck).
Durch Betrachtung von benachbarten Pixeln mittels grundsätzlich bekannter Interpolationsverfahren kann insbesondere der Grünkanal sehr genau interpoliert werden. Rot und Blau können gegenüber einer normalen Bayer-Matrix-Bewertung ebenfalls genauer und einfacher interpoliert werden. Vereinfacht gesagt wird bei der Interpolation die Vermischung mit den Nachbarfarben herausgerechnet und anschließend geometrisch fehlende Pixel interpoliert. Hierbei kommen grundsätzliche bekannte bzw. schon verwendete lineare und nicht-lineare Verfahren zum Einsatz, die etwa aus dem Digital-Kamera-Bereich bekannt sind.
Durch die auftretende Mischung und Entsättigung der Farben ist allerdings ein hoher Signal-Rausch-Abstand erforderlich, der durch die Verwendung qualitativ guter Bildsensoren aber gegeben ist, insbesondere da der Bildsensor typischerweise bei hoher Geschwindigkeit betrieben wird und daher das Dunkelsignalrauschen gering ist.
In der praktischen Anwendung eines nach dem Verfahren betriebenen Scanners gibt hierbei der Antrieb, der den CCD-Sensor bewegt, die Geschwindigkeit vor, z.B. bei einem Panorama-Scanner die Drehgeschwindigkeit. Das heißt, in einer solchen Anwendung sind alle Parameter fest definiert. In einer anderen Anwendung, bei der das Objekt die Geschwindigkeit vorgibt (wie z.B. in der zuvor beschriebenen Anwendung zur Untersuchung einer Papierbahn), muss die Geschwindigkeit bekannt sein oder gemessen werden. Die Interpolation ist auch bei variabler Geschwindigkeit gleich, wenn T₂ in fester Beziehung zu T₁ steht (T₂ = Faktor·T₁, Faktor = const.)
Generell ist es ebenfalls möglich, auch längere Zyklen zu verwenden, z.B. aus 4 Zeilen oder auch aus drei Zeilen. Dies könnte den Vorteil haben, Moiré-Effekte im Bild zu vermeiden, das durch die Farbinterpolation entstehen könnte. Jedoch muss die Objektgeschwindigkeit mit der Schiebegeschwindigkeit der Zeilen des Bildsensors im Mittel synchronisiert sein.
Interessant ist auch ein Vergleich der erzielbaren Leistungswerte des erfindungsgemäßen Verfahrens mit der vorstehend genannten Vorgehensweise nach Olson.
Ein interpolierbares Bild mit Bayermatrix-Farben würde man theoretisch auch erhalten, wenn man nach dem Vorschlag von Olson immer 2 Zeilen auf einmal ausliest, d.h. hier T₂ >> T₁(T₂ sehr viel größer als T₁). Da Zeilen allerdings physikalisch immer nur nacheinander auslesbar sind, kann man näherungsweise von der Erfüllung dieser Forderung dann ausgehen, wenn T₂ >> T₁ ist. Das Verfahren nach Olson ist aber praktisch nicht anwendbar, da dadurch die erreichbare Scangeschwindigkeit recht gering ist und für viele Anwendungen nicht ausreicht. Die erreichbaren Zeilenfrequenz ist proportionla zu 2/(T₁ + T₂). Hierbei ist T₁ die schnellste Auslesezeit für eine Zeile.
Vergleicht man die Vorgehensweise von Olson mit dem erfindungsgemäßen Verfahren, so wird die starke Verbesserung gemäß dem hier vorgeschlagenen Verfahren sofort augenfällig.

Angenommene Auslesefrequenz 50MPixel/s
Zeilenlänge des Sensors 3000 Pixel
Daraus folgt für die benötigte Auslesezeit der Auslesezeile: T₁ = 60μs
Nimmt man für das Verfahren nach Olson an T₂ = 25·T₁, so ergibt sich eine Zeilenfrequenz von 1282 Hz.

Nimmt man für das erfindungsgemäße Verfahren an T₂ = 2·T₁, so ergibt sich eine Zeilenfrequenz von 11111 Hz, d.h. also etwa 10 mal schneller als bei der Vorgehensweise nach Olson.
Zu dem zu verwendenden Interpolationsverfahren lässt sich aussagen, dass der Interpolationsalgorithmus generell ähnlich zu dem einer Digitalkamera sein sollte, die mit Verschluss arbeitet. Vorbereitend sind ähnliche Korrekturen durchzuführen, wie z.B. die Korrektur des Übersprechens der Nachbarpixel, d.h. auch zwischen den Farben der Bayer-Matrix.

Claims

Verfahren zur Bestimmung von Farbinformationen eines Objektabbildes mit Hilfe eines CCD-Bildsensors, wobei jedem Pixel des Bildsensors je ein separates Farbfilterelement zugeordnet ist und die Farbfilterelemente als Bayer-Matrix den Pixeln des Bildsensors zugeordnet sind, und bei einer Relativbewegung des Objektabbildes relativ zu dem Bildsensor der Bildsensor derart im TDI-Modus betrieben wird, dass das Schieben der Ladungen der einzelnen Pixel über die Zeilen des Bildsensors auf die Relativgeschwindigkeit des Objektabbildes auf dem Bildsensor synchronisiert wird, dadurch gekennzeichnet, dass eine erste Pixelzeile des Bildsensors in einer Auslesezeile ausgelesen wird, nach der zum Auslesen der ersten Pixelzeile notwendigen Zeit T₁ die Ladungen der Pixelzeilen auf dem Bildsensor in die jeweils nächste Pixelzeile weiter in Richtung auf die Auslesezeile geschoben werden und der nächste Auslesevorgang einer zweiten, der ersten benachbarten Pixelzeile erst nach einer weiteren Zeit T₂ erfolgt, die in einem Verhältnis zu T₁ steht und zur Relativgeschwindigkeit des Objektabbildes auf dem Bildsensor synchronisiert ist, und sich anschließend der Verfahrensablauf für weitere Pixelzeilen wiederholt, wobei aus den Ladungen der weiter geschobenen ersten und zweiten Pixelzeile mittels eines Interpolationsvorgangs auf Basis der Bewertung der Farbanteile der Bayer- Matrix die Zuordnung der Farben des Objektabbildes zu den einzelnen Pixeln berechnet wird.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die Zeit T₂ einem geringen ganzzahligen Vielfachen der Zeit T₁ entspricht.
Verfahren gemäß Anspruch 2, dadurch gekennzeichnet, dass die Zeit T₂ doppelt so lang wie die Zeit T₁ ist.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die Zeit T₂ in einem festen Verhältnis zu der Zeit T₁ steht.
Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Sammeln der von einem Objektabbild einlangenden Ladungsträger während des Belichtens der zweiten Pixelzeile im Verhältnis der Zeiten T₂/T₁ länger ist als das Sammeln der von einem Objektabbild einlangenden Ladungsträger während des Belichtens der ersten Pixelzeile.
Verfahren gemäß Anspruch 5, dadurch gekennzeichnet, dass die erste Pixelzeile ein Drittel und die zweite Pixelzeile zwei Drittel der Ladungsträger eines Objektabbildes aufsummiert, wenn die Zeit T₂ doppelt so lang wie die Zeit T₁ ist.
Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die zeitdiskrete Verschiebung der Ladungsträger auf den Pixelzeilen des CCD-Bildsensors mit einer mittleren Geschwindigkeit erfolgt, die der Geschwindigkeit der kontinuierlichen Bewegung des Objektabbildes im wesentlichen entspricht.
Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Zeit T₂ für das Auslesen der zweiten Zeile sich berechnet aus
wobei gilt v_o = effektive Geschwindigkeit der Objektabbildung auf dem CCD-Sensor T₁ = Auslesezeit erster Teilschritt T₂ = Auslesezeit zweiter Teilschritt P = Pixelgröße eines CCD-Bildelementes.
Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass bei einer Aufnahme eines stillstehenden Objektes mit einem bewegten CCD-Bildsensor die Bewegung des CCD-Bildsensors die Geschwindigkeit des Objektabbildes auf dem CCD-Bildsensor vorgibt und bekannt ist.
Verfahren gemäß Anspruch 9, dadurch gekennzeichnet, dass die Bewegung des CCD-Bildsensors so eingestellt wird, dass die Zeit T₂ auf die Bewegung des Objektabbildes auf dem CCD-Bildsensor abgestimmt ist.
Verfahren gemäß einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass bei einer Aufnahme eines bewegten Objektes mit einem stillstehenden CCD-Bildsensor die Bewegung des CCD-Bildsensors die Geschwindigkeit des Objektabbildes auf dem CCD-Bildsensor ermittelt und zur Bestimmung der Zeit T₂ berücksichtigt werden muss.
Verfahren gemäß Anspruch 11, dadurch gekennzeichnet, dass aus der ermittelten Geschwindigkeit des Objektabbildes auf dem CCD-Bildsensor ein im wesentlichen konstantes Verhältnis der Zeiten T₁ und T₂ bestimmt wird, das die Zeiten zum Auslesen der ersten und zweiten Pixelzeile auf die mittlere Bewegungsgeschwindigkeit des Objektabbildes auf dem CCD-Bildsensor synchronisiert.
Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die erste und zweite Pixelzeile mit im wesentlichen höchstmöglicher Auslesegeschwindigkeit ausgelesen wird
Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass als Interpolationsverfahren auf Basis der Bewertung der Farbinformationen mit Hilfe der Bayer-Matrix lineare und/oder nichtlineare Interpolationsverfahren verwendet werden.
Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Interpolation mit Hilfe von Farbinformationen benachbarter Pixel des ausgelesenen Objektabbildes erfolgt.
Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass bei der Interpolation der Farbinformationen geometrisch fehlende Pixel bestimmt werden.
Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Zuordnung der ersten und der zweiten Zeile zu den sich wiederholenden Zeilen der Bayer-Matrix beliebig ist, solange bei der Interpolation die Zuordnung bekannt ist und berücksichtigt werden kann.
Verfahren gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass bei der Interpolation der Farbanteile des Objektabbildes in der ersten und zweiten Zeile des CCD-Bildsensors unter Verwendung einer Bayer-Matrix bei T₂ = 2·T₁ gilt, dass die Grün-Anteile in halber möglicher Auflösung und die Rot- und Blau-Anteile als ein Viertel der möglichen Auflösung vorliegen.
Vorrichtung zur Durchführung des Verfahrens gemäß Anspruch 1.