-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung von
Farbinformationen eines Objektabbildes mit Hilfe eines CCD-Bildsensors
im TDI-Betriebsmodus
gemäß Oberbegriff
des Anspruches 1.
-
Die
digitale Photographie ersetzt zunehmend die konventionelle Photographie
und dringt dabei auch in Bereiche vor, die durch hohe Leistungsanforderungen
an Aufnahmegeschwindigkeit und Farbgenauigkeit gekennzeichnet sind.
Bei der digitalen Photographie kommen üblicherweise Bildsensoren aus
einer großen
Anzahl matrixförmig
angeordneter Sensorelemente zum Einsatz, die die durch die Optik
auf den Bildsensor geworfene Bildinformation digitalisiert erfassen
und einem geeigneten Speichermedium zuführen.
-
CCD-Sensoren
(Charge Coupled Device) als derzeit am weitesten verbreitete Bildsensoren
sammeln durch über
die Optik einfallendes Licht erzeugte Ladungen in üblicherweise
matrixförmig
angeordneten Pixelstrukturen, die über Schieben von Ladungen von
Zeile zu Zeile und, zuletzt im Ausleseregister, von Pixel zu Pixel
zu einer Ausgangsstufe hin, die die Ladung in eine Spannung umsetzt,
ausgelesen werden. Der Bildaufnahmevorgang setzt hierbei einen Verschluss
voraus, da während
des Auslesevorgangs der Sensor nicht weiter belichtet werden darf, da
es sonst zu Verschmieren der Bildinformationen kommt.
-
Der
Vorgang der Bildaufnahme läuft
vereinfacht wie folgt ab:
- a) Auslesen des Sensors,
um den Sensor von unerwünschten
Ladungen zu befreien (z. B. auch von Dunkelsignalen, die durch thermische
Effekte im Sensor gesammelt werden),
- b) Verschluss öffnen
und Bild belichten,
- c) Verschluss schließen
und Bild auslesen.
-
Weit
verbreitet sind die in der digitalen Photographie verwendeten Full-Frame-CCD-Sensoren, die das
bildaufnehmende Element sind und auf der ganzen einfallenden Bildfläche der
Kamera das Bild zeitgleich aufnehmen.
-
Derartige
Bildsensoren haben das Problem, dass sie das Bild eigentlich nur
monochrom aufnehmen können,
also nur Schwarz/Weiß-Aufnahmen entsprechend
der Bildhelligkeit jedes einzelnen Pixels ermöglichen. Es gibt daher verschiedene
Ansätze,
um mit derartigen eigentlich monochrom arbeitenden Bildsensoren
trotzdem farbige Bildinformationen zu gewinnen.
-
Bei
einer technisch vorteilhaften Lösung lässt sich
die Farbinformation durch Verwendung von 3 Sensoren und eines Strahlteilers
gewinnen (je ein Sensor z. B. für
die Grundfarben Rot, Grün,
Blau oder auch für
die Komplementärfarben
Cyan, Magenta und Gelb). Dies ist eine aufwändige und teure Lösung und
nur unter Verwendung von speziellen Objektiven, die auf den Strahlteiler
abgestimmt sind, möglich.
Hierbei wird auf jeden der Bildsensoren über seine ganze Fläche nur
der Farbanteil aufgegeben, der den ebenfalls über die ganze Bildfläche dieses Bildsensors
gleichmäßig wirkenden
Farbfilter passieren kann. Mit dieser Technik lassen sich dann aus den
zueinander gehörigen
Pixelinformationen jedes der drei Bildsensoren sehr genaue Farbinformationen
des Pixels gewinnen.
-
Eine
weitere Möglichkeit
die Farbinformation zu gewinnen, ist die Verwendung einer sog. Bayer-Matrix.
Hierbei werden die Pixel nur eines Bildsensors mit einer Farbfiltermatrix
aus einzelnen Farbfilterelementen versehen, die, wie folgt, aufgebaut
ist:
RGRGRGRGRGRG...
GBGBGBGBGBGB...
RGRGRGRGRGRG...
GBGBGBGBGBGB...
...
...
-
Den
nebeneinander liegenden Pixeln werden somit verschiedene Farben,
z. B. Rot (R), Grün (G)
und Blau (B) zugeordnet. Um diese Farbinformationen zu erhalten,
wird vor jeder einzelnen Zelle ein winziger Farbfilter z. B. in
einer der drei Grundfarben Rot, Grün oder Blau aufgebracht. Jedes
CCD-Element liefert dementsprechend nur die Information für einen
einzigen Farbanteil, so dass die benachbarten Pixel für die Errechnung
der tatsächlichen
Farbe per Farbinterpolation herangezogen werden müssen. Bei der
Farbinterpolation geht man von der Annahme aus, dass es zwischen
zwei benachbarten Pixeln zu keinen erheblichen Farbunterschieden
kommt.
-
Da
das menschliche Auge empfindlicher für Grüntöne ist, wird dem in der Bayer-Matrix Rechnung getragen
und es gibt insgesamt 50% grüne
Sensorpixel (G) und je 25% blaue (B) und rote Sensorpixel (R). Aus
einem so gewonnen Rohbild wird mit Hilfe von Algorithmen, die üblicherweise
in Computersoftware realisiert sind, ein komplettes Farbbild interpoliert.
Hierbei ist Bildqualität
geringer als bei der Drei-Sensor-Lösung, da
nur 1/3 der Bildinformation zur Verfügung steht. Die Bildqualität hängt dabei
entscheidend von der Qualität
der Interpolationsalgorithmen ab. Ein Algorithmus zur Farbinterpolation
benötigt
je Bildpunkt im fertigen Foto die Information von drei beieinanderliegenden
RGB-Pixeln und kann so in etwa 33% der CCD-Fläche
ausnutzen, um ein Bild zu berechnen.
-
Bekannt
sind weiterhin spezielle CCD-Sensoren der Firma Foveon, bei denen
die drei Farbpixel nicht mehr nebeneinander liegen, sondern übereinander
in drei Schichten angeordnet sind und so die Farbinformation gewinnen.
Das Licht dringt hierbei auf Grund der Wellenlänge verschieden tief in den Bildsensor
ein und die Farbinforation kann gewonnen werden (ähnlich wie
beim Farbfilm). So steht die phy sikalische Auflösung auch unmittelbar als Bildauflösung zur
Verfügung.
Diese Technologie ist nicht gut beherrschbar und hat sich bisher
nicht durchgesetzt.
-
Bekannt
sind auch andere Sensortechnologien als CCD-Sensoren. Es gibt z.
B. CMOS-Sensoren, die die Information über Multiplexerstrukturen auslesen
und günstig
herzustellen sind. Sie sind bereits sehr verbreitet. Hierbei kann
im Sensor auch ein „elektronischer" Verschluss integriert
sein.
-
Es
gibt auch Interline- und Frametransfer-CCD-Sensoren. Hierbei werden
die Ladungen schnell in einen abgedeckten Teil des Sensors transferiert,
um auf den Verschluss verzichten zu können. Diese Sensoren kommen
hauptsächlich
in Video-Kameras
zum Einsatz.
-
Als
spezielle Betriebsart von CCD-Sensoren und insbesondere von Full-Frame-CCD-Sensoren ist die
so genannte TDI-Betriebsart bekannt (Time Delay and Integration).
Besonderheit hierbei ist, dass während
des Auslesevorgangs des CCD-Sensors das Bild belichtet wird. Hierbei
wird das Schieben der Zeilen hin zum Ausleseregister auf die Bewegung
des aufzunehmenden Bildes synchronisiert und so ein „Scan-Vorgang" realisiert, der
theoretisch unbegrenzt lang sein kann. Damit lassen sich die Belichtungszeiten
je Pixel des Bildsensors und damit die gewonnene Ladungsmenge bzw.
die Lichtempfindlichkeit deutlich erhöhen. Problematisch hieran ist
es, dass vorausgesetzt werden muss, dass sich entweder der Sensor
vor einer still stehenden Vorlage bewegt oder sich die Vorlage bewegt,
da ansonsten ein Verwischen der Bildinformationen über benachbarte
Pixel des Bildsensors auftreten würde.
-
Die
TDI-Betriebsart von CCD-Sensoren kann an einem einfachen Beispiel
erläutert
werden, z. B. dem Scannen einer sich bewegenden Textilbahn. Die
Textilbahn bewegt sich dabei schnell in einer Herstellungsmaschine
und soll auf Fehler runtersucht werden. Erster Ansatz wäre die Verwendung eines
Zeilensensors, der das Bild Zeile für Zeile belichtet und ausliest.
Hierbei funktioniert ein Zeilensensor so ähnlich wie ein CCD-Sensor,
nur dass er aus einer Zeile besteht und die Zeile immer neu belichtet
wird. Das Bild der Textilbahn wird durch die Bewegung der Textilbahn
selbst erzeugt. Der Nachteil hierbei ist, dass bei hoher Geschwindigkeit
der Bahn die Belichtungszeit pro Zeile sehr kurz wird, da die Belichtungszeit
die Pixelgröße in Scanrichtung
bestimmt und daher auf die Geschwindigkeit abgestimmt werden muss.
Möglicherweise
reicht das Licht nicht aus, um ein qualitativ gutes Bild zu erzeugen. Die
Belichtungszeit müsste
erhöht
werden.
-
Verwendet
man hingegen einen CCD-Sensor im TDI-Mode, wird nun die Schiebegeschwindigkeit
der Zeilen auf die Geschwindigkeit der Textilbahn synchronisiert.
Hierbei wird nun eine Zeile auf der Textilbahn nacheinander auf
jede Zeile des CCD-Sensors
abgebildet und daher eine um den Faktor der Zeilenzahl höhere Lichtempfindlichkeit
gegenüber
dem Zeilensensor erreicht.
-
Verschiedene
Hersteller bieten hierfür
spezielle TDI-Sensoren an, die z. B. aus 96 Zeilen mit 4000 Pixeln
pro Zeile bestehen. Hierbei wird die Empfindlichkeit um den Faktor
96 erhöht.
Wichtig ist jedoch, dass die Schiebegeschwindigkeit exakt auf die
Geschwindigkeit des Objekts synchronisiert wird, da sonst ein „Verwischen" auftritt und das
Bild unscharf wird.
-
Es
ist wichtig zu bemerken, dass zur Gewinnung der Farbinformation
hierbei wieder drei Sensoren mit Strahlteiler benötigt werden.
Die Verwendung eines Matrixfilter wie etwa der Bayer-Matrix ist
nicht möglich,
da die Farbinformation beim Schieben „verwischen" würde, also
sich ausmitteln würden.
-
Um
technisch anspruchsvolle, gleichwohl kostensensitive Applikationen
realisieren zu können, wie
etwa Panorama-Scanner zur Aufnahme von Landschaften, Gebäuden etc.,
könnte
das TDI-Ausleseprinzip vorteilhaft benutzt werden, um die bei derartigen
Anwendungen benötigte
Lichtempfindlichkeit und Scangeschwindigkeit zu erreichen. Dem steht
allerdings nachteilig gegenüber,
dass die Verwendung der industriellen TDI-Sensoren in Verbindung
mit Strahlteilern und mehreren Bildsensoren zur Gewinnung der Farbinformationen
viel zu teuer und nicht praktikabel ist.
-
Aus
dem Fachartikel „Image
Motion Compensation with Frame Transfer CCD's" von
Gaylord Olson (veröffentlicht
in „Machine
Vision and Three-Dimensional Imaging Systems for Inspection and
Metrology II", Hrsg.
Kevin G. Harding und John W. V. Miller, Proceedings of the SPIE,
Vol. 4567) ist es bekannt, einen einzelnen CCD-Sensor im TDI-Betriebsmodus zu betreiben,
wobei eine Bayer-Matrix zur Filterung der Farbinformationen genutzt
wird. Hierbei wird vorgeschlagen, zur Vermeidung der ungewünschten
Veränderung
der Farbinformationen durch das sich verschiebende Gegenstandsbild
auf dem CCD-Bildsensor bei gleichzeitig relativ zu den CCD-Pixeln fest
vorgegebener Bayer-Matrix ein Auslesen der Pixelreihen so durchzuführen, dass
an einem Zeitpunkt T0 zwei benachbarte Zeilen
des CCD mit höchstmöglicher
Geschwindigkeit (damit näherungsweise
gleichzeitig) ausgelesen werden und das nächste Auslesen der nächsten zwei
Zeilen erst dann erfolgt, wenn das Bild des Objektes auf dem CCD
genau um zwei Pixelreihen weiter gewandert ist. Grund hierfür ist, dass
die Bayer-Matrix sich alle zwei Pixelreihen identisch wiederholt
und damit die Farbinformationen auf den jeweils um zwei Reihen verschobenen
Pixeln des Objektbildes auf dem CCD immer gleichartig bewertet werden.
Das dort vorgeschlagene Verfahren ist aber nur sehr begrenzt anwendbar, da
dadurch die erreichbare Scangeschwindigkeit gering ist. Die Auswertung
der derart gewonnenen Informationen ist relativ einfach durch bekannte
Interpolationsverfahren möglich,
die die Farbbewertung mit Hilfe der Bayer-Matrix unmittelbar gegeben
ist.
-
Aufgabe
der vorliegenden Erfindung ist es daher, ein Verfahren vorzuschlagen,
mit dem bei der Verwendung von CCD-Sensoren im TDI-Betriebsmodus
gleichwohl gerätetechnisch
mit geringem Aufwand und hoher Erfassungsgeschwindigkeit Farbinformationen
des aufgenommenen Bildes gewonnen und ausgewertet werden können.
-
Die
Lösung
der erfindungsgemäßen Aufgabe
ergibt sich aus den kennzeichnenden Merkmalen des Anspruches 1 in
Zusammenwirken mit den Merkmalen des Oberbegriffes. Weitere vorteilhafte
Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Die
Erfindung geht aus von einem Verfahren zur Bestimmung von Farbinformationen
eines Objektabbildes mit Hilfe eines CCD-Bildsensors, wobei jedem
Pixel des Bildsensors je ein separates Farbfilterelement zugeordnet
ist und die Farbfilterelemente als Bayer-Matrix den Pixeln des Bildsensors
zugeordnet sind, und bei einer Relativbewegung des Objektabbildes
relativ zu dem Bildsensor der Bildsensor derart im TDI-Modus betrieben
wird, dass das Schieben der Ladungen der einzelnen Pixel über die
Zeilen des Bildsensors auf die Relativgeschwindigkeit des Objektabbildes
auf dem Bildsensor synchronisiert wird. Hierbei wird ein derart
gattungsgemäßes Verfahren dadurch
erfinderisch weiter entwickelt, dass eine erste Pixelzeile des Bildsensors
in einer Auslesezeile ausgelesen wird, nach der zum Auslesen der
ersten Pixelzeile notwendigen Zeit T1 die
Ladungen der Pixelzeilen auf dem Bildsensor in die jeweils nächste Pixelzeile
weiter in Richtung auf die Auslesezeile geschoben werden und der
nächste
Auslesevorgang einer zweiten, der ersten benachbarten Pixelzeile
erst nach einer weiteren Zeit T2 erfolgt,
die in einem Verhältnis
von T2 ungleich T1 zu
T1 steht und zur Relativgeschwindigkeit
des Objektabbildes auf dem Bildsensor synchronisiert ist, und sich
anschließend der
Verfahrensablauf für
weitere Pixelzeilen wiederholt, wobei aus den Ladungen der weiter
geschobenen ersten und zweiten Pixelzeile mittels eines Interpolationsvorgangs
auf Basis der Bewertung der Farbanteile der Bayer-Matrix die Zuordnung
der Farben des Objektabbildes zu den einzelnen Pixeln berechnet
wird. Das erfindungsgemäße Verfahren schlägt anschaulich
gesprochen eine Art zyklisch synchronisiertes Auslesen der Pixelinformationen vor,
wobei die Auslesezeitpunkte und damit die Integrationsdauer der
Ladungsträger
auf den einzelnen Pixelzeilen des CCD-Bildsensors erstens auf die
relative Bewegung des Objektabbildes auf dem CCD-Bildsensor abgestimmt
sind und zum anderen die durch die vor den Bildsensorelementen angeordneten
Farbfilter nach der Bayer-Matrix gewonnenen Helligkeitsinformationen
der einzelnen Pixel des Bildsensors mittels relativ einfacher Interpolationsalgorithmen
näherungsweise
in die Farbinformationen des Objektabbildes umgerechnet werden können. Dabei
wird der Aufbau der Bayer-Matrix ausgenutzt und durch das Verhältnis der
Zeiten T1 und T2 dafür gesorgt,
dass die Farbüberlagerungen
in den einzelnen Pixeln aufgrund der festen Zuordnung der Bayer-Matrix
zu den unbewegt angeordneten Pixeln des Bildsensors überschaubar
wieder durch Interpolation zurück
gewonnen werden können.
Gleichzeitig wird dabei die Scangeschwindigkeit nicht negativ beeinflusst,
wie dies bei der Vorgehensweise aus dem Stand der Technik mit sehr
schnellem Auslesen zweier benachbarter Zeilen unvermeidlich ist.
Das Verfahren eignet sich daher auch für Anwendungen, die schnell
bewegte Objekte erfassen müssen
bzw. es ist möglich,
durch schnelle Bewegung des CCD-Bildsensors in entsprechenden Scannern
oder Panoramakameras für
im wesentlichen unbewegte Objekte kurze Belichtungszeiten zu erreichen. Gleichzeitig
ist der apparative Aufwand zur Umsetzung des Verfahrens gering,
da nur ein handelsüblicher
CCD-Bildsensor mit einer Bayer-Matrix benötigt wird und die eigentliche
Bildbearbeitung sogar offline nach der Aufnahme erfolgen kann. Damit
werden teure Lösungen
mit drei parallelen Bildsensoren und Strahlenteiler unnötig. Auch
ist durch die Anwendung des TDI-Betriebsmodus des CCD-Bildsensors eine hohe
Lichtempfindlichkeit realisierbar.
-
Besonders
vorteilhaft ist es für
das vorgeschlagene Verfahren, wenn die Zeit T2 einem
geringen ganzzahligen Vielfachen der Zeit T1 entspricht, beispielsweise
wenn die Zeit T2 doppelt so lang wie die
Zeit T1 ist. Hierbei werden die geometrischen
Verhältnisse
sowie die sich daraus ergebenden Zeiten und damit die Auswertung
der Bayer-Matrix besonders einfach und überschaubar, so dass ein solches Verfahren
online etwa auch zur direkten Bildanzeige der Aufnahme geeignet
sein könnte.
Ebenfalls ist es denkbar, dass die Zeit T2 in
einem festen Verhältnis zu
der Zeit T1 steht, wobei das feste Verhältnis beliebig
entsprechend der geometrischen und optischen Gegebenheiten gewählt werden
kann und selbstverständlich
auch T1 größer als T2 sein
kann.
-
Von
Vorteil ist es, wenn das Sammeln der von einem Objektabbild einlangenden
Ladungsträger während des
Belichtens der zweiten Pixelzeile im Verhältnis der Zeiten T2/T1 z. B. länger
ist als das Sammeln der von einem Objektabbild einlangenden Ladungsträger während des
Belichtens der ersten Pixelzeile. Wenn etwa die erste Pixelzeile
ein Drittel und die zweite Pixelzeile zwei Drittel der Ladungsträger eines
Objektabbildes aufsummiert, wenn die Zeit T2 doppelt
so lang wie die Zeit T1 ist, kann durch
das ungleichmäßig lange
Sammeln der Ladungsträger auf
den Pixelelementen der ersten und der zweiten Pixelreihe dafür gesorgt
werden, dass die sich überlagernden
Farbinformationen besonders gut durch Interpolationsverfahren zurück gewonnen
werden.
-
Von
weiterer Bedeutung für
die praktische Umsetzung des Verfahrens ist es, wenn die zeitdiskrete
Verschiebung der Ladungsträger
auf den Pixelzeilen des CCD-Bildsensors
mit einer mittleren Geschwindigkeit erfolgt, die der Geschwindigkeit
der kontinuierlichen Bewegung des Objektabbildes im wesentlichen
entspricht. Damit ist ein Verwischen der Bildinformationen auf den
Pixeln des Bildsensors weitgehend verhindert, da zumindest im Mittel
die Verschiebung des Objektabbildes auf dem Bildsensor und das Verschieben
der Ladungen zwischen den einzelnen Pixelzeilen in Richtung auf
das Ausleseregister zueinander synchronisiert sind.
-
Für die Anwendung
der Synchronisation ist es von besonderer Bedeutung, dass die Zeit
T
2 für das
Auslesen der zweiten Zeile sich berechnet aus
wobei gilt
- v0
- = effektive Geschwindigkeit
der Objektabbildung auf dem CCD-Sensor
- T1
- = Auslesezeit erster
Teilschritt
- T2
- = Auslesezeit zweiter
Teilschritt
- P
- = Pixelgröße eines
CCD-Bildelementes.
-
Hierdurch
ist rein geometrisch eine Berechnungsvorschrift für die Zeiten
T1 und T2 abhängig von den
geometrischen Abmessungen der CCD-Bildelemente und der effektiven
Geschwindigkeit der Objektabbildung auf dem CCD-Sensor angegeben,
die eine optimale Auswahl der Zeit T2 erlaubt,
wenn die weitgehend gerätetechnisch
bedingte Zeit T1 für das Auslesen des Ausleseregisters
bekannt ist.
-
Die
vorstehend angegebene Berechnungsvorschrift kann nun dazu genutzt
werden, bei einer Aufnahme eines stillstehenden Objektes mit einem bewegten
CCD-Bildsensor die
Bewegung des CCD-Bildsensors und damit die Geschwindigkeit des Objektabbildes
auf dem CCD-Bildsensor vorzugeben. Wird beispielsweise mit einer
Panoramakamera nach dem erfindungsgemäßen Verfahren gearbeitet, gibt
beispielsweise die Drehgeschwindigkeit der Panoramakamera um ihre
Drehachse die Verschiebung des Objektabbildes des typischerweise
stillstehenden Objektes auf dem CCD-Bildsensor an und damit kann
T2 passend gewählt werden, so dass insbesondere
die Bewegung des CCD-Bildsensors so eingestellt wird, dass die Zeit
T2 auf die Bewegung des Objektabbildes auf
dem CCD-Bildsensor abgestimmt ist.
-
Handelt
es sich hingegen bei einer Aufnahme um eine Aufnahme eines selbst
bewegten Objektes mit einem stillstehenden CCD-Bildsensor, so kann
ebenfalls anhand der vorstehend angegebenen Berechnungsvorschrift
die Geschwindigkeit des Objektabbildes auf dem CCD-Bildsensor ermittelt
und zur Bestimmung der Zeit T2 berücksichtigt
werden muss.
-
Die
vorstehend beschriebene Ermittlung der Werte für T2 kann
dabei beispielsweise auch automatisch anhand etwa anhand eines wählbaren
Betriebsmodus oder etwa auch einer internen oder externen Geschwindigkeitsmessung
des aufzunehmenden Objektes erfolgen, etwa indem aus der ermittelten Geschwindigkeit
des Objektabbil des auf dem CCD-Bildsensor ein im wesentlichen konstantes
Verhältnis
der Zeiten T1 und T2 bestimmt
wird, das die Zeiten zum Auslesen der ersten und zweiten Pixelzeile
auf die mittlere Bewegungsgeschwindigkeit des Objektabbildes auf
dem CCD-Bildsensor synchronisiert.
-
Von
Vorteil für
die Scangeschwindigkeit ist es, wenn die erste und zweite Pixelzeile
mit im wesentlichen höchstmöglicher
Auslesegeschwindigkeit ausgelesen wird.
-
Die
Verarbeitung der wie vorstehend beschrieben gewonnenen Bildinformationen
lässt sich dann
besonders vorteilhaft ausführen,
wenn als Interpolationsverfahren auf Basis der Bewertung der Farbinformationen
mit Hilfe der Bayer-Matrix lineare und/oder nichtlineare Interpolationsverfahren
verwendet werden. Derartige Interpolationsverfahren sind vielfältig gebräuchlich
und etwa in Digitalkameras in unterschiedlichster Ausgestaltung
integriert und dem Fachmann vertraut. Einige einfach derartige Interpolationsverfahren
kennt der Fachmann etwa aus der Veröffentlichung „Farbverarbeitung
mit Bayer-Mosaic-Sensoren" von
Uwe Furtner vom 31.8.2001, erschienen als Firmenveröffentlichung der
Matrix Vision GmbH im Internet unter www.matrix-vision.com sowie
wieder darin angegebener weiterer Literatur. Der Fachmann ist selbstverständlich nicht
auf die dort beschriebenen Interpolationsverfahren beschränkt.
-
Hierbei
ist es von Vorteil, wenn die Interpolation mit Hilfe von Farbinformationen
benachbarter Pixel des ausgelesenen Objektabbildes erfolgt und ggf. auch
geometrisch fehlende Pixel bestimmt werden.
-
Weiterhin
ist die Zuordnung der ersten und der zweiten Zeile zu den sich wiederholenden
Zeilen der Bayer-Matrix beliebig, solange bei der Interpolation
die Zuordnung bekannt ist und berücksichtigt werden kann.
-
Von
Vorteil ist es, dass bei der Interpolation der Farbanteile des Objektabbildes
in der ersten und zweiten Zeile des CCD-Bildsensors unter Verwendung
einer Bayer-Matrix
bei T2 = 2·T1 gilt, dass die Grün-Anteile in halber möglicher
Auflösung
und die Rot- und Blau-Anteile als ein Viertel der möglichen Auflösung vorliegen.
Damit ist eine gute Interpolation und damit eine recht genau Wiedergewinnung
der Farbinformationen des Objektabbildes aus den interpolierten
Helligkeitswerten der Pixel des CCD-Bildsensors möglich.
-
Eine
besonders bevorzugte Ausführungsform
des erfindungsgemäßen Verfahrens
zeigt die Zeichnung.
-
Es
zeigen:
-
1–15 – Darstellung
des Ablaufs der relativen Verschiebungsbewegung eines Objektabbildes
auf den zeilen- und spaltenförmigen
Bildelementen eines CCD-Bildsensors mit Darstellung der Verschiebung
der Ladungsträger
auf den mit einer Farbfilterung in Anordnung einer Bayer-Matrix
versehenen Bildelementen,
-
16 – Überlagertes
Objektabbild als Resultat eines verfahrensgemäßen Ablaufes gemäß der 1 bis 15.
-
In
den 1 bis 15 ist in sehr schematischer
Darstellung ein verfahrensgemäßer Ablauf
in der Draufsicht auf einen Bildsensor in Form eines aus zeilen-
und spaltenförmigen
Pixeln aufgebauten CCD-Bildsensors zu erkennen, bei dem jedem lichtempfindlichen
Pixel des Bildsensors genau ein Farbfilterelement aus den hier drei
Grundfarben Rot (R), Grün
(G) und Blau (B) zugeordnet ist. Die Farbfilterelemente R, G, B
sind in Form einer sog. Bayer-Matrix den einzelnen Pixeln zugeordnet
und damit innerhalb einer ersten Zeile in der Reihenfolge RGRGRGRGRGRG...
und innerhalb einer zweiten Zeile in der Reihenfolge GBGBGBGBGBGB...
aufeinanderfolgend angeordnet. Danach wiederholt sich in einer dritten
Zeile die Anordnung der ersten Zeile, in einer vierten Zeile die
Anordnung der zweiten Zeile und so fort. Derartige Bayer-Matrix-Anordnungen sind
grundsätzlich
bekannt und sollen hier nicht weiter erläutert werden.
-
Die
Bayer-Matrix dient dazu, mit den eigentlich nur monochrom empfindlichen
Pixeln des CCD-Bildsensors Informationen über den Farbgehalt eines Objektabbildes
gewinnen zu können,
das hier nur schematisch in Form eines auf den Bildsensor durch
nicht dargestellte optische Einrichtungen projizierten Großbuchstabens „A" angedeutet sein
soll und sich relativ zu dem Bildsensor bewegt. Die Relativverschiebung
des Objektabbildes kann hierbei entweder durch eine Verschiebung
oder Verdrehung des Bildsensors relativ zu einem feststehenden Objekt oder
durch eine Verschiebung oder Verdrehung des Objektes relativ zu
einem feststehenden Bildsensor oder durch eine Überlagerung beider Bewegungen erzeugen.
-
Der
Bildsensor sammelt im Gegensatz zu der normalen Betriebsweise derartiger
Bildsensoren bei der Bewegung des Objektabbildes über einen Zeitraum
die von dem Objektabbild einfallenden Ladungsträger, indem der Bildsensor im
sogenannten TDI-Betriebsmodus (Time Delay and Integration) arbeitet.
Dabei werden nicht nur während
der kurzzeitigen Öffnung
eines Verschlusses Bildinformationen des Objektes auf den Bildsensor
geworfen, sondern während
einer längeren
Zeit Ladungsträger
der Bildinformation über
den gesamten ladungsträgerempfindlichen
Bereich des Bildsensors gesammelt. Da sich während dieser Zeit in der Regel
das Objektabbild relativ zu dem Bildsensor bewegt, ist es erforderlich,
dass die Verschiebebewegung der Ladungsträger innerhalb der Zeilen des
Bildsensors hin zu einer nicht dargestellten Auslesezeile mit der
Relativverschiebung des Objektabbildes relativ zu dem Bildsensor
synchronisiert wird. Hierzu kann etwa die Relativgeschwindigkeit
des Objektabbildes relativ zu dem Bildsensor ermittelt werden und
die Ladungsträger
einer Zeile des Bildsensors immer dann diskretisiert um eine Zeile
in Richtung auf eine endseitig des Bildsensors angeordnete Auslesezeile
hin verschoben werden, wenn sich das Objektabbild kontinuierlich
um etwa den gleichen Betrag verschoben hat. Diese bisher dargestellte
Vorgehensweise ist grundsätzlich
bekannt und soll daher nur kurz beschrieben werden.
-
Will
man mit einer solchen Anordnung eines Bildsensors farbige Bildinformationen
gewinnen, so ist dies bisher nicht sinnvoll möglich. Da die Pixel selbst
nur schwarzweiss empfindlich sind und daher keine Farben erfassen
können,
muss eine separate Farbfilterung wie etwa in Form einer Bayer-Matrix verwendet
werden, die jedes Pixel nur empfindlich gegenüber einer einzelnen der typischerweise
drei Grundfarben macht. Wandert nun das zu erfassende Objektabbild
relativ zu den Bildelementen des Bildsensors weiter und werden die
mit jedem farbig bewertenden Pixel aufsummierten Ladungsträger in die
nächste
Zeile und damit in ein anderes Pixel verschoben, so überlagern
sich die von den jeweiligen Pixeln erfassten Ladungsträger, die
aber aufgrund der Farbfilterelemente jeweils unterschiedlichen Farbinformationen
entsprechen und es kommt zu einem Verwischen der Farbinformation.
Anschaulich gesprochen wird eine weiter geschobene Ladung in einem
Pixel, dessen Farbfilterelement beispielsweise den Rot-Anteil ausfiltert,
anschließend
einem Pixel zugeordnet, das nun durch die Bayer-Matrix einen Blau-Anteil
ausfiltert. Die jeweils der roten bzw. blauen Filterung entsprechenden
Ladungen in dem Pixel überlagern
sich dabei und es entsteht ein Ladungszustand, der einer Mischfarbe
entspricht und nur begrenzte Aussagekraft über die vom Objekt tatsächlich vorhandene
Farbinformation beinhaltet.
-
Das
erfindungsgemäße Verfahren
schlägt nun
aber vor, durch eine geschickte Auslesestrategie im Zusammenhang
mit einer Interpolation der überlagerten
Farbinformationen entsprechend den verschobenen Ladungsträgern in
den Pixeln benachbarter Zeilen eine weitgehende Ermittlung der tatsächlichen
Farbinformationen zu ermöglichen,
ohne dass die vorstehend beschriebene Farbverfälschung durch die Verwendung
einer Bayer-Matrix oder ähnlicher
Farbbewertungsmethoden auftreten kann.
-
Hierzu
ist in den 1 bis 16 die
Situation des Bildsensors in der Draufsicht dargestellt, der aus
mit Farbfilterelementen R, G und B versehenen Pixeln besteht und über den
das Objektabbild „A" langsam aufgrund
einer Relativbewegung wandert. Beginnend zu einem Zeitpunkt T0 wird eine Zeile des CCD-Bildsensors vorzugsweise
mit höchstmöglicher Geschwindigkeit
ausgelesen, wobei der Auslesevorgang selbst eine Zeit T1 benötigt. Währenddessen wandert
das Objektabbild „A" aufgrund der kontinuierlichen
Relativbewegung um einen Betrag weiter, der zwischen den 1 und 5 etwa
einer Ausdehnung von zwei Dritteln eines Pixels entspricht. Die
Ladungen in den einzelnen Pixeln des Bildsensors bleiben während dieser
Zeit T1 den jeweiligen Pixeln unverändert zugeordnet,
d. h. die Pixel sammeln währenddessen
Ladungsträger
entsprechend ihrer jeweiligen Farbbewertung durch die jeweils zugeordneten
Farbfilterelemente R, G oder B.
-
Unmittelbar
nach dem Auslesen der ersten Pixelzeile (in den Figuren entspricht
das dem Übergang
zwischen 5 und 6) werden
nun die Ladungen des gesamten Bildsensors jeweils um eine Zeile
in Richtung auf die Auslesezeile weiter geschoben. Hierdurch verschieben
sich die Ladungen, die beispielsweise bisher in der linken oberen
Ecke des Bildsensors in einem mit einem grünen Farbfilterelement G versehenen
Pixel gesammelt wurden, nun in ein Pixel mit einem roten Farbfilterelement
R. Entsprechend werden nunmehr aufgrund der Anordnung der Farbfilterelemente
in der Bayer-Matrix eine Verschiebung der Ladungsträger und
eine Integration andersfarbig gefilterter Ladungsträger vorgenommen.
-
Dieser
Zustand der Sammlung farbig bewerteter Ladungsträger in den Pixeln des Bildsensors wird
nun nach dem hier dargestellten Verfahren solange vorgenommen, bis
eine weitere Zeit T2 = 2·T1 verstrichen
ist (dies entspricht dem Verschieben des Objektabbildes in den 6 bis 15).
Innerhalb dieser Zeit T2 = 2·T1 können
sich in jedem Pixel grundsätzlich
also doppelt so viele Ladungsträger sammeln
wie in der vorhergehenden Zeit des Auslesens T1,
selbstverständlich
abhängig
von der jeweilig einfallenden Lichtintensität. Nach Ablauf von T2 wird erneut ein Auslesevorgang in der Auslesezeile
gestartet, indem die Ladungsträger
in den Pixeln des Bildsensors um eine Zeile weiter geschoben werden und
die Auslesezeile erneut ausgelesen wird. Der gesamte Verfahrensablauf
gemäß den 1 bis 15 beginnt
von vorn. Das Objektabbild „A" überstreicht in dieser Zeit
T1 + T2 insgesamt
2 Pixel, wodurch durch die synchrone Verschiebung der Ladungsträger um insgesamt
ebenfalls 2 Pixel die Relativbewegung des Objektabbildes ein geometrisches
Verwischen der Bildinformationen in den Pixeln bezogen auf das Objektabbild
verhindert wird, also das Objektabbild bezogen auf die Pixelverschiebung
synchronisiert ist und scharf abgebildet bleibt.
-
Als
Ergebnis der Addition der in den Pixeln gesammelten und durch die
Farbfilterelemente farblich bewerteten Ladungsträger ergibt sich letztendlich die
in der 16 dargestellte Situation. Aus
diesem Bild mit den in den Ladungsträgern gesammelten und den Pixeln
zugeordneten Farbinformationen r, g und b lassen sich nun anhand
folgender Überlegungen die
tatsächlich
aufgrund des Objektabbildes sich ergebenden Farbinformationen durch
Interpolationsverfahren herausrechnen.
-
Die
Darstellung in der 16 ist insofern nicht ganz richtig,
da das Pixel die kleinste geometrische Einheit ist, d. h. die Verläufe innerhalb
eines Pixels wären
eigentlich als Mittelwert über
das ganze Pixel darzustellen. Die Farben r, g und b der Pixel sind
allerdings ein Hinweis darauf, mit welcher Farbe das Pixel eigentlich
zu interpretieren ist. Das bedeutet, dass z. B. ein rotes Pixel
r in der 16 aufgrund der Farbbwertung
durch die Bayer-Matrix und die zeitliche Gestaltung der Verschiebebewegung
zu 1/3 mit einem Grünfilter
der Bayer-Matrix belichtet wurde und zu 2/3 mit einem Rotfilter
der Bayer-Matrix (T2 = 2·T1).
Entsprechend kann für
alle anderen Pixel ebenfalls die nachstehend angegebene Farbinformation
r, g und b interpretiert werden. Das ausgelesene Bild selbst ist
ohne Farbinterpolation zunächst
als Schwarz /Weißbild
zu sehen. Aufgabe der nachfolgenden Interpolation ist dabei die
Geometrie und die Farbe des Objektabbildes möglichst richtig wiederherzustellen.
-
Nimmt
man im erfindungsgemäßen Verfahren
wie vorstehend als Beispiel angeführt und in der Praxis vorteilhaft
T2 = 2·T1 an, wird in jedem Pixel ein Grünanteil
belichtet, wobei im Grün-Kanal
die Spalten im Verhältnis
der Zeiten verschoben und auch im Verhältnis ein Teil der Nachbarfarben
addiert sind:
-
Bayer-Matrix:
-
-
Man
erhält
im ausgelesenen Bild gemäß der Überlagerung
in 16:
rgrgrgrgrg... mit r = 2/3R + 1/3G, g
= 1/3R + 2/3G
gbgbgbgb... mit g = 1/3B + 2/3G, b = 2/3B + 1/3G
-
Da
in jedem Pixel grün
enthalten ist, ist der Grün-Kanal
sehr gut wiederherzustellen. Das Grün ist besonders wichtig, da
das Grün
den größten Anteil an
der Bildintensität
hat und daher die meiste geometrische Information über das
Bild enthält
(100% Weiß ~
13% Blau + 30% Rot + 57% Grün
gemäß dem physiologischen
Eindruck).
-
Durch
Betrachtung von benachbarten Pixeln mittels grundsätzlich bekannter
Interpolationsverfahren kann insbesondere der Grünkanal sehr genau interpoliert
werden. Rot und Blau können
gegenüber einer
normalen Bayer-Matrix-Bewertung ebenfalls genauer und einfacher
interpoliert werden. Vereinfacht gesagt wird bei der Interpolation
die Vermischung mit den Nachbarfarben herausgerechnet und anschließend geometrisch
fehlende Pixel interpoliert. Hierbei kommen grundsätzliche
bekannte bzw. schon verwendete lineare und nicht-lineare Verfahren
zum Einsatz, die etwa aus dem Digital-Kamera-Bereich bekannt sind.
-
Durch
die auftretende Mischung und Entsättigung der Farben ist allerdings
ein hoher Signal-Rausch-Abstand erforderlich, der durch die Verwendung
qualitativ guter Bildsensoren aber gegeben ist, insbesondere da
der Bildsensor typischerweise bei hoher Geschwindigkeit betrieben
wird und daher das Dunkelsignalrauschen gering ist.
-
In
der praktischen Anwendung eines nach dem Verfahren betriebenen Scanners
gibt hierbei der Antrieb, der den CCD-Sensor bewegt, die Geschwindigkeit
vor, z. B. bei einem Panorama-Scanner die Drehgeschwindigkeit. Das
heißt,
in einer solchen Anwendung sind alle Parameter fest definiert. In
einer anderen Anwendung, bei der das Objekt die Geschwindigkeit
vorgibt (wie z. B. in der zuvor beschriebenen Anwendung zur Untersuchung
einer Papierbahn), muss die Geschwindigkeit bekannt sein oder gemessen
werden. Die Interpolation ist auch bei variabler Geschwindigkeit
gleich, wenn T2 in fester Beziehung zu T1 steht (T2 = Faktor·T1, Faktor = const.)
-
Generell
ist es ebenfalls möglich,
auch längere
Zyklen zu verwenden, z. B. aus 4 Zeilen oder auch aus drei Zeilen.
Dies könnte
den Vorteil haben, Moiré-Effekte
im Bild zu vermeiden, das durch die Farbinterpolation entstehen
könnte.
Jedoch muss die Objektgeschwindigkeit mit der Schiebegeschwindigkeit
der Zeilen des Bildsensors im Mittel synchronisiert sein.
-
Interessant
ist auch ein Vergleich der erzielbaren Leistungswerte des erfindungsgemäßen Verfahrens
mit der vorstehend genannten Vorgehensweise nach Olson.
-
Ein
interpolierbares Bild mit Bayermatrix-Farben würde man theoretisch auch erhalten, wenn
man nach dem Vorschlag von Olson immer 2 Zeilen auf einmal ausliest,
d. h. hier T2 >> T1 (T2 sehr viel größer als
T1). Da Zeilen allerdings physikalisch immer
nur nacheinander auslesbar sind, kann man näherungsweise von der Erfüllung dieser
Forderung dann ausgehen, wenn T2 >> T1 ist. Das Verfahren nach
Olson ist aber praktisch nicht anwendbar, da dadurch die erreichbare
Scangeschwindigkeit recht gering ist und für viele Anwendungen nicht ausreicht. Die
erreichbaren Zeilenfrequenz ist proportionla zu 2/(T1 +
T2). Hierbei ist T1 die
schnellste Auslesezeit für
eine Zeile.
-
Vergleicht
man die Vorgehensweise von Olson mit dem erfindungsgemäßen Verfahren,
so wird die starke Verbesserung gemäß dem hier vorgeschlagenen
Verfahren sofort augenfällig.
- Angenommene Auslesefrequenz 50 MPixel/s
- Zeilenlänge
des Sensors 3000 Pixel
- Daraus folgt für
die benötigte
Auslesezeit der Auslesezeile: T1 = 60 μs
-
Nimmt
man für
das Verfahren nach Olson an T2 = 25·T1, so ergibt sich eine Zeilenfrequenz von 1282
Hz.
-
Nimmt
man für
das erfindungsgemäße Verfahren
an T2 = 2·T1,
so ergibt sich eine Zeilenfrequenz von 11111 Hz, d. h. also etwa
10 mal schneller als bei der Vorgehensweise nach Olson.
-
Zu
dem zu verwendenden Interpolationsverfahren lässt sich aussagen, dass der
Interpolationsalgorithmus generell ähnlich zu dem einer Digitalkamera
sein sollte, die mit Verschluss arbeitet. Vorbereitend sind ähnliche
Korrekturen durchzuführen,
wie z. B. die Korrektur des Übersprechens
der Nachbarpixel, d. h. auch zwischen den Farben der Bayer-Matrix.