AT501761A4

AT501761A4 - Farbzeilenkamera

Info

Publication number: AT501761A4
Application number: AT0138105A
Authority: AT
Inventors: Konrad Dipl Ing Mayer
Original assignee: Arc Seibersdorf Res Gmbh
Priority date: 2005-08-17
Filing date: 2005-08-17
Publication date: 2006-11-15
Also published as: DE102006038408A1; AT501761B1

Description

Die Erfindung betrifft ein Verfahren gemäss dem Oberbegriff des Patentanspruches 1 sowie eine Farbzeilenkamera gemäss dem Oberbegriff des Patentanspruches 9.
Die Erfindung bezieht sich vor allem auf die optische Qualitätskontrolle, beispielsweise von Druckwerken, bei denen die Kamera und das zu prüfende Objekt eine bekannte, vorzugsweise gleichmässige Relativbewegung vollführen. Eingesetzte Standardprüfverfahren verwenden für diese Anwendungsfälle Zeilenkameras oder TDIKameras.
Ziel der Erfindung ist es vor allem, die Herstellungskosten der eingesetzten Kamera und die Übertragungskosten der Daten zum Bildverarbeitungssystem zu senken. Ferner soll die Verarbeitungsgeschwindigkeit bei exakter Auswertung erhöht werden.

Ziel der Erfindung ist es ferner, dass bei der Anwendung der Farbzeilenkamera zur Aufnahme eines mit annähernd konstanter bzw. bekannter Geschwindigkeit bewegten Objektes aus den Sensorsignalen für jeden Bildpunkt mit entsprechender Genauigkeit ein Farbwert eines Farbraumes, z.B. RGB- oder CMY-Farbraum, gewonnen werden kann.
Diese Ziele werden bei dem Verfahren der eingangs genannten Art mit den im Kennzeichen des Anspruches 1 angegebenen Merkmalen erreicht. Eine erfindungsgemässe Farbzeilenkamera ist durch die Merkmale des Anspruches 9 charakterisiert.

Durch die Hardwareeinheiten in der Kamera und die damit realisierte Vorverarbeitung kann eine rasche Übertragung der Daten und/oder eine Datenreduktion erreicht werden und somit können die Kosten für die Übertragungswege von der Kamera zum Bildverarbeitungssystem verringert werden.
Nach dem Stand der Technik gibt es Farbzeilenkameras in verschiedenen Ausführungen:
- 3-Chip Kameras, bei denen ein optischer Strahlteiler das Licht auf drei Sensorchips verteilt,
- Zeilensensoren mit Parallelanordnung von drei Zeilen, wobei jeder Zeile ein spezifisches Filter (rot, grün, blau) vorgeschaltet ist
- Einzeilige Zeilensensoren, bei denen verschiedene Farbfilter in fortlaufender Folge auf die nebeneinander liegenden Pixel wirken (z.B.

RGBRGBRGB ....)
Wesentlich für die Erfindung ist der Einsatz eines Bildsensors mit mindestens zwei Pixelzeilen, vor denen Farbfilter in Form einer Bayer-Farbfiltermatrix angeordnet sind.
Als Vorteil der Erfindung gegenüber dem Stand der Technik ist w$ anzusehen, dass Sensorchips für Flächenkameras mit Bayer-Matrix im Vergleich zu Zeilensensoren sehr preisgünstig sind und hinsichtlich Bildauflösung und Geschwindigkeit in einer grossen Auswahl zur Verfügung stehen. Weiters sollte der Sensorchip in CMOS-Technologie ausgeführt sein, denn CMOS-Sensoren haben den Vorteil, dass einzelne belichtete Sensorpixel-Zeilen selektiv ausgelesen werden können. Bei CCD-Sensoren ist das zumeist nicht oder nur mit Einschränkungen möglich.
Bei CMOS-Sensoren kann zum Auslesen der belichteten Sensorpixel jede Zeile einzeln angesteuert und ausgelesen werden.

Der Auslesevorgang dauert beispielsweise bei einem bestimmten handelsüblichen Sensortyp pro Zeile etwa 2 [mu]s. Das ist etwa um eine Grössenordnung schneller als bei herkömmlichen Zeilenkameras mit Zeilen vergleichbarer Länge.
Der Vorteil des wahlweisen Auslesens von Bildbereichen ist generell ein Vorteil von CMOS-Sensoren gegenüber CCD-Sensoren. Die grosse Schnelligkeit von CMOSSensoren übertrifft mitunter schnelle Zeilenkameras. Der limitierende Faktor ("Flaschenhals") ist jedoch die relativ langsame Übertragung der Daten zum Bildverarbeitungsrechner.

Um aus der grossen Datenmenge grösstmöglichen Nutzen ziehen zu können, wird diese in Hardwareeinheiten in der Kamera vorverarbeitet und für eine nachfolgende Bildverarbeitung aufbereitet und allenfalls reduziert.
Durch die Erfindung wird es nun möglich, eine Farbzeilenkamera durch Einsatz eines Bayer-Matrix-Flächensensors, vorzugsweise in CMOS-Technologie, preisgünstig zu realisieren.
Die Umwandlung bzw. Vorverarbeitung des Signals des mit der Bayermatrix versehenen Bildsensors in ein Farbsignal, insbesondere RGB- oder CMY-Signal, erfolgt vorzugsweise in einer elektronischen Schaltung (ASIC oder FPGA) direkt in der Kamera.

Die Schaltung kann aber auch auf dem Sensorchip integriert oder in einem Signalprozessor oder einem anderen Bildauswerterechner realisiert werden.
Der Algorithmus wird vorzugsweise nach einer Digitalisierung der Sensorsignale digital durchgeführt, ist jedoch prinzipiell auch dafür geeignet, in einer Analogschaltung realisiert zu werden.
Zur Erhöhung der Empfindlichkeit bzw. um das Signal-Rauschverhältnis zu verbessern, sind die Merkmale des Anspruches 2 von Vorteil.
Exakte Ergebnisse erhält man, wenn die Merkmale der Ansprüche 3 und/oder 4 realisiert werden.
Eine rasche Auswertung mit einfacher Hardware wird erreicht, wenn die Merkmale der Ansprüche 5 und/oder 6 und/oder 7 vorgesehen werden.
Eine einfache Vorgangsweise zur rechnerischen Ermittlung der Farbwerte, die den Pixel einer Objektzeile entsprechen, wird mit den Merkmalen des Anspruches 8 erreicht.

Eine Erhöhung der Sensitivität bzw. eine Vermeidung von Rauschen wird mit den Merkmalen des Anspruches erreicht.
Für eine rasche und exakte Abbildung sind die Merkmale des Anspruchs 10 zweckmässig. Von Vorteil ist es, wenn die Merkmale des Anspruches 11 verwirklicht sind. Damit wird ein einfacher Gesamtaufbau einer erfindungsgemässen Farbzeilenkamera mit entsprechend hohen Abbildungsleistungen erreicht.
Eine rasche und hardwaremässig einfache Auswertung der aufgenommenen Objektzeilen wird bei Anwendung der Merkmale der Ansprüche 12 und/oder 13 erreicht.
Die hardwaremässige Auswertung der vom Flächensensor erhaltenen Signale bzw. Farbwerte erfolgt in rascher, exakter und kostengünstiger Weise, wenn die Merkmale der Ansprüche 14 und/oder 15 und/oder 16 und/oder 17 verwirklicht werden.
Unter einer Bayermatrix wird eine Filteranordnung beispielsweise entsprechend U.S.

Patent 3,971065 verstanden, bestehend aus einer Anordnung von Farbfiltern in der Art
Zeile 1: R G R G ... Zeile 2: G B G B ... Zeile 3: R G R G ... Zeile 4: G B G B ...
Dabei bedeutet R: Rotfilter G: Grünfilter B: Blaufilter
Vom Prinzip her ist es aber auch möglich, als erste Zeile der Filteranordnung eine Zeile beginnend mit GBGB.... vorzusehen, d. h. mit Zeile 2 zu beginnen. In gleicherweise können Bayer-Farbflltermatrices eingesetzt werden, die Farbfilter entsprechend den Farben eines anderen Farbraumes, z.B.

CMY Farbraumes, aufweisen.
Die prinzipielle Aufgabe der Erfindung besteht vor allem darin, ein Objekt, das sich mit annähernd konstanter oder bekannter Geschwindigkeit relativ zur Kamera in einer Richtung annähernd normal zur Richtung der Sensorzeilen bewegt, aufzunehmen und eine exakte Farbabbildung zu erreichen.
Ein vorgegebener Bildaufnahmetakt legt die Zeitpunkte der Bildaufnahme fest. Pro Bildaufnahmetakt wird mit mindestens einem ausgewählten Zeilenpaar des Flächensensors, umfassend eine/;Rot-Grün-Filter und eine, insbesondere benachbarte, Grün-Blau-Filter besitzende Zeile dieselbe Objektzeile aufgenommen und anschliessend werden die erhaltenen Pixelsignale bzw. Farbwerte über den Sensorausgang der Verarbeitungseinheit zugeführt. Falls die beiden Zeilen des Zeilenpaars nicht benachbart sind, muss der Algorithmus zur Auswertung entsprechend angepasst werden.

Im Folgenden wird eine Vorgangsweise beschrieben, für die angenommen wird, dass die zuerst ausgelesene Pixelzeile eine Sensorzeile mit den Bayer-Filtern Rot-Grün ist und die zweite, danach ausgelesene Pixelzeile eine Sensorzeile mit den Bayerfiltern Grün-Blau ist. Wird mit einer Grün-Blau-Pixelzeile als erster Zeile begonnen, ist der Algorithmus entsprechend anzupassen bzw. sind zyklische Vertauschungen vorzunehmen.
Im Folgenden wird die Pixelzeile mit den Rot-Grün-Filtern als U-Zeile und die Pixelzeile mit den Grün-Blau-Filtern als V-Zeile bezeichnet.
In zwei aufeinanderfolgenden Bildaufnahmetakten wird eine Objektzeile als ein UV-Zeilenpaar auf dem Flächensensor abgebildet.

Der Bildaufnahmetakt wird mit der Bewegung des Objektes so synchronisiert, dass sich das Objekt für die jeweils nächste Aufnahme annähernd um eine Zeile weiterbewegt hat.
Eine bestimmte Zeile X des Objektes, die während einer Aufnahme durch eine VZeile erfasst bzw. auf diese abgebildet wird, bewegt sich bis zur nächsten Aufnahme um eine Zeilendistanz weiter und wird dann in der nächsten Aufnahme auf die U-Zeile abgebildet und bildet so das oben erwähnte UV-Zeilenpaar.
Sollte das nicht der Fall sein, weil die Bewegung des Objektes in die andere Richtung läuft, kann entweder die Kamera um 180 Grad gedreht werden oder aber der Algorithmus zur Auswertung muss der anderen Reihenfolge entsprechend angepasst werden.
Im Folgenden wird die Erfindung anhand der Zeichnung näher erläutert.

Abb. 1 zeigt schematisch die Erstellung von resultierenden Zeilen mit RGB-Farbwerten, die den Objektzeilen entsprechen. Abb. 2 zeigt eine Hardwareanordnung zur Verknüpfung von Farbwerten von Pixel einer Zeile. Abb. 3 zeigt die Akkumulierung von aus einem Sensor ausgelesenen Farbwerten mehrerer Paare von Pixelzeilen.
In einer vorteilhaften Implementierung der Erfindung gemäss Abb. 1 ist ein CMOSKamerasensor mit Bayer-Matrix 1 vorgesehen. Dieser liefert die Bilddaten über einen digitalen Ausgang Pixel für Pixel (mit dem Pixeltakt) und Zeile für Zeile (mit dem Zeilentakt) an eine Auswerteeinheit 3. Der Zeilentakt muss mindestens die doppelte Geschwindigkeit des Bildaufnahmetaktes haben, damit alle aufgenommenen Zeilen bis zur nächsten Aufnahme ausgelesen und verarbeitet werden können.

Die Steuerung der Belichtung und die Adressierung der auszulesenden Zeilen erfolgt durch eine SensorKontrolleinheit 2. Die Kontrolleinheitfoekommt als Input einen Bildaufnahmetakt T, der mit dem Transport des Objektes in oben beschriebener Weise synchronisiert ist.
Die Auswerteeinheit umfasst einen Zwischenspeicher 4 und eine Dekodiereinheit 5. In dem Zwischenspeicher 4 wird je nach den gegebenen Anfangsbedingungen eine V-Zeile zwischengespeichert und dann bei der nächsten Aufnahme gemeinsam mit der U-Zeile der folgenden Aufnahme der Objektzeile X an die Dekodiereinheit 5 geschickt.

Die Dekodiereinheit 5 bekommt damit als Input eine U- und eine V-Zeile, die der Abbildung der selben Objektzeile X entsprechen.
Aufgabe der Dekodiereinheit 5 ist es, aus den Farbwerten der einzelnen Pixel der U- und der V-Zeile für jede Pixelposition einer resultierenden Zeile je einen Rot- Grünund Blauwert zu bestimmen und an den entsprechenden RGB-Ausgängen auszugeben.
Für jeden Pixeltakt ist nun ein G-Wert vorhanden, der entweder von der U-Zeile oder von der V-Zeile resultiert. R- und B-Werte sind jeweils nur für jedes zweite Pixel vorhanden und können aus den Nachbarpixel durch Interpolation gewonnen werden. Geeignete Vorgangsweisen werden dazu weiter unten beschrieben.

Unter der eingangs getroffenen Annahme, dass das erste Pixel der U-Zeile ein Pixel mit Rotfilter und das erste Pixel einer V-Zeile ein Pixel mit Grünfilter ist, geht die Dekodiereinheit für ein Pixel mit der Indexzahl n bzw. das n-te Pixel einer Zeile wie folgt vor:
Für Pixel mit ungeradem Index n werden die Ausgangssignale bzw.

Ausgangsfarbwerte R(n), G(n), und B(n) berechnet:
R(n) = U(n) G(n) = V(n) B(n) = lnterpolate( V(n-1), V(n+1))
Für Pixel mit geradem Index n:
R(n) = Interpolate ( U(n-1), U(n+1)) G(n) = U(n) B(n) = V(n)
Für das erste Pixel einer Zeile wird an Stelle des nicht existenten U(n-1) und V(n-1 ) der entsprechende Wert für U(n+1 ) und V(n+1 ) genommen.
Für das letzte Pixel einer Zeile wird an Stelle des nicht existenten U(n+1) und V(n+1) der entsprechende Wert für U(n-1) und V(n-1) genommen.
Eine Alternative dazu ist, die Ausgabezeilen zu verkürzen, sodass die Eingabepixel auch am Rand der Zeile immer existieren.

..
In der Abbildung 2 wird eine vorteilhafte Vorgangsweise für das erfindungsgemässe Verfahren gezeigt.
Die Dekodiereinheit 5 umfasst jeweils einen Eingang für eine U-Zeile und eine VZeile, die jeweils an ein zweistufiges Schieberegister 6 und einen Interpolator 7 geführt sind. Die Ausgänge des Schieberegisters und des Interpolators sind an eine Selektionseinheit 8 angeschlossen.
Die beiden Schieberegister dienen dazu, Pixelwerte bzw. Farbwerte zwischenzuspeichern und deren Ausgabe zu verzögern, sodass die Werte für R(n), G(n) und B(n) erst dann ausgegeben werden, wenn U(n+1) und V(n+1) bereits an den jeweiligen Eingängen anliegen. In der ersten Stufe des Schieberegisters 6 ist der Wert des vorigen Pixels und in der zweiten Stufe des vorvorigen Pixels gespeichert.
In den Interpolatoreinheiten 7 können nun aus den aktuellen Werten (U(n+1) bzw.

V(n+1)) und den vorvorigen Werten (U(n-1) bzw. V(n-1)) die interpolierten Werte für B(n) bzw. R(n) berechnet werden. Da die Ausgabe verzögert ist, enthält die erste Stufe des Schieberegisters die für die Ausgabe passenden Werte R(n) bzw. G(n) bzw. B(n).
Die Selektionseinheit 8 wählt aus den zur Verfügung stehenden aktuellen Werten und den Schieberegisterwerten die gemäss obiger Formel passenden Werte für gerade und ungerade Pixelindizes n aus.
Die Möglichkeiten, die Interpolation vorzunehmen, sind vielfältig und können an den Anwendungsfall angepasst werden.
Varianten der Interpolation:
Die einfachste Art der Interpolation ist gemäss Variante 1 eine Mittelwertbildung der beiden Pixelwerte U(n-1) und U(n+1).

Dies ist für viele Anwendungen ein durchaus brauchbares Verfahren.
Es ist bekannt, dass bisweilen entlang von vertikalen kontrastreichen Kanten Artefakte entstehen können. Ein wesentlicher Vorteil der gegenständlichen Erfindung ist es, dass solche Artefakte in wesentlich geringerem Ausmass als bei Flächenkameras auftreten, da für jede Objektzeile X Daten vorhanden sind, die von zwei Zeilen U, V stammen. Für jede Pixelposition gibt es einen Grünwert und für jede Pixelposition gibt es alternativ einen Blau- oder Rotwert.
Dennoch auftretende Artefakte können durch eine gewichtete Interpolation von Nachbarpixel unterdrückt werden, wobei die Gewichte aus den lokalen Grünwerten gewonnen werden können.

Dabei wird davon ausgegangen, dass der Helligkeitswert von Rot und Blau mit dem Helligkeitswert von Grün korreliert.
Der zu interpolierende Wert wird für R und B nach dem selben Verfahren bestimmt. Im Folgenden werden die zu interpolierenden Farbwerte mit X bezeichnet, wobei X für R bzw. B steht.
Die folgenden zwei Varianten einer Interpolation sind besonders vorteilhaft, weil sie sehr einfach in elektronischen Schaltungen realisiert werden können:
Gemäss einer Variante 2 gilt für ein vorgegebenes Delta:
Wenn »G(n-1) - G(n)» < Delta und »G(n+1) - G(n)» < Delta, dann ist X(n) = (X(n-1) + X(n+1)) 2, ansonsten:
Wenn »G(n-1 ) - G(n)» < »G(n+1 ) - G(n)», dann ist X(n) = X(n-1 ), sonst X(n) = X(n+1 )
Gemäss einer Variante 3 gilt für einen vorgegebenen Gewichtungsfaktor Alpha:

X(n) = (X(n-1) + X(n+1)) /2 + Alpha * (G(n) - (G(n-1) + G(n+1)) 12)
Gemäss einer Variante 4 wird wie bei Variante 3 vorgegangen, jedoch wird Alpha berechnet:
Alpha = (X(n-1 ) + X(n+1 )) / (2*G(n))
Gemäss einer Variante 5 wird wie bei Variante 3 vorgegangen, jedoch wird Alpha berechnet:
Alpha = (X(n-1 ) + X(n+1)) / (G(n-1 ) + G(n+1 ))
Auch andere Interpolationsvorgänge sind möglich.
Eine vorteilhafte Vorgangsweise sieht vor, dass zur Reduktion der Ausgabedaten die Auflösung in horizontaler und/oder vertikaler Richtung um den Faktor 2 reduziert wird.

Diese Reduktion kann fix vorgegeben sein oder über einen Konfigurationsparameter gesteuert erfolgen.
Bei vertikaler Reduktion der Auflösung errechnen sich die R-, G- und B-Werte der Pixel der resultierenden Zeile durch eine Summierung und/oder Auswahl und/oder Mittelwertbildung der vorhandenen und/oder interpolierten R-, G- und B-Werte der Pixel von jeweils zwei aufeinander folgenden Objektzeilen.
Bei horizontaler Reduktion der Auflösung errechnen sich die R-, G- und B-Werte der Pixel der resultierenden Spalte durch eine Summierung und/oder Auswahl und/oder Mittelwertbildung der vorhandenen und/oder interpolierten R-, G- und B-Werte der Pixel von jeweils zwei benachbarten Objektspalten.

Besonders zu erwähnen ist jedoch, dass bei horizontaler Auflösungsreduktion auf das Interpolationsverfahren gänzlich verzichtet werden kann, da in zwei benachbarten Pixel in jedem Fall ein R-, ein B- und zwei G-Werte vorhanden sind. Dies führt nochmals zu einer Vereinfachung der Farbdekodierung, da pro Ausgabepixel einer resultierenden Zeile nur mehr aus den vorhandenen Farbwerten der Zeilenpixel selektiert werden muss. Eine Reduktion in einer Richtung kann vollkommen unabhängig von einer Reduktion in der anderen Richtung erfolgen. Falls interpoliert wurde, sind für jedes resultierende Pixel immer alle 3 Farbwerte vorhanden.
Die Möglichkeiten zur Reduktion (Summieren, Auswählen und Mitteln) können auch beliebig kombiniert werden. Man kann z. B. in vertikaler Richtung mittein, in horizontaler Richtung auswählen; man kann z.

B. den Grünkanal mittein und bei den beiden anderen Kanälen auswählen.
Wenn man sich für die Methode "Auswählen" entscheidet, kann in manchen Fällen das Interpolieren erspart werden, weil der vorhandene Farbwert ausgewählt und der nicht vorhandene Farbwert nicht interpoliert werden muss.
Sofern nicht interpoliert wird, hätte bei vertikaler Reduktion jedes Pixel nur 2 Farbwerte: z. B. könnte das 1. Pixel in beiden Zeilen R- und G-Farbwerte haben, aber keine B-Farbwerte. Die R- und die G-Information wird beliebig zusammengefasst: man kann mittein oder auswählen. Das resultierende Pixel hätte keinen B-Farbwert. Wird horizontal reduziert, fasst man jeweils 2 Spalten zusammen, wobei z. B. das 1. Pixel in der einen Spalte ein Pixel mit R- und G-Farbwerten ist und das 1. Pixel in der anderen Spalte ein Pixel mit B- und G-Farbwerten ist.

Die G-Information kann beliebig zusammengefasst werden: man kann mittein oder auswählen. Bei der R- und bei der BInformation besteht nur die Möglichkeit des "Auswählens", denn es ist nur genau ein Rund genau ein B-Wert vorhanden. Von Vorteil ist es, in horizontaler Richtung bei R- und B-Kanal auszuwählen und sonst immer zu mittein. Damit kann bei optimaler Informationserhaltung auf Interpolation verzichtet werden und jedes resultierende Pixel hat dennoch alle drei Farbwerte.
Bei einer Aufakkumulierung mehrerer Doppelzeilen wird wie folgt vorgegangen: Pro Belichtungstakt können mehr als nur ein Zeilenpaar umfassend eine U- und eine VZeile aus dem Bildsensor ausgelesen werden. Dabei können Daten, die aus Aufnahmen bzw. Belichtungen der selben Objektpunkte bzw.

Elemente einer Objektzeile und aus den selben Farbfiltern stammen, aufakkumuliert werden, bevor sie der Dekodiereinheit 5 zugeführt werden, wie folgt:
Eine Objektzeile X des aufzunehmenden Objektes wird zu einem bestimmten Belichtungstakt auf die U-Zeile eines ersten Zeilenpaares abgebildet. In dem nächsten Belichtungstakt wird die Objektzeile X auf die V-Zeile des ersten Zeilenpaares abgebildet. Die für die jeweiligen Pixelzeilen erhaltenen Daten bzw. Farbwerte werden mit U1 und V1 bezeichnet.
Im nächstfolgenden Belichtungstakt wird die Objektzeile X auf die U-Zeile eines zweiten Zeilenpaares abgebildet und der erhaltene Farbwert wird mit U2 bezeichnet. Dies wird für eine vorgegebene Anzahl von Zeilenpaaren fortgesetzt.

Da die Objektzeile X von dieser U-Zeile des zweiten und von den U-Zeilen der weiteren Zeilenpaare (s) mit den selben Farbfiltern aufgenommen wird wie die erste UZeile, und da die Helligkeitswerte von der selben Objektzeile X des Objektes stammen, können die Werte für die Zeilen U1 und U2 usw. addiert werden. Das Selbe gilt für die VZeilen.
Werden n Zeiienpaare pro Belichtungstakt aufgenommen, können also n Werte summiert werden, bevor diese zur weiteren Auswertung an die Dekodiereinheit 5 weitergeleitet werden.
Voraussetzung dafür ist, dass die Zeilentaktrate zumindest 2*n so hoch ist wie die Belichtungstaktrate. Das Aufakkumulieren der Zeilen kann so vorgenommen werden, dass man nur Zeilen, deren Farbwerte bzw.

Helligkeitswerte über einem gegebenen Schwellwert liegen, aufakkumuliert, um Zeilen, die nur sinnloses Rauschen enthalten, nicht mit aufzunehmen.
Zur Akkumulation ist eine Akkumulationseinheit 9 erforderlich (Fig. 3), die zumindest 2*(n-1 ) aufakkumulierte Werte Zwischenspeichern kann. Die Vorteile der Akkumulierung sind:
- eine höhere Empfindlichkeit, da die effektive Belichtungszeit um das n-fache der Belichtung einer Aufnahme steigt.
- ein höherer Dynamikbereich
Wenn beispielsweise die Ausgangsdaten des Bildsensors mit 10 Bit Auflösung digitalisiert werden und über 8 Doppelzeilen akkumuliert wird, entspricht die effektive Auflösung nach der Akkumulation 13 Bit.
- ein geringeres Rauschen
Ist man an der hohen Empfindlichkeit nicht interessiert, können die akkumulierten Ergebnisse durch die Anzahl der Summationen dividiert werden.

Dadurch wird ein statistisches Rauschen herausgemittelt.
- Unempflndlichkeit gegenüber Bildstörung und Verschmutzung. Das Ergebnis wird durch mehrere Aufnahmen ermittelt. Wenn nun eine Aufnahme gestört ist, indem z. B. das Objekt oder die Kamera vibrieren, können sich die Bildstörungen durch die Mittelung über mehrere aufakkumulierte Werte kompensieren.
Die optischen Sensoren liefern auch bei absoluter Dunkelheit ein positives Signal, das so genannte Dunkelsignal. Ferner ist jedes Pixel des Sensors unterschiedlich empfindlich. Auch die Helligkeit der Beleuchtung kann über die Zeile unterschiedlich intensiv sein. Um diese Effekte auszugleichen, kann für jede Pixelposition eine individuelle Korrektur durch Subtraktion des vorher ermittelten Dunkelsignals und Multiplikation eines ebenfalls durch eine Kalibrierung ermittelten Faktors durchgeführt werden.

Diese Korrektur wird vorzugsweise auf die U- und V-Zeilen unmittelbar vor dem Eingang zur Dekodiereinheit 5 und nach der Serialisierungseinheit 10 (Fig. 3) durchgeführt. Es brauchen somit nur Korrekturwerte für eine U-Zeile und eine V-Zeile ermittelt werden und nicht für alle Zeilen, die pro Belichtungstakt vom Sensor ausgelesen werden.

Die Korrektur muss aber vor der Interpolation in der Dekodiereinheit 5 durchgeführt werden, da es ansonsten zu nicht korrigierbaren Fehlern in der Interpolation kommen kann.
Mit dieser pixelindividuellen Kalibrierung der U- und V-Zeilen kann auch eine multiplikative Anpassung der Grünwerte mit vorgenommen werden, um Grünwerte, die aus U-Zeilen stammen und Grünwerte, die aus V-Zeilen stammen, einander anzugleichen.
Es wird bemerkt, dass für das erfindungsgemässe Verfahren und für die erfindungsgemässe Vorrichtung Bayer-Farbfiltermatrices einsetzbar sind, deren Farbwerte unterschiedliche Farbräume repräsentieren bzw. bestimmen, so z.B. RGB- oder CMYBayer-Farbfiltermatrices. Grundlegend für derartige Bayer-Farbfiltermatrices ist es, dass für die Pixel in den jeweiligen Zeilen des Sensors abwechselnd Farbfilter für zwei unterschiedliche Farben bzw.

Farbwerte der drei vorgesehenen Farbwerte des Farbraumes angeordnet sind, so dass Filter für einen ersten der drei Farbwerte in jeder der vorgesehenen Zeilen angeordnet sind.
In jeder Zeile sind zusätzlich Filter für jeweils nur einen der beiden weiteren Farbwerte angeordnet. In den Zeilen wechseln sich ferner die Filter für diese weiteren Farbwerte ab, so dass, wenn in einer Zeile Filter für den ersten Farbwert und einen weiteren Farbwert angeordnet sind, in der unmittelbar darauf folgenden Zeile Filter für den ersten Farbwert und den anderen weiteren Farbwert angeordnet sind.

In diesen beiden unterschiedliche weitere Farbwerte enthaltenen Zeilen liegen die Filter für den ersten der drei Farbwerte allerdings nicht an denselben Pixelpositionen.
Es ist für die Durchführung der Erfindung nicht von Bedeutung, um welche Farbräume bzw. welche unterschiedliche Farbwerte es sich handelt. Beispielsweise wird in der Beschreibung der Erfindung auf die RGB-Farben des RGB-Farbraumes und die CMY-Farben des CMY-Farbraumes Bezug genommen. Des weiteren sind die einzelnen Farben eines Farbraumes bzw. Filter beliebig zyklisch vertauschbar, soferne die oben angegebenen Gesetzmässigkeiten für die Anordnung der Filter gewahrt werden. Dies gilt auch für die Interpolationsberechnungen.

Claims

Patentansprüche:

1. Verfahren zur Aufnahme von Bildern von Objekten bzw. zur Prüfung von Druckwerken oder Oberflächen von Gegenständen mit einer Kamera, die einen als Flächensensor ausgebildeten Bildsensor mit zumindest zwei Pixelzeilen aufweist, die jeweils mit einer Bayer-Farbfiltermatrix versehen sind, dadurch gekennzeichnet,

- dass insbesondere im Zuge einer Relativbewegung zwischen der Flächenkamera und dem Objekt die Elemente bzw. Pixel einer Objektzeile (X) jeweils auf zumindest zwei bzw. auf zumindest ein Paar von, insbesondere nebeneinanderliegenden, Pixelzeilen (U, V) des Bildsensors abgebildet werden und

- dass zur Erstellung einer resultierenden Zeile mit Pixelpositionen jeweils mit Farbwerten eines Farbraumes bzw. einen Farbraum bestimmenden Farbwerten, vorzugsweise mit RGB oder CMY-Farbwerten, die den Farbwerten, vorzugsweise RGB- oder CMYFarbwerten, der einzelnen Elemente der Objektzeile (X) entsprechen, den einzelnen Pixelpositionen dieser resultierenden Zeile a) - die Farbwerte zugeordnet werden, die sowohl in der einen als auch in der anderen Pixelzeile auftreten, wobei insbesondere bei RGB-Farbwerten die von entsprechenden mit Grünfilter versehenen Pixel der beiden Pixelzeilen (U, V) ermittelten Grün-Farbwerte bzw.

bei CMY-Farbwerten die von entsprechenden mit Yellowfilter versehenen Pixel der beiden Pixelzeilen (U.V) ermittelten Yellow-Farbwerte zugeordnet werden und b) - soweit erforderlich - die aus den von den einzelnen Pixel der beiden Pixelzeilen (U, V) der auf den Bildsensor abgebildeten Elemente erhaltenen beiden anderen Farbwerten, vorzugsweise R- und/oder B- bzw. C- und/oder M-Farbwerten ermittelten, insbesondere rechnerisch, vorzugsweise durch Interpolation abgeleiteten, Farbwerte, insbesondere Rund B- oder C- und M-Farbwerte, zugeordnet werden.

1. die Farbwerte zugeordnet werden, die sowohl in der einen als auch in der anderen Pixelzeile auftreten, wobei insbesondere bei RGB-Farbwerten die von entsprechenden mit Grünfilter versehenen Pixel der beiden Pixelzeilen (U, V) ermittelten Grün-Farbwerte bzw. bei CMY-Farbwerten die von entsprechenden mit Yellowfilter versehenen Pixel der beiden Pixelzeilen (U, V) ermittelten Yellow-Farbwerte zugeordnet werden, und

1. die Farbwerte zugeordnet werden, die sowohl in der einen als auch in der anderen Pixelzeile auftreten, wobei insbesondere bei RGB-Farbwerten die von entsprechenden mit Grünfilter versehenen Pixel der beiden Pixelzeilen (U, V) ermittelten Grün-Farbwerte bzw. bei CMY-Farbwerten die von entsprechenden mit Yellowfilter versehenen Pixel der beiden Pixelzeilen (U,V) ermittelten Yellow-Farbwerte zugeordnet werden und

- dass zur Erstellung einer resultierenden Zeile mit Pixelpositionen jeweils mit Farbwerten eines Farbraumes bzw. einen Farbraum bestimmenden Farbwerten, vorzugsweise mit RGB oder CMY-Farbwerten, die den Farbwerten, vorzugsweise RGB- oder CMYFarbwerten, der einzelnen Elemente der Objektzeile (X) entsprechen, den einzelnen Pixelpositionen dieser resultierenden Zeile

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass pro Belichtungstakt eine Objektzeile (X), gegebenenfalls gleichzeitig, auf mehrere Paare von Pixelzeilen (U, V) abgebildet wird und die Farbwerte bzw. Signale der einzelnen, den selben Elementen einer Objektzeile (X) zugeordneten Pixel dieser Zeilen summiert und ausgewertet werden.

2. - soweit erforderlich - die aus den von den einzelnen Pixel der beiden Pixelzeilen für auf den Bildsensor abgebildete Elemente erhaltenen, beiden anderen Farbwerten, insbesondere R- und/oder B- bzw. C- und/oder M-Farbwerten, ermittelten, insbesondere rechnerisch, vorzugsweise durch Interpolation, abgeleiteten Farbwerte, insbesondere R- und B- bzw. C- und M-Farbwerte, zugeordnet werden, und

- dass die Kamera eine Einheit zur Visualisierung und/oder Weiterverarbeitung dieser resultierenden Zeile mit den den einzelnen Pixelpositionen zugeordneten Farbwerten, insbesondere RGB- oder CMY-Farbwerten, umfasst.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass pro Belichtungstakt eine Objektzeile (X), gegebenenfalls gleichzeitig, auf mehrere Paare von Pixelzeilen (U, V) abgebildet wird und die Farbwerte bzw. Signale der einzelnen, den selben Elementen einer Objektzeile (X) zugeordneten Pixel dieser Zeilen summiert und ausgewertet werden.

2. - soweit erforderiich - die aus den von den einzelnen Pixel der beiden Pixelzeilen (U, V) der auf den Bildsensor abgebildeten Elemente erhaltenen beiden anderen Farbwerten, vorzugsweise R- und/oder B- bzw. C- und/oder M-Farbwerten ermittelten, insbesondere rechnerisch, vorzugsweise durch Interpolation abgeleiteten, Farbwerte, insbesondere R- und B- oder C- und M-Farbwerte, zugeordnet werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Objekt und/oder die Kamera mit annähernd konstanter oder mit bekannter Geschwindigkeit in

NACHGEREICHT einer zur Richtung der Pixelzeilen des Bildsensors zumindest angenähert normalen Richtung relativ zueinander bewegt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Objekt und/oder die Kamera mit annähernd konstanter oder mit bekannter Geschwindigkeit in einer zur Richtung der Pixelzeilen des Bildsensors zumindest angenähert normalen Richtung relativ zueinander bewegt werden.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass pro Aufnahmetakt eine Objektzeile (X) auf zumindest ein Paar von Pixelzeilen (U, V) abgebildet wird und der Aufnahmetakt mit der Relativbewegung zwischen Objekt und Kamera synchronisiert wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zur Erstellung der resultierenden Zeile die Farbwerte bzw. Signale der Pixel der zuerst belichteten Pixelzeile des Bildsensors zwischengespeichert werden und nach Einlangen der Farbwerte bzw. Signale der weiteren bzw. zweiten belichteten Pixelzeile die Farbwerte dieses Paares von Pixelzeilen (U, V) gemeinsam ausgewertet werden.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Ermittlung der interpolierten Farbwerte für die Pixelpositionen der resultierende Zeile mit einer, gegebenenfalls gewichteten, Mittelwertbildung von in einem bestimmten Abstand zueinander, insbesondere benachbart, liegenden Pixel des jeweiligen Farbwertes vorgenommen wird.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Ausgabedaten des Bildsensors in horizontaler und/oder vertikaler Richtung, gegebenenfalls mit einem Faktor, insbesondere dem Faktor 2, reduziert werden, wobei gegebenenfalls die Farbwerte einer Anzahl von nebeneinander liegenden Pixel, insbesondere jeweils zwei Pixel, eines Paares von zusammengehörigen Pixelzeilen (U,V) in vertikaler und/oder horizontaler Richtung zusammengefasst werden, indem die Farbwerte aus den vorhandenen Farbwerten ausgewählt oder durch Mitteln und/oder interpolieren ermittelt werden.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass unter der Annahme, dass das erste Pixel der die Objektzeile (X) aufnehmenden ersten Pixelzeile (U) ein Pixel mit einem ersten Farbfilter, z.B. Rotfilter und das erste Pixel der die Objektzeile (X) im folgenden aufnehmenden Pixelzeile (V) ein Pixel mit einem zweiten, andersfarbigen Filter, z.B. Grünfilter ist, die Farbwerte R(n), G(n) und B(n) für die Pixelpositionen der resultierenden Zeile für ungeraden Zeilenindex n mit R(n) = U(n)

NACHGEREICHT

G(n) = V(n)

B(n) = lnte [theta]late( V(n-1), V(n+1))

und geraden Zeilenindex n mit R(n) = Inte[phi]olate ( U(n-1), U(n+1)) G(n) = U(n) B(n) = V(n)

berechnet werden, wobei gegebenenfalls für den Fall, dass der erste und zweite Filter des jeweils ersten Pixel der jeweiligen Zeilen (U, V) vertauscht angeordnet und bei obigen Gleichungen die für U(n) und V(n) bzw. U(n-1), U(n+1) und V(n-1) und V(n+1) einzusetzenden Folgewerte bzw. Signalwerte der Pixel entsprechend, insbesondere zyklisch, zu vertauschen sind, und wobei gegebenenfalls die Ermittlung der Farbwerte R (n), G (n) und B (n) für die RGB-Farben in gleicher Weise für C(n), M(n) und Y(n) für die Ermittlung von CMY-Farbwerten durchführbar ist.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass unter der Annahme, dass das erste Pixel der die Objektzeile (X) aufnehmenden ersten Pixelzeile (U) ein Pixel mit einem ersten Farbfilter, z.B. Rotfilter und das erste Pixel der die Objektzeile (X) im folgenden aufnehmenden Pixelzeile (V) ein Pixel mit einem zweiten, andersfarbigen Filter, z.B. Grünfilter ist, die Farbwerte R(n), G(n) und B(n) für die Pixelpositionen der resultierenden Zeile für ungeraden Zeilenindex n mit

R(n) = U(n)

G(n) = V(n)

B(n) = lnterpolate( V(n-1), V(n+1)) I

a und geraden Zeilenindex n mit R(n) = Interpolate ( U(n-1), U(n+1)) G(n) = U(n) B(n) = V(n)

9. Farbzeilenkamera, insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Kamera als Bildsensor einen Flächensensor mit mindestens zwei Pixelzeilen aufweist, denen jeweils Farbfilter in Form einer Bayer-Farbfiltermatrix zugeordnet sind.

9. Farbzeilenkamera, insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Kamera als Bildsensor einen Flächensensor mit mindestens zwei Pixelzeiien aufweist, denen jeweils Farbfilter in Form einer Bayer-Farbfiltermatrix zugeordnet ist.

10. Farbzeilenkamera nach Anspruch 9, dadurch gekennzeichnet, dass für den Flächensensor eine Sensorkontroll- bzw. Abbildungseinheit (2) vorgesehen ist, mit der eine Abbildung einer Objektzeile (X) auf zumindest zwei Pixelzeilen bzw. zumindest ein Paar von Pixelzeilen (U, V) des Bildsensors erfolgt.

11. Farbzeilenkamera nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass der Bildsensor ein CMOS-Flächensensor mit Bayer-Farbfiltermatrix ist.

11. Farbzeilenkamera nach Anspruch 9 oder 10, dadurch gekennzeichnet,

- dass eine Auswerte- bzw. Recheneinheit (3) vorgesehen ist, mit der zur Erstellung einer resultierenden Zeile mit Pixelpositionen jeweils mit Farbwerten eines Farbraumes, insbesondere RGB- oder CMY-Farbwerten, die den Farbwerten, insbesondere den RGBoder CMY-Farbwerten, der einzelnen Elemente der Objektzeile entsprechen, den einzelnen Pixelpositionen dieser Zeile

12. Farbzeilenkamera nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass der Zeilentakt des Bildsensors zumindest doppelt so hoch ist wie der Bildaufnahmetakt.

12. Farbzeilenkamera nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass der Bildsensor ein CMOS-Flächensensor mit Bayer-Farbfiltermatrix ist.

13. Farbzeilenkamera nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass die Sensorkontrolleinheit (2) die Belichtung und Adressierung der auszulesenden resultierenden Zeilen steuert und einen Taktgeber r für den

NACHGEREICHT >

Bildaufnahmetakt aufweist, dessen Geschwindigkeit zur Relativbewegung zwischen Objekt und Kamera synchronisiert ist.

13. Farbzeilenkamera nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass der Zeiientakt des Bildsensors zumindest doppelt so hoch ist wie der Bildaufnahmetakt.

14. Farbzeilenkamera nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass die Auswerteeinheit einen Zwischenspeicher (4) und eine Dekodiereinheit (5) umfasst, wobei dem Zwischenspeicher (4) die Farbwerte bzw. Signale der zuerst aus dem Sensor ausgelesenen Pixelzeile (U) und der Dekodiereinheit (5) die Farbwerte bzw. Signale der Pixelzeile eines Paares von Pixelzeilen (U, V), insbesondere gleichzeitig, zugeführt sind.

14. Farbzeilenkamera nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass die Sensorkontrolleinheit die Belichtung und Adressierung der auszulesenden resultierenden Zeilen steuert und einen Taktgeber für den Bildaufnahmetakt aufweist, dessen Geschwindigkeit zur Relativbewegung zwischen Objekt und Kamera synchronisiert ist.

15. Farbzeilenkamera nach einem der Ansprüche 9 bis 14, dadurch gekennzeichnet,

- dass die Dekodiereinheit (5) jeweils einen Eingang für die Farbwerte bzw. Signale der beiden Pixelzeilen (U, V) aufweist, welche Eingänge jeweils an ein zweistufiges Schieberegister (6) zur Zwischenspeicherung von zumindest zwei zeitlich aufeinanderfolgend eintreffenden Farbwerten bzw. Signalen von in einer Pixelzeile aufeinanderfolgenden Pixel geführt sind, und

- dass die jeweiligen Eingänge und der Ausgang des jeweiligen, diesem Eingang zugeordneten Schieberegisters (6) an eine Interpolationseinheit (7) angeschlossen sind, mit der aus den zeitlich gleichzeitig einlangenden Farbwerten von in der Pixelzeile (U, V) aufeinanderfolgenden Pixel die Farbwerte für die Pixelpositionen der resultierende Zeile ermittelt werden.

15. Farbzeilenkamera nach einem der Ansprüche 9 bis 14, dadurch gekennzeichnet, dass die Auswerteeinheit einen Zwischenspeicher (4) und eine Dekodiereinheit (5) umfasst, wobei dem Zwischenspeicher die Farbwerte bzw. Signale der zuerst aus dem Sensor ausgelesenen Pixelzeile (U) und der Dekodiereinheit die Farbwerte bzw. Signale der Pixelzeile eines Paares von Pixelzeilen (U, V), insbesondere gleichzeitig, zugeführt sind.

16. Farbzeilenkamera nach einem der Ansprüche 9 bis 15, dadurch gekennzeichnet,

- dass die Dekodiereinheit (5) jeweils einen Eingang für die Farbwerte bzw. Signale der beiden Pixelzeilen (U, V) aufweist, welche Eingänge jeweils an ein zweistufiges Schieberegister (6) zur Zwischenspeicherung von zumindest zwei zeitlich aufeinanderfolgend eintreffenden Farbwerten bzw. Signalen von in einer Pixelzeile aufeinanderfolgenden Pixel geführt sind, und - dass die jeweiligen Eingänge und der Ausgang des jeweiligen, diesem Eingang zugeordneten Schieberegisters (6) an eine Interpolationseinheit (7) angeschlossen sind, mit der aus den zeitlich gleichzeitig einlangenden Farbwerten von in der Pixelzeile (U, V) aufeinanderfolgenden Pixel die Farbwerte für die Pixelpositionen der resultierende Zeile ermittelt werden.

17. Farbzeilenkamera nach einem der Ansprüche 9 bis 16, dadurch gekennzeichnet,

- dass für jeden Ausgang des Flächensensors eine Akkumulationseinheit (9) vorgesehen ist, mit der die Daten einer Zeile parallel ausgegeben werden, und

- dass die Ausgänge aller Akkumulationseinheiten (9) mit einer Serialisierungseinheit (10) verbunden sind, von der aus eine serialisierte Abfolge von Pixeldaten für die Pixelzeilen U und V an die Dekodiereinheit (5) herangeführt wird.

Wien, am 17. August 2005

ARC Seibersdorf research GmbH vertreten durch:

PATENTANWÄLTE Dipl.-Ing. Dr. Helmut WILDHACK Dipl.-Ing. Dr. Gerhard JELLINEK

13133 re: Österreichische Patentanmeldung A 1381/2005 ARC Seibersdorf research GmbH

Patentansprüche:

16. Farbzeilenkamera nach einem der Ansprüche 9 bis 15, dadurch gekennzeichnet,[Lambda] t. I4\y

- dass für jeden Ausgang des FlächensensorsJeine Akkumulationseinheit (9) vorgesehen ist, mit der die Daten einer Zeile parallel ausgegeben werden, und

Wien, am 20. Februar 2006

NACHGEREICHT