DE102010018142A1

DE102010018142A1 - Verfahren zur Aufnahme eines Bildes

Info

Publication number: DE102010018142A1
Application number: DE201010018142
Authority: DE
Inventors: Reinhold Dr. Huber-Mörk; Daniel Soukup
Original assignee: AIT Austrian Institute of Technology GmbH
Current assignee: AIT Austrian Institute of Technology GmbH
Priority date: 2009-06-04
Filing date: 2010-04-24
Publication date: 2010-12-09
Also published as: AT508873B1; AT508873A1

Abstract

Die Erfindung betrifft ein Verfahren zur Aufnahme eines Bildes eines an einer Kamera (1) vorbeibewegten Objekts (2), wobei die Geschwindigkeit des Objekts (2) im Verhältnis zum Quotienten (L) zwischen Abstand (dp) zweier benachbarter Sensorpixel (12) und dem Aufnahmeintervall (dt) festgelegt wird. Erfindungsgemäß ist vorgesehen, dass der Quotient (L) durch die Formel L = 1 + 1/N festgelegt wird, jedem Pixel ein Index (P) zugeordnet wird, und zu jedem Aufnahmezeitpunkt (t) t = T * dt die einzelnen Helligkeitswerte H (P, T) bzw. Farbwerte jedes der einzelnen Sensorpixel (12) einer diskret definierten Funktion (Y) zugewiesen werden, wobei für jeden ermittelten Helligkeitswert H (P, T) ein Funktionswert Y (T * (1 + 1/N) + P) eingetragen wird. Weiters ist vorgesehen, dass eine Ausgangsfunktion (X) ermittelt wird, indem ein Auflösungsfaktor (R) auf einen ganzzahligen Wert festgelegt wird, Zeitintervalle der Funktion (Y) und der Ausgangsfunktion (X) ermittelt werden, die von den selben Randpunkten begrenzt werden, ein Zusammenhang zwischen den Funktionswerten der Ausgangsfunktion (X) und der Funktion (Y) in der Form Y = H * F * X angenommen wird, wobei die einzelnen Funktionswerte der jeweiligen Funktionen innerhalb des Intervalls als Vektor X, Y von in den einzelnen Punkten des jeweiligen Definitionsbereichs definierten Funktionswerten festgestellt werden, wobei F eine Interpolationsmatrix ist, wobei H eine Unschärfe-Matrix darstellt, und die so gegebene Gleichung nach ...

Description

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruchs 1.
Der Erfindung wird auf dem Gebiet der automatischen Prüfung von Gegenständen, insbesondere auf dem Gebiet der Prüfung von Banknoten, gewerblich eingesetzt.
Hintergrund der Erfindung ist die Automatisierung der Prüfung von Gegenständen, insbesondere von Banknoten. Dabei werden die Banknoten mit einer vorgegebenen Geschwindigkeit an einem Zeilensensor vorbeibewegt, der den Gegenstand im Zuge seiner Bewegung aufzeichnet.
Die Aufgabe der Erfindung liegt darin, die Auflösung der aufgenommenen Bilder parallel zu deren Fortbewegungsrichtung zu erhöhen und die durch die Bewegung und die Aufnahmeoptik des Gegenstands bewirkte Unschärfe (Motion Blur) zu kompensieren.
Erfindungsgemäß wird dies mit einem Verfahren zur Aufnahme eines Bildes eines an einer Kamera vorbeibewegten Objekts, erreicht, wobei die Kamera einen Flächensensor mit rasterartig angeordneten Sensorpixeln umfasst, wobei die Spaltenrichtung der rasterförmig angeordneten Sensorpixel weitestgehend parallel zur Bewegungsrichtung des Objekts liegt, wobei während der Bewegung des Objekts in Spaltenrichtung fortlaufend in vorgegebenen Aufnahmeintervallen die Ausgangswerte aller Sensorpixel für die Ermittlung der Helligkeit bzw. Farbe eines konkreten Objektpunkts am Objekt ermittelt werden, und wobei die Geschwindigkeit des Objekts im Verhältnis zum Quotienten zwischen Abstand des Bildbereichs zweier benachbarter Sensorpixel einer Spalte und dem Aufnahmeintervall festgelegt wird.
Diese Verfahren kennzeichnet sich erfindungsgemäß dadurch, dass für jede der Pixelspalten ein Superresolution-Faktor auf einen ganzzahligen Wert festgelegt wird, wobei der Quotient und entweder der Abstand oder das Aufnahmeintervall, durch die Formel L = 1 + 1/N festgelegt wird, und jedem Pixel einer Spalte entsprechend seiner Lage in der Spalte ein fortlaufender nummerierter Index zugeordnet wird, zu jedem Aufnahmezeitpunkt t = T·dt die einzelnen Helligkeitswerte H(P, T) bzw. Farbwerte jedes der einzelnen Sensorpixel einer Spalte ermittelt werden, und nach jeder Aufnahme die ermittelten Helligkeitswerte H(P, T) einer diskret definierten Funktion zugewiesen werden, wobei für jeden ermittelten Helligkeitswert H(P, T) ein Funktionswert Y(T·(1 + 1/N) + P) eingetragen wird. N bezeichnet dabei den Superresolution-Faktor, eine ganze Zahl. P bezeichnet den diskreten Index eines Pixels, T bezeichnet einen diskreten ganzzahligen Zeitpunkt. Weiters wird eine Ausgangsfunktion ermittelt, indem ein Auflösungsfaktor auf einen ganzzahligen Wert festgelegt wird, wobei dessen Wert kleiner ist als der Wert des Superresolution-Faktors. Für die Ausgangsfunktion wird ein diskreter Definitionsbereich festgelegt, wobei die diskreten Punkte, an denen die Ausgangsfunktion definiert ist, in Intervallen 1/R voneinander entfernt sind, wobei zumindest ein Definitionspunkt der Ausgangsfunktion mit einem Definitionspunkt der Funktion übereinstimmt, Zeitintervalle der Funktion und der Ausgangsfunk tion ermitteln werden, die von denselben Randpunkten begrenzt werden, ein Zusammenhang zwischen den Funktionswerten der Ausgangsfunktion X und der Funktion in der Form
angenommen wird. Der Vektor X umfasst diskrete Werte der Ausgangsfunktion X. Die einzelnen Funktionswerte der jeweiligen Funktionen innerhalb des Intervalls als Vektor von in den einzelnen Punkten des jeweiligen Definitionsbereichs definierten Funktionswerten werden festgestellt, wobei F eine Interpolationsmatrix, gegebenenfalls die Einheitsmatrix, ist, die eine Interpolation von auf dem Definitionsbereich der Funktion (Y) definierten Werten auf den Definitionsbereich der Ausgangsfunktion X darstellt, wobei
eine Unschärfe-Matrix
darstellt. Die Unschärfe-Matrix
gibt die resultierende Unschärfe der Aufnahme eines Gegenstandsbereichs der Breite und dessen Zuordnung auf einen Bereich der Breite von dp/R wieder. dp bezeichnet die Breite des Aufnahmebereichs eines Sensorpixels. R bezeichnet dabei einen ganzzahligen Auflösungsfaktor. Durch die Transformationsvorschrift der Unschärfematrix
wird die Tatsächliche durch die Aufnahme notwendigerweise bestehende Unschärfe abgebildet. Durch Lösung des Gleichungssystems wird der Unschärfe-Effekt beseitigt. Die somit gegebene Gleichung wird nach dem Vektor X aufgelöst und die Ausgangsfunktion X bzw. die für jede der Spalten ermittelte Anzahl von Ausgangsfunktionen X wird als Abbild des Objekts weiterverarbeitet wird.
Durch dieses Vorgehen wird die mit dem Verfahren erzielte Auflösung gegenüber einem herkömmlichen TDI-Verfahren erheblich gesteigert. Zusätzlich kann die Unschärfe erheblich verringert werden. Dies ermöglicht eine feinere Abtastung der aufzunehmenden Gegenstände und ermöglicht die Prüfung von kleineren Details auf den Gegenständen.
Ein weiterer Aspekt der Erfindung sieht vor, dass die Interpolationsmatrix als eine lineare Interpolation zwischen dem Vektor der Werte auf der Ausgangsfunktion X und dem Vektor der Werte auf der Funktion festgelegt wird, wobei hierbei insbesondere die Anzahl der Zeilen R·U + 1 entspricht, wobei U die Breite des zu untersuchenden Intervalls bestimmt, und die Anzahl der Spalten durch N·U bestimmt wird, und/oder die Zeilensumme stets den Wert 1 aufweist, und/oder in jeder Zeile lediglich zwei benachbarte Zeileneinträge ungleich null sind, und/oder bei Überschneidung der Definitionsbereiche der Ausgangsfunktion und der Funktion in einem Punkt lediglich ein einziger Wert der Zeile ungleich null ist und dieser den Wert 1 aufweist.
Diese besondere Verfahrensführung ermöglicht eine vereinfachte Bestimmung der Helligkeitswerte in den Bildpunkten und verringert das Auftreten von Artefakten.
Ein weiterer spezieller Aspekt der Erfindung sieht vor, dass die Unschärfe-Matrix die aufgenommene Helligkeit bzw. Farbe eines Pixelsensors mit einem Gegenstandsbereich der Breite dp als Funktion der konkreten Helligkeit bzw. Farbe des Gegenstands am vorgegebenen Aufnahmebereich sowie in dazu benachbarten Aufnahmebereichen angibt, wobei insbesondere die Anzahl der Zeilen und der Spalten N·U entspricht, wobei U die Breite des zu untersuchenden Intervalls bestimmt, und/oder die Zeilensumme stets den Wert 1 aufweist, und/oder in jeder Zeile der Hauptdiagonaleneintrag den höchsten Wert aufweist und/oder die jeweils benachbarten Werte mit zunehmender Entfernung von der Hauptdiagonale abfallen, und/oder die einzelnen Zeileneinträge wertemäßig für alle Zeilen gleich sind.
Diese besondere Verfahrensführung ermöglicht eine vereinfachte Anpassung des Verfahrens an die Gegebenheiten der Aufnah meumgebung. Dabei kann insbesondere der Einfluss des Motion-Blur sowie sonstiger Unschärfe-Effekte kompensiert werden.
Zusätzlich kann vorgesehen werden, dass zur Lösung der Gleichung
die Gaußsche Normalform dieser Gleichung in der Form M^T·Y = M^T·M·X, gelöst wird, wobei die Matrix M^T·M einer Tychonov-Regularisierung unterzogen wird, d. h. durch den Ausdruck (M^T·M + α·E) ersetzt wird, wobei E die Einheitsmatrix ist und der Faktor α durch Vergleich der jeweils ermittelten Lösung mit einem bekannten Bild optimiert wird, d. h. solange abgeändert wird, bis eine minimale Abweichung zwischen dem ermittelten Bild und dem bekannten Bild besteht.
Dieses Vorgehen ermöglicht eine Ressourcen sparende und numerisch stabile Lösung des vorliegenden Gleichungssystems und verbessert somit die Bildqualität. Die Matrizen können vor Beginn der Berechnungen vorab bestimmt werden. Bei der Implementierung des Verfahrens ist lediglich eine Matrix-Multiplikation oder lineare Filterung pro Pixelspalte durchzuführen.
Ein weiterer Aspekt der Erfindung sieht vor, dass die Einträge der Matrix bestimmt werden, indem die Verfahrensschritte zur Ermittlung des Gegenstandsbildes bei der Aufnahme eines vorgegebenen Objekts mit einem scharfen Farb- bzw. Helligkeitsübergang normal zur Fortbewegungsrichtung durchgeführt werden und die Farbwerte des Vektors ermittelt werden, und anschließend die einzelnen Funktionswerte im Vektor, transformiert werden, wobei der Maximalwert jeweils dem Hauptdiagonalenwert der Matrix entspricht und die jeweils benachbart gelegenen Werte entsprechend ihrer Lage zum Maximum in die Nebendiagonalen eingetragen werden.
Dieses Vorgehen verringert bzw. kompensiert den bei der Aufzeichnung entstehenden Motion-Blur und verbessert zusätzlich die Bildqualität.
Die Erfindung wird im Folgenden anhand eines Beispiels, dargestellt in den 1 bis 6, ohne Einschränkungen der Allgemeinheit der Erfindung auf dieses Beispiel näher erläutert.
1 zeigt schematisch eine Aufnahmevorrichtung gemäß dem Stand der Technik, mit der Rohdaten für das erfindungsgemäße Verfahren ermittelt werden.
2 zeigt schematisch eine Spalte von Sensorpixeln eines Flächensensors sowie die Abbildung eines Objekts auf den Flächensensor.
3 zeigt schematische die Vorgehensweise bei einem TDI-Verfahren gemäß dem Stand der Technik.
4 zeigt die Ermittlung einer Funktion Y aus den einzelnen aufgenommenen Spaltenwerten.
5a und 5b zeigen die Unschärfe bei der Aufnahme eines Streifens, der eine Ausdehnung von weniger als der Bildbreite eines Pixels aufweist, bzw. bei der Aufnahme eines scharfen Kontrasts.
6 zeigt ein Zeitfenster, innerhalb dessen die Interpolation zwischen der aufgenommenen Funktion und der Ausgangsfunktion vorgenommen wird.
1 zeigt eine Aufnahmevorrichtung, mit der das erfindungsgemäße Verfahren geführt werden kann. Eine derartige Vorrichtung umfasst zum einen eine Kamera 1, die mit einem Flächensensor ausgestattet ist, der rasterartig angeordnete Sensorpixel 12 umfasst. Die Aufnahmevorrichtung umfasst ferner eine nicht dargestellte Auswerteeinheit, der die von der Kamera aufgenommenen Daten zugeführt sind. Zum anderen umfasst die Aufnahmevorrichtung eine Fortbewegungseinrichtung 4, insbesondere ein Transportband, mittels der ein zu untersuchendes Objekt 2 durch den Aufnahmebereich der Kamera 1 geführt werden kann, wobei im Zuge der Relativbewegung des Objekts 2 zur Kamera ein Bild des Objekts 2 aufgenommen wird. Hierbei ist eine Fortbewegungsrichtung x des Objekts 2 vorgegeben. Eine der beiden Ausrichtungsrichtungen des rechteckigen Rasters der Sensorpixel 12 steht normal zur Fortbewegungsrichtung des Objekts. Die andere Ausrichtungsrichtung des Rasters des Flächensensors steht nicht normal, insbesondere parallel, zur Fortbewegungsrichtung des Transportbandes; dies wird im Folgenden als Spaltenrichtung bezeichnet. Die in Spaltenrichtung zueinander angeordneten Sensorpixel 12 des Flächensensors werden jeweils als Spalten bezeichnet.
2 zeigt einen Längsschnitt durch die Kamera 1, den Flächensensor sowie das Objekt 2. Das Objekt 2 befindet sich hierbei auf der Fortbewegungseinrichtung, wie in 2 dargestellt. Vom Flächensensor der Kamera 1 ist lediglich eine einzige Spalte von Sensorpixeln 12 dargestellt. Ein weiterer, im Folgenden häufig gebrauchter Begriff ist die Breite dp des Gegenstandsbereichs eines Sensorpixels 12. Hierbei wird angenommen, dass das zu untersuchende Objekt 2 einen vorgegebenen Abstand w von der Kamera 1 bzw. dem Zeilensensor aufweist. Ferner wird davon ausgegangen, dass das Objekt 2 im Vergleich zum Abstand w eine lediglich sehr geringe Dicke bzw. Ausdehnung in Richtung zur Kamera 1 hin aufweist. Unter diesen Voraussetzungen kann angenommen werden, dass die Breite dp des Gegenstandsbereichs eines Sensorpixels 12 bzw. dazu äquivalent der Abstand der Mittelpunkte der aneinander angrenzenden Gegenstandbereiche zweier benachbarter Sensorpixel 12 einen für alle Sensorpixel 12 konstanten Wert dp aufweist.
Das Objekt 2 wird, wie in 2 dargestellt, entlang der Richtung x gegenüber der Kamera 1 bewegt. Innerhalb vorgegebener, gleich langer Zeitbereichen dt wird von dem Objekt 2 ein Bild aufgenommen.
Die folgenden Erörterungen betreffen lediglich die eine einzelne Spalte. Die Ausdehnung eines derartigen Verfahrens auf Bilder, die mit Flächenkameras mit einer Vielzahl von Spalten aufgenommen worden sind, kann durch bloße Vervielfachung des im Folgenden beschriebenen Verfahrens für jede Spalte separat durchgeführt werden.
Nach der Aufnahme einer Spalte von Helligkeitswerten zu einem Zeitpunkt t = 0 liegt, wie in 3 beschrieben, eine Anzahl von aufgenommenen Farb- bzw. Intensitätswerten vor. Jedes der sieben Sensorpixel der Spalte liefert hierbei einen Intensitätswert. Zum Zeitpunkt t = 0 liegt somit ein Vektor von sieben Helligkeits- bzw. Farbwerten vor, die von den einzelnen Pixeln 12 einer Spalte des Flächensensors aufgenommen worden sind.
Es wird, wie beim eingangs beschriebenen TDI-Verfahren nach einem vorgegebenen Zeitraum eine weitere Aufnahme durchgeführt, wobei sichergestellt sein muss, dass der Gegenstandsbereich, der zum Aufnahmezeitpunkt t = 0 im Bildbereich eines Sensorpixels 12 war, zum Aufnahmezeitpunkt t = 1, dt im Bildbereich des jeweils benachbarten Sensorpixels gelegen ist. Es wird derselbe Oberflächen- bzw. Gegenstandsbereich des Gegenstandes 2 von sämtlichen Sensorpixeln 12 einer Spalte auf genommen. Es ist wie beim Stand der Technik vorgesehen, dass dabei die Geschwindigkeit des Objekts 2 gleich dem Quotienten L zwischen dem Abstand dp des Bildbereichs der Mittelpunkte zweier benachbarter Sensorpixel einer Spalte und dem Aufnahmeintervall dt ist. Als Auflösung wird hierbei die Größe Gegenstandsbereich bezeichnet, für den ein Helligkeitswert ermittelt worden ist. Für das klassische TDI-Verfahren entspricht die Auflösung dem Gegenstandsbereich dt.
Im vorliegenden Fall wird dieser Stand der Technik weitergebildet, wobei die Geschwindigkeit des Objekts 2 nicht dem Quotienten L gleichgesetzt wird. Vielmehr wird ein Verhältnis zwischen der Geschwindigkeit des Objekts 2 und dem Quotienten L festgelegt. Hierfür wird ein Super-Resolution-Faktor N vorgegeben, der einen ganzzahligen Wert besitzt und der bestimmt, um wie viel die Auflösung im Verhältnis zum TDI-Verfahren gemäß dem Stand der Technik verfeinert werden soll. Typischerweise können hierfür Werte zwischen 2 und 8 gewählt werden. Der Quotient L, der Abstand dp sowie das Aufnahmeintervall dt werden durch die Formel L = 1 + 1/N = dp/dt ins Verhältnis gesetzt. Durch Variation des Aufnahmeintervalls dt bzw. der Geschwindigkeit des Objekts 2 relativ zur Kamera 1 kann der Quotient L auf den festgelegten Wert eingestellt werden. Üblicherweise geschieht dies dadurch, dass die Geschwindigkeit des Objekts 2 auf einen Wert festgelegt wird, der bei den herkömmlichen TDI-Verfahren verwendeten Geschwindigkeit multipliziert mit dem Quotienten L entspricht. Alternativ dazu kann selbstverständlich auch das Aufnahmeintervall dt verringert werden. Auch kann durch Variation des Abstandes w der Gegenstandsbereich dp variiert werden.
Jedem Sensorpixel 12 einer Spalte wird entsprechend seiner Lage in der Spalte ein fortlaufender nummerierter Index P zugeordnet. Wie bereits erwähnt, werden zu einzelnen Aufnahme zeitpunkten t = T, dt die jeweiligen Helligkeitswerte bzw. Farbwerte jedes der einzelnen Sensorpixel 12 der jeweiligen Spalte ermittelt. Die Aufnahmezeitpunkte t werden dabei in fest vorgegebenen Zeitintervallen beabstandet, wobei sich die einzelnen Aufnahmezeitpunkte in der Form t = T·dt ergeben, wobei T eine fortlaufende natürliche Zahl ist. Die einzelnen Helligkeitswerte H(P, T) liegen für jedes Sensorpixel 12, dargestellt durch seinen ihm zugeordneten ganzzahligen, fortlaufenden Index P, sowie für jeden Aufnahmezeitpunkt T vor.
Im Folgenden wird eine diskret definierte Funktion Y ermittelt, die die einzelnen ermittelten Helligkeitswerte H(P, T) der Pixel der Spalte derart zugewiesen erhält, dass sie den Verlauf der Helligkeit bzw. der Farbe der Oberfläche des zu untersuchenden Objekts 2 wiedergibt. Im Gegensatz zum TDI-Verfahren weist die resultierende Funktion Y eine um den Superresolution-Faktor N vervielfachte Anzahl von Stützpunkten auf. Um diesen Unterschied zum Stand der Technik besser zu verdeutlichen, werden die zusätzlichen Punkte des Definitionsbereichs der Funktion Y durch Bruchzahlen dargestellt. Bei dem im Folgenden angenommenen Superresolution-Faktor N = 3, erhält man zwischen den üblichen durch TDI erhaltenen Stützpunkten jeweils zwei weitere Zwischenstützpunkte.
In einem ersten Schritt werden erfindungsgemäß die Helligkeitswerte H zum Zeitpunkt t = 0 aufgenommen und mit ihnen die diskret definierte Funktion Y gebildet. In diesem Schritt werden lediglich Werte an ganzzahligen Stellen in die Funktion Y eingetragen. Zum nächsten Zeitpunkt t = 1 werden erneut Helligkeitswerte H aufgenommen und in die Funktion Y eingetragen, wobei bei dieser erfindungsgemäßen Vorgangsweise ein Vorschub bzw. Versatz der eingetragenen Helligkeitswerte H gegenüber der Funktion Y um 1 + 1/N, in diesem Fall 4/3, er folgt. Somit wird der erste Helligkeitswert, der zum Zeitpunkt T = 1 aufgenommen worden ist, an der Stelle 1 + 1/3 eingetragen. Die weiteren Werte werden an der Stelle 2 + 1/3, 3 + 1/3 sowie 4 + 1/3 eingetragen. Analog wird mit den zu den Aufnahmezeitpunkten T > 1 ermittelten Helligkeitswerten verfahren. Allgemein kann formuliert werden, dass jeder ermittelte Helligkeitswert H(P, T) als Funktionswert Y(T,(1 + 1/N) + P) eingetragen wird. Bei Verwendung eines TDI-Verfahrens gemäß dem Stand der Technik ist der Summand 1/N nicht vorhanden.
Wird dabei der Superresolution-Faktor kleiner gewählt als die Anzahl der innerhalb einer Spalte befindlichen Pixel, wird jedem Funktionswert Y von (N + j/N) für j > 0 jedenfalls zumindest ein Wert zugewiesen. Beispielsweise sind in 4 die Werte Y(1/3), Y(2/3), Y(1 + 2/3) nicht definiert. Derartige Anfangseffekte sind normalerweise unproblematisch, da sich bei der ersten Aufnahme des Bildes zumeinst ohnehin kein Objekt im Bildbereich der Kamera befindet. Wie auch beim herkömmlichen TDI-Verfahren kann es vorkommen, dass einzelne Werte doppelt beschrieben werden. Hier kann der Einfachheit halber ein Mittelwert zwischen den eingetragenen Werten gebildet werden.
Die erfindungsgemäß ermittelte Funktion Y weist gegenüber einer mit herkömmlichem TDI ermittelten Funktion den wesentlichen Vorteil auf, dass die Anzahl ihrer Stützstellen wesentlich höher ist. Somit kann eine Abwägung getroffen werden, inwieweit die Pixel einer Spalte zur Verminderung des Rauschens verwendet werden bzw. ob diese Pixel zur Erhöhung der Auflösung verwendet werden. Hierbei stellt das TDI-Verfahren gleichsam ein Extrembeispiel dar, bei dem sämtliche Sensorpixel 12 einer Spalte zur Verringerung des Rauschens verwendet werden, während keinerlei Maßnahmen getroffen werden, die Auflösung zu erhöhen. Je größer der Superresolution-Faktor N gewählt wird, umso mehr Helligkeitsinformation der Sensorpixel 12 wird für die Erhöhung der Auflösung verwendet, desto größer ist jedoch auch das Rauschen. Je mehr Sensorpixel 12 in einer Spalte zur Verfügung stehen, desto größer kann auch der Super-Resolutions-Faktor N gewählt werden, um das Rauschen nicht übermäßig anwachsen zu lassen.
Die mit dem bisher beschriebenen Verfahren ermittelte Funktion Y weist jedoch noch eine Unschärfe auf, die jedoch beseitigt wird. Dieser Unschärfe liegt der Umstand zugrunde, dass einzelne Strukturen auf der Oberfläche des Objekts, die eine Farbänderung bewirken, mit einer einzigen Aufnahme lediglich dann wirksam erkannt werden, wenn diese Strukturen größer sind als der Gegenstandsbereich dp eines Sensorpixels 12. Wird von dem Objekt 2 mit einer Ausgangsfunktion mittels des bereits dargestellten Verfahrensabschnittes die Funktion Y bestimmt, wird aufgrund des auftretenden Motion-Blur sowie der optischen Unschärfe der Aufnahmeoptik nur ein verschwommenes Abbild des Objekts 2 als Funktion Y ermittelt.
Gleiches gilt, wenn die Oberfläche eines Referenzobjekts 2 einen scharfen Kontrast in der Ausgangsfunktion X seiner Oberfläche aufweist. In diesem Fall wird eine Funktion Y ermittelt, die einen verschwommenen bzw. unscharfen Verlauf aufweist. Ist der Verlauf der unscharfen Funktion Y eines derartigen Referenzobjektes 2' bekannt, kann die Unschärfe mittels der unten beschriebenen Verfahren rechnerisch entfernt werden. Im Folgenden wird dafür angenommen, das die Funktion Y sowie die geschärfte resultierende Ausgangsfunktion X durch Vektoren X, Y ihrer jeweiligen Funktionswerte dargestellt werden. Die unscharfe Funktion Y bzw. der ihr zugeordnete Vektor Y lässt sich dabei als Matrixprodukt der folgenden Art beschreiben:
wobei die quadratische Matrix
die durch das Aufnahmeverfahren zur Ermittlung der Funktion Y bestehende Unschärfe darstellt, und wobei angenommen wird, dass sich die Funktion Y durch die Anwendung der Unschärfematrix
auf den Vektor X der Funktionswerte der noch zu ermittelten Ausgangsfunktion X ergibt. Diese Unschärfematrix
gibt die aufgenommene Helligkeit bzw. Farbe eines Pixelsensors 12 mit einem Gegenstandsbereich der Breite dp als Funktion der konkreten Helligkeit bzw. Farbe des Gegenstands am vorgegebenen Aufnahmebereich sowie in dazu benachbarten Aufnahmebereichen an. Die Einträge der Matrix
können bestimmt werden, indem das Verfahren zur Ermittlung der Funktion Y bei der Aufnahme des vorgegebenen Referenzobjekts 2' mit einem scharfen Farb- bzw. Helligkeitsübergang normal zur Fortbewegungsrichtung durchgeführt wird und die Farbwerte des Vektors Y ermittelt werden (5b) und anschließend die einzelnen Funktionswerte des Vektors Y transformiert werden. Dabei entspricht der Maximalwert jeweils dem Hauptdiagonalen-Wert der Matrix
und die jeweils benachbart gelegenen Werte werden entsprechend ihrer Lage zum Maximum in die Nebendiagonalen eingetragen.
Verfahren zur Schätzung der Werte der Matrix
sind in der Literatur bekannt, nur exemplarisch sei auf D. Kundur and D. Hatzinakos, "Blind Image Deconvolution," IEEE Signal Processing Magazine verwiesen.
Es werden lineare Unschärfe-Filter von vorgegebener Länge verwendet. Die verwendeten aufgedruckten Referenzmuster auf dem Referenzobjekt 2' sind derart gewählt, dass die aufgedruckten Farbübergänge zumindest soweit voneinander entfernt sind, damit die Reaktion über die doppelte Filterlänge ermittelt werden kann.
Der Hauptdiagonalenwert der Matrix
entspricht dem Funktionswert h1 der Funktion Y der 5a, die Nebendiagonalenwerte entsprechen den Funktionswerten h2 und h3 der Funktion Y der 5a. Die Matrix H hat dabei die folgende Gestalt:

H = h₁ h₂ h₃ 0

h₂ h₁ h₂ h₃ 0

h₃ h₂ h₁ h₂ h₃ 0

0 h₃ h₂ h₁ h₂ h₃ 0
Die Unschärfematrix
ist quadratisch und weist eine Anzahl von N.U Zeilen und N.U Spalten auf, wobei U die Breite des zu untersuchenden Intervalls bestimmt. Die Zeilensumme der einzelnen Zeilen der Matrix
weist dabei zumindest für die im Inneren des Aufnahmebereichs gelegenen Punkte stets den Wert 1 auf. In jeder Zeile weist der Hauptdiagonaleneintrag den höchsten Wert auf und die jeweils benachbarten Werte weisen einen mit zunehmender Entfernung von der Hauptdiagonale geringeren Wert auf. Wie in 5a dargestellt, fallen die Nebendiagonalenwerte mit zunehmender Entfernung von der Hauptdiagonale ab. Die einzelnen Zeileneinträge h1 bis h3 sind für jede Zeile wertemäßig gleich. Prinzipiell könnte die Inverse der Unschärfematrix
direkt aufgrund der einzelnen Einträge bestimmt werden. Die Inversion dieser Matrix ist aufgrund der schlechten Konditionierung jedoch schwierig und zum Teil birgt die Invertierung der Matrix einen großen numerischen Fehler.
Ein weiterer Aspekt der Erfindung besteht darin, dass nach dem Schärfen eine Interpolation der geschärften Funktion durchgeführt wird. Hierfür kann das oben beschriebene Modell zur Bestimmung der Funktion Y auf Basis der Ausgangsfunktion X, wie folgt, erweitert werden:
Hierbei ist F eine Interpolationsmatrix, die eine Interpolation von auf dem Definitionsbereich der Funktion Y definierten Werten auf den Definitionsbereich der Ausgangsfunktion darstellt. Für die Ausgangsfunktion X wird ein diskreter Definitionsbereich festgelegt, wobei die diskreten Punkte, an denen die Ausgangsfunktion definiert ist, jeweils in Abstand 1/R voneinander entfernt sind. Dieser Interpolationsschritt ist in 6 dargestellt. Dargestellt sind die aufgezeichnete Funktion Y, die geschärfte Funktion
sowie die interpolierte Ausgangsfunktion X. Die Funktionen X, Y werden hierbei durch die Vektoren ihrer Funktionswerte dargestellt. Ziel der Interpolation ist es, die Anzahl der den Oberflächenfarbverlauf des aufzuzeichnenden Objekts 2 mit einer geringeren Anzahl von Punkten darzustellen und somit Speicherplatz einzusparen. Mittels einer im folgenden dargestellten Matrix F erfolgt eine Umrechnung der einzelnen Punkte der geschärften Funktion
in die Punkte der Ausgangsfunktion X bzw. des Vektors X der Ausgangsfunktion Y. Die Matrix F ist dabei nicht quadratisch, sondern weist eine Anzahl von R·U + 1 Zeilen auf, wobei U die Breite des zu untersuchenden Intervalls bestimmt und R ein Auflösungsfaktor ist, der auf einen ganzzahligen Wert festgelegt wird, wobei dessen Wert kleiner ist als der Wert des Super-Resolution-Faktors N. Die Interpolation wird jeweils auf einzelnen Teilbereichen der ermittelten und gegebenenfalls geschärften Funktion durchgeführt.
Je nach Wahl des Auflösungsfaktors R und des Super-Resolutions-Faktors N ergeben sich unterschiedlich große Intervalle, die im Folgenden so gewählt werden, dass die beiden Intervallgrenzen Stützstellen- bzw. Definitionsbereich sowohl der Ausgangsfunktion als auch der Funktion Y bzw. der geschärften Funktion sind. Im vorliegenden Fall wird der Auflösungsfaktor R = 2 und der Superresolutions-Faktor = 3 gewählt. Das in 6 dargestellte Intervall umfasst sieben Stützpunkte der geschärften Funktion
sowie fünf Stützpunkte der Ausgangsfunktion X. Die beiden Punkte am rechten Rand der geschärften Funktion
sowie der Ausgangsfunktion X werden dabei nicht mehr als diesem Intervall zugehörig betrachtet, sondern dem an dieses Intervall anschließenden Intervall zugehörig erachtet und für die weiteren Berechnungen nicht mehr herangezogen. Für genauere Berechnungen können größere Definitionsbereiche bzw. Definitionsintervalle der geschärften Funktion
sowie der Ausgangsfunktion X herangezogen werden, was jedoch die Verwendung größerer Matrizen H, F und damit einen größeren Resourcenaufwand mit sich bringt.
Die Zeilensumme dieser Matrix F weist stets den Wert 1 auf. Jede Zeile umfasst lediglich zwei benachbarte Zeileneinträge, die ungleich null sind. Fallen jedoch der Definitionsbereich der geschärften Funktion
sowie der Ausgangsfunktion X zusammen, liegt lediglich ein einziger Wert innerhalb einer Seite vor, der ungleich null ist, wobei dessen Wert exakt 1 ist.

F = 1

1 – Δ₂ Δ₂

1 – Δ₃ Δ₃

1

1 – Δ₂ Δ₂

1 – Δ₃ Δ₃ Δ₂ = 2/3 Δ₃ = 1/3

1
Als letzter Schritt muss die oben beschriebene Gleichung
nach X aufgelöst werden. Zu diesem Zweck wird die Gauß'sche Normalform verwendet, wobei anstelle des Matrizen-Produktes
eine Matrix M tritt. Die Gauß'sche Normalform kann dabei folgendermaßen geschrieben werden: M^T·Y = M^T·M·X. Die linke Seite dieser Gleichung lässt sich ohne Weiteres ausrechnen, sodass im Folgenden M^T·Y durch Y' geschrieben wird. Auch das Matrizenprodukt M^T·M kann vorab berechnet werden, woraus eine quadratische Matrix M' resultiert. Man erhält somit das Gleichungssystem M'·X = Y'. Ein derartiges Gleichungssystem weist eine sehr schlechte Kondition auf, die es fehleranfällig für numerische Lösungsmethoden macht. Um dies zu vermeiden, kann eine näherungsweise Lösung dieses Gleichungssystems mittels einer Tychonov-Regularisierung vorgenommen werden, wobei der Matrix M' ein zusätzlicher Term α, E hinzugefügt wird, wobei E die Einheitsmatrix ist und α ein Faktor ist, der durch Vergleich der jeweils ermittelten Lösung mit einem bekannten Bild optimiert wird. Dabei wird der Wert α so lange abgeändert, bis eine minimale Abweichung zwischen dem ermittelten Bild und dem bekannten Bild besteht. Die anschließende Lösung dieses Gleichungssystems kann mittels eines Gleichungslösers nach dem Stand der Technik, beispielsweise mittels eines GMRES-Verfahrens bewerkstelligt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

- D. Kundur and D. Hatzinakos, ”Blind Image Deconvolution,” IEEE Signal Processing Magazine [0037]

Claims

Verfahren zur Aufnahme eines Bildes eines an einer Kamera (1) vorbeibewegten Objekts (2), wobei die Kamera einen Flächensensor (1) mit rasterartig angeordneten Sensorpixeln (12) umfasst, wobei die Spaltenrichtung der rasterförmig angeordneten Sensorpixel (12) weitestgehend parallel zur Bewegungsrichtung des Objekts (2) liegt, wobei a) während der Bewegung des Objekts (2) in Spaltenrichtung fortlaufend in vorgegebenen Aufnahmeintervallen (dt) die Ausgangswerte aller Sensorpixel (12) für die Ermittlung der Helligkeit bzw. Farbe eines konkreten Objektpunkts am Objekt (2) ermittelt werden, und wobei b) die Geschwindigkeit des Objekts (2) im Verhältnis zum Quotienten (L) zwischen Abstand (dp) des Bildbereichs zweier benachbarter Sensorpixel (12) einer Spalte und dem Aufnahmeintervall (dt) festgelegt wird, dadurch gekennzeichnet, dass c) für jede der Pixelspalten c1) ein Superresolution-Faktor (N) auf einen ganzzahligen Wert festgelegt wird, wobei der Quotient (L), und entweder der Abstand (dp) oder das Aufnahmeintervall (dt), durch die Formel L = 1 + 1/N festgelegt wird, und c2) jedem Pixel einer Spalte entsprechend seiner Lage in der Spalte ein fortlaufender nummerierter Index (P) zugeordnet wird, c3) zu jedem Aufnahmezeitpunkt (t) t = T·dt die einzelnen Helligkeitswerte H(P, T) bzw. Farbwerte jedes der einzelnen Sen sorpixel (12) einer Spalte ermittelt werden, wobei T einen diskreten, insbesondere ganzzahligen, Index für den jeweiligen Aufnahmezeitpunkt bezeichnet. c4) nach jeder Aufnahme die ermittelten Helligkeitswerte H(P, T) einer diskret definierten Funktion (Y) zugewiesen werden, wobei für jeden ermittelten Helligkeitswert H(P, T) ein Funktionswert Y(T·(1 + 1/N) + P) eingetragen wird, d) eine Ausgangsfunktion (X) ermittelt wird, indem d1) ein Auflösungsfaktor (R) auf einen ganzzahligen Wert festgelegt wird, wobei dessen Wert kleiner ist als der Wert des Superresolution-Faktors (N) d2) für die Ausgangsfunktion (X) ein diskreter Definitionsbereich festgelegt wird, wobei die diskreten Punkte, an denen die Ausgangsfunktion definiert ist, in Intervallen 1/R voneinander entfernt sind, wobei zumindest ein Definitionspunkt der Ausgangsfunktion (X) mit einem Definitionspunkt der Funktion (Y) übereinstimmt, d3) Zeitintervalle der Funktion (Y) und der Ausgangsfunktion (X) ermittelt werden, die von denselben Randpunkten begrenzt werden, d4) ein Zusammenhang zwischen den Funktionswerten der Ausgangsfunktion (X) und der Funktion (Y) in der Form
angenommen wird, wobei die einzelnen Funktionswerte der jeweiligen Funktionen innerhalb des Intervalls als Vektor X, Y von in den einzelnen Punkten des jeweiligen Definitionsbereichs definierten Funktionswerten festgestellt werden, d5) wobei F eine Interpolationsmatrix, gegebenenfalls die Einheitsmatrix, ist, die eine Interpolation von auf dem Definitionsbereich der Funktion (Y) definierten Werten auf den Definitionsbereich der Ausgangsfunktion (X) darstellt, d6) wobei
eine Unschärfe-Matrix darstellt, die die resultierende Unschärfe der Aufnahme eines Gegenstandsbereichs der Breite (dp) und dessen Zuordnung auf einen Bereich der Breite von dp/R wiedergibt, und d7) die in d4) gegebene Gleichung nach dem Vektor (X) aufgelöst wird und die Ausgangsfunktion (X) bzw. die für jede der Spalten ermittelte Anzahl von Ausgangsfunktionen (X) als Abbild des Objekts (2) weiterverarbeitet wird.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die Interpolationsmatrix (F) als eine lineare Interpolation zwischen dem Vektor (X) der Werte auf der Ausgangsfunktion (X) und dem Vektor (Y) der Werte auf der Funktion (Y) festgelegt wird, wobei hierbei insbesondere a) die Anzahl der Zeilen R·U + 1 entspricht, wobei U die Breite des zu untersuchenden Intervalls bestimmt, und die Anzahl der Spalten durch N·U bestimmt wird, und/oder b) die Zeilensumme stets den Wert 1 aufweist, und/oder c) in jeder Zeile lediglich zwei benachbarte Zeileneinträge ungleich null sind, und/oder d) bei Überschneidung der Definitionsbereiche der Ausgangsfunktion (X) und der Funktion (Y) in einem Punkt lediglich ein einziger Wert der Zeile ungleich null ist und dieser den Wert 1 aufweist.
Verfahren gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Unschärfe-Matrix (H) die aufgenommene Helligkeit bzw. Farbe eines Pixelsensors (1) mit einem Gegenstandsbereich der Breite dp als Funktion der konkreten Helligkeit bzw. Farbe des Gegenstands am vorgegebenen Aufnahmebereich sowie in dazu benachbarten Aufnahmebereichen angibt, wobei insbesondere a) die Anzahl der Zeilen und der Spalten N·U entspricht, wobei U die Breite des zu untersuchenden Intervalls bestimmt, und/oder b) die Zeilensumme stets den Wert 1 aufweist, und/oder c) in jeder Zeile der Hauptdiagonaleneintrag den höchsten Wert aufweist und/oder die jeweils benachbarten Werte mit zunehmender Entfernung von der Hauptdiagonale abfallen, und/oder d) die einzelnen Zeileneinträge wertemäßig für alle Zeilen gleich sind.
Verfahren gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Lösung der Gleichung
die Gaußsche Normalform dieser Gleichung in der Form M^T·Y = M^T·M·X, gelöst wird, wobei die Matrix M^T·M einer Tychonov-Regularisierung unterzogen wird, d. h. durch den Ausdruck (M^T·M + α·E) ersetzt wird, wobei E die Einheitsmatrix ist und der Faktor α durch Vergleich der jeweils ermittelten Lösung mit einem bekannten Bild optimiert wird, d. h., solange abgeändert wird, bis eine minimale Abweichung zwischen dem ermittelten Bild und dem bekannten Bild besteht.
Verfahren gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Einträge der Matrix (H) bestimmt werden, indem die Verfahrensschritte a) bis c) des Anspruchs 1 bei der Aufnahme eines vorgegebenen Objekts mit einem scharfen Farb- bzw. Helligkeitsübergang normal zur Fortbewegungsrichtung durchgeführt werden und die Farbwerte des Vektors (Y) ermittelt werden, und anschließend die einzelnen Funktionswerte des Vektors (Y) gemäß
transformiert werden, wobei der Maximalwert jeweils dem Hauptdiagonalenwert der Matrix (H) entspricht und die jeweils benachbart gelegenen Werte entsprechend ihrer Lage zum Maximum in die Nebendiagonalen eingetragen werden.
Datenträger auf dem ein Programm zur Durchführung eines Verfahrens gemäß einem der Ansprüche 1 bis 5 abgespeichert ist.
Computerprogramm mit Programmcode-Mitteln eingerichtet zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 5, wenn das Programm auf einem Computer ausgeführt wird,
Computerprogramm nach Anspruch 7, gespeichert auf einem Datenträger.
Computerprogrammprodukt mit Programmcode zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 5, wenn das Programm auf einem Computer ausgeführt wird.