-
Die
Erfindung betrifft ein Verfahren gemäß dem Oberbegriff
des Patentanspruchs 1.
-
Der
Erfindung wird auf dem Gebiet der automatischen Prüfung
von Gegenständen, insbesondere auf dem Gebiet der Prüfung
von Banknoten, gewerblich eingesetzt.
-
Hintergrund
der Erfindung ist die Automatisierung der Prüfung von Gegenständen,
insbesondere von Banknoten. Dabei werden die Banknoten mit einer
vorgegebenen Geschwindigkeit an einem Zeilensensor vorbeibewegt,
der den Gegenstand im Zuge seiner Bewegung aufzeichnet.
-
Die
Aufgabe der Erfindung liegt darin, die Auflösung der aufgenommenen
Bilder parallel zu deren Fortbewegungsrichtung zu erhöhen
und die durch die Bewegung und die Aufnahmeoptik des Gegenstands
bewirkte Unschärfe (Motion Blur) zu kompensieren.
-
Erfindungsgemäß wird
dies mit einem Verfahren zur Aufnahme eines Bildes eines an einer
Kamera vorbeibewegten Objekts, erreicht, wobei die Kamera einen
Flächensensor mit rasterartig angeordneten Sensorpixeln
umfasst, wobei die Spaltenrichtung der rasterförmig angeordneten
Sensorpixel weitestgehend parallel zur Bewegungsrichtung des Objekts
liegt, wobei während der Bewegung des Objekts in Spaltenrichtung fortlaufend in
vorgegebenen Aufnahmeintervallen die Ausgangswerte aller Sensorpixel
für die Ermittlung der Helligkeit bzw. Farbe eines konkreten
Objektpunkts am Objekt ermittelt werden, und wobei die Geschwindigkeit
des Objekts im Verhältnis zum Quotienten zwischen Abstand
des Bildbereichs zweier benachbarter Sensorpixel einer Spalte und
dem Aufnahmeintervall festgelegt wird.
-
Diese
Verfahren kennzeichnet sich erfindungsgemäß dadurch,
dass für jede der Pixelspalten ein Superresolution-Faktor
auf einen ganzzahligen Wert festgelegt wird, wobei der Quotient
und entweder der Abstand oder das Aufnahmeintervall, durch die Formel
L = 1 + 1/N festgelegt wird, und jedem Pixel einer Spalte entsprechend
seiner Lage in der Spalte ein fortlaufender nummerierter Index zugeordnet
wird, zu jedem Aufnahmezeitpunkt t = T·dt die einzelnen
Helligkeitswerte H(P, T) bzw. Farbwerte jedes der einzelnen Sensorpixel einer
Spalte ermittelt werden, und nach jeder Aufnahme die ermittelten
Helligkeitswerte H(P, T) einer diskret definierten Funktion zugewiesen
werden, wobei für jeden ermittelten Helligkeitswert H(P,
T) ein Funktionswert Y(T·(1 + 1/N) + P) eingetragen wird.
N bezeichnet dabei den Superresolution-Faktor, eine ganze Zahl.
P bezeichnet den diskreten Index eines Pixels, T bezeichnet einen
diskreten ganzzahligen Zeitpunkt. Weiters wird eine Ausgangsfunktion
ermittelt, indem ein Auflösungsfaktor auf einen ganzzahligen
Wert festgelegt wird, wobei dessen Wert kleiner ist als der Wert
des Superresolution-Faktors. Für die Ausgangsfunktion wird
ein diskreter Definitionsbereich festgelegt, wobei die diskreten
Punkte, an denen die Ausgangsfunktion definiert ist, in Intervallen
1/R voneinander entfernt sind, wobei zumindest ein Definitionspunkt
der Ausgangsfunktion mit einem Definitionspunkt der Funktion übereinstimmt,
Zeitintervalle der Funktion und der Ausgangsfunk tion ermitteln werden,
die von denselben Randpunkten begrenzt werden, ein Zusammenhang
zwischen den Funktionswerten der Ausgangsfunktion X und der Funktion
in der Form
angenommen wird. Der Vektor
X umfasst diskrete Werte der
Ausgangsfunktion X. Die einzelnen Funktionswerte der jeweiligen
Funktionen innerhalb des Intervalls als Vektor von in den einzelnen
Punkten des jeweiligen Definitionsbereichs definierten Funktionswerten
werden festgestellt, wobei F eine Interpolationsmatrix, gegebenenfalls
die Einheitsmatrix, ist, die eine Interpolation von auf dem Definitionsbereich
der Funktion (Y) definierten Werten auf den Definitionsbereich der
Ausgangsfunktion X darstellt, wobei
eine
Unschärfe-Matrix
darstellt.
Die Unschärfe-Matrix
gibt
die resultierende Unschärfe der Aufnahme eines Gegenstandsbereichs der
Breite und dessen Zuordnung auf einen Bereich der Breite von dp/R
wieder. dp bezeichnet die Breite des Aufnahmebereichs eines Sensorpixels.
R bezeichnet dabei einen ganzzahligen Auflösungsfaktor.
Durch die Transformationsvorschrift der Unschärfematrix
wird
die Tatsächliche durch die Aufnahme notwendigerweise bestehende
Unschärfe abgebildet. Durch Lösung des Gleichungssystems
wird der Unschärfe-Effekt beseitigt. Die somit gegebene
Gleichung wird nach dem Vektor
X aufgelöst
und die Ausgangsfunktion
X bzw.
die für jede der Spalten ermittelte Anzahl von Ausgangsfunktionen
X wird als Abbild des Objekts
weiterverarbeitet wird.
-
Durch
dieses Vorgehen wird die mit dem Verfahren erzielte Auflösung
gegenüber einem herkömmlichen TDI-Verfahren erheblich
gesteigert. Zusätzlich kann die Unschärfe erheblich
verringert werden. Dies ermöglicht eine feinere Abtastung
der aufzunehmenden Gegenstände und ermöglicht
die Prüfung von kleineren Details auf den Gegenständen.
-
Ein
weiterer Aspekt der Erfindung sieht vor, dass die Interpolationsmatrix
als eine lineare Interpolation zwischen dem Vektor der Werte auf
der Ausgangsfunktion X und
dem Vektor der Werte auf der Funktion festgelegt wird, wobei hierbei
insbesondere die Anzahl der Zeilen R·U + 1 entspricht,
wobei U die Breite des zu untersuchenden Intervalls bestimmt, und
die Anzahl der Spalten durch N·U bestimmt wird, und/oder
die Zeilensumme stets den Wert 1 aufweist, und/oder in jeder Zeile
lediglich zwei benachbarte Zeileneinträge ungleich null
sind, und/oder bei Überschneidung der Definitionsbereiche
der Ausgangsfunktion und der Funktion in einem Punkt lediglich ein
einziger Wert der Zeile ungleich null ist und dieser den Wert 1
aufweist.
-
Diese
besondere Verfahrensführung ermöglicht eine vereinfachte
Bestimmung der Helligkeitswerte in den Bildpunkten und verringert
das Auftreten von Artefakten.
-
Ein
weiterer spezieller Aspekt der Erfindung sieht vor, dass die Unschärfe-Matrix
die aufgenommene Helligkeit bzw. Farbe eines Pixelsensors mit einem
Gegenstandsbereich der Breite dp als Funktion der konkreten Helligkeit
bzw. Farbe des Gegenstands am vorgegebenen Aufnahmebereich sowie
in dazu benachbarten Aufnahmebereichen angibt, wobei insbesondere
die Anzahl der Zeilen und der Spalten N·U entspricht, wobei
U die Breite des zu untersuchenden Intervalls bestimmt, und/oder
die Zeilensumme stets den Wert 1 aufweist, und/oder in jeder Zeile
der Hauptdiagonaleneintrag den höchsten Wert aufweist und/oder
die jeweils benachbarten Werte mit zunehmender Entfernung von der
Hauptdiagonale abfallen, und/oder die einzelnen Zeileneinträge
wertemäßig für alle Zeilen gleich sind.
-
Diese
besondere Verfahrensführung ermöglicht eine vereinfachte
Anpassung des Verfahrens an die Gegebenheiten der Aufnah meumgebung.
Dabei kann insbesondere der Einfluss des Motion-Blur sowie sonstiger
Unschärfe-Effekte kompensiert werden.
-
Zusätzlich
kann vorgesehen werden, dass zur Lösung der Gleichung
die Gaußsche Normalform
dieser Gleichung in der Form M
T·
Y = M
T·M·
X, gelöst wird, wobei
die Matrix M
T·M einer Tychonov-Regularisierung
unterzogen wird, d. h. durch den Ausdruck (M
T·M
+ α·E) ersetzt wird, wobei E die Einheitsmatrix
ist und der Faktor α durch Vergleich der jeweils ermittelten
Lösung mit einem bekannten Bild optimiert wird, d. h. solange
abgeändert wird, bis eine minimale Abweichung zwischen
dem ermittelten Bild und dem bekannten Bild besteht.
-
Dieses
Vorgehen ermöglicht eine Ressourcen sparende und numerisch
stabile Lösung des vorliegenden Gleichungssystems und verbessert
somit die Bildqualität. Die Matrizen können vor
Beginn der Berechnungen vorab bestimmt werden. Bei der Implementierung
des Verfahrens ist lediglich eine Matrix-Multiplikation oder lineare
Filterung pro Pixelspalte durchzuführen.
-
Ein
weiterer Aspekt der Erfindung sieht vor, dass die Einträge
der Matrix bestimmt werden, indem die Verfahrensschritte zur Ermittlung
des Gegenstandsbildes bei der Aufnahme eines vorgegebenen Objekts
mit einem scharfen Farb- bzw. Helligkeitsübergang normal
zur Fortbewegungsrichtung durchgeführt werden und die Farbwerte
des Vektors ermittelt werden, und anschließend die einzelnen
Funktionswerte im Vektor, transformiert werden, wobei der Maximalwert
jeweils dem Hauptdiagonalenwert der Matrix entspricht und die jeweils
benachbart gelegenen Werte entsprechend ihrer Lage zum Maximum in
die Nebendiagonalen eingetragen werden.
-
Dieses
Vorgehen verringert bzw. kompensiert den bei der Aufzeichnung entstehenden
Motion-Blur und verbessert zusätzlich die Bildqualität.
-
Die
Erfindung wird im Folgenden anhand eines Beispiels, dargestellt
in den 1 bis 6, ohne Einschränkungen
der Allgemeinheit der Erfindung auf dieses Beispiel näher
erläutert.
-
1 zeigt
schematisch eine Aufnahmevorrichtung gemäß dem
Stand der Technik, mit der Rohdaten für das erfindungsgemäße
Verfahren ermittelt werden.
-
2 zeigt
schematisch eine Spalte von Sensorpixeln eines Flächensensors
sowie die Abbildung eines Objekts auf den Flächensensor.
-
3 zeigt
schematische die Vorgehensweise bei einem TDI-Verfahren gemäß dem
Stand der Technik.
-
4 zeigt
die Ermittlung einer Funktion Y aus den einzelnen aufgenommenen
Spaltenwerten.
-
5a und 5b zeigen die Unschärfe bei der
Aufnahme eines Streifens, der eine Ausdehnung von weniger als der
Bildbreite eines Pixels aufweist, bzw. bei der Aufnahme eines scharfen
Kontrasts.
-
6 zeigt
ein Zeitfenster, innerhalb dessen die Interpolation zwischen der
aufgenommenen Funktion und der Ausgangsfunktion vorgenommen wird.
-
1 zeigt
eine Aufnahmevorrichtung, mit der das erfindungsgemäße
Verfahren geführt werden kann. Eine derartige Vorrichtung
umfasst zum einen eine Kamera 1, die mit einem Flächensensor
ausgestattet ist, der rasterartig angeordnete Sensorpixel 12 umfasst.
Die Aufnahmevorrichtung umfasst ferner eine nicht dargestellte Auswerteeinheit,
der die von der Kamera aufgenommenen Daten zugeführt sind.
Zum anderen umfasst die Aufnahmevorrichtung eine Fortbewegungseinrichtung 4,
insbesondere ein Transportband, mittels der ein zu untersuchendes
Objekt 2 durch den Aufnahmebereich der Kamera 1 geführt
werden kann, wobei im Zuge der Relativbewegung des Objekts 2 zur
Kamera ein Bild des Objekts 2 aufgenommen wird. Hierbei
ist eine Fortbewegungsrichtung x des Objekts 2 vorgegeben.
Eine der beiden Ausrichtungsrichtungen des rechteckigen Rasters
der Sensorpixel 12 steht normal zur Fortbewegungsrichtung
des Objekts. Die andere Ausrichtungsrichtung des Rasters des Flächensensors
steht nicht normal, insbesondere parallel, zur Fortbewegungsrichtung
des Transportbandes; dies wird im Folgenden als Spaltenrichtung
bezeichnet. Die in Spaltenrichtung zueinander angeordneten Sensorpixel 12 des
Flächensensors werden jeweils als Spalten bezeichnet.
-
2 zeigt
einen Längsschnitt durch die Kamera 1, den Flächensensor
sowie das Objekt 2. Das Objekt 2 befindet sich
hierbei auf der Fortbewegungseinrichtung, wie in 2 dargestellt.
Vom Flächensensor der Kamera 1 ist lediglich eine
einzige Spalte von Sensorpixeln 12 dargestellt. Ein weiterer,
im Folgenden häufig gebrauchter Begriff ist die Breite
dp des Gegenstandsbereichs eines Sensorpixels 12. Hierbei
wird angenommen, dass das zu untersuchende Objekt 2 einen
vorgegebenen Abstand w von der Kamera 1 bzw. dem Zeilensensor
aufweist. Ferner wird davon ausgegangen, dass das Objekt 2 im
Vergleich zum Abstand w eine lediglich sehr geringe Dicke bzw. Ausdehnung
in Richtung zur Kamera 1 hin aufweist. Unter diesen Voraussetzungen
kann angenommen werden, dass die Breite dp des Gegenstandsbereichs
eines Sensorpixels 12 bzw. dazu äquivalent der
Abstand der Mittelpunkte der aneinander angrenzenden Gegenstandbereiche
zweier benachbarter Sensorpixel 12 einen für alle
Sensorpixel 12 konstanten Wert dp aufweist.
-
Das
Objekt 2 wird, wie in 2 dargestellt,
entlang der Richtung x gegenüber der Kamera 1 bewegt. Innerhalb
vorgegebener, gleich langer Zeitbereichen dt wird von dem Objekt 2 ein
Bild aufgenommen.
-
Die
folgenden Erörterungen betreffen lediglich die eine einzelne
Spalte. Die Ausdehnung eines derartigen Verfahrens auf Bilder, die
mit Flächenkameras mit einer Vielzahl von Spalten aufgenommen
worden sind, kann durch bloße Vervielfachung des im Folgenden
beschriebenen Verfahrens für jede Spalte separat durchgeführt
werden.
-
Nach
der Aufnahme einer Spalte von Helligkeitswerten zu einem Zeitpunkt
t = 0 liegt, wie in 3 beschrieben, eine Anzahl von
aufgenommenen Farb- bzw. Intensitätswerten vor. Jedes der
sieben Sensorpixel der Spalte liefert hierbei einen Intensitätswert.
Zum Zeitpunkt t = 0 liegt somit ein Vektor von sieben Helligkeits- bzw.
Farbwerten vor, die von den einzelnen Pixeln 12 einer Spalte
des Flächensensors aufgenommen worden sind.
-
Es
wird, wie beim eingangs beschriebenen TDI-Verfahren nach einem vorgegebenen
Zeitraum eine weitere Aufnahme durchgeführt, wobei sichergestellt
sein muss, dass der Gegenstandsbereich, der zum Aufnahmezeitpunkt
t = 0 im Bildbereich eines Sensorpixels 12 war, zum Aufnahmezeitpunkt
t = 1, dt im Bildbereich des jeweils benachbarten Sensorpixels gelegen
ist. Es wird derselbe Oberflächen- bzw. Gegenstandsbereich des
Gegenstandes 2 von sämtlichen Sensorpixeln 12 einer
Spalte auf genommen. Es ist wie beim Stand der Technik vorgesehen,
dass dabei die Geschwindigkeit des Objekts 2 gleich dem
Quotienten L zwischen dem Abstand dp des Bildbereichs der Mittelpunkte
zweier benachbarter Sensorpixel einer Spalte und dem Aufnahmeintervall
dt ist. Als Auflösung wird hierbei die Größe
Gegenstandsbereich bezeichnet, für den ein Helligkeitswert
ermittelt worden ist. Für das klassische TDI-Verfahren
entspricht die Auflösung dem Gegenstandsbereich dt.
-
Im
vorliegenden Fall wird dieser Stand der Technik weitergebildet,
wobei die Geschwindigkeit des Objekts 2 nicht dem Quotienten
L gleichgesetzt wird. Vielmehr wird ein Verhältnis zwischen
der Geschwindigkeit des Objekts 2 und dem Quotienten L
festgelegt. Hierfür wird ein Super-Resolution-Faktor N
vorgegeben, der einen ganzzahligen Wert besitzt und der bestimmt,
um wie viel die Auflösung im Verhältnis zum TDI-Verfahren gemäß dem
Stand der Technik verfeinert werden soll. Typischerweise können
hierfür Werte zwischen 2 und 8 gewählt werden.
Der Quotient L, der Abstand dp sowie das Aufnahmeintervall dt werden
durch die Formel L = 1 + 1/N = dp/dt ins Verhältnis gesetzt.
Durch Variation des Aufnahmeintervalls dt bzw. der Geschwindigkeit
des Objekts 2 relativ zur Kamera 1 kann der Quotient
L auf den festgelegten Wert eingestellt werden. Üblicherweise
geschieht dies dadurch, dass die Geschwindigkeit des Objekts 2 auf
einen Wert festgelegt wird, der bei den herkömmlichen TDI-Verfahren
verwendeten Geschwindigkeit multipliziert mit dem Quotienten L entspricht.
Alternativ dazu kann selbstverständlich auch das Aufnahmeintervall
dt verringert werden. Auch kann durch Variation des Abstandes w
der Gegenstandsbereich dp variiert werden.
-
Jedem
Sensorpixel 12 einer Spalte wird entsprechend seiner Lage
in der Spalte ein fortlaufender nummerierter Index P zugeordnet.
Wie bereits erwähnt, werden zu einzelnen Aufnahme zeitpunkten
t = T, dt die jeweiligen Helligkeitswerte bzw. Farbwerte jedes der
einzelnen Sensorpixel 12 der jeweiligen Spalte ermittelt. Die
Aufnahmezeitpunkte t werden dabei in fest vorgegebenen Zeitintervallen
beabstandet, wobei sich die einzelnen Aufnahmezeitpunkte in der
Form t = T·dt ergeben, wobei T eine fortlaufende natürliche
Zahl ist. Die einzelnen Helligkeitswerte H(P, T) liegen für
jedes Sensorpixel 12, dargestellt durch seinen ihm zugeordneten ganzzahligen,
fortlaufenden Index P, sowie für jeden Aufnahmezeitpunkt
T vor.
-
Im
Folgenden wird eine diskret definierte Funktion Y ermittelt, die
die einzelnen ermittelten Helligkeitswerte H(P, T) der Pixel der
Spalte derart zugewiesen erhält, dass sie den Verlauf der
Helligkeit bzw. der Farbe der Oberfläche des zu untersuchenden
Objekts 2 wiedergibt. Im Gegensatz zum TDI-Verfahren weist
die resultierende Funktion Y eine um den Superresolution-Faktor
N vervielfachte Anzahl von Stützpunkten auf. Um diesen
Unterschied zum Stand der Technik besser zu verdeutlichen, werden
die zusätzlichen Punkte des Definitionsbereichs der Funktion
Y durch Bruchzahlen dargestellt. Bei dem im Folgenden angenommenen
Superresolution-Faktor N = 3, erhält man zwischen den üblichen
durch TDI erhaltenen Stützpunkten jeweils zwei weitere
Zwischenstützpunkte.
-
In
einem ersten Schritt werden erfindungsgemäß die
Helligkeitswerte H zum Zeitpunkt t = 0 aufgenommen und mit ihnen
die diskret definierte Funktion Y gebildet. In diesem Schritt werden
lediglich Werte an ganzzahligen Stellen in die Funktion Y eingetragen.
Zum nächsten Zeitpunkt t = 1 werden erneut Helligkeitswerte H
aufgenommen und in die Funktion Y eingetragen, wobei bei dieser
erfindungsgemäßen Vorgangsweise ein Vorschub bzw.
Versatz der eingetragenen Helligkeitswerte H gegenüber
der Funktion Y um 1 + 1/N, in diesem Fall 4/3, er folgt. Somit wird
der erste Helligkeitswert, der zum Zeitpunkt T = 1 aufgenommen worden
ist, an der Stelle 1 + 1/3 eingetragen. Die weiteren Werte werden
an der Stelle 2 + 1/3, 3 + 1/3 sowie 4 + 1/3 eingetragen. Analog
wird mit den zu den Aufnahmezeitpunkten T > 1 ermittelten Helligkeitswerten verfahren.
Allgemein kann formuliert werden, dass jeder ermittelte Helligkeitswert
H(P, T) als Funktionswert Y(T,(1 + 1/N) + P) eingetragen wird. Bei
Verwendung eines TDI-Verfahrens gemäß dem Stand
der Technik ist der Summand 1/N nicht vorhanden.
-
Wird
dabei der Superresolution-Faktor kleiner gewählt als die
Anzahl der innerhalb einer Spalte befindlichen Pixel, wird jedem
Funktionswert Y von (N + j/N) für j > 0 jedenfalls zumindest ein Wert zugewiesen. Beispielsweise
sind in 4 die Werte Y(1/3), Y(2/3),
Y(1 + 2/3) nicht definiert. Derartige Anfangseffekte sind normalerweise
unproblematisch, da sich bei der ersten Aufnahme des Bildes zumeinst
ohnehin kein Objekt im Bildbereich der Kamera befindet. Wie auch
beim herkömmlichen TDI-Verfahren kann es vorkommen, dass
einzelne Werte doppelt beschrieben werden. Hier kann der Einfachheit
halber ein Mittelwert zwischen den eingetragenen Werten gebildet
werden.
-
Die
erfindungsgemäß ermittelte Funktion Y weist gegenüber
einer mit herkömmlichem TDI ermittelten Funktion den wesentlichen
Vorteil auf, dass die Anzahl ihrer Stützstellen wesentlich
höher ist. Somit kann eine Abwägung getroffen
werden, inwieweit die Pixel einer Spalte zur Verminderung des Rauschens
verwendet werden bzw. ob diese Pixel zur Erhöhung der Auflösung
verwendet werden. Hierbei stellt das TDI-Verfahren gleichsam ein
Extrembeispiel dar, bei dem sämtliche Sensorpixel 12 einer
Spalte zur Verringerung des Rauschens verwendet werden, während
keinerlei Maßnahmen getroffen werden, die Auflösung
zu erhöhen. Je größer der Superresolution-Faktor
N gewählt wird, umso mehr Helligkeitsinformation der Sensorpixel 12 wird für
die Erhöhung der Auflösung verwendet, desto größer
ist jedoch auch das Rauschen. Je mehr Sensorpixel 12 in
einer Spalte zur Verfügung stehen, desto größer
kann auch der Super-Resolutions-Faktor N gewählt werden,
um das Rauschen nicht übermäßig anwachsen
zu lassen.
-
Die
mit dem bisher beschriebenen Verfahren ermittelte Funktion Y weist
jedoch noch eine Unschärfe auf, die jedoch beseitigt wird.
Dieser Unschärfe liegt der Umstand zugrunde, dass einzelne
Strukturen auf der Oberfläche des Objekts, die eine Farbänderung
bewirken, mit einer einzigen Aufnahme lediglich dann wirksam erkannt
werden, wenn diese Strukturen größer sind als
der Gegenstandsbereich dp eines Sensorpixels 12. Wird von
dem Objekt 2 mit einer Ausgangsfunktion mittels des bereits
dargestellten Verfahrensabschnittes die Funktion Y bestimmt, wird
aufgrund des auftretenden Motion-Blur sowie der optischen Unschärfe
der Aufnahmeoptik nur ein verschwommenes Abbild des Objekts 2 als
Funktion Y ermittelt.
-
Gleiches
gilt, wenn die Oberfläche eines Referenzobjekts
2 einen
scharfen Kontrast in der Ausgangsfunktion X seiner Oberfläche
aufweist. In diesem Fall wird eine Funktion Y ermittelt, die einen
verschwommenen bzw. unscharfen Verlauf aufweist. Ist der Verlauf
der unscharfen Funktion Y eines derartigen Referenzobjektes
2' bekannt,
kann die Unschärfe mittels der unten beschriebenen Verfahren
rechnerisch entfernt werden. Im Folgenden wird dafür angenommen,
das die Funktion Y sowie die geschärfte resultierende Ausgangsfunktion
X durch Vektoren
X,
Y ihrer jeweiligen Funktionswerte dargestellt
werden. Die unscharfe Funktion Y bzw. der ihr zugeordnete Vektor
Y lässt sich dabei
als Matrixprodukt der folgenden Art beschreiben:
wobei die quadratische Matrix
die
durch das Aufnahmeverfahren zur Ermittlung der Funktion Y bestehende Unschärfe
darstellt, und wobei angenommen wird, dass sich die Funktion Y durch
die Anwendung der Unschärfematrix
auf
den Vektor
X der Funktionswerte
der noch zu ermittelten Ausgangsfunktion X ergibt. Diese Unschärfematrix
gibt
die aufgenommene Helligkeit bzw. Farbe eines Pixelsensors
12 mit
einem Gegenstandsbereich der Breite dp als Funktion der konkreten
Helligkeit bzw. Farbe des Gegenstands am vorgegebenen Aufnahmebereich
sowie in dazu benachbarten Aufnahmebereichen an. Die Einträge
der Matrix
können
bestimmt werden, indem das Verfahren zur Ermittlung der Funktion
Y bei der Aufnahme des vorgegebenen Referenzobjekts
2' mit
einem scharfen Farb- bzw. Helligkeitsübergang normal zur
Fortbewegungsrichtung durchgeführt wird und die Farbwerte
des Vektors
Y ermittelt werden
(
5b) und anschließend die
einzelnen Funktionswerte des Vektors
Y transformiert
werden. Dabei entspricht der Maximalwert jeweils dem Hauptdiagonalen-Wert
der Matrix
und
die jeweils benachbart gelegenen Werte werden entsprechend ihrer
Lage zum Maximum in die Nebendiagonalen eingetragen.
-
Verfahren
zur Schätzung der Werte der Matrix
sind
in der Literatur bekannt, nur exemplarisch sei auf
D. Kundur
and D. Hatzinakos, "Blind Image Deconvolution," IEEE
Signal Processing Magazine verwiesen.
-
Es
werden lineare Unschärfe-Filter von vorgegebener Länge
verwendet. Die verwendeten aufgedruckten Referenzmuster auf dem
Referenzobjekt 2' sind derart gewählt, dass die
aufgedruckten Farbübergänge zumindest soweit voneinander
entfernt sind, damit die Reaktion über die doppelte Filterlänge
ermittelt werden kann.
-
Der
Hauptdiagonalenwert der Matrix
entspricht
dem Funktionswert h1 der Funktion Y der
5a, die
Nebendiagonalenwerte entsprechen den Funktionswerten h2 und h3 der
Funktion Y der
5a. Die Matrix H hat dabei die
folgende Gestalt:
H = | h1 | h2 | h3 | 0 | | | |
h2 | h1 | h2 | h3 | 0 | | |
h3 | h2 | h1 | h2 | h3 | 0 | |
0 | h3 | h2 | h1 | h2 | h3 | 0 |
-
Die
Unschärfematrix
ist
quadratisch und weist eine Anzahl von N.U Zeilen und N.U Spalten
auf, wobei U die Breite des zu untersuchenden Intervalls bestimmt.
Die Zeilensumme der einzelnen Zeilen der Matrix
weist
dabei zumindest für die im Inneren des Aufnahmebereichs
gelegenen Punkte stets den Wert 1 auf. In jeder Zeile weist der
Hauptdiagonaleneintrag den höchsten Wert auf und die jeweils
benachbarten Werte weisen einen mit zunehmender Entfernung von der
Hauptdiagonale geringeren Wert auf. Wie in
5a dargestellt,
fallen die Nebendiagonalenwerte mit zunehmender Entfernung von der
Hauptdiagonale ab. Die einzelnen Zeileneinträge h1 bis
h3 sind für jede Zeile wertemäßig gleich.
Prinzipiell könnte die Inverse der Unschärfematrix
direkt
aufgrund der einzelnen Einträge bestimmt werden. Die Inversion
dieser Matrix ist aufgrund der schlechten Konditionierung jedoch
schwierig und zum Teil birgt die Invertierung der Matrix einen großen numerischen
Fehler.
-
Ein
weiterer Aspekt der Erfindung besteht darin, dass nach dem Schärfen
eine Interpolation der geschärften Funktion durchgeführt
wird. Hierfür kann das oben beschriebene Modell zur Bestimmung
der Funktion Y auf Basis der Ausgangsfunktion X, wie folgt, erweitert
werden:
-
Hierbei
ist F eine Interpolationsmatrix, die eine Interpolation von auf
dem Definitionsbereich der Funktion Y definierten Werten auf den
Definitionsbereich der Ausgangsfunktion darstellt. Für
die Ausgangsfunktion X wird ein diskreter Definitionsbereich festgelegt,
wobei die diskreten Punkte, an denen die Ausgangsfunktion definiert
ist, jeweils in Abstand 1/R voneinander entfernt sind. Dieser Interpolationsschritt
ist in
6 dargestellt. Dargestellt sind die aufgezeichnete
Funktion Y, die geschärfte Funktion
sowie
die interpolierte Ausgangsfunktion X. Die Funktionen X, Y werden
hierbei durch die Vektoren ihrer Funktionswerte dargestellt. Ziel der
Interpolation ist es, die Anzahl der den Oberflächenfarbverlauf
des aufzuzeichnenden Objekts
2 mit einer geringeren Anzahl
von Punkten darzustellen und somit Speicherplatz einzusparen. Mittels
einer im folgenden dargestellten Matrix F erfolgt eine Umrechnung
der einzelnen Punkte der geschärften Funktion
in
die Punkte der Ausgangsfunktion X bzw. des Vektors
X der Ausgangsfunktion Y. Die Matrix F
ist dabei nicht quadratisch, sondern weist eine Anzahl von R·U
+ 1 Zeilen auf, wobei U die Breite des zu untersuchenden Intervalls
bestimmt und R ein Auflösungsfaktor ist, der auf einen
ganzzahligen Wert festgelegt wird, wobei dessen Wert kleiner ist
als der Wert des Super-Resolution-Faktors N. Die Interpolation wird
jeweils auf einzelnen Teilbereichen der ermittelten und gegebenenfalls
geschärften Funktion durchgeführt.
-
Je
nach Wahl des Auflösungsfaktors R und des Super-Resolutions-Faktors
N ergeben sich unterschiedlich große Intervalle, die im
Folgenden so gewählt werden, dass die beiden Intervallgrenzen
Stützstellen- bzw. Definitionsbereich sowohl der Ausgangsfunktion
als auch der Funktion Y bzw. der geschärften Funktion sind.
Im vorliegenden Fall wird der Auflösungsfaktor R = 2 und
der Superresolutions-Faktor = 3 gewählt. Das in
6 dargestellte
Intervall umfasst sieben Stützpunkte der geschärften
Funktion
sowie
fünf Stützpunkte der Ausgangsfunktion X. Die beiden
Punkte am rechten Rand der geschärften Funktion
sowie
der Ausgangsfunktion X werden dabei nicht mehr als diesem Intervall
zugehörig betrachtet, sondern dem an dieses Intervall anschließenden
Intervall zugehörig erachtet und für die weiteren
Berechnungen nicht mehr herangezogen. Für genauere Berechnungen
können größere Definitionsbereiche bzw.
Definitionsintervalle der geschärften Funktion
sowie
der Ausgangsfunktion
X herangezogen
werden, was jedoch die Verwendung größerer Matrizen
H, F und damit einen größeren Resourcenaufwand
mit sich bringt.
-
Die
Zeilensumme dieser Matrix F weist stets den Wert 1 auf. Jede Zeile
umfasst lediglich zwei benachbarte Zeileneinträge, die
ungleich null sind. Fallen jedoch der Definitionsbereich der geschärften
Funktion
sowie
der Ausgangsfunktion
X zusammen,
liegt lediglich ein einziger Wert innerhalb einer Seite vor, der
ungleich null ist, wobei dessen Wert exakt 1 ist.
F = | 1 | | | | | |
1 – Δ2 | Δ2 | | | | |
| 1 – Δ3 | Δ3 | | | |
| | 1 | | | |
| | 1 – Δ2 | Δ2 | | |
| | | 1 – Δ3 | Δ3 | Δ2 = 2/3 Δ3 =
1/3 |
| | | | 1 | |
-
Als
letzter Schritt muss die oben beschriebene Gleichung
nach
X aufgelöst werden. Zu diesem
Zweck wird die Gauß'sche Normalform verwendet, wobei anstelle
des Matrizen-Produktes
eine
Matrix M tritt. Die Gauß'sche Normalform kann dabei folgendermaßen
geschrieben werden: M
T·
Y = M
T·M·
X. Die linke Seite dieser
Gleichung lässt sich ohne Weiteres ausrechnen, sodass im Folgenden
M
T·
Y durch
Y' geschrieben wird. Auch
das Matrizenprodukt M
T·M kann vorab
berechnet werden, woraus eine quadratische Matrix M' resultiert.
Man erhält somit das Gleichungssystem M'·
X =
Y'. Ein derartiges Gleichungssystem weist
eine sehr schlechte Kondition auf, die es fehleranfällig
für numerische Lösungsmethoden macht. Um dies
zu vermeiden, kann eine näherungsweise Lösung
dieses Gleichungssystems mittels einer Tychonov-Regularisierung
vorgenommen werden, wobei der Matrix M' ein zusätzlicher
Term α, E hinzugefügt wird, wobei E die Einheitsmatrix
ist und α ein Faktor ist, der durch Vergleich der jeweils
ermittelten Lösung mit einem bekannten Bild optimiert wird.
Dabei wird der Wert α so lange abgeändert, bis
eine minimale Abweichung zwischen dem ermittelten Bild und dem bekannten
Bild besteht. Die anschließende Lösung dieses
Gleichungssystems kann mittels eines Gleichungslösers nach
dem Stand der Technik, beispielsweise mittels eines GMRES-Verfahrens
bewerkstelligt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- - D. Kundur
and D. Hatzinakos, ”Blind Image Deconvolution,” IEEE
Signal Processing Magazine [0037]