AT508873A1

AT508873A1 - METHOD FOR RECORDING AN IMAGE

Info

Publication number: AT508873A1
Application number: AT8702009A
Authority: AT
Inventors: Reinhold Dr Huber-Moerk; Daniel Dipl Ing Soukup
Original assignee: Ait Austrian Inst Technology
Priority date: 2009-06-04
Filing date: 2009-06-04
Publication date: 2011-04-15
Also published as: AT508873B1; DE102010018142A1

Description

1.1.

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des PatentanspruchsThe invention relates to a method according to the preamble of the claim

Der Erfindung wird auf dem Gebiet der automatischen Prüfung von Gegenständen, insbesondere auf dem Gebiet der Prüfung von Banknoten, gewerblich eingesetzt.The invention is used commercially in the field of automatic testing of objects, in particular in the field of banknote inspection.

Hintergrund der Erfindung ist die Automatisierung der Prüfung von Gegenständen, insbesondere von Banknoten. Dabei werden die Banknoten mit einer vorgegebenen Geschwindigkeit an einem Zeilensensor vorbeibewegt, der den Gegenstand im Zuge seiner Bewegung aufzeichnet.Background of the invention is the automation of the examination of objects, in particular banknotes. In this case, the banknotes are moved past a line sensor at a predetermined speed, which records the object in the course of its movement.

Die Aufgabe der Erfindung liegt darin, die Auflösung der aufgenommenen Bilder parallel zu deren Fortbewegungsrichtung zu erhöhen und die durch die Bewegung und die Aufnahmeoptik des Gegenstands bewirkte Unschärfe (Motion Blur) zu kompensieren.The object of the invention is to increase the resolution of the recorded images parallel to their direction of movement and to compensate for the motion blur caused by the movement and the recording optics of the object.

Erfindungsgemäß wird dies mit einem Verfahren zur Aufnahme eines Bildes eines an einer Kamera vorbeibewegten Objekts« erreicht, wobei die Kamera einen Flächensensor mit rasterartig angeordneten Sensorpixeln umfasst, wobei die Spaltenrichtung der rasterförmig angeordneten Sensorpixel weitestgehend parallel zur Bewegungsrichtung des Objekts liegt, wobei während der Bewegung des Objekts in Spaltenrichtung fortlaufend in vorgegebenen Aufnahmeintervallen die Ausgangswerte aller Sensorpixel für die Ermittlung der Helligkeit bzw. Farbe eines konkreten Objektpunkts am Objekt ermittelt werden, und wobei die Geschwindigkeit des Objekts im Verhältnis zum Quotienten zwischen Abstand des Bildbereichs zweier benachbarter Sensorpixel einer Spalte und dem Aufnahmeintervall festgelegt wird.In accordance with the invention, this is achieved by a method for taking an image of an object moved past a camera, the camera comprising an area sensor with sensor pixels arranged in a grid-like manner, the column direction of the sensor pixels arranged in a grid being largely parallel to the direction of movement of the object, during the movement of the object Object in the column direction continuously at predetermined acquisition intervals, the output values of all sensor pixels for determining the brightness or color of a specific object point are determined on the object, and wherein the speed of the object in relation to the quotient between the distance of the image area of two adjacent sensor pixels of a column and the recording interval becomes.

Diese Verfahren kennzeichnet sich erfindungsgemäß dadurch, dass für jede der Pixelspalten ein Superresolution-Faktor auf einen ganzzahligen Wert festgelegt wird, wobei der Quotient und entweder der Abstand oder das AufnahmeintervalL durch die Formel L=1+1/N festgelegt wird, und jedem Pixel einer Spalte entsprechend seiner Lage in der Spalte ein fortlaufender nummerierter Index zugeordnet wird, zu jedem Aufnahmezeitpunkt t=T*dt die einzelnen Helligkeitswerte H(P, T) bzw. Farbwerte jedes der einzelnen Sensorpixel einer Spalte ermittelt werden, und nach jeder Aufnahme die ermittelten Helligkeitswerte H(P, T) einer diskret definierten Funktion zugewiesen werden, wobei für jeden ermittelten Helligkeitswert H(P, T) ein Funktionswert Y(T*(1+1/N)+P) eingetragen wird. Weiters wird eine Ausgangsfunktion ermittelt, indem ein Auflösungsfaktor auf einen ganzzahligen Wert festgelegt wird, wobei dessen Wert kleiner ist als der Wert des Superresolution-Faktors. Für die Ausgangsfunktion wird ein diskreter Definitionsbereich festgelegt, wobei die diskreten Punkte, an denen die Ausgangsfunktion definiert ist, in Intervallen 1/R voneinander entfernt sind, wobei zumindest ein Definitionspunkt der Ausgangsfunktion mit einem Definitionspunkt der Funktion übereinstimmt, Zeitintervalle der Funktion und der Ausgangsfunktion ermitteln werden, die von denselben Randpunkten begrenzt werden, ein Zusammenhang zwischen den Funktionswerten der Ausgangsfunktion und der Funktion in der Form Y = H * F * X angenommen wird, wobei die einzelnen Funktionswerte der jeweiligen Funktionen innerhalb des Intervalls als Vektor von in den einzelnen Punkten des jeweiligen Definitionsbereichs definierten Funktionswerten festgestellt werden, wobei F eine Interpolationsmatrix, gegebenenfalls die Einheitsmatrix, ist, die eine Interpolation von auf dem Definitionsbereich der Funktion (Y) definierten Werten auf den Definitionsbereich der Ausgangsfunktion darstellt, wobei H eine Unschärfe-Matrix darstellt, die die resultierende Unschärfe der Aufnahme eines Gegenstandsbereichs der Breite und dessen Zuordnung auf einen Bereich der Breite von dp/R wiedergibt, und die somit gegebene Gleichung nach dem Vektor aufgelöst wird und die Ausgangsfunktion bzw. die für jede der Spalten ermittelte Anzahl von Ausgangsfunktionen als Abbild des Objekts weiterverarbeitet wird.According to the invention, these methods are characterized in that, for each of the pixel columns, a superresolution factor is set to an integer value, the quotient and either the distance or the acquisition interval being determined by the formula L = 1 + 1 / N and each pixel one Column according to its location in the column is assigned a consecutive numbered index, the individual brightness values H (P, T) or color values of each of the individual sensor pixels of a column are determined for each recording time t = T * dt, and after each recording, the determined brightness values H (P, T) are assigned to a discretely defined function, wherein for each determined brightness value H (P, T) a function value Y (T * (1 + 1 / N) + P) is entered. Furthermore, an output function is determined by setting a resolution factor to an integer value, the value of which is smaller than the value of the superresolution factor. For the output function, a discrete domain of definition is defined, where the discrete points at which the output function is defined are spaced apart at intervals 1 / R, wherein at least one definition point of the output function coincides with a definition point of the function, determine time intervals of the function and the output function Assume that the function values of the output function and the function in the form Y = H * F * X are assumed to be bounded by the same boundary points, the individual function values of the respective functions within the interval being taken as the vector of in the individual points of the where F is an interpolation matrix, optionally the unit matrix, representing an interpolation of values defined on the domain of definition of the function (Y) to the domain of definition of the output function, where H is a Blur matrix representing the resulting blur of taking a subject area of latitude and mapping it to a latitude of dp / R, and resolving the thus given equation after the vector and determining the output function for each of the columns Number of output functions is processed as an image of the object.

Durch dieses Vorgehen wird die mit dem Verfahren erzielte Auflösung gegenüber einem herkömmlichen TDI-Verfahren erheblich gesteigert. Zusätzlich kann die Unschärfe erheblich verringert werden. Dies ermöglicht eine feinere Abtastung der aufzunehmenden Gegenstände und ermöglicht die Prüfung von kleineren Details auf den Gegenständen.By doing so, the resolution achieved with the method is significantly increased over a conventional TDI method. In addition, the blur can be significantly reduced. This allows a finer scan of the objects to be picked and allows the inspection of smaller details on the objects.

Ein weiterer Aspekt der Erfindung sieht vor, dass die Interpolationsmatrix als eine lineare Interpolation zwischen dem Vektor der Werte auf der Ausgangsfunktion und dem Vektor der Werte auf der Funktion festgelegt wird, wobei hierbei insbesondere die Anzahl der Zeilen R*U+1 entspricht, wobei U die Breite des zu untersuchenden Intervalls bestimmt, und die Anzahl der Spalten durch N*U bestimmt wird, und/oder die Zeilensumme stets den Wert 1 aufweist, und/oder in jeder Zeile lediglich zwei benachbarte Zeileneinträge ungleich null sind, und/oder bei Überschneidung der Definitionsbereiche der Ausgangsfunktion und der Funktion in einem Punkt lediglich ein einziger Wert der Zeile ungleich null ist und dieser den Wert 1 aufweist.A further aspect of the invention provides that the interpolation matrix is defined as a linear interpolation between the vector of the values on the output function and the vector of the values on the function, in which case in particular the number of lines R * U + 1 corresponds, where U the width of the interval to be examined is determined, and the number of columns is determined by N * U, and / or the row sum always has the value 1, and / or in each row only two adjacent nonzero row entries, and / or at intersection The definition ranges of the output function and the function in a point is only a single value of the non-zero row and has the value 1.

Diese besondere Verfahrensführung ermöglicht eine vereinfachte Bestimmung der Helligkeitswerte in den Bildpunkten und verringert das Auftreten von Artefakten.This special procedure allows a simplified determination of the brightness values in the pixels and reduces the occurrence of artifacts.

Ein weiterer spezieller Aspekt der Erfindung sieht vor, dass die Unschärfe-Matrix die aufgenommene Helligkeit bzw. Farbe eines Pixelsensors mit einem Gegenstandsbereich der Breite dp als Funktion der konkreten Helligkeit bzw. Farbe des Gegenstands am vorgegebenen Aufnahmebereich sowie in dazu benachbarten Aufnahmebereichen angibt, wobei insbesondere die Anzahl der Zeilen und der Spalten N*U entspricht, wobei U die Breite des zu untersuchenden Intervalls bestimmt, und/oder die Zeilensumme stets den Wert 1 aufweist, und/oder in jeder Zeile der Hauptdiagonaleneintrag den höchsten Wert aufweist und/oder die jeweils benachbarten Werte mit zunehmender Entfernung von der Hauptdiagonale abfallen, und/oder die einzelnen Zeileneinträge wertemäßig für alle Zeilen gleich sind.A further special aspect of the invention provides that the blur matrix indicates the recorded brightness or color of a pixel sensor having an object range of width dp as a function of the specific brightness or color of the object at the predetermined pickup area and in adjacent pickup areas, in particular the number of rows and the columns N * U corresponds, where U determines the width of the interval to be examined, and / or the row sum always has the value 1, and / or in each row the main diagonal entry has the highest value and / or the respectively adjacent values decrease with increasing distance from the main diagonal, and / or the individual line entries are equal in value for all lines.

Diese besondere Verfahrensführung ermöglicht eine vereinfachte Anpassung des Verfahrens an die Gegebenheiten der Aufnahmeumgebung. Dabei kann insbesondere der Einfluss des Motion-Blur sowie sonstiger Unschärfe-Effekte kompensiert werden.This special procedure allows a simplified adaptation of the method to the circumstances of the recording environment. In particular, the influence of the motion blur and other blurring effects can be compensated.

Zusätzlich kann vorgesehen werden, dass zur Lösung der Gleichung Y = H * F * X = M * X_die Gaußsche Normalform dieser Gleichung in der Form MT * Y = MT * Μ * X, gelöst wird, wobei die Matrix MT * M einer Tychonov-Regularisierung unterzogen wird, d.h. durch den Ausdruck (MT * Μ + α * E) ersetzt wird, wobei E die Einheitsmatrix ist und der Faktor α durch Vergleich der jeweils ermittelten Lösung mit einem bekannten Bild optimiert wird, d.h. solange abgeändert wird, bis eine minimale Abweichung zwischen dem ermittelten Bild und dem bekannten Bild besteht.In addition, it can be provided that, in order to solve the equation Y = H * F * X = M * X, the Gaussian normal form of this equation is solved in the form MT * Y = MT * Μ * X, where the matrix MT * M of a Tychonov vector Is subjected to regularization, ie is replaced by the expression (MT * Μ + α * E), where E is the unit matrix and the factor α is optimized by comparing the respectively determined solution with a known image, i. as long as changed until there is a minimum deviation between the determined image and the known image.

Dieses Vorgehen ermöglicht eine Ressourcen sparende und numerisch stabile Lösung des vorliegenden Gleichungssystems und verbessert somit die Bildqualität. Die Matrizen können vor Beginn der Berechnungen vorab bestimmt werden. Bei der Implementierung des Verfahrens ist lediglich eine Matrix-Multiplikation oder lineare Filterung pro Pixelspalte durchzuführen.This procedure enables a resource-saving and numerically stable solution of the present equation system and thus improves the image quality. The matrices can be determined in advance before starting the calculations. In the implementation of the method, only one matrix multiplication or linear filtering per pixel column is to be performed.

Ein weiterer Aspekt der Erfindung sieht vor, dass die Einträge der Matrix bestimmt werden, indem die Verfahrensschritte zur Ermittlung des Gegenstandsbildes bei der Aufnahme eines vorgegebenen Objekts mit einem scharfen Färb- bzw. Helligkeitsübergang normal zur Fortbewegungsrichtung durchgeführt werden und die Farbwerte des Vektors ermittelt werden, und anschließend die einzelnen Funktionswerte im Vektor* transformiert werden, wobei der Maximalwert jeweils dem Hauptdiagonalenwert der Matrix entspricht und die jeweils benachbart gelegenen Werte entsprechend ihrer Lage zum Maximum in die Nebendiagonalen eingetragen werden. Dieses Vorgehen verringert bzw. kompensiert den bei der Aufzeichnung entstehenden Motion-Blur und verbessert zusätzlich die Bildqualität.A further aspect of the invention provides that the entries of the matrix are determined by carrying out the method steps for determining the object image when taking a given object with a sharp color transition normal to the direction of travel and determining the color values of the vector, and then the individual function values are transformed in the vector *, wherein the maximum value corresponds in each case to the main diagonal value of the matrix and the respectively adjacent values are entered into the secondary diagonal according to their position to the maximum. This procedure reduces or compensates for the motion blur created during recording and additionally improves the picture quality.

Die Erfindung wird im Folgenden anhand eines Beispiels, dargestellt in den Fig. 1 bis 6, ohne Einschränkungen der Allgemeinheit der Erfindung auf dieses Beispiel näher erläutert.The invention is explained in more detail below with reference to an example, shown in FIGS. 1 to 6, without limiting the generality of the invention to this example.

Fig. 1 zeigt schematisch eine Aufnahmevorrichtung gemäß dem Stand der Technik, mit der Rohdaten für das erfindungsgemäße Verfahren ermittelt werden.Fig. 1 shows schematically a receiving device according to the prior art, are determined with the raw data for the inventive method.

Fig. 2 zeigt schematisch eine Spalte von Sensorpixeln eines Flächensensors sowie die Abbildung eines Objekts auf den Flächensensor.2 schematically shows a column of sensor pixels of a surface sensor as well as the image of an object on the surface sensor.

Fig. 3 zeigt schematische die Vorgehensweise bei einem TDI-Verfahren gemäß dem Stand der Technik.Fig. 3 shows schematically the procedure in a TDI method according to the prior art.

Fig. 4 zeigt die Ermittlung einer Funktion Y aus den einzelnen aufgenommenen Spaltenwerten.4 shows the determination of a function Y from the individual recorded column values.

Fig. 5a und 5b zeigen die Unschärfe bei der Aufnahme eines Streifens, der eine Ausdehnung von weniger als der Bildbreite eines Pixels aufweist, bzw. bei der Aufnahme eines scharfen Kontrasts.FIGS. 5a and 5b show the blurring in the recording of a strip which has an extent of less than the image width of a pixel, or in the recording of a sharp contrast.

Fig. 6 zeigt ein Zeitfenster, innerhalb dessen die Interpolation zwischen der aufgenommenen Funktion und der Ausgangsfunktion vorgenommen wird.Fig. 6 shows a time window within which the interpolation between the recorded function and the output function is performed.

Fig. 1 zeigt eine Aufnahmevorrichtung, mit der das erfindungsgemäße Verfahren geführt werden kann. Eine derartige Vorrichtung umfasst zum einen eine Kamera 1, die mit einem Flächensensor 11 ausgestattet ist, der rasterartig angeordnete Sensorpixel 12 umfasst. Die Aufnahmevorrichtung umfasst ferner eine nicht dargestellte Auswerteeinheit, der die von der Kamera aufgenommenen Daten zugeführt sind. Zum anderen umfasst die Aufnahmevorrichtung eine Fortbewegungseinrichtung 4, insbesondere ein Transportband, mittels der ein zu untersuchendes Objekt 2 durch den Aufnahmebereich der Kamera 1 geführt werden kann, wobei im Zuge der Relativbewegung des Objekts 2 zur Kamera ein Bild des Objekts 2 aufgenommen wird. Hierbei ist eine Fortbewegungsrichtung des Objekts X vorgegeben. Eine der beiden Ausrichtungsrichtungen des rechteckigen Rasters der Sensorpixel 12 steht normal zur Fortbewegungsrichtung des Objekts. Die andere Ausrichtungsrichtung des Rasters des Flächensensors 11 steht nicht normal, insbesondere parallel, zur Fortbewegungsrichtung des Transportbandes; dies wird im Folgenden als Spaltenrichtung 13 bezeichnet. Die in Spaltenrichtung 13 zueinander angeordneten Sensorpixel 12 des Flächensensors werden jeweils als Spalten bezeichnet.Fig. 1 shows a receiving device with which the inventive method can be performed. Such a device comprises on the one hand a camera 1, which is equipped with an area sensor 11, which comprises grid-like arranged sensor pixels 12. The recording device further comprises an evaluation unit, not shown, to which the data recorded by the camera are supplied. On the other hand, the receiving device comprises a locomotion device 4, in particular a conveyor belt, by means of which an object 2 to be examined can be guided through the receiving area of the camera 1, wherein an image of the object 2 is taken in the course of the relative movement of the object 2 to the camera. Here, a direction of movement of the object X is specified. One of the two alignment directions of the rectangular grid of the sensor pixels 12 is normal to the direction of travel of the object. The other alignment direction of the grid of the area sensor 11 is not normal, in particular parallel to the direction of travel of the conveyor belt; this is referred to below as column direction 13. The mutually arranged in the column direction 13 sensor pixels 12 of the surface sensor are each referred to as columns.

Fig. 2 zeigt einen Längsschnitt durch die Kamera 1, den Flächensensor 11 sowie das Objekt 2. Das Objekt 2 befindet sich hierbei auf der Fortbewegungseinrichtung, wie in Fig. 2 dargestellt. Vom Flächensensor 11 der Kamera 1 ist lediglich eine einzige Spalte von Sensorpixeln 12 dargestellt. Ein weiterer, im Folgenden häufig gebrauchter Begriff ist die Breite dp des Gegenstandsbereichs eines Sensorpixels 12. Hierbei wird angenommen, dass das zu untersuchende Objekt 2 einen vorgegebenen Abstand w von der Kamera 1 bzw. dem Zeilensensor 11 aufweist. Ferner wird davon ausgegangen, dass das Objekt 2 im Vergleich zum Abstand w eine lediglich sehr geringe Dicke bzw. Ausdehnung in Richtung zur Kamera 1 hin aufweist. Unter diesen Voraussetzungen kann angenommen werden, dass die Breite dp des Gegenstandsbereichs eines Sensorpixels 12 bzw. dazu äquivalent der Abstand der Mittelpunkte der aneinander angrenzenden Gegenstandbereiche zweier benachbarter Sensorpixel 12 einen für alle Sensorpixel 12 konstanten Wert dp aufweist.2 shows a longitudinal section through the camera 1, the surface sensor 11 and the object 2. The object 2 is located on the locomotion device, as shown in FIG. From the surface sensor 11 of the camera 1, only a single column of sensor pixels 12 is shown. Another frequently used term in the following is the width dp of the object area of a sensor pixel 12. It is assumed here that the object 2 to be examined has a predetermined distance w from the camera 1 or the line sensor 11. Furthermore, it is assumed that the object 2 has only a very small thickness or expansion in the direction of the camera 1 in comparison to the distance w. Under these conditions, it can be assumed that the width dp of the object area of a sensor pixel 12 or, equivalently, the distance between the centers of the adjoining object areas of two adjacent sensor pixels 12 has a constant value dp for all sensor pixels 12.

Das Objekt 2 wird, wie in Fig. 2 dargestellt, entlang der Richtung X gegenüber der Kamera 1 bewegt. Innerhalb vorgegebener, gleich langer Zeitbereichen dt wird von dem Objekt 2 ein Bild aufgenommen. • · · · ·*· ··· - · · « • ·· · ·· Λ · ·«« ···· ···· « ♦ · ·· ··· * · · «·The object 2 is, as shown in Fig. 2, along the direction X relative to the camera 1 moves. Within predefined, equally long time intervals dt, an image is taken by the object 2. • · · · · * · ························································································.

Die folgenden Erörterungen betreffen lediglich die eine einzelne Spalte. Die Ausdehnung eines derartigen Verfahrens auf Bilder, die mit Flächenkameras mit einer Vielzahl von Spalten aufgenommen worden sind, kann durch bloße Vervielfachung des im Folgenden beschriebenen Verfahrens für jede Spalte separat durchgeführt werden.The following discussions only concern the one single column. The extension of such a method to images taken with area cameras having a plurality of columns can be performed separately for each column merely by multiplying the method described below.

Nach der Aufnahme einer Spalte von Helligkeitswerten zu einem Zeitpunkt t=0 liegt, wie in Fig. 3 beschrieben, eine Anzahl von aufgenommenen Färb- bzw. Intensitätswerten vor. Jedes der sieben Sensorpixel 11 der Spalte liefert hierbei einen Intensitätswert. Zum Zeitpunkt t=0 liegt somit ein Vektor von sieben Helligkeits- bzw. Farbwerten vor, die von den einzelnen Pixeln 13 einer Spalte des Flächensensors 11 aufgenommen worden sind.After the acquisition of a column of brightness values at a time t = 0, a number of recorded color or intensity values are present as described in FIG. Each of the seven sensor pixels 11 of the column provides an intensity value. At time t = 0, there is thus a vector of seven brightness or color values which have been recorded by the individual pixels 13 of a column of the area sensor 11.

Es wird, wie beim eingangs beschriebenen TDI-Verfahren nach einem vorgegebenen Zeitraum eine weitere Aufnahme durchgeführt, wobei sichergestellt sein muss, dass der Gegenstandsbereich, der zum Aufnahmezeitpunkt t=0 im Bildbereich eines Sensorpixels 12 war, zum Aufnahmezeitpunkt t=1 dt im Bildbereich des jeweils benachbarten Sensorpixels 11 gelegen ist. Es wird derselbe Oberflächen- bzw. Gegenstandsbereich des Gegenstandes 2 von sämtlichen Sensorpixeln 12 einer Spalte aufgenommen. Es ist wie beim Stand der Technik vorgesehen, dass dabei die Geschwindigkeit des Objekts 2 gleich dem Quotienten L zwischen dem Abstand dp des Bildbereichs der Mittelpunkte zweier benachbarter Sensorpixel einer Spalte und dem Aufnahmeintervall dt ist. Als Auflösung wird hierbei die Größe Gegenstandsbereich bezeichnet, für den ein Helligkeitswert ermittelt worden ist. Für das klassische TDI-Verfahren entspricht die Auflösung dem Gegenstandsbereich dt.As with the TDI method described above, a further recording is carried out after a predetermined period of time, wherein it must be ensured that the object area which was in the image area of a sensor pixel 12 at the time of recording t = 0 at the time of recording t = 1 dt in the image area of each adjacent sensor pixel 11 is located. The same surface area of the article 2 is received by all the sensor pixels 12 of a column. It is provided as in the prior art that while the speed of the object 2 is equal to the quotient L between the distance dp of the image area of the centers of two adjacent sensor pixels of a column and the recording interval dt. In this case, the size object area is designated as the resolution for which a brightness value has been determined. For the classical TDI method, the resolution corresponds to the subject area dt.

Im vorliegenden Fall wird dieser Stand der Technik weitergebildet und die Geschwindigkeit des Objekts 2 nicht dem Quotienten L gleichgesetzt wird. Vielmehr wird ein Verhältnis zwischen der Geschwindigkeit des Objekts 2 und dem Quotienten L festgelegt. Hierfür wird ein Super-Resolution-Faktor N vorgegeben, der einen ganzzahligen Wert besitzt und der bestimmt, um wie viel die Auflösung im Verhältnis zum TDI-Verfahren gemäß dem Stand der Technik verfeinert werden soll. Typischerweise können hierfür Werte zwischen 2 und 8 gewählt werden. Der Quotient L, der Abstand dp sowie das Aufnahmeintervall dt werden durch die Formel L=1+1/N=dp/dt ins Verhältnis gesetzt. Durch Variation des Aufnahmeintervalls dt bzw. der Geschwindigkeit des Objekts 2 relativ zur Kamera 1 kann der Quotient L auf den festgelegten Wert eingestellt werden. Üblicherweise geschieht dies dadurch, dass die Geschwindigkeit des Objekts 2 auf einen Wert festgelegt wird, der bei den herkömmlichen TDI-Verfahren verwendeten Geschwindigkeit multipliziert mit dem Quotienten L entspricht. Alternativ dazu kann selbstverständlich auch das Aufnahmeintervall dt verringert werden. Auch kann durch Variation des Abstandes w der Gegenstandsbereich dp variiert werden.In the present case, this prior art is developed and the speed of the object 2 is not equated to the quotient L. Rather, a ratio between the speed of the object 2 and the quotient L is set. For this purpose, a super-resolution factor N is provided, which has an integer value and which determines by how much the resolution should be refined in relation to the TDI method according to the prior art. Typically, values between 2 and 8 can be selected. The quotient L, the distance dp and the recording interval dt are set in relation by the formula L = 1 + 1 / N = dp / dt. By varying the recording interval dt or the speed of the object 2 relative to the camera 1, the quotient L can be set to the specified value. Usually, this is done by setting the speed of the object 2 at a value corresponding to the speed used in the conventional TDI methods multiplied by the quotient L. Alternatively, of course, the recording interval dt can be reduced. Also, by varying the distance w, the object area dp can be varied.

Jedem Sensorpixel 12 einer Spalte wird entsprechend seiner Lage in der Spalte ein fortlaufender nummerierter Index P zugeordnet. Wie bereits erwähnt, werden zu einzelnen Aufnahmezeitpunkten t=Tdt die jeweiligen Helligkeitswerte bzw. Farbwerte jedes der einzelnen Sensorpixel 12 der jeweiligen Spalte ermittelt. Die Aufnahmezeitpunkte t werden dabei in fest vorgegebenen Zeitintervallen beabstandet, wobei sich die einzelnen Aufnahmezeitpunkte in der Form t=T dt ergeben, wobei T eine fortlaufende natürliche Zahl ist. Die einzelnen Helligkeitswerte H(P, T) liegen für jedes Sensorpixel 12, dargestellt durch seinen ihm zugeordneten ganzzahligen, fortlaufenden Index P, sowie für jeden Aufnahmezeitpunkt T vor.Each sensor pixel 12 of a column is assigned a consecutive numbered index P according to its location in the column. As already mentioned, the respective brightness values or color values of each of the individual sensor pixels 12 of the respective column are determined at individual recording times t = Tdt. The recording times t are spaced at fixed time intervals, the individual recording times resulting in the form t = T dt, where T is a continuous natural number. The individual brightness values H (P, T) are present for each sensor pixel 12, represented by its associated integer, continuous index P, as well as for each recording time T.

Im Folgenden wird eine diskret definierte Funktion Y ermittelt, die die einzelnen ermittelten Helligkeitswerte H(P, T) der Pixel der Spalte derart zugewiesen erhält, dass sie den Verlauf der Helligkeit bzw. der Farbe der Oberfläche des zu untersuchenden Objekts 2 wiedergibt. Im Gegensatz zum TDI-Verfahren weist die resultierende Funktion Y eine um den Superresolution-Faktor N vervielfachte Anzahl von Stützpunkten auf. Um diesen Unterschied zum Stand der Technik besser zu verdeutlichen, werden die zusätzlichen Punkte des Definitionsbereichs der Funktion Y durch Bruchzahlen dargestellt. Bei dem im Folgenden angenommenen Superresolution-Faktor N=3, erhält man zwischen den üblichen durch TDI erhaltenen Stützpunkten jeweils zwei weitere Zwischenstützpunkte.In the following, a discretely defined function Y is determined, which receives the individual ascertained brightness values H (P, T) of the pixels of the column in such a way that it reproduces the course of the brightness or the color of the surface of the object 2 to be examined. In contrast to the TDI method, the resulting function Y has a multiplied by the superresolution factor N number of vertices. To better illustrate this difference from the prior art, the additional points of the domain of definition of the function Y are represented by fractions. In the superresolution factor N = 3 assumed below, in each case two further intermediate points are obtained between the usual support points obtained by TDI.

In einem ersten Schritt werden erfindungsgemäß die Helligkeitswerte H zum Zeitpunkt t=0 aufgenommen und mit ihnen die diskret definierte Funktion Y gebildet. In diesem Schritt werden lediglich Werte an ganzzahligen Stellen in die Funktion Y eingetragen. Zum nächsten Zeitpunkt t=1 werden erneut Helligkeitswerte H aufgenommen und in die Funktion Y eingetragen, wobei bei dieser erfindungsgemäßen Vorgangsweise ein Vorschub bzw. Versatz der eingetragenen Helligkeitswerte H gegenüber der Funktion Y um 1+1/N, in diesem Fall 4/3, erfolgt. Somit wird der erste Helligkeitswert, der zum Zeitpunkt T=1 aufgenommen worden ist, an der Stelle 1+1/3 eingetragen. Die weiteren Werte werden an der Stelle 2+1/3, 3+1/3 sowie 4+1/3 eingetragen. Analog wird mit den zu den Aufnahmezeitpunkten T>1 ermittelten Helligkeitswerten verfahren. Allgemein kann formuliert werden, dass jeder ermittelte Helligkeitswert H(P, T) als Funktionswert Y(T (1+1/N)+P) eingetragen wird. Bei Verwendung eines TDI-Verfahrens gemäß dem Stand der Technik ist der Summand 1/N nicht vorhanden.In a first step, according to the invention, the brightness values H are recorded at the time t = 0 and the discretely defined function Y is formed with them. In this step, only values at integer digits are entered in the function Y. Brightness values H are again recorded at the next time t = 1 and entered into the function Y, wherein in this inventive procedure a feed or offset of the entered brightness values H with respect to the function Y by 1 + 1 / N, in this case 4/3, he follows. Thus, the first brightness value recorded at time T = 1 is entered at location 1 + 1/3. The other values are entered at positions 2 + 1/3, 3 + 1/3 and 4 + 1/3. The procedure is analogous to the brightness values determined at the recording times T > 1. Generally, it can be formulated that each determined brightness value H (P, T) is entered as a function value Y (T (1 + 1 / N) + P). When using a TDI method according to the prior art, the summand 1 / N does not exist.

Wird dabei der Superresolution-Faktor kleiner gewählt als die Anzahl der innerhalb einer Spalte befindlichen Pixel, wird jedem Funktionswert Y von (N+j/N) für j>0 jedenfalls zumindest ein Wert zugewiesen. Beispielsweise sind in Fig. 4 die Werte Y(1/3), Y(2/3), Y(1 +2/3) nicht definiert. Derartige Anfangseffekte sind normalerweise unproblematisch, da sich bei der ersten Aufnahme des Bildes zumeinst ohnehin kein Objekt im Bildbereich der Kamera befindet. Wie auch beim herkömmlichen TDI-Verfahren kann es Vorkommen, • · * · dass einzelne Werte doppelt beschrieben werden. Hier kann der Einfachheit halber ein Mittelwert zwischen den eingetragenen Werten gebildet werden.In this case, if the superresolution factor is chosen to be smaller than the number of pixels located within a column, at least one value is assigned to each function value Y of (N + j / N) for j> 0. For example, in Fig. 4, the values Y (1/3), Y (2/3), Y (1 + 2/3) are not defined. Such initial effects are usually unproblematic, since at the first shot of the image at least no object in the image area of the camera anyway. As with the conventional TDI method, occurrences can be • described twice. Here, for the sake of simplicity, an average value between the entered values can be formed.

Die erfindungsgemäß ermittelte Funktion Y weist gegenüber einer mit herkömmlichem TDI ermittelten Funktion den wesentlichen Vorteil auf, dass die Anzahl ihrer Stützstellen wesentlich höher ist. Somit kann eine Abwägung getroffen werden, inwieweit die Pixel einer Spalte zur Verminderung des Rauschens verwendet werden bzw. ob diese Pixel zur Erhöhung der Auflösung verwendet werden. Hierbei stellt das TDI-Verfahren gleichsam ein Extrembeispiel dar, bei dem sämtliche Sensorpixel 12 einer Spalte zur Verringerung des Rauschens verwendet werden, während keinerlei Maßnahmen getroffen werden, die Auflösung zu erhöhen. Je größer der Superresolution-Faktor N gewählt wird, umso mehr Helligkeitsinformation der Sensorpixel 12 wird für die Erhöhung der Auflösung verwendet, desto größer ist jedoch auch das Rauschen. Je mehr Sensorpixel 12 in einer Spalte zur Verfügung stehen, desto größer kann auch der Super-Resolutions-Faktor N gewählt werden, um das Rauschen nicht übermäßig anwachsen zu lassen.The function Y determined according to the invention has the significant advantage over a function determined using conventional TDI that the number of support points is substantially higher. Thus, a tradeoff can be made as to how much the pixels of a column are used to reduce noise, or whether these pixels are used to increase the resolution. Here, the TDI method is almost an extreme example in which all the sensor pixels 12 of a column are used to reduce the noise, while no measures are taken to increase the resolution. The larger the superresolution factor N is chosen, the more brightness information of the sensor pixels 12 is used for increasing the resolution, but the greater the noise. The more sensor pixels 12 available in a column, the greater the super-resolution factor N can be chosen so as not to increase the noise excessively.

Die mit dem bisher beschriebenen Verfahren ermittelte Funktion Y weist jedoch noch eine Unschärfe auf, die jedoch beseitigt wird. Dieser Unschärfe liegt der Umstand zugrunde, dass einzelne Strukturen auf der Oberfläche des Objekts, die eine Farbänderung bewirken, mit einer einzigen Aufnahme lediglich dann wirksam erkannt werden, wenn diese Strukturen größer sind als der Gegenstandsbereich dp eines Sensorpixels 12. Wird von dem Objekt 2 mit einem Intensitätsverlauf X mittels des bereits dargestellten Verfahrensabschnittes die Funktion Y bestimmt, wird aufgrund des auftretenden Motion-Blur sowie der optischen Unschärfe der Aufnahmeoptik nur ein verschwommenes Abbild des Objekts 2 als Funktion Y ermittelt.However, the function Y determined by the method described so far still has blurring, which however is eliminated. This blurring is based on the fact that individual structures on the surface of the object, which cause a color change, are only effectively recognized with a single shot if these structures are larger than the object area dp of a sensor pixel 12 an intensity curve X determines the function Y by means of the method section already shown, only a blurred image of the object 2 is determined as a function Y due to the occurring motion blur and the optical blurring of the recording optics.

Gleiches gilt, wenn die Oberfläche eines Referenzobjekts 2 einen scharfen Kontrast im Intensitätsverlauf X seiner Oberfläche aufweist. In diesem Fall wird eine Funktion Y ermittelt, die einen verschwommenen bzw. unscharfen Verlauf aufweist. Ist der Verlauf der unscharfen Funktion Y eines derartigen Referenzobjektes 2' bekannt, kann die Unschärfe mittels der unten beschriebenen Verfahren rechnerisch entfernt werden. Im Folgenden wird dafür angenommen, das die Funktion Y sowie die geschärfte resultierende Ausgangsfunktion X durch Vektoren X, Y ihrer jeweiligen Funktionswerte dargestellt werden. Die unscharfe Funktion Y bzw. der ihr zugeordnete Vektor Y lässt sich dabei als Matrixprodukt der folgenden Art beschreiben: Y=HX, wobei die quadratische Matrix H^die durch das Aufnahmeverfahren zur Ermittlung der Funktion Y bestehende Unschärfe darstellt, und wobei angenommen wird, dass sich die Funktion Y durch die Anwendung der Unschärfematrix H auf den Vektor X derThe same applies if the surface of a reference object 2 has a sharp contrast in the intensity curve X of its surface. In this case, a function Y is determined which has a blurred or fuzzy course. If the course of the fuzzy function Y of such a reference object 2 'is known, the blurring can be removed by calculation using the methods described below. In the following it is assumed that the function Y and the sharpened resulting output function X are represented by vectors X, Y of their respective function values. The fuzzy function Y or its associated vector Y can be described as a matrix product of the following kind: Y = HX, where the square matrix H ^ represents the blur existing by the acquisition method for determining the function Y, and it is assumed that the function Y by applying the unsharp matrix H to the vector X of the

Funktionswerte der noch zu ermittelten Ausgangsfunktion X ergibt. Diese Unschärfematrix H gibt die aufgenommene Helligkeit bzw. Farbe eines Pixelsensors 13 mit einem Gegenstandsbereich der Breite dp als Funktion der konkreten Helligkeit bzw. Farbe des Gegenstands am vorgegebenen Aufnahmebereich sowie in dazu benachbarten Aufnahmebereichen an. Die Einträge der Matrix H können bestimmt werden, indem das Verfahren zur Ermittlung der Funktion Y bei der Aufnahme des vorgegebenen Referenzobjekts 2' mit einem scharfen Färb- bzw. Helligkeitsübergang normal zur Fortbewegungsrichtung durchgeführt wird und die Farbwerte des Vektors Y ermittelt werden (Fig. 5b) und anschließend die einzelnen Funktionswerte des Vektors Y transformiert werden. Dabei entspricht der Maximalwert jeweils dem Hauptdiagonalen-Wert der Matrix H und die jeweils benachbart gelegenen Werte werden entsprechend ihrer Lage zum Maximum in die Nebendiagonalen eingetragen.Function values of the yet to be determined output function X results. This blurring matrix H indicates the recorded brightness or color of a pixel sensor 13 having an object region of width dp as a function of the specific brightness or color of the object at the predetermined recording area and in recording areas adjacent thereto. The entries of the matrix H can be determined by carrying out the method for determining the function Y during the acquisition of the predetermined reference object 2 'with a sharp color transition normal to the direction of travel and determining the color values of the vector Y (FIG. 5b ) and then the individual function values of the vector Y are transformed. The maximum value corresponds in each case to the main diagonal value of the matrix H, and the respectively adjacent values are entered into the secondary diagonal in accordance with their position relative to the maximum.

Verfahren zur Schätzung der Werte der Matrix H sind in der Literatur bekannt, nur exemplarisch sei auf D. Kundur and D. Hatzinakos, "Blind Image Deconvolution," IEEE Signal Processing Magazine verwiesen.Methods for estimating the values of matrix H are known in the literature, by way of example only, see D. Kundur and D. Hatzinakos, " Blind Image Deconvolution, " IEEE Signal Processing Magazine referenced.

Es werden lineare Unschärfe-Filter von vorgegebener Länge verwendet. Die verwendeten aufgedruckten Referenzmuster auf dem Referenzobjekt 2' sind derart gewählt, dass die aufgedruckten Farbübergänge zumindest soweit voneinander entfernt sind, damit die Reaktion über die doppelte Filterlänge ermittelt werden kann.Linear blur filters of predetermined length are used. The printed reference patterns used on the reference object 2 'are chosen such that the printed color transitions are at least as far away from each other, so that the reaction over the double filter length can be determined.

Der Hauptdiagonalenwert der Matrix H entspricht dem Funktionswert h1 der Funktion Y der Fig. 5a, die Nebendiagonalenwerte entsprechen den Funktionswerten h2 und h3 der Funktion Y der Fig. 5a. Die Matrix H hat dabei die folgende Gestalt: hi h2 h3 0 h2 hi h2 h3 0 h3 h2 hi h2 h3 0 0 h3 h2 hi h2 h3 0 H=The main diagonal value of the matrix H corresponds to the function value h1 of the function Y of FIG. 5a, the secondary diagonal values correspond to the function values h2 and h3 of the function Y of FIG. 5a. The matrix H has the following shape: hi h2 h3 0 h2 hi h2 h3 0 h3 h2 hi h2 h3 0 0 h3 h2 hi h2 h3 0 H =

Die Unschärfematrix H ist quadratisch und weist eine Anzahl von N.U Zeilen und N.U Spalten auf, wobei U die Breite des zu untersuchenden Intervalls bestimmt. Die Zeilensumme der einzelnen Zeilen der Matrix H weist dabei zumindest für die im Inneren des Aufnahmebereichs gelegenen Punkte stets den Wert 1 auf. In jeder Zeile weist der Hauptdiagonaleneintrag den höchsten Wert auf und die jeweils benachbarten Werte weisen einen mit zunehmender Entfernung von der Hauptdiagonale geringeren Wert auf. Wie in Fig. 5a dargestellt, fallen die Nebendiagonalenwerte mit zunehmender Entfernung von der Hauptdiagonale ab. Die einzelnen Zeileneinträge h1 bis h3 sind für jede Zeile wertemäßig gleich. Prinzipiell könnte die Inverse der Unschärfematrix H direkt aufgrund der einzelnen Einträge bestimmt werden. Die Inversion dieser Matrix ist aufgrund der schlechten Konditionierung jedoch schwierig und zum Teil birgt die Invertierung der Matrix einen großen numerischen Fehler.The blurring matrix H is square and has a number of N.U rows and N.U columns, where U determines the width of the interval to be examined. The row sum of the individual rows of the matrix H always has the value 1 at least for the points located in the interior of the recording area. In each line, the main diagonal entry has the highest value and the respective adjacent values have a lower value with increasing distance from the main diagonal. As shown in Fig. 5a, the sub-diagonal values decrease with increasing distance from the main diagonal. The individual line entries h1 to h3 are the same in value for each line. In principle, the inverse of the unsharp matrix H could be determined directly on the basis of the individual entries. However, inversion of this matrix is difficult due to poor conditioning, and in part, inversion of the matrix involves a large numerical error.

Ein weiterer Aspekt der Erfindung besteht darin, dass nach dem Schärfen eine Interpolation der geschärften Funktion durchgeführt wird. Hierfür kann das oben beschriebene Modell zur Bestimmung der Funktion Y auf Basis der Ausgangsfunktion X, wie folgt, erweitert werden:Another aspect of the invention is that after sharpening, interpolation of the sharpened function is performed. For this purpose, the model described above for determining the function Y on the basis of the output function X can be extended as follows:

Y=HFXY = HFX

Hierbei ist F eine Interpolationsmatrix, die eine Interpolation von auf dem Definitionsbereich der Funktion Y definierten Werten auf den Definitionsbereich der Ausgangsfunktion darstellt. Für die Ausgangsfunktion X wird ein diskreter Definitionsbereich festgelegt, wobei die diskreten Punkte, an denen die Ausgangsfunktion definiert ist, jeweils in Abstand 1/R voneinander entfernt sind. Dieser Interpolationsschritt ist in Fig. 6 dargestellt. Dargestellt sind die aufgezeichnete Funktion Y, die geschärfte Funktion H'1Y sowie die interpolierte Ausgangsfunktion X. Die Funktionen X, Y werden hierbei durch die Vektoren ihrer Funktionswerte dargestellt. Ziel der Interpolation ist es, die Anzahl der den Oberflächenfarbverlauf des aufzuzeichnenden Objekts 2 mit einer geringeren Anzahl von Punkten darzustellen und somit Speicherplatz einzusparen. Mittels einer im folgenden dargestellten Matrix F erfolgt eine Umrechnung der einzelnen Punkte der geschärften Funktion H'1Y in die Punkte der Ausgangsfunktion X bzw. des Vektors X der Ausgangsfunktion Y. Die Matrix F ist dabei nicht quadratisch, sondern weist eine Anzahl von R-U+1 Zeilen auf, wobei U die Breite des zu untersuchenden Intervalls bestimmt und R ein Auflösungsfaktor ist, der auf einen ganzzahligen Wert festgelegt wird, wobei dessen Wert kleiner ist als der Wert des Super-Resolution-Faktors N. Die Interpolation wird jeweils auf einzelnen Teilbereichen der ermittelten und gegebenenfalls geschärften Funktion durchgeführt.Here, F is an interpolation matrix which represents an interpolation of values defined on the domain of definition of the function Y to the domain of definition of the output function. For the output function X, a discrete domain of definition is defined, where the discrete points on which the output function is defined are each at a distance of 1 / R from each other. This interpolation step is shown in FIG. Shown are the recorded function Y, the sharpened function H'1Y and the interpolated output function X. The functions X, Y are represented here by the vectors of their function values. The aim of the interpolation is to represent the number of surface color history of the object 2 to be recorded with a smaller number of points and thus to save storage space. By means of a matrix F shown below, the individual points of the sharpened function H'1Y are converted into the points of the output function X and the vector X of the output function Y, respectively. The matrix F is not square but has a number of R-U +1 lines, where U determines the width of the interval to be examined, and R is a resolution factor set to an integer value, the value of which is smaller than the value of the super-resolution factor N. The interpolation is done on a one-by-one basis Sub-areas of the determined and possibly sharpened function carried out.

Je nach Wahl des Auflösungsfaktors R und des Super-Resolutions-Faktors N ergeben sich unterschiedlich große Intervalle, die im Folgenden so gewählt werden, dass die beiden Intervallgrenzen Stützstellen- bzw. Definitionsbereich sowohl der Ausgangsfunktion als auch der Funktion Y bzw. der geschärften Funktion sind. Im vorliegenden Fall wird der Auflösungsfaktor R=2 und der Superresolutions-Faktor=3 gewählt. Das in Fig. 6 dargestellte Intervall umfasst sieben Stützpunkte der geschärften Funktion H'1Y sowie fünf Stützpunkte der Ausgangsfunktion X. Die beiden Punkte am rechten Rand der geschärften Funktion H'1Y sowie der Ausgangsfunktion X werden dabei nicht mehr als diesem Intervall zugehörig betrachtet, sondern dem an dieses Intervall anschließenden Intervall zugehörig erachtet und für die weiteren Berechnungen nicht mehr herangezogen. Für genauere Berechnungen können größere Definitionsbereiche bzw. Definitionsintervalle der geschärften Funktion H'1Y sowie der Ausgangsfunktion X herangezogen werden, was jedoch die Verwendung größerer Matrizen H, F und damit einen größeren Resourcenaufwand mit sich bringt.Depending on the choice of the resolution factor R and the super-resolution factor N, intervals of different sizes result, which in the following will be chosen such that the two interval boundaries are interpolation or definition ranges of both the output function and the function Y or the sharpened function , In the present case, the resolution factor R = 2 and the superresolution factor = 3 are selected. The interval shown in FIG. 6 comprises seven interpolation points of the sharpened function H'1Y and five interpolation points of the output function X. The two points on the right edge of the sharpened function H'1Y and the output function X are no longer regarded as belonging to this interval, but instead considered to belong to the interval following this interval and no longer used for further calculations. For more precise calculations, larger definition ranges or definition intervals of the sharpened function H'1Y and the output function X can be used, which, however, entails the use of larger matrices H, F and thus a greater expenditure on resources.

Die Zeilensumme dieser Matrix F weist stets den Wert 1 auf. Jede Zeile umfasst lediglich zwei benachbarte Zeileneinträge, die ungleich null sind. Fallen jedoch der Definitionsbereich der geschärften Funktion H'1Y sowie der Ausgangsfunktion X zusammen, liegt lediglich ein einziger Wert innerhalb einer Seite vor, der ungleich null ist, wobei dessen Wert exakt 1 ist. 1 1-Δ2 Δ2 1-Δ3 Δ3 1 1-Δ2 Δ2 1-Δ3 Δ3 1 Δ2 = 2/3 Δ3 = 1/3 F =The row sum of this matrix F always has the value 1. Each line contains only two adjacent nonzero line entries. However, if the definition range of the sharpened function H'1Y and the output function X coincide, then there is only a single value within a non-zero side, whose value is exactly one. 1 1-Δ 2 Δ 2 1-Δ 3 Δ 3 1 1-Δ 2 Δ 2 1-Δ 3 Δ 3 1 Δ 2 = 2/3 Δ 3 = 1/3 F =

Als letzter Schritt muss die oben beschriebene Gleichung Y=H FX nach X aufgelöst werden. Zu diesem Zweck wird die Gauß'sche Normalform verwendet, wobei anstelle des Matrizenproduktes H F eine Matrix M tritt. Die Gauß'sche Normalform kann dabei folgendermaßen geschrieben werden: MT Y=MT M X. Die linke Seite dieser Gleichung lässt sich ohne Weiteres ausrechnen, sodass im Folgenden MT Y durch Y geschrieben wird. Auch das Matrizenprodukt MT M kann vorab berechnet werden, woraus eine quadratische Matrix M' resultiert. Man erhält somit das Gleichungssystem M' X=Y'. Ein derartiges Gleichungssystem weist eine sehr schlechte Kondition auf, die es fehleranfällig für numerische Lösungsmethoden macht. Um dies zu vermeiden, kann eine näherungsweise Lösung dieses Gleichungssystems mittels einer Tychonov-Regularisierung vorgenommen werden, wobei der Matrix M' ein zusätzlicher Term oE hinzugefügt wird, wobei E die Einheitsmatrix ist und α ein Faktor ist, der durch Vergleich der jeweils ermittelten Lösung mit einem bekannten Bild optimiert wird. Dabei wird der Wert α so lange abgeändert, bis eine minimale Abweichung zwischen dem ermittelten Bild und dem bekannten Bild besteht. Die anschließende Lösung dieses Gleichungssystems kann mittels eines Gleichungslösers nach dem Stand der Technik, beispielsweise mittels eines GMRES-Verfahrens bewerkstelligt werden.As a last step, the equation Y = H FX described above must be solved for X. For this purpose, the Gaussian normal form is used, wherein instead of the template product H F, a matrix M occurs. The Gaussian normal form can be written as follows: MT Y = MT M X. The left-hand side of this equation can be easily calculated so that in the following MT Y is written by Y. Also, the template product MT M can be calculated in advance, resulting in a square matrix M '. One thus obtains the system of equations M 'X = Y'. Such a system of equations has a very bad condition, making it prone to error for numerical solution methods. To avoid this, an approximate solution of this system of equations by means of a Tychonov regularization can be made, wherein the matrix M 'is added an additional term oE, where E is the unit matrix and α is a factor by comparison of each solution determined with a known image is optimized. In this case, the value α is changed until there is a minimal deviation between the determined image and the known image. The subsequent solution of this system of equations can be accomplished by means of an equation solver according to the prior art, for example by means of a GMRES method.

Claims

1. A method for capturing an image (3) of an object (2) moved past a camera (1), the camera comprising an area sensor (11) with sensor pixels (12) arranged in a grid-like manner, the column direction (13) being the grid-shaped one arranged sensor pixel (12) is largely parallel to the direction of movement of the object (2), wherein a) during the movement of the object (2) in the column direction (13) continuously at predetermined recording intervals (dt) the output values of all sensor pixels (12) for determining the Brightness or color of a specific object point (21) on the object (2) are determined, and b) the speed of the object (2) in relation to the quotient (L) between distance (dp) of the image area of two adjacent sensor pixels (12) Column and the recording interval (dt) is set, characterized in that c) for each of the pixel columns c1) we set a superresolution factor (N) to an integer value d, wherein the quotient (L), and either the distance (dp) or the acquisition interval (dt), is determined by the formula L = 1 + 1 / N, and c2) each pixel of a column according to its location in the column c3) the individual brightness values H (P, T) or color values of each of the individual sensor pixels (12) of a column are determined at each recording time (t) t = T * dt, and c4) each image the assigned brightness values H (P, T) are assigned to a discretely defined function (Y), wherein for each determined brightness value H (P, T) a function value Y (T * (1 + 1 / N) + P) is entered in that d1) a resolution factor (R) is set to an integer value, the value of which is less than the value of the superresolution factor (N) d2) for the output function (X) discrete domain, where the discrete points at which the output radio tion, are spaced apart at intervals 1 / R, wherein at least one definition point of the output function (X) coincides with a definition point of the function (Y), d3) time intervals of the function (Y) and the output function (X) are determined are bounded by the same boundary points, d4) a relationship between the function values of the output function (X) and the function (Y) is assumed in the form Y = H * F * X, wherein the individual function values of the respective functions within the interval are represented as vector X. , Y are determined by function values defined in the individual points of the respective definition range, d5) where F is an interpolation matrix, optionally the unit matrix, which interpolates values defined on the domain of definition of the function (Y) to the domain of definition of the output function (X) d6) where H represents a blur matrix which reflects the resulting blur of the image of an area of the width (dp) and its allocation to a range of the width of dp / R, and d7) the equation given in d4) is solved for the vector (X) and the output function (X) for each of the Column determined number of output functions (X) as an image of the object (2) is further processed.

Method according to claim 1, characterized in that the interpolation matrix (F) is defined as a linear interpolation between the vector (X) of the values on the output function (X) and the vector (Y) of the values on the function (Y) , where in particular a) the number of lines R * U + 1 corresponds, where U determines the width of the interval to be examined, and the number of columns is determined by N * U, and / or b) the row sum always the value 1 and / or c) there are only two adjacent nonzero line entries in each line, and / or d) only one non-zero line value at a point when the definition ranges of the output function (X) and the function (Y) overlap and this has the value 1.

3. The method according to claim 1 or 2, characterized in that the blur matrix (H) the recorded brightness or color of a pixel sensor (13) with an object range of width dp as a function of the concrete brightness or color of the object at the predetermined receiving area and in adjacent receiving areas, wherein a) the number of rows and columns N * U corresponds, where U determines the width of the interval to be examined, and / or b) the row sum always has the value 1, and / or c ) in each line the main diagonal entry has the highest value and / or the respectively adjacent values decrease with increasing distance from the main diagonal, and / or d) the individual line entries are equal in value for all lines.

4. Method according to one of the preceding claims, characterized in that, in order to solve the equation Y = H * F * X = M * X, the Gaussian form of this equation is solved in the form MT * Y = MT * Μ * X, where Matrix MT * M undergoes Tychonov regularization, i. H. is replaced by the expression (MT * Μ + α * E), where E is the unit matrix and the factor α is optimized by comparing the respectively determined solution with a known image, d. h., as long as changed until there is a minimum deviation between the determined image and the known image.

5. The method according to any one of the preceding claims, characterized in that the entries of the matrix (H) are determined by the method steps a) to c) of claim 1 when taking a predetermined object with a sharp color or brightness transition normal to Moving direction are performed and the color values of the vector (Y) are determined, and then the individual function values of the vector (Y) to be transformed, the maximum value respectively corresponds to the main diagonal value of the matrix (H) and the respectively adjacent values corresponding to their position to the maximum be entered in the secondary diagonals.

6. data carrier on which a program for carrying out a method according to one of claims 1 to 5 is stored.

Computer program with program code means set up for carrying out a method according to one of claims 1 to 5, when the program is executed on a computer,

8. Computer program according to claim 7, stored on a data carrier.

9. Data carrier with electronically readable control signals, which can cooperate with a programmable computer system such that a method according to one of claims 1 to 5 is executed.

Computer program product with program code for carrying out the method according to one of claims 1 to 5, when the program is executed on a computer. Vienna, June 4, 2009