AT508873B1

AT508873B1 - METHOD FOR RECORDING AN IMAGE

Info

Publication number: AT508873B1
Application number: AT8702009A
Authority: AT
Inventors: Reinhold Dr Huber-Moerk; Daniel Dipl Ing Soukup
Original assignee: Ait Austrian Inst Technology
Priority date: 2009-06-04
Filing date: 2009-06-04
Publication date: 2011-07-15
Also published as: DE102010018142A1; AT508873A1

Abstract

Die Erfindung betrifft ein Verfahren zur Aufnahme eines Bildes eines an einer Kamera (1) vorbeibewegten Objekts (2), wobei die Geschwindigkeit des Objekts (2) im Verhältnis zum Quotienten (L) zwischen Abstand (dp) zweier benachbarter Sensorpixel (12) und dem Aufnahmeintervall (dt) festgelegt wird.Erfindungsgemäß ist vorgesehen, dass der Quotient (L) durch die Formel L=1+1/N festgelegt wird, jedem Pixel ein Index (P) zugeordnet wird, und zu jedem Aufnahmezeitpunkt (t) t=T*dt die einzelnen Helligkeitswerte H(P, T) bzw. Farbwerte jedes der einzelnen Sensorpixel (12) einer diskret definierten Funktion (Y) zugewiesen werden, wobei für jeden ermittelten Helligkeitswert H(P, T) ein Funktionswert Y(T*(1+1/N)+P) eingetragen wird.Weiters ist vorgesehen, dass eine Ausgangsfunktion (X) ermittelt wird, indem ein Auflösungsfaktor (R) auf einen ganzzahligen Wert festgelegt wird, Zeitintervalle der Funktion (Y) und der Ausgangsfunktion (X) ermitteln werden, die von denselben Randpunkten begrenzt werden, ein Zusammenhang zwischen den Funktionswerten der Ausgangsfunktion (X) und der Funktion (Y) in der Form Y = H * F * X angenommen wird, wobei die einzelnen Funktionswerte der jeweiligen Funktionen innerhalb des Intervalls als Vektor X, Y von in den einzelnen Punkten des jeweiligen Definitionsbereichs definierten Funktionswerten festgestellt werden, wobei F eine Interpolationsmatrix ist, wobei H eine Unschärfe-Matrix darstellt, und die so gegebene Gleichung nach dem Vektor (X) aufgelöst wird.The invention relates to a method for capturing an image of an object (2) moved past a camera (1), wherein the velocity of the object (2) is proportional to the quotient (L) between the distance (dp) of two adjacent sensor pixels (12) and According to the invention, it is provided that the quotient (L) is determined by the formula L = 1 + 1 / N, an index (P) is assigned to each pixel, and t = T at each recording time (t) * dt the individual brightness values H (P, T) and color values of each of the individual sensor pixels (12) are assigned to a discretely defined function (Y), wherein for each determined brightness value H (P, T) a function value Y (T * (1 Furthermore, it is provided that an output function (X) is determined by setting a resolution factor (R) to an integer value, determining the time intervals of the function (Y) and the output function (X) which are bounded by the same boundary points a relationship between the function values of the output function (X) and the function (Y) in the form Y = H * F * X is assumed, wherein the individual function values of the respective functions within the interval as vector X, Y of in the individual Where F is an interpolation matrix, where H represents a blur matrix, and the equation thus given is solved for the vector (X).

Description

österreichisches Patentamt AT 508 873 B1 2011-07-15Austrian Patent Office AT 508 873 B1 2011-07-15

Beschreibung [0001] Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruchs 1.Description [0001] The invention relates to a method according to the preamble of patent claim 1.

[0002] Der Erfindung wird auf dem Gebiet der automatischen Prüfung von Gegenständen, insbesondere auf dem Gebiet der Prüfung von Banknoten, gewerblich eingesetzt.The invention is used commercially in the field of automatic testing of objects, in particular in the field of banknote inspection.

[0003] Hintergrund der Erfindung ist die Automatisierung der Prüfung von Gegenständen, insbesondere von Banknoten. Dabei werden die Banknoten mit einer vorgegebenen Geschwindigkeit an einem Zeilensensor vorbeibewegt, der den Gegenstand im Zuge seiner Bewegung aufzeichnet.Background of the invention is the automation of the examination of objects, in particular banknotes. In this case, the banknotes are moved past a line sensor at a predetermined speed, which records the object in the course of its movement.

[0004] Die Aufgabe der Erfindung liegt darin, die Auflösung der aufgenommenen Bilder parallel zu deren Fortbewegungsrichtung zu erhöhen und die durch die Bewegung und die Aufnahmeoptik des Gegenstands bewirkte Unschärfe (Motion Blur) zu kompensieren.The object of the invention is to increase the resolution of the recorded images parallel to their direction of movement and to compensate for the motion blur caused by the movement and the recording optics of the subject.

[0005] Erfindungsgemäß wird dies mit einem Verfahren zur Aufnahme eines Bildes eines an einer Kamera vorbeibewegten Objekts, erreicht, wobei die Kamera einen Flächensensor mit rasterartig angeordneten Sensorpixeln umfasst, wobei die Spaltenrichtung der rasterförmig angeordneten Sensorpixel weitestgehend parallel zur Bewegungsrichtung des Objekts liegt, wobei während der Bewegung des Objekts in Spaltenrichtung fortlaufend in vorgegebenen Aufnahmeintervallen die Ausgangswerte aller Sensorpixel für die Ermittlung der Helligkeit bzw. Farbe eines konkreten Objektpunkts am Objekt ermittelt werden, und wobei die Geschwindigkeit des Objekts im Verhältnis zum Quotienten zwischen Abstand des Bildbereichs zweier benachbarter Sensorpixel einer Spalte und dem Aufnahmeintervall festgelegt wird.According to the invention, this is achieved by a method for capturing an image of an object moved past a camera, the camera comprising an area sensor with grid-like arranged sensor pixels, wherein the column direction of the grid-like arranged sensor pixels is largely parallel to the direction of movement of the object, wherein during the movement of the object in the column direction continuously at predetermined acquisition intervals, the output values of all sensor pixels for determining the brightness or color of a specific object point on the object are determined, and wherein the speed of the object in relation to the quotient between the distance of the image area of two adjacent sensor pixels of a column and the recording interval is set.

[0006] Dieses Verfahren kennzeichnet sich erfindungsgemäß dadurch, dass für jede der Pixelspalten ein Superresolution-Faktor auf einen ganzzahligen Wert festgelegt wird, wobei der Quotient und entweder der Abstand oder das Aufnahmeintervall, durch die Formel L=1+1/N festgelegt wird, und jedem Pixel einer Spalte entsprechend seiner Lage in der Spalte ein fortlaufender nummerierter Index zugeordnet wird, zu jedem Aufnahmezeitpunkt t=T*dt die einzelnen Helligkeitswerte H(P, T) bzw. Farbwerte jedes der einzelnen Sensorpixel einer Spalte ermittelt werden, und nach jeder Aufnahme die ermittelten Helligkeitswerte H(P, T) einer diskret definierten Funktion zugewiesen werden, wobei für jeden ermittelten Helligkeitswert H(P, T) ein Funktionswert Y(T*(1+1/N)+P) eingetragen wird. N bezeichnet dabei den Superresolution-Faktor, eine ganze Zahl. P bezeichnet den diskreten Index eines Pixels, T bezeichnet einen diskreten ganzzahligen Zeitpunkt. Weiters wird eine Ausgangsfunktion ermittelt, indem ein Auflösungsfaktor auf einen ganzzahligen Wert festgelegt wird, wobei dessen Wert kleiner ist als der Wert des Superresolution-Faktors. Für die Ausgangsfunktion wird ein diskreter Definitionsbereich festgelegt, wobei die diskreten Punkte, an denen die Ausgangsfunktion definiert ist, in Intervallen 1/R voneinander entfernt sind, wobei zumindest ein Definitionspunkt der Ausgangsfunktion mit einem Definitionspunkt der Funktion übereinstimmt, Zeitintervalle der Funktion und der Ausgangsfunktion ermitteln werden, die von denselben Randpunkten begrenzt werden, ein Zusammenhang zwischen den Funktionswerten der Ausgangsfunktion X und der Funktion in der Form Y = ft * F * X angenommen wird. Der Vektor X umfasst diskrete Werte der Ausgangsfunktion X. Die einzelnen Funktionswerte der jeweiligen Funktionen innerhalb des Intervalls als Vektor von in den einzelnen Punkten des jeweiligen Definitionsbereichs definierten Funktionswerten werden festgestellt, wobei F eine Interpolationsmatrix, gegebenenfalls die Einheitsmatrix, ist, die eine Interpolation von auf dem Definitionsbereich der Funktion (Y) definierten Werten auf den Definitionsbereich der Ausgangsfunktion X darstellt, wobei ft eine Unschärfe-Matrix ft darstellt. Die Unschärfe-Matrix ft gibt die resultierende Unschärfe der Aufnahme eines Gegenstandsbereichs der Breite und dessen Zuordnung auf einen Bereich der Breite von dp/R wieder, dp bezeichnet die Breite des Aufnahmebereichs eines Sensorpixels. R bezeichnet dabei einen ganzzahligen Auflösungsfaktor. Durch die Tansformationsvorschrift der Unschärfematrix ft wird die Tatsächliche durch die Aufnahme nowendigerweise bestehende Unschärfe abgebildet. Durch Lösung des Gleichungssystems wird der Unschärfe-Effekt beseitigt. Die somit gegebene 1 /12 österreichisches Patentamt AT 508 873 B1 2011-07-15According to the invention, this method is characterized in that, for each of the pixel columns, a superresolution factor is set to an integer value, the quotient and either the interval or the sampling interval being defined by the formula L = 1 + 1 / N, and each pixel of a column is assigned a consecutive numbered index corresponding to its location in the column, the individual brightness values H (P, T) or color values of each of the individual sensor pixels of a column are determined at each acquisition time t = T * dt, and after each Recording the determined brightness values H (P, T) are assigned to a discretely defined function, wherein for each determined brightness value H (P, T) a function value Y (T * (1 + 1 / N) + P) is entered. N denotes the superresolution factor, an integer. P denotes the discrete index of a pixel, T denotes a discrete integer time. Furthermore, an output function is determined by setting a resolution factor to an integer value, the value of which is smaller than the value of the superresolution factor. For the output function, a discrete domain of definition is defined, where the discrete points at which the output function is defined are spaced apart at intervals 1 / R, wherein at least one definition point of the output function coincides with a definition point of the function, determine time intervals of the function and the output function For example, if the bounds are bounded by the same boundary points, a relationship is assumed between the function values of the output function X and the function in the form Y = ft * F * X. The vector X comprises discrete values of the output function X. The individual function values of the respective functions within the interval are determined as a vector of function values defined in the individual points of the respective definition range, where F is an interpolation matrix, optionally the unit matrix, which interpolates from represents the domain of definition of the function (Y) on the domain of definition of the output function X, where ft represents a blur matrix ft. The blur matrix ft represents the resulting blur of taking a subject area of latitude and its map to a range of latitude dp / R, dp denotes the width of the shot area of a sensor pixel. R denotes an integer resolution factor. By the Tansformationsvorschrift the unsharp matrix ft the actual is represented by the recording nowendigerweise existing blur. Solving the equation system eliminates the blurring effect. The thus given 1/12 Austrian Patent Office AT 508 873 B1 2011-07-15

Gleichung wird nach dem Vektor X aufgelöst und die Ausgangsfunktion X bzw. die für jede der Spalten ermittelte Anzahl von Ausgangsfunktionen X wird als Abbild des Objekts weiterverarbeitet wird.The equation is solved for the vector X and the output function X or the number of output functions X determined for each of the columns is processed further as an image of the object.

[0007] Durch dieses Vorgehen wird die mit dem Verfahren erzielte Auflösung gegenüber einem herkömmlichen TDI-Verfahren erheblich gesteigert. Zusätzlich kann die Unschärfe erheblich verringert werden. Dies ermöglicht eine feinere Abtastung der aufzunehmenden Gegenstände und ermöglicht die Prüfung von kleineren Details auf den Gegenständen.By doing so, the resolution achieved with the method is significantly increased over a conventional TDI method. In addition, the blur can be significantly reduced. This allows a finer scan of the objects to be picked and allows the inspection of smaller details on the objects.

[0008] Ein weiterer Aspekt der Erfindung sieht vor, dass die Interpolationsmatrix als eine lineare Interpolation zwischen dem Vektor der Werte auf der Ausgangsfunktion X und dem Vektor der Werte auf der Funktion festgelegt wird, wobei hierbei insbesondere die Anzahl der Zeilen R*U+1 entspricht, wobei U die Breite des zu untersuchenden Intervalls bestimmt, und die Anzahl der Spalten durch N*U bestimmt wird, und/oder die Zeilensumme stets den Wert 1 aufweist, und/oder in jeder Zeile lediglich zwei benachbarte Zeileneinträge ungleich null sind, und/oder bei Überschneidung der Definitionsbereiche der Ausgangsfunktion und der Funktion in einem Punkt lediglich ein einziger Wert der Zeile ungleich null ist und dieser den Wert 1 aufweist.Another aspect of the invention provides that the interpolation matrix is defined as a linear interpolation between the vector of the values on the output function X and the vector of the values on the function, in which case the number of lines R * U + 1 where U is the width of the interval to be examined, and the number of columns is determined by N * U, and / or the row sum is always 1, and / or only two adjacent row entries are nonzero in each row, and / or if the definition ranges of the output function and the function in a point overlap, only a single value of the row is non-zero and this has the value 1.

[0009] Diese besondere Verfahrensführung ermöglicht eine vereinfachte Bestimmung der Helligkeitswerte in den Bildpunkten und verringert das Auftreten von Artefakten.This special procedure allows a simplified determination of the brightness values in the pixels and reduces the occurrence of artifacts.

[0010] Ein weiterer spezieller Aspekt der Erfindung sieht vor, dass die Unschärfe-Matrix die aufgenommene Helligkeit bzw. Farbe eines Pixelsensors mit einem Gegenstandsbereich der Breite dp als Funktion der konkreten Helligkeit bzw. Farbe des Gegenstands am vorgegebenen Aufnahmebereich sowie in dazu benachbarten Aufnahmebereichen angibt, wobei insbesondere die Anzahl der Zeilen und der Spalten N*U entspricht, wobei U die Breite des zu untersuchenden Intervalls bestimmt, und/oder die Zeilensumme stets den Wert 1 aufweist, und/oder in jeder Zeile der Hauptdiagonaleneintrag den höchsten Wert aufweist und/oder die jeweils benachbarten Werte mit zunehmender Entfernung von der Hauptdiagonale abfallen, und/oder die einzelnen Zeileneinträge wertemäßig für alle Zeilen gleich sind.A further special aspect of the invention provides that the blur matrix indicates the recorded brightness or color of a pixel sensor having an object range of width dp as a function of the specific brightness or color of the object at the predetermined pickup area and in adjacent pickup areas in which in particular the number of rows and columns corresponds to N * U, where U determines the width of the interval to be examined, and / or the row sum always has the value 1, and / or in each row the main diagonal entry has the highest value and / or the respective adjacent values decrease with increasing distance from the main diagonal, and / or the individual line entries are equal in value for all lines.

[0011] Diese besondere Verfahrensführung ermöglicht eine vereinfachte Anpassung des Verfahrens an die Gegebenheiten der Aufnahmeumgebung. Dabei kann insbesondere der Einfluss des Motion-Blur sowie sonstiger Unschärfe-Effekte kompensiert werden.This special procedure allows a simplified adaptation of the method to the conditions of the recording environment. In particular, the influence of the motion blur and other blurring effects can be compensated.

[0012] Zusätzlich kann vorgesehen werden, dass zur Lösung der Gleichung Y = f{*F*X=M* X die Gaußsche Normalform dieser Gleichung in der Form MT * Y = MT * Μ * X, gelöst wird, wobei die Matrix MT * M einer Tychonov-Regularisierung unterzogen wird, d.h. durch den Ausdruck (MT * Μ + α * E) ersetzt wird, wobei E die Einheitsmatrix ist und der Faktor α durch Vergleich der jeweils ermittelten Lösung mit einem bekannten Bild optimiert wird, d.h. solange abgeändert wird, bis eine minimale Abweichung zwischen dem ermittelten Bild und dem bekannten Bild besteht.In addition, it can be provided that the solution of the equation Y = f {* F * X = M * X, the Gaussian form of this equation in the form MT * Y = MT * Μ * X, is solved, the matrix MT * M undergoes a Tychonov regularization, ie is replaced by the expression (MT * Μ + α * E), where E is the unit matrix and the factor α is optimized by comparing the respectively determined solution with a known image, i. as long as changed until there is a minimum deviation between the determined image and the known image.

[0013] Dieses Vorgehen ermöglicht eine Ressourcen sparende und numerisch stabile Lösung des vorliegenden Gleichungssystems und verbessert somit die Bildqualität. Die Matrizen können vor Beginn der Berechnungen vorab bestimmt werden. Bei der Implementierung des Verfahrens ist lediglich eine Matrix-Multiplikation oder lineare Filterung pro Pixelspalte durchzuführen.This approach enables a resource-saving and numerically stable solution of the present system of equations and thus improves the image quality. The matrices can be determined in advance before starting the calculations. In the implementation of the method, only one matrix multiplication or linear filtering per pixel column is to be performed.

[0014] Ein weiterer Aspekt der Erfindung sieht vor, dass die Einträge der Matrix bestimmt werden, indem die Verfahrensschritte zur Ermittlung des Gegenstandsbildes bei der Aufnahme eines vorgegebenen Objekts mit einem scharfen Färb- bzw. Helligkeitsübergang normal zur Fortbewegungsrichtung durchgeführt werden und die Farbwerte des Vektors ermittelt werden, und anschließend die einzelnen Funktionswerte im Vektor, transformiert werden, wobei der Maximalwert jeweils dem Hauptdiagonalenwert der Matrix entspricht und die jeweils benachbart gelegenen Werte entsprechend ihrer Lage zum Maximum in die Nebendiagonalen eingetragen werden. Dieses Vorgehen verringert bzw. kompensiert den bei der Aufzeichnung entstehenden Motion-Blur und verbessert zusätzlich die Bildqualität. 2/12 österreichisches Patentamt AT 508 873 B1 2011-07-15 [0015] Die Erfindung wird im Folgenden anhand eines Beispiels, dargestellt in den Fig. 1 bis 6, ohne Einschränkungen der Allgemeinheit der Erfindung auf dieses Beispiel näher erläutert.A further aspect of the invention provides that the entries of the matrix are determined by carrying out the method steps for determining the object image when taking a given object with a sharp color transition normal to the direction of travel and the color values of the vector are determined, and then the individual function values in the vector, to be transformed, wherein the maximum value corresponds to the main diagonal value of the matrix and the respectively adjacent values are entered according to their position to the maximum in the secondary diagonal. This procedure reduces or compensates for the motion blur created during recording and additionally improves the picture quality. The invention will be explained in more detail below with reference to an example, shown in FIGS. 1 to 6, without limiting the generality of the invention to this example.

[0016] Fig. 1 [0017] Fig. 2 [0018] Fig. 3 [0019] Fig. 4 zeigt schematisch eine Aufnahmevorrichtung gemäß dem Stand der Technik, mit der Rohdaten für das erfindungsgemäße Verfahren ermittelt werden. zeigt schematisch eine Spalte von Sensorpixeln eines Flächensensors sowie die Abbildung eines Objekts auf den Flächensensor. zeigt schematische die Vorgehensweise bei einem TDI-Verfahren gemäß dem Stand der Technik. zeigt die Ermittlung einer Funktion Y aus den einzelnen aufgenommenen Spaltenwerten.Fig. 3 shows schematically a receiving device according to the prior art, are determined with the raw data for the inventive method. schematically shows a column of sensor pixels of a surface sensor and the image of an object on the surface sensor. shows schematically the procedure in a TDI method according to the prior art. shows the determination of a function Y from the individual recorded column values.

[0020] Fig. 5a und 5b zeigen die Unschärfe bei der Aufnahme eines Streifens, der eine Aus dehnung von weniger als der Bildbreite eines Pixels aufweist, bzw. bei der Aufnahme eines scharfen Kontraste.Fig. 5a and 5b show the blur in the recording of a strip having an expansion of less than the image width of a pixel, or when shooting a sharp contrasts.

[0021] Fig. 6 zeigt ein Zeitfenster, innerhalb dessen die Interpolation zwischen der aufgenommenen Funktion und der Ausgangsfunktion vorgenommen wird.Fig. 6 shows a time window within which the interpolation between the recorded function and the output function is performed.

[0022] Fig. 1 zeigt eine Aufnahmevorrichtung, mit der das erfindungsgemäße Verfahren geführt werden kann. Eine derartige Vorrichtung umfasst zum einen eine Kamera 1, die mit einem Flächensensor ausgestattet ist, der rasterartig angeordnete Sensorpixel 12 umfasst. Die Aufnahmevorrichtung umfasst ferner eine nicht dargestellte Auswerteeinheit, der die von der Kamera aufgenommenen Daten zugeführt sind. Zum anderen umfasst die Aufnahmevorrichtung eine Fortbewegungseinrichtung 4, insbesondere ein Transportband, mittels der ein zu untersuchendes Objekt 2 durch den Aufnahmebereich der Kamera 1 geführt werden kann, wobei im Zuge der Relativbewegung des Objekts 2 zur Kamera ein Bild des Objekts 2 aufgenommen wird. Hierbei ist eine Fortbewegungsrichtung x des Objekts 2 vorgegeben. Eine der beiden Ausrichtungsrichtungen des rechteckigen Rasters der Sensorpixel 12 steht normal zur Fortbewegungsrichtung des Objekts. Die andere Ausrichtungsrichtung des Rasters des Flächensensors steht nicht normal, insbesondere parallel, zur Fortbewegungsrichtung des Transportbandes; dies wird im Folgenden als Spaltenrichtung bezeichnet. Die in Spaltenrichtung zueinander angeordneten Sensorpixel 12 des Flächensensors werden jeweils als Spalten bezeichnet.Fig. 1 shows a receiving device with which the inventive method can be performed. Such a device comprises, on the one hand, a camera 1 which is equipped with an area sensor which comprises sensor pixels 12 arranged in the manner of a grid. The recording device further comprises an evaluation unit, not shown, to which the data recorded by the camera are supplied. On the other hand, the receiving device comprises a locomotion device 4, in particular a conveyor belt, by means of which an object 2 to be examined can be guided through the receiving area of the camera 1, wherein an image of the object 2 is taken in the course of the relative movement of the object 2 to the camera. In this case, a direction of movement x of the object 2 is predetermined. One of the two alignment directions of the rectangular grid of the sensor pixels 12 is normal to the direction of travel of the object. The other alignment direction of the grid of the area sensor is not normal, in particular parallel to the direction of travel of the conveyor belt; this is referred to below as the column direction. The mutually arranged in the column direction sensor pixels 12 of the surface sensor are each referred to as columns.

[0023] Fig. 2 zeigt einen Längsschnitt durch die Kamera 1, den Flächensensor sowie das Objekt 2. Das Objekt 2 befindet sich hierbei auf der Fortbewegungseinrichtung, wie in Fig. 2 dargestellt. Vom Flächensensor der Kamera 1 ist lediglich eine einzige Spalte von Sensorpixeln 12 dargestellt. Ein weiterer, im Folgenden häufig gebrauchter Begriff ist die Breite dp des Gegenstandsbereichs eines Sensorpixels 12. Hierbei wird angenommen, dass das zu untersuchende Objekt 2 einen vorgegebenen Abstand w von der Kamera 1 bzw. dem Zeilensensor aufweist. Ferner wird davon ausgegangen, dass das Objekt 2 im Vergleich zum Abstand w eine lediglich sehr geringe Dicke bzw. Ausdehnung in Richtung zur Kamera 1 hin aufweist. Unter diesen Voraussetzungen kann angenommen werden, dass die Breite dp des Gegenstandsbereichs eines Sensorpixels 12 bzw. dazu äquivalent der Abstand der Mittelpunkte der aneinander angrenzenden Gegenstandbereiche zweier benachbarter Sensorpixel 12 einen für alle Sensorpixel 12 konstanten Wert dp aufweist.Fig. 2 shows a longitudinal section through the camera 1, the surface sensor and the object 2. The object 2 is in this case on the locomotion device, as shown in Fig. 2. From the surface sensor of the camera 1, only a single column of sensor pixels 12 is shown. Another frequently used term in the following is the width dp of the object area of a sensor pixel 12. It is assumed here that the object 2 to be examined has a predetermined distance w from the camera 1 or the line sensor. Furthermore, it is assumed that the object 2 has only a very small thickness or expansion in the direction of the camera 1 in comparison to the distance w. Under these conditions, it can be assumed that the width dp of the object area of a sensor pixel 12 or, equivalently, the distance between the centers of the adjoining object areas of two adjacent sensor pixels 12 has a constant value dp for all sensor pixels 12.

[0024] Das Objekt 2 wird, wie in Fig. 2 dargestellt, entlang der Richtung x gegenüber der Kamera 1 bewegt. Innerhalb vorgegebener, gleich langer Zeitbereichen dt wird von dem Objekt 2 ein Bild aufgenommen.The object 2 is, as shown in Fig. 2, along the direction x relative to the camera 1 moves. Within predefined, equally long time intervals dt, an image is taken by the object 2.

[0025] Die folgenden Erörterungen betreffen lediglich die eine einzelne Spalte. Die Ausdehnung eines derartigen Verfahrens auf Bilder, die mit Flächenkameras mit einer Vielzahl von Spalten aufgenommen worden sind, kann durch bloße Vervielfachung des im Folgenden beschriebenen Verfahrens für jede Spalte separat durchgeführt werden. 3/12 österreichisches Patentamt AT 508 873 B1 2011-07-15 [0026] Nach der Aufnahme einer Spalte von Helligkeitswerten zu einem Zeitpunkt t=0 liegt, wie in Fig. 3 beschrieben, eine Anzahl von aufgenommenen Färb- bzw. Intensitätswerten vor. Jedes der sieben Sensorpixel der Spalte liefert hierbei einen Intensitätswert. Zum Zeitpunkt t=0 liegt somit ein Vektor von sieben Helligkeits- bzw. Farbwerten vor, die von den einzelnen Pixeln 12 einer Spalte des Flächensensors aufgenommen worden sind.The following discussions relate only to a single column. The extension of such a method to images taken with area cameras having a plurality of columns can be performed separately for each column merely by multiplying the method described below. After the acquisition of a column of brightness values at a time t = 0, as shown in FIG. 3, a number of recorded color or intensity values are present. Each of the seven sensor pixels of the column provides an intensity value. At time t = 0, there is thus a vector of seven brightness or color values which have been recorded by the individual pixels 12 of a column of the area sensor.

[0027] Es wird, wie beim eingangs beschriebenen TDI-Verfahren nach einem vorgegebenen Zeitraum eine weitere Aufnahme durchgeführt, wobei sichergestellt sein muss, dass der Gegenstandsbereich, der zum Aufnahmezeitpunkt t=0 im Bildbereich eines Sensorpixels 12 war, zum Aufnahmezeitpunkt t=1 dt im Bildbereich des jeweils benachbarten Sensorpixels gelegen ist. Es wird derselbe Oberflächen- bzw. Gegenstandsbereich des Gegenstandes 2 von sämtlichen Sensorpixeln 12 einer Spalte aufgenommen. Es ist wie beim Stand der Technik vorgesehen, dass dabei die Geschwindigkeit des Objekts 2 gleich dem Quotienten L zwischen dem Abstand dp des Bildbereichs der Mittelpunkte zweier benachbarter Sensorpixel einer Spalte und dem Aufnahmeintervall dt ist. Als Auflösung wird hierbei die Größe Gegenstandsbereich bezeichnet, für den ein Helligkeitswert ermittelt worden ist. Für das klassische TDI-Verfahren entspricht die Auflösung dem Gegenstandsbereich dt.It is, as in the TDI method described above after a predetermined period another recording performed, it must be ensured that the subject area, the recording time t = 0 in the image area of a sensor pixel 12, the recording time t = 1 dt located in the image area of the respective adjacent sensor pixel. The same surface area of the article 2 is received by all the sensor pixels 12 of a column. It is provided as in the prior art that while the speed of the object 2 is equal to the quotient L between the distance dp of the image area of the centers of two adjacent sensor pixels of a column and the recording interval dt. In this case, the size object area is designated as the resolution for which a brightness value has been determined. For the classical TDI method, the resolution corresponds to the subject area dt.

[0028] Im vorliegenden Fall wird dieser Stand der Technik weitergebildet, wobei die Geschwindigkeit des Objekts 2 nicht dem Quotienten L gleichgesetzt wird. Vielmehr wird ein Verhältnis zwischen der Geschwindigkeit des Objekts 2 und dem Quotienten L festgelegt. Hierfür wird ein Super-Resolution-Faktor N vorgegeben, der einen ganzzahligen Wert besitzt und der bestimmt, um wie viel die Auflösung im Verhältnis zum TDI-Verfahren gemäß dem Stand der Technik verfeinert werden soll. Typischerweise können hierfür Werte zwischen 2 und 8 gewählt werden. Der Quotient L, der Abstand dp sowie das Aufnahmeintervall dt werden durch die Formel L=1+1/N=dp/dt ins Verhältnis gesetzt. Durch Variation des Aufnahmeintervalls dt bzw. der Geschwindigkeit des Objekts 2 relativ zur Kamera 1 kann der Quotient L auf den festgelegten Wert eingestellt werden. Üblicherweise geschieht dies dadurch, dass die Geschwindigkeit des Objekts 2 auf einen Wert festgelegt wird, der bei den herkömmlichen TDI-Verfahren verwendeten Geschwindigkeit multipliziert mit dem Quotienten L entspricht. Alternativ dazu kann selbstverständlich auch das Aufnahmeintervall dt verringert werden. Auch kann durch Variation des Abstandes w der Gegenstandsbereich dp variiert werden.In the present case, this prior art is developed, wherein the speed of the object 2 is not set equal to the quotient L. Rather, a ratio between the speed of the object 2 and the quotient L is set. For this purpose, a super-resolution factor N is provided, which has an integer value and which determines by how much the resolution should be refined in relation to the TDI method according to the prior art. Typically, values between 2 and 8 can be selected. The quotient L, the distance dp and the recording interval dt are set in relation by the formula L = 1 + 1 / N = dp / dt. By varying the recording interval dt or the speed of the object 2 relative to the camera 1, the quotient L can be set to the specified value. Usually, this is done by setting the speed of the object 2 at a value corresponding to the speed used in the conventional TDI methods multiplied by the quotient L. Alternatively, of course, the recording interval dt can be reduced. Also, by varying the distance w, the object area dp can be varied.

[0029] Jedem Sensorpixel 12 einer Spalte wird entsprechend seiner Lage in der Spalte ein fortlaufender nummerierter Index P zugeordnet. Wie bereits erwähnt, werden zu einzelnen Aufnahmezeitpunkten t=T dt die jeweiligen Helligkeitswerte bzw. Farbwerte jedes der einzelnen Sensorpixel 12 der jeweiligen Spalte ermittelt. Die Aufnahmezeitpunkte t werden dabei in fest vorgegebenen Zeitintervallen beabstandet, wobei sich die einzelnen Aufnahmezeitpunkte in der Form t=T dt ergeben, wobei T eine fortlaufende natürliche Zahl ist. Die einzelnen Helligkeitswerte H(P, T) liegen für jedes Sensorpixel 12, dargestellt durch seinen ihm zugeordneten ganzzahligen, fortlaufenden Index P, sowie für jeden Aufnahmezeitpunkt T vor.Each sensor pixel 12 of a column is assigned a consecutive numbered index P according to its location in the column. As already mentioned, the respective brightness values or color values of each of the individual sensor pixels 12 of the respective column are determined at individual recording times t = T dt. The recording times t are spaced at fixed time intervals, the individual recording times resulting in the form t = T dt, where T is a continuous natural number. The individual brightness values H (P, T) are present for each sensor pixel 12, represented by its associated integer, continuous index P, as well as for each recording time T.

[0030] Im Folgenden wird eine diskret definierte Funktion Y ermittelt, die die einzelnen ermittelten Helligkeitswerte H(P, T) der Pixel der Spalte derart zugewiesen erhält, dass sie den Verlauf der Helligkeit bzw. der Farbe der Oberfläche des zu untersuchenden Objekts 2 wiedergibt. Im Gegensatz zum TDI-Verfahren weist die resultierende Funktion Y eine um den Superresolution-Faktor N vervielfachte Anzahl von Stützpunkten auf. Um diesen Unterschied zum Stand der Technik besser zu verdeutlichen, werden die zusätzlichen Punkte des Definitionsbereichs der Funktion Y durch Bruchzahlen dargestellt. Bei dem im Folgenden angenommenen Superresolution-Faktor N=3, erhält man zwischen den üblichen durch TDI erhaltenen Stützpunkten jeweils zwei weitere Zwischenstützpunkte.In the following, a discretely defined function Y is determined, which receives the individual ascertained brightness values H (P, T) of the pixels of the column in such a way that it reproduces the course of the brightness or the color of the surface of the object 2 to be examined , In contrast to the TDI method, the resulting function Y has a multiplied by the superresolution factor N number of vertices. To better illustrate this difference from the prior art, the additional points of the domain of definition of the function Y are represented by fractions. In the superresolution factor N = 3 assumed below, in each case two further intermediate points are obtained between the usual support points obtained by TDI.

[0031] In einem ersten Schritt werden erfindungsgemäß die Helligkeitswerte H zum Zeitpunkt t=0 aufgenommen und mit ihnen die diskret definierte Funktion Y gebildet. In diesem Schritt werden lediglich Werte an ganzzahligen Stellen in die Funktion Y eingetragen. Zum nächsten Zeitpunkt t=1 werden erneut Helligkeitswerte H aufgenommen und in die Funktion Y eingetragen, wobei bei dieser erfindungsgemäßen Vorgangsweise ein Vorschub bzw. Versatz der ein- 4/12 österreichisches Patentamt AT 508 873 B1 2011-07-15 getragenen Helligkeitswerte H gegenüber der Funktion Y um 1+1/N, in diesem Fall 4/3, erfolgt. Somit wird der erste Helligkeitswert, der zum Zeitpunkt T=1 aufgenommen worden ist, an der Stelle 1+1/3 eingetragen. Die weiteren Werte werden an der Stelle 2+1/3, 3+1/3 sowie 4+1/3 eingetragen. Analog wird mit den zu den Aufnahmezeitpunkten T>1 ermittelten Helligkeitswerten verfahren. Allgemein kann formuliert werden, dass jeder ermittelte Helligkeitswert H(P, T) als Funktionswert Y(T-(1+1/N)+P) eingetragen wird. Bei Verwendung eines TDI-Verfahrens gemäß dem Stand der Technik ist der Summand 1/N nicht vorhanden.In a first step, according to the invention, the brightness values H are recorded at the time t = 0 and the discretely defined function Y is formed with them. In this step, only values at integer digits are entered in the function Y. Brightness values H are recorded again at the next time t = 1 and entered into the function Y, wherein in this procedure according to the invention an advancement or offset of the brightness values H carried by the device is achieved Function Y is done by 1 + 1 / N, in this case 4/3. Thus, the first brightness value recorded at time T = 1 is entered at location 1 + 1/3. The other values are entered at positions 2 + 1/3, 3 + 1/3 and 4 + 1/3. The procedure is analogous to the brightness values determined at the recording times T > 1. Generally, it can be formulated that each determined brightness value H (P, T) is entered as a function value Y (T- (1 + 1 / N) + P). When using a TDI method according to the prior art, the summand 1 / N does not exist.

[0032] Wird dabei der Superresolution-Faktor kleiner gewählt als die Anzahl der innerhalb einer Spalte befindlichen Pixel, wird jedem Funktionswert Y von (N+j/N) für j>0 jedenfalls zumindest ein Wert zugewiesen. Beispielsweise sind in Fig. 4 die Werte Y(1/3), Y(2/3), Y(1+2/3) nicht definiert. Derartige Anfangseffekte sind normalerweise unproblematisch, da sich bei der ersten Aufnahme des Bildes zumeinst ohnehin kein Objekt im Bildbereich der Kamera befindet. Wie auch beim herkömmlichen TDI-Verfahren kann es Vorkommen, dass einzelne Werte doppelt beschrieben werden. Hier kann der Einfachheit halber ein Mittelwert zwischen den eingetragenen Werten gebildet werden.In this case, if the superresolution factor is chosen to be smaller than the number of pixels located within a column, at least one value is assigned to each function value Y of (N + j / N) for j> 0. For example, in Fig. 4, the values Y (1/3), Y (2/3), Y (1 + 2/3) are not defined. Such initial effects are usually unproblematic, since at the first shot of the image at least no object in the image area of the camera anyway. As with the conventional TDI method, occurrences of single values may be described twice. Here, for the sake of simplicity, an average value between the entered values can be formed.

[0033] Die erfindungsgemäß ermittelte Funktion Y weist gegenüber einer mit herkömmlichem TDI ermittelten Funktion den wesentlichen Vorteil auf, dass die Anzahl ihrer Stützstellen wesentlich höher ist. Somit kann eine Abwägung getroffen werden, inwieweit die Pixel einer Spalte zur Verminderung des Rauschens verwendet werden bzw. ob diese Pixel zur Erhöhung der Auflösung verwendet werden. Hierbei stellt das TDI-Verfahren gleichsam ein Extrembeispiel dar, bei dem sämtliche Sensorpixel 12 einer Spalte zur Verringerung des Rauschens verwendet werden, während keinerlei Maßnahmen getroffen werden, die Auflösung zu erhöhen. Je größer der Superresolution-Faktor N gewählt wird, umso mehr Helligkeitsinformation der Sensorpixel 12 wird für die Erhöhung der Auflösung verwendet, desto größer ist jedoch auch das Rauschen. Je mehr Sensorpixel 12 in einer Spalte zur Verfügung stehen, desto größer kann auch der Super-Resolutions-Faktor N gewählt werden, um das Rauschen nicht übermäßig anwachsen zu lassen.The inventively determined function Y has compared to a function determined with conventional TDI the significant advantage that the number of support points is much higher. Thus, a tradeoff can be made as to how much the pixels of a column are used to reduce noise, or whether these pixels are used to increase the resolution. Here, the TDI method is almost an extreme example in which all the sensor pixels 12 of a column are used to reduce the noise, while no measures are taken to increase the resolution. The larger the superresolution factor N is chosen, the more brightness information of the sensor pixels 12 is used for increasing the resolution, but the greater the noise. The more sensor pixels 12 available in a column, the greater the super-resolution factor N can be chosen so as not to increase the noise excessively.

[0034] Die mit dem bisher beschriebenen Verfahren ermittelte Funktion Y weist jedoch noch eine Unschärfe auf, die jedoch beseitigt wird. Dieser Unschärfe liegt der Umstand zugrunde, dass einzelne Strukturen auf der Oberfläche des Objekts, die eine Farbänderung bewirken, mit einer einzigen Aufnahme lediglich dann wirksam erkannt werden, wenn diese Strukturen größer sind als der Gegenstandsbereich dp eines Sensorpixels 12. Wird von dem Objekt 2 mit einer Ausgangsfunktion mittels des bereits dargestellten Verfahrensabschnittes die Funktion Y bestimmt, wird aufgrund des auftretenden Motion-Blur sowie der optischen Unschärfe der Aufnahmeoptik nur ein verschwommenes Abbild des Objekts 2 als Funktion Y ermittelt.However, the function Y determined by the method described so far still has blurring, which however is eliminated. This blurring is based on the fact that individual structures on the surface of the object, which cause a color change, are only effectively recognized with a single shot if these structures are larger than the object area dp of a sensor pixel 12 an output function by means of the method section already described determines the function Y, only a blurred image of the object 2 is determined as a function Y due to the occurring motion blur and the optical blur of the receiving optics.

[0035] Gleiches gilt, wenn die Oberfläche eines Referenzobjekts 2 einen scharfen Kontrast in der Ausgangsfunktion X seiner Oberfläche aufweist. In diesem Fall wird eine Funktion Y ermittelt, die einen verschwommenen bzw. unscharfen Verlauf aufweist. Ist der Verlauf der unscharfen Funktion Y eines derartigen Referenzobjektes 2' bekannt, kann die Unschärfe mittels der unten beschriebenen Verfahren rechnerisch entfernt werden. Im Folgenden wird dafür angenommen, das die Funktion Y sowie die geschärfte resultierende Ausgangsfunktion X durch Vektoren X, Y ihrer jeweiligen Funktionswerte dargestellt werden. Die unscharfe Funktion Y bzw. der ihr zugeordnete Vektor Y lässt sich dabei als Matrixprodukt der folgenden Art beschreiben: [0036] Y= H X, [0037] wobei die quadratische Matrix H, die durch das Aufnahmeverfahren zur Ermittlung der Funktion Y bestehende Unschärfe darstellt, und wobei angenommen wird, dass sich die Funktion Y durch die Anwendung der Unschärfematrix H auf den Vektor X der Funktionswerte der noch zu ermittelten Ausgangsfunktion X ergibt. Diese Unschärfematrix H gibt die aufgenommene Helligkeit bzw. Farbe eines Pixelsensors 12 mit einem Gegenstandsbereich der Breite dp als Funktion der konkreten Helligkeit bzw. Farbe des Gegenstands am vorgegebenen Aufnahme- 5/12 österreichisches Patentamt AT 508 873 B1 2011-07-15 bereich sowie in dazu benachbarten Aufnahmebereichen an. Die Einträge der Matrix H können bestimmt werden, indem das Verfahren zur Ermittlung der Funktion Y bei der Aufnahme des vorgegebenen Referenzobjekts 2' mit einem scharfen Färb- bzw. Helligkeitsübergang normal zur Fortbewegungsrichtung durchgeführt wird und die Farbwerte des Vektors Y ermittelt werden (Fig. 5b) und anschließend die einzelnen Funktionswerte des Vektors Y transformiert werden. Dabei entspricht der Maximalwert jeweils dem Hauptdiagonalen-Wert der Matrix H und die jeweils benachbart gelegenen Werte werden entsprechend ihrer Lage zum Maximum in die Nebendiagonalen eingetragen.The same applies if the surface of a reference object 2 has a sharp contrast in the output function X of its surface. In this case, a function Y is determined which has a blurred or fuzzy course. If the course of the fuzzy function Y of such a reference object 2 'is known, the blurring can be removed by calculation using the methods described below. In the following it is assumed that the function Y and the sharpened resulting output function X are represented by vectors X, Y of their respective function values. The fuzzy function Y or the vector Y assigned to it can be described as a matrix product of the following type: ## EQU1 ## where the square matrix H, which represents the blur existing by the acquisition method for determining the function Y, and assuming that the function Y results from the application of the blur matrix H to the vector X of the function values of the output function X to be determined. This blur matrix H indicates the recorded brightness or color of a pixel sensor 12 having an object range of width dp as a function of the specific brightness or color of the object at the given pickup area and in FIG to adjacent recording areas. The entries of the matrix H can be determined by carrying out the method for determining the function Y during the acquisition of the predetermined reference object 2 'with a sharp color transition normal to the direction of travel and determining the color values of the vector Y (FIG. 5b ) and then the individual function values of the vector Y are transformed. The maximum value corresponds in each case to the main diagonal value of the matrix H, and the respectively adjacent values are entered into the secondary diagonal in accordance with their position relative to the maximum.

[0038] Verfahren zur Schätzung der Werte der Matrix H sind in der Literatur bekannt, nur exemplarisch sei auf D. Kundur and D. Hatzinakos, "Blind Image Deconvolution," IEEE Signal Processing Magazine verwiesen.Methods for estimating the values of matrix H are known in the literature, by way of example only, see D. Kundur and D. Hatzinakos, " Blind Image Deconvolution, " IEEE Signal Processing Magazine referenced.

[0039] Es werden lineare Unschärfe-Filter von vorgegebener Länge verwendet. Die verwendeten aufgedruckten Referenzmuster auf dem Referenzobjekt 2' sind derart gewählt, dass die aufgedruckten Farbübergänge zumindest so weit voneinander entfernt sind, damit die Reaktion über die doppelte Filterlänge ermittelt werden kann.Linear blur filters of predetermined length are used. The printed reference patterns used on the reference object 2 'are chosen such that the printed color transitions are at least as far away from each other so that the reaction over the double filter length can be determined.

[0040] Der Hauptdiagonalenwert der Matrix H entspricht dem Funktionswert h1 der Funktion Y der Fig. 5a, die Nebendiagonalenwerte entsprechen den Funktionswerten h2 und h3 der Funktion Y der Fig. 5a. Die Matrix H hat dabei die folgende Gestalt: hi CM -C h3 0 h2 hi h2 h3 0 h3 h2 hi h2 h3 0 0 h3 h2 hi h2 h3 0 H= [0041] Die Unschärfematrix H ist quadratisch und weist eine Anzahl von N.U Zeilen und N.U Spalten auf, wobei U die Breite des zu untersuchenden Intervalls bestimmt. Die Zeilensumme der einzelnen Zeilen der Matrix H weist dabei zumindest für die im Inneren des Aufnahmebereichs gelegenen Punkte stets den Wert 1 auf. In jeder Zeile weist der Hauptdiagonaleneintrag den höchsten Wert auf und die jeweils benachbarten Werte weisen einen mit zunehmender Entfernung von der Hauptdiagonale geringeren Wert auf. Wie in Fig. 5a dargestellt, fallen die Nebendiagonalenwerte mit zunehmender Entfernung von der Hauptdiagonale ab. Die einzelnen Zeileneinträge h1 bis h3 sind für jede Zeile wertemäßig gleich. Prinzipiell könnte die Inverse der Unschärfematrix H direkt aufgrund der einzelnen Einträge bestimmt werden. Die Inversion dieser Matrix ist aufgrund der schlechten Konditionierung jedoch schwierig und zum Teil birgt die Invertierung der Matrix einen großen numerischen Fehler.The main diagonal value of the matrix H corresponds to the function value h1 of the function Y of FIG. 5a, the secondary diagonal values correspond to the function values h2 and h3 of the function Y of FIG. 5a. The matrix H has the following shape: hi CM -C h3 0 h2 hi h2 h3 0 h3 h2 hi h2 h3 0 0 h3 h2 hi h2 h3 0 H = The blurring matrix H is quadratic and has a number of NU lines and NU columns, where U determines the width of the interval to be examined. The row sum of the individual rows of the matrix H always has the value 1 at least for the points located in the interior of the recording area. In each line, the main diagonal entry has the highest value and the respective adjacent values have a lower value with increasing distance from the main diagonal. As shown in Fig. 5a, the sub-diagonal values decrease with increasing distance from the main diagonal. The individual line entries h1 to h3 are the same in value for each line. In principle, the inverse of the unsharp matrix H could be determined directly on the basis of the individual entries. However, inversion of this matrix is difficult due to poor conditioning, and in part, inversion of the matrix involves a large numerical error.

[0042] Ein weiterer Aspekt der Erfindung besteht darin, dass nach dem Schärfen eine Interpolation der geschärften Funktion durchgeführt wird. Hierfür kann das oben beschriebene Modell zur Bestimmung der Funktion Y auf Basis der Ausgangsfunktion X, wie folgt, erweitert werden:Another aspect of the invention is that after sharpening, interpolation of the sharpened function is performed. For this purpose, the model described above for determining the function Y on the basis of the output function X can be extended as follows:

[0043] Y= K F XY = K F X

[0044] Hierbei ist F eine Interpolationsmatrix, die eine Interpolation von auf dem Definitionsbereich der Funktion Y definierten Werten auf den Definitionsbereich der Ausgangsfunktion darstellt. Für die Ausgangsfunktion X wird ein diskreter Definitionsbereich festgelegt, wobei die diskreten Punkte, an denen die Ausgangsfunktion definiert ist, jeweils in Abstand 1/R voneinander entfernt sind. Dieser Interpolationsschritt ist in Fig. 6 dargestellt. Dargestellt sind die aufgezeichnete Funktion Y, die geschärfte Funktion Η'λY sowie die interpolierte Ausgangsfunktion X. Die Funktionen X, Y werden hierbei durch die Vektoren ihrer Funktionswerte dargestellt. Ziel der Interpolation ist es, die Anzahl der den Oberflächenfarbverlauf des aufzuzeichnenden Objekts 2 6/12 österreichisches Patentamt AT 508 873 B1 2011-07-15 mit einer geringeren Anzahl von Punkten darzustellen und somit Speicherplatz einzusparen. Mittels einer im folgenden dargestellten Matrix F erfolgt eine Umrechnung der einzelnen Punkte der geschärften Funktion H '1Y in die Punkte der Ausgangsfunktion X bzw. des Vektors X der Ausgangsfunktion Y. Die Matrix F ist dabei nicht quadratisch, sondern weist eine Anzahl von R-U+1 Zeilen auf, wobei U die Breite des zu untersuchenden Intervalls bestimmt und R ein Auflösungsfaktor ist, der auf einen ganzzahligen Wert festgelegt wird, wobei dessen Wert kleiner ist als der Wert des Super-Resolution-Faktors N. Die Interpolation wird jeweils auf einzelnen Teilbereichen der ermittelten und gegebenenfalls geschärften Funktion durchgeführt.Here, F is an interpolation matrix representing an interpolation of values defined on the domain of definition of the function Y to the domain of definition of the output function. For the output function X, a discrete domain of definition is defined, where the discrete points on which the output function is defined are each at a distance of 1 / R from each other. This interpolation step is shown in FIG. Shown are the recorded function Y, the sharpened function Η'λY and the interpolated output function X. The functions X, Y are represented here by the vectors of their function values. The aim of the interpolation is to represent the number of surface color gradient of the object to be recorded with a smaller number of points and thus to save storage space. By means of a matrix F shown below, the individual points of the sharpened function H '1Y are converted into the points of the output function X or the vector X of the output function Y. The matrix F is not square but has a number of R-U +1 lines, where U determines the width of the interval to be examined, and R is a resolution factor set to an integer value, the value of which is smaller than the value of the super-resolution factor N. The interpolation is done on a one-by-one basis Sub-areas of the determined and possibly sharpened function carried out.

[0045] Je nach Wahl des Auflösungsfaktors R und des Super-Resolutions-Faktors N ergeben sich unterschiedlich große Intervalle, die im Folgenden so gewählt werden, dass die beiden Intervallgrenzen Stützstellen- bzw. Definitionsbereich sowohl der Ausgangsfunktion als auch der Funktion Y bzw. der geschärften Funktion sind. Im vorliegenden Fall wird der Auflösungsfaktor R=2 und der Superresolutions-Faktor=3 gewählt. Das in Fig. 6 dargestellte Intervall umfasst sieben Stützpunkte der geschärften Funktion ΗΛY sowie fünf Stützpunkte der Ausgangsfunktion X. Die beiden Punkte am rechten Rand der geschärften Funktion HAY sowie der Ausgangsfunktion X werden dabei nicht mehr als diesem Intervall zugehörig betrachtet, sondern dem an dieses Intervall anschließenden Intervall zugehörig erachtet und für die weiteren Berechnungen nicht mehr herangezogen. Für genauere Berechnungen können größere Definitionsbereiche bzw. Definitionsintervalle der geschärften Funktion H'1Y sowie der Ausgangsfunktion X herangezogen werden, was jedoch die Verwendung größerer Matrizen H, F und damit einen größeren Resourcenaufwand mit sich bringt.Depending on the choice of the resolution factor R and the super-resolution factor N result in different sized intervals, which are chosen below so that the two interval boundaries support points or definition range both the output function and the function Y or the sharpened function are. In the present case, the resolution factor R = 2 and the superresolution factor = 3 are selected. The interval shown in FIG. 6 comprises seven interpolation points of the sharpened function ΗΛY and five interpolation points of the output function X. The two points on the right edge of the sharpened function HAY and the output function X are no longer considered to belong to this interval, but to this interval belonging to subsequent interval and no longer used for further calculations. For more precise calculations, larger definition ranges or definition intervals of the sharpened function H'1Y and the output function X can be used, which, however, entails the use of larger matrices H, F and thus a greater expenditure on resources.

[0046] Die Zeilensumme dieser Matrix F weist stets den Wert 1 auf. Jede Zeile umfasst lediglich zwei benachbarte Zeileneinträge, die ungleich null sind. Fallen jedoch der Definitionsbereich der geschärften Funktion HAY sowie der Ausgangsfunktion X zusammen, liegt lediglich ein einziger Wert innerhalb einer Seite vor, der ungleich null ist, wobei dessen Wert exakt 1 ist. 1 1-Δ2 Δ2 1-Δ3 Δ3 A I 1-Δ2 Δ2 1-Δ3 δ3 1 Δ2 = 2/3 Δ3= 1/3 [0047] Als letzter Schritt muss die oben beschriebene Gleichung Y= HF X nach X aufgelöst werden. Zu diesem Zweck wird die Gauß'sche Normalform verwendet, wobei anstelle des Matrizenproduktes HF eine Matrix M tritt. Die Gauß'sche Normalform kann dabei folgendermaßen geschrieben werden: [0048] MT Y=MT M X. Die linke Seite dieser Gleichung lässt sich ohne Weiteres ausrechnen, sodass im Folgenden ΜΤΎ durch Y geschrieben wird. Auch das Matrizenprodukt MT M kann vorab berechnet werden, woraus eine quadratische Matrix M' resultiert. Man erhält somit das Gleichungssystem M' X=Y'. Ein derartiges Gleichungssystem weist eine sehr schlechte Kondition auf, die es fehleranfällig für numerische Lösungsmethoden macht. Um dies zu vermeiden, kann eine näherungsweise Lösung dieses Gleichungssystems mittels einer Tychonov-Regularisierung vorgenommen werden, wobei der Matrix M' ein zusätzlicher Term αΈ hinzugefügt wird, wobei E die Einheitsmatrix ist und α ein Faktor ist, der durch Vergleich der jeweils ermittelten Lösung mit einem bekannten Bild optimiert wird. Dabei wird der Wert α so lange abgeändert, bis eine minimale Abweichung zwischen dem ermittelten Bild und dem bekannten 7/12The row sum of this matrix F always has the value 1. Each line contains only two adjacent nonzero line entries. However, if the definition range of the sharpened function HAY and the output function X coincide, then there is only a single value within a non-zero side, whose value is exactly one. 1 1-Δ 2 Δ 2 1-Δ 3 Δ 3 A I 1-Δ 2 Δ 2 1-Δ 3 δ 3 1 Δ 2 = 2/3 Δ 3 = 1/3 As a last step, the equation Y = HF X described above must be solved for X. For this purpose, the Gaussian normal form is used, wherein instead of the template product HF, a matrix M occurs. The Gaussian form can be written as follows: [0048] MT Y = MT M X. The left-hand side of this equation can be easily calculated so that in the following, ΜΤΎ is written by Y. Also, the template product MT M can be calculated in advance, resulting in a square matrix M '. One thus obtains the system of equations M 'X = Y'. Such a system of equations has a very bad condition, making it prone to error for numerical solution methods. To avoid this, an approximate solution of this system of equations by means of a Tychonov regularization can be made, wherein the matrix M 'is added an additional term αΈ, where E is the unit matrix and α is a factor by comparing the respective solution determined with a known image is optimized. In this case, the value α is changed until a minimum deviation between the determined image and the known 7/12

Claims

Austrian Patent Office AT 508 873 B1 2011-07-15 image exists. The subsequent solution of this system of equations can be accomplished by means of an equation solver according to the prior art, for example by means of a GMRES method. 1. A method for capturing an image of an object (2) moved past a camera (1), wherein the camera comprises a surface sensor (1) with grid-like sensor pixels (12), the column direction of the sensor pixels (12) arranged in a grid being largely parallel to the direction of movement of the object (2), a) during the movement of the object (2) in the column direction continuously at predetermined acquisition intervals (dt) the output values of all sensor pixels (12) for determining the brightness or color of a specific object point on the object ( 2), and wherein b) the speed of the object (2) is determined in relation to the quotient (L) between distance (dp) of the image area of two adjacent sensor pixels (12) of a column and the recording interval (dt), characterized in that c) for each of the pixel columns c1) a superresolution factor (N) is set to an integer value, the quotient (L), and either the distance (dp) or the acquisition interval (dt) defined by the formula L = 1 + 1 / N, and c2) a consecutive numbered index (P ), c3) the individual brightness values H (P, T) or color values of each of the individual sensor pixels (12) of a column are determined for each recording time (t) t = T * dt, where T is a discrete, in particular integer, index for the respective recording time. c4) after each acquisition the determined brightness values H (P, T) are assigned to a discretely defined function (Y), wherein for each determined brightness value H (P, T) a function value Y (T * (1 + 1 / N) + P d) an output function (X) is determined by setting d1) a resolution factor (R) to an integer value, the value of which is smaller than the value of the superresolution factor (N) d2) for the output function ( X) a discrete domain of definition is defined, wherein the discrete points at which the output function is defined are spaced apart at intervals 1 / R, wherein at least one definition point of the output function (X) coincides with a definition point of the function (Y), d3) Time intervals of the function (Y) and the output function (X) are determined, which are bounded by the same edge points, d4) a relationship between the function values of the output function (X) and the function (Y) in the form Y = H * F * X is assumed, wherein the individual function values of the respective functions within the interval are determined as vectors X, Y of function values defined in the individual points of the respective definition range, d5) where F is an interpolation matrix, optionally the unit matrix, which is a Represents interpolation of values defined on the domain of definition of the function (Y) to the domain of definition of the output function (X), d6) where H represents a blur matrix representing the resulting blur of picking up an object region of latitude (dp) and assigning it to one Represents the width of dp / R, and d7) solves the equation given in d4) after the vector (X) and the output function (X) or the number of output functions (X) determined for each of the columns as an image of the object (2) is further processed. 8/12 Austrian Patent Office AT 508 873 B1 2011-07-15

Method according to claim 1, characterized in that the interpolation matrix (F) is defined as a linear interpolation between the vector (X) of the values on the output function (X) and the vector (Y) of the values on the function (Y) , where in particular a) the number of lines R * U + 1 corresponds, where U determines the width of the interval to be examined, and the number of columns is determined by N * U, and / or b) the row sum always the value 1 and / or c) there are only two adjacent nonzero line entries in each line, and / or d) only one non-zero line value at a point when the definition ranges of the output function (X) and the function (Y) overlap and this has the value 1.

3. The method according to claim 1 or 2, characterized in that the blur matrix (H) the recorded brightness or color of a pixel sensor (1) having an object range of width dp as a function of the concrete brightness or color of the object at the predetermined receiving area and in adjacent receiving areas, wherein a) the number of rows and columns N * U corresponds, where U determines the width of the interval to be examined, and / or b) the row sum always has the value 1, and / or c ) has the highest value in each line of the main diagonal entry and / or the respective adjacent values abzufal len with increasing distance from the main diagonal, and / or d) the individual line entries are equal in value for all lines.

4. The method according to any one of the preceding claims, characterized in that to solve the equation Y = H * F * X = Μ * X, the Gaussian form of this equation in the form MT * Y = MT * Μ * X, is solved the matrix MT * M is subjected to a Tychonov regularization, i. H. is replaced by the expression (MT * Μ + α * E), where E is the unit matrix and the factor α is optimized by comparing the respectively determined solution with a known image, ie, until a minimum deviation between the determined Picture and the familiar picture exists.

5. The method according to any one of the preceding claims, characterized in that the entries of the matrix (H) are determined by the method steps a) to c) of claim 1 when shooting a predetermined object with a sharp color or. Brightness transition are carried out normal to the direction of movement and the color values of the vector (Y) are determined, and then the individual function values of the vector (Y) according to Y = H * F * X = M * X transformed, the maximum value respectively the main diagonal value of the matrix (H) corresponds and the respectively adjacent values are entered into the secondary diagonal according to their position to the maximum.

6. data carrier on which a program for carrying out a method according to one of claims 1 to 5 is stored.

A computer program comprising program code means arranged to carry out a method according to any one of claims 1 to 5 when the program is run on a computer.

8. Computer program according to claim 7, stored on a data carrier.

9. Computer program product with program code for carrying out the method according to one of claims 1 to 5, when the program is executed on a computer. For this 3 sheets drawings 9/12