DE102014106238A1

DE102014106238A1 - Method and sensor for determining the surface of an object by means of deflectometry

Info

Publication number: DE102014106238A1
Application number: DE102014106238.8A
Authority: DE
Inventors: Klaus Veit
Original assignee: Isra Vision AG
Current assignee: Isra Vision AG
Priority date: 2014-05-05
Filing date: 2014-05-05
Publication date: 2015-11-19
Also published as: WO2015169730A1

Abstract

Es werden ein Verfahren und ein Sensor zur Bestimmung der Oberfläche (3) eines Objekts mittels Deflektometrie beschrieben, bei denen ein bekanntes Muster (2) auf einer Oberfläche (3) des Objekts abgebildet und mit einer kalibrierten Kamera (1) aufgenommen wird. Abweichungen des mit der Kamera (1) aufgenommenen Musters (2) von dem bekannten Muster (2) werden zur Bestimmung der Oberfläche ausgewertet, wobei das Muster (2) einen periodischen Musterverlauf aufweist, die Phasenlage des Musters (2) in Bildpunkten bestimmt wird und Abweichungen von der periodischen Struktur des Musters (2) zur Bestimmung der Oberfläche (3) verwendet werden, indem aus dem bekannten Muster (2) und bekannten Abbildungseigenschaften der kalibrierten Kamera (1) die Oberflächentopografie der Oberfläche (3) bestimmt wird. Dabei ist vorgesehen, dass das Objekt relativ zu dem abgebildeten Muster (2) und der Kamera (1) bewegt ist und dass zur Bestimmung eines Bereichs der Oberfläche (3) des Objekts in einer Lage des Objekts relativ zu der Kamera (1) und dem abgebildeten Muster (2) nur zu einem Zeitpunkt aufgenommene Bilder (5, 6) dieses Bereichs der Oberfläche (3) ausgewertet werden.A method and a sensor for determining the surface (3) of an object by means of deflectometry are described in which a known pattern (2) is imaged on a surface (3) of the object and recorded with a calibrated camera (1). Deviations of the pattern (2) recorded by the camera (1) from the known pattern (2) are evaluated to determine the surface, the pattern (2) having a periodic pattern, the phase of the pattern (2) being determined in pixels, and Deviations from the periodic structure of the pattern (2) for determining the surface (3) can be used by determining the surface topography of the surface (3) from the known pattern (2) and known imaging properties of the calibrated camera (1). It is provided that the object is moved relative to the imaged pattern (2) and the camera (1) and that for determining a region of the surface (3) of the object in a position of the object relative to the camera (1) and the imaged pattern (2) only at a time recorded images (5, 6) of this area of the surface (3) are evaluated.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung der Oberfläche eines Objekts mittels Deflektometrie, bei dem ein bekanntes, räumlich insbesondere 2-dimensionales, Muster auf einer spiegelnden Oberfläche des Objekts optisch, d.h. durch Projektion oder Spiegelung, abgebildet und mit mindestens einer Kamera mit bekannten Abbildungseigenschaften aufgenommen wird, und bei dem Abweichungen des mit der Kamera aufgenommenen Musters von dem bekannten Muster zur Bestimmung der Oberfläche ausgewertet werden, wobei das Muster einen periodischen Musterverlauf aufweist, die Phasenlage des Musters in Bildpunkten bestimmt wird und Abweichungen von der periodischen Struktur des Musters zur Bestimmung der Oberfläche verwendet werden, indem aus dem bekannten Muster und den bekannten Abbildungseigenschaften die Oberflächentopografie der Oberfläche bestimmt wird.The invention relates to a method for determining the surface of an object by means of deflectometry, in which a known, spatially in particular 2-dimensional, pattern on a specular surface of the object is optically, i. by projection or reflection, imaged and recorded with at least one camera with known imaging properties, and in which deviations of the pattern taken with the camera from the known pattern for determining the surface are evaluated, the pattern having a periodic pattern, the phase angle of the pattern is determined in pixels and deviations from the periodic structure of the pattern are used to determine the surface by determining the surface topography of the surface from the known pattern and the known imaging properties.

Eine spiegelnde Oberfläche ist im Rahmen der vorliegenden Erfindung nicht auf einen Spiegel beschränkt sondern jede glatte Oberfläche, deren Oberflächenstruktur geeignet ist, ein auf der Oberfläche bspw. durch Projektion oder einfache Beleuchtung mit einem geeigneten Muster abgebildetes Bild so zu reflektieren, dass dieses Bild des Musters mit ggf. durch die Oberfläche bewirkten Abweichungen (bspw. im Sinne von Verzerrungen) mit einer Kamera (im Sinne eines eine Farb- und/oder Helligkeitsdarstellung in einem Bild aufnehmenden Bildsensors) aufnehmbar ist. Als spiegelnde Oberfläche wird auch eine (räumlich und/oder qualitativ) teilspiegelnde Oberfläche verstanden.In the context of the present invention, a specular surface is not limited to a mirror, but any smooth surface whose surface structure is suitable for reflecting an image imaged on the surface, for example by projection or simple illumination with a suitable pattern, such that this image of the specimen with possibly caused by the surface deviations (for example, in the sense of distortions) with a camera (in the sense of a color and / or brightness representation in an image receiving image sensor) is receivable. The reflecting surface is also understood to mean a (spatially and / or qualitatively) partially reflecting surface.

Unter "bekanntes Muster" und "bekannte Abbildungseigenschaften" wird verstanden, dass das Muster und/oder dessen Abbildung bspw. in Form einer Spiegelung bzw. Projektion und die Kamera aufeinander kalibriert sind, so dass ein Bildpunkt im Bild der Kamera einem Punkt auf der Oberfläche zugeordnet werden kann und die Art der Abbildung des Musters auf einer Oberfläche berechenbar ist. Auf diese Weise lässt sich aus der Form des Bildes des Musters in dem aufgenommenen Bild der Kamera die Oberfläche bestimmen, bspw. durch Erkennen von Abweichungen einer angenommenen Oberflächenform (Fehler) oder zur Rekonstruktion der Oberfläche selbst. Diese Techniken sind dem Fachmann grundsätzlich bekannt und werden daher an dieser Stelle nicht näher erläutert.By "known pattern" and "known image properties" is meant that the pattern and / or its image, for example, in the form of a reflection or projection and the camera are calibrated to each other, so that a pixel in the image of the camera a point on the surface can be assigned and the type of mapping of the pattern on a surface is calculable. In this way, the surface can be determined from the shape of the image of the pattern in the recorded image of the camera, for example by recognizing deviations of an assumed surface shape (defect) or for the reconstruction of the surface itself. These techniques are generally known to the person skilled in the art therefore not explained in detail at this point.

Bei einer deflektometrischen Bestimmung der Oberfläche wird ein bekanntes Muster über eine spiegelnde oder teilspiegelnde Oberfläche von einer oder mehreren Kameras aus betrachtet und daraus die Oberflächentopographie der spiegelnden oder teilspiegelnden Oberfläche bestimmt. Verschiedene bekannte Methoden unterscheiden sich unter anderem dadurch, wie ein Punkt auf dem auf der Oberfläche abgebildeten Muster eindeutig bestimmt wird. Oft wird eine Phasenauswertung eines periodischen Musters gemacht, weil sich damit die höchste Genauigkeit erreichen lässt. In der Praxis werden dazu mehrere phasenverschobene Muster, meist vier oder Vielfache davon, nacheinander aufgenommen, weil dies zu robusten und einfach zu lösenden Gleichungssystemen führt. Die Phasenauswertung findet dabei nicht im einzelnen Muster statt, sondern in dem einen Kamerapixel der zeitlich aufeinanderfolgend aufgenommenen Muster. Dieses deflektometrische Verfahren zur Bestimmung der Oberfläche ist weit verbreitet, weil es sehr robust ist. In the case of a reflectometric determination of the surface, a known pattern is viewed over a specular or semi-reflective surface by one or more cameras and from this the surface topography of the specular or specular surface is determined. Among other things, various known methods differ in how a point is uniquely determined on the pattern imaged on the surface. Often, a phase evaluation of a periodic pattern is made because it allows the highest accuracy to be achieved. In practice, several phase-shifted patterns, usually four or multiples thereof, are taken in succession, because this leads to robust and easy-to-solve systems of equations. The phase evaluation does not take place in the individual pattern, but in the one camera pixel of the temporally successive recorded pattern. This deflectometric surface determination method is widely used because it is very robust.

Ein wesentlicher Nachteil besteht aber darin, dass mehrere Aufnahmen von Phasenverschobenen Mustern benötigt werden. Für die Bestimmung der Oberfläche nach diesem Verfahren wird also mindestens soviel Zeit benötigt, die es erlaubt, die verschiedenen Aufnahmen der phasenverschobenen Muster nacheinander zu machen. Außerdem müssen die verschiedenen, zueinander phasenverschobenen Musterbilder jeweils synchron zur Bildaufnahme erzeugt werden. Auch dies bedeutet einen gewissen Aufwand bei der Ablauforganisation. Ein weiterer wesentlicher Nachteil besteht darin, dass kleinste Verschiebungen zwischen Kameraoberfläche und Muster zwischen den verschiedenen Musterbildern unterschiedlicher Phase zu teilweise erheblichen Messfehlern führen. A major disadvantage, however, is that multiple recordings of phase-shifted patterns are needed. For the determination of the surface according to this method, at least as much time is required that makes it possible to successively make the different recordings of the phase-shifted patterns. In addition, the different, mutually phase-shifted pattern images must be generated in each case synchronously with the image recording. This also means a certain effort in the process organization. A further significant disadvantage is that the smallest displacements between the camera surface and the pattern between the different pattern images of different phase lead to sometimes considerable measurement errors.

Daher wird dieses Verfahren im klassischen Ansatz nur für ruhende Objekte verwendet, auch weil ein Mitführen des Sensors mit einer bewegten Oberfläche eines Objektes aufgrund der zu erreichenden Messgenauigkeit in der Praxis nicht realisierbar ist. Der Aufwand für ein derartig komplexes System zum Mitführen von Kamera und Muster zu einer mit dem Objekt bewegten Oberfläche wäre mechanisch so aufwendig, dass sich entsprechende Sensoren bspw. nicht in Produktionsumgebungen nutzen ließen oder der Kostenaufwand zu hoch ist. Therefore, this method is used in the classical approach only for static objects, also because a tracking of the sensor with a moving surface of an object due to the accuracy of measurement to be achieved in practice is not feasible. The effort for such a complex system for carrying the camera and pattern to a moving surface with the object would be so mechanically complicated that, for example, corresponding sensors could not be used in production environments or the cost is too high.

Aufgabe der Erfindung ist es daher, ein einfaches und robustes Verfahren zur deflektometrischen Oberflächenbestimmung vorzugschlagen, das bei bewegten Objekten anwendbar ist. The object of the invention is therefore to suggest a simple and robust method for the determination of the reflectometric surface, which is applicable to moving objects.

Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art insbesondere dadurch gelöst, dass das Objekt, dessen Oberfläche bestimmt werden soll, relativ zu dem abgebildeten Muster und der Kamera bewegt ist und dass zur Bestimmung eines Bereichs der Oberfläche des Objekts in einer Lage des Objekts relativ zu der Kamera und dem abgebildeten Muster nur zu einem Zeitpunkt aufgenommene Bilder dieses Bereichs der Oberfläche mit dem abgebildeten ausgewertet werden. Bei nur einer Kamera wird damit erfindungsgemäß also nur ein Bild des auf der Oberfläche abgebildeten Musters für einen Bereich der Oberfläche ausgewertet, der durch das Bild erfasst wird. Bei mehreren Kameras können auch mehrere Bilder desselben Bereichs der Oberfläche ausgewertet werden, die erfindungsgemäß jedoch zum gleichen Zeitpunkt aufgenommen werden, d.h. der Zeitpunkt der Bildaufnahme der verschiedenen Kameras wird gemeinsam getriggert. Dies kann (bei einer zeitlichen Synchronisierung der Kameras) bspw. durch Vorgabe des gleichen Aufnahmezeitpunkts erfolgen. Häufig wird auch ein gemeinsames Auslösesignal (Triggersignal) für die Aufnahme durch die verschiedenen Kameras erzeugt.This object is achieved in a method of the type mentioned in particular in that the object whose surface is to be determined, is moved relative to the imaged pattern and the camera and that for determining a portion of the surface of the object in a position of the object relative to the camera and the imaged pattern only at a time recorded images of this area of the surface are evaluated with the imaged. With only one camera so according to the invention so only a picture of the pattern imaged on the surface is evaluated for an area of the surface captured by the image. In the case of several cameras, it is also possible to evaluate a plurality of images of the same area of the surface, which, however, are recorded at the same time according to the invention, ie the time of the image acquisition of the different cameras is triggered jointly. This can be done (with a temporal synchronization of the cameras), for example, by specifying the same recording time. Frequently, a common trigger signal (trigger signal) is generated for recording by the various cameras.

Bisher ist man davon ausgegangen, dass die Deflektometrie zur Bestimmung von Oberflächen bewegter Objekte nicht einsetzbar ist, weil häufig Muster in verschiedenen Richtungen projiziert werden mussten oder eine Identifikation einzelner Musterpunkte in dem Bild bei bewegten Objekten schwierig war. In der praktischen Anwendung war es bisher nicht üblich, alle für die Auswertung benötigten strukturellen Merkmale so in einem Bild zusammenzufassen, dass mit diesem einen Bild die Oberfläche (bzw. ein durch das Bild erfasster Bereich der Oberfläche) mit der benötigten Genauigkeit bestimmt werden konnte. Außerdem war die Auswertung der Bilder aufgrund des Rechenaufwands zu groß, so dass eine Auswertung bewegter Objekte mit diesem Verfahren bisher nicht angewendet wurde. Until now, it has been assumed that deflectometry can not be used to determine surfaces of moving objects, because often patterns had to be projected in different directions or it was difficult to identify individual pattern points in the image in moving objects. In practical application, it has not been customary to summarize all the structural features required for the evaluation in an image in such a way that this image was used to determine the surface (or a region of the surface detected by the image) with the required accuracy. In addition, the evaluation of the images was too large due to the computational effort, so that an evaluation of moving objects with this method has not previously been applied.

Hierzu wird gemäß einer bevorzugten Ausgestaltung vorgeschlagen, dass das Muster eine Überlagerung von insbesondere zwei, ggf. aber auch mehr, Mustern ist, die in verschiedene orthogonale oder in einem geeignet gewählten (nicht orthogonalen) Winkel in der 2-dimensionalen Projektionsebene des Musters verlaufende] Richtungen jeweils einen periodischen Musterverlauf aufweisen. Dies hat den Vorteil, dass eine Oberfläche durch ein einziges Kamerabild in zwei verschiedene Richtungen mit der projizierten Musterstruktur vermessen werden kann, ohne dass zwei Bilder mit verschieden ausgerichteten Musterverläufen nacheinander aufgenommen werden müssen. Zwei aufeinander folgende Aufnahmen mit verschieden ausgerichteten Musterverläufen würden bei einer im Vergleich zur Aufnahmefrequenz der Bilder schnellen Bewegung des Objekts zu einer signifikanten Unschärfe in der Ortsauflösung führen. Mit einer solchen Überlagerung zweier Muster in einem Bild lässt sich das erfindungsgemäße Verfahren auch bei zwei schnell bewegten Objekten anwenden.For this purpose, it is proposed according to a preferred embodiment that the pattern is a superimposition of in particular two, but possibly also more, patterns which extend into different orthogonal or suitably chosen (non-orthogonal) angles in the 2-dimensional projection plane of the pattern. Directions each have a periodic pattern history. This has the advantage that a surface can be measured by a single camera image in two different directions with the projected pattern structure, without having to take two images with differently oriented pattern progressions in succession. Two consecutive images with differently oriented pattern progressions would lead to a significant blurring in the spatial resolution in the case of a movement of the object that is fast compared to the image acquisition frequency. With such a superimposition of two patterns in one image, the method according to the invention can also be applied to two fast-moving objects.

Eine erfindungsgemäß besonders bevorzugte Art der Bildung des Musters für die Bestimmung der Oberfläche bewegter Objekte sieht vor, dass die Überlagerung der Muster durch Addition der Muster in jedem Raumpunkt gebildet wird. Dies hat – im Gegensatz zu einer eher üblichen multiplikativen Überlagerung zweier Muster – den Vorteil, dass Bereiche niedriger Intensität in einem der beiden Muster nicht notwendiger Weise in einer schwachen Modulation der beiden Muster in dem überlagerten Muster führt. Es dann auch möglich, den Verlauf des überlagerten Musters jeweils in eine der Richtungen des Musterverlaufs genauso wie bei nur einem Muster deflektometrisch auszuwerten. Die Bildung solcher Muster für eine deflektometrische Bestimmung einer Oberfläche ist aus der Veröffentlichung Jorge L. Flores, Beethoven Bravo-Medina, José A. Ferrari, "One-frame two-dimensional deflectometry for phase retrieval by addition of orthogonal fringe patterns", APPLIED OPTICS, Vol. 52, No. 26, 10 September 2013 , bekannt und muss daher an dieser Stelle nicht genauer erläutert werden. Dieses Verfahren trägt in vorteilhafter Weise mit dazu bei, dass die für eine genaue Auswertung der zu einem Zeitpunkt aufgenommenen Bilder benötigen Informationen mit hoher Auflösung in jede für den Verlauf gewünschte Richtung vorliegen, bei einer Kamera sogar in einem Bild.A particularly preferred way of forming the pattern for determining the surface of moving objects according to the invention provides that the superimposition of the patterns is formed by adding the patterns in each spatial point. This has the advantage, as opposed to a more common multiplicative superposition of two patterns, that low-intensity regions in one of the two patterns do not necessarily result in a weak modulation of the two patterns in the superimposed pattern. It is then also possible to evaluate the course of the superposed pattern in each case in one of the directions of the pattern profile in the same way as in the case of only one pattern in a deflectometric manner. The formation of such patterns for a reflectometric determination of a surface is known from the publication Jorge L. Flores, Beethoven Bravo-Medina, José A. Ferrari, "One-frame two-dimensional deflectometry for phase retrieval by addition of orthogonal fringe patterns", APPLIED OPTICS, Vol. 52, no. 26, 10 September 2013 , and therefore need not be explained in more detail here. This method advantageously contributes to the fact that the images required for an accurate evaluation of the images taken at one time have information in high resolution in each direction desired for the course, and in a camera even in one image.

Um Störungen in der Struktur der Oberfläche auszublenden, kann die deflektometrische Auswertung gemäß der vorgeschlagenen Erfindung bspw. eine Fouriertransformation der räumlichen Koordinaten in räumliche Frequenzen beinhalten. In diesem Fourier-transformierten Raum der räumlichen Frequenzen lassen sich örtliche Störungen der Oberfläche herausfiltern, die eine andere räumliche Frequenz haben als die Periodizität des Musters. Eine solche Auswertung ist bspw. aus der Veröffentlichung M. Takeda, H. Ina, and S. Kobayashi, “Fouriertransform method of fringe-pattern analysis for computer-based topography and interferometry,” J. Opt. Soc. Am. 72, 156–160 (1982) bekannt und kann auch erfindungsgemäß besonders vorteilhaft angewendet werden.In order to hide disturbances in the structure of the surface, the deflektometric evaluation according to the proposed invention may, for example, include a Fourier transformation of the spatial coordinates into spatial frequencies. In this Fourier-transformed space of spatial frequencies, it is possible to filter out local disturbances of the surface which have a different spatial frequency than the periodicity of the pattern. Such an evaluation is, for example, from the publication M. Takeda, H. Ina, and S. Kobayashi, "Fourier transform method of fringe-pattern analysis for computer-based topography and interferometry," J. Opt. Soc. At the. 72, 156-160 (1982) known and can also be applied according to the invention particularly advantageous.

Bei einer weiteren, vorteilhaften Ausgestaltung der Erfindung kann der periodische Musterverlauf ein Helligkeitsverlauf und/oder ein Farbverlauf sein. Gemäß einer besonders einfach zu realisierenden Ausführungsform, deren Musterlauf auch einfach ausgewertet werden kann, kann der Musterverlauf als ein sinus-förmiger Helligkeitsverlauf ausgebildet sein. Im einfachsten Fall kann ein sinus-förmiger Grauwertverlauf angewendet werden. Um auf größeren Oberflächen eine einfachere Identifikation einzelner Musterpunkte innerhalb der Periodenstruktur zu erreichen, kann auch vorgesehen sein, dass einzelne Bereich des Musters, gerade auch des überlagerten und aus zwei einzelnen Mustern aufgebauten Musters mit einem jeweils überlagerten Musterverlauf in verschiedene Richtungen, mit unterschiedlichen Farben gekennzeichnet ist. Dies kann bspw. dadurch erreicht werden, dass der periodische Helligkeitsverlauf mit einem periodischen Farbverlauf überlagert ist bzw. wird, wobei vorzugsweise eine andere Periodizität gewählt wird. Erfindungsgemäß kann aber auch dieselbe Periodizität für den Helligkeitsverlauf und den Farbverlauf gewählt werden.In a further advantageous embodiment of the invention, the periodic pattern course can be a brightness curve and / or a color gradient. According to a particularly easy-to-implement embodiment whose pattern run can also be easily evaluated, the pattern pattern can be formed as a sinusoidal brightness course. In the simplest case, a sinusoidal gray scale gradient can be applied. In order to achieve a simpler identification of individual pattern points within the period structure on larger surfaces, it may also be provided that individual regions of the pattern, especially of the superimposed pattern composed of two individual patterns with a superimposed pattern pattern in different directions, are marked with different colors is. This can be achieved, for example, by overlaying the periodic brightness curve with a periodic color gradient, wherein preferably a different periodicity is selected. According to the invention but also the same periodicity for the brightness gradient and the color gradient can be selected.

Eine besonders gute räumliche Auflösung einzelner Musterpunkte lässt sich erreichen, wenn bei einem erfindungsgemäß aus zwei oder mehr Mustern überlagerten Muster der periodische Farbverlauf in die verschiedenen Richtungen der einzelnen (überlagerten) Muster verschieden ist. Der Unterschied der periodischen Farbverläufe kann in der Abfolge der verschiedenen Farben und/oder der Wiederholfrequenz liegen.A particularly good spatial resolution of individual pattern points can be achieved if, in the case of a pattern superimposed on two or more patterns according to the invention, the periodic color progression differs in the different directions of the individual (superimposed) patterns. The difference of the periodic color gradients may be in the sequence of the different colors and / or the repetition frequency.

Im Sinne bspw. einer additiven Überlagerung von Farben, bspw. in dem RGB-Farbraum oder einem anderen Farbraum, können dann die unterschiedlichen Farben des überlagerten Musters an verschiedenen Positionen dazu verwendet werden, einen bestimmten Musterpunkt in der sich periodisch wiederholenden Struktur des Musters zu identifizieren.In the sense of, for example, an additive superimposition of colors, for example in the RGB color space or another color space, the different colors of the superimposed pattern at different positions can then be used to identify a specific pattern point in the periodically repeating structure of the pattern ,

Alternativ oder zusätzlich können erfindungsgemäß zur Verbesserung der Identifikation einzelner Musterpunkte in dem überlagerten Muster auch eindeutige grafische Identifikationsmerkmale mit abgebildet werden.Alternatively or additionally, according to the invention, to improve the identification of individual pattern points in the superimposed pattern, it is also possible to image unique graphic identification features.

Es ist erfindungsgemäß möglich, dass mehrere Kameras das auf der Oberfläche abgebildete Muster aufnehmen. Dadurch können auch großflächige Oberflächen bewegter Objekte untersucht werden. Es ist in der Regel ohne weiteres technisch möglich, ein flächenmäßig so großes Muster zu erzeugen, dass es zumindest bei Aufnahme durch mehrere Kameras auch eine große Oberfläche abdeckt, die – bei der gewünschten Auflösung – durch eine Kamera nicht erfasst werden könnte. In diesem Fall werden also verschiedene Bereiche einer (großen) Oberfläche durch verschiedene Kameras aufgenommen. Auch dies kann erfindungsgemäß gleichzeitig erfolgen. Für die verschiedenen Bereiche können die einzelnen Aufnahmen aber auch zu verschiedenen Zeiten, d.h. nicht in dem zuvor beschriebenen Sinne zeitgleich, erfolgen.It is possible according to the invention that a plurality of cameras record the pattern imaged on the surface. As a result, even large-surface surfaces of moving objects can be examined. As a rule, it is technically possible to produce a pattern that is so large in terms of area that it also covers a large surface, at least when recorded by a plurality of cameras, which - at the desired resolution - could not be detected by a camera. In this case, different areas of a (large) surface are recorded by different cameras. Again, this can be done simultaneously according to the invention. For the different areas, however, the individual recordings can also be recorded at different times, i. not at the same time as described above.

Gemäß einer weiteren Ausführungsform kann vorgesehen sein, dass zwei Kameras gleichzeitig denselben Bereich der Oberfläche mit dem auf der Oberfläche abgebildeten Muster aufnehmen. Dazu werden die beiden Kameras gleichzeitig zum Auslösen einer Aufnahme getriggert. Da die beiden Kameras, die denselben Bereich der Oberfläche aufnehmen, und das abgebildete Muster aufeinander kalibriert sind, kann damit eine Stereo-Deflektometrie durchgeführt werden. Mit einer Kamera kann in der Deflektometrie eine Beziehung zwischen dem Abstand und der Oberflächennormalen hergestellt werden, was dem Fachmann bekannt ist und an dieser Stelle nicht näher erläutert zu werden braucht. Wenn eine Oberfläche im Rahmen der Bestimmung der Oberflächentopografie nur auf Fehler in der Oberfläche inspiziert werden soll, ist dies ausreichend, weil nur Diskontinuitäten im Verlauf der Beziehung zwischen dem Abstand und der Oberflächennormalen gesucht werden müssen. Soll die Oberfläche bei der Bestimmung der Oberflächentopografie tatsächlich vermessen werden, muss eine der beiden Größen "Abstand" oder "Oberflächennormale" anderweitig bestimmt werden. Dies kann durch Stereometrie, d.h. die Ermittlung desselben Oberflächenpunkts mit zwei kalibrierten Kameras, erfolgen.According to a further embodiment it can be provided that two cameras simultaneously record the same area of the surface with the pattern imaged on the surface. For this, the two cameras are triggered simultaneously to trigger a recording. Since the two cameras that record the same area of the surface and the imaged pattern are calibrated to each other, a stereo deflectometry can be performed. With a camera, a relationship between the distance and the surface normal can be produced in the deflectometry, which is known to the person skilled in the art and need not be explained in detail here. If a surface is to be inspected only for surface defects in the context of determining the surface topography, this is sufficient because only discontinuities must be sought in the course of the relationship between the distance and the surface normal. If the surface is actually to be measured when determining the surface topography, one of the two parameters "distance" or "surface normal" must be determined otherwise. This can be done by stereometry, i. the determination of the same surface point with two calibrated cameras.

Erfindungsgemäß ist es möglich, dass zusätzlich zu der Aufnahme des auf der Oberfläche abgebildeten Musters die Oberfläche ohne abgebildetes Muster aufgenommen wird und für die Bestimmung der Oberflächentopographie, d.h. bspw. die Auswertung der Phase des Musters, ein Differenzbild der Aufnahme mit Muster der Oberfläche und ohne Muster der Oberfläche erfolgt.According to the invention, it is possible that, in addition to the pick-up of the pattern imaged on the surface, the surface is picked up without an imaged pattern and used for the determination of the surface topography, i. For example, the evaluation of the phase of the pattern, a difference image of the recording with a pattern of the surface and without a pattern of the surface is carried out.

Gemäß einer Ausführung dieser Variante kann die Aufnahme der Oberfläche ohne Muster zeitlich unmittelbar vor und/oder nach der Aufnahme der Oberfläche mit dem darauf abgebildeten Muster erfolgen. In diesem Fall müssen natürlich zwei zeitlich aufeinander folgende Bilder der Oberfläche miteinander in Bezug gesetzt werden, was bei bewegten Objekten eigentlich nachteilig ist, weil die Ortsinformationen in den beiden nacheinander aufgenommenen Bildern nicht genau überstimmen. Bei dieser erfindungsgemäßen Kombination besteht aber der Vorteil, dass in dem einem Bild der Oberfläche (bzw. den mehreren zeitgleich aufgenommenen Bildern der Oberfläche) mit dem abgebildeten Muster alle für die Bestimmung der Oberflächentopografie notwendigen strukturellen Merkmale enthalten sind. Das weitere, nicht zeitgleich aufgenommene Bild, dient nur der Berücksichtigung einer Störung insbesondere in Form einer die Helligkeit und/oder Farbe des reflektierten Lichts verändernden Oberflächenstörung, da bei einem periodischen Helligkeits- und/oder Farbverlauf des Musters nicht unterschieden werden kann, ob eine Störung in der Periodizität von einer Verschiebung der Phase, die in einem Punkt zu einer Veränderung der Helligkeit oder Farbe führt, oder von einer Änderung der Oberflächenbeschaffenheit, die lokal zu einer Änderung der Reflektivität der Oberfläche führt, herrührt. Wenn sich Unterschiede in dem reflektierten Licht auch bei dem Bild der Oberfläche ohne abgebildetes Muster zeigen, können diese Effekte aus dem Bild mit abgebildetem Muster eliminiert werden. Dazu kann es auch sinnvoll sein, die Oberfläche ohne Muster vor und nach der Aufnahme mit dem abgebildeten Muster aufzunehmen, weil dann die Bewegung einer Fehlerposition aufgrund der Oberflächenbeschaffenheit nachvollzogen werden kann und eine genauere Korrelation der Bilder mit und ohne abgebildetem Muster möglich ist.According to an embodiment of this variant, the recording of the surface without a pattern can be made temporally immediately before and / or after the recording of the surface with the pattern shown thereon. In this case, of course, two temporally successive images of the surface must be related to each other, which is actually disadvantageous in the case of moving objects, because the location information in the two consecutively recorded images does not exactly overshoot. In this combination according to the invention, however, there is the advantage that all the structural features necessary for determining the surface topography are contained in the one image of the surface (or the plurality of simultaneously recorded images of the surface) with the imaged pattern. The further, not simultaneously recorded image, serves only to take into account a disturbance, in particular in the form of a brightness and / or color of the reflected light changing surface noise, as in a periodic brightness and / or color gradient of the pattern can not be distinguished, whether a fault in the periodicity of a shift of the phase, which leads in one point to a change in the brightness or color, or of a change in the surface texture, which leads locally to a change in the reflectivity of the surface. If differences in the reflected light are also exhibited in the image of the surface without an imaged pattern, these effects can be eliminated from the imaged pattern image. For this purpose, it may also be useful to record the surface without pattern before and after recording with the imaged pattern, because then the movement of an error position due to the surface condition can be reconstructed and a more accurate correlation of the images with and without imaged pattern is possible.

Die eigentliche Phasenauswertung der Struktur erfolgt aber weiterhin in dem erfindungsgemäß einen Bild das auf der Oberfläche abgebildeten Musters (bzw. mehrerer solcher zeitglich aufgenommener Bilder, bspw. bei der Stereo-Deflektometrie), so dass die Korrektur durch das weitere Bild die eigentliche Struktur des Musters nicht betreffen bzw. stören. Die zeitlich versetzen Aufnahmen erzeugen lediglich eine Art Untergrundkorrektur zur Eliminierung von Störungen. Kleine Verschiebungen zwischen den Bildern sind in diesem Fall tolerierbar. The actual phase evaluation of the structure, however, continues to take place in the image formed on the surface according to the invention (or several such temporally recorded images, for example in stereo deflectometry), so that the correction by the further image is the actual structure of the pattern do not affect or disturb. The temporally displaced recordings merely produce a kind of background correction for the elimination of disturbances. Small shifts between the images are tolerable in this case.

In einer bevorzugten Auswertungsvariante der wie zuvor beschriebenen erzeugten Bilder mit und ohne Muster kann erfindungsgemäß vorgesehen sein, dass zunächst das Bild mit Muster – ohne Berücksichtigung des oder der anderen Bilder ohne Muster – ausgewertet wird. In dem Bild ohne Muster werden farbliche oder helligkeitsmäßige Störungen gesucht. Anhand der Positionen der Störungen werden dieselben Störungen mit an sich bekannten Methoden der Bildbearbeitung auch in dem Bild mit dem Muster gesucht, die dort auch erkennbar sind bzw. sein müssen. Aufgrund dieser Fehlstellen können beide Bilder örtlich miteinander korreliert und rechnerisch bei der Bildauswertung übereinander gelegt werden. Anschließend kann das Bild mit Muster unter Berücksichtigung der Störungen noch einmal ausgewertet werden.In a preferred evaluation variant of the images with and without patterns produced as described above, it can be provided according to the invention that the image is first evaluated with a pattern without consideration of the other image (s) without pattern. In the image without pattern, color or brightness disturbances are sought. On the basis of the positions of the disturbances, the same disturbances are searched for with known methods of image processing in the image with the pattern, which are also recognizable or must be there. Because of these imperfections, both images can be spatially correlated with each other and computationally superimposed in the image analysis. Subsequently, the image can be re-evaluated with pattern taking into account the disturbances.

Eine alternative Ausführungsform zur Erzeugung von Bildern der Oberfläche mit und ohne Muster sieht vor, dass das Muster auf der Oberfläche und die unstrukturierte Beleuchtung der Oberfläche ohne Muster mit verschiedenen Farben erzeugt wird und dass verschiedene Aufnahmen des auf der Oberfläche abgebildeten Musters und der unstrukturierten Beleuchtung verwendet werden, welche jeweils farbselektiv nur das Muster oder die unstrukturierte Beleuchtung aufnehmen. Dies kann erfindungsgemäß durch zwei Kameras mit entsprechenden Farbfiltern erfolgen. Alternativ können auch durch eine geeignete Farbwahl des Musters und der unstrukturierten Beleuchtung farbselektiv einzelne Pixel eines Bildaufnahmesensors einer digitalen Kamera angesprochen werden, die über eine Bildverarbeitung des aufgenommenen Bildes separiert werden. In beiden Fällen können die unstrukturierte Beleuchtung und das Muster zeitgleich aufgenommen werden.An alternative embodiment for producing images of the surface with and without pattern provides that the pattern on the surface and the unstructured illumination of the surface without pattern with different colors is generated and that uses different shots of the imaged on the surface pattern and the unstructured illumination which selectively record only the pattern or the unstructured illumination color-selectively. This can be done according to the invention by two cameras with corresponding color filters. Alternatively, color-selective individual pixels of an image sensor of a digital camera can be addressed by a suitable color selection of the pattern and the unstructured illumination, which are separated by image processing of the recorded image. In both cases, the unstructured lighting and the pattern can be recorded simultaneously.

Eine erfindungsgemäß bevorzugte neue Verwendung des vorbeschriebenen Verfahrens oder Teilen hiervon sieht eine Bestimmung der insbesondere spiegelnden oder teilspiegelnden Oberfläche eines Objekts vor, das relativ zu einem auf der Oberfläche optisch, d.h. durch Projektion oder Spiegelung, abgebildeten Muster bewegt wird. Das Muster kann – auch für das vorbeschriebene Verfahren – insbesondere ein selbst leuchtendes statisches Muster sein. Dieses kann durch eine hinterleuchtete großflächige Folie oder einen Bildschirm als Mustererzeugungseinrichtung erfolgen. Es ist auch eine Projektion des Muster auf eine vorzugsweise farbneutrale (weiße) Oberfläche, die über die zu untersuchende Oberfläche mit der Kamera abgebildet wird, oder durch eine direkte Projektion auf die spiegelnde oder teilspiegelnde Oberfläche erzeugt werden.A novel use of the above-described method or parts thereof, according to the invention, provides for a determination of the particular specular or semi-specular surface of an object which, relative to the one on the surface, is optically, i. by projection or mirroring, imaged pattern is moved. The pattern may be, in particular for the above-described method, in particular a self-luminous static pattern. This can be done by a backlit large-area film or a screen as a pattern generating device. It is also a projection of the pattern on a preferably color neutral (white) surface, which is imaged on the surface to be examined with the camera, or produced by a direct projection onto the specular or semi-reflective surface.

Besonders bevorzugt ist die Verwendung des Verfahrens zur Bestimmung der Oberfläche von Objekten, die durch Bewegen relativ zu einer Kamera und einem auf der Oberfläche optisch abgebildeten Muster abgescannt werden, wobei die Oberfläche der Objekte aufgrund ihrer Form und/oder Größe derart beschaffen ist, dass die Oberfläche nicht durch Aufnahme eines Bildes bestimmt werden kann. Particularly preferred is the use of the method for determining the surface of objects that are scanned by moving relative to a camera and a pattern optically imaged on the surface, wherein the surface of the objects due to their shape and / or size is such that the Surface can not be determined by taking a picture.

Erfindungsgemäß kann es sich bei der Oberfläche insbesondere um Oberflächen von lackierten oder unlackierten Fahrzeugkarossen oder Teilen davon, Flugzeugen oder Flugzeugteile, Flügel von Windkrafträdern, Turbinenflügel, Sanitärobjekte wie Badewannen, Toiletten, große Verkleidungen bspw. für Gebäude oder große Maschinen, weiße Ware wie z.B. Kühlschränke, Waschmaschinen oder dgl. Haushaltsgeräte oder dgl. insbesondere metallischen oder spiegelnden Oberflächen handeln. Erfindungsgemäß lässt sich das Verfahren auch gut bei der Herstellung von Bahnware mit zumindest teilspiegelnder Oberfläche verwenden, insbesondere bei der Vermessung oder Inspektion von als Bahnware hergestelltem Glas, Metallblech, Keramik einsetzen. In diesem Fall können Muster (bzw. Mustererzeugungseinrichtung) und Kamera auch fest relativ zu der bewegten Bahnware angeordnet sein. Eine Anordnung an einem Handhabungsgerät oder Roboter ist aber ebenso möglich.According to the invention, the surface can be, in particular, surfaces of painted or unpainted vehicle bodies or parts thereof, aircraft or aircraft parts, wind turbine blades, turbine blades, sanitary objects such as bathtubs, toilets, large coverings, for example for buildings or large machines, white goods such as e.g. Refrigerators, washing machines or the like. Household appliances or the like. In particular, metallic or reflective surfaces act. According to the invention, the method can also be used well in the production of web material with at least partially reflecting surface, in particular in the measurement or inspection of glass, metal sheet, ceramic produced as web material. In this case, pattern (or pattern generator) and camera may also be fixedly positioned relative to the moving web. However, an arrangement on a handling device or robot is also possible.

Die Erfindung bezieht sich auch auf einen Sensor zur Bestimmung der Oberfläche eines Objekts mittels Deflektometrie mit einer Mustererzeugungseinrichtung zur Erzeugung eines insbesondere statisch leuchtenden Musters, mit mindestens einer Kamera zur Aufnahme eines Bildes des auf einer spiegelnden oder teilspiegelnden Oberfläche des Objekts abgebildeten Musters und mit einer einen Prozessor aufweisenden Recheneinheit, welche zur Ansteuerung der Mustererzeugungseinrichtung und der Kamera sowie zur Auswertung des mit der Kamera aufgenommenen Bildes eingerichtet ist. Erfindungsgemäß ist die Recheneinheit zur Durchführung des vorbeschriebenen Verfahrens oder Teilen hiervon eingerichtet.The invention also relates to a sensor for determining the surface of an object by means of deflectometry with a pattern generating device for generating a particularly static luminous pattern, comprising at least one camera for capturing an image of the pattern imaged on a specular or partially reflecting surface of the object and having one Processor having arithmetic unit, which is set up for driving the pattern generating device and the camera and for evaluating the image taken with the camera. According to the invention, the arithmetic unit is set up to carry out the above-described method or parts thereof.

Gemäß einer bevorzugten Ausführungsform kann der Sensor ein Handhabungsgerät, bspw. einen Roboter, aufweisen, mit dem die Mustererzeugungseinrichtung und die mindestens eine Kamera relativ zu der Oberfläche des Objekts bewegbar ist. Eine solche Sensoranordnung eignet sich insbesondere zum Abscannen großflächiger Oberflächen von Objekten, die nicht mit einem Kamerabild in der gewünschten Auflösung erfasst werden können.According to a preferred embodiment, the sensor can have a handling device, for example a robot, with which the pattern generation device and the at least one camera can be moved relative to the surface of the object. Such a sensor arrangement is particularly suitable for Scan large surfaces of objects that can not be captured with a camera image in the desired resolution.

Bei einer anderen bevorzugten Ausführungsform, die hinsichtlich der Bewegbarkeit von Muster und Kamera oder Kameras auch mit der vorstehenden Ausführungsform kombiniert werden kann, ist es möglich, die Kamera als Zeilenkamera auszubilden. Die Mustererzeugungseinrichtung kann dann ein (wie zuvor ausführlich erläutert ausgebildetes) Muster erzeugen, das quer zur Längsrichtung der Zeilenkamera schmal ausgebildet ist im Vergleich zur Länge der Zeilenkamera. Schmal im Vergleich zur Länge der Zeilenkamera bedeutet insbesondere, dass das Muster quer zur Längsrichtung der Zeilenkamera eine Ausdehnung von vorzugsweise bis zu 10% der Länge der Zeilenkamera, ggf. auch bis zu 15% oder 20% der Länge der Zeilenkamera aufweist. In another preferred embodiment, which can also be combined with the above embodiment in terms of the mobility of the pattern and camera or cameras, it is possible to form the camera as a line scan camera. The pattern generating means may then generate a pattern (formed as previously explained in detail) which is made narrow across the longitudinal direction of the line scan camera as compared to the length of the line scan camera. Narrow in comparison to the length of the line scan camera means in particular that the pattern transverse to the longitudinal direction of the line scan camera has an extension of preferably up to 10% of the length of the line scan camera, possibly also up to 15% or 20% of the length of the line scan camera.

Um einfach eine vollständige Vermessung der Topografie der Oberfläche durchführen zu können, ist es erfindungsgemäß möglich, zwei Kameras vorzusehen sein, die zeitgleich denselben Bereich der Oberfläche mit dem abgebildeten Muster aufnehmen können, wobei die Recheneinheit zur Durchführung einer Stereo-Deflektometrie eingerichtet ist.In order to be able to perform a complete survey of the topography of the surface, it is possible according to the invention to provide two cameras which can simultaneously record the same area of the surface with the imaged pattern, wherein the arithmetic unit is set up to perform a stereo deflectometry.

Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und der Zeichnung. Dabei bilden alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der vorliegenden Erfindung, auch unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbezügen. Further advantages, features and applications of the present invention will become apparent from the following description of exemplary embodiments and the drawings. All described and / or illustrated features alone or in any combination form the subject matter of the present invention, also independent of their summary in the claims or their back references.

Es zeigen: Show it:

1 eine schematische Anordnung eines erfindungsgemäßen Sensors in einer einfachen Ausführungsform; 1 a schematic arrangement of a sensor according to the invention in a simple embodiment;

2 eine Ausführungsform für ein erfindungsgemäß im Rahmen der Anordnung gemäß 1 verwendbares Muster; und 2 an embodiment of an inventive according to the arrangement according to 1 usable pattern; and

3 als Anwendungsbeispiel für eine Ausführungsform der Erfindung zwei Kamerabilder der Oberfläche, einmal mit dem abgebildeten Muster gemäß 2 und einmal mit einer strukturlosen Beleuchtung. 3 as an application example of an embodiment of the invention, two camera images of the surface, once with the illustrated pattern according to 2 and once with a structureless lighting.

Der erfindungsgemäße Sensor weist in seiner Grundform, die in 1 zur Verdeutlichung des Funktionsprinzips sehr schematisch wiedergegeben ist, aus einer Kamera 1 und einem Muster 2, das eine Überlagerung von zwei Mustern ist, die in dem dargestellten Beispiel in orthogonaler Richtung jeweils einen periodischen Musterverlauf aufweisen. Die Struktur des Musters wird später mit Bezug auf 2 noch näher beschrieben. The sensor according to the invention has in its basic form, the in 1 to illustrate the principle of operation is shown very schematically, from a camera 1 and a pattern 2 , which is a superposition of two patterns, each having a periodic pattern in the orthogonal direction in the illustrated example. The structure of the pattern will be referred to later 2 described in more detail.

Die Kamera 1, bei der es sich bspw. um eine übliche digitale Flächenkamera aber auch eine Zeilenkamera handeln kann, und eine das Muster 2 erzeugende Mustererzeugungseinrichtung 9 sind aufeinander kalibriert, so dass ein durch die Kamera 1 auf der Oberfläche 3 eines Objekts, dessen Oberflächentopographie bestimmt werden soll, aufgenommenes Muster über den Sehstrahl 4 einem definierten Punkt des Musters 2 auf der Musterzeugungseinrichtung 9 zugeordnet werden kann. The camera 1 , which may be, for example, a conventional digital area camera but also a line camera, and a pattern 2 generating pattern generating means 9 are calibrated to each other, allowing one through the camera 1 on the surface 3 of an object whose surface topography is to be determined, captured pattern across the line of sight 4 a defined point of the pattern 2 on the pattern generator 9 can be assigned.

Für die deflektometrische Bestimmung der Oberfläche, insbesondere der Oberflächentopografie, wird in dem dargestellten Beispiel die Helligkeit eines Musterpunktes erfasst, die über den periodischen Helligkeitsverlauf des Musters 2 einer bestimmten Phasenlage des Musters zugeordnet werden kann. Ein mögliches Verfahren zur Auswertung hierfür ist in der Veröffentlichung Jorge L. Flores, Beethoven Bravo-Medina, José A. Ferrari, "One-frame two-dimensional deflectometry for phase retrieval by addition of orthogonal fringe patterns", APPLIED OPTICS, Vol. 52, No. 26, 10 September 2013 und M. Takeda, H. Ina, and S. Kobayashi, “Fourier-transform method of fringe-pattern analysis for computer-based topography and interferometry,” J. Opt. Soc. Am. 72, 156–160 (1982 ) beschrieben und dem Fachmann als solches grundsätzlich bekannt. Auf eine genauere Erläuterung dieser bekannten Auswertungsteile kann an dieser Stelle verzichtet werden.For the deflektometric determination of the surface, in particular of the surface topography, the brightness of a pattern point is detected in the illustrated example, the over the periodic brightness pattern of the pattern 2 a certain phase of the pattern can be assigned. One possible method of evaluation for this is in the publication Jorge L. Flores, Beethoven Bravo-Medina, José A. Ferrari, "One-frame two-dimensional deflectometry for phase retrieval by addition of orthogonal fringe patterns", APPLIED OPTICS, Vol. 52, no. 26, 10 September 2013 and M. Takeda, H. Ina, and S. Kobayashi, "Fourier-transform method of fringe-pattern analysis for computer-based topography and interferometry," J. Opt. Soc. At the. 72, 156-160 (1982 ) and in principle known to those skilled in the art as such. On a more detailed explanation of these known evaluation parts can be omitted here.

Aus der Abbildung des Musters 2 auf der spiegelnden oder teilspiegelnden Oberfläche 3 des Objekts kann somit auf die Oberflächentopografie rückgeschlossen werden. Insbesondere können Abweichungen der Musterstruktur auf der Oberfläche 3 auf Oberflächenfehler (bspw. in der Abweichung einer gewünschten Form oder von einer glatten Oberflächenstruktur) hinweisen. Bspw. lässt sich eine definierte Krümmung der Oberfläche 3 ermitteln, weil das Muster 2 bekannt ist und aus den bekannten Abbildungseigenschaften der Kamera 1 die zur Erzeugung des auf der Oberfläche 3 abgebildeten Musters 2 notwendige Oberflächenform berechnet werden kann. Auch diese Art der Bildauswertung ist dem Fachmann grundsätzlich bekannt.From the picture of the pattern 2 on the specular or semi-reflective surface 3 of the object can thus be deduced on the surface topography. In particular, deviations of the pattern structure on the surface 3 indicate surface defects (for example, the deviation of a desired shape or a smooth surface texture). For example. can be a defined curvature of the surface 3 determine because the pattern 2 is known and from the known imaging properties of the camera 1 which is for the production of on the surface 3 pictured pattern 2 necessary surface shape can be calculated. This type of image evaluation is also known in principle to the person skilled in the art.

Das Muster 2 ist erfindungsgemäß so angepasst, dass die auf der Oberfläche 3 zu erfassenden Merkmale der Oberflächentopographie zuverlässig erfasst werden können. Insbesondere weist das Muster 2 erfindungsgemäß einen in zwei verschiedenen Richtungen ausgeprägten periodischen Musterverlauf auf, so dass die Phasenlage eines Punktes der Oberfläche 3 in zwei verschiedene Richtungen auswertbar ist. The pattern 2 according to the invention is adapted so that on the surface 3 to be detected features of the surface topography can be reliably detected. In particular, the pattern has 2 According to the invention, a periodic pattern course pronounced in two different directions, so that the phase position of a point of the surface 3 can be evaluated in two different directions.

Das in 2 auf einer optimal planen Oberfläche durch die Kamera 1 aufgenommene Musterbild 5 stellt beispielhaft einen zweidimensionalen Sinus-Helligkeitsverlauf als Grauwertverlauf dar, der durch eine additive Überlagerung von Sinusverläufen in zwei orthogonale, das Muster 2 aufspannenden Richtungen gebildet sind. Dies wurde eingangs bereits erläutert. This in 2 on a perfectly flat surface through the camera 1 recorded sample image 5 exemplifies a two-dimensional sinusoidal brightness curve as a gray value curve, which by an additive superposition of sinusoids in two orthogonal, the pattern 2 spanning directions are formed. This has already been explained at the beginning.

Das mit Bezug auf die 1 und 2 beschriebene Vorgehen sowie der dargestellte Sensor sind für die erfindungsgemäßen, bereits beschriebenen verschiedenen Sensortypen, insbesondere mit Zeilenkamera oder die Stereo-Deflektometrie, grundsätzlich gleich aufgebaut, so dass an dieser Stelle auf eine ausführliche Beschreibung derartiger Ausführungsbeispiele verzichtet wird. Der Fachmann kann das dargestellte Prinzip auch für diese Messungen entsprechend anwenden. With respect to the 1 and 2 described procedure and the sensor shown are basically the same for the inventive, already described various types of sensors, in particular with line scan or stereo deflectometry, so that is omitted at this point to a detailed description of such embodiments. The person skilled in the art can also apply the illustrated principle correspondingly for these measurements.

Der besondere Vorteil des erfindungsgemäßen Vorgehens liegt darin, dass es aufgrund des in zwei Richtungen jeweils einen periodischen Musterverlauf aufweisenden Musters möglich ist, die für das Bestimmen der Oberfläche 3 mittels Deflektometrie benötigten strukturellen Informationen in einem einzigen Bild des auf der Oberfläche 3 abgebildeten Musters 2 erzeugen zu können. Hierdurch ist eine Anwendung des Verfahrens auch bei bewegten Objekten besonders gut möglich.The particular advantage of the procedure according to the invention is that, due to the pattern having a periodic pattern pattern in two directions, it is possible for the pattern to be determined 3 structural information required by deflectometry in a single image of the surface 3 pictured pattern 2 to be able to produce. As a result, an application of the method is particularly well possible even with moving objects.

Sofern die bekannten, in der Veröffentlichung M. Takeda, H. Ina, and S. Kobayashi, “Fourier-transform method of fringe-pattern analysis for computerbased topography and interferometry,” J. Opt. Soc. Am. 72, 156–160 (1982) beschriebenen Korrekturmethoden mittels einer Fouriertransformation nicht zum Erfolg führen, kann erfindungsgemäß vorgesehen werden, zusätzlich zu der Abbildung und Aufnahme des Musters 2 auf der Oberfläche 3 die Oberfläche 3 mit einer strukturlosen Beleuchtung zu beleuchten und in einem (bezogen auf Muster 2 strukturlosen) Bild 7 aufzunehmen. Mit letzterem Bild können bspw. Abweichungen einer die Helligkeit und/oder Farbe verändernden Reflektivität der Oberfläche erfasst werden. Unless the known, in the publication M. Takeda, H. Ina, and S. Kobayashi, "Fourier-transform method of fringe-pattern analysis for computer-based topography and interferometry," J. Opt. Soc. At the. 72, 156-160 (1982) can not be successful by means of a Fourier transformation described, can be provided according to the invention, in addition to the imaging and recording of the pattern 2 on the surface 3 the surface 3 to illuminate with a non-structured lighting and in a (based on patterns 2 structureless) image 7 take. With the latter image, for example, deviations of the brightness and / or color-changing reflectivity of the surface can be detected.

Dies kann auch bei bewegten Objekten in zwei zeitlich nacheinander liegenden Aufnahmen erfolgen, weil die zweite Aufnahme nur einer Fehlerkorrektur dient, bei der zu einer unterschiedlichen Helligkeit und/oder Farbe des reflektierten Bildes führende Oberflächenfehler bspw. durch Verschmutzungen erkannt werden können. This can also be done with moving objects in two temporally successive shots, because the second shot is only an error correction in which leading to a different brightness and / or color of the reflected image surface defects, for example, can be detected by contamination.

Dies wird mit Bezug auf 3 erläutert, welche die Aufnahme 6 des Musters 2 auf der Oberfläche 3 zeigt, die einen die Farbe und/oder Helligkeit verändernden Fehler 8 aufweist. In dem strukturlosen Bild 7 mit dem als Oberflächenabweichung ausgebildeten Fehler 8 kann dieser Fehler 9 identifiziert und mit der Fehler 8 in dem Bild 6 des Musters 2 identifiziert werden. Dies ermöglicht es, beide Bilder rechnerisch übereinanderzulegen und den Oberflächenfehler 8 bei der Auswertung des aufgenommenen Bildes 6 mit auf der Oberfläche 3 abgebildetem Muster 2 herauszurechnen. This will be with reference to 3 explains what the recording 6 of the pattern 2 on the surface 3 shows that the color and / or brightness changing error 8th having. In the structureless picture 7 with the error formed as surface deviation 8th can this error 9 identified and with the error 8th in the picture 6 of the pattern 2 be identified. This makes it possible to superimpose both images arithmetically and the surface error 8th in the evaluation of the recorded image 6 with on the surface 3 illustrated pattern 2 herauszurechnen.

Eine strukturlose Beleuchtung lässt sich bspw. dadurch leicht erzielen, dass die Mustererzeugungseinrichtung 9 ein Bildschirm ist, der in der Lage ist, ein entsprechend erzeugtes Musters 2 als statisches Flächenbild auszugeben. Ein anderes Bild kann bspw. einfach ein weißer oder entsprechend farbig ausgebildeter Bildschirm ohne Struktur sein, der dann zu einer Aufnahme des Bildes 7 der strukturlos beleuchteten Oberfläche 3 führt. Dies hat den Vorteil, dass jeweils dieselbe Beleuchtung in derselben Anordnung zur Erzeugung des Musterbildes 6 und des Bildes ohne Struktur 7 verwendet wird. Alternativ kann zur Beleuchtung auch eine einfarbige, vorzugsweise farblose oder weiße Fläche verwendet werden, auf die das statische Muster 6 schaltbar projiziert wird. For example, structureless illumination can be easily achieved by using the pattern generation device 9 a screen capable of having a correspondingly generated pattern 2 output as a static area image. For example, another image may simply be a white or suitably colored screen with no texture, which then becomes a shot of the image 7 the structurelessly illuminated surface 3 leads. This has the advantage that in each case the same illumination in the same arrangement for generating the pattern image 6 and the picture without structure 7 is used. Alternatively, it is also possible to use for illumination a monochromatic, preferably colorless or white, surface on which the static pattern 6 is projected switchable.

Der erfindungsgemäß vorgeschlagene Sensor kann hauptsächlich für den Einsatz auf einem Handhabungsgerät oder Roboter konzipiert sein. Damit können Oberflächen auch größerer Objekte mit spiegelnden oder teilspiegelnden Oberflächen 3 abgescannt werden, wie z.B. Fahrzeugkarossen oder Teile davon, Flugzeuge oder Flugzeugteile, Flügel von Windkrafträdern, Turbinenflügel, Sanitärobjekte wie Badewannen, Toiletten, große Verkleidungen, z.B. für Gebäude oder große Maschinen, weiße Ware wie z.B. Kühlschränke, Waschmaschinen oder dergleichen. The inventively proposed sensor may be designed primarily for use on a handling device or robot. This allows surfaces of larger objects with specular or semi-reflective surfaces 3 be scanned, such as vehicle bodies or parts thereof, aircraft or aircraft parts, wings of wind turbines, turbine wings, sanitary objects such as bathtubs, toilets, large panels, eg for buildings or large machines, white goods such as refrigerators, washing machines or the like.

Eine zweite denkbare Form eines erfindungsgemäßen Sensors ist eine Zeilenkamera und eine entsprechend ausgedehnt geformte, statisch leuchtende Musteroberfläche. Diese Musteroberfläche ist in gleicher Weise zweidimensional ausgebildet, wie dies zuvor beschrieben ist, jedoch quer zur Zeilenrichtung der Kamera nur sehr schmal. Auch hier sind wieder alle oben beschriebenen Variationen denkbar. Diese Form ist hauptsächlich zur Inspektion oder Vermessung von spiegelnder oder teilspiegelnder Bahnware geeignet, wie z.B. Glas, Metallblech, Keramik, kann aber grundsätzlich auch am Handhabungsgerät oder Roboter verwendet werden. A second conceivable form of a sensor according to the invention is a line camera and a correspondingly extensively shaped, statically luminous pattern surface. This pattern surface is formed in the same way two-dimensional, as described above, but only very narrow transversely to the line direction of the camera. Again, all the variations described above are conceivable again. This form is mainly suitable for inspection or surveying of specular or semi-reflective sheeting such as e.g. Glass, sheet metal, ceramics, but in principle can also be used on the handling device or robot.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Kamera camera
22: Muster template
33: Oberfläche surface
44: Sehstrahl line of sight
55: aufgenommenes Bild mit auf der Oberfläche abgebildetem Muster taken picture with pattern shown on the surface
6 6: aufgenommenes Bild mit auf der Oberfläche abgebildetem Muster taken picture with pattern shown on the surface
77: aufgenommenes Bild der strukturlos beleuchteten Oberfläche taken picture of the structurally illuminated surface
88th: als Oberflächenabweichung ausgebildeter Fehler error formed as surface deviation
99: Mustererzeugungseinrichtung Pattern generator

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

Jorge L. Flores, Beethoven Bravo-Medina, José A. Ferrari, "One-frame two-dimensional deflectometry for phase retrieval by addition of orthogonal fringe patterns", APPLIED OPTICS, Vol. 52, no. 26, 10 September 2013 [0011]
M. Takeda, H. Ina, and S. Kobayashi, "Fourier transform method of fringe-pattern analysis for computer-based topography and interferometry," J. Opt. Soc. At the. 72, 156-160 (1982) [0012]
Jorge L. Flores, Beethoven Bravo-Medina, José A. Ferrari, "One-frame two-dimensional deflectometry for phase retrieval by addition of orthogonal fringe patterns", APPLIED OPTICS, Vol. 52, no. , 10 September 26 2013 [0038]
M. Takeda, H. Ina, and S. Kobayashi, "Fourier-transform method of fringe-pattern analysis for computer-based topography and interferometry," J. Opt. Soc. At the. 72, 156-160 (1982 )
M. Takeda, H. Ina, and S. Kobayashi, "Fourier-transform method of fringe-pattern analysis for computer-based topography and interferometry," J. Opt. Soc. At the. 72, 156-160 (1982) [0044]

Claims

Method for determining the surface ( 3 ) of an object by means of deflectometry, in which a known pattern ( 2 ) on a surface ( 3 ) of the object and with a calibrated camera ( 1 ) and in the deviations of the camera ( 1 ) recorded pattern ( 2 ) of the known pattern ( 2 ) are evaluated to determine the surface, the pattern ( 2 ) has a periodic pattern, the phase of the pattern ( 2 ) in pixels and deviations from the periodic structure of the pattern ( 2 ) for determining the surface ( 3 ) can be used by taking from the known pattern ( 2 ) and known imaging properties of the calibrated camera ( 1 ) the surface topography of the surface ( 3 ), characterized in that the object relative to the imaged pattern ( 2 ) and the camera ( 1 ) and that for determining a region of the surface ( 3 ) of the object in a position of the object relative to the camera ( 1 ) and the pictured pattern ( 2 ) only pictures taken at a time ( 5 . 6 ) of this area of the surface ( 3 ) be evaluated.

Method according to claim 1, characterized in that the pattern ( 2 ) is a superposition of two patterns, each having a periodic pattern in different directions.

A method according to claim 2, characterized in that the superposition of the patterns is formed by adding the patterns in each spatial point.

Method according to one of the preceding claims, characterized in that the periodic pattern course is a brightness curve and / or a color gradient.

Method according to one of the preceding claims, characterized in that a plurality of cameras ( 1 ) on the surface ( 3 ) pictured patterns ( 2 ) take up.

Method according to one of the preceding claims, characterized in that in addition to the receptacle ( 6 ) of the surface ( 3 ) pictured pattern ( 2 ) the surface ( 3 ) without imaged pattern and for the determination of the surface topography a difference image of the image ( 6 ) with pattern ( 2 ) of the surface ( 3 ) and the recording ( 7 ) Without Pattern ( 2 ) of the surface ( 3 ) he follows.

Use of a method according to one of claims 1 to 6 for determining the surface ( 3 ) of an object that is relative to one on the surface ( 3 ) optically imaged pattern ( 2 ) is moved.

Use according to claim 7 for determining the surface ( 3 ) of objects by moving relative to a camera ( 1 ) and one on the surface ( 3 ) optically imaged pattern ( 2 ) are scanned, the surface ( 3 ) of the objects due to their shape and / or size is such that the surface ( 3 ) not by taking a picture ( 5 ) can be determined.

Sensor for determining the surface ( 3 ) of an object by means of deflectometry with a pattern generating device ( 9 ) for generating a pattern ( 2 ), with at least one camera ( 1 ) for taking a picture ( 5 . 6 ) of a surface ( 3 ) of the object depicted pattern ( 2 ) and with a processor having a computing unit, which for controlling the pattern generating device ( 9 ) and the camera ( 1 ) as well as for the evaluation of the camera ( 1 ) recorded image ( 5 . 6 . 7 ) is set up, characterized in that the arithmetic unit for implementing the method according to one of claims 1 to 6 is set up.

Sensor according to claim 9, characterized in that the sensor comprises a handling device, with which the pattern generating device ( 9 ) and the at least one camera ( 1 ) relative to the surface ( 3 ) of the object is movable.

Sensor according to one of claims 9 or 10, characterized in that the camera ( 1 ) is designed as a line scan camera and the pattern generating device ( 9 ) generates a pattern which is formed transversely to the longitudinal direction of the line camera narrow compared to the length of the line scan camera.

Sensor according to one of claims 9 to 11, characterized in that two cameras ( 1 ) which at the same time cover the same area of the surface ( 3 ) with the illustrated pattern ( 2 ), wherein the arithmetic unit is arranged to perform a stereo deflectometry.