Verfahren und Inspektionseinrichtung zur optischen Inspektion einer Oberfläche Method and inspection device for the optical inspection of a surface
Die Erfindung betrifft ein Verfahren und eine Inspektionseinrichtung zur optischen Inspektion einer Oberfläche eines Objekts, sowie eine vorteilhafte Verwendung des Verfahrens und der Inspektionseinrichtung. Bei Anwendung des Verfahrens wird mittels einer Beleuchtungseinrichtung der Inspektionseinrichtung ein wäh rend einer Bildaufnahmesequenz zeitlich periodisches Muster mit verschiedenen Beleuchtungsmustern auf der Oberfläche erzeugt. In bzw. während dieser Bild aufnahmesequenz werden mehrere Bilder des Muster auf der Oberfläche mittels einer Bildaufnahmeeinrichtung der Inspektionseinrichtung aufgenommen. The invention relates to a method and an inspection device for the optical inspection of a surface of an object, as well as an advantageous use of the method and the inspection device. When the method is used, an illumination device of the inspection device is used to generate a pattern which is periodic over time during an image recording sequence and has different illumination patterns on the surface. In or during this image recording sequence, several images of the pattern are recorded on the surface by means of an image recording device of the inspection device.
Dabei ist das Erzeugen eines der verschiedenen Beleuchtungsmuster jeweils der art mit der Bildaufnahme eines der Bilder des Musters synchronisiert, dass jedes Bild aus der Bildaufnahmesequenz jeweils mit einem bekannten Beleuchtungs muster der verschiedenen Beleuchtungsmuster aufgenommen wird. Das heißt mit anderen Worten, dass in jedem Kamerabild genau ein Beleuchtungsmuster sicht bar ist. Durch die Synchronisation von Bildaufnahme und Mustererzeugung wird insbesondere erreicht, dass das Beleuchtungsmuster während der Belichtungs zeit einer Bildaufnahme nicht wechselt. Aus der Abfolge der aufgenommenen be kannten Beleuchtungsmuster wird in mindestens einem Bildpunkt die Phase Mus ters bestimmt. Weil das Muster respektive die periodisch verschiedenen Beleuch tungsmuster des Muster bekannt sind, kann der Bildpunkt einem Punkt des be kannten Musters zugeordnet werden. Auf der Oberfläche werden Fehler aus Ab weichungen des in mindestens einem Bild aufgenommenen Beleuchtungsmus ters zu dem erzeugten bekannten Beleuchtungsmuster erkannt. Fehler auf der Oberfläche führen zu Verzerrungen des bekannten Musters respektive des einen in dem einen Bild aufgenommenen bekannten Beleuchtungsmusters. Flierdurch lassen sich durch eine dem Fachmann grundsätzlich bekannte Bildauswertung
mittels geeigneter Algorithmen, bspw. eine einer entsprechend geeignete Re cheneinrichtung, die Fehler identifizieren und ausgeben. Durch Abtastung meh rere Oberflächenbereiche nacheinander, d.h. eine wiederholte Anwendung auf verschiedene Bereiche der Oberflächen, können die gesamte Oberfläche oder ausgewählte Abschnitte der Oberfläche inspiziert werden. The generation of one of the different lighting patterns is synchronized with the image recording of one of the images of the pattern in such a way that each image from the image recording sequence is recorded with a known lighting pattern of the various lighting patterns. In other words, exactly one lighting pattern is visible in each camera image. The synchronization of image recording and pattern generation in particular ensures that the lighting pattern does not change during the exposure time of an image recording. The phase pattern is determined in at least one image point from the sequence of the recorded known lighting patterns. Because the pattern or the periodically different lighting pattern of the pattern are known, the pixel can be assigned to a point of the known pattern. On the surface, errors from deviations from the lighting pattern recorded in at least one image to the known lighting pattern generated are recognized. Defects on the surface lead to distortions of the known pattern or of the one known illumination pattern recorded in one image. This can be done using an image evaluation known in principle to the person skilled in the art by means of suitable algorithms, for example a suitable computing device, which identify and output errors. By scanning several surface areas one after the other, ie a repeated application to different areas of the surfaces, the entire surface or selected sections of the surface can be inspected.
Bei der Oberflächeninspektion ist eine der wichtigsten Aufgaben Fehler zu finden und zu klassifizieren, die durch ihre topgrafische Ausprägung Lichtablenkungen bewirken. Diese Fehler werden mit dem Auge oft gar nicht als topografische Feh ler wahrgenommen, sondern nur als Helligkeitsänderungen oder Schattierungen auf der Oberfläche. Dabei ist oft eine Inspektion in der Bewegung notwendig oder zumindest von Vorteil. Besonders bevorzugte Anwendungen für derartige Ober flächen im Rahmen dieser Erfindung werden später noch beschrieben. In surface inspection, one of the most important tasks is to find and classify defects which, due to their top graphic characteristics, cause light deflections. These errors are often not perceived by the eye as topographical errors, but only as changes in brightness or shades on the surface. An inspection in motion is often necessary or at least an advantage. Particularly preferred applications for such upper surfaces in the context of this invention will be described later.
Grundsätzlich ist das Verfahren gemäß der Erfindung zur optischen Inspektion von reflektierenden Oberflächen geeignet. Zu reflektierenden Oberflächen im Sinne der Erfindung zählen sowohl ideal reflektierende (d.h. spiegelnde) Oberflä chen als auch Oberflächen, die zusätzlich zu reflektierenden Eigenschaften auch eine gewisse Streuwirkung haben. Kriterium hierfür ist, dass ein mit einem Muster beleuchtete Oberfläche (einschließend auch ein auf die Oberfläche projiziertes Muster) mittels optisch in einem Bild aufnehmbar ist. In principle, the method according to the invention is suitable for the optical inspection of reflective surfaces. Reflective surfaces within the meaning of the invention include both ideally reflective (i.e. reflective) surfaces and surfaces which, in addition to reflective properties, also have a certain scattering effect. The criterion for this is that a surface illuminated with a pattern (including a pattern projected onto the surface) can be optically recorded in an image.
Ein schon lange bekanntes Verfahren zur Inspektion von Oberflächen ist die De- flektometrie. Dabei wird das Bild der Reflexion eines bekannten Musters auf der Oberfläche von einer Kamera aufgenommen und mit einem Rechner ausgewer tet. Fehler in der Oberfläche führen zu Verzerrungen in dem Muster auf der Ober fläche, die erkannt werden. Wenn die Aufnahmegeometrie und die Mustergeo metrie bekannt sind kann man damit auch eine 3D-Topographie der Oberfläche bestimmen. Dem Fachmann sind verschiedene Methoden bekannt, wie dies
durchgeführt wird. Diese werden im Rahmen der Erfindung vorausgesetzt und nicht mehr im Detail beschrieben. A method for inspecting surfaces that has been known for a long time is deflectometry. The image of the reflection of a known pattern on the surface is recorded by a camera and evaluated with a computer. Defects in the surface lead to distortions in the pattern on the surface, which are recognized. If the recording geometry and the pattern geometry are known, it can also be used to determine a 3D topography of the surface. Various methods such as this are known to those skilled in the art is carried out. These are assumed within the scope of the invention and are no longer described in detail.
Grundprinzip bei der Deflektometrie ist das Bestimmen der Ablenkung eines auf die Oberfläche auftreffenden Lichtstrahls, indem der Punkt in dem Muster identi fiziert wird, auf den ein von einer Kamera (Aufnahmeeinrichtung) ausgehender und an der Oberfläche gespiegelter Sehstrahl auftrifft. Mit anderen Worten wird also die Ablenkung des Sehstrahls auf der Oberfläche in Reflexion bestimmt, die von der Richtung der Oberflächennormale (einer senkrecht auf der Oberfläche in dem Reflexionspunkt stehenden Geraden) an der entsprechenden Stelle (Refle xionspunkt) abhängt. Aus dem so ermittelten Normalenfeld kann die Topographie der Oberfläche z.B. durch Integration bestimmt werden. The basic principle of deflectometry is to determine the deflection of a light beam striking the surface by identifying the point in the pattern on which a visual beam from a camera (recording device) and reflected on the surface is incident. In other words, the deflection of the line of sight on the surface in reflection is determined, which depends on the direction of the surface normal (a straight line perpendicular to the surface in the reflection point) at the corresponding point (reflection point). From the normal field determined in this way, the topography of the surface can be determined e.g. by integration.
Gebräuchliche Verfahren zum Auffinden eines Punktes sind sogenannte Pha- senshiftverfahren, bei denen als Muster ein periodisches Muster verwendet und bestimmt wird, in welcher Phasenlage des Musters sich der zu bestimmende Punkt befindet. Common methods for finding a point are so-called phase shift methods, in which a periodic pattern is used as the pattern and the phase position of the pattern is determined in which the point to be determined is located.
Hier sind grundsätzlich Verfahren zu unterscheiden, die mit einem Bild des Mus ters auskommen oder die mehrere Bilder benötigen. A basic distinction must be made here between processes that get by with one image of the pattern or that require several images.
Mit einem Bild auskommende Verfahren haben den Vorteil, dass man diese auch auf einer sich bewegenden Oberfläche verwenden kann und sie somit zunächst für die Inspektion bspw. von Bahnware oder in Produktionsprozessen geeigneter erscheinen. Sie haben aber den Nachteil, dass sie störanfälliger sind oder ein zweites physikalisch vorhandenes Muster im Strahlengang benötigen. Aus der WO 98/17971 A1 ist z.B. ein Verfahren bekannt, wie kleinste Strahlabweichungen erkennbar und bestimmbar sind. Im Wesentlichen wird dort ein Streifenmuster in mit einer Kamera beobachtet. Das beschriebene Verfahren kommt mit einem ein zigen Bild aus, weil als zweites Muster das Pixelraster der Kamera verwendet
wird. Das hat allerdings den Nachteil, dass eine sehr genaue Justage von Kamera und Muster benötigt werden. Dies lässt sich im industriellen Umfeld bspw. in Pro duktionsprozessen kaum oder nicht mit vertretbarem Aufwand erreichen. Processes that manage with one image have the advantage that they can also be used on a moving surface and thus initially appear more suitable for the inspection of, for example, web goods or in production processes. However, they have the disadvantage that they are more prone to failure or require a second, physically present pattern in the beam path. From WO 98/17971 A1, for example, a method is known how the smallest beam deviations can be recognized and determined. Essentially, a stripe pattern is observed there with a camera. The method described manages with a single image because the camera's pixel grid is used as the second pattern will. However, this has the disadvantage that a very precise adjustment of the camera and pattern is required. In the industrial environment, for example, in production processes, this can hardly be achieved or not at a reasonable cost.
Verfahren, die mit mehreren Bildern arbeiten, sind wesentlich robuster gegen Stö rungen und benötigen keine aufwändige Justage. Dazu wird das Muster nachei nander in mehreren zueinander verschobenen Phasenlagen angezeigt und auf genommen. Eine besonders einfache Auswertung ergibt sich, wenn ein Streifen muster mit sinusförmigem Helligkeitsverlauf benutzt wird, das viermal mit einer Verschiebung von je einer viertel Periodenlänge aufgenommen wird. Es sind aber auch andere Muster und Abfolgen von Mustern möglich. Dann ergibt sich aus der Abfolge der Grauwerte in jedem Pixel die Phasenlage innerhalb des Musters. Die ses Verfahren ist umfangreich in einschlägigen Lehrbüchern und Aufsätzen be schrieben (bspw. Gorthi and Rastogi, Fringe Projection Techniques: Whither we are?, Proc. Optics and Lasers in Engineering, 48(2): 133-140, 2010). Der Nachteil hierbei ist jedoch, dass mehrere Bilder von derselben Stelle der Oberfläche be nötigt werden. Bei der Inspektion von Folien oder anderer Bahnware im Produk tionsprozess bzw. grundsätzlich von relativ zur Inspektionseinrichtung bewegten Oberflächen ist es jedoch praktisch unmöglich, mehrere Bilder von genau dersel ben Stelle der Oberfläche zu machen, da sich die Oberfläche kontinuierlich be wegt. Bspw. können Bahnen, die mit hoher Geschwindigkeit laufen, während der Produktion nicht angehalten werden. Man könnte das Problem durch eine mit der Bahn synchron mitfahrende Inspektionseinrichtung lösen. Allerdings ist diese Lö sung technisch kompliziert und deshalb teuer, und sie braucht viel Platz, der ge rade in Produktionsumgebungen oft nicht zur Verfügung steht. Processes that work with several images are much more robust against interference and do not require any complex adjustment. For this purpose, the pattern is displayed and recorded one after the other in several mutually shifted phase positions. A particularly simple evaluation results when a stripe pattern with a sinusoidal brightness curve is used, which is recorded four times with a shift of a quarter of a period length. However, other patterns and sequences of patterns are also possible. The phase position within the pattern then results from the sequence of gray values in each pixel. This method is extensively described in relevant textbooks and articles (e.g. Gorthi and Rastogi, Fringe Projection Techniques: Whither we are ?, Proc. Optics and Lasers in Engineering, 48 (2): 133-140, 2010). The disadvantage here, however, is that several images of the same point on the surface are required. When inspecting foils or other web goods in the produc tion process or basically of surfaces moving relative to the inspection device, however, it is practically impossible to take several pictures of exactly the same place on the surface, since the surface moves continuously. For example, lanes running at high speed cannot be stopped during production. The problem could be solved by an inspection device traveling synchronously with the train. However, this solution is technically complex and therefore expensive, and it takes up a lot of space, which is often not available, especially in production environments.
Aus EP 2 390656 B1 ist ein Verfahren bekannt, bei der eine laufende Bahnober fläche vorzugsweise mit einer Zeilenkamera betrachtet wird. Die Beleuchtung ist eine quer zur Bahn angebrachte schnell umschaltbare Musterbeleuchtung (vor-
zugsweise LED-Beleuchtung). Diese Beleuchtung besteht aus einzeln ansteuer baren LEDs oder LED-Modulen, mit denen man dynamisch sehr schnell verschie dene Beleuchtungsmuster erzeugen kann. Die Umschaltung ist dabei mit der Bild aufnahme synchronisiert, sodass in schneller Folge Bilder mit verschiedenen Be leuchtungsmustern von der Oberfläche aufgenommen werden können. Insbeson dere können Abtastung und Umschaltung so schnell erfolgen, dass der Abstand der Bildaufnahmen in Vorschubrichtung sehr viel kleiner ist als die Ausdehnung eines Pixels in Vorschubrichtung. Somit können Bilder an fast derselben Stelle aufgenommen werden. Aufnahmen an genau derselben Stelle lassen sich damit aber nicht realisieren. From EP 2 390656 B1 a method is known in which a running web surface is preferably viewed with a line camera. The lighting is a quickly switchable pattern lighting installed across the track (in front of preferably LED lighting). This lighting consists of individually controllable LEDs or LED modules that can be used to dynamically generate different lighting patterns very quickly. The switchover is synchronized with the image recording so that images with different lighting patterns can be recorded from the surface in quick succession. In particular, scanning and switching can take place so quickly that the distance between the image recordings in the feed direction is very much smaller than the extent of a pixel in the feed direction. Thus, pictures can be taken in almost the same place. However, recordings at exactly the same point cannot be made with it.
Aufgabe der Erfindung ist es, eine robuste Möglichkeit zur Inspektion bewegter Oberflächen vorzuschlagen, die insbesondere auch im industriellen Umfeld bspw. bei Produktionsprozessen einfach umsetzbar ist The object of the invention is to propose a robust option for inspecting moving surfaces, which can also be easily implemented in an industrial environment, for example in production processes
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren nach Anspruch 1 und eine Inspektionsvorrichtung nach Anspruch 12 gelöst. This object is achieved according to the invention by a method according to claim 1 and an inspection device according to claim 12.
Bei dem eingangs beschriebenen Verfahren ist dazu vorgesehen, dass die Be leuchtungseinrichtung und die Bildaufnahmeeinrichtung im Reflexionswinkel (je weils bezogen auf die im Reflexionsbereich senkrecht auf der Oberfläche ausge richtete Oberflächennormale) angeordnet werden. Im Reflexionswinkel meint, dass die Randstrahlen (d.h. die vom Rand des Bildpunkts ausgehenden Sehstra hlen) des Bildpunkts in den Reflexionspunkten auf der Oberfläche reflektiert wer den und im Bildpunkt den sichtbaren Bereich des Beleuchtungsmusters (Muster bereich) markieren. Mit anderen Worten wird die Reflexion des Beleuchtungs musters des Muster auf der Oberfläche gerade in den Bildpunkten der Bildauf nahmeeinrichtung abgebildet. Eine Kamera (als Aufnahmeeinrichtung) sieht also genau auf das Muster (d.h. die Beleuchtungseinrichtung, die bspw. als Beleuch tungszeile ausgebildet sein kann.)
Bei einem bewegten Objekt ändert sich der Reflexionswinkel nicht, solange sich die Form der Oberfläche und ihre Anordnung relativ zu einer ortsfesten Inspekti onseinrichtung nicht ändert. Dies gilt bei einer ebenen Oberfläche oder einer schwach gekrümmten Oberfläche, wenn die Krümmung im Mittel gleich ist und sich die Richtung der Oberflächennormalen der Oberfläche (zumindest bezogen auf die Richtung der Sehstrahlen) nur vernachlässigbar ändert. Dies kann bspw. bei einer welligen Oberflächenstruktur der Fall sein, bei der die Richtungsände rung der Oberflächennormalen klein ist. Klein bedeutet, dass die Änderung nur so groß ist, dass der Musterbereich in dem Bildpunkt sichtbar bleibt. Der Muster bereich muss also in Vorschubrichtung entsprechend breit sein. Sobald dies nicht mehr möglich ist, ist kann das erfindungsgemäße Verfahren mit einer stationären Inspektionseinrichtung nicht angewandt werden. In diesem Fall kann die Inspek tionseinrichtung entsprechend dem erfindungsgemäß vorgeschlagenen Verfah ren aber jeweils in Reflexionsanordnung über die gekrümmte Oberfläche bewegt werden. In the method described at the outset, it is provided that the lighting device and the image recording device are arranged at the angle of reflection (each based on the surface normal aligned perpendicular to the surface in the reflection area). The reflection angle means that the marginal rays (ie the visual rays emanating from the edge of the image point) of the image point are reflected in the reflection points on the surface and mark the visible area of the lighting pattern (pattern area) in the image point. In other words, the reflection of the lighting pattern of the pattern on the surface is just imaged in the image points of the image recording device. A camera (as a recording device) therefore looks exactly at the pattern (ie the lighting device, which can be designed, for example, as a lighting line.) In the case of a moving object, the angle of reflection does not change as long as the shape of the surface and its arrangement relative to a stationary inspection device does not change. This applies to a flat surface or a slightly curved surface if the curvature is the same on average and the direction of the surface normals of the surface changes only negligibly (at least in relation to the direction of the lines of sight). This can be the case, for example, with a wavy surface structure in which the change in direction of the surface normals is small. Small means that the change is only so great that the pattern area remains visible in the pixel. The pattern area must therefore be correspondingly wide in the feed direction. As soon as this is no longer possible, the method according to the invention cannot be used with a stationary inspection device. In this case, however, the inspection device can be moved over the curved surface in a reflection arrangement in accordance with the method proposed according to the invention.
Sofern aufgrund einer bekannten Periodizität der Richtungsänderung der Ober flächennormalen ein mechanischen Nachführen der Inspektionseinrichtung derart möglich ist, dass die der Reflexionsbedingungen eingehalten werden oder durch die Verwendung von flächigen Beleuchtungseinrichtung und Aufnahmeeinrich tung der Reflexionswinkel im Aufnahmebereich liegt, und die Bildpunkte entspre chend dem sich periodisch einstellenden Reflexionswinkel ausgewählt werden, ist dies das Verfahren auch bei gekrümmten Oberflächen anwendbar. If, due to a known periodicity of the change in direction of the surface normals, mechanical tracking of the inspection device is possible in such a way that the reflection conditions are met or, through the use of flat lighting device and recording device, the reflection angle is in the recording area, and the image points correspond to the periodically occurring If the angle of reflection are selected, the method can also be used for curved surfaces.
Unabhängig davon kann das Verfahren genutzt werden, die Topologie von Fehl stellen zu bestimmen, solange die Änderungen in dem Muster durch die Inspek tionseinrichtung definiert erfassbar sind.
Um größere Oberflächenbereiche inspizieren zu können oder eine kontinuierliche Inspektion bspw. bei der Produktion zu ermöglichen, ist erfindungsgemäß vorge sehen, das Objekt[und damit die Oberfläche des Objekts während der Inspektion der Oberfläche relativ zu der Inspektionseinrichtung zu bewegen, vorzugsweise in eine definierte bzw. definiert gesteuerte Bewegungsrichtung. Independently of this, the method can be used to determine the topology of defects as long as the changes in the pattern can be recorded in a defined manner by the inspection device. In order to be able to inspect larger surface areas or to enable a continuous inspection, e.g. defines controlled direction of movement.
Für die eingangs beschriebenen Phasenshiftverfahren ist es eigentlich notwen dig, dass die Bilder, die zu einer Bildsequenz gehören, jeweils dieselbe Stelle der Oberfläche aufnehmen. Da hier eine relativ zur Aufnahmeeinrichtung bewegte Oberfläche, bspw. eine laufende Materialbahn, inspiziert wird, ist das nicht mög lich. Um das Verfahren dennoch anwenden zu können und die Phase des Musters erkennen zu können, wird die Dauer der Bildaufnahmesequenz so kurz gewählt, dass ein Sequenz-Reflexionsbereich als konstant angesehen werden kann. Der Sequenz-Reflexionsbereich definiert ist als der von den Reflexionsbereichen in den jeweiligen Bildern aus der Bildaufnahmesequenz insgesamt abgedeckte bzw. erfasste Oberflächenbereich. Vereinfacht gesagt werden die Bilder einer Bildauf nahmesequenz so schnell hintereinander aufgenommen, dass der Verfahrweg vom ersten zum letzten Bild dieser Bildaufnahmesequenz so klein ist, dass der erfasste Oberflächenbereich (Reflexionsbereich) noch als näherungsweise die gleiche Stelle der Oberfläche betrachten kann. For the phase shift method described at the outset, it is actually necessary that the images that belong to an image sequence each record the same point on the surface. Since a surface moved relative to the receiving device, for example a moving web of material, is inspected here, this is not possible, please include. In order to still be able to use the method and to be able to recognize the phase of the pattern, the duration of the image recording sequence is selected to be so short that a sequence reflection area can be viewed as constant. The sequence reflection area is defined as the total surface area covered or captured by the reflection areas in the respective images from the image recording sequence. Put simply, the images of an image recording sequence are recorded so quickly one after the other that the travel path from the first to the last image of this image recording sequence is so small that the recorded surface area (reflection area) can still be viewed as approximately the same point on the surface.
Der von den Reflexionsbereichen in den jeweiligen Bildern aus der Bildaufnah mesequenz insgesamt abgedeckte Oberflächenbereich ergibt sich durch Zusam menfassen aller Reflexionsbereiche aller einzelnen Bilder, die während der Bild aufnahmesequenz aufgenommen wurden, in einen gemeinsamen Bereich, der dann als Sequenz-Reflexionsbereich bezeichnet wird. Dieser Oberflächenbereich kann dann als zumindest näherungsweise konstant angesehen werden, wenn die Reflexionsbereich aller Bilder aus der Bilderaufnahme zumindest zu 40% oder mehr überlappen, bevorzugt zu mindestens 60%. Diese Werte sind jedoch nicht als fixe Werte zu verstehen, sondern typische Richtwerte, die der Fachmann ggf.
experimentell an die jeweiligen Bedingungen anpassen kann. Grundsätzlich sind die Verfahren gut anwendbar, solange durch die optischen Bedingungen deutlich weniger als eine Periodenlänge des Muster auf einem Bildpunkt abgebildet wird. Kritisch sind insbesondere konkave Krümmungen der Oberfläche, durch aufgrund eines Hohlspiegeleffekts große Musterbereiche in einem Bildpunkt abbilden. Für das Erkennen von Fehlern sollte ein Bereich von 40% bis 70% Überlappung aus reichen, mit einer Abschätzung der Oberflächennormalen (d.h. einer Abschätzung der Topologie der Oberfläche, ein Bereich von 60% bis 80% Überlappung. Je nach Form der Oberfläche und Art der auftretenden Fehlern mögen sich auch andere Bereiche ergeben, die der Fachmann bei der Einrichtung einer entspre chenden Inspektionseinrichtung aufgrund der Lehre der Erfindung ggf. empirisch durch Testmessungen ermitteln und/oder vorgeben kann. Mit anderen Worten wird erfindungsgemäß also vorgeschlagen, dass die Dauer der Bildaufnahmese quenz so gewählt wird, die innerhalb der Bildaufnahmesequenz aufgenommenen Bilder in zeitlicher Abfolge so schnell hintereinander aufgenommen werden, das der Verschiebeweg der Oberfläche aufgrund der Bewegung des Objekts von dem ersten Bild bis zu dem letzten Bild der Bildaufnahmesequenz so klein ist, dass die Reflexionsbereiche des ersten Bilds und des letzten Bilds als derselbe Bereich auf der Oberfläche angesehen werden können. Gegenüber einer Messung im Stillstand des Objekts ergibt sich ein Messfehler, der umso kleiner ist, je besser die vorstehende Bedingung erfüllt ist. The total surface area covered by the reflection areas in the respective images from the image recording sequence results from combining all reflection areas of all individual images that were recorded during the image recording sequence into a common area, which is then referred to as the sequence reflection area. This surface area can then be viewed as at least approximately constant if the reflection areas of all images from the image recording overlap at least 40% or more, preferably at least 60%. However, these values are not to be understood as fixed values, but rather typical guide values that the specialist may need. can experimentally adapt to the respective conditions. In principle, the methods can be used well as long as the optical conditions mean that significantly less than one period length of the pattern is imaged on an image point. Particularly critical are concave curvatures of the surface due to the concave mirror effect, which are used to map large pattern areas in one pixel. For the detection of defects, a range of 40% to 70% overlap should be sufficient, with an estimate of the surface normals (ie an estimate of the topology of the surface, a range of 60% to 80% overlap. Depending on the shape of the surface and the type of Occurring errors may also result in other areas that the person skilled in the art can determine and / or specify empirically by test measurements when setting up a corresponding inspection device based on the teaching of the invention. In other words, the invention proposes that the duration of the image recording sequence is chosen so that the images recorded within the image recording sequence are recorded so quickly one after the other that the displacement of the surface due to the movement of the object from the first image to the last image of the image recording sequence is so small that the reflection areas of the first image and the last picture as the same area a can be viewed on the surface. Compared to a measurement when the object is at a standstill, there is a measurement error that is smaller, the better the above condition is met.
Der Reflexionsbereich auf der Oberfläche, der in dem Bildpunkt (in kleinster Auf lösung definiert durch ein Kamerapixel oder ggf. durch eine Zusammenfassung mehrerer Kamerapixel) erfasst wird, ist durch die Aufnahmegeometrie (Abstand, Aufnahmewinkel) und die Aufnahmeoptik vorgegeben. Aufgrund der Anordnung von Aufnahmeeinrichtung und Beleuchtungseinrichtung im Reflexionswinkel be zogen auf die Oberflächennormale muss eine Änderung des Winkels einer der beiden Einrichtungen jeweils auch bei der anderen Einrichtung nachvollzogen
werden. Die macht Änderungen des Reflexionswinkels vergleichsweise aufwen dig. Entsprechendes gilt für die Änderungen bei der Aufnahmeoptik. Über den Abstand von Aufnahmeeinrichtung und/oder Beleuchtungseinrichtung kann die Größe des Reflexionsbereichs und/oder des in dem Reflexionsbereich abgebilde ten Musterbereich erfindungsgemäß vergleichsweise einfach variiert oder einge stellt. Allerdings erfordert auch dies eine Veränderung an dem Aufbau der Inspek tionseinrichtung. The reflection area on the surface that is recorded in the image point (defined in the smallest resolution by a camera pixel or possibly by combining several camera pixels) is predetermined by the recording geometry (distance, recording angle) and the recording optics. Due to the arrangement of the recording device and the lighting device at the angle of reflection with reference to the surface normal, a change in the angle of one of the two devices must also be reproduced in the other device will. This makes changes in the angle of reflection comparatively expensive. The same applies to the changes in the recording optics. According to the invention, the size of the reflection area and / or the pattern area depicted in the reflection area can be varied or adjusted comparatively easily via the distance between the recording device and / or the lighting device. However, this also requires a change to the structure of the inspection device.
Einfacher ist es erfindungsgemäß, andere Parameter bei der Durchführung des erfindungsgemäß vorgeschlagenen Verfahrens zu beeinflussen. Geeignete Para meter bei der Durchführung des Verfahrens werden nachfolgend beschrieben. Um die Dauer der Bildaufnahmesequenz in Abhängigkeit einer vorgegebenen Ge schwindigkeit und Richtung der Bewegung des Objekts so anzupassen, dass der Sequenz-Reflexionsbereich als konstant angesehen werden kann, ist es gemäß einer bevorzugten Ausführungsform der Erfindung möglich eine oder kumulativ mehrere der nachstehend aufgelisteten Maßnahmen zu ergreifen. According to the invention, it is simpler to influence other parameters when carrying out the method proposed according to the invention. Suitable parameters for carrying out the method are described below. In order to adapt the duration of the image recording sequence as a function of a predetermined speed and direction of the movement of the object so that the sequence reflection area can be viewed as constant, it is possible, according to a preferred embodiment of the invention, to take one or more of the measures listed below .
So kann bei der Durchführung des Verfahrens gemäß einer Ausführungsform der Erfindung vorgesehen werden, die Größe des Bildpunkts einzustellen. Die Größe des Bildpunkts kann im einfachsten Fall der Pixelauflösung der (als Bildaufnah meeinrichtung verwendeten) Kamera entsprechen. Dies stellt - bei gegebenem Abstand der Kamera und vorgegebener Brennweite der Kamera - die höchstmög liche Auflösung dar. Je höher die Auflösung der Kamera ist, desto kleiner ist der einem Bildpunkt auf der Oberfläche zugeordnete Reflexionsbereich und desto kleiner sind die auf der Oberfläche erkennbaren Fehler. Eine Möglichkeit zur Än derung der Größe des Bildbildpunkts besteht also darin, die Pixelauflösung der Kamera zu verändern. Die Pixelauflösung der Kamera ist - bei der erfindungsge mäß bevorzugten digitalen Bildaufnahme - durch den als Aufnahmesensor der Kamera verwendeten Fotochip vorgegeben, auf dem einzelne Pixel (Sensorpixel)
die während der Belichtungszeit das auf diesen Pixel fallende Licht erfassen (in tegrieren). Unter Verringerung der Auflösung kann die Größe des Bildpunkts auch durch Zusammenfassen mehrerer Sensorpixel der Kamera zu einem Bildpunkt erreicht werden. Auch ein Bildpunkt kann als Pixel bezeichnet werden. Bildpixel und Sensorpixel sind aber unterschiedlich, wenn mehrere Sensorpixel zu einem Bildpixel zusammengefasst sind. Thus, when carrying out the method according to one embodiment of the invention, provision can be made for the size of the image point to be set. In the simplest case, the size of the image point can correspond to the pixel resolution of the camera (used as an image recording device). At a given distance from the camera and a given focal length of the camera, this represents the highest possible resolution. The higher the resolution of the camera, the smaller the reflection area assigned to a pixel on the surface and the smaller the defects that can be seen on the surface. One way of changing the size of the image pixel is to change the pixel resolution of the camera. The pixel resolution of the camera is - in the case of the digital image recording preferred according to the invention - predetermined by the photo chip used as the recording sensor of the camera, on which individual pixels (sensor pixels) which detect (integrate) the light falling on this pixel during the exposure time. By reducing the resolution, the size of the image point can also be achieved by combining several sensor pixels of the camera into one image point. An image point can also be referred to as a pixel. Image pixels and sensor pixels are different, however, if several sensor pixels are combined into one image pixel.
Entsprechend einer Ausführungsform kann das das Einstellen der Größe eines Bildpunkts durch Zusammenfassen mehrerer Pixel eines Ausnahmesensors (Sensorpixel) der Aufnahmeeinrichtung zu einem Bildpixel erfolgen. In einer Va riante kann die Anzahl der zusammengefassten Pixel in Bewegungsrichtung des Objekts und quer zur Bewegungsrichtung des Objekts erfindungsgemäß unter schiedlich gewählt werden. Es kann sinnvoll sein, unter Inkaufnahme einer gerin geren Auflösung die Größe des Reflexionsbereichs in Bewegungsrichtung des Objekts zu vergrößern, um eine höhere Überdenkung der Reflexionsbereiche der einzelnen Bilder in jeweils einer Bildaufnahmesequenz zu erreichen. Hierdurch wird der Sequenz-Reflexionsbereich in Bewegungsrichtung des Objekts also ver größert. Quer dazu kann eine höhere Auflösung beibehalten werden. Die Auflö sung quer zur Bewegungsrichtung des Objekts und dessen Oberfläche wird al- leine durch die Aufnahmegeometrie bestimmt, d.h. im Wesentlichen durch die Größe der Bildpunkte (begrenzt durch die Pixelgröße des Aufnahmesensors der Bildaufnahmeeinrichtung hinsichtlich der kleinstmöglichen Ausdehnung), die Ob- jektivbrennnweite und den Betrachtungsabstand. Die Auflösung quer zur Bewe gungsrichtung wird durch die Bewegung nicht beeinflusst. According to one embodiment, the setting of the size of an image point can take place by combining several pixels of an exception sensor (sensor pixel) of the recording device to form an image pixel. In one variant, according to the invention, the number of combined pixels in the direction of movement of the object and transversely to the direction of movement of the object can be selected differently. It can be useful to increase the size of the reflection area in the direction of movement of the object, while accepting a lower resolution, in order to achieve a greater over-thinking of the reflection areas of the individual images in a respective image recording sequence. This increases the sequence reflection area in the direction of movement of the object. A higher resolution can be maintained across the board. The resolution transverse to the direction of movement of the object and its surface is determined solely by the recording geometry, ie essentially by the size of the image points (limited by the pixel size of the recording sensor of the image recording device with regard to the smallest possible extent), the focal length of the lens and the viewing distance . The resolution transverse to the direction of movement is not influenced by the movement.
Längs zur Bewegungsrichtung des Objekt entsteht eine Bewegungsunschärfe. Dadurch, dass die Kamera während einer Bildaufnahme in einem Bildpunkt (Pixel des Bildes, der nicht notwendigerweise mit einem Pixel des Aufnahmesensors übereinstimmt) das gesamte Licht integriert, das während einer Belichtung auf
diesen Bildpunkt fällt, vergrößert sich dadurch die beobachtete Oberfläche in Be wegungsrichtung, die auf den einen Bildpunkt abgebildet wird. Bezogen auf die bewegte Oberfläche (auch als dem Bildpunkt zugeordneter Reflexionsbereich be zeichnet) erscheint der Bildpunkt sozusagen in die Länge gedehnt. „Längs“ und „quer“ beziehen sich hier auf die Bewegungsrichtung und müssen nicht unbedingt mit den Zeilen- und Spaltenrichtungen der Kameras übereinstimmen. Bei einem schrägen Blickwinkel erscheint jedes Pixel bezogen auf die Zeilen- und Spalten richtung der Kamera entsprechend schräg gedehnt. A motion blur occurs along the direction of movement of the object. Because the camera integrates all of the light that occurs during an exposure in an image point (pixel of the image that does not necessarily coincide with a pixel of the recording sensor) during an image recording If this pixel falls, the observed surface is enlarged in the direction of movement that is mapped onto the one pixel. In relation to the moving surface (also referred to as the reflection area assigned to the image point), the image point appears elongated, so to speak. “Longitudinal” and “transverse” refer to the direction of movement and do not necessarily have to match the row and column directions of the cameras. With an oblique viewing angle, each pixel appears stretched at an angle in relation to the direction of the rows and columns of the camera.
In einer Bilderfolge (während einer Bildaufnahmesequenz), die für ein Mehrbild- Phasenshiftverfahren aufgenommen wird, muss eigentlich in allen Bildern in je dem Bildpunkt (Bildpixel) dieselbe Stelle der Oberfläche abgebildet werden. Bei Aufnahme mehrerer Bilder hintereinander sind diese bezogen auf eine sich be wegenden Oberfläche jedoch gegeneinander verschoben. Um dies auszuglei chen, werden also erfindungsgemäß also Maßnahmen ergriffen, die dazu führen, dass der Reflexionsbereich der verschiedenen Bilder noch näherungsweise als dieselbe Stelle der Oberfläche betrachtet werden kann. Hierzu kann die Änderung der Größe des Bildpunkts in der vorbeschrieben Weise beitragen. In an image sequence (during an image acquisition sequence) that is acquired for a multi-image phase shift process, the same point on the surface must actually be imaged in all images in each image point (image pixel). However, when several images are taken one after the other, they are shifted relative to one another in relation to a moving surface. In order to compensate for this, measures are therefore taken according to the invention which result in the reflection area of the different images still being able to be viewed approximately as the same point on the surface. The change in the size of the image point can contribute to this in the manner described above.
Eine weitere Maßnahme kann gemäß der vorliegenden Erfindung darin liegen, bei der Durchführung des Verfahrens die Dauer der Bildaufnahmesequenz einzu stellen. Die Dauer der Bildaufnahmesequenz, d.h. mit anderen Worten die Zeit, die benötigt wird, um alle Bilder der einen Bildaufnahmesequenz aufzunehmen, bestimmt - bei vorgegebener Bewegungsgeschwindigkeit des Objekts respektive der Oberfläche - wie weit sich der dem Reflexionsbereich des ersten Bildes ent sprechende Oberflächenbereich bis zur Aufnahme des letzten Bildes verschiebt. Dadurch ergibt sich die Größe des Sequenz-Reflexionsbereichs und die erfin dungsgemäß einzustellende Überlappung der Reflexionsbereiche der einzelnen Bilder. Grundsätzlich gilt, dass die Überlappung umso größer ist, je kürzer die Dauer der Bildaufnahmesequenz ab.
Abgesehen von den Grenzen der maximalen Abtastfrequenz des Aufnahme sensors und der kürzest möglichen Belichtungszeit der Aufnahmeeinrichtung, können die Abtastfrequenz (definiert als die Frequenz aufeinander folgender Bild aufnahmen) und/oder die Belichtungszeit angepasst werden. Je kürzer die Be lichtungszeit, des schärfer wird das aufgenommene Bild (Reduzierung der Bewe gungsunschärfe) und desto schneller können nacheinander Bilder aufgenommen werden (Abtastrate). Eine Verkürzung der Belichtungszeit lässt sich erreichen, indem die Helligkeit des auf der Oberfläche erzeugten Musters erhöht wird und/o der die Blende der Aufnahmeoptik geöffnet wird. Durch eine Erhöhung der Hellig keit respektive eine Vergrößerung der Blendenöffnung (in der Optik üblicherweise durch kleinere Blendenzahlen definiert) kann die Belichtungszeit verkürzt werden. Sinnvollerweise wird also eine Beleuchtungseinrichtung mit hoher, aber dimmba- rer Lichtstärke verwendet. According to the present invention, a further measure can be to set the duration of the image recording sequence when the method is carried out. The duration of the image recording sequence, in other words the time required to record all images of the one image recording sequence, determines - at a given speed of movement of the object or the surface - how far the surface area corresponding to the reflection area of the first image extends to the recording of the last picture. This results in the size of the sequence reflection area and the overlap of the reflection areas of the individual images to be set according to the invention. Basically, the overlap is greater, the shorter the duration of the image recording sequence. Apart from the limits of the maximum scanning frequency of the recording sensor and the shortest possible exposure time of the recording device, the scanning frequency (defined as the frequency of successive image recordings) and / or the exposure time can be adapted. The shorter the exposure time, the sharper the recorded image (reduction of motion blur) and the faster images can be recorded one after the other (sampling rate). The exposure time can be shortened by increasing the brightness of the pattern produced on the surface and / or by opening the aperture of the recording optics. The exposure time can be shortened by increasing the brightness or enlarging the aperture (usually defined in optics by smaller f-numbers). It is therefore sensible to use a lighting device with a high but dimmable light intensity.
Geeignete Beleuchtungseinrichtungen können aus einzeln dimmbaren LEDs auf gebaut sein, die einzeln gedimmt das Erzeugen einer Muster ermöglichen und zusammen gedimmt das Einstellen der Gesamtlichtstärke ermöglichen. Grund sätzlich kann es bevorzugt sein, die Beleuchtungseinrichtung mit maximaler Licht stärke zu betreiben und die Belichtungszeit soweit zu vermindern, bis geeignet belichte Bilder aufgenommen werden. Suitable lighting devices can be built from individually dimmable LEDs which, when individually dimmed, enable the creation of a pattern and, when dimmed together, enable the overall light intensity to be set. In principle, it can be preferred to operate the lighting device with maximum light intensity and to reduce the exposure time until suitably exposed images are recorded.
Erfindungsgemäß kann bei der Einstellung der Dauer der Bildaufnahmesequenz also mindestens eine der nachstehend gelisteten Größen angepasst werden: Be lichtungszeit eines Bildes, Helligkeit des auf der Oberfläche erzeugten Muster, Abtastfrequenz des Aufnahmesensors und/oder Anzahl der Bilder je Bildaufnah mesequenz. Es ist auch möglich, alle oder eine Auswahl mehrerer der Größen anzupassen.
So lässt sich die Dauer der Bildaufnahmesequenz erfindungsgemäß natürlich auch dadurch verändern, dass die Anzahl der Bilder je Bildaufnahmesequenz ver ändert wird, wobei eine Verkürzung der Bildaufnahmesequenz durch eine Ver minderung der Anzahl der Bilder erreicht werden kann, und umgekehrt. According to the invention, when setting the duration of the image recording sequence, at least one of the variables listed below can be adjusted: Be the exposure time of an image, brightness of the pattern generated on the surface, sampling frequency of the recording sensor and / or the number of images per image recording sequence. It is also possible to customize all or a selection of more of the sizes. Thus, according to the invention, the duration of the image recording sequence can of course also be changed by changing the number of images per image recording sequence, whereby a shortening of the image recording sequence can be achieved by reducing the number of images, and vice versa.
Weiterhin lässt sich die Empfindlichkeit der Messung erfindungsgemäß auch durch die Wahl des Beleuchtungsabstandes (gleichzeitig auch des Betrachtungs abstands zwischen Aufnahmeeinrichtung und Muster) und des Betrachtungswin kels beeinflussen. Größere Abstände führen genauso wie flachere Betrachtungs- Winkel (d.h. flacher bezogen auf die Oberfläche; senkrecht zur Oberfläche wäre maximal steil) zu einer höheren Empfindlichkeit. Insbesondere bei teilweise spie gelnd und teilweise diffus reflektierenden Oberflächen kann besonders bevorzugt ein flacher Betrachtungs- und Beleuchtungswinkel zwischen (z.B. < 30°) und/oder ein möglichst großer Beleuchtungsabstand gewählt werden. Ein möglichst großer Beleuchtungsabstand kann erfindungsgemäß heißen, dass ein zur Verfügung ste hender Raum für die Anordnung der Beleuchtungseinrichtung genutzt wird. Bspw. kann der Beleuchtungsabstand (Abstand zwischen der Beleuchtungseinrichtung und der Oberfläche) größer gewählt werden als der Abstand zwischen der Auf nahmeeinrichtung und der Oberfläche, wobei typische Werte im Bereich zwischen dem 1 -fachen und bspw. dem 10-fachen liegen können. Der Fachmann wird die Werte ggf. experimentell auf den jeweiligen Anwendungsfall angepasst auswäh len, wobei der der grundsätzlichen Lehre der Erfindung entspricht, dass kleinere Beleuchtungs- und Betrachtungswinkel und/oder ein größerer Beleuchtungsab stand (zwischen Aufnahmeeinrichtung und Beleuchtungseinrichtung) die Emp- findlichkeit in vielen Fällen erhöht. Furthermore, according to the invention, the sensitivity of the measurement can also be influenced by the choice of the illumination distance (at the same time also the viewing distance between the recording device and the sample) and the viewing angle. Larger distances as well as flatter viewing angles (i.e. flatter in relation to the surface; perpendicular to the surface would be maximally steep) lead to a higher sensitivity. Particularly in the case of partially reflective and partially diffusely reflective surfaces, a flat viewing and illumination angle between (e.g. <30 °) and / or the greatest possible illumination distance can be selected. According to the invention, the greatest possible illumination distance can mean that an available space is used for the arrangement of the illumination device. For example, the lighting distance (distance between the lighting device and the surface) can be selected to be greater than the distance between the receiving device and the surface, with typical values in the range between 1 and 10 times, for example. The person skilled in the art will, if necessary, select the values experimentally adapted to the respective application, which corresponds to the basic teaching of the invention that smaller lighting and viewing angles and / or a larger lighting distance (between the recording device and the lighting device) reduce the sensitivity in many Cases increased.
Ziel der Aufnahme mehrerer Bilder ist die Bestimmung der Phase des Musters, um dadurch die Position des bekannten Beleuchtungsmusters in einem aufge nommenen Bildpunkt zu identifizieren. Hierdurch können Fehler in der Oberfläche
durch Verzerrungen des Musters auf der Oberfläche erkannt werden. Gemäß ei ner Ausführungsform können bspw. drei Bildaufnahmen erfolgen. Bspw. ist es möglich, das erzeugte Muster periodisch so asymmetrisch zu gestalten, dass aus drei Bildern die Phase des Musters eindeutig bestimmt werden kann. Alternativ kann das Muster auch periodisch symmetrisch gestaltet sein, und die Aufnahme der Bilder asymmetrisch erfolgen, bspw. durch Variation der Abtast- bzw. Bildauf nahmefrequenz zwischen verschiedenen Bildern innerhalb derselben Bildaufnah mesequenz. The aim of recording multiple images is to determine the phase of the pattern in order to identify the position of the known illumination pattern in a recorded image point. This can cause errors in the surface can be recognized by distortions of the pattern on the surface. According to one embodiment, three image recordings can be made, for example. For example, it is possible to periodically design the generated pattern asymmetrically so that the phase of the pattern can be clearly determined from three images. Alternatively, the pattern can also be designed periodically symmetrically, and the images can be recorded asymmetrically, for example by varying the scanning or image recording frequency between different images within the same image recording sequence.
Eine erfindungsgemäß bevorzugte Anwendung sieht aber eine Abtastung mit min destens oder genau vier Bildern innerhalb derselben Bildaufnahmesequenz vor. Das Muster selbst kann bspw. eine Helligkeits-Sinusverteilung sein, die mit einer gleichen Abtastsequenz in vier verschiedenen Phasenlagen erfasst werden. Hie raus lässt sich die Phase des Musters in jeder dem der Bilder auf einfache Weise genau bestimmen. Bspw. kann die Phasenverschiebung zwischen den Phasen lagen in der Bildaufnahmesequenz aufeinander folgender Bilder gerade % der Periodenlänge des Musters betragen. Es sind aber auch andere Phasenverschie bungen zwischen den Bildern einer Bildaufnahmesequenz möglich. An application preferred according to the invention, however, provides for scanning with at least or exactly four images within the same image recording sequence. The pattern itself can, for example, be a brightness sinusoidal distribution that is recorded with the same scanning sequence in four different phase positions. From this, the phase of the pattern in each of the images can be precisely determined in a simple manner. For example, the phase shift between the phases in the image recording sequence of successive images can be just% of the period length of the pattern. However, other phase shifts between the images of an image recording sequence are also possible.
Gemäß einem weiteren Aspekt der Erfindung kann das Beleuchtungsmuster durch die Beleuchtungseinrichtung derart erzeugt werden, dass der in den Bild punkten der während jeweils einer Bildaufnahmesequenz aufgenommenen Bilder sichtbare Bereich des Beleuchtungsmusters als konstant angesehen werden kann. According to a further aspect of the invention, the lighting pattern can be generated by the lighting device in such a way that the area of the lighting pattern that is visible in the image points of the images recorded during each image recording sequence can be viewed as constant.
Der während einer Bildaufnahmesequenz in den Bildpunkten sichtbare Bereich des Beleuchtungsmuster (Musterbereich) kann solange als konstant angesehen werden, als dieser Musterbereich noch überhaupt noch in dem Bildpunkt sichtbar bleibt und sich die erfasste Intensität des Musterbereichs nicht signifikant ändert.
Davon kann bspw. ausgegangen werden, wenn sich die erfasste Intensität wäh rend einer Bildaufnahmesequenz nicht um mehr als 10%, bevorzugt um nicht mehr als 8%, und besonders bevorzugt um nicht mehr als 4% ändert oder ein anderes definiertes Kriterium eingehalten wird. Grundsätzlich gelten auch hier die vorstehend bereits erläuterten Kriterien The area of the illumination pattern (pattern area) visible in the image points during an image recording sequence can be viewed as constant as long as this pattern area still remains visible at all in the image point and the detected intensity of the pattern area does not change significantly. This can be assumed, for example, if the recorded intensity does not change by more than 10%, preferably by no more than 8%, and particularly preferably by no more than 4% during an image recording sequence, or another defined criterion is complied with. In principle, the criteria already explained above also apply here
Dazu kann gemäß einem bevorzugten Aspekt der Erfindung die Periodenlänge des Musters in dem Beleuchtungsmuster derart gewählt werden, dass abhängig von einer Topologie der Oberfläche in Richtung des Musterverlaufs eine Intensi tätsänderung als ausreichend konstant angesehen werden kann, d.h. mit anderen Worten die Intensitätsänderung ein den jeweiligen Gegebenheiten angemesse nes Kriterium nicht überschreitet. Die Auswahl des Kriteriums kann der Fachmann ggf. experimentell bei der Einrichtung der Anlage und bestimmten Mustern ermit teln. To this end, according to a preferred aspect of the invention, the period length of the pattern in the lighting pattern can be selected such that, depending on a topology of the surface in the direction of the pattern profile, a change in intensity can be viewed as sufficiently constant, i.e. in other words the change in intensity depending on the respective circumstances does not exceed the appropriate criterion. The person skilled in the art can determine the selection of the criterion experimentally when setting up the system and certain patterns.
Die Topologie der Oberfläche ist insbesondere durch ihre Krümmung bestimmt, durch die sich die Richtung der Oberflächennormalen ändert. Die Richtung der Oberflächennormal ist korreliert mit dem Reflexionswinkel. Anhand der Topologie von Oberflächen, die mit dem erfindungsgemäßen Verfahren untersucht werden sollen, ist es daher möglich, über den sich ergebenden Reflexionswinkel bei be kannter Anordnung der Inspektionseinrichtung zu ermitteln, welcher Musterbe reich eines Beleuchtungsmusters während einer definierten Dauer der Bildauf nahmesequenz in dem Bildpunkt abgebildet wird. Durch Vorgabe der Perioden länge kann damit das Beleuchtungsmuster so festgelegt werden, dass die vorge nannten Kriterien eingehalten werden. Damit kann das Verfahren flexibel für de finierte Inspektionsaufgaben genutzt werden.
Gemäß einem weiteren Aspekt des erfindungsgemäß vorgeschlagenen Verfah rens kann vorgesehen werden, dass das periodische Muster entlang der Bewe gungsrichtung des Objekts, quer zu der Bewegungsrichtung des Objekts oder ab wechselnd entlang und quer zu der Bewegungsrichtung des Objekts erzeugt wird. The topology of the surface is determined in particular by its curvature, which changes the direction of the surface normal. The direction of the surface normal is correlated with the angle of reflection. Using the topology of surfaces that are to be examined with the method according to the invention, it is therefore possible to use the resulting reflection angle with a known arrangement of the inspection device to determine which pattern area of a lighting pattern is mapped into the image point during a defined duration of the image recording sequence will. By specifying the period length, the lighting pattern can be set so that the aforementioned criteria are met. This means that the process can be used flexibly for defined inspection tasks. According to a further aspect of the method proposed according to the invention, it can be provided that the periodic pattern is generated along the direction of movement of the object, transversely to the direction of movement of the object or alternately along and transversely to the direction of movement of the object.
Bei einem Muster entlang der Bewegungsrichtung des Objekts überlagern sich, bei gekrümmter zu inspizierender Oberfläche, die bereits diskutierte Bewegungs unschärfe und die Verschiebung des Reflexionsbereichs mit einer Verschiebung des durch den Bildpunkt gesehenen Musterbereichs aufgrund der Änderung des Reflexionswinkels und damit verbunden mit einer Intensitätsänderung, weil sich die Intensität des Musters in diese Richtung ändert. In the case of a pattern along the direction of movement of the object, with a curved surface to be inspected, the already discussed motion blur and the shift of the reflection area with a shift of the pattern area seen through the image point due to the change in the angle of reflection and associated with a change in intensity, because the intensity of the pattern changes in that direction.
Bei einem Muster quer zur Bewegungsrichtung ändert sich auch der Reflexions bereich. Weil das Muster entlang der Verschiebungsrichtung des Objekts aber dieselbe Intensität aufweist, führt eine Änderung des Reflexionswinkels nicht zwangsläufig zu einer Änderung der Intensität. Die im Bildpunkt gemessene In tensität bleibt gleich, solange der Bildpunkt dieselbe Musterfläche erfasst und es aufgrund einer Krümmung der Oberfläche nicht zu einer Verschiebung des im Bildpunkt erfassten Musterbereichs quer zur Bewegungsrichtung kommt. In the case of a pattern transverse to the direction of movement, the reflection area also changes. However, because the pattern has the same intensity along the direction of displacement of the object, a change in the angle of reflection does not necessarily lead to a change in the intensity. The intensity measured in the image point remains the same as long as the image point captures the same pattern area and the pattern area captured in the image point does not shift transversely to the direction of movement due to a curvature of the surface.
Erfindungsgemäß kann dieser Unterschied bspw. bei der zuvor beschriebenen Anpassung der Periodenlänge der Muster abhängig von der Ausrichtung des Musters entlang oder quer zu der Bewegungsrichtung des Objekts berücksichtigt werden. Insbesondere kann die Periodenlänge des Musters für Muster entlang und quer zu der Bewegungsrichtung erfindungsgemäß besonders bevorzugt un terschiedlich sein. According to the invention, this difference can be taken into account, for example, in the previously described adaptation of the period length of the pattern as a function of the orientation of the pattern along or across the direction of movement of the object. In particular, according to the invention, the period length of the pattern for pattern along and across the direction of movement can particularly preferably be different.
Außerdem kann eine bekannte Krümmung der Oberfläche eines Objekts in einem definierten zu inspizierenden Oberflächenbereich erfindungsgemäß auch verwen det werden geeignete Kriterien festzulegen, um eine nicht-fehlerhafte Oberfläche
von einer fehlerhaften Oberfläche zu unterscheiden und/oder die sich durch die bekannte (erwartete) Oberflächenform ergebende Abweichung in der Auswertung der aufgenommenen Bilder im Rahmen der Fehlererkennung zu korrigieren. In addition, according to the invention, a known curvature of the surface of an object in a defined surface area to be inspected can also be used to establish suitable criteria in order to determine a non-defective surface to distinguish from a defective surface and / or to correct the deviation resulting from the known (expected) surface shape in the evaluation of the recorded images within the scope of the error detection.
Durch eine alternierend abwechselnde Erzeugung von Mustern entlang und quer zu der Bewegungsrichtung können unterschiedliche Fehler, insbesondere spezi ell gerichtete Fehler auf der Oberfläche, systematisch zuverlässiger erfasst wer den. By alternately generating patterns along and across the direction of movement, different defects, in particular specifically directed defects on the surface, can be systematically detected more reliably.
In einer Ausführungsform des erfindungsgemäß vorgeschlagenen Verfahrens kann die Aufnahmeeinrichtung derart fokussiert werden, dass das in dem Bild aufgenommene Beleuchtungsmuster unscharf ist. In one embodiment of the method proposed according to the invention, the recording device can be focused in such a way that the illumination pattern recorded in the image is out of focus.
Die kann bspw. dadurch erreicht werden, dass die Aufnahmeeinrichtung nicht auf das Muster, sondern auf die Oberfläche oder einen anderen definierten Punkt fokussiert wird. Durch Vorgabe bestimmter Blenden- und Fokuseinstellungen kann erfindungsgemäß auch die Tiefenschärfe bzw. Schärfentiefe gezielt gewählt werden, um das Beleuchtungsmuster im Bild unscharf abzubilden, die Oberfläche jedoch scharf. Flierdurch wird eine scharfe Helligkeitsverteilung ausgewaschen. So kann bspw. ein scharfes Muster bestehend einfach aus abwechselnden trenn scharfen Hell-Dunkel-Bereichen näherungsweise als sinusförmiger Helligkeits verlauf abgebildet werden. In diesem Fall kann eine besonders einfache Beleuch tungseinrichtung verwendet werden, ohne dass zusätzliche optische Elemente zur Erzeugung des gewünschten Helligkeitsverlaufs benötigt werden. Außerdem wird die Helligkeitsverteilung unschärfer, was sich insbesondere bei gekrümmten Oberflächen und den damit verbundenen Effekten positiv auswirken kann, wenn verschobene Musterbereiche auf den in einer der Bildaufnahmesequenzen auf genommenen Bildern abgebildet werden.
In vielen Fällen ist die zu inspizierende Oberfläche nicht ideal spiegelnd, sondern reflektiert halb diffus. Die Reflexion ist zwar gerichtet, streut aber dabei in einen relativ großen Raumwinkel, d.h. die bidirektionale Reflexionsverteilungsfunktion BRDF (engl. Bidirectional Reflectance Distribution Function) hat eine Streukeule mittlerer Breite. Auch dies führt zu einem durchaus hilfreichen Auswaschen der Helligkeitsverteilung des Musters in den Bildern, solange die Streukeule immer noch so eng sein, dass sich im Kamerabild eine ausreichende Modulation des gespiegelten Musters ergibt und noch von einer reflektierenden, wenn auch nicht ideal spiegelnden Oberfläche, ausgegangen werden kann. Eine solche Eigen schaft der Oberfläche kann auch dazu genutzt, einen ähnlichen Effekt zu erzielen wie durch das beschriebene Unscharfstellen der Kamera auf das Muster. Ein sol cher (zusätzlicher) Effekt muss aber beim Unscharfstellen berücksichtigt werden, weil ein Teil der (in diesem Fall erwünschten) Unschärfe schon durch die Ober fläche selbst erzeugt wird. This can be achieved, for example, in that the recording device is not focused on the pattern, but on the surface or another defined point. By specifying certain aperture and focus settings, the depth of field or depth of field can also be selected in a targeted manner according to the invention in order to depict the illumination pattern in the image in a blurred manner, but the surface in sharp focus. As a result, a sharp distribution of brightness is washed out. For example, a sharp pattern consisting simply of alternating sharply defined light-dark areas can be mapped approximately as a sinusoidal brightness curve. In this case, a particularly simple lighting device can be used without the need for additional optical elements to generate the desired brightness curve. In addition, the brightness distribution becomes more blurred, which can have a positive effect, in particular in the case of curved surfaces and the associated effects, if displaced pattern areas are mapped onto the images recorded in one of the image recording sequences. In many cases, the surface to be inspected is not ideally reflective, but reflects semi-diffusely. The reflection is directed, but it scatters in a relatively large solid angle, ie the bidirectional reflection distribution function BRDF (English. Bidirectional Reflectance Distribution Function) has a scattering lobe of medium width. This also leads to a very helpful washing out of the brightness distribution of the pattern in the images, as long as the scattering lobe is still so narrow that there is sufficient modulation of the mirrored pattern in the camera image and a reflective, albeit not ideally reflective, surface is assumed can be. Such a property of the surface can also be used to achieve an effect similar to that of the described blurring of the camera on the pattern. Such an (additional) effect must be taken into account when defocusing, because part of the (in this case desired) blurring is already generated by the surface itself.
Andererseits muss die Oberfläche genug spiegeln, damit sich überhaupt noch ein Muster beobachten lässt. Bei relativ wenig spiegelnden Oberflächen ist es des halb vorteilhaft, einen möglichst flachen Betrachtungs- und Beleuchtungswinkel zu wählen und den Beleuchtungabstand groß zu machen. On the other hand, the surface must reflect enough that a pattern can be observed at all. With relatively few reflective surfaces, it is therefore advantageous to choose a viewing and lighting angle that is as flat as possible and to make the lighting distance large.
Es kann besonders vorteilhaft sein, wenn bei der erfindungsgemäß durchgeführ ten Inspektion der Oberfläche mittels deflektometrischer Verfahren die dreidimen sionale Topografie der Oberfläche des Objekts bestimmt wird. Wenn, wie bei dem erfindungsgemäß vorgeschlagenen Verfahren, die Aufnahmegeometrie und die Mustergeometrie bekannt sind, kann auch eine 3D-Topographie der Oberfläche bestimmen werden. Es sind verschiedene Möglichkeiten bekannt, wie dies durch führbar ist. Bei der Deflektometrie wird primär die Ablenkung eines auf die Ober fläche auftreffenden Lichtstrahls bestimmt, indem man den Punkt des Musters bestimmt, auf dem ein von der Kamera (Aufnahmeeinrichtung) ausgehender und an der Oberfläche gespiegelter (reflektierter) Sehstrahl auftrifft. Es wird also die
Ablenkung des Sehstrahls bestimmt, die von der Oberflächennormale an der ent sprechenden Stelle abhängt. Aus dem so entstehenden Normalenfeld der Ober fläche ist die Topographie der Oberfläche bestimmbar, z.B. durch Integration. Eine besonders bevorzugte Verwendung des vorbeschriebenen Verfahrens oder Teilen hiervon und/oder der nachbeschriebenen Inspektionseinrichtung ergibt sich bei einer Inspektion von Bahnware, bspw. während eines Produktionspro zesses oder nach deren Herstellung oder von insbesondere behandelten, ge krümmten oder ebenen, Oberflächen. It can be particularly advantageous if, during the inspection of the surface carried out according to the invention, the three-dimensional topography of the surface of the object is determined by means of deflectometric methods. If, as in the method proposed according to the invention, the recording geometry and the pattern geometry are known, a 3D topography of the surface can also be determined. There are various known ways in which this can be carried out. Deflectometry primarily determines the deflection of a light beam striking the surface by determining the point of the pattern on which a visual beam emanating from the camera (recording device) and reflected on the surface strikes. So it will be the Deflection of the line of sight determined, which depends on the surface normal at the corresponding point. The topography of the surface can be determined from the resulting normal field of the surface, for example by integration. A particularly preferred use of the method described above or parts thereof and / or the inspection device described afterwards arises when inspecting web goods, for example during a production process or after their manufacture, or of especially treated, curved or flat surfaces.
Ein wichtiges konkretes Anwendungsbeispiel ist die Inspektion einer FCCL-Folie, während oder nach der Produktion. FCCL-Folien (Flexible Copper Clad Lamini- ate) ist das Kernmaterial für die Herstellung flexibler Leiterplatten. FCCL-Folien weisen üblicherweise eine Dicke bis etwa 100-150- pm auf und haben bspw. einen Polyamidkern (bzw. allgemein eine Kunststofffolie), der auf einer oder beiden Oberflächenseiten mit einer Kupferfolie laminiert ist. Bei der Laminierung können Falten entstehen, die durch das erfindungsgemäß vorgeschlagene Verfahren er kennt werden sollen. Bei der Oberflächeninspektion möchte man auch Laminier fehler erkennen, insbesondere sogenannte Laminierfalten 4 (wie sie in Figur 1 schematisch dargestellt sind) oder innere Falten 5 (wie Figur 2 schematisch dar gestellt sind). Bei Laminierfalten hat das Material leichte Falten gebildet, die beim Laminierprozess wieder flach gepresst wurden. Innere Falten entstehen durch Falten in der inneren Kunststofffolie, die einlaminiert wurden. Beide Fehler sind mit dem menschlichen Auge sehr schwer zu erkennen, da die Folien sehr dünn sind und deshalb die Oberfläche durch die Falten nur wenig beeinflusst wird. Die Fehler sind nur zu erkennen, wenn die direkte Reflexion des Lichtes auf der Oberfläche der Folien betrachtet. Das wird dadurch erschwert, dass die Kupferfolie halb diffus reflektiert. Bei anderen laminierten Folien ist das
Aussehen wichtig, das trotz der geringen topographischen Ausprägung durch sol che Fehler gestört wird. An important concrete application example is the inspection of an FCCL film, during or after production. FCCL foils (Flexible Copper Clad Laminates) is the core material for the manufacture of flexible printed circuit boards. FCCL foils usually have a thickness of up to about 100-150 μm and have, for example, a polyamide core (or generally a plastic foil) which is laminated on one or both surface sides with a copper foil. During the lamination, wrinkles can arise that should be known by the method proposed according to the invention. During the surface inspection, one would also like to detect lamination errors, in particular so-called lamination folds 4 (as shown schematically in FIG. 1) or inner folds 5 (as shown schematically in FIG. 2). In the case of lamination creases, the material formed slight creases that were pressed flat again during the lamination process. Inner folds are caused by folds in the inner plastic film that have been laminated in. Both defects are very difficult to see with the human eye, as the foils are very thin and the surface is therefore only slightly affected by the folds. The faults can only be recognized if the direct reflection of the light on the surface of the film is viewed. This is made more difficult by the fact that the copper foil reflects half-diffusely. With other laminated foils, this is Appearance is important, which is disturbed by such errors despite the low topographical characteristics.
Bei der Inspektion gekrümmter Oberflächen, wie z.B. lackierten Behältern oder Autokarossen, wird die Inspektionseinrichtung erfindungsgemäß gemäß einer be vorzugten Ausführung bspw. mittels eines entsprechenden Handhabungsgeräts programmiert derart über die gekrümmte Oberfläche geführt, dass die Beleuch tungseinrichtung und die Aufnahmeeinrichtung zu der Oberfläche jeweils im Re flexionswinkel gehalten werden. In diesem Fall wird also die Inspektionseinrich tung relativ zu dem meist ortsfesten Objekt bewegt. Dies erzeugt eine Relativbe wegung von Objekt bzw. Objektoberfläche zur Inspektionseinrichtung. Auch diese Art der Relativbewegung ist im dieser Beschreibung gemeint, wenn von einem bewegten Objekt relativ zu der Inspektionseinrichtung gesprochen wird. Auf der artigen gekrümmten Oberflächen gilt es, oft kleinste flache topographische Fehler zu finden, die das Aussehen oder die Funktion der Oberfläche stören können. Häufig ist es hilfreich, derartige Fehler auch dreidimensional zu vermessen, d.h. die 3D-Topologie der Oberfläche und des Fehlers zu bestimmen. When inspecting curved surfaces, such as painted containers or car bodies, the inspection device according to the invention is programmed according to a preferred embodiment, for example by means of a corresponding handling device, guided over the curved surface in such a way that the lighting device and the recording device are each at a reflection angle to the surface being held. In this case, the Inspektionseinrich device is moved relative to the mostly stationary object. This generates a relative movement of the object or object surface to the inspection device. This type of relative movement is also meant in this description when speaking of a moving object relative to the inspection device. Often the smallest, flat topographical defects that can interfere with the appearance or function of the surface are to be found on the curved surface. It is often helpful to also measure such defects in three dimensions, i.e. to determine the 3D topology of the surface and the defect.
Die Erfindung betrifft auch eine Inspektionseinrichtung zur optischen Inspektion einer Oberfläche eines Objekts sowie deren Verwendung für die vorstehend be schriebenen Anwendungen. Die Inspektionseinrichtung ist mit einer Beleuch tungseinrichtung und einer Aufnahmeeinrichtung versehen, die derart zueinander ausgerichtet sind, dass ein von der Aufnahmeeinrichtung ausgehender Sehstrahl als an der Oberfläche reflektierter Sehstrahl dann auf die Beleuchtungseinrich tung trifft, wenn eine im Auftreffpunkt des Sehstrahls senkrecht auf der Oberfläche stehende Oberflächennormale den Winkel zwischen dem ausgehenden Sehstrahl und dem reflektierten Sehstrahl gerade halbiert. Mit anderen Worten sind die Auf nahmeeinrichtung und die Beleuchtungseinrichtung der Inspektionseinrichtung also im Reflexionswinkel bezogen auf die Oberfläche angeordnet. Die Beleuch tungseinrichtung ist dazu ausgebildet, während einer Bildaufnahmesequenz ein
zeitlich periodisches Muster mit verschiedenen Beleuchtungsmustern zu erzeu gen, und die ist Aufnahmeeinrichtung dazu ausgebildet, während der Bildaufnah mesequenz synchron mit der Erzeugung der Beleuchtungsmuster Bilder der auf der Oberfläche reflektierten Muster aufzunehmen. Die Inspektionseinrichtung weist ferner eine Recheneinheit zur Steuerung der Inspektionseinrichtung und zur Auswertung der aufgenommen Bilder auf, wobei ein Prozessor der Recheneinheit zur Durchführung des vorbeschriebenen Verfahrens oder Teilen davon ausgebil det ist. The invention also relates to an inspection device for the optical inspection of a surface of an object and its use for the applications described above. The inspection device is provided with a lighting device and a receiving device, which are aligned with one another in such a way that a visual ray emanating from the receiving device as a visual ray reflected on the surface hits the illuminating device when a surface normal that is perpendicular to the surface at the point of incidence of the visual ray the angle between the outgoing line of sight and the reflected line of sight just halved. In other words, the recording device and the lighting device of the inspection device are thus arranged at the angle of reflection with respect to the surface. The lighting device is designed to provide a temporally periodic pattern with different lighting patterns to generate, and the recording device is designed to record images of the pattern reflected on the surface synchronously with the generation of the lighting pattern during the image recording sequence. The inspection device also has a computing unit for controlling the inspection device and for evaluating the recorded images, a processor of the computing unit being designed to carry out the above-described method or parts thereof.
Gemäß einer bevorzugten Ausführungsform der erfindungsgemäß vorgeschlage nen Inspektionseinrichtung weist die Beleuchtungseinrichtung einzeln ansteuer bare Lichtelemente in einer Reihen- oder Matrixanordnung auf. Weiter bevorzugt kann die Aufnahmeeinrichtung einen Aufnahmesensor zur Aufnahme von über eine Aufnahmeoptik auf dem Aufnahmesensor abgebildeten Bildern aufweisen, wobei der Aufnahmesensor einzelne Sensorpixel (Kamerapixel) in Reihen- oder Matrixanordnung aufweist. According to a preferred embodiment of the inspection device proposed according to the invention, the lighting device has individually controllable light elements in a row or matrix arrangement. The recording device can further preferably have a recording sensor for recording images imaged on the recording sensor via recording optics, the recording sensor having individual sensor pixels (camera pixels) in a row or matrix arrangement.
Die Beleuchtungseinrichtung kann bspw. als eine Beleuchtungszeile ausge bildet sein, die vorzugsweise quer oder längs zur Vorschubrichtung (Bewe gungsrichtung des Objekts respektive der Oberfläche relativ zu der Inspekti onseinrichtung) angeordnet ist. Eine Beleuchtungszeile als Reihenanord nung einzeln ansteuerbarer Lichtelemente kann aus vielen nebeneinander angeordneten LEDs oder LED-Modulen bestehen, die synchron mit der Bild aufnahme einzeln schaltbar sind. Mit der Beleuchtungseinrichtung werden in schneller Folge die für das Phasenshiftverfahren notwendigen periodischen Muster erzeugt. Auch die Aufnahmeeinrichtung kann bspw. als Zeilenkamera ausgebildet sein, die ggf. auch aus mehreren neben einander angeordneten Zeilenkameramodulen aufgebaut sein kann. In einer solchen Anordnung ist das zusammengesetzte Bildfeld der Zeilenkamera eine Linie auf der Ober fläche (die sogenannte Scan-Linie). Diese Scan-Linie kann quer zur relativen
Bewegungsrichtung der Oberfläche ausgerichtet sein und hat auch in Bewe gungsrichtung eine gewisse, im Vergleich zu ihrer (quer dazu verlaufenden) Länge sehr geringe Breite, die von der Pixelauflösung der Zeilenkamera ab hängt. The lighting device can, for example, be designed as a lighting line, which is preferably arranged transversely or longitudinally to the feed direction (direction of movement of the object or the surface relative to the inspection device). A lighting line as a row arrangement of individually controllable light elements can consist of many LEDs or LED modules arranged next to one another, which can be individually switched synchronously with the image recording. The periodic patterns required for the phase shift method are generated in rapid succession with the lighting device. The recording device can also be designed, for example, as a line camera which, if necessary, can also be constructed from several line camera modules arranged next to one another. In such an arrangement, the composite image field of the line camera is a line on the upper surface (the so-called scan line). This scan line can be perpendicular to the relative Be aligned in the direction of movement of the surface and also has a certain width in the direction of movement, which is very small compared to its length (running transversely to it) and which depends on the pixel resolution of the line camera.
Die Beleuchtungszeile kann so lang (quer zur Bewegungsrichtung) sein, dass sie die gesamte Breite der zu inspizierenden Bahn (oder des gewünsch ten Inspektionsbereichs auf der Oberfläche) im Reflexionswinkel abdeckt. Wenn Kamera und Beleuchtung im gleichen Abstand zur Oberfläche ange ordnet sind, muss die Beleuchtungszeile auf jeder Seite etwa um eine halbe Scan-Linien-Breite einer einzelnen Zeilenkamera länger sein als die von der allen Kameras beobachtete Scan-Linie auf der Oberfläche, bei anderen Ab standsverhältnissen entsprechend länger oder kürzer. The lighting line can be so long (transverse to the direction of movement) that it covers the entire width of the web to be inspected (or of the desired inspection area on the surface) at the angle of reflection. If the camera and lighting are arranged at the same distance from the surface, the lighting line on each side must be about half a scan line width of a single line camera longer than the scan line observed by all cameras on the surface, with other Ab stand conditions longer or shorter accordingly.
Die Breite der Beleuchtungszeile (in Bewegungsrichtung) kann den maxima len Oberflächenwinkel bestimmen, der mit der Anordnung noch gemessen werden kann. Wird der Oberflächenwinkel größer als der maximale Oberflä chenwinkel, fällt der von der Oberfläche reflektierte Sehstrahl der Kamera nicht mehr auf die Beleuchtung, und die Kamera sieht nichts mehr. The width of the lighting line (in the direction of movement) can determine the maxima len surface angle that can still be measured with the arrangement. If the surface angle is greater than the maximum surface angle, the camera's line of sight reflected from the surface no longer falls on the lighting and the camera can no longer see anything.
Das Verfahren kann aber auch mit Flächenkameras (Matrixanordnung) an gewendet werden. Dann wird die Scan-Linie zum Bildfeld, weil die Breite in Bewegungsrichtung wesentlich größer wird. Entsprechend kann auch die Breite der Beleuchtungszeile in Bewegungsrichtung vergrößert werden. In einer Variante kann anstelle der Beleuchtungszeile eine Beleuchtungs matrix verwenden werden. Diese besteht aus vielen einzelnen LEDs oder LED-Modulen, die in mehreren nahtlos aneinandergefügten Beleuchtungs zeilen angeordnet sind, die alle unabhängig voneinander synchron mit der Bildaufnahme schaltbar sind. Damit kann auch die Breite einer Beleuch tungszeile einfach variiert werden, indem mehrere Beleuchtungszeilen in
gleicher Weise geschaltet werden. The method can also be used with area cameras (matrix arrangement). Then the scan line becomes the image field because the width in the direction of movement is much larger. The width of the lighting line in the direction of movement can also be increased accordingly. In a variant, an illumination matrix can be used instead of the illumination line. This consists of many individual LEDs or LED modules that are arranged in several seamlessly joined lighting rows, all of which can be switched independently of one another, synchronized with the image recording. This means that the width of a lighting line can also be varied easily by inserting several lighting lines in switched in the same way.
Mit einer Beleuchtungsmatrix lassen sich nicht nur Muster quer zur Bahn richtung schalten, sondern auch solche längs zur Bahnrichtung. Das ist des- halb vorteilhaft, weil Deflektometrieverfahren primär Oberflächenwinkel bzw. -normalen messen, und zwar in Richtung des periodischen Musters. Wenn man also eine Beleuchtungszeile verwendet kann man nur Winkel quer zur Bewegungsrichtung messen, mit einer Beleuchtungsmatrix kann man alle Richtungen messen, vorzugsweise die beiden Richtungen längs und quer zu der Bewegungsrichtung. With a lighting matrix, not only can patterns be switched across the direction of the web, but also patterns along the direction of the web. This is advantageous because deflectometry methods primarily measure surface angles or normals, specifically in the direction of the periodic pattern. So if you use a lighting line you can only measure angles perpendicular to the direction of movement, with an illumination matrix you can measure all directions, preferably the two directions along and across the direction of movement.
Es zeigen: Show it:
Fig. 1 in einer schematischen Schnittdarstellung ein Objekt mit einer zu inspizierenden Oberfläche mit einem ersten beispielhaften Fehler; 1 shows, in a schematic sectional illustration, an object with a surface to be inspected with a first exemplary defect;
Fig. 2 in einer schematischen Schnittdarstellung das Objekt gemäß Fig.1 mit der zu inspizierenden Oberfläche mit einem zweiten beispiel haften Fehler; FIG. 2 shows, in a schematic sectional illustration, the object according to FIG. 1 with the surface to be inspected with a second exemplary defect;
Fig. 3a eine Draufsicht auf die eine Inspektionseinrichtung gemäß einer Ausführungsform der Erfindung bei der Inspektion einer ebenen Oberfläche; 3a shows a plan view of the one inspection device according to an embodiment of the invention during the inspection of a flat surface;
Fig. 3b eine Seitenansicht der Inspektionseinrichtung gemäß Fig. 3a;
In den Fig. 1 und 2 ist als Objekt 1 , dessen Oberfläche 10 durch eine erfindungs gemäße Inspektionseinrichtung überprüft werden soll, eine FCCL-Folie darge stellt, die als Ausgangsmaterial für Leiterplatten dient. Es ist eine laminierte Folie 1, die aus drei Schichten besteht, einer mittleren Kunststofffolie 3 als mittlere Schicht, auf die als äußere Schichten Kupferfolien 2 auflaminiert sind. Die Ober fläche 10 des Objekts 1 wird typischerweise auf Oberflächenfehler geprüft. 3b shows a side view of the inspection device according to FIG. 3a; 1 and 2 is as object 1, the surface 10 of which is to be checked by an inspection device according to the Invention, an FCCL film Darge provides, which serves as the starting material for printed circuit boards. It is a laminated film 1 which consists of three layers, a middle plastic film 3 as the middle layer, onto which copper foils 2 are laminated as outer layers. The upper surface 10 of the object 1 is typically checked for surface defects.
Bei dieser Oberflächeninspektion sollen auch Laminierfehler erkannt werden, ins besondere sogenannte Laminierfalten 4 (Fig. 1) und innere Falten 5 (Fig. 2). Bei Laminierfalten 4 hat das Material leichte Falten gebildet, die beim Laminierpro zess wieder flach gepresst wurden. Innere Falten 5 entstehen dadurch, dass sich in der inneren Kunststofffolie 3 Falten gebildet haben, die einlaminiert wurden. During this surface inspection, lamination errors should also be detected, in particular so-called lamination folds 4 (FIG. 1) and inner folds 5 (FIG. 2). In the case of laminating folds 4, the material has formed slight folds that were pressed flat again during the laminating process. Inner folds 5 arise from the fact that folds have formed in the inner plastic film 3, which folds have been laminated in.
Fig. 3b zeigt in der Seitenansicht eine Inspektionseinrichtung 9 mit einer Beleuch tungseinrichtung 8 und einer Aufnahmereinrichtung 7. Auf der Beleuchtungsein richtung 8 wird ein zeitlich periodisches Muster 13 mit verschiedenen Beleuch tungsmustern 130 dargestellt, das die Oberfläche 10 des Objekts 1 beleuchtet bzw. anstrahlt (vgl. auch Draufsicht gemäß Fig. 3a). Das Beleuchtungsmuster 130 weist eine Helligkeitsverteilung 14 auf. Hierdurch wird das Muster 13 auch auf der Oberfläche 13 erzeugt. Die Aufnahmeeinrichtung 7 nimmt das Muster 13 auf der Oberfläche 1 in einem Bild auf. Fig. 3b shows a side view of an inspection device 9 with a lighting device 8 and a recording device 7. On the lighting device 8, a periodic pattern 13 with different lighting patterns 130 is shown, which illuminates or illuminates the surface 10 of the object 1 ( see also top view according to FIG. 3a). The lighting pattern 130 has a brightness distribution 14. As a result, the pattern 13 is also produced on the surface 13. The recording device 7 records the pattern 13 on the surface 1 in an image.
Dazu umfasst die Aufnahmeeinrichtung 7 einen Aufnahmesensor 11 , der ein Bild vielen Bildpunkten 12 erzeugt. Durch eine nicht dargestellte Optik der Aufnahme einrichtung werden von dem (jedem) Bildpunkt 12 ausgehende Sehstrahlen 15 an der Oberfläche 10 reflektiert und treffen als reflektierte Sehstrahlen 19 auf der Beleuchtungseinrichtung 8 auf das dort erzeugte Muster 13. In der Fig. 3b sind die Randstrahlen dieser Sehstrahlen 15, 19 eingezeichnet. Die Randstrahlen ge hen von den Rändern des Bildpunktes 12 aus und grenzen auf der Oberfläche 10
den Reflexionsbereich 17 ab. Alle ausgehend von dem Bildpunkt 12 im Reflexi onswinkel a auf die Oberfläche treffenden Sehstrahlen 15 liegen im Reflexions bereich 17 auf der Oberfläche 10 und werden auch im Reflexionswinkel a von der Oberfläche als reflektierte Sehstrahlen 19 reflektiert. Sie treffen in dem Muster bereich 18 auf die Beleuchtungseinrichtung 8, weil entsprechend der erfindungs gemäßen Anordnung die Aufnahmeeinrichtung 7 und die Beleuchtungseinrich tung 8 im Reflexionswinkel a bezogen auf die Oberfläche 10 angeordnet sind. For this purpose, the recording device 7 comprises a recording sensor 11, which generates an image of many image points 12. Optical rays 15 emanating from the (each) image point 12 are reflected on the surface 10 by optics (not shown) of the recording device and strike the pattern 13 generated there as reflected rays 19 on the lighting device 8 Lines of sight 15, 19 are shown. The marginal rays go from the edges of the image point 12 and border on the surface 10 the reflection area 17 from. All lines of sight 15 which hit the surface starting at the pixel 12 in the reflection angle a are located in the reflection area 17 on the surface 10 and are also reflected in the reflection angle a from the surface as reflected lines of sight 19. You meet in the pattern area 18 on the lighting device 8, because according to the fiction, contemporary arrangement, the receiving device 7 and the lighting device 8 are arranged in the reflection angle α based on the surface 10.
Der Reflexionswinkel a ist definiert als der Winkel zwischen dem einfallenden (von dem Bildpunkt 12 ausgehenden) bzw. dem ausgehenden (von der Oberflä che 10 reflektierten) Sehstrahl 15, 19 und der zugehörigen Oberflächennormale 16. Die zu einem Sehstrahl 15, 19 gehörige Oberflächennormale 16 steht in dem Reflexionspunkt 170, in dem die Sehstrahlen 15, 19 auf die Oberfläche 10 treffen, senkrecht auf der Oberfläche. The angle of reflection a is defined as the angle between the incident (emanating from the image point 12) or the outgoing (reflected from the surface 10) line of sight 15, 19 and the associated surface normal 16. The surface normal 16 belonging to a line of sight 15, 19 stands in the reflection point 170, at which the lines of sight 15, 19 strike the surface 10, perpendicular to the surface.
Konkret zeigt Fig. 3a eine Zeile des Aufnahmesensors 11 der Aufnahmerichtung 7, der entlang der Bereite der Oberfläche 10, bspw. einer in der Bewegungsrich tung 6 bewegten Bahnware als Objekt 1, wie einer FCCL-Folie. Die Aufnahme einrichtung 7 kann als Zeilenkamera mit nur einer Sensorzeile des Aufnahme sensors 11, oder als Flächenkamera mit mehreren solchen Sensorzeilen ausge bildet sein. Ein Bildpunkt 12 kann aus einer oder mehreren Sensorpixeln gebildet sein. Über die nicht dargestellte Optik erfasst ein Bildpunkt 12 der Aufnahmeein richtung (Kamera) den Reflexionsbereich 17 auf der Oberfläche 10. Die Sehstra hlen 15 werden auf der Oberfläche 10 abgelenkt und erfassen den Musterbereich 18, der durch den Bereich des Muster 13 bzw. des jeweiligen Beleuchtungsmus ters 130 des Musters 13 im Zeitpunkt der Bildaufnahme, gegeben ist. In den dar stellten Beilspiel der Fig. 3a und 3b ist die Beleuchtungseinrichtung als eine Be leuchtungszeile ausgebildet, die quer zur Bewegungsrichtung 6 der Oberfläche 10 ausgerichtet ist.
Fig. 3b zeigt dieselbe Anordnung in einer Seitenansicht, in der die Reflexion der Sehstrahlen 15, 19 (wie in allen Figuren als Randstrahlen eingezeichnet) mit dem Reflexionswinkel a bezogen auf die Oberflächennormale 16 deutlich erkennbar ist. Die eingezeichneten Randstrahlen der Sehstrahlen 15, 19 veranschaulichen die Größe/Fläche des Reflexionsbereichs 17 auf der Oberfläche 10 und des Mus terbereichs 18 in dem Muster 13. Specifically, Fig. 3a shows a line of the recording sensor 11 of the recording direction 7, which along the width of the surface 10, for example. A device 6 moving in the direction of movement web material as an object 1, such as an FCCL film. The recording device 7 can be configured as a line camera with only one sensor line of the recording sensor 11, or as an area camera with several such sensor lines. An image point 12 can be formed from one or more sensor pixels. An image point 12 of the recording device (camera) detects the reflection area 17 on the surface 10 via the optics (not shown) Illumination pattern 130 of pattern 13 at the time of image capture is given. In the example shown in FIGS. 3a and 3b, the lighting device is designed as a lighting line that is oriented transversely to the direction of movement 6 of the surface 10. 3b shows the same arrangement in a side view in which the reflection of the visual rays 15, 19 (as shown in all figures as marginal rays) with the reflection angle α in relation to the surface normal 16 can be clearly seen. The drawn marginal rays of the lines of sight 15, 19 illustrate the size / area of the reflection area 17 on the surface 10 and of the pattern area 18 in the pattern 13.
Die. Fig. 3a und 3b zeigen ein den Zustand während eine Bildaufnahme, wobei angenommen ist, dass die Bewegung der in Bewegungsrichtung 6 bewegten Oberfläche 10 während der kurzen Belichtungszeit der Bildaufnahme vernachläs sigt werden kann. Wenn dies nicht der Fall ist, zeigen die aufgenommenen Bilder eine gewisse Bewegungsunschärfe, der durch eine Verkürzung der Belichtungs zeit (bei ausreichend heller Beleuchtung) entgegengewirkt werden kann. Wie bereits beschrieben werden bei dem erfindungsgemäßen Verwahren wäh rend eine Bildaufnahmesequenz mehrere Bilder in zeitlicher Abfolge aufgenom men. Weil sich die Oberfläche während der Bildaufnahmesequenz in der Bewe gungsrichtung 6 bewegt, sieht der Bildpunkt 12 in dem jeweiligen Reflexionsbe reich 17 der nacheinander aufgenommenen Bilder nicht mehr denselben Oberflä- chenbereich. Vielmehr sind die Reflexionsbereiche 17 auf der Oberfläche 10 in den aufeinander folgenden aufgenommenen Bildern gegeneinander vorschoben. The. 3a and 3b show the state during an image recording, it being assumed that the movement of the surface 10 moved in the direction of movement 6 can be neglected during the short exposure time of the image recording. If this is not the case, the recorded images show a certain degree of motion blur, which can be counteracted by shortening the exposure time (with sufficiently bright lighting). As already described, in the case of the storage according to the invention, a plurality of images are recorded in chronological order during an image recording sequence. Because the surface moves in the direction of movement 6 during the image recording sequence, the image point 12 in the respective reflection area 17 of the successively recorded images no longer sees the same surface area. Rather, the reflection areas 17 on the surface 10 are advanced towards one another in the successive recorded images.
Dies ist in den Fig. 4a und 4b dargestellt, in denen die Verschiebung 61 der Ober fläche 10 zwischen der ersten und der letzten Bildaufnahme in einer Bildaufnah- mesequenz eingezeichnet ist. Als Reflexionsbereich 17a ist der Reflexionsbe reich der ersten und als Reflexionsbereich 17b ist der Reflexionsbereich der letz ten Bildaufnahme aus der Bildaufnahmesequenz eingezeichnet, jeweils in um 90° gedrehter Schraffur. Im Überlappungsbereich sind die beiden Schraffuren über lagert. Der gesamte Reflexionsbereich 17 über alle Bilder der Aufnahmesequenz
ist entsprechend vergrößert (bezogen auf die durch Reflexionsbereiche der ein zelnen Aufnahme insgesamt abgedeckte Oberfläche 10). Der Effekt ist grundsätz lich auch bei der bereits erläuterten Bewegungsunschärfe ähnlich, mit dem Un terschied, dass der gesamte Reflexionsbereich in einem Bild integriert ist. Dies führt zu einer Unschärfe im Bild, sofern eine Bewegungsunschärfe überhaupt zu erkennen ist. This is shown in FIGS. 4a and 4b, in which the displacement 61 of the upper surface 10 between the first and the last image acquisition is shown in an image acquisition sequence. The reflection area 17a is the reflection area of the first and the reflection area 17b is the reflection area of the last image recording from the image recording sequence, in each case in hatching rotated by 90 °. The two hatches are superimposed in the overlap area. The entire reflection area 17 over all images of the recording sequence is correspondingly enlarged (based on the total surface 10 covered by reflection areas of the individual recording). The effect is fundamentally similar for the motion blur already explained, with the difference that the entire reflection area is integrated in one image. This leads to a blurring of the picture, provided that a motion blur can be recognized at all.
Weil sich die Aufnahmegeometrie bei der ebenen Oberfläche nicht ändert, hat die Verschiebung der Oberfläche 10 keine Auswirkungen auf den Musterbereich 18; dieser bleibt während der Aufnahmesequenz unverändert, wobei natürlich wie be reits beschrieben, die Musterbeleuchtungen phasenverschoben erzeugt werden. Dies ist in Fig. 4a der Übersichtlichkeit halber nicht dargestellt. Because the recording geometry does not change in the case of the flat surface, the displacement of the surface 10 has no effects on the pattern area 18; this remains unchanged during the recording sequence, whereby of course, as already described, the pattern illuminations are generated out of phase. For the sake of clarity, this is not shown in FIG. 4a.
Fig. 4b zeigt dieselbe Situation wie Fig. 4a in der Seitenansicht. Die Oberflächen normalen 16a bei der Aufnahme des Bildes a lagen zum Zeitpunkt an derselben Position wie die Oberflächennormalen 16b bei der Aufnahme des Bildes b, die hier als Momentaufnahme der Anordnung dargestellt ist. Wegen der ebenen Oberfläche 10 ist die Ausrichtung der Oberflächennormalen 16a und 16b gleich, mit der Folge, dass auch der Musterbereich 18 sich nicht ändert. FIG. 4b shows the same situation as FIG. 4a in the side view. The normal surfaces 16a when the image a was recorded were at the same position as the normal surface 16b when the image b was recorded, which is shown here as a snapshot of the arrangement. Because of the flat surface 10, the alignment of the surface normals 16a and 16b is the same, with the result that the pattern area 18 does not change either.
Die Fig. 3c und 4c zeigen eine Anordnung der Inspektionseinrichtung 9, bei der die Beleuchtungseinrichtung 8 eine längs zur Bewegungsrichtung 6 der Oberflä che 10 ausgerichtete Beleuchtungszeile aufweist. Dies kann durch einen Zeilen- Beleuchtungseinrichtung (mit entsprechend gerichteter Zeile) oder durch eine Matrix-Beleuchtungseinrichtung erreicht werden, die entsprechend angesteuert wird. Aufgrund der ebenen Oberfläche ergibt sich auch in dieser Anordnung eine vergleichbare Situation zu der in den Fig. 3a, 3b und 4a, 4b gezeigten. Für eine ausführliche Beschreibung wird auf die vorstehende Beschreibung verwiesen.
In den Fig. 3d und 4d ist eine den Fig. 3c und 4c ähnliche Anordnung der Inspek tionseinrichtung 9 gezeigt, bei der nicht nur die Beleuchtungszeile der Beleuch tungseinrichtung 8, sondern auch die Sensorzeile des Aufnahmesensors 11 ent lang der Bewegungsrichtung 6 der Oberfläche 10 ausgerichtet sind. Die Aufnah- meeinrichtung kann entsprechend als Zeilenkamera (mit nur einer Sensorzeile) oder als Matrixkamera (mit mehreren nebeneinander angeordneten Sensorzei len) ausgebildet sein. Aufgrund der ebenen Oberfläche ergibt sich auch in dieser Anordnung eine vergleichbare Situation zu der in den Fig. 3a, 3b, 3c und 4a, 4b, 4c gezeigten. Für eine ausführliche Beschreibung wird auf die vorstehende Be- Schreibung verwiesen. 3c and 4c show an arrangement of the inspection device 9, in which the lighting device 8 has a lighting line aligned along the direction of movement 6 of the surface 10. This can be achieved by a line lighting device (with a correspondingly directed line) or by a matrix lighting device that is controlled accordingly. Due to the flat surface, a situation comparable to that shown in FIGS. 3a, 3b and 4a, 4b also results in this arrangement. For a detailed description, reference is made to the description above. In Figs. 3d and 4d an arrangement of the inspection device 9 similar to that of FIGS. 3c and 4c is shown, in which not only the lighting line of the lighting device 8, but also the sensor line of the recording sensor 11 is aligned along the direction of movement 6 of the surface 10 are. The recording device can accordingly be designed as a line camera (with only one sensor line) or as a matrix camera (with several sensor lines arranged next to one another). Due to the flat surface, a situation comparable to that shown in FIGS. 3a, 3b, 3c and 4a, 4b, 4c also results in this arrangement. For a detailed description, reference is made to the description above.
Anders sieht es aus, wenn die Oberfläche tatsächlich nicht eben ist. Dies ist in den Fig. 5a, 5b, 5c und 5d bzw. 6a, 6b, 6c und 6d dargestellt. Die Ansichten und Anordnungen entsprechenden den mit Bezug auf die Fig. 3a, 3b, 3c und 3d bzw. 4a. 4b, 4c und 4d erläuterten Ansichten und Anordnungen. Im Hin blick auf die generelle Beschreibung wird daher auf vorstehendes verwiesen. Aufgrund der Wölbung der Oberfläche 10, die Auswirkung auf die Ausrich tungen der Oberflächennormalen 16, 16' hat und die Reflexionen der Seh strahlen 15, 19 beeinflusst, ergeben sich für die unterschiedlichen Bilder ei- ner Aufnahmesequenz auch verschiedenen Musterbereiche 18a, 18b. It looks different if the surface is actually not even. This is shown in FIGS. 5a, 5b, 5c and 5d or 6a, 6b, 6c and 6d. The views and arrangements correspond to those with reference to FIGS. 3a, 3b, 3c and 3d and 4a, respectively. 4b, 4c and 4d illustrated views and arrangements. With regard to the general description, reference is therefore made to the above. Due to the curvature of the surface 10, which affects the alignments of the surface normals 16, 16 'and influences the reflections of the visual rays 15, 19, different pattern areas 18a, 18b also result for the different images of a recording sequence.
In den Fig. 5a, 5b, 5c und 5d ist die Situation für jeweils ein Bild dargestellt, bspw. das erste Bild der Bildsequenzen. Fig. 5a entspricht im Wesentlichen Fig. 3a, wobei die gekrümmt dargestellten Seiten der Oberfläche 10 quer zur Bewegungsrichtung 6 die Krümmung der Oberfläche 10 anzeigen. Aufgrund der Krümmung der Oberfläche 10 werden die Sehstrahlen auch nicht - in der Aufsicht - geradlinig reflektiert, sondern im Reflexionspunkt 170, 170' auch abgelenkt. Entsprechend treffen die reflektierten Sehstrahlen 19 das Muster 13 in einen Musterbereich 18, der an einer anderen Stelle liegt als der Mus-
terbereich 18 gemäß Fig. 3a. Fig. 5b zeigt entsprechend, dass die Oberflä chennormalen 16 und 16' an den Reflexionspunkten 170, 170' unterschied lich gerichtet sind (und daher auch mit verschiedenen Bezugszeichen be zeichnet wurden). Entsprechend sind die Reflexionswinkel a, a' verschieden. In FIGS. 5a, 5b, 5c and 5d, the situation is shown for one image each, for example the first image of the image sequences. FIG. 5 a essentially corresponds to FIG. 3 a, the curved sides of the surface 10 showing the curvature of the surface 10 transversely to the direction of movement 6. Because of the curvature of the surface 10, the lines of sight are not reflected in a straight line — in plan view — but rather are also deflected at the reflection point 170, 170 '. Correspondingly, the reflected lines of sight 19 hit the pattern 13 in a pattern area 18 which is at a different point than the mus- terbbereich 18 according to Fig. 3a. 5b accordingly shows that the surface normals 16 and 16 'are directed differently at the reflection points 170, 170' (and have therefore also been identified with different reference symbols). Correspondingly, the angles of reflection a, a 'are different.
Die Fig. 6a und 6b zeigen den Reflexionsbereich 17a (für die in Fig. 5a, 5b wiedergegebenen Sehstrahlen 15, 19 bei der Aufnahme) und den Reflexi onsbereich 17b (für die in den Fig. 6a, 6b wiedergegebenen Sehstrahlen 15, 19) zusammen mit dem Überlappungsbereich 171. In entsprechender weise sind die Musterbereiche 18a und 18b sowie deren Überlappungsbereich 181 gezeigt. 6a and 6b show the reflection area 17a (for the lines of sight 15, 19 shown in FIGS. 5a, 5b when recording) and the reflection area 17b (for the lines of sight 15, 19 shown in FIGS. 6a, 6b) together with the overlap area 171. The pattern areas 18a and 18b and their overlap area 181 are shown in a corresponding manner.
Der Bildpunkt 12 wird im Aufnahmesensor 11 von dem durch die Rand-Seh- strahlen 15 (vor der Spiegelung an der Oberfläche 10) bzw. 19 (nach der Spiegelung an der Oberfläche) 10 begrenzten Bereich 18, 18a, 18b des Mus ters beleuchtet, wobei dieser Bereich 18, 18a, 18b auf dem Muster 13 über die Reflexionsbereiche 17, 17a, 17b der Oberfläche 10 in die Aufnahmeein richtung 7 abgebildet wird. Jeder der Sehstrahl 15 aber gemäß der an der Stelle vorhandenen Oberflächennormalen 16, 16', 16a, 16a' bzw. 16b, 16b' abgelenkt. The image point 12 is illuminated in the recording sensor 11 by the area 18, 18a, 18b of the pattern delimited by the edge lines of sight 15 (before the reflection on the surface 10) or 19 (after the reflection on the surface) 10, this area 18, 18a, 18b being imaged on the pattern 13 via the reflection areas 17, 17a, 17b of the surface 10 in the receiving device 7. However, each of the line of sight 15 is deflected according to the surface normal 16, 16 ', 16a, 16a' or 16b, 16b 'present at the point.
In den Fig. 5a, 5b, 5c und 5d sieht man die Situation im ersten Bild der Se quenz. Wieder wird das Kamerapixel 12 im Bildsensor 11 von dem durch die Randstrahlen 15 (vor der Spiegelung an der Oberfläche) bzw. 19a (nach der Spiegelung an der Oberfläche) begrenzten Bereich 18 des Musters beleuch tet, wobei dieser Bereich 18 auf dem Muster 13 über den Bereich 17a der Oberfläche 10 in die Kamera abgebildet wird. Jetzt wird der Sehstrahl 15 aber gemäß der an der Stelle vorhandenen Oberflächennormalen 16a bzw. 16b abgelenkt. Die Situation im jeweils letzten Bild jeder Bildaufnahmese quenz ist in den Fig. 6a, 6b, 6c und 6d dargestellt. Nun wird der Bereich 18b
des Musters 13 über den Bereich 17b über die verschobene Oberfläche 10 in den Bildpunkt 12 abgebildet. Für die Spiegelung der von der Kamera aus gehenden Randstrahlen 15 sind nun die Oberflächennormalen 16b, 16b' maßgeblich. Da diese anders sind als im ersten Bild (Fig.5a, 5b, 5c und 5d) verschiebt sich nun auch der Bereich Beleuchtungsmusters 130 auf der Be leuchtungseinrichtung 8, der in dem Bildpunkt 12 gesehen bzw. abgebildet wird. Insgesamt überstreicht das Bildpunkt 12 während der Bildsequenz von der ersten bis zur letzten Aufnahme den Bereich 17 der Oberfläche 10 in den Fig. 6a, 6b, 6c und 6d und damit den gesamte, Bereich 18 des Musters 13. Dabei sieht der Bildpunkt 12 den Bereich, der sich sowohl in den Reflexions bereichen 17a als auch 17b auf der Oberfläche 10 und sowohl in den Mus terbereichen 18a als auch in 18b auf dem Muster 13 befindet. Die Bereiche, die sich nur in 17a oder 17b bzw. 18a oder 18b befinden, sieht der Bildpunkt 12 nicht während der gesamten Bildsequenz. In Figs. 5a, 5b, 5c and 5d you can see the situation in the first image of the sequence. Again, the camera pixel 12 in the image sensor 11 is illuminated by the area 18 of the pattern delimited by the marginal rays 15 (before the reflection on the surface) or 19a (after the reflection on the surface), this area 18 overlying the pattern 13 the area 17a of the surface 10 is imaged in the camera. Now, however, the line of sight 15 is deflected in accordance with the surface normal 16a or 16b present at the point. The situation in the last image of each image recording sequence is shown in FIGS. 6a, 6b, 6c and 6d. Now the area 18b of the pattern 13 over the area 17b over the shifted surface 10 in the image point 12. The surface normals 16b, 16b 'are now decisive for the reflection of the marginal rays 15 emanating from the camera. Since these are different than in the first image (FIGS. 5a, 5b, 5c and 5d), the area of illumination pattern 130 on the illumination device 8, which is seen or imaged in the pixel 12, is now also shifted. Overall, the image point 12 sweeps over the area 17 of the surface 10 in FIGS. 6a, 6b, 6c and 6d and thus the entire area 18 of the pattern 13 during the image sequence from the first to the last image. The image point 12 sees the area , which is located in both the reflection areas 17a and 17b on the surface 10 and both in the pattern areas 18a and in 18b on the pattern 13. The areas which are only located in 17a or 17b or 18a or 18b are not seen by the image point 12 during the entire image sequence.
Es sei noch angemerkt, dass die Größenverhältnisse in Fig. 3a, 3b, 3c, 3d, 4a, 4b, 4c, 4d, 5a, 5b, 5c, 5d, 6a, 6b, 6c, 6d nicht realistisch sind. Auf die jeweils mit einer Kreuzschraffur dargestellten Schnittebereiche 171 , 181 ent sprechen nicht realistischen Größen, sondern dienen nur der Veranschauli- chung und dem Verständnis. Tatsächlich müsste zumindest das Muster 13 bzw. das Beleuchtungsmuster im Vergleich zur dargestellten Größe des Bildpunkts 12 sehr viel langwelliger sein, sodass ein Bildpunkt 12 nur einen kleinen Bruchteil einer Wellenlänge abdeckt. Mit realistischen Größenver hältnissen würde man in der Zeichnung das Prinzip jedoch nicht mehr er- kennen können. It should also be noted that the size relationships in FIGS. 3a, 3b, 3c, 3d, 4a, 4b, 4c, 4d, 5a, 5b, 5c, 5d, 6a, 6b, 6c, 6d are not realistic. The cut areas 171, 181 shown in each case with cross-hatching do not correspond to realistic sizes, but are only used for illustration and understanding. In fact, at least the pattern 13 or the illumination pattern would have to be much longer-wave compared to the size of the image point 12 shown, so that an image point 12 only covers a small fraction of a wavelength. With realistic proportions, however, one would no longer be able to recognize the principle in the drawing.
Wie bereits erläutert muss in einer Bildaufnahmesequenz, die für ein Mehrbild-Phasenshiftverfahren aufgenommen wird, eigentlich in allen Bildern in jedem Bildpunkt 12 dieselbe Stelle der Oberfläche 10 abgebil-
det werden, d.h. derselbe Reflexionsbereich 17. Wenn man mehrere Bil der hintereinander aufnimmt, sind diese bezogen auf eine sich bewegen den Oberfläche 10 jedoch gegeneinander verschoben. Entscheidend für die Beurteilung, ob das, was ein Bildpunkt 12 während einer Bildsequenz aufnimmt, noch als „näherungsweise dieselbe Stelle“ im Sinne der Erfin dung betrachtet werden kann, hängt letztendlich davon ab, wie sehr sich die Abbildung des periodischen Musters 13 über die Oberfläche 10 in die Aufnahmeeinrichtung 7 während einer Bildsequenz ändert. Dies wiede rum hängt einerseits von dem Muster 13 (Beleuchtungsmuster 130) selbst und seinem Abstand zur Oberfläche 10 ab, andererseits von dem Reflexionsbereich 17, der während der gesamten Bildsequenz auf den Bildpunkt 13 abgebildet wird, und wie sich diese Fläche (Reflexionsbe reich 17) ändert. Die Fläche des Reflexionsbereichs hängt ab von der optischen Pixelauflösung (d.h. die Fläche die in der Betrachtungsebene auf ein Pixel abgebildet wird), der Belichtungszeit, der Dauer der Belich tungssequenz und der Verfahrgeschwindigkeit (d.h. wie weit sich die Oberfläche 10 während einer kompletten Bildsequenz bewegt). Was sich im Musterbereich 18 ändert, hängt ab von der Oberflächentopographie (insbesondere die Änderung der Oberflächennormale). As already explained, in an image recording sequence that is recorded for a multi-image phase shift method, the same point on the surface 10 must actually be depicted in all images in each image point 12. be det, that is, the same reflection area 17. If you take several pictures in a row, these are based on a moving surface 10 but shifted against each other. The decisive factor for assessing whether what an image point 12 picks up during an image sequence can still be viewed as “approximately the same point” in the sense of the invention ultimately depends on how much the image of the periodic pattern 13 extends over the surface 10 changes in the recording device 7 during an image sequence. This in turn depends on the one hand on the pattern 13 (lighting pattern 130) itself and its distance from the surface 10, on the other hand on the reflection area 17, which is imaged on the image point 13 during the entire image sequence, and how this area (reflection area 17) changes. The area of the reflection area depends on the optical pixel resolution (i.e. the area that is mapped onto a pixel in the viewing plane), the exposure time, the duration of the exposure sequence and the travel speed (i.e. how far the surface 10 moves during a complete image sequence) . What changes in the pattern area 18 depends on the surface topography (in particular the change in the surface normal).
Wenn man das Phasenshiftverfahren durchführen möchte, müssen das Muster 13 und der Bildpunkt 12 (auch im Fall einer nicht bewegten Oberflä che 10) so aufeinander abgestimmt sein, dass in dem Teil des Beleuch tungsmusters 130, den ein Bildpunkt 12 auf dem Beleuchtungsmuster 130 abdeckt, die Helligkeit als nahezu konstant ansehen kann bzw. die mittlere Helligkeit tatsächlich die im Bildpunkt 12 gemessene Helligkeit repräsen tiert. Auch darf sich die Helligkeit so stark ändern, dass sich die Helligkeit bei der geforderten minimalen Oberflächenabweichung (verursacht durch einen zu erkennenden Fehler, ausreichend ändert, damit die Inspektions einrichtung 9 diese wahrnehmen kann. Ersteres ist dann der Fall, wenn die
Oberfläche 10, die ein Bildpunkt 12 als Reflexionsberiech 19 abdeckt, als nahezu eben angesehen werden kann. Ist dies nicht gegeben, ist ohne wei tere Information eine topografische Messung nicht mehr möglich; es kann lediglich noch detektiert werden, dass es eine Oberflächenabweichung gibt. Zusätzlich muss die laterale Auflösung (also die Größe der Fläche auf der Oberfläche) so abgestimmt sein, dass die kleinsten Oberflächenabweichun gen, die bei der Inspektion festgestellt werden sollen, noch aufgelöst wer den. Bei der sich bewegenden Oberfläche 10 muss weiterhin berücksichtigt wer den, dass während der Bildaufnahmesequenz eine größere Fläche (gesam ter Reflexionsbereich 17 auf der Oberfläche 10 der Fig. 4a, 4b, 4c, 4d bspw. 6a, 6b, 6c, 6d von einem Bildpunkt abgedeckt wird. Das beeinflusst die la terale Auflösung. Wenn die Oberfläche zusätzlich gekrümmt ist, wird zusätz- lieh ein größerer Musterbereich 18 auf dem Muster 13 von einem Bildpunkt punkt abgedeckt. Das beeinflusst die Tiefenauflösung. Wenn sich die Ober fläche 10 während der Aufnahme der Bilder in der Bildaufnahmesequenz bewegt, ist also entscheidend, wie der jeweilige Sehstrahl 15, 19 eines Bild punkts 12 das Beleuchtungsmuster 130 (Momentaufnahme des Muster 13) überstreicht. If the phase shift method is to be carried out, the pattern 13 and the image point 12 (even in the case of a stationary surface 10) must be coordinated with one another in such a way that in the part of the lighting pattern 130 that an image point 12 covers on the lighting pattern 130, can see the brightness as almost constant or the average brightness actually represents the brightness measured in the pixel 12 benefits. The brightness may also change so much that the brightness changes sufficiently with the required minimum surface deviation (caused by an error to be detected) that the inspection device 9 can perceive it. The former is the case when the Surface 10, which covers an image point 12 as a reflection area 19, can be viewed as almost flat. If this is not the case, a topographical measurement is no longer possible without further information; it can only be detected that there is a surface deviation. In addition, the lateral resolution (i.e. the size of the area on the surface) must be coordinated in such a way that the smallest surface deviations that are to be detected during the inspection are still resolved. In the case of the moving surface 10, it must also be taken into account that a larger area (total reflection area 17 on the surface 10 of FIGS This influences the lateral resolution. If the surface is additionally curved, a larger pattern area 18 on the pattern 13 is additionally covered by an image point. This influences the depth resolution Moving images in the image recording sequence, the decisive factor is how the respective line of sight 15, 19 of an image point 12 sweeps over the illumination pattern 130 (snapshot of the pattern 13).
Im Falle einer ebenen Oberfläche 10 tritt dieser Effekt gemäß den Fig. 3 und 4 gar nicht auf. Somit entstehen keine Fehler durch das Abbilden unter schiedlicher erfasster Musterbereich in den Bildern einer Aufnahmese- quenz. Allerdings ist nur zutreffend, wenn es im ungestörten Fall keine Messfehler gibt. Sobald irgendeine Störung auf der Oberfläche auftritt (oder diese ohnehin gekrümmt) ist gilt das nicht mehr Fall. Auch im Falle von Messfehlern tritt also der in den Fig. 5 und 6 gezeigte Fall auf.
Das System wird durch das erfindungsgemäße Verfahren und die entspre chende Inspektionseinrichtung so ausgelegt, dass die oben genannten Be dingungen auch für Belichtungszeiten bzw. die gesamte Aufnahmezeit für eine komplette Bildaufnahmesequenz eingehalten werden. Dazu werden die Bilder einer Bildaufnahmesequenz zeitlich so schnell nacheinander aufge nommen, dass die Verschiebung der Oberfläche 10 während der Aufnah men so klein ist, dass jeder Bildpunkt 12 einen Bereich (Reflexionsbereich 17) auf der Oberfläche 10 abdeckt, der noch als konstant angesehen wer den kann. Außerdem wird die Periodenlänge des Musters 31 so ausgelegt, dass der Bereich, der von einem an der Oberfläche gespiegelten bzw. re flektierten Sehstrahl 15, 19 der Aufnahmeeinrichtung 7 während der Auf nahme einer Bildaufnahmesequenz überstrichen wird, noch als konstant an gesehen werden kann bzw. dass der daraus entstehende Fehler kleiner als die geforderte Tiefenauflösung sind. In the case of a flat surface 10, according to FIGS. 3 and 4, this effect does not occur at all. This means that there are no errors caused by the mapping of different recorded pattern areas in the images of a recording sequence. However, this is only applicable if there are no measurement errors in the undisturbed case. As soon as there is any disturbance on the surface (or it is curved anyway) this is no longer the case. The case shown in FIGS. 5 and 6 also occurs in the case of measurement errors. The system is designed by the method according to the invention and the corresponding inspection device in such a way that the above-mentioned conditions are also met for exposure times or the entire recording time for a complete image recording sequence. For this purpose, the images of an image recording sequence are recorded so quickly one after the other that the displacement of the surface 10 during the recording is so small that each pixel 12 covers an area (reflection area 17) on the surface 10 that is still viewed as constant can. In addition, the period length of the pattern 31 is designed in such a way that the area which is swept over by a line of sight 15, 19 of the recording device 7 that is mirrored or reflected on the surface during the recording of an image recording sequence can still be seen as constant. that the resulting error is smaller than the required depth resolution.
Je stärker die Oberfläche 10 gekrümmt ist, desto schneller müssen die Bil der aufgenommen werden und desto langwelliger muss das Muster 13 wer den. Allerdings müssen beide Bedingungen nur für die Bereiche auf der Oberfläche 10 eingehalten werden, die auch tatsächlich inspiziert werden sollen. Das sind in den meisten Fällen die konstruktiv fehlerfreie Oberflä chenbereiche und die Bereiche, in denen flache, langwellige topographische Fehler vorhanden sind. In den meisten Oberflächen 10 gibt es darüber hin aus kleine, meist sehr steile topographische Fehler. Für diese sind die Be dingungen meist nicht mehr einzuhalten, wobei dies meistens auch schon für den statischen Fall gilt. Diese Fehler können dann nur noch detektiert (Erkennen eines Fehlers), aber nicht mehr vermessen (Messen der Topo graphie) werden. The more the surface 10 is curved, the faster the images have to be recorded and the longer the wave pattern 13 has to be. However, both conditions only have to be complied with for the areas on the surface 10 that are actually to be inspected. In most cases, these are the structurally flawless surface areas and the areas in which flat, long-wave topographical defects are present. In addition, in most of the surfaces 10 there are small, mostly very steep topographical errors. For these, the conditions can usually no longer be observed, although this usually also applies to the static case. These errors can then only be detected (recognition of an error), but no longer measured (measurement of the topography).
Für das Verfahren sind sehr hohe Bildaufnahmefrequenzen notwendig, da mit die geforderte laterale Auflösung für die gesamte Bildaufnahmesequenz
erreicht wird. Diese wiederum bedingen sehr kurze Belichtungszeiten, die wiederum eine sehr helle Beleuchtung erfordern. Very high image recording frequencies are necessary for the process, since it also provides the required lateral resolution for the entire image recording sequence is achieved. These in turn require very short exposure times, which in turn require very bright lighting.
Für das in diesem Zusammenhang besonders vorteilhaft verwendete Pha- senshiftverfahren ist es am vorteilhaftesten, wenn es sich bei dem Muster 13 (respektive jedem der Beleuchtungsmuster 130) um einen sinusförmigen Helligkeitsverlauf handelt. Typischerweise werden dazu z.B. Bildschirme o- der auf eine Fläche projizierte Muster verwendet. Damit kann der Sinusver lauf sehr gut bis perfekt dargestellt werden. Allerdings reicht bei diesen Be leuchtungen oft die mit wirtschaftlichem Aufwand erreichbare Helligkeit nicht aus, und die mögliche Bildfrequenz ist begrenzt, sodass sie nur bei langsa men Prozessen eingesetzt werden können. For the phase shift method used particularly advantageously in this context, it is most advantageous if the pattern 13 (or each of the illumination patterns 130) is a sinusoidal brightness curve. Typically, screens or patterns projected onto a surface are used for this purpose. This means that the sine curve can be displayed very well to perfectly. However, the brightness that can be achieved economically is often insufficient for these types of lighting, and the possible frame rate is limited so that they can only be used for slow processes.
Mit einer LED-Zeile oder LED-Matrix, bei der die einzelnen LEDs oder auch einzelne LED-Module, die aus mehreren Einzel-LEDs bestehen, separat an gesteuert werden können, lässt sich sowohl die geforderte Helligkeit als auch die geforderte Umschaltfrequenz synchronisiert mit der Bildaufnahme der Kameras realisieren. Es können aber euch mehrere Zeilen zu einer Mat rix zusammengesetzt werden. With an LED row or LED matrix, in which the individual LEDs or individual LED modules, which consist of several individual LEDs, can be controlled separately, both the required brightness and the required switching frequency can be synchronized with the Realize image recording of the cameras. But you can put several lines together to form a matrix.
In der einfachsten Form können die einzelnen LEDs bzw. LED-Module nur ein- oder ausgeschaltet werden. Damit lässt sich also nur ein rechteckför miger Helligkeitsverlauf realisieren, der nur eine sehr grobe Näherung des eigentlich gewünschten sinusförmigen Helligkeitsverlaufs ist. Auch damit lässt sich das Phasenshiftverfahren schon durchführen, jedoch ist die Ge nauigkeit begrenzt. Durch verschiedene Maßnahmen kann man eine bes sere Annäherung an den gewünschten Verlauf erreichen. Je näher man an einem Sinusverlauf kommt, desto besser wird die Genauigkeit. Die Beleuch tungszeile bzw. -matrix kann so modifiziert werden, dass sich auch Zwi schenhelligkeiten für die einzelnen LEDs einstellen lassen. Je nach Größe
der LEDs oder LED-Module kann damit der Sinusverlauf gut angenähert werden. Das geht z.B. dadurch dass die einzelnen LEDs bzw. LED-Module während der eigentlichen Belichtungszeit nur zeitweise angeschaltet wer den. Allerdings ist diese Methode aufwändig, weil man dann eine extrem schnelle Ansteuerelektronik benötigt. Eine erfindungsgemäß bevorzugte Lö sung sieht vor, das Muster unscharf auf der Kamera abzubilden. Dies wurde bereits beschrieben und wird an dieser Stelle nicht wiederholt. In the simplest form, the individual LEDs or LED modules can only be switched on or off. This means that only a rectangular brightness curve can be realized which is only a very rough approximation of the sinusoidal brightness curve that is actually desired. The phase shift method can also be carried out with this, but the accuracy is limited. A better approximation of the desired course can be achieved through various measures. The closer you get to a sine curve, the better the accuracy. The lighting line or matrix can be modified in such a way that intermediate brightness levels can also be set for the individual LEDs. Depending on size of the LEDs or LED modules, the sine curve can thus be approximated well. This is possible, for example, because the individual LEDs or LED modules are only switched on temporarily during the actual exposure time. However, this method is complex because you then need extremely fast control electronics. A solution preferred according to the invention provides for the pattern to be depicted in a blurred manner on the camera. This has already been described and will not be repeated here.
Es wird darauf hingewiesen, dass im Rahmen der vorstehenden Beschreibung die Begriffe Kamera und Bildaufnahmeeinrichtung synonym verwendet werden. Alle in Bezug auf die Kamera offenbarten Merkmale und Funktionen gelten ent sprechend auch für die Bildaufnahmeeinrichtung, und umgekehrt. It should be noted that the terms camera and image recording device are used synonymously in the context of the above description. All features and functions disclosed in relation to the camera also apply accordingly to the image recording device, and vice versa.
Bezugszeichenliste: List of reference symbols:
1 Objekt 1 object
2 Kupferfolie 2 copper foil
3 Kunststofffolie 3 plastic film
4 erster Fehler 5 zweiter Fehler 4 first error 5 second error
6 Bewegungsrichtung 6 direction of movement
61 Verschiebung 61 displacement
7 Aufnahmeeinrichtung 7 Reception facility
8 Beleuchtungseinrichtung 9 Inspektionseinrichtung 8 Lighting device 9 Inspection device
10 Oberfläche 10 surface
11 Aufnahmesensor 11 Pickup sensor
12 Bildpunkt 12 pixel
13 Muster
130 Beleuchtungsmuster 13 patterns 130 lighting patterns
14 Helligkeitsverteilung 14 Brightness distribution
15 Sehstrahl 15 line of sight
16 Oberflächennormale 16 surface normals
17 Reflexionsbereich 17 Reflection Area
170 Reflexionspunkt 170 reflection point
171 Schnittbereich der Reflexionsbereiche der einzelnen Bilder171 Intersection of the reflection areas of the individual images
18 Musterbereich 18 Pattern area
181 Schnittbereich der Musterbereiche in den einzelnen Bildern181 Intersection of the pattern areas in the individual images
19 Sehstrahlen a Reflexionswinkel
19 lines of sight a reflection angle