Die Erfindung betrifft ein Verfahren und eine Vorrichtung, mit welcher die Position, die dreidimensionale Form sowie ein schatten-, verzerrungs- und reflexfreies Farbbild der Oberfläche von Objekten ermittelt werden kann.The invention relates to a method and a device with which the position, the three-dimensional shape and a shadow, distortion and reflection-free color image of the surface of objects can be determined.
In zahlreichen technischen, medizinischen und wissenschaftlichen Anwendungen ist die berührungslose Erfassung der Oberfläche von Objekten essentiell. Idealerweise sollten folgende Komponente möglichst präzise und im selben Koordinatensystem aufgenommen werden. Hierzu zählt die Form der Objektoberfläche, wozu auch Lage und Ausrichtung im Raum gehören. Außerdem ist die Farbe der Oberflächenpunkte von Bedeutung. Schließlich kommt es auch auf die äußere Kontur des Objekts einschließlich Durchbrüche und Bohrungen an.In numerous technical, medical and scientific applications, the non-contact detection of the surface of objects is essential. Ideally, the following components should be recorded as precisely as possible and in the same coordinate system. This includes the shape of the object surface, which also includes position and orientation in space. In addition, the color of the surface points is important. Finally, it also depends on the outer contour of the object including breakthroughs and holes.
Da es hier um messtechnische Anwendungen geht, müssen alle Komponenten in einem absoluten, kalibrierten Maßstab in einem vorgegebenen Koordinatensystem angegeben werden.Since this involves metrological applications, all components must be specified in an absolute, calibrated scale in a given coordinate system.
Bei flachen Objekten genügt die Aufnahme mit einer digitalen Kamera in Verbindung mit einem telezentrischen Objektiv. Bei orthogonaler Draufsicht und Verwendung homogenen, parallel zur optischen Achse eingestrahlten Lichts in Verbindung mit Polarisationsfiltern können nach dem Stand der Technik für die Messtechnik geeignete Abbildungen mit Auflösungen im Bereich von Mikrometern – mit Subpixel-Interpolation auch darunter – erzielt werden. Hierbei wird Licht in unterschiedlichen Spektralbereichen verwendet oder aber weißlicht, wenn Farbaufnahmen erforderlich sind. Die Abbildung kann dann so optimiert werden, dass verzerrungsfreie, schattenfreie und reflexfreie Aufnahmen resultieren. Allerdings beträgt die Tiefenschärfe telezentrischer Optiken nur wenige Millimeter, so dass für scharfe Bilder die vertikale Ausdehnung auf diesen Bereich beschränkt ist. Messungen sind außerdem nur in der XY-Ebene möglich, eine Sensitivität in Z-Richtung besteht nicht.For flat objects, the image is sufficient with a digital camera in conjunction with a telecentric lens. With orthogonal plan view and use of homogeneous, parallel to the optical axis irradiated light in conjunction with polarizing filters can be achieved by the prior art for metrology suitable mappings with resolutions in the range of micrometers - with subpixel interpolation even below. This light is used in different spectral ranges or white light when color shots are required. The image can then be optimized to produce distortion-free, shadow-free and anti-reflection images. However, the depth of field of telecentric optics is only a few millimeters, so that for sharp images, the vertical extent is limited to this area. In addition, measurements are only possible in the XY plane, there is no sensitivity in the Z direction.
Oft sind jedoch über den gesamten Höhenbereich ”superscharfe”, aber gleichwohl schatten-, verzerrungs- und reflexfreie Bilder vonnöten. Eine Möglichkeit besteht darin, den limitierten Schärfebereich telezentrischer Objektive auszunützen und den Abstand in Z-Richtung zwischen Objekt und Aufnahmesystem durch Bewegen des Objekts oder des Aufnahmesystems in definierten Schritten zu verändern. Aus dem sich ergebenden Bildstapel können dann durch Filterverfahren die jeweils scharfen Bereiche extrahiert werden. Diese Information kann nun einerseits dazu genutzt werden, ein 3D-Bild zu generieren und andererseits eben zur Kombination des superscharfen Gesamtbilds. Dieses als ”Shape-from-Fokus” (SFF) bekannte Verfahren wird beispielsweise in Nayar S. K. and Y. Nakagawa: Shape from focus. IEEE Transactions an Pattern Analysis and Machine Intelligence, Vol. 16, No. 8, pp. 824–831 (1994) beschrieben. Ein Nachteil ist, dass man für die zur lokalen Messung der Bildschärfe erforderlichen Hochpass-Filter strukturierte Flächen benötigt. In mikroskopischen Aufnahmen liefert die Oberflächenrauigkeit immer genügend Strukturen, so dass sich hier sehr gute Z-Auflösungen von beispielsweise 10 nm erzielen lassen. Bei makroskopischen Objekten von typisch mehreren Zentimetern Ausdehnung in allen Richtungen ist die erzielbare Auflösung wegen der fehlenden Strukturiertheit weit geringer, man kann aber durch Projektion von Mustern mit hoher Ortsfrequenz die fehlende Strukturierung simulieren und so das Ergebnis optimieren. Bei einem Blickfeld von einigen Quadratzentimetern beträgt die typische Höhenauflösung ca. 50 μm.Often, however, over the entire height range "super-sharp", but nevertheless shadow, distortion and reflex-free images are needed. One possibility is to take advantage of the limited focus range of telecentric lenses and to change the distance in the Z-direction between the object and the recording system by moving the object or the recording system in defined steps. From the resulting image stack can then be extracted by filtering the respective sharp areas. This information can now be used on the one hand to generate a 3D image and on the other hand just to combine the super-sharp overall picture. This method, known as "shape-from-focus" (SFF), is described, for example, in Nayar S.K. and Y. Nakagawa: Shape from focus. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 16, no. 8, pp. 824-831 (1994). One drawback is that structured surfaces are required for the high-pass filter required to locally measure the image sharpness. In microscopic photographs, the surface roughness always provides sufficient structures, so that very good Z resolutions of, for example, 10 nm can be achieved here. For macroscopic objects of typically several centimeters of expansion in all directions, the achievable resolution is much lower because of the lack of structure, but you can simulate the missing structuring by projection of patterns with high spatial frequency and thus optimize the result. With a field of view of a few square centimeters, the typical height resolution is approx. 50 μm.
Ist eine genauere 3D-Information erforderlich, so kann man auf zahlreiche Techniken zurückgreifen. Gebräuchlich sind vor allem Stereo-Verfahren wie unter Jenkin, M. R. M., A. D. Jepsen and J. K. Tsotsos: Techniques for Disparity Measurement. CVGIP: Image Understanding, Vol. 53, No. 1, pp. 14–30 (1991) beschrieben oder auf dem Triangulationsprinzip beruhende Verfahren, wie etwa der codierte Lichtansatz (Gray-Code-Prinzip, Streifenlicht-Sensoren), der unter Riechmann, W. und B. Thielbeer (1997): Hochaufgelöste Oberflächenerfassung durch Photogrammetrie und Streifenprojektion. Photogrametrie, Fernerkundung, Geoinformation Nr. 3, S. 155–164 (1997) beschrieben ist oder Lichtschnittverfahren mit Laserlinien, die z. B. unter Dammert, W. R. und F. Nagel: Messung von zweidimensionalen Verschiebungen mittels Laser-Triangulation. Technisches Messen, Band 59, Heft 11, S. 428–435 (1992) beschrieben sind.If more accurate 3D information is required, you can rely on numerous techniques. Especially stereo methods are common as under Jenkin, M.R.M., A.D. Jepsen and J.K. Tsotsos: Techniques for Disparity Measurement. CVGIP: Image Understanding, Vol. 53, no. 1, pp. 14-30 (1991) or based on the principle of triangulation, such as the coded light approach (Gray code principle, strip light sensors), the Riechmann, W. and B. Thielbeer (1997): High-resolution surface detection by photogrammetry and fringe projection. Photogrammetry, Remote Sensing, Geoinformation No. 3, pp. 155-164 (1997) or light-slit laser line techniques, e.g. B. under Dammert, W.R. and F. Nagel: Measurement of two-dimensional displacements by means of laser triangulation. Technical Measuring, Volume 59, Issue 11, pp. 428-435 (1992).
Alle auf dem Stereo-Prinzip und dem Triangulationsprinzip basierenden Standard-Verfahren haben jedoch den Nachteil, dass sie – anders als das SFF-Verfahren – keine Bilder in orthogonaler Draufsicht liefern können. Man hat also immer Abschattungen, die umso gravierender werden, je größer die Z-Ausdehnung im Vergleich zu lateralen Ausdehnung des Objekts ist. Um hier schattenfreie Bilder zu bekommen, muss man das Objekt aus unterschiedlichen Ansichten aufnehmen und dann die entstehenden Punktewolken zu einer Gesamtpunktewolke kombinieren. Dazu kommt als ein weiteres Problem, dass bei größeren Ausdehnungen in Z-Richtung die Tiefenschärfe nicht mehr ausreicht. Möchte man beispielsweise eine Laserlinie mit ca. 20 mm Länge abbilden und triangulieren, so ist bei einer geforderten Z-Auflösung von ca. 10 μm der Messbereich auf ca. 2 mm beschränkt.However, all standard methods based on the stereo principle and the principle of triangulation have the disadvantage that, unlike the SFF method, they can not deliver images in an orthogonal top view. So there are always shadows, which become all the more serious, the larger the Z-expansion is in comparison to the lateral extent of the object. To get shadow-free images here, you have to take the object from different views and then combine the resulting point clouds into a total point cloud. In addition, another problem is that the depth of field is no longer sufficient for larger expansions in the Z direction. For example, if you want to image and triangulate a laser line with a length of approx. 20 mm, the measuring range is limited to approx. 2 mm for a required Z resolution of approx. 10 μm.
Die US 2012/0194651 A1 zeigt eine Vorrichtung mit der dreidimensionale Ansichten eines abzutastenden Objekts erstellt werden können. Die Vorrichtung nutzt hierzu einerseits das SFF-Verfahren und beleuchtet andererseits das Objekt mit einer Linienlichtquelle.The US 2012/0194651 A1 shows a device with the three-dimensional views of a be scanned object can be created. On the one hand, the device uses the SFF method and, on the other hand, illuminates the object with a line light source.
Aus der DE 699 26 659 T2 ist eine Vorrichtung bekannt, mit der Höheninformationen von einem zu untersuchenden Objekt erhalten werden können. Dabei werden zwei voneinander beabstandete Belichtungsquellen eingesetzt.From the DE 699 26 659 T2 a device is known with which height information can be obtained from an object to be examined. In this case, two spaced-apart exposure sources are used.
Die Aufgabe des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung besteht daher darin, die oben genannten Probleme zu beheben.The object of the method according to the invention and of the device according to the invention is therefore to remedy the above-mentioned problems.
Die Aufgabe wird durch eine Vorrichtung zur dreidimensionalen Erfassung von Oberflächen eines Objektes gemäß dem Anspruch 1 und durch ein Verfahren zur dreidimensionalen Erfassung von Oberflächen eines Objektes gemäß dem Anspruch 14 gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.The object is achieved by a device for three-dimensional detection of surfaces of an object according to claim 1 and by a method for three-dimensional detection of surfaces of an object according to claim 14. Advantageous embodiments are specified in the subclaims.
Die Aufgabe wird gemäß den unabhängigen Ansprüchen 1 und 14 durch Kombination des SFF-Verfahrens mit einem speziellen telezentrischen Lichtschnittverfahren gelöst. Die Vorrichtung zur dreidimensionalen Erfassung von Oberflächen eines Objektes weist zumindest eine Leuchte auf, worüber die zu erfassende Oberfläche des Objektes ausgeleuchtet wird. Zudem umfasst sie eine Kamera mit einem telezentrischen Objektiv zur Bildaufnahme der Oberfläche des Objektes, wobei die Oberfläche durch die zumindest eine Leuchte beleuchtet ist. Außerdem gibt es noch einen ersten Positionierantrieb mittels dessen der Abstand in Z-Richtung oder überwiegend mit einer Komponente in Z-Richtung zwischen dem Objekt und der Kamera veränderbar ist, wodurch verschiedene Höhenstufen einstellbar sind. Eine Auswerteeinheit ist ebenfalls ausgebildet, die mittels des Shape-from-Focus-Verfahrens ein dreidimensionales Abbild der Oberfläche berechnet. Zur Verbesserung der Höhenauflösung weist die Vorrichtung noch zumindest einen telezentrischen Linienlaser auf, mit dem zumindest ein Teil der zu erfassenden Oberfläche des Objektes ausgeleuchtet wird. Die Kamera ist dabei so ausgebildet und/oder angeordnet, dass mittels der Kamera eine Bildaufnahme des zumindest einen Teils der zu erfassenden Oberfläche durchführbar ist, wobei der zumindest eine Teil der zu erfassenden Oberfläche durch den zumindest einen telezentrischen Linienlaser beleuchtet ist, wodurch die Oberfläche abgetastet wird. Die Auswerteeinheit ist ferner so ausgebildet, dass mittels eines telezentrischen Lichtschnittverfahrens zusätzlich ein Höhenbild des zumindest einen Teils der zu erfassenden Oberfläche des Objektes berechenbar ist. Außerdem ist die Auswerteeinheit ferner so ausgebildet, dass nur die Bereiche der Oberfläche des Objektes mit der Laserlinie des zumindest einen telezentrischen Linienlasers abgetastet werden, für die im Shape-from-Focus-Verfahren eine Höhe ermittelt worden ist, die einen einstellbaren Schwellwert überschreitet, wobei für diese Bereiche eine Punktewolke ermittelt wird. In Ergänzung oder alternativ dazu weist die Vorrichtung eine weitere Leuchte auf, mit der die der Kamera entgegengesetzte Seite des Objektes beleuchtet wird, wobei die Auswerteeinheit weiterhin so ausgebildet ist, dass sie mittels des Shape-from-Focus-Verfahrens ein Gesamtfarbbild der Oberfläche des Objektes berechnet.The object is achieved according to the independent claims 1 and 14 by combining the SFF method with a special telecentric light-section method. The device for the three-dimensional detection of surfaces of an object has at least one luminaire, via which the surface of the object to be detected is illuminated. In addition, it includes a camera with a telecentric lens for imaging the surface of the object, wherein the surface is illuminated by the at least one lamp. In addition, there is still a first positioning drive by means of which the distance in the Z direction or predominantly with a component in the Z direction between the object and the camera is variable, whereby different height levels are adjustable. An evaluation unit is likewise designed, which calculates a three-dimensional image of the surface by means of the shape-from-focus method. To improve the height resolution, the device also has at least one telecentric line laser with which at least a part of the surface of the object to be detected is illuminated. In this case, the camera is designed and / or arranged such that an image recording of the at least one part of the surface to be detected can be performed by the camera, wherein the at least one part of the surface to be detected is illuminated by the at least one telecentric line laser, whereby the surface is scanned becomes. The evaluation unit is further configured such that a height image of the at least one part of the surface of the object to be detected can additionally be calculated by means of a telecentric light-section method. In addition, the evaluation unit is further configured such that only the areas of the surface of the object are scanned with the laser line of the at least one telecentric line laser for which a height has been determined in the shape-from-focus method, which exceeds an adjustable threshold for these areas a point cloud is determined. In addition or alternatively, the device has a further light, with which the camera opposite side of the object is illuminated, wherein the evaluation unit is further configured so that they by means of the shape-from-focus method, an overall color image of the surface of the object calculated.
Besonders vorteilhaft ist die Kombination des SFF-Verfahrens mit dem telezentrischen Lichtschnittverfahren. Über das SFF-Verfahren sind grundlegende Angaben, wie z. B. die maximale Höhe des Objekts bekannt, sodass eine optimale, kollisionsfreie Kameraführung innerhalb des telezentrischen Lichtschnittverfahrens möglich ist. Es ist ebenfalls möglich, dass ein genaues Höhenbild nur für Teile des Objektes mit dem telezentrischen Lichtschnittverfahrens erstellt wird. Dadurch können also die Position, die dreidimensionale Form sowie ein schatten-, verzerrungs- und reflexfreies Farbbild der Oberfläche von Objekten im selben Koordinatensystem ermittelt werden. Die erzielbare Genauigkeit hängt von den Details der mechanischen und optischen Komponenten ab; für die hier beschriebene Vorrichtung werden etwa 5 bis etwa 10 μm in allen Richtungen erzielt. Das Ergebnis ist eine dichte Punktewolke mit einen oder mehreren der Komponenten X, Y, Z, Nx, Ny, R, G, B, C, A, mit:
- X, Y, Z:
- Die Koordinaten eines Punktes im Maschinenkoordinatensystem
- Nx, Ny:
- Die relevanten Komponenten des Normalenvektors
- R, G, B:
- Die Farbe des Punktes
- C:
- Ein Confidenz-Wert des Punktes
- A:
- Ein Alpha-Kanal, hier exemplarisch zur Kennzeichnung von Löchern im Objekt.
Particularly advantageous is the combination of the SFF method with the telecentric light section method. The SFF procedure provides basic information, such as: B. the maximum height of the object known, so that an optimal, collision-free camera guidance within the telecentric light section method is possible. It is also possible that an accurate elevation image is only created for parts of the object with the telecentric light-section method. Thus, the position, the three-dimensional shape and a shadow, distortion and reflection-free color image of the surface of objects in the same coordinate system can be determined. The achievable accuracy depends on the details of the mechanical and optical components; for the device described here about 5 to about 10 microns are achieved in all directions. The result is a dense point cloud with one or more of the components X, Y, Z, Nx, Ny, R, G, B, C, A, with: - X, Y, Z:
- The coordinates of a point in the machine coordinate system
- Nx, Ny:
- The relevant components of the normal vector
- R, G, B:
- The color of the point
- C:
- A confidence value of the point
- A:
- An alpha channel, here exemplarily for the marking of holes in the object.
Bereiche, die über keine nennenswerte Erstreckung in Z-Richtung, also von der Oberfläche des Objekts in Richtung der Kamera, verfügen, können von dem Abtasten mittels des telezentrischen Lichtschnittverfahrens ausgenommen werden, sodass die Abtastung weniger Zeit beansprucht. Die weitere Leuchte erlaubt eine hochgenaue Erfassung der äußeren Objektkonturen, sowie von Durchbrüchen oder Bohrungen. Aus den sich ergebenden kontrastreichen Aufnahmen der einzelnen, dem Blickfeld der telezentrischen Optik entsprechenden Teilbildern, den sog. Kacheln, können dann nach bekannten Verfahren neben dem Farbbild und dem 3D-Bild zugleich auch die Konturdaten ermittelt werden.Areas that have no appreciable extension in the Z-direction, ie from the surface of the object in the direction of the camera, can be excluded from the scanning by means of the telecentric light-section method, so that the scanning takes less time. The other lamp allows a highly accurate detection of the outer object contours, as well as openings or holes. From the resulting high-contrast images of the individual, the field of view of the telecentric optics corresponding sub-images, the so-called tiles, then the contour data can be determined by known methods in addition to the color image and the 3D image at the same time.
Weiterhin besteht ein Vorteil, wenn die Vorrichtung zumindest einen zweiten Positionierantrieb aufweist, über den das Objekt in seiner X- und/oder Y-Richtung oder überwiegend mit einer Komponente in X- und/oder Y-Richtung bewegbar ist oder über den die Kamera in ihrer X- und/oder Y-Richtung oder überwiegend mit einer Komponente in X- und/oder Y-Richtung bewegbar ist und/oder wenn mittels des ersten Positionierantriebs das Objekt in Z-Richtung oder überwiegend mit einer Komponente in Z-Richtung bewegbar ist oder wenn mittels des ersten Positionierantriebs die Kamera in Z-Richtung oder überwiegend mit einer Komponente in Z-Richtung bewegbar ist. Furthermore, there is an advantage if the device has at least one second positioning drive, via which the object can be moved in its X and / or Y direction or predominantly with a component in the X and / or Y direction or via which the camera is moved their X- and / or Y-direction or predominantly with a component in the X and / or Y-direction is movable and / or if by means of the first positioning drive the object in the Z-direction or predominantly with a component in the Z-direction is movable or if by means of the first positioning drive the camera is movable in the Z-direction or predominantly with a component in the Z-direction.
Dadurch können auch größere Objekte abgetastet werden, die durch ein telezentrisches Objektiv nicht vollständig erfasst werden könnten, wobei die Objekte nicht von Hand neu positioniert werden müssen.As a result, even larger objects can be scanned, which could not be completely detected by a telecentric lens, whereby the objects do not have to be repositioned by hand.
Außerdem besteht bei der erfindungsgemäßen Vorrichtung ein Vorteil, wenn die Vorrichtung zumindest einen zweiten telezentrische Linienlaser aufweist, wobei die Laserlinien der beiden telezentrischen Linienlaser in einer X/Y-Bezugsebene parallel zueinander sind und/oder wobei deren Laserlinien in einer X/Y-Bezugsebene in etwa quer zur Bewegungsrichtung des Objekts oder in etwa quer zur Bewegungsrichtung der Kamera verlaufen. Dies bewirkt, dass die Abschattungen weiter reduziert werden. Bei Einsatz nur eines telezentrischen Linienlasers müsste das Objekt um 180° gedreht und nochmals abgetastet werden. Dies wird durch den Einsatz eines zweiten telezentrischen Linienlasers umgangen, sodass die Abtastung weniger Zeit beansprucht und außerdem ohne das Erfordernis einer erneuten Kalibrierung automatisch im selben Koordinatensystem erfolgt. Unter Abtastung ist zu verstehen, dass die zumindest zwei telezentrischen Linienlasers je eine Laserlinie auf das Objekt projektzieren und die Kamera ein Bild aufnimmt, wobei die Auswerteeinheit auf dem Bild die Position der Laserlinien bestimmt und die räumliche Ausbildung des Objekts bestimmt. Das Objekt wird nach jedem Bild bzgl. der Kamera verfahren, sei es in vertikaler und/oder lateraler Art und Weise, sodass die Laserlinien eine andere Stelle des Objekts beleuchten. Danach nimmt die Kamera erneut ein Bild auf.In addition, there is an advantage in the device according to the invention, when the device comprises at least a second telecentric line laser, wherein the laser lines of the two telecentric line lasers in an X / Y reference plane are parallel to each other and / or whose laser lines in an X / Y reference plane in approximately transverse to the direction of movement of the object or approximately transverse to the direction of movement of the camera. This causes the shadowing to be further reduced. When using only a telecentric line laser, the object would have to be rotated by 180 ° and scanned again. This is circumvented by the use of a second telecentric line laser, so that scanning takes less time and also occurs automatically in the same coordinate system without the need for recalibration. Scanning means that the at least two telecentric line lasers each project a laser line onto the object and the camera takes an image, wherein the evaluation unit determines the position of the laser lines on the image and determines the spatial configuration of the object. The object is moved after each image with respect to the camera, be it in a vertical and / or lateral manner, so that the laser lines illuminate a different location of the object. Then the camera takes another picture.
Ferner besteht bei der erfindungsgemäßen Vorrichtung ein Vorteil, wenn die zumindest zwei telezentrischen Linienlaser kurzwelliges Laserlicht mit einer Wellenlänge von 350 nm bis 450 nm, bevorzugt 370 nm bis 430 nm, weiter bevorzugt 390 nm bis 410 nm aussenden und/oder wenn vor dem telezentrischen Objektiv der Kamera ein Polarisationsfilter angeordnet ist. Dadurch werden Reflexionen vermieden.Furthermore, there is an advantage in the device according to the invention if the at least two telecentric line lasers emit short-wavelength laser light having a wavelength of 350 nm to 450 nm, preferably 370 nm to 430 nm, more preferably 390 nm to 410 nm and / or if in front of the telecentric lens the camera is a polarizing filter is arranged. This will avoid reflections.
Zudem besteht bei der erfindungsgemäßen Vorrichtung ein Vorteil, wenn die Auswerteeinheit so ausgebildet ist, wenn bei Objekten, die breiter sind als die Länge der Laserlinie des zumindest einen telezentrischen Linienlasers, das Objekt über seine gesamte Breite nacheinander mit parallelen Streifen abgetastet wird, wobei die Breite eines Streifens in etwa der Länge der Laserlinie und die Länge eines Streifens der Länge des Objekts entspricht, wobei für jeden Streifen eine separate Punktewolke ermittelt wird. Dies bedeutet, dass zuerst ein Streifen vollständig abgetastet wird, was bedeutet, dass nachdem die zumindest eine Laserlinie auf einem Bild detektiert wurde, das Objekt in seiner Bewegungsrichtung entsprechend der Auflösung von z. B. mehr als 10 μm oder mehr als 15 μm weiter verschoben wird, wo dann abermals die Laserlinie auf dem neuen Bild detektiert wird. Ist ein Streifen vollständig abgetastet, dann wird das Objekt quer zu der Bewegungslinie um die Länge der Laserlinie verschoben, sodass dann ein neuer Streifen abgetastet wird. Dies geht solange, bis das ganze Objekt bzgl. seiner gesamten Länge und seiner gesamten Breite abgetastet wurde.In addition, there is an advantage in the device according to the invention if the evaluation unit is designed so that for objects that are wider than the length of the laser line of the at least one telecentric line laser, the object is scanned over its entire width successively with parallel strips, wherein the width a stripe approximately the length of the laser line and the length of a stripe corresponds to the length of the object, a separate scatter plot being determined for each stripe. This means that first a strip is completely scanned, which means that after the at least one laser line has been detected on an image, the object is moved in its direction of movement according to the resolution of e.g. B. more than 10 microns or more than 15 microns further, where then again the laser line is detected on the new image. When a stripe is completely scanned, the object is translated transversely to the line of movement about the length of the laser line so that a new stripe is scanned. This continues until the entire object has been scanned for its entire length and its entire width.
Weiterhin besteht bei der erfindungsgemäßen Vorrichtung ein Vorteil, wenn die Auswerteeinheit außerdem so ausgebildet ist, dass sie die Punktewolken vereinigt und daraus eine Gesamtpunktewolke einer Höhenstufe berechnet. Dadurch können Objekte abgetastet werden, die nicht auf einmal durch das telezentrische Objektiv abgebildet werden könnten.Furthermore, there is an advantage in the device according to the invention, if the evaluation unit is also designed so that it combines the point clouds and calculates an overall point cloud of a height level. As a result, objects can be scanned that could not be imaged by the telecentric lens at once.
Außerdem besteht bei der erfindungsgemäßen Vorrichtung ein Vorteil, wenn die Auswerteeinheit derart ausgebildet ist, dass sie mittels des ersten Positionierantriebes den Abstand in Z-Richtung oder überwiegend mit einer Komponente in Z-Richtung zwischen dem Objekt und der Kamera verändert und dadurch eine neue Höhenstufe einstellt und für diese neue Höhenstufe die Abtastung ganz oder teilweise wiederholt und eine entsprechende neue Gesamtpunktewolke berechnet. Dadurch kann ein sehr genaues dreidimensionales Abbild der Oberfläche des Objekts erzeugt werden. Bevorzugt wird das Objekt nur in den Bereichen in jeder Höhenstufe abgetastet, in welchen die Oberfläche ausgebildet ist, also in welche Bereiche sich das Objekt überhaupt erstreckt.In addition, there is an advantage in the device according to the invention if the evaluation unit is designed such that it changes the distance in the Z direction or predominantly with a component in the Z direction between the object and the camera by means of the first positioning drive and thereby sets a new height level and for this new altitude level, the sampling is repeated in whole or in part and a corresponding new total point cloud is calculated. As a result, a very accurate three-dimensional image of the surface of the object can be generated. Preferably, the object is scanned only in the areas in each altitude level, in which the surface is formed, ie in which areas the object extends at all.
Zudem besteht bei der erfindungsgemäßen Vorrichtung ein Vorteil, wenn die Auswerteeinheit so ausgebildet ist, dass sie die Gesamtpunktewolken aller Höhenstufen kombiniert und daraus das Höhenbild berechnet.In addition, there is an advantage in the device according to the invention if the evaluation unit is designed such that it combines the total point clouds of all height levels and calculates the height image therefrom.
Ferner besteht bei der erfindungsgemäßen Vorrichtung ein Vorteil, wenn die Auswerteeinheit derart ausgebildet ist, dass Lücken in dem Höhenbild durch Messwerte des im Shape-from-Focus-Verfahren gewonnenen dreidimensionalen Abbildes der Oberfläche des Objektes ersetzt werden und/oder wenn das Objekt um mehr als 30° und weniger als 150°, bevorzugt um mehr als 50° und weniger als 130°, weiter bevorzugt um mehr als 80° und weniger als 100°, weiter bevorzugt um 90° gedreht und für die Bereiche der Lücken die Abtastung für die jeweiligen Höhenstufen erneut durchgeführt und mit den gewonnenen neuen Punktewolken das Höhenbild ergänzt wird. Abschattungen oder Lücken, die beispielsweise durch tiefe ”Schluchten” entstehen, können so aufgefüllt werden. Durch die Drehung des Objekts kann die Beleuchtung des Objekts ggf. derart geändert werden, dass auch ”Schluchten” hinreichend beleuchtet werden, sodass hierfür Messwerte zu Verfügung stehen.Furthermore, there is an advantage in the device according to the invention if the evaluation unit is designed such that gaps in the height image are measured by measured values of the three-dimensional image obtained in the shape-from-focus method Surface of the object to be replaced and / or if the object by more than 30 ° and less than 150 °, preferably more than 50 ° and less than 130 °, more preferably more than 80 ° and less than 100 °, more preferably 90 ° rotated and scanned again for the areas of the gaps for the respective height levels and supplemented with the obtained new point clouds, the height image. Shadows or gaps created, for example, by deep "gorges" can thus be filled up. Due to the rotation of the object, the illumination of the object can possibly be changed in such a way that even "gullies" are adequately illuminated, so that measured values are available for this purpose.
Schließlich besteht bei der erfindungsgemäßen Vorrichtung ein Vorteil, wenn die Auswerteeinheit derart ausgebildet ist, dass sie das Höhenbild mit dem Gesamtfarbbild kombiniert. Dadurch entsteht ein scharfes und farbiges dreidimensionale Bild des Objekts.Finally, there is an advantage in the device according to the invention if the evaluation unit is designed such that it combines the height image with the overall color image. This creates a sharp and colorful three-dimensional image of the object.
Die vorstehend gemachten Ausführungen gelten auch für das erfindungsgemäße Verfahren zur dreidimensionalen Erfassung von Oberflächen eines Objektes. Verschiedene Ausführungsbeispiele der Erfindung werden nachfolgend unter Bezugnahme auf die Zeichnungen beispielhaft beschrieben. Gleiche Gegenstände weisen dieselben Bezugszeichen auf. Die entsprechenden Figuren der Zeichnung zeigen im Einzelnen: The statements made above also apply to the method according to the invention for the three-dimensional detection of surfaces of an object. Various embodiments of the invention will now be described by way of example with reference to the drawings. Same objects have the same reference numerals. The corresponding figures of the drawing show in detail:
1A: eine vereinfachte Seitenansicht der erfindungsgemäßen Vorrichtung zur dreidimensionalen Erfassung von Oberflächen eines Objektes, wobei diese gerade das SFF-Verfahren ausführt; 1A a simplified side view of the device according to the invention for the three-dimensional detection of surfaces of an object, which just performs the SFF method;
1B: eine weitere vereinfachte Seitenansicht der erfindungsgemäßen Vorrichtung zur dreidimensionalen Erfassung von Oberflächen eines Objektes, wobei diese gerade das telezentrische Lichtschnittverfahren ausführt; 1B FIG. 2: another simplified side view of the device according to the invention for the three-dimensional detection of surfaces of an object, which is currently performing the telecentric light-section method;
2A: eine vereinfachte Darstellung, die erläutert, wie die Abtastung im SFF-Verfahren erfolgt; 2A a simplified representation explaining how SFF sampling is performed;
2B: eine vereinfachte Darstellung, die erläutert, wie die Laserlinien der zumindest zwei telezentrischen Linienlaser auf einem Positioniertisch zueinander ausgerichtet sind und wie die Abtastung in diesem Verfahren erfolgt; 2 B FIG. 2 is a simplified illustration explaining how the laser lines of the at least two telecentric line lasers are aligned on a positioning table and how the scanning is done in this method;
3A: eine vereinfachte Darstellung, die erläutert, warum bei einer Standard-Laserlinie mit Abschattungen zu rechnen ist; 3A : a simplified illustration that explains why shadowing is expected on a standard laser line;
3B: eine weitere vereinfachte Darstellung, die erläutert, warum bei einer telezentrischen Laserlinie nicht mit Abschattungen zu rechnen ist; 3B : another simplified illustration that explains why shadowing is not expected for a telecentric laser line;
4: eine vereinfachte Darstellung, die die Interaktion der verschiedenen Einheiten innerhalb der erfindungsgemäßen Vorrichtung beschreibt; 4 a simplified diagram describing the interaction of the various units within the device according to the invention;
5A: eine Darstellung, die das SFF-Verfahren und die Schnittstelle zum telezentrischen Lichtschnittverfahren näher beschreibt; und 5A Fig. 4 is a diagram detailing the SFF method and the interface to the telecentric light-section method; and
5B: eine Darstellung, die das telezentrische Lichtschnittverfahren näher beschreibt. 5B : A representation that describes the telecentric light-section method in more detail.
1A zeigt die erfindungsgemäße Vorrichtung 1 zur dreidimensionalen Erfassung von Oberflächen eines Objekts 2. Die erfindungsgemäße Vorrichtung 1 arbeitet gemäß den SFF-Verfahren und dem telezentrischen Lichtschnittverfahren. Die Vorrichtung 1 weist zumindest eine Leuchte 3a auf, die dazu dient, die zu erfassende Oberfläche des Objekts 2 auszuleuchten. Weiter umfasst die Vorrichtung 1 eine Kamera 4 die mit einem telezentrischen Objektiv 5 ausgestattet ist und zur Bildaufnahme der Oberfläche des Objekts 2 dient. Zudem weist die Vorrichtung 1 einen ersten Positionierantrieb 6a auf, mittels dessen der Abstand in Z-Richtung oder überwiegend mit einer Komponente in Z-Richtung zwischen dem Objekt 2 und der Kamera 4, veränderbar ist, wodurch verschiedene Höhenstufen einstellbar sind. Eine erste Höhenstufe unterscheidet sich von einer zweiten Höhenstufe durch Veränderungen des Wertes für die Z-Achse. Bei dem Positionierantrieb 6a handelt es sich bevorzugt um einen Linearantrieb. Unter einer Z-Richtung ist der Abstand in axialer Richtung zwischen dem Objekt 2 und der Optik 5, also der Kamera 4 zu verstehen. Das Objekt 2 liegt dabei bevorzugt auf einem Positioniertisch 7, bzw. wird in einen solchen Positioniertisch 7 eingespannt. Dieser Positioniertisch 7 ist bevorzugt lateral verfahrbar. Er weist folglich zwei translatorische Freiheitsgrade auf. Der Positioniertisch 7 ist bevorzugt in der X-Achse, als auch in der Y-Achse verfahrbar. Es ist auch möglich, dass der Positioniertisch 7 ebenfalls in seiner Höhe veränderbar ist, so dass der Abstand zwischen dem Objekt 2 und dem telezentrischen Objektiv 5 durch eine Änderung der Höhe des Positioniertisches 7 veränderbar ist. Bevorzugt wird allerdings die Kamera 4 zusammen mit der telezentrischen Optik 5 in ihrer Höhe, also in Richtung zum Positioniertisch 7 verfahren. 1A shows the device according to the invention 1 for the three-dimensional detection of surfaces of an object 2 , The device according to the invention 1 works according to the SFF method and the telecentric light-section method. The device 1 has at least one light 3a which serves the surface of the object to be detected 2 illuminate. Furthermore, the device comprises 1 a camera 4 those with a telecentric lens 5 is equipped and to image the surface of the object 2 serves. In addition, the device 1 a first positioning drive 6a by means of which the distance in the Z-direction or predominantly with a component in the Z-direction between the object 2 and the camera 4 , is changeable, whereby different height levels are adjustable. A first altitude level differs from a second altitude level by changes in the Z-axis value. In the positioning drive 6a it is preferably a linear drive. Under a Z-direction, the distance in the axial direction between the object 2 and the optics 5 So the camera 4 to understand. The object 2 is preferably located on a positioning table 7 , or is in such a positioning table 7 clamped. This positioning table 7 is preferably laterally movable. It therefore has two translatory degrees of freedom. The positioning table 7 is preferably movable in the X-axis, as well as in the Y-axis. It is also possible that the positioning table 7 also in height is changeable, so that the distance between the object 2 and the telecentric lens 5 by changing the height of the positioning table 7 is changeable. However, the camera is preferred 4 together with the telecentric optics 5 in their height, that is towards the positioning table 7 method.
Es ist auch möglich, dass die Kamera 4 zusammen mit dem telezentrischen Objektiv 5 bezüglich ihrer X-Achse und/oder Y-Achse verfahrbar ist.It is also possible that the camera 4 together with the telecentric lens 5 is movable with respect to its X-axis and / or Y-axis.
Die Vorrichtung 1 weist außerdem noch zumindest einen telezentrischen Linienlaser 8a, 8b auf. Dieser telezentrische Linienlaser 8a, 8b wird zur Durchführung des telezentrischen Lichtschnittverfahrens benötigt. Über diesen wird zumindest ein Teil der zu erfassenden Oberfläche des Objektes 2 ausgeleuchtet, sodass mittels der Kamera 4 das Objekt schließlich aufgenommen, also abgetastet werden kann.The device 1 also has at least one telecentric line laser 8a . 8b on. This telecentric line laser 8a . 8b is needed to carry out the telecentric light-section method. About this is at least a part of the surface to be detected of the object 2 illuminated, so by means of the camera 4 the Object finally recorded, so it can be sampled.
Die Kamera 4 ist dabei stets so ausgebildet und/oder angeordnet, dass mittels der Kamera 4 eine Bildaufnahme des zumindest einen Teils der zu erfassenden Oberfläche des Objektes 2 durchführbar ist. Dieser zumindest eine Teil der zu erfassenden Oberfläche des Objektes 2 wird entweder durch die zumindest eine erste Leuchte 3a – im Falle des SFF-Verfahrens – oder durch den zumindest einen telezentrischen Linienlaser 8a, 8b – im Falle des telezentrischen Lichtschnittverfahrens – beleuchtet. In einer Ausführungsform kann eine Farbkamera mit einer Auflösung von beispielsweise 5 MPixel sowie einem telezentrischen Objektiv 5, welches ein Blickfeld von beispielsweise 16 × 12 mm liefert verwendet werden. In diesem Beispiel würde die laterale Auflösung ca. 7 μm betragen.The camera 4 is always designed and / or arranged so that by means of the camera 4 an image recording of the at least part of the surface to be detected of the object 2 is feasible. This at least a part of the surface of the object to be detected 2 Either through the at least one first light 3a In the case of the SFF method, or by the at least one telecentric line laser 8a . 8b - in the case of the telecentric light-section method - illuminated. In one embodiment, a color camera with a resolution of, for example, 5 MPixels and a telecentric lens 5 , which provides a field of view of, for example, 16 × 12 mm. In this example, the lateral resolution would be about 7 μm.
Um störende Reflektionen von der Objektoberfläche zu minimieren, wird bevorzugt vor dem telezentrischen Objektiv 5 ein Polarisationsfilter 9 angeordnet. Die Kamera 4 und das telezentrische Objektiv 5 besitzen bevorzugt eine achsenparallele Lichteinkopplung. Bevorzugt wird daher vor das telezentrische Objektiv 5 ein halbdurchlässiger Spiegel oder ein Strahlteilerprisma 10 montiert.In order to minimize spurious reflections from the object surface, it is preferred in front of the telecentric lens 5 a polarizing filter 9 arranged. The camera 4 and the telecentric lens 5 preferably have an axis-parallel light coupling. Preference is therefore given to the telecentric lens 5 a semitransparent mirror or a beam splitter prism 10 assembled.
In dem Ausführungsbeispiels aus 1A befindet sich die zumindest eine Leuchte 3a auf der linken Seite und beleuchtet das Objekt 2 über das Strahlteilerprisma 10. Der Weg des Lichtstrahles ist durch gestrichelte Pfeile innerhalb von 1A ersichtlich. Das Strahlteilerprisma kann zudem noch einen Polarisationsfilter aufweisen.In the embodiment of 1A is the at least one lamp 3a on the left and illuminates the object 2 over the beam splitter prism 10 , The path of the light beam is indicated by dashed arrows within 1A seen. The beam splitter prism can also have a polarizing filter.
Die Kamera 4 ist bevorzugt an einem Träger montiert, wobei an diesem Träger im Ausführungsbeispiel aus 1A zumindest zwei telezentrische Linienlaser 8a, 8b angebracht sind. Die zumindest zwei telezentrischen Linienlaser 8a, 8b sind an zwei unterschiedlichen, bevorzugt gegenüberliegenden Seitenflächen des Trägers der Kamera 4 angeordnet. Der Abstand zwischen den beiden telezentrischen Linienlasern 8a, 8b beträgt mehr als 5 cm, weiter bevorzugt mehr als 10 cm, weiter bevorzugt mehr als 15 cm, weiter bevorzugt mehr als 20 cm. In dem Ausführungsbeispiel aus 1A sind die zumindest zwei telezentrischen Linienlaser 8a, 8b mittels eines Abstandhalters 11 an den Seitenflächen des Trägers angeordnet. Jeder der zumindest zwei telezentrischen Linienlaser 8a, 8b bildet mit dem in Richtung des Objektes 2 angeordneten telezentrischen Objektives 5 einen Winkel α. Der telezentrische Linienlaser 8a, 8b und damit die von dem telezentrischen Linienlaser 8a, 8b erzeuge Laserstrahlebene ist gegenüber der Vertikalen in dem Winkel α derart geneigt, dass die Laserlinien 15a, 15b von dem zur Kamera 4 seitlich versetzt angeordneten telezentrischen Linienlaser 8a, 8b in dem von der Kamera 4 erfassten Objektbereich auftreffen. Selbiges gilt auch für den zumindest einen zweiten telezentrischen Linienlaser 8a, 8b. Dieser ist auf der gegenüberliegenden Seite der Kamera 4 zu einer durch die Kamera 4 vertikal verlaufenden Symmetrieebene symmetrisch angeordnet. Die Laserlinie 15a, 15b des zumindest einen zweiten telezentrischen Linienlasers 8a, 8b trifft ebenfalls in dem von der Kamera 4 erfassten Objektbereich auf. Die zumindest zwei telezentrischen Linienlaser 8a, 8b sind bevorzugt schwenkbar an den Seitenflächen des Trägers, bzw. bevorzugt schwenkbar an dem Abstandshalter 11 angebracht, wodurch der sich einstellende Winkel α veränderbar ist. Für kleine Winkel α erreicht man einen größeren Messbereich bei geringerer Höhenauflösung und für große Winkel α einen kleinen Messbereich bei besserer Höhenauflösung. In einer beispielhaften Anwendung werden zwei telezentrische Linienlaser 8a, 8b mit 16 mm Linienlänge und 15 μm Linienbreite im Fokus verwendet. Bei einem Winkel α = 50° resultieren daraus ein Messbereich von ca. +/–1 mm und eine Höhenauflösung von ca. 10 μm. Bevorzugt werden zumindest zwei telezentrische Linienlaser 8a, 8b mit entgegengesetzten Einstrahlwinkeln eingesetzt, die zusammen mit der telezentrischen Optik 5 dafür sorgen, dass die bisher unvermeidlichen Abschattungen bekannter Anordnungen weitgehend vermieden werden.The camera 4 is preferably mounted on a support, wherein on this carrier in the embodiment of 1A at least two telecentric line lasers 8a . 8b are attached. The at least two telecentric line lasers 8a . 8b are on two different, preferably opposite side surfaces of the support of the camera 4 arranged. The distance between the two telecentric line lasers 8a . 8b is more than 5 cm, more preferably more than 10 cm, more preferably more than 15 cm, more preferably more than 20 cm. In the embodiment 1A are the at least two telecentric line lasers 8a . 8b by means of a spacer 11 arranged on the side surfaces of the carrier. Each of the at least two telecentric line lasers 8a . 8b forms with the in the direction of the object 2 arranged telecentric lenses 5 an angle α. The telecentric line laser 8a . 8b and with that of the telecentric line laser 8a . 8b generate laser beam plane is inclined relative to the vertical at the angle α such that the laser lines 15a . 15b from that to the camera 4 laterally offset telecentric line lasers 8a . 8b in the from the camera 4 hit captured object area. The same applies to the at least one second telecentric line laser 8a . 8b , This one is on the opposite side of the camera 4 to one through the camera 4 vertically extending symmetry plane arranged symmetrically. The laser line 15a . 15b the at least one second telecentric line laser 8a . 8b also meets in the camera 4 captured object area. The at least two telecentric line lasers 8a . 8b are preferably pivotable on the side surfaces of the carrier, or preferably pivotally mounted on the spacer 11 attached, whereby the adjusting angle α is variable. For small angles α one achieves a larger measuring range with lower height resolution and for large angles α a small measuring range with better height resolution. In an exemplary application, two telecentric line lasers are used 8a . 8b used with 16 mm line length and 15 μm line width in focus. At an angle α = 50 °, this results in a measuring range of approx. +/- 1 mm and a height resolution of approx. 10 μm. At least two telecentric line lasers are preferred 8a . 8b used with opposite angles of incidence, which together with the telecentric optics 5 ensure that the previously unavoidable shadowing of known arrangements are largely avoided.
Der Winkel α wird bevorzugt kleiner als 80°, weiter bevorzugt kleiner als 70°, weiter bevorzugt kleiner als 60°, weiter bevorzugt kleiner als 50° gewählt. Der Winkel α sollte allerdings bevorzugt größer als 10°, weiter bevorzugt größer als 20° sein.The angle α is preferably chosen to be less than 80 °, more preferably less than 70 °, more preferably less than 60 °, more preferably less than 50 °. However, the angle α should preferably be greater than 10 °, more preferably greater than 20 °.
Die zumindest zwei telezentrischen Linienlaser 8a, 8b emittieren bevorzugt kurzwelliges Laserlicht, damit störende spiegelnde Reflexe von der Objektoberfläche minimiert werden. bevorzugt wird beispielsweise ein blauer Laser mit einer Wellenlänge von 405 Nanometer eingesetzt.The at least two telecentric line lasers 8a . 8b preferably emit short-wave laser light, so that disturbing specular reflections are minimized by the object surface. For example, a blue laser with a wavelength of 405 nanometers is preferably used.
Dargestellt ist auch, dass die Vorrichtung 1 eine weitere Leuchte 3b aufweist. Diese weitere Leuchte 3b ist auf der Unterseite des Objekts 2 angebracht. Die Unterseite des Objekts 2 ist dabei die Seite, die zu der, der Kamera 4 zugewandten Seite, entgegengesetzt ist. Die Unterseite des Objekts 2 wird durch die weitere Leuchte 3b beleuchtet. Dies erlaubt die Aufnahme eines Bildes mit Gegenlicht, was zur hochgenauen Erfassung der äußeren Objektkonturen, sowie von Durchbrüchen oder Bohrungen herangezogen werden kann. Die weitere Leuchte 3b ist bevorzugt innerhalb des Positioniertisches 7 integriert und beispielsweise flach ausgeführt und stellt eine homogene Gegenlichtbeleuchtung zur Verfügung. Aus den sich ergebenden kontrastreichen Aufnahmen können dann, wie später noch erläutert wird, die Konturdaten ermittelt werden. Die zumindest eine Leuchte 3a und die weitere Leuchte 3b sind nicht zur selben Zeit in Betrieb. Auch dieser Sachverhalt wird im Weiteren noch kurz erläutert.It is also shown that the device 1 another lamp 3b having. This further light 3b is on the bottom of the object 2 appropriate. The bottom of the object 2 is the side that leads to the, the camera 4 facing side, is opposite. The bottom of the object 2 is through the further light 3b illuminated. This allows the recording of an image with backlight, which can be used for high-precision detection of the outer object contours, as well as openings or holes. The other light 3b is preferably within the positioning table 7 integrated and flat, for example, and provides a homogeneous backlighting available. From the resulting high-contrast images then, as will be explained later, the contour data can be determined. The at least one light 3a and the other light 3b are not in operation at the same time. This situation will also be briefly explained below.
1B zeigt eine weitere vereinfachte Seitenansicht der erfindungsgemäßen Vorrichtung 1 zur dreidimensionalen Erfassung von Oberflächen eines Objektes 2, wobei die Vorrichtung 1 das telezentrische Lichtschnittverfahren ausführt. Dargestellt sind die Laserlinien 15a, 15b der beiden telezentrischen Linienlaser 8a, 8b. Die zumindest beiden telezentrischen Linienlaser 8a, 8b bilden mit der optischen Achse der Kamera, bzw. dem telezentrischen Objektiv 5 einen Winkel aus, der kleiner ist als 90°. Für den Fall, dass die beiden telezentrischen Linienlaser 8a, 8b in Betrieb sind, sind die zumindest eine Leuchte 3a und die weitere Leuchte 3b außer Betrieb. Der Positioniertisch 7 ist bezüglich seiner Y-Achse und seiner X-Achse mittels eines zweiten Positionierantriebs 6b verfahrbar. Bei dem zweiten Positionierantrieb 6b handelt es sich bevorzugt ebenfalls um einen Linearantrieb. 1B shows a further simplified side view of the device according to the invention 1 for the three-dimensional detection of surfaces of an object 2 , wherein the device 1 performs the telecentric light section method. Shown are the laser lines 15a . 15b the two telecentric line lasers 8a . 8b , The at least two telecentric line lasers 8a . 8b form with the optical axis of the camera, or the telecentric lens 5 an angle smaller than 90 °. In the event that the two telecentric line lasers 8a . 8b are in operation, which are at least one light 3a and the other light 3b out of order. The positioning table 7 is with respect to its Y-axis and its X-axis by means of a second positioning drive 6b traversable. In the second positioning drive 6b it is preferably also a linear drive.
2A zeigt eine vereinfachte Darstellung, die erläutert, wie die Abtastung im SFF-Verfahren erfolgt. Dargestellt ist eine Draufsicht auf den Positioniertisch 7. Es könnte sich auch um die Draufsicht auf ein Objekt 2 handeln, welches eine ausgesprochen glatte Oberfläche aufweist. Dargestellt ist die X/Y-Ebene, die, wie entsprechend den Pfeilen angedeutet, verfahrbar ist. Gestrichelt angedeutet ist in 2A eine sogenannte Kachel 16. Die Kachel 16 stellt dabei das Blickfeld des telezentrischen Objektives 5 dar, zeigt also den Bereich an, der von dem telezentrischen Objektiv 5 erfasst wird. Die Kachel 16 kann beispielsweise eine Länge von 16 mm und eine Breite von beispielsweise 12 mm aufweisen. Innerhalb des SFF-Verfahren, wie später noch erläutert wird, nimmt die Kamera 4 ein Bild auf. Anschließend wird die Höhe um eine Höhenstufe verändert und ein weiteres Bild wird aufgenommen. Insgesamt werden so viele Höhenstufen eingenommen, dass das Objekt 2 in seiner gesamten Höhe erfasst werden kann, bei einer typischen Ausführung sind dies beispielsweise ca. 40 mm, wobei in jedem Schritt ein neues Bild aufgenommen und zwischengespeichert wird. Insgesamt werden bevorzugt mehr als 200 Bilder, weiter bevorzugt mehr als 250 Bilder, weiter bevorzugt mehr als 300 Bilder gemacht. Danach wird der Positioniertisch in Bewegungsrichtung entsprechend verfahren, sodass die Kachel 16 auf bislang noch nicht aufgenommene Bereiche des Objekts 2 zeigt. Es ist auch möglich, dass ich die Positionen der Kacheln 16 teilweise überlappen. Weist die Kachel 16 wie im Beispiel eine Länge von 16 mm auf, dann wird sie um beispielsweise um 16 mm in Bewegungsrichtung verfahren und es werden Abermals die Bilder unter Änderungen des relativen Abstands zwischen dem Objekt 2 und der Kamera 4 aufgenommen. Dies geschieht solange, bis die gesamte Oberfläche des Objekts entsprechend erfasst, also abgetastet ist. 2A shows a simplified representation that explains how the sampling is done in the SFF method. Shown is a plan view of the positioning table 7 , It could also be the top view of an object 2 act, which has a very smooth surface. Shown is the X / Y plane, which, as indicated by the arrows, is movable. Dashed lines are indicated in 2A a so-called tile 16 , The tile 16 represents the field of view of the telecentric objective 5 Thus, it indicates the area of the telecentric lens 5 is detected. The tile 16 may for example have a length of 16 mm and a width of 12 mm, for example. Within the SFF procedure, as will be explained later, the camera picks up 4 a picture on. Then the height is changed by one height level and another picture is taken. Overall, so many levels are taken that the object 2 can be detected in its entire height, for example, in a typical embodiment, these are about 40 mm, with a new image is taken and cached in each step. Overall, preferably more than 200 images, more preferably more than 250 images, more preferably more than 300 images are made. Thereafter, the positioning table is moved in the direction of movement accordingly, so that the tile 16 on previously unrecorded areas of the object 2 shows. It is also possible for me to change the positions of the tiles 16 partially overlap. Indicates the tile 16 as in the example a length of 16 mm, then it is moved by, for example, 16 mm in the direction of movement and it will be again the images with changes in the relative distance between the object 2 and the camera 4 added. This happens until the entire surface of the object is detected accordingly, that is scanned.
2B zeigt eine vereinfachte Darstellung, die erläutert, wie die Laserlinien 15a, 15b der zumindest zwei telezentrischen Linienlaser 8a, 8b auf einem Positioniertisch 7, bzw. in einer X/Y-Bezugsebene zueinander ausgerichtet sind. Anstatt eines Positioniertisches 7 wären die Laserlinien 15a, 15b auch bei einem flachen Objekt 2 entsprechend der in 2B dargestellten Ausführungsform ausgerichtet. Die Laserlinien 15a, 15b der beiden telezentrischen Linienlaser 8a, 8b sind in Draufsicht, also aus Sicht der Kamera 4 parallel zueinander ausgerichtet. Die Laserlinien 15a, 15b verlaufen dabei quer zur Bewegungsrichtung des Objekts 2 oder quer zur Bewegungsrichtung der Kamera 4. In dem Ausführungsbeispiel aus 2B wird das Objekt bezüglich seiner Y-Achse verschoben. Die Verschiebung in der Y-Achse stellt daher die Bewegungsrichtung dar. Würde eine Verschiebung in Richtung der X-Achse während der Abtastung erfolgen, dann würde die Bewegungsrichtung in Richtung der X-Achse verlaufen, so dass die beiden Laserlinien 15a, 15b um 90° gedreht werden müssten. Gestrichelt angedeutet ist in 2B die Kachel 16, die dem Bereich entspricht, der von dem telezentrischen Objektiv 5 erfasst wird. Die Kachel 16 kann beispielsweise eine Länge von 16 mm und eine Breite von beispielsweise 12 mm aufweisen. Die Größe des Positioniertisches 7 ist nicht maßstabsgetreu. Weitere gestrichelte Linien, die parallel zur Y-Achse sind, unterteilen den Positioniertisch in verschiedene parallele Streifen 17a, 17b, 17c. Im weiteren Verlauf wird erläutert, wie durch Verschieben des Positioniertisches 7 sowohl in der Y-Achse, als auch in der X-Achse, die Kachel 16 entlang der Streifen 17a, 17b, 17c wandert, wodurch die Abtastung des Objektes 2 erfolgt. Es ist klar, dass anstelle einer Bewegung des Positioniertisches 7 in X-Achse und Y-Achse auch die Kamera 4 entsprechend bewegt werden könnte, so dass die Kachel 16 auf den entsprechenden Streifen 17a, 17b, 17c hin- und her wandert. Für den Fall, dass ein telezentrisches Lichtschnittverfahren ausgeführt wird, wird das Objekt nach Aufnahme eines Bildes nur um wenige μm in der Bewegungsrichtung, also innerhalb eines Streifens 17a, 17b, 17c verschoben. Die Kachel 16 wandert also innerhalb des Streifens 17a, 17b, 17c nach Aufnahme eines Bildes bevorzugt nur um wenige μm. Aus Auswerteeinheit 40 detektiert die Position der Laserlinien 15a, 15b auf dem Bild, woraus sich wie später noch erläutert wird, die räumliche Information ableiten lässt. Ist ein Streifen vollständig abgetastet, wird der Positioniertisch 7 derart in X/Y-Richtung verfahren, dass die Laserlinien 15a, 15b in einem zweiten Streifen 17a, 17b, 17c liegen, wobei alle Streifen 17a, 17b, 17c zueinander parallel sind. Es kann auch sein, dass sich die Streifen 17a, 17b, 17c teilweise überlappen. Erst wenn alle Streifen 17a, 17b, 17c oder zumindest ausgewählte Bereiche eines oder mehrerer Streifen 17a, 17b, 17c abgetastet sind, wird die Kamera 4 oder der Positioniertisch 7 in Z-Richtung um bevorzugt eine Höhenstufe verfahren. Eine Höhenstufe kann z. B. 2 mm betragen, wobei in dieser neuen Höhenstufe die Abtastung erneut erfolgt. 2 B shows a simplified representation that explains how the laser lines 15a . 15b the at least two telecentric line lasers 8a . 8b on a positioning table 7 , or in an X / Y reference plane are aligned with each other. Instead of a positioning table 7 would be the laser lines 15a . 15b even with a flat object 2 according to the in 2 B aligned embodiment illustrated. The laser lines 15a . 15b the two telecentric line lasers 8a . 8b are in plan view, so from the perspective of the camera 4 aligned parallel to each other. The laser lines 15a . 15b thereby run transversely to the direction of movement of the object 2 or across the direction of movement of the camera 4 , In the embodiment 2 B the object is shifted with respect to its Y-axis. The displacement in the Y-axis therefore represents the direction of movement. If a displacement were to take place in the direction of the X-axis during the scan, then the direction of movement would be in the direction of the X-axis, so that the two laser lines 15a . 15b would have to be rotated by 90 °. Dashed lines are indicated in 2 B the tile 16 that corresponds to the area of the telecentric lens 5 is detected. The tile 16 may for example have a length of 16 mm and a width of 12 mm, for example. The size of the positioning table 7 is not to scale. Other dashed lines, which are parallel to the Y axis, divide the positioning table into several parallel stripes 17a . 17b . 17c , In the further course is explained, as by moving the positioning table 7 both in the Y-axis, as well as in the X-axis, the tile 16 along the strip 17a . 17b . 17c migrates, reducing the scanning of the object 2 he follows. It is clear that instead of a movement of the positioning table 7 in X-axis and Y-axis also the camera 4 could be moved accordingly, leaving the tile 16 on the corresponding strip 17a . 17b . 17c wanders back and forth. In the event that a telecentric light-section method is performed, the object is only a few microns in the direction of movement, ie within a strip after taking an image 17a . 17b . 17c postponed. The tile 16 So walk inside the strip 17a . 17b . 17c after taking a picture preferably only by a few microns. From evaluation unit 40 detects the position of the laser lines 15a . 15b in the picture, from which, as will be explained later, the spatial information can be derived. When a strip is completely scanned, the positioning table becomes 7 in the X / Y direction, that the laser lines 15a . 15b in a second strip 17a . 17b . 17c lie, with all strips 17a . 17b . 17c are parallel to each other. It may also be that the stripes 17a . 17b . 17c partially overlap. Only when all stripes 17a . 17b . 17c or at least selected areas one or more stripes 17a . 17b . 17c scanned, the camera becomes 4 or the positioning table 7 in Z-direction to preferably a height level procedure. A height level can z. B. 2 mm, with the scan again in this new height level.
Aufgrund der Tatsache, dass die Schrittweite, mit der der Tisch in Bewegungsrichtung verfahren wird beim telezentrischen Lichtschnittverfahren geringer ist – z. B. 10 μm/Schritt – als beim SFF-Verfahren – z. B. 16 mm/Schritt – dauert der Messvorgang beim telezentrischen Lichtschnittverfahren deutlich länger. Daher sollten nur die Bereiche ausgewählt werden, die bereits im SFF-Verfahren als ”interessant” klassifiziert worden sind. Dies können solche Bereiche sein, die eine bestimmte Höhe, also Erstreckung in Z-Richtung aufweisen. Liegt die Höhe über einem bestimmten, einstellbaren Schwellwert, dann werden diese Bereiche innerhalb des telezentrischen Lichtschnittverfahrens genauer vermessen.Due to the fact that the pitch, with which the table is moved in the direction of movement is less in the telecentric light section method - z. B. 10 microns / step - as in the SFF process - z. B. 16 mm / step - takes the measurement process in the telecentric light section method significantly longer. Therefore, only the areas that have already been classified as "interesting" in the SFF procedure should be selected. These can be regions which have a certain height, that is, extent in the Z direction. If the height is above a certain, adjustable threshold value, then these areas are measured more accurately within the telecentric light-section method.
3A zeigt eine vereinfachte Darstellung, die erläutert, warum bei Verwendung einer Standard-Laserlinie mit Abschattungen 32 zu rechnen ist. Eine solche Standard-Laserlinie wird durch den dargestellten Laser 30 gespreizt. Die Laserlinie verbreitert sich fächerförmig. Die beleuchteten Bereiche 31 sind mit einer weniger dichten Pixelung dargestellt. Die Abschattungen 32 weisen eine dichtere Pixelung auf. Gut zu erkennen ist, dass die Randbereiche um das Objekt 2 herum unzureichend beleuchtet werden. Von diesen Randbereichen können daher keine dreidimensionalen Daten erzeugt werden. 3A shows a simplified illustration that explains why using a standard laser line with shadowing 32 is to be expected. Such a standard laser line is provided by the illustrated laser 30 spread. The laser line widens fan-shaped. The illuminated areas 31 are shown with a less dense pixelation. The shadowing 32 have a denser pixelation. Good to see is that the border areas around the object 2 are lit insufficiently around. Therefore, no three-dimensional data can be generated from these edge regions.
3B zeigt eine weitere vereinfachte Darstellung, die erläutert, warum bei Verwendung einer telezentrischen Laserlinie 15a, 15b nicht mit Abschattungen zu rechnen ist. Innerhalb von 3B ist der beleuchtete Bereich 31 mit der gleichen Bezugsziffer versehen wie innerhalb von 3A. Die Laserlinien 15a, 15b des telezentrischen Linienlasers 8a, 8b spreizen sich nicht auf, so dass es über die gesamte Linienbreite zu keinen Abschattungen 32 kommt. Die Vorrichtung verbessert die Ausleuchtung außerdem durch Verwendung von zwei telezentrischen Linienlasern 8a, 8b mit entgegengesetzten Einstrahlwinkeln. Die telezentrische Optik 5 trägt ihr übriges dazu bei. 3B shows another simplified illustration that explains why when using a telecentric laser line 15a . 15b Shadowing is not to be expected. Within 3B is the illuminated area 31 provided with the same reference number as within 3A , The laser lines 15a . 15b of the telecentric line laser 8a . 8b do not spread, so there is no shadowing over the entire line width 32 comes. The device also improves illumination by using two telecentric line lasers 8a . 8b with opposite angles of incidence. The telecentric optics 5 Contribute her remaining.
4 zeigt eine vereinfachte Darstellung, die die Interaktion der verschiedenen Einheiten innerhalb der erfindungsgemäßen Vorrichtung 1 beschreibt. Den Kern der erfindungsgemäßen Vorrichtung 1 bildet die Auswerteeinheit 40. Diese ist mit der Kamera 4, dem zumindest einen telezentrischen Laser 8a, 8b, dem ersten Positionierungsantrieb 6a für die Kamera 4, dem Positionierungstisch 7, also dem zweiten Positionierungsantrieb 6b für den Positionierungstisch 7 und der zumindest einen Leuchte 3a und der weiteren Leuchte 3b verbunden. Bei dieser Verbindung handelt es sich bevorzugt um eine Daten- und Steuerverbindung. 4 shows a simplified representation showing the interaction of the various units within the device according to the invention 1 describes. The core of the device according to the invention 1 forms the evaluation unit 40 , This is with the camera 4 , the at least one telecentric laser 8a . 8b , the first positioning drive 6a for the camera 4 , the positioning table 7 So the second positioning drive 6b for the positioning table 7 and the at least one lamp 3a and the other light 3b connected. This connection is preferably a data and control connection.
Die Auswerteeinheit 40 ist dahingehend ausgebildet, dass sie den zumindest einen telezentrischen Linienlaser 8a, 8b aus- und einschalten kann. Sie ist ferner dahingehend ausgebildet, dass sie den Positionierungstisch 7 in der X-Achse und/oder der Y-Achse verschieben kann. Sie ist ferner dahingehend ausgebildet, dass sie den ersten Positionierantrieb 6a für die Kamera 4 steuern kann, wodurch die Kamera 4 in der Z-Achse verfahrbar ist. Sie ist ferner dahingehend ausgebildet, dass sie die Beleuchtung, bestehend aus der zumindest einen Leuchte 3a und der weiteren Leuchte 3b ein- bzw. ausschalten kann.The evaluation unit 40 is designed to receive the at least one telecentric line laser 8a . 8b can turn off and on. It is also designed to hold the positioning table 7 in the X-axis and / or the Y-axis. It is also designed to be the first positioning drive 6a for the camera 4 can control, causing the camera 4 is movable in the Z-axis. It is also designed to provide the lighting consisting of the at least one luminaire 3a and the other light 3b can switch on or off.
Die Auswerteeinheit 40 kann bevorzugt über eine weitere Verbindung mit der Kamera 4 verbunden werden. Über die weitere Verbindung kann die Kamera 4 Daten an die Auswerteeinheit 40 versenden. Der Auswerteeinheit 40 steht bevorzugt auch noch eine Speichereinheit 41 zu Verfügung, auf welcher sie die aufgenommenen Bilder speichern kann. Bei der Speichereinheit 41 kann es sich um Flash-Speicher und/oder RAM-Speicher und/oder Festplattenspeicher handeln. Innerhalb der Auswerteeinheit 40 ist noch eine nicht dargestellte Recheneinheit ausgebildet, welche an Hand der Messergebnisse die dreidimensionale Oberfläche des Objekts 2 berechnet.The evaluation unit 40 may be preferred over another connection with the camera 4 get connected. About the further connection can the camera 4 Data to the evaluation unit 40 to ship. The evaluation unit 40 there is preferably also a memory unit 41 available on which she can save the captured images. At the storage unit 41 it can be flash memory and / or RAM and / or disk space. Within the evaluation unit 40 is still a computing unit, not shown, which on the basis of the measurement results, the three-dimensional surface of the object 2 calculated.
5A zeigt eine Darstellung, die das SFF-Verfahren und die Schnittstelle zum telezentrischen Lichtschnittverfahren näher beschreibt. Innerhalb des SFF-Verfahrens soll zum Beispiel eine Punktewolke, wie sie in der Beschreibungseinleitung definiert wurde, generiert, also gemessen werden. Die erfindungsgemäße Vorrichtung 1 führt zu Beginn bevorzugt das SFF-Verfahren aus, um ein grobes dreidimensionales Abbild der Oberfläche zu berechnen. Dazu wird zunächst durch eine Variante des SFF-Verfahrens in orthogonaler Draufsicht eine grobe Höhenmessung über die gesamte vertikale (Z-Richtung) und anschließend laterale Ausdehnung (X/Y-Richtung) des Objekts 2 durchgeführt. Die erzielbare Auflösung hängt dabei von den optischen Komponenten ab. Verwendet man in einer beispielhaften Ausführung eine digitale Farbkamera mit fünf MPixel und ein telezentrisches Objektiv 5, das ein Blickfeld von 16 × 12 mm liefert, so beträgt die laterale Auflösung ca. 7 μm. 5A shows a diagram that describes the SFF method and the interface to the telecentric light section method in more detail. Within the SFF method, for example, a point cloud, as defined in the introduction to the description, is to be generated, ie measured. The device according to the invention 1 Initially, preferably, performs the SFF method to compute a coarse three-dimensional image of the surface. For this purpose, first by a variant of the SFF method in orthogonal plan view, a rough height measurement over the entire vertical (Z direction) and then lateral extension (X / Y direction) of the object 2 carried out. The achievable resolution depends on the optical components. In an exemplary embodiment, one uses a digital color camera with five MPixels and a telecentric lens 5 , which provides a field of view of 16 × 12 mm, the lateral resolution is approximately 7 μm.
In einem ersten Verfahrensschritt S1 wird ein Z-Bildstapel einer Kachel 16 mit achsenparallelem Weißlicht von einem durch das telezentrische Objektiv erfassten Bereich des Objekts 2 aufgenommen. Die Kamera 4 nimmt beispielsweise mehr als 200 Farbbilder oder mehr als 250 Farbbilder oder mehr als 300 Farbbilder auf, wobei nach jedem Farbbild die Kamera 4 mittels des ersten Positionierantriebs 6a um eine gewisse Höhe, beispielsweise 100 μm, verfahren wird. Dabei ist die zumindest eine Leuchte 3a in Betrieb.In a first method step S 1 , a Z-picture stack of a tile is formed 16 with axis-parallel white light from an area of the object detected by the telecentric lens 2 added. The camera 4 For example, it captures more than 200 color images or more than 250 color images or more than 300 color images, with the camera after each color image 4 by means of the first positioning drive 6a by a certain height, for example 100 μm, is moved. It is the at least one lamp 3a in operation.
Sind die alle Farbbilder des Z-Stapels für die Kachel 16 bezüglich der einzelnen Höhenstufen aufgenommen und gespeichert, so werden diese analysiert. Dabei wird aus den einzelnen Farbbildern des Z-Stapels ein Gesamtfarbbild für die betreffende Kachel 16 berechnet. Dazu werden durch Hochpass-Filter die scharfen Bereiche in den jeweiligen einzelnen Bildern des Z-Stapels extrahiert und für den Aufbau des Farbbilds verwendet. Dies bedeutet, dass das innerhalb des Verfahrensschrittes S1 berechnete Gesamtfarbbild über die gesamte Höhe scharf, verzerrungsfrei, reflexfrei und schattenfrei ist und einer orthogonalen Draufsicht auf das Objekt 2 entspricht. Neben diesem Farbbild der Kachel 16 wird zugleich auch das zugehörige dreidimensionale Bild der Kachel 16 errechnet. Dieses Farbbild der Kachel 16 sowie das dreidimensionale Bild der Kachel 16 werden in der Speichereinheit 41 abgespeichert.Are all the color images of the Z-stack for the tile 16 recorded and stored with regard to the individual altitude levels, these are analyzed. In the process, the individual color images of the Z stack become a total color image for the relevant tile 16 calculated. For this purpose, the sharp areas in the respective individual images of the Z-stack are extracted by high-pass filters and used for the construction of the color image. This means that the total color image calculated within the method step S 1 over the entire height is sharp, distortion-free, reflection-free and shadow-free and an orthogonal top view of the object 2 equivalent. In addition to this color image of the tile 16 At the same time, it becomes the associated three-dimensional image of the tile 16 calculated. This color image of the tile 16 as well as the three-dimensional image of the tile 16 be in the storage unit 41 stored.
Anschließend wird der Verfahrensschritt S2 ausgeführt. Innerhalb des Verfahrensschrittes S2 wird für die Kachel 16 zumindest ein Bild mit Gegenlicht aufgenommen. In diesem Fall wird die zumindest eine Leuchte 3a ausgeschaltet und die weitere Leuchte 3b eingeschaltet. Es wird hier eine Höhenstufe gewählt, in der die Tischebene scharf abgebildet wird. Das Bild wird bevorzugt als Binärbild gespeichert.Subsequently, the method step S 2 is carried out. Within step S 2 is for the tile 16 at least one picture taken with backlight. In this case, the at least one light 3a switched off and the other light 3b switched on. Here, a height level is selected in which the table level is displayed sharply. The image is preferably stored as a binary image.
Die Verfahrensschritte S1 und S2 werden so lange wiederholt, bis das gesamte Objekt 2 entsprechend abgetastet worden ist. Dabei wird bei Wiederholung des Verfahrensschrittes S1 der Positioniertisch 7 um einen vorbestimmten Wert bezüglich der Y-Achse und/oder X-Achse verschoben. Die einzelnen Kacheln 16 dürfen sich teilweise überlappen.The method steps S 1 and S 2 are repeated until the entire object 2 has been scanned accordingly. In this case, when repeating the method step S 1, the positioning table 7 shifted by a predetermined value with respect to the Y-axis and / or X-axis. The individual tiles 16 may partially overlap.
Wurde das gesamte Objekt 2 abgetastet, dann werden die Verfahrensschritte S3 und S4 ausgeführt. Innerhalb des Verfahrensschrittes S3 werden die dreidimensionalen Bilder der einzelnen Kacheln unter Verwendung eines Stitching-Algorithmus zu einem dreidimensionalen Bild der gesamten Oberfläche des Objektes 2 zusammengefügt (gesticht). Innerhalb des Verfahrensschrittes S4 werden analog zu S3 durch Stitching die Farbbilder der einzelnen Kacheln zu einem Farbbild der gesamten Oberfläche des Objektes 2 zusammengefügt. Sofern die Kacheln etwas überlappen, was den Normalfall darstellt, werden beim Stitching sowohl des dreidimensionalen Bildes, als auch des Farbbildes die während des SFF-Algorithmus berechneten Confidenz-Werte, die ein Maß für die Güte des jeweiligen Punktes darstellen, der einzelnen Punkte dazu verwendet, um die Ergebnisse im Überlappungsbereich hinsichtlich der Genauigkeit zu optimieren. Das Gesamtfarbbild und das dreidimensionale Gesamtbild können dabei in der Speichereinheit 41 abgespeichert werden. Eine Möglichkeit, wie das Gesamtfarbbild aus den Einzelfarbbildern und das dreidimensionale Gesamtbild aus den einzelnen dreidimensionalen Bildern der Kacheln 16 gestitcht werden kann, ist in ”Szeliski, R.: Image Alignment and Stitching: A Tutorial. Technical Report SR-TR-2004-92, Microsoft Corporation (2005)” beschrieben.Became the entire object 2 sampled, then the method steps S 3 and S 4 are executed. Within method step S 3 , the three-dimensional images of the individual tiles, using a stitching algorithm, become a three-dimensional image of the entire surface of the object 2 put together (stitched). Within step S 4 , the color images of the individual tiles are analogous to S 3 by stitching to a color image of the entire surface of the object 2 together. If the tiles slightly overlap, which is the normal case, stitching both the three-dimensional image and the color image, the confidence values calculated during the SFF algorithm, which represent a measure of the quality of each point, the individual points are used to optimize the results in the overlap area with respect to accuracy. The overall color image and the three-dimensional overall image can be stored in the storage unit 41 be stored. One possibility, such as the overall color image from the individual color images and the three-dimensional overall image from the individual three-dimensional images of the tiles 16 is in "Szeliski, R .: Image Alignment and Stitching: A Tutorial. Technical Report SR-TR-2004-92, Microsoft Corporation (2005) ".
5B zeigt eine Darstellung, die das telezentrische Lichtschnittverfahren näher beschreibt. Zu erkennen ist, dass das spezielle telezentrische Lichtschnittverfahren auf die innerhalb des SFF-Verfahrens berechneten Daten, wie das dreidimensionale Gesamtbild und das Gesamtfarbbild zurückgreift. Bei Durchführung des in 5B gezeigten Verfahrens wird die zumindest eine Leuchte 3a und die weitere Leuchte 3b deaktiviert. Die bevorzugt zumindest zwei telezentrischen Linienlaser 8a, 8b werden aktiviert. Die Linienlaser 8a, 8b weisen in dem Ausführungsbeispiel aus 5B eine Linienlänge von beispielsweise 16 mm auf. Andere Linienlängen sind ebenfalls denkbar. Die Linienbreite beträgt beispielsweise 15 μm, wobei aber in Abhängigkeit von der letztlich gewünschten Auflösung auch andere Linienbreiten denkbar sind. 5B shows a representation that describes the telecentric light section method in more detail. It can be seen that the special telecentric light-slit method makes use of the data calculated within the SFF method, such as the overall three-dimensional image and the overall color image. When carrying out the in 5B The method shown is the at least one lamp 3a and the other light 3b disabled. The preferred at least two telecentric line lasers 8a . 8b are activated. The line lasers 8a . 8b exhibit in the embodiment 5B a line length of for example 16 mm. Other line lengths are also possible. The line width is for example 15 microns, but depending on the resolution ultimately desired other line widths are conceivable.
Innerhalb des Verfahrensschrittes S5 wird ein Streifen 17a, 17b, 17c des Prüfobjektes abgetastet. Dabei wird der Positionierungstisch 7 und damit das Objekt 2 nach jeder Aufnahme durch die Kamera 4 bezüglich seiner Y-Achse und/oder seiner X-Achse um einen kleinen Bereich verschoben, dessen Größe sich nach der in Y-Richtung gewünschten Auflösung richtet. Der Positionierungstisch kann bezüglich seiner Bewegungsrichtung zum Beispiel um 10 μm verschoben werden. Der Verfahrensschritt S5 wird so lange ausgeführt, bis ein Streifen 17a, 17b, 17c vollständig mit der entsprechenden Auflösung abgetastet wurde. Auf den mittels der Kamera 4 erstellten Bildern werden die bevorzugt zwei telezentrischen Laserlinien 15a, 15b detektiert. Im Anschluss daran wird der Positionierungstisch 7 quer zur Bewegungsrichtung verschoben und der Verfahrensschritt S5 erneut ausgeführt. Beträgt die Linienlänge des Linienlasers z. B. 16 mm und beträgt die Objektbreite z. B. 48 mm, dann muss das Objekt 2 in drei parallelen Streifen 17a, 17b, 17c mit je einer Breite von 16 mm abgetastet werden. Dies bedeutet, dass die Auswerteeinheit 40 derart ausgebildet ist, dass bei Objekten 2 die breiter sind als die Länge der Laserlinie 15a, 15b des zumindest einen, der bevorzugt beiden telezentrischen Linienlaser 8a, 8b, das Objekt über seine gesamte Breite nacheinander mit parallelen Streifen 17a, 17b, 17c abgetastet wird, wobei die Breite eines Streifens 17a, 17b, 17c der Länge der Laserlinie 15a, 15b und die Länge des Streifens 17a, 17b, 17c der Länge des Objekts 2 entspricht. Die Streifenbreiten können jedoch auch etwas schmaler als die Linienlänge des telezentrischen Linienlasers 8a, 8b gewählt werden, so dass sie teilweise überlappen. Die Breite eines Streifens 17a, 17b, 17c beträgt daher mehr als 80%, bevorzugt mehr als 90%, weiter bevorzugt mehr als 95% der Länge der Laserlinie 15a, 15b, wobei die Breite des Streifens 17a, 17b, 17c nicht mehr als die Länge der Laserlinie 15a, 15b beträgt.Within the method step S 5 , a strip 17a . 17b . 17c scanned the test object. This is the positioning table 7 and with it the object 2 after each shot through the camera 4 shifted with respect to its Y-axis and / or its X-axis by a small range whose size depends on the desired resolution in the Y direction. The positioning table can be shifted with respect to its direction of movement, for example by 10 microns. The method step S 5 is carried out until a strip 17a . 17b . 17c was completely scanned at the appropriate resolution. On the by means of the camera 4 created images are the preferred two telecentric laser lines 15a . 15b detected. Following this is the positioning table 7 shifted transversely to the direction of movement and the process step S 5 is executed again. If the line length of the line laser z. B. 16 mm and the object width z. B. 48 mm, then the object must 2 in three parallel stripes 17a . 17b . 17c each with a width of 16 mm are scanned. This means that the evaluation unit 40 is designed such that when objects 2 which are wider than the length of the laser line 15a . 15b at least one, preferably two telecentric line lasers 8a . 8b , the object over its entire width successively with parallel stripes 17a . 17b . 17c is scanned, the width of a strip 17a . 17b . 17c the length of the laser line 15a . 15b and the length of the strip 17a . 17b . 17c the length of the object 2 equivalent. However, the stripe widths may also be slightly narrower than the line length of the telecentric line laser 8a . 8b to get voted, so that they partially overlap. The width of a strip 17a . 17b . 17c is therefore more than 80%, preferably more than 90%, more preferably more than 95% of the length of the laser line 15a . 15b where the width of the strip 17a . 17b . 17c not more than the length of the laser line 15a . 15b is.
Wurden für das Objekt 2 alle Streifen 17a, 17b, 17c für eine Höhenstufe entsprechend des Verfahrensschrittes S5 abgetastet, dann werden im Verfahrensschritt S6 durch die Auswerteeinheit 40 die zu den einzelnen Streifen 17a, 17b, 17c gehörenden Punktewolken zu einer Gesamtpunktewolke für die entsprechende Höhenstufe zusammen gefügt. Dabei werden die Informationen der einzelnen Bilder, also der einzelnen Streifen 17a, 17b, 17c durch das bereits erwähnte Stitching miteinander kombiniert. Die Informationen betreffen dabei die Lage und Form der Laserlinien 15a, 15b, aus denen auf die dreidimensionale Form des Objekts 2 geschlossen werden kann.Were for the object 2 all stripes 17a . 17b . 17c sampled for a height level according to the method step S 5 , then in the method step S 6 by the evaluation unit 40 the to the individual stripes 17a . 17b . 17c belonging point clouds to a total point cloud for the corresponding height level joined together. This will be the information of the individual pictures, so the individual stripes 17a . 17b . 17c combined by the already mentioned stitching. The information relates to the position and shape of the laser lines 15a . 15b that make up the three-dimensional shape of the object 2 can be closed.
Wurde durch die Verfahrensschritte S5 und S6 die unterste Höhenstufe des Objekts 2 komplett abgetastet, folgt in Verfahrensschritt S7 die stufenweise höhere Positionierung des aus Kamera 4 mit Optik 5 sowie dem bzw. den Lasern 8a, 8b bestehenden Sensors. Die Höhenstufen dürfen dabei nicht größer als der gewählte Messbereich sein, da sonst die gewünschte Auflösung nicht erreicht werden kann. Wie bereits in den Verfahrensschritten S5 und S6 erläutert, wird in jeder Höhenstufe das Objekt 2 in seiner gesamten Länge vollständig oder gegebenenfalls auch nur teilweise in einem oder mehreren Streifen 17a, 17b, 17c abgetastet. Bei der Abtastung mit verschiedenen Höhenstufen ergeben sich allerdings auch Probleme. Damit die Abtastung mit den Laserlinien 15a, 15b erfolgreich und effizient durchgeführt werden kann, müssen die ortsabhängigen Höhenausdehnungen, zumindest aber die niedrigste und die höchste Höhenstufe des Objekts 2 bekannt sein. Diese Information ist jedoch durch das vorangegangene SFF-Verfahren über die gesamte Höhenausdehnung des Objekts 2 in Z-Richtung bereits bekannt. Die durch die Höhenausdehnung definierten Abstände dürfen durch die montierten und gegebenenfalls verschwenkten Linienlaser 8a, 8b nicht verringert werden, weil es ansonsten zu Kollisionen kommen könnte. Vorgeschaltet zum Verfahrensschritts S7 können die Verfahrensschritte S5 und S6 mehrmals in verschiedenen Höhenstufen ausgeführt werden, wobei die Auswerteeinheit 40 den ersten Positionierantrieb 6a derart ansteuert, dass der aus Kamera 4 mit Optik 5 und dem bzw. den Lasern 8a, 8b bestehenden Sensor bezüglich der Z-Achse verfahren wird. Der Abstand zwischen dem Objekt 2 und der Kamera 4 verändert sich somit, wobei der jeweilige Verfahrweg von der gewünschten Auflösung und der Auslegung des Sensors abhängt, insbesondere vom Winkel α und der Breite der Laserlinien 15a, 15b, sowie dem daraus resultierenden Schärfebereich. Bevorzugt verändert sich der Abstand in Z-Richtung zwischen den einzelnen Höhenstufen um 2 mm, wenn für α ca. 50° gewählt wird und die Linienbreite ca. 15 μm beträgt, was dann einer Auflösung in Z-Richtung von ca. 10 μm entspricht. Für jede weitere Höhenstufe werden die Verfahrensschritte S5 und S6 erneut ausgeführt, wobei jeweils nach erfolgreicher Abtastung eine weitere Gesamtpunktewolke gebildet wird. Die Anzahl der Höhenstufen kann durch die Auswerteeinheit 40 festgelegt werden, wobei diese unter anderem das dreidimensionale Gesamtbild, welches durch das SFF-Verfahren ermittelt worden ist, in Betracht zieht. Für den Fall, dass das Objekt 2 in bestimmten Bereichen keinerlei Erstreckung in Richtung der Z-Achse aufweist, muss in diesen Bereichen auch keine Abtastung erfolgen. Diese Bereiche können vollständig ausgenommen werden, was eine erhebliche Zeitersparnis bedeutet. Für den Fall, dass die höchste Erstreckung des Objektes 2 in Z-Richtung beispielsweise 2 mm beträgt, muss keine Abtastung in einer Höhenstufe stattfinden, durch die eine 3 mm große Erhebung vermessen werden könnte. Wurden die Gesamtpunktewolken für alle Höhenstufen gebildet, dann werden diese innerhalb des Verfahrensschrittes S7 durch die Auswerteeinheit 40 zu einer Gesamtpunktewolke für die vollständige in orthogonaler Draufsicht sichtbare Objektoberfläche kombiniert. Daraus kann die Auswerteeinheit 40 ein sehr genaues Höhenbild der Oberfläche des Objektes 2 berechnen, beispielsweise mit einer Auflösung von 10 μm.Was by the method steps S 5 and S 6, the lowest level of the object 2 completely scanned, follows in step S 7, the stepwise higher positioning of the camera 4 with optics 5 and the laser (s) 8a . 8b existing sensor. The height levels must not be greater than the selected measuring range, otherwise the desired resolution can not be achieved. As already explained in the method steps S 5 and S 6 , the object is in each altitude level 2 in its entire length completely or possibly only partially in one or more strips 17a . 17b . 17c sampled. When scanning with different height levels, however, there are also problems. Thus the scanning with the laser lines 15a . 15b can be carried out successfully and efficiently, must be the location-dependent height expansions, but at least the lowest and highest altitude level of the object 2 be known. However, this information is provided by the preceding SFF method over the entire height extent of the object 2 already known in the Z direction. The distances defined by the height extension may be due to the mounted and optionally pivoted line laser 8a . 8b can not be reduced because otherwise it could lead to collisions. Upstream of the method step S 7 , the method steps S 5 and S 6 can be executed several times at different height levels, wherein the evaluation unit 40 the first positioning drive 6a such that the camera 4 with optics 5 and the laser (s) 8a . 8b existing sensor is moved with respect to the Z-axis. The distance between the object 2 and the camera 4 Thus, the respective travel path depends on the desired resolution and the design of the sensor, in particular on the angle α and the width of the laser lines 15a . 15b , as well as the resulting sharpness range. Preferably, the distance in the Z direction between the individual height levels by 2 mm, when α is selected for about 50 ° and the line width is about 15 microns, which then corresponds to a resolution in the Z direction of about 10 microns. For each further height level, the method steps S 5 and S 6 are carried out again, wherein in each case after successful sampling a further total point cloud is formed. The number of height levels can be determined by the evaluation unit 40 inter alia taking into account the three-dimensional overall image determined by the SFF method. In the event that the object 2 In some areas, there is no extension in the direction of the Z-axis, so there is no need to scan in these areas. These areas can be completely excluded, which means significant time savings. In the event that the highest extension of the object 2 For example, in the Z direction, if there is 2 mm, there is no need to scan at a height level that would measure a 3 mm survey. If the total point clouds were formed for all height levels, then these are within the method step S 7 by the evaluation unit 40 combined into a total point cloud for the complete object surface visible in orthogonal plan view. This can be the evaluation unit 40 a very accurate height image of the surface of the object 2 calculate, for example, with a resolution of 10 microns.
Es ist eine wesentliche Eigenschaft des beschriebenen Verfahrens, dass, wenn überhaupt, nur wenige Lücken im Gesamtbild verbleiben, für die durch das telezentrische Lichtschnittverfahren keine Höheninformation ermittelt werden konnte. Sollten dennoch einige Lücken im Höhenbild vorliegen, so können diese im Verfahrensschritt S8 geschlossen werden. Solche Lücken können durch Abschattungen in tiefen Schluchten auftreten. Im einfachsten Fall können diese Lücken unter Verwendung des im SFF-Verfahren gewonnenen dreidimensionalen Bildes aufgefüllt werden, wenn auch mit geringerer Genauigkeit. Damit entsteht ein dichtes, also lückenloses Abbild der Objektoberfläche. Wird eine höhere Genauigkeit auch für die verbleibenden Lücken gefordert, so ist es auch möglich, dass die Auswerteeinheit 40 und die Mechanik des das Objekt 2 tragenden Tischs derart ausgebildet sind, dass die Möglichkeit besteht, das Objekt 2 um einen beliebigen Winkel zu drehen und abermals die Verfahrensschritte S1 bis S7, bevorzugt S5 bis S7 auszuführen. Das Objekt 2 wird dabei um einen beliebigen Winkel, bevorzugt aber um 90° gedreht. In diesem Fall werden die Verfahrensschritte S1 bis S7, bevorzugt S5 bis S7 einzig für die Bereiche nochmals durchgeführt, in denen Lücken bestehen. Das daraus resultierende jetzt lückenlose dreidimensionale Gesamtbild kann in der Speichereinheit 41 abgespeichert werden.It is an essential feature of the described method that, if at all, only a few gaps remain in the overall image, for which no height information could be determined by the telecentric light-section method. Should there nevertheless be some gaps in the height image, these can be closed in method step S 8 . Such gaps can occur through shadowing in deep ravines. In the simplest case, these gaps can be filled using the three-dimensional image obtained in the SFF method, albeit with less accuracy. This creates a dense, so gapless image of the object surface. If a higher accuracy is required for the remaining gaps, it is also possible that the evaluation unit 40 and the mechanics of the object 2 supporting table are formed such that the possibility exists to rotate the object 2 by any angle and again the process steps S 1 to S 7 , preferably S 5 to S 7 execute. The object 2 is rotated by any angle, but preferably by 90 °. In this case, the method steps S 1 to S 7 , preferably S 5 to S 7, are performed once again only for the areas in which gaps exist. The resulting now gapless three-dimensional overall picture can be found in the storage unit 41 be stored.
Es ist zusätzlich möglich, dass das dreidimensionale Gesamtbild mit dem innerhalb des SFF-Verfahrens berechneten Gesamtfarbbild kombiniert wird. Eine solche Kombination erfolgt in dem Verfahrensschritt S9. In diesem Fall ist das sehr genaue Höhenbild farblich dargestellt. Außerdem können die Daten um einen Alpha-Kanal, der beispielsweise ein Binärbild der Objektkonturen und ggf. Bohrungen enthalten kann sowie die während der Berechnungskette ermittelten Normalenvektoren und Confidenz-Werte ergänzt werden, wobei letztere für jeden Punkt der gesamten Punktewolke ein Maß für dessen Güte, also den möglichen Fehler angeben.It is additionally possible that the three-dimensional overall image is combined with the overall color image calculated within the SFF process. Such a combination takes place in method step S 9 . In this case, the very accurate height image is shown in color. In addition, the data can be supplemented by an alpha channel, which may contain, for example, a binary image of the object contours and, if necessary, bores, and the normal vectors and confidence values determined during the calculation chain, the latter being a measure of its quality for each point of the entire point cloud. So specify the possible error.
Alle Dokumente, auf die innerhalb dieser Anmeldung verwiesen wurde, gelten in diese Anmeldung als vollständig einbezogen.All documents referred to within this application are fully incorporated into this application.
Die Erfindung ist nicht auf die beschriebenen Ausführungsbeispiele beschränkt. Im Rahmen der Erfindung sind alle beschriebenen und/oder gezeichneten Merkmale beliebig miteinander kombinierbar.The invention is not limited to the described embodiments. In the context of the invention, all described and / or drawn features can be combined with each other as desired.
