DE19502459A1

DE19502459A1 - Three dimensional optical measurement of surface of objects

Info

Publication number: DE19502459A1
Application number: DE1995102459
Authority: DE
Inventors: Henning Dr Wolf
Original assignee: Individual
Current assignee: Individual
Priority date: 1995-01-28
Filing date: 1995-01-28
Publication date: 1996-08-01

Abstract

The 3D measurement measures the surface of an object (1). Variable light structures are projected onto the surface to be measured, by means of a line projector (2). At least part of the illuminated surface is recorded by a video camera (3). The inner and outer orientations of the camera and the projector are determined by calibration. The coordinates of the points on the object surface corresponding to image points are calculated. One area of the object surface is recorded at least from a direction different from the projection direction with the projector in the same position and direction. With the help of homologous fixed markers (4) on the object surface or other calibration surfaces arranged statically relative to the object, calibration is carried out using the beam equalising calculation.

Description

Die Erfindung betrifft ein Verfahren zur dreidimensionalen optischen Vermessung der Oberfläche von Objekten mit großer Punktdichte, das die Merkmale des Oberbegriffs des Anspruches 1 aufweist.The invention relates to a method for three-dimensional optical measurement of the Surface of objects with high point density, which is the characteristics of the generic term of claim 1.

Die bekannten Verfahren dieser Art lassen sich mit verschiedenen Beleuch tungsverfahren wie Lichtschnitt, codierter Lichtansatz und Moir´ durchführen. Sie liefern zumindest dann sehr genaue Meßergebnisse wenn das Auflösungsvermögen der Videokamera und die Ausleuchtung der Oberfläche mit der Lichtstruktur gut ist.The known methods of this type can be illuminated with different light sources Carry out processing procedures such as light section, coded light approach and Moir´. she deliver very accurate measurement results at least if the resolution the video camera and the illumination of the surface with the light structure is good.

Mit diesen Verfahren ist es möglich, eine Massenpunktbestimmung mit sehr hoher Punktdichte durchzuführen. Zu jedem Bildpunkt des Videobildes lassen sich die Koor dinaten des entsprechenden Oberflächenpunktes berechnen. Man spricht deshalb auch von einer bildgebenden Vermessung der Oberfläche. Nachteilig ist jedoch der relativ große Aufwand für die erforderliche Kalibrierung, also die Bestimmung der inneren und äußeren Orientierung sowohl des Projektors als auch der Kamera sowie deren optischen Konstanten und Parameter zur Korrektur von Objektivfehlern. Der Aufwand für die Bestimmung von Position und Orientierung der Kamera und des Projektors erhöht sich noch weiter, wenn das Objekt es erforderlich macht, die Kamera und den Projektor in mehrere Positionen zu bringen, sei es, weil die mittels des Projektors mit einer für die Auswertung ausreichenden Intensität ausleuchtbare und von Kamera er faßbare Fläche kleiner ist als die zu vermessende Oberfläche, sei es, daß das Objekt es erforderlich macht, seine Oberfläche aus unterschiedlichen Richtungen zu beleuchten und aufzunehmen.With these methods it is possible to determine the mass point with a very high one Point density. The coordinates can be assigned to each pixel of the video image Calculate the data of the corresponding surface point. One therefore speaks also from an imaging measurement of the surface. However, the disadvantage is the relative great effort for the required calibration, i.e. the determination of the inner and external orientation of both the projector and the camera and their optical constants and parameters for correcting lens errors. The effort for determining the position and orientation of the camera and the projector increases even further when the object requires it, the camera and the Bring the projector in several positions, be it because of the projector an intensity that can be illuminated and evaluated by the camera graspable area is smaller than the surface to be measured, be it that the object is it requires illuminating its surface from different directions and record.

Der Gesamtaufwand läßt sich selbst dann nicht wesentlich reduzieren, wenn man den Projektor und die Kamera relativ zueinander mechanisch fixiert, also eine Projektor/Kamera-Einheit bildet und diese Einheit längs einer genau vermessenen Bahn bewegt. Hinzu kommt, daß bei großen Objekten, die einen großen Abstand der Einheit vom Objekt erforderlich machen, eine genaue Führung in vielen Fällen nicht mehr mit noch vertretbarem Aufwand realisiert werden kann oder häufig auch aus Platzgründen nicht in Frage kommt. Außerdem ist es bei solchen Einheiten nachteilig, daß Projektor und Kamera oft nicht in die günstigste Meßposition gebracht werden können.The total effort can not be significantly reduced even if one The projector and the camera are mechanically fixed relative to each other, i.e. one Projector / camera unit forms and this unit along a precisely measured Railway moves. In addition, for large objects that have a large distance between them Require unity of the object, in many cases not precise guidance more can be achieved with justifiable effort or often from Space is out of the question. It is also disadvantageous with such units that that the projector and camera are often not brought into the most favorable measuring position can.

Der Erfindung liegt die Aufgabe zugrunde, ein bildgebendes Verfahren der eingangs genannten Art zu schaffen, das zumindest weitgehend von den Nachteilen der bekann ten Verfahren frei ist und dadurch verbesserte Einsatzmöglichkeiten bietet. Diese Auf gabe löst ein Verfähren mit den Merkmalen des Anspruches 1.The invention has for its object an imaging method of the beginning to create the type mentioned, which at least largely from the disadvantages of process is free and thus offers improved application possibilities. This on gift resolves a method with the features of claim 1.

Bei der erfindungsgemäßen Kalibrierung mit Hilfe von objektfesten homologen Punk ten auf der zu vermessenden Oberfläche des Objektes unter Anwendung der aus der Photogrammetrie bekannten Bildtriangulation im Rahmen einer kombinierten Netz ausgleichung (nachfolgend als Bündelausgleichung bezeichnet) entfällt die Notwen digkeit, vor Beginn der Vermessung der Oberfläche des Objektes die Position und Orientierung von Projektor und Kamera mit Hilfe von Referenzkörpern und Vermes sungsmitteln, beispielsweise einer Koordinatenmeßmaschine zu bestimmen. Das erfin dungsgemäße Verfahren macht es nämlich möglich, gestützt auf die mit der Kamera aufgenommenen Bilder nicht nur die Positionen und Orientierungen von Kamera und Projektor rechnerisch zu bestimmen, sondern auch die optischen Konstanten von Ka mera und Projektor sowie die Parameter zur Korrektur von Objektivfehlern zu berech nen. Vorteilhaft ist hierbei ferner, daß alle erforderlichen Berechnungen ausgeführt werden können, nachdem alle Aufnahmen gemacht und in digitaler Form abgespei chert worden sind. Wenn die Bilder eines Objektes gemacht sind, kann sich deshalb unmittelbar die Vermessung eines anderen Objektes anschließen, was beispielsweise die Anwendung des erfindungsgemäßen Verfahrens bei der Vermessung von Produk ten einer Serienfertigung erlaubt.In the calibration according to the invention with the aid of object-fixed homologous punk ten on the surface of the object to be measured using the from the Known image triangulation photogrammetry as part of a combined network adjustment (hereinafter referred to as bundle adjustment) the need is eliminated position, and before starting to measure the surface of the object Orientation of projector and camera with the help of reference objects and surveying means to determine, for example, a coordinate measuring machine. That invented The method according to the invention makes it possible, based on that with the camera pictures taken not only the positions and orientations of camera and To determine the projector mathematically, but also the optical constants of Ka mera and projector as well as the parameters for correcting lens errors nen. It is also advantageous here that all the necessary calculations are carried out can be taken after all the pictures have been taken and saved in digital form have been saved. Therefore, when the pictures of an object are made, it can immediately connect the measurement of another object, which for example the application of the method according to the invention in the measurement of product Series production allowed.

Von besonderem Vorteil ist ferner, daß für Standortveränderungen von Kamera und Projektor keine teuren mechanischen Führungsmittel erforderlich sind und außerdem die bei dem bekannten Verfahren in solchen Fällen erforderliche Verbindung von Ka mera und Projektor zu einer nur gemeinsam bewegbaren Einheit entfällt. Das erfin dungsgemäße Verfahren läßt sich deshalb überall dort mit großem Vorteil anwenden, wo das Objekt wegen seiner Form und/oder Größe nicht nur Ortsveränderungen der Kamera, sondern auch des Projektors erforderlich macht. Dank der freien Bewegbar keit von Kamera und Projektor ist das erfindungsgemäße Verfahren auch vorzüglich für den Einsatz unter ungünstigen äußeren Bedingungen, beispielsweise in Produk tionshallen, geeignet, zumal Umgebungslicht in der Regel nicht störend ist.It is also of particular advantage that for changes in the location of the camera and No expensive mechanical guide means are required and moreover the compound of Ka required in the known method in such cases mera and projector into one unit that can only be moved together are eliminated. That invented The method according to the invention can therefore be used with great advantage everywhere there, where, due to its shape and / or size, the object is not just a change of location Camera, but also the projector requires. Thanks to the free movement speed of camera and projector, the inventive method is also excellent for use under unfavorable external conditions, for example in products tion halls, suitable, especially since ambient light is usually not distracting.

Die für die Auswertung der mittels der Videokamera aufgenommenen Bilder zum Zwecke der Kalibrierung und zur Bestimmung der Koordinaten der Oberflächenpunkte hängt in erheblichem Maße von der Rechengeschwindigkeit des für die Auswertung der Videobilder zur Verfügung stehenden Rechners ab. Rechenzeiten in der Größen ordnung von 10 Sekunden bei 200.000 Bildpunkten lassen sich ohne weiteres errei chen. Die für die Vermessung einer Oberfläche erforderliche Zeit kann außerdem da durch verringert werden, daß man wenigstens eine zusätzliche Videokamera verwen det, die aus einer anderen Position als die erste Videokamera den mit der Lichtstruktur beleuchteten Oberflächenbereich aufnimmt. The for the evaluation of the images taken by means of the video camera for Purposes of calibration and to determine the coordinates of the surface points depends largely on the computing speed of the for evaluation of the video images available from the computer. Computing times in sizes An order of 10 seconds at 200,000 pixels can be easily achieved chen. The time required to measure a surface can also be there be reduced by using at least one additional video camera det that from a different position than the first video camera with the light structure records illuminated surface area.

Das erfindungsgemäße Verfahren ermöglicht es, die Kalibrierung nur für die Videoka mera oder Videokameras durchzuführen, also auf eine Kalibrierung des Projektors oder der Projektoren zu verzichten, wenn zusätzliche Aufnahmen des vom Projektor beleuchteten Oberflächenbereiches aus unterschiedlichen Positionen aufgenommen werden. Das erfindungsgemäße Verfahren ist deshalb insgesamt sehr flexibel, d. h., an unterschiedliche, sowohl durch das Objekt als auch dessen Umgebung vorgegebene Bedingungen anpaßbar.The method according to the invention makes it possible to calibrate only for the videoka mera or video cameras, so calibration of the projector or the projectors if there are additional recordings of the projector illuminated surface area from different positions will. The method according to the invention is therefore very flexible overall, i. i.e., on different, given both by the object and its surroundings Customizable conditions.

Bei den homologen Punkten muß es sich nicht um mechanisch auf die zu vermessende Oberfläche aufgebrachte Markierungen handeln. Zusätzlich zu solchen Markierungen oder statt dieser können homologe Punkte auch durch Muster gebildet sein, die mittels eines Projektors auf die zu vermessende Oberfläche projiziert werden, wodurch auch beispielsweise die Vermessung von nicht, oder nur schwer zugänglichen Oberflächen möglich ist. Als homologe Punkte können auch markante Punkte der Objektoberfläche benutzt werden, die sich in mindestens zwei aus unterschiedlichen Positionen aufge nommenen Videoaufnahmen eindeutig identifizieren lassen. Während die Anzahl der mechanisch aufgebrachten Markierungen in der Regel relativ gering gehalten werden muß, können homologe Punkte, die auf die Objektoberfläche aufprojiziert werden oder durch markante Punkte derselben gebildet sind, in großer Anzahl zur Verfügung ge stellt werden, was eine entsprechend hohe Redundanz und entsprechend verbesserte Bedingungen für die Bündelausgleichsrechnung ergibt. Als sehr vorteilhafte Eigen schaft der Bündelausgleichung gilt ihre Unterdrückung der Fehlersummation (Sum menfehler) bei einer gegebenenfalls erforderlichen Aufteilung der Objektoberfläche in sich überlappende Teilbereiche, die nacheinander abgearbeitet werden.The homologous points do not have to be mechanical on those to be measured Act surface markings. In addition to such markings or instead of this, homologous dots can also be formed by patterns, which by means of of a projector are projected onto the surface to be measured, which also For example, the measurement of surfaces that are difficult or difficult to access is possible. Striking points on the object surface can also be used as homologous points are used, which arise in at least two from different positions have the video recordings clearly identified. While the number of mechanically applied markings are usually kept relatively low must be homologous points that are projected onto the object surface or are formed by distinctive points of the same, available in large numbers what a correspondingly high redundancy and accordingly improved Conditions for the bundle compensation calculation. As a very advantageous property The bundle adjustment suppresses the error accumulation (sum error) if a necessary division of the object surface into overlapping sections that are processed one after the other.

Zweckmäßigerweise werden erfindungsgemäß zwei Typen von Musterprojektoren eingesetzt:According to the invention, two types of model projectors are expedient used:

1. Projectors that can illuminate an entire sub-area. They mostly point out a programmed switchable pattern. In a typical measurement sequence immediately after the inclusion of a partial area on the next part area aligned. You can use brands with very high point density for the Mas Generate point determination. The brands are only available during the Inclusion of a subarea is therefore available here as "tem porous homologous marks ". A is advantageously programmed switchable line pattern from parallel horizontal and vertical lines seen. The lines, the line edges or the crossing points of the lines or line edges are z. B. with the known method of "coding Light approach "clearly identified and serve as a temporary homologue Brands.
2. In addition, one or more simpler branded projectors can be used, each of which can usually only produce a single pattern and can usually only be switched on and off. These projectors are aimed at the overlapping areas of individual partial areas. They remain aligned to the same location until all sub-areas whose overlap area your brand belongs to have been processed. The marks generated in this way are called "permanent projected homologous marks". As a projection pattern, a circular surface 20 with an optically easily detectable edge, a circular ring 22 , several concentric circular rings or combinations thereof is preferably used.

Damit die Bilder von Teilbereichen einander koordinatenmäßig richtig zugeordnet werden können, muß darauf geachtet werden, daß sich die Teilbereiche überlappen, sich das Objekt während der Messung nicht bewegt und in jedem Überlappungsbereich wenigstens drei homologe Punkte zur Verfügung stehen. Diese homologen Punkte dürfen in den Bildern nicht auf einer Linie liegen.So that the images of partial areas are correctly assigned to each other in terms of coordinates care must be taken to ensure that the partial areas overlap, the object does not move during the measurement and in any overlap area at least three homologous points are available. These homologous points must not be in line in the pictures.

Herkömmliche Marken (Fig. 3) sind feste Marken mit einer Kreisfläche 20. Die In formation der Marke liegt in dem Hell-Dunkel-Übergang 21 der Begrenzungslinie. Erfindungsgemäß wird hier eine ringförmige Struktur 22 (Fig. 4) eingeführt. Diese weist den Vorteil auf, daß bei gleichem Außendurchmesser gleich zwei informations tragende Begrenzungslinien 22 und 23 pro Marke vorhanden sind. Die ringförmigen Marken können erfindungsgemäß als feste Marken oder als projizierte Marken reali siert sein.Conventional marks ( FIG. 3) are fixed marks with a circular area 20 . The information of the mark lies in the light-dark transition 21 of the boundary line. According to the invention, an annular structure 22 ( FIG. 4) is introduced here. This has the advantage that there are two information-bearing boundary lines 22 and 23 per mark for the same outer diameter. The annular marks can be realized according to the invention as fixed marks or as projected marks.

Das Aufnehmen von Teilbereichen der Objektoberfläche erfolgt vorzugsweise mäan drierend, d. h. zeilen- oder spaltenweise in einer sprungfreien Folge. Die Arbeitsweise des Projektors und der Kamera können hierbei mit der Arbeitsweise eines Scanners verglichen werden.Partial areas of the object surface are preferably meandered urgent, d. H. row or column by row in a jump-free sequence. The way of working the projector and the camera can work with a scanner be compared.

Sofern die Form der Objektoberfläche dies zuläßt, ist es vorteilhaft, die Kamera oder Kameras und den Projektor für die zeilenweise Erfassung der Teilbereiche der Objekt oberfläche zu schwenken, was mit Hilfe von entsprechend ausgebildeten Stativen möglich ist. Sofern solche Stative eine Winkelmessung zulassen, können die Schwenkwinkel in die Kalibrierung mit einbezogen werden.If the shape of the object surface permits, it is advantageous to use the camera or Cameras and the projector for the line-by-line detection of the partial areas of the object surface to swivel, using appropriately trained tripods is possible. If such tripods allow an angle measurement, the Swivel angle can be included in the calibration.

Wenn bei einer Unterteilung der Objektoberfläche in Teilbereiche der Projektor hin sichtlich seiner Position und Orientierung verändert werden muß, ist es zweckmäßig, die Position des Projektors so zu ändern, daß der in der neuen Position mit der Lichts truktur beleuchtete Teilbereich sich mit dem in der alten Position belichteten Teil bereich überlappt. Die Kamera bleibt während dieser Positionsänderung des Projektors in einer Position, in welcher sie den Überlappungsbereich erfassen kann. Dadurch können bei der Bildauswertung die beiden Teilbereiche einander richtig zugeordnet werden.If the projector divides the surface of the object into sections visually changing its position and orientation, it is advisable change the position of the projector so that it is in the new position with the light The structure of the sub-area illuminated with the part exposed in the old position area overlaps. The camera stays on while the projector is changing position in a position in which it can grasp the overlap area. Thereby can correctly assign the two sub-areas to each other during image evaluation will.

Als Beleuchtungsstruktur wird zur geometrischen Oberflächenerfassung vorteilhafter weise eine Linienstruktur verwendet, wobei in vielen Fällen eine aus parallelen Linien bestehende Linienstruktur ausreichend ist. Andernfalls kann eine Linienstruktur mit zwei sich vorzugsweise rechtwinklig kreuzenden Liniensystemen verwendet werden. Besonders vorteilhaft ist es, wenn die Liniensysteme hell und dunkel geschaltet wer den können, da dann alle Linien in einfacher Weise codiert werden können. Solche schaltbaren Linienstrukturen lassen sich mit besonderem Vorteil mittels LCD-Licht modulatoren erzeugen. As a lighting structure for geometric surface detection is more advantageous as a line structure used, in many cases one of parallel lines existing line structure is sufficient. Otherwise you can use a line structure two line systems, preferably crossing each other at right angles, can be used. It is particularly advantageous if the line systems are switched light and dark can, because then all lines can be encoded in a simple manner. Such Switchable line structures can be particularly advantageous using LCD light generate modulators.

Im folgenden ist die Erfindung anhand von in der Zeichnung dargestellten Ausfüh rungsbeispielen im einzelnen erläutert. Es zeigenThe invention is based on the embodiment shown in the drawing Example explained in detail. Show it

Fig. 1 eine schematische Darstellung des Meßobjektes, des Projektors und der Kamera in den Meßpositionen, Fig. 1 is a schematic representation of the object to be measured, the projector and the camera in the measuring positions,

Fig. 2 eine schematische Darstellung eines großen Meßobjektes und der unterschiedlichen Standorte des Projektors und der Kamera bei der Erfassung von Teilbereichen der Objektoberfläche. Fig. 2 is a schematic representation of a large measurement object and the different locations of the projector and the camera when detecting partial areas of the object surface.

Ausführungsbeispiel zu Fig. 1:Embodiment of Fig. 1:

Zur dreidimensionalen optischen Vermessung der Oberfläche eines Meßobjektes 1, bei dem es sich beispielsweise um das verkleinerte Modell eines Flügelprofils handelt, wird eine 3D-Digitalisierung der Oberfläche des Meßobjektes durchgeführt. Mit Hilfe eines Linienprojektors 2, in den ein schaltbarer LCD-Lichtmodulator integriert ist, wird ein aus parallelen Linien bestehendes Linienmuster auf die zu vermessende Ober fläche des Meßobjektes projiziert. Die Linien des Linienmusters können dank des schaltbaren LCD-Lichtmodulators im Wechsel hell und dunkel geschaltet werden, wodurch es möglich ist, jeder Linie eine sie kennzeichnende digitale Codierung zu zuordnen, welche aus der Hell-Dunkel-Folge entsprechenden Bitfolge besteht. Der Standort des Linienprojektors 2 wird so gewählt, daß die gesamte zu vermessende Oberfläche des Meßobjektes 1 gleichzeitig ausgeleuchtet wird, und zwar mit einer ausreichend großen Intensität.For the three-dimensional optical measurement of the surface of a measurement object 1 , which is, for example, the reduced model of a wing profile, a 3D digitization of the surface of the measurement object is carried out. With the help of a line projector 2 , in which a switchable LCD light modulator is integrated, a line pattern consisting of parallel lines is projected onto the surface of the measurement object to be measured. The lines of the line pattern can be switched alternately light and dark thanks to the switchable LCD light modulator, which makes it possible to assign each line a digital coding that characterizes it, which consists of the bit sequence corresponding to the light-dark sequence. The location of the line projector 2 is selected so that the entire surface of the measurement object 1 to be measured is illuminated simultaneously, with a sufficiently high intensity.

Im Ausführungsbeispiel hat der Linienprojektor 2 sechshundertvierzig horizontale und sechshundertvierzig vertikale, schaltbare Linien. Bei geringeren Anforderungen an die Meßgenauigkeit könnte aber auch Linienprojektor mit beispielsweise dreihundert zwanzig schaltbaren Linien, bei höheren Anforderungen an die Meßgenauigkeit bei spielsweise ein solcher mit zwölfhundertachtzig schaltbaren Linien eingesetzt werden. In the exemplary embodiment, the line projector 2 has six hundred and forty horizontal and six hundred and forty vertical, switchable lines. With lower demands on the measuring accuracy, however, a line projector with, for example, three hundred and twenty switchable lines could also be used, with higher demands on the measuring accuracy, for example, one with twelve hundred and eighty switchable lines.

Eine CCD-Kamera 3, also eine Videokamera, die im Ausführungsbeispiel 512 × 512 Pixel aufweist, wird an wenigstens zwei unterschiedlichen Standorten auf gestellt, die im Ausführungsbeispiel durch ausgezogene bzw. gestrichelte Linien dar gestellt sind und die so gewählt werden, daß in jeder Position die gesamte zu vermes sende Oberfläche des Meßobjektes 1 erfaßt wird und außerdem die optische Achsen des Linienprojektors 2 und der Kamera in ihrer jeweiligen Position einen für die zu erzielende Meßgenauigkeit ausreichend großen Konvergenzwinkel einschließen.A CCD camera 3 , that is, a video camera, which in the exemplary embodiment has 512 × 512 pixels, is placed at at least two different locations, which are represented in the exemplary embodiment by solid or dashed lines and which are selected such that in every position the entire surface to be measured to be measured object 1 is detected and also include the optical axes of the line projector 2 and the camera in their respective position a sufficiently large convergence angle for the measurement accuracy to be achieved.

Die CCD-Kamera 3 erfaßt in den unterschiedlichen Meßpositionen nicht nur die ge samte Oberfläche des Meßobjektes 1 in Form von etwa 250.000 Bildpunkten, sondern auch eine gewisse Anzahl von homologen Marken 4, die entweder auf die Objektober fläche vor der Vermessung mechanisch aufgebracht worden sind, durch markante und dadurch identifizierbare Punkte der Oberfläche gebildet werden, durch spezielle Mar kenprojektoren aufprojiziert wurden, also permanente Marken sind, oder mittels des Linienprojektors 2 erzeugt werden, also temporäre Marken sind. Die vorhandenen homologen Marken 4 können aus nur einer dieser drei Arten von homologen Marken, teilweise aus der einen und im übrigen aus einer der beiden anderen Arten oder aus allen drei Arten ausgewählt sein. Vorteilhaft ist, wenn die homologen Marken 4 mög lichst große Abstände voneinander haben und den zu vermessenden Objektbereich weitestgehend umschließen.The CCD camera 3 not only records the entire surface of the measurement object 1 in the form of approximately 250,000 pixels in the different measurement positions, but also a certain number of homologous marks 4 , which have either been mechanically applied to the object surface before the measurement, are formed by distinctive and thus identifiable points on the surface, have been projected onto them by special brand projectors, i.e. are permanent brands, or are generated by means of line projector 2 , i.e. are temporary brands. The existing homologous marks 4 can be selected from only one of these three types of homologous marks, partly from one and the rest from one of the two other types or from all three types. It is advantageous if the homologous marks 4 are as far apart as possible from one another and largely enclose the object area to be measured.

Die nacheinander auf die zu vermessende Objektoberfläche mit Hilfe des schaltbaren Lichtmodulators projizierten, codierten Linienmuster können zur Erhöhung der Orts auflösung auch mit einer sinusförmigen oder anderen in bekannter weise definierten Lichtintensitätsverteilung erzeugt werden. Ferner kann man durch in kurzen Zeitab ständen mit unterschiedlichem Schaltzustand des Lichtmodulators aufgenommene Bilderpaare durch Subtraktion der Helligkeitswerte Störeinflüsse, insbesondere des Umgebungslichtes, unterdrücken.The one after the other on the object surface to be measured with the help of the switchable Light modulators projected, encoded line patterns can increase the location resolution also with a sinusoidal or other defined in a known manner Light intensity distribution can be generated. Furthermore, one can in a short time stands recorded with different switching state of the light modulator Image pairs by subtracting the brightness values of interference, in particular the Ambient light, suppress.

Die mit der CCD-Kamera 3 von den unterschiedlichen Positionen aus aufgenommenen Bilder der mit dem codierten Linienmuster überzogenen Objektoberfläche werden zunächst in digitaler Form gespeichert, d. h., von jedem der Bildpunkte der Videobil der, denen je ein Punkt auf der Oberfläche des Meßobjektes 1 entspricht, werden der Helligkeitswert und die Koordinaten gespeichert.The images of the object surface covered with the coded line pattern, taken from the different positions with the CCD camera 3, are first stored in digital form, ie, from each of the image points of the video mobiles, each of which corresponds to a point on the surface of the measurement object 1 , the brightness value and the coordinates are saved.

Aufgrund dieser gespeicherten Bilder werden zur Systemkalibrierung anhand der ho mologen Marken 4 mit Hilfe eines marktgängigen Programmes zu der aus der Photo grammetrie bekannten Bündelausgleichsrechnung von einem Rechner die Orte aller homologen Marken 4 im Meßkoordinatensystem, der Ort und die äußere Orientierung sowohl des Linienprojektors 2 als auch der CCD-Kamera 3 in beiden Meßpositionen und außerdem, falls nicht schon vorher bestimmt, die optischen Konstanten des Li nienprojektors 2 und der CCD-Kamera 3 sowie die Parameter zur Korrektur von Ob jektivfehlern ermittelt. Außerdem wird eine Skalierung aufgrund einer Meßstrecke vorgenommen. Sofern zumindest zwei Aufnahmen der gesamten Objektoberfläche aus unterschiedlichen Blickrichtungen mit mindestens 5 homologen Punkten in den Bil dern gemacht worden sind, braucht der Linienprojektor 2 nicht in die Kalibrierung einbezogen zu werden, d. h., seine Daten brauchen nicht berechnet zu werden.On the basis of these stored images, the locations of all homologous marks 4 in the measurement coordinate system, the location and the external orientation of both the line projector 2 and also be used for system calibration based on the homologous marks 4 with the aid of a marketable program for the bundle compensation calculation known from photo grammetry from a computer the CCD camera 3 in both measuring positions and also, if not previously determined, the optical constants of the line projector 2 and the CCD camera 3 and the parameters for correcting ob jective errors determined. In addition, scaling is carried out on the basis of a measuring section. If at least two images of the entire object surface have been taken from different viewing directions with at least 5 homologous points in the images, the line projector 2 does not need to be included in the calibration, ie its data need not be calculated.

Für die weitere Auswertung der aufgenommenen Bilder ist es in der Regel sinnvoll, vom Meßkoordinatensystem auf ein sogenanntes Weltkoordinatensystem überzuwechseln.For the further evaluation of the captured images, it is usually advisable to change from the measurement coordinate system to a so-called world coordinate system.

Nach der Kalibrierung berechnet der Rechner für jeden Oberflächenpunkt, der einem der Bildpunkte in einem der Videobilder entspricht, die Weltkoordinaten. Da diese Bildpunkte und damit auch die Oberflächenpunkte sehr eng nebeneinander liegen, die Punktdichte also sehr groß ist, spricht man hier von einem bildgebenden Meßverfah ren.After calibration, the computer calculates for each surface point that one of the pixels in one of the video images corresponds to the world coordinates. This one Pixels and thus the surface points are very close to each other Point density is very large, one speaks here of an imaging measurement method ren.

Aus verschiedenen Gründen kann es unmöglich sein, den gesamten interessierenden Teil der Oberfläche eines Meßobjektes mit einer einzigen Positionierung des Projek tors so auszuleuchten. Ferner kann eine Ausleuchtung nur eines Teilbereiches der Oberfläche mittels des Projektors notwendig sein, weil sonst der Abstand des Projek tors vom Objekt zu groß und damit die Intensität der Lichtstruktur zu gering werden würde. Weiterhin kann eine Vermessung von Teilbereichen notwendig sein, weil die Kamera von verschiedenen Standorten oder mit unterschiedlichen Orientierungen auf die Oberfläche des Objektes gerichtet werden muß, um alle Einzelheiten erfassen zu können oder weil die notwendige Auflösung es verlangt, nur einen Teilbereich der Oberfläche des Objektes mit der Kamera zu erfassen.For various reasons, it may be impossible to interest everyone Part of the surface of a measurement object with a single positioning of the project to illuminate the tors. Furthermore, illumination of only a partial area of the Surface using the projector may be necessary, otherwise the distance of the project tors of the object are too large and the intensity of the light structure is too low would. It may also be necessary to measure partial areas because the Camera from different locations or with different orientations the surface of the object must be straightened to capture all the details can or because the necessary resolution requires only a sub-area of the Capture the surface of the object with the camera.

Ausführungsbeispiel zu Fig. 2:Embodiment of Fig. 2:

Die zu vermessende Oberfläche des Meßobjektes 11, bei dem es sich beispielsweise um ein Flugzeugflügelprofil normaler Größe handelt, wird, wie Fig. 2 zeigt, in eine Vielzahl von sich überlappende Teilbereiche 15a bis 15o unterteilt. Ein wegen des erforderlichen relativ großen Abstandes vom Meßobjekt 11 mit einem Teleobjektiv ausgerüsteter Linienprojektor, der im übrigen wie der Linienprojektor 2 ausgebildet ist, wird zunächst an einem Ort P1 so positioniert und auf das Meßobjekt 11 ausgerichtet, daß dessen Teilbereich 15a vollständig von dem vom Linienprojektor erzeugten Li nienmuster überdeckt ist. Eine Videokamera 13, die wegen des relativ großen Abstan des vom Meßobjekt 11 ebenfalls mit einem Teleobjektiv ausgerüstet ist, im übrigen aber wie die CCD-Kamera 3 ausgebildet ist, wird zunächst an einem Ort Kl so aufge stellt, daß sie den gesamten Teilbereich 15a zu erfassen vermag und außerdem ein ausreichend großer Konvergenzwinkel zwischen ihrer optischen Achse und derjenigen des Linienprojektors vorhanden ist. Anschließend wird die Videokamera an einem Ort K2 positioniert, von dem aus sie den gesamten Teilbereich 15a unter einem anderen Blickwinkel aufnehmen kann. Dieser Ort K2 ist außerdem so gewählt, daß die optische Achse der Videokamera in dieser Position einen ausreichend großen Winkel mit der optischen Achse des Linienprojektors und der Videokamera in der Position am Ort K1 einschließt.The surface of the measurement object 11 to be measured, which is, for example, an aircraft wing profile of normal size, is divided into a plurality of overlapping partial areas 15 a to 15 o, as shown in FIG. 2. A reactor equipped with a telephoto lens due to the required relatively large distance from the measurement object 11 line projector, which is formed in the rest as the line projector 2 is first positioned at a location P1 and aligned with the measurement object 11 such that its portion 15 a completely from the Line projector generated line pattern is covered. A video camera 13 , which is also equipped with a telephoto lens because of the relatively large distance from the measurement object 11 , but is otherwise designed like the CCD camera 3 , is first set up at one location Kl so that it covers the entire sub-area 15 a is able to detect and there is also a sufficiently large convergence angle between its optical axis and that of the line projector. The video camera is then positioned at a location K2 from which it can record the entire partial area 15a from a different angle. This location K2 is also selected so that the optical axis of the video camera in this position forms a sufficiently large angle with the optical axis of the line projector and the video camera in the position at location K1.

Die bildmäßige Erfassung des Teilbereiches 15a ist also identisch mit der bildmäßigen Erfassung der gesamten Oberfläche des relativ kleinen Meßobjektes 1 des ersten Aus führungsbeispiels. Deshalb ist es auch notwendig, daß jeder der Teilbereiche eine ge wisse Anzahl von homologen Marken aufweist, welche wie die homologen Marken 4 erzeugt werden können. Diese in Fig. 2 nicht dargestellten homologen Marken sind nach den gleichen Gesichtspunkten wie bei dem Meßobjekt 1 anzuordnen. Allerdings ist darauf zu achten, daß in jedem Überlappungsbereich 16 wenigstens drei homologe Marken vorhanden sind, weil diese dazu benötigt werden, die Bilder benachbarter Teilbereiche richtig aneinanderfügen zu können.The imaging of the sub-area 15 a is thus identical to the imaging of the entire surface of the relatively small measurement object 1 from the first exemplary embodiment. Therefore, it is also necessary that each of the partial areas has a certain number of homologous marks, which can be generated like the homologous marks 4 . These homologous marks, which are not shown in FIG. 2, are to be arranged according to the same criteria as for the measurement object 1 . However, care must be taken to ensure that there are at least three homologous marks in each overlap area 16 , because these are required in order to be able to correctly join the images of adjacent partial areas.

Wenn vom Teilbereich 15a alle für die Systemkalibrierung sowie für die dreidimensio nale optische Vermessung erforderlichen Aufnahmen mit der Videokamera gemacht worden sind, wird, während sich die Videokamera noch am Ort K2 in der für die Auf nahme des Teilbereiches 15a erforderlichen Position befindet, der Projektor auf den Teilbereich 15b gerichtet, der im Überlappungsbereich 16 sich mit dem Teilbereich 15a überlappt. Nun wird bei unveränderter Orientierung der Videokamera eine weitere Aufnahme gemacht, aufgrund deren wegen des von ihr erfaßten Überlappungsberei ches 16 mit Hilfe des Rechners später die vom Teilbereich 15b gemachten Aufnahmen koordinatenrichtig an die Aufnahmen des Teilbereiches 15a angefügt werden können. Danach wird der Teilbereich 15b mittels der Videokamera von den Positionen K2 und K1 aus aufgenommen.If from section 15 a all necessary for the system calibration as well as for the three-dimensional optical measurement recordings have been made with the video camera, while the video camera is still at location K2 in the position required for recording section 15 a, the Projector directed to the partial area 15 b, which overlaps the partial area 15 a in the overlap area 16 . Now, with the orientation of the video camera unchanged, another picture is taken, on the basis of which, due to the overlapping areas 16 detected by it, the pictures taken by section 15 b can later be added to the pictures of section 15 a with the aid of the computer. Thereafter, the portion 15 b by means of the video camera from the positions K2 and K1 taken out.

Ehe die Videokamera danach auf den Teilbereich 15c gerichtet werden kann, muß zunächst der Projektor auf den Teilbereich 15c gerichtet werden. Der Projektor ist deshalb zweckmäßigerweise auf einem Stativ angeordnet, das die erforderlichen Schwenkbewegungen des Projektors für die nacheinander erforderliche Projektion des Linienmusters auf die Teilbereiche 15a bis 15c in einfacher Weise ermöglicht. Nach dem mit der Videokamera aus der gegenüber der letzten Aufnahme des Teilbereiches 15b unveränderten Position nochmals eine Aufnahme gemacht worden ist, welche den zwischen den Teilbereichen 15b und 15c sich befindenden Überlappungsbereich 16 mit den hier vorgesehenen homologen Marken erfaßt, können nun die verschiedenen Aufnahmen des Teilbereiches 15c von den Orten K1 und K2 aus ausgeführt werden. Before the video camera can then be aimed at section 15 c, the projector must first be directed at section 15 c. The projector is therefore advantageously arranged on a stand that allows the required pivoting movement of the projector for the successively required projection of the line pattern on the portions 15 a to 15 c in a simple manner. After the video camera has made another position from the position unchanged since the last recording of the sub-area 15 b, which captures the overlap area 16 between the sub-areas 15 b and 15 c with the homologous marks provided here, the different ones can now be taken Recordings of the sub-area 15 c are carried out from the locations K1 and K2.

Nun wird der Projektor auf den seitlich neben dem Teilbereich 15c liegenden Teil bereich 15d gerichtet. Hierzu bedarf es nur einer Schwenkung des Projektors. An schließend werden, wie vorstehend für die Teilbereiche 15a bis 15c geschildert, die Aufnahmen des Teilbereiches 15d gemacht. In entsprechender Weise erfolgt der Über gang zum folgenden Teilbereich und dessen bildmäßiger Erfassung für alle übrigen Teilbereiche 15e bis 15o.Now the projector is directed to the area 15 d lying to the side next to the area 15 c. All that is required is a swivel of the projector. At closing, as described above for sub-areas 15 a to 15 c, the recordings of sub-area 15 d are made. In a corresponding manner, the transition to the following sub-area and its image acquisition for all other sub-areas 15 e to 15 o.

Die gesamte Oberfläche des Meßobjektes 11 wird also zeilenweise ohne Sprung mäan drierend, d. h. bei aufeinanderfolgenden Zeilen in entgegengesetzter Richtung fort laufend erfaßt, weshalb man auch von einem Scanner-System mit einem Sendescanner und einem Empfangsscanner bei dem Projektor bzw. der Videokamera sprechen kann. Vorteilhaft ist die zeilenförmige, sprungfreie Folge bei der Erfassung der Teilbereiche nicht nur wegen der vereinfachten Ausrichtung von Projektor und Videokamera auf die Teilbereiche im Falle einer schwenkbaren Anordnung auf einem Stativ. Sie ist vor allem für die Beseitigung von Fehlern aufgrund der Anfügung eines Teilbereiches an den vorhergehenden Teilbereich vorteilhaft, wenn beispielsweise der Teilbereich 15f nicht nur an den vorausgehenden Teilbereich 15e, sondern auch an den seitlich neben ihm liegenden Teilbereich 15a rechnerisch angefügt werden kann.The entire surface of the measuring object 11 is thus meandering line by line without jumping, ie continuously being detected in successive lines in the opposite direction, which is why one can also speak of a scanner system with a transmission scanner and a reception scanner in the projector or the video camera. The line-shaped, jump-free sequence when capturing the partial areas is advantageous not only because of the simplified alignment of the projector and video camera to the partial areas in the case of a pivotable arrangement on a tripod. It is particularly advantageous for the elimination of errors due to the addition of a partial area to the previous partial area if, for example, partial area 15 f can be arithmetically added not only to the preceding partial area 15 e but also to the partial area 15 a lying to the side of it .

Wie in Fig. 2 dargestellt, kann es bei großen Meßobjekten erforderlich sein, den Pro jektor an unterschiedlichen Orten anzuordnen, um alle Teilbereiche 15a bis 15o mit dem Linienmuster vollständig überziehen zu können. Im Ausführungsbeispiel ist es erforderlich, nach der Erfassung der Teilbereiche 15a bis 15f, während deren der Pro jektor sich am Ort P1 befindet, den Projektor für die Erfassung der Teilbereiche 15g bis 15o am Ort P2 aufzustellen. Im Ausführungsbeispiel kann der Projektor von die sem Ort aus durch Schwenkbewegungen um zwei im Winkel zueinander verlaufende Achsen nacheinander alle Teilbereiche 15b bis 15o ausleuchten. Für die von den Teil bereichen 15g bis 15o zu machenden Aufnahmen wird im Ausführungsbeispiel die Videokamera an den Orten K3 und K4 aufgestellt. As shown in Fig. 2, it may be necessary with large objects to arrange the Pro jector at different locations in order to completely cover all sub-areas 15 a to 15 o with the line pattern. In the exemplary embodiment, it is necessary, after the detection of the partial areas 15 a to 15 f, during which the projector is located at the location P1, to set up the projector for the detection of the partial areas 15 g to 15 o at the location P2. In the exemplary embodiment, the projector can illuminate all partial areas 15 b to 15 o from this location by swiveling movements about two axes running at an angle to one another. In the exemplary embodiment, the video camera is set up at the locations K3 and K4 for the recordings to be made of the partial areas 15 g to 15 o.

Nachdem die Aufnahmen aller Teilbereiche 15a bis 15o digital abgespeichert worden sind, wird zunächst die Systemkalibrierung in der im Zusammenhang mit dem Aus führungsbeispiel gemäß Fig. 1 beschrieben Weise durchgeführt. Danach kann der Rechner die Weltkoordinaten für alle einem der Bildpunkte entsprechenden Oberflä chenpunkte der Teilbereiche 15a bis 15o berechnen.After the recordings of all sections 15 a to 15 o have been digitally stored, the system calibration is first carried out in the manner described in connection with the exemplary embodiment according to FIG. 1. Thereafter, the computer can the world coordinates for all of the pixels a corresponding Oberflä 15 chenpunkte the partial areas a to 15 o calculate.

Selbstverständlich wäre es möglich, mehr als einen Linienprojektor zu verwenden und beispielsweise den einen am Ort P1 und den anderen am Ort P2 aufzustellen. Ebenso könnte mit wenigstens zwei Videokameras gearbeitet werden.Of course it would be possible to use more than one line projector and for example, to place one at location P1 and the other at location P2. As well could be used with at least two video cameras.

Claims

1. Method for three-dimensional optical measurement of the surface of objects with a high point density, in which changeable light structures are projected onto the surface to be measured by means of a projector, at least a part of the surface illuminated in this way is recorded by means of a video camera, in a calibration the inner and outer orientations of the The camera and the projector are determined and the coordinates of the points corresponding to the pixels on the object surface are calculated, characterized in that one and the same area of the object surface is recorded at least from a direction different from the projection direction with the position and projection direction of the projector unchanged and with the aid of the calibration is carried out from object-fixed homologous marks on the object surface or other calibration surfaces arranged statically to the object using the bundle compensation calculation.

2. The method according to claim 1, characterized in that part of the receptacle men made using at least one additional video camera and each before existing additional camera is included in the calibration.

3. The method according to claim 1 or 2, characterized in that the calibration only for the video camera or video cameras.

4. The method according to any one of claims 1 to 3, characterized in that we at least a part of the homologous marks is formed by patterns, which by means of of the projector can be projected onto the surface of the object.

5. The method according to any one of claims 1 to 4, characterized in that the Surface of the object in overlapping partial areas with at least each three homologous marks in each overlap area and that these sub-areas individually illuminated with the light structure and from the below different directions are recorded.

6. The method according to claim 5, characterized in that the partial areas in row or column-by-row jump-free sequence d. H. meandering.

7. The method according to claim 5 or 6, characterized in that for the on the video camera and / or the projector can be pivoted through measurable angles.

8. The method according to any one of claims 5 to 7, characterized in that at a change in position of the projector for a projection of the light structure different surface areas with overlapping partial areas the latter with unchanged position of the video camera both before and after the change in position of the projector and due to this Recordings the new position of the projector is calculated.

9. The method according to any one of claims 1 to 8, characterized in that the changeable light structure using at least one LCD light modulator be generated.

10. The method according to any one of claims 1 to 9, characterized in that with a permanent brand is projected onto an additional projector, and the Orientation of this projector remains unchanged until the location of the to permanent brand in all overlapping areas men was.

11. The method according to any one of claims 1 to 10, characterized in that the projected permanent mark is circular.

12. The method according to any one of claims 1 to 10, characterized in that the projected permanent mark contains circular rings.

13. The method according to any one of the preceding claims, characterized in that the Brand projector on several permanently oriented permanent brands projected the object.

14. The method according to any one of the preceding claims, characterized in that several brand projectors for permanent homologous brands are used the and this ge preferably on the overlap areas of the sub-areas be judged.

15. The method according to any one of the preceding claims, characterized in that the Monitors and axes of movement of the projector and cameras are calibrated and that after determining the outer orientations also forward step te of the projected line patterns can be carried out with the recordings.