DE102020132179A1 - Method and device for photogrammetric measurement - Google Patents

Method and device for photogrammetric measurement Download PDF

Info

Publication number
DE102020132179A1
DE102020132179A1 DE102020132179.1A DE102020132179A DE102020132179A1 DE 102020132179 A1 DE102020132179 A1 DE 102020132179A1 DE 102020132179 A DE102020132179 A DE 102020132179A DE 102020132179 A1 DE102020132179 A1 DE 102020132179A1
Authority
DE
Germany
Prior art keywords
measurement
features
camera
measurement features
scanner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020132179.1A
Other languages
German (de)
Inventor
Tim Winter
Eric Oertel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss GOM Metrology GmbH
Original Assignee
Carl Zeiss GOM Metrology GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss GOM Metrology GmbH filed Critical Carl Zeiss GOM Metrology GmbH
Priority to DE102020132179.1A priority Critical patent/DE102020132179A1/en
Publication of DE102020132179A1 publication Critical patent/DE102020132179A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

Ein Verfahren zur photogrammetrischen Vermessung von Messmerkmalen (7) mit einer Vorrichtung (1), die eine Multikamera (2) hat, wobei die Multikamera (2) mindestens zwei fest miteinander verbundene Einzelkameras (3) hat, wobei sich der Sichtbereich (4) von mindestens zwei der Einzelkameras (3) zumindest teilweise überschneidet, wird beschrieben. Das Verfahren hat die Schritte:a. Aufnehmen von Bildern der Messmerkmale (7) mit mindestens zwei Einzelkameras (3) der Multikamera (2) in verschiedenen Messpositionen;b. Auswerten der Bildaufnahmen einer Messposition und Bestimmen von 3D-Identifikationsmerkmalen von Messmerkmalen (7) im dreidimensionalen Raum, die sich im Überschneidungsbereich (5) der Einzelkameras (3) befinden, mit Hilfe der mehreren Bildaufnahmen für den Überschneidungsbereich und der jeweiligen Lage der Messmerkmale (7) in diesen Bildaufnahmen;c. Identifizieren der in den aus verschiedenen Messpositionen aufgenommenen Bildaufnahmen mit übereinstimmenden 3D-Identifikationsmerkmalen vorhandenen Messmerkmale (7);d. Berechnen der 3D-Koordinaten der identifizierten Messmerkmale (7) mit Hilfe der mehreren Bildaufnahmen.A method for the photogrammetric measurement of measurement features (7) using a device (1) which has a multi-camera (2), the multi-camera (2) having at least two individual cameras (3) which are permanently connected to one another, the field of view (4) extending from at least partially overlaps at least two of the individual cameras (3), is described. The method has the steps: a. Recording images of the measurement features (7) with at least two individual cameras (3) of the multi-camera (2) in different measurement positions;b. Evaluation of the image recordings of a measurement position and determination of 3D identification features of measurement features (7) in three-dimensional space that are located in the overlapping area (5) of the individual cameras (3), using the multiple image recordings for the overlapping area and the respective position of the measurement features (7 ) in these images; c. Identifying the measurement features (7) present in the images recorded from different measurement positions with matching 3D identification features; d. Calculating the 3D coordinates of the identified measurement features (7) using the multiple images.

Description

Die Erfindung betrifft ein Verfahren zur photogrammetrischen Vermessung sowie eine Vorrichtung dazu.The invention relates to a method for photogrammetric measurement and a device therefor.

In der industriellen Messtechnik sind optische Verfahren und optische Messsysteme weit verbreitet. Ein Beispiel hierfür sind photogrammetrische Messverfahren.Optical methods and optical measuring systems are widespread in industrial measurement technology. An example of this are photogrammetric measurement methods.

Klassische Photogrammetrische Verfahren sind ausgebildet, um die dreidimensionalen Koordinaten von Messmerkmalen, zum Beispiel aufgebrachten oder natürlichen Markierungen eines Objektes, aus photographisch aufgenommenen Bildern zu bestimmen.Classic photogrammetric methods are designed to determine the three-dimensional coordinates of measurement features, for example applied or natural markings on an object, from photographically recorded images.

Üblicherweise werden mit einer Kamera Bilder aus verschiedenen Positionen bzw. Winkeln zum Objekt aufgenommen. In diesen Bildern werden anschließend die Messmerkmale identifiziert, ihre Bildkoordinaten bestimmt und mit Hilfe mathematischer Algorithmen 3D-Koordinaten der Messmerkmale berechnet. Aufgrund der Identifizierung können die Messmerkmale mit einer eindeutigen ID, beispielsweise einer Nummer, versehen werden.A camera is usually used to take pictures from different positions or angles relative to the object. The measurement features are then identified in these images, their image coordinates are determined and 3D coordinates of the measurement features are calculated with the aid of mathematical algorithms. Based on the identification, the measurement features can be provided with a unique ID, for example a number.

In industriellen Anwendungen ist eine hohe Präzision gefragt. Deshalb werden bei der industriellen Photogrammetrie als Messmerkmale oft Marker, verwendet, die beispielsweise am Objekt aufgebracht werden. Diese Marker, die oft auch als Marken, Referenzmarken, photogrammetrische Targets oder als optische Zielmarken bezeichnet werden, sind vorteilhafterweise so ausgestaltet, dass sie durch den Einsatz von Methoden der digitalen Bildverarbeitung in den Bildaufnahmen identifiziert werden können und ihre Position hochgenau bestimmt werden kann. High precision is required in industrial applications. For this reason, markers are often used as measurement characteristics in industrial photogrammetry, which are applied to the object, for example. These markers, which are often also referred to as marks, reference marks, photogrammetric targets or optical target marks, are advantageously designed in such a way that they can be identified in the image recordings using methods of digital image processing and their position can be determined with high precision.

Um Marker in den Bildaufnahmen aus unterschiedlichen Ansichten einfach eindeutig zuordnen zu können, werden häufig codierte Marken verwendet, die so ausgestaltet sind, dass sie in den Bildaufnahmen auf Grund ihres Codes durch Bildverarbeitungsalgorithmen eindeutig identifiziert werden können.In order to be able to easily and clearly assign markers in the images from different views, coded marks are often used, which are designed in such a way that they can be clearly identified in the images due to their code using image processing algorithms.

Der Einsatz von codierten Marken ist aber nicht immer vorteilhaft.However, the use of coded marks is not always advantageous.

So sind auf Grund ihres Codes codierte Marken für gewöhnlich größer als uncodierte Marken, wodurch größere Teilbereiche der Objektoberfläche durch die codierten Marken verdeckt werden können.Because of their code, coded marks are usually larger than uncoded marks, which means that larger sections of the object surface can be covered by the coded marks.

Kommen Bildverarbeitungsalgorithmen zur Identifizierung der Marker zum Einsatz, so muss stets darauf geachtet werden, dass keine Codes mehrfach vorhanden sind, um eine eindeutige Identifizierung zu ermöglichen.If image processing algorithms are used to identify the markers, it must always be ensured that no codes are present more than once in order to enable clear identification.

Aufgabe der Erfindung ist es ein verbessertes Verfahren und eine verbesserte Vorrichtung für eine photogrammetrische Vermessung von Messmerkmalen zu schaffen. Damit sollen insbesondere die dreidimensionalen Koordinaten von sich auf einem Objekt befindlichen Messmerkmalen in Form von uncodierten Markern bestimmt werden können.The object of the invention is to create an improved method and an improved device for a photogrammetric measurement of measurement features. In particular, the three-dimensional coordinates of measurement features located on an object should be able to be determined in the form of uncoded markers.

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, sowie einer Vorrichtung mit den Merkmalen des Anspruchs 10 gelöst. Vorteilhafte Ausführungsformen sind nachfolgend und in den Unteransprüchen beschrieben.The object is achieved by a method having the features of claim 1 and a device having the features of claim 10. Advantageous embodiments are described below and in the dependent claims.

Zur Vermessung der Messmerkmale werden Bilder der Messmerkmale mit einer Vorrichtung aufgenommen, die eine Multikamera hat. Die Multikamera hat mindestens zwei Kameras. Die Konfiguration der Multikamera ist zumindest grob bekannt. Die Konfiguration kann beispielsweise aus bekannten baulichen Gegebenheiten der Multikamera abgeleitet werden. Vorteilhafterweise wird die Konfiguration durch eine Kalibrierung bestimmt. Die Konfiguration kann beispielsweise die Positionen und Orientierungen der Einzelkameras zueinander und deren Abbildungsgleichungen enthalten.To measure the measurement features, images of the measurement features are recorded with a device that has a multi-camera. The multi-camera has at least two cameras. The configuration of the multi-camera is at least roughly known. The configuration can be derived, for example, from known structural conditions of the multi-camera. The configuration is advantageously determined by a calibration. The configuration can contain, for example, the positions and orientations of the individual cameras in relation to one another and their imaging equations.

Bei den Kameras handelt es sich beispielsweise um Matrixkameras.The cameras are, for example, matrix cameras.

Die einzelnen Kameras der Multikamera können bei der Bildaufnahme vorteilhafterweise gleichzeitig ausgelöst werden.The individual cameras of the multi-camera can advantageously be triggered simultaneously during image recording.

Jede Einzelkamera der Multikamera verfügt über ein eigenes Sichtfeld. Dabei werden die Einzelkameras derart zueinander angeordnet, dass sich die Sichtfelder von mindestens zwei Einzelkameras der Multikamera mindestens teilweise überschneiden und so einen sich überschneidenden Sichtbereich bilden, der auch als Überschneidungsbereich bezeichnet wird.Each individual camera of the multi-camera has its own field of view. The individual cameras are arranged relative to each other in such a way that the fields of view of at least two individual cameras of the multi-camera overlap at least partially and thus form an overlapping field of view, which is also referred to as the overlapping area.

Es wird vorgeschlagen mehrere Bilder von Messmerkmalen, beispielsweise eines mit Messmerkmalen versehenen Objektes, mit der Multikamera aus verschiedenen Positionen und Winkeln aufzunehmen, um die 3D-Koordinaten der Messmerkmale zu berechnen.It is proposed to record multiple images of measurement features, for example an object provided with measurement features, with the multi-camera from different positions and angles in order to calculate the 3D coordinates of the measurement features.

Für Messmerkmale, die sich im Überschneidungsbereich mindestens zweier Einzelkameras befinden, liegen nach einer Bildaufnahme durch die Multikamera in einer Messposition mindestens zwei Bildaufnahmen für diese Messmerkmale vor.For measurement features that are located in the overlapping area of at least two individual cameras, after an image is recorded by the multi-camera in a measurement position, at least two images are recorded for these measurement features.

Bei den Messmerkmalen kann es sich beispielsweise um uncodierte Marken handeln, die auf einer Objektoberfläche angebracht sind. Herkömmliche Verfahren setzen hier in der Regel auf den Einsatz von codierten Marken. Das erfindungsgemäße Verfahren hingegen benötigt keine solche Codierung der Marken.The measurement features can be, for example, uncoded marks that are attached to an object surface. Conventional methods usually rely on the use of coded marks. The method according to the invention, on the other hand, does not require such a coding of the marks.

Im Überschneidungsbereich können die Messmerkmale durch Ausnutzung der Konfiguration der Multikamera und der Epipolargeometrie in den Kameras zugeordnet werden. Anschließend können durch Triangulation die 3D-Koordinaten dieser Messmerkmale in einem Sensorkoordinatensystem bestimmt werden.In the overlapping area, the measurement features can be assigned by utilizing the configuration of the multi-camera and the epipolar geometry in the cameras. The 3D coordinates of these measurement features can then be determined in a sensor coordinate system by triangulation.

Diese Messmerkmale weisen im Sensorkoordinatensystem zum Beispiel Identifikationsmerkmale wie Distanzen, Winkel oder einschließende Flächen zueinander auf. Zumindest einige dieser Identifikationsmerkmale sind für ein Messmerkmal oder eine Gruppe von Messmerkmalen einzigartig. Durch Ausnutzung der Konfiguration der Multikamera können auf Basis der Bildaufnahmen der Multikamera aus einer einzelnen Messposition solche Identifikationsmerkmale zwischen Marken im dreidimensionalen Raum (3D-Identifikationsmerkmale) bestimmt werden.In the sensor coordinate system, these measurement features have, for example, identification features such as distances, angles or enclosing areas in relation to one another. At least some of these identification features are unique for a measurement feature or a group of measurement features. By using the configuration of the multi-camera, such identification features between marks in three-dimensional space (3D identification features) can be determined on the basis of the images recorded by the multi-camera from a single measurement position.

Die Multikamera kommt aber nicht nur in einer einzigen Messposition zum Einsatz, sondern wird in verschiedenen Messpositionen eingesetzt.However, the multi-camera is not only used in a single measuring position, but is used in different measuring positions.

Über die zuvor bestimmten einzigartigen Merkmale können die Messmerkmale in den Bildaufnahmen aus verschiedenen Messpositionen identifiziert werden. Wurde eine Marke eindeutig identifiziert, so kann sie für die Weiterverarbeitung durch Vergabe einer eindeutigen ID, zum Beispiel einer Markennummer, gekennzeichnet werden.The measurement characteristics in the image recordings from different measurement positions can be identified via the previously determined unique characteristics. If a brand has been clearly identified, it can be marked for further processing by assigning a unique ID, for example a brand number.

Ist mindestens ein Teil der Marker in mehreren Bildern identifiziert, wird die eigentliche photogrammetrische Berechnung ihrer präzisen 3D-Koordinaten durchgeführt. Dazu können die Unbekannten eines dreidimensionalen Modells, welches als Unbekannte z.B. die Positionen, Orientierungen und die Abbildungsgleichungen der einzelnen Bildpositionen sowie die 3D-Koordinaten der Marker enthält, mit Hilfe einer mathematischen Ausgleichsrechnung so bestimmt werden, dass z.B. die quadratischen Abweichungen zwischen dem mathematischen Modell und den ermittelten Bildkoordinaten minimiert werden. Ein solcher Rechenschritt wird in der Photogrammetrie Bündelblockausgleich genannt.Once at least part of the markers are identified in multiple images, the actual photogrammetric calculation of their precise 3D coordinates is performed. For this purpose, the unknowns of a three-dimensional model, which contains e.g. the positions, orientations and the imaging equations of the individual image positions as well as the 3D coordinates of the markers as unknowns, can be determined with the help of a mathematical adjustment calculation in such a way that e.g. the quadratic deviations between the mathematical model and the determined image coordinates are minimized. Such a calculation step is called bundle block adjustment in photogrammetry.

Insbesondere kann diese Ausgleichsrechnung unter ausschließlicher Verwendung der 2D-Bildkoordinaten der Messmerkmale, ihrer eindeutigen Identifizierung, der Abbildungseigenschaften der Einzelkamera sowie eventueller Fehlermetriken durchgeführt werden.In particular, this adjustment calculation can be carried out using only the 2D image coordinates of the measurement features, their unique identification, the imaging properties of the individual camera and any error metrics.

Die Lösung des Bündelblockausgleichs liefert globale 3D-Koordinaten, allerdings ohne eine eindeutige Skalierung. Das heißt das Gesamtsystem kann ohne Veränderung der Abweichung skaliert werden.The bundle block adjustment solution provides global 3D coordinates, but without a unique scaling. This means that the overall system can be scaled without changing the deviation.

Dieses Skalierungsproblem, kann gelöst werden, indem ein Maßstab in das System eingebracht wird. Hierfür gibt es unterschiedliche Möglichkeiten.This scaling problem can be solved by introducing a scale into the system. There are different ways to do this.

In einer Ausführungsform wird ausgenutzt, dass die Konfiguration der Multikamera ausreichend genau bekannt ist. Beispielsweise kann vor oder nach der Vermessung des Objektes eine Kalibrierung der Messvorrichtung vorgenommen werden, um die Konfiguration zu bestimmen. Dann kann über die mit Hilfe der Konfiguration berechneten 3D-Koordinaten ein Maßstab ins System gebracht werden kann.In one embodiment, use is made of the fact that the configuration of the multi-camera is known with sufficient accuracy. For example, before or after measuring the object, the measuring device can be calibrated in order to determine the configuration. A scale can then be brought into the system using the 3D coordinates calculated with the help of the configuration.

In einer vorteilhaften Ausführungsform wird mindestens ein maßstabgebendes Elementes (Maßstab) auf oder neben dem Objekt verwendet, wobei mindestens ein Maß des Maßstabes bekannt ist. Über das bekannte Maß kann die Skalierung des Systems durchgeführt werden. Eine eventuell vorher durchgeführte Skalierung über die Ausnutzung der bekannten Konfiguration der Multikamera kann dadurch in Ihrer Genauigkeit verbessert werden.In an advantageous embodiment, at least one scaling element (scale) is used on or next to the object, at least one dimension of the scale being known. The system can be scaled using the known measure. Any previously performed scaling using the known configuration of the multi-camera can thereby be improved in terms of its accuracy.

In einer vorteilhaften Ausführungsform kann das maßstabgebende Element ein Maßstab mit uncodierten Marken sein. Maßstäbe mit uncodierten Marken können zum Beispiel über ihre bekannten Abstände in der Messung identifiziert werden und anschließend für den Ausgleich verwendet werden. Die uncodierten Marker können beispielsweise baugleich zu den uncodierten Markern sein, die als Messmerkmale auf dem Objekt zum Einsatz kommen. Damit können die uncodierten Marker des Maßstabes nicht ohne weiteres von den anderen Messmerkmalen unterschieden werden. Für die Messmerkmale können Abstände zu anderen Messmerkmalen auf Basis der Konfiguration der Multikamera bestimmt werden. Da die Konfiguration der Multikamera nur hinreichend genau bekannt ist, können hierbei Maßstabsfehler auftreten. In der Menge der Messmerkmale können diejenigen gesucht werden, deren Abstandswert einem bekannten Abstandswert der uncodierten Marker des Maßstabs am besten ähneln. Damit können die uncodierten Marker des Maßstabs identifiziert werden und es kann der vorliegende Abstandswert durch das bekannte Maß ersetzt werden.In an advantageous embodiment, the scale element can be a scale with uncoded marks. Rulers with uncoded marks can, for example, be identified by their known distances in the measurement and then used for compensation. The uncoded markers can, for example, be structurally identical to the uncoded markers that are used as measurement features on the object. This means that the uncoded markers of the ruler cannot be easily distinguished from the other measurement features. For the measurement features, distances to other measurement features can be determined based on the configuration of the multi-camera. Since the configuration of the multi-camera is only known with sufficient accuracy, scale errors can occur here. In the set of measurement features, those can be searched for whose distance value most closely resembles a known distance value of the uncoded markers of the ruler. In this way, the uncoded markers of the ruler can be identified and the present distance value can be replaced by the known measure.

In einer weiteren Ausführungsform wird ein maßstabgebendes Element mit codierten Marken verwendet. Dies macht vor allem eine eindeutige Identifizierung der Maßstäbe einfacher. Dies ist insbesondere vorteilhaft, wenn die Konfiguration der Multikamera nur sehr grob bekannt ist.In another embodiment, a scale element with coded marks is used. Above all, this makes it easier to clearly identify the scales. This is particularly advantageous if the configuration of the multi-camera is only roughly known.

In einer Erweiterung des Verfahrens werden nicht nur die Bildinformationen von Markern im sich überschneidenden Sichtbereich mindestens zweier Bildaufnahmeeinheiten genutzt, sondern es können auch 3D-Positionen für Marker erzeugt werden, die außerhalb dieser Bereiche in Messbildern auftauchen. Diese Marker werden im ersten Schritt nicht eindeutig identifiziert, weil keine 3D-Merkmale über Triangulation für sie berechnet werden können. Sie gehen aber in die abschließende Ausgleichsrechnung als nicht identifizierte Marker ein und stellen so für den Ausgleich zusätzliche Bedingungen dar, die die resultierende Genauigkeit erhöhen können.In an extension of the method, not only is the image information of markers in the overlapping field of view of at least two image acquisition units used, but 3D positions can also be generated for markers that appear in measurement images outside of these areas. These markers are not clearly identified in the first step because no 3D features can be calculated for them via triangulation. However, they are included in the final adjustment calculation as unidentified markers and thus represent additional conditions for the adjustment that can increase the resulting accuracy.

In einer anderen Ausführungsform des Verfahrens können zusätzlich zu den für das Verfahren eingesetzten uncodierten Marken auch codierte Marken verwendet werden. Das erfindungsgemäße Verfahren ermöglicht gerade den Verzicht auf codierte Marken. Sollten aber dennoch zusätzlich codierte Marken vorhanden sein, so stören diese das Verfahren nicht. Ein vorhandener Code kann einfach ignoriert werden, so dass diese Marke wie eine uncodierte Marke in den Verfahrensablauf einfließt. Es ist aber auch möglich die aus dem Verfahren gewonnen Informationen mit den Codeinformation zu kombinieren.In another embodiment of the method, coded marks can also be used in addition to the uncoded marks used for the method. The method according to the invention makes it possible to dispense with coded marks. If, however, additional coded marks are present, they do not interfere with the process. An existing code can simply be ignored so that this mark flows into the procedure like an uncoded mark. However, it is also possible to combine the information obtained from the method with the code information.

Es ist vorteilhaft bei der Bildaufnahme mit der Multikamera eine Beleuchtungsquelle einzusetzen. Die Beleuchtungseinheit ermöglicht die Ausleuchtung der Marker, so dass diese in den Bildaufnahmen beispielsweise auf Grund erhöhten Kontrastes verbessert detektiert werden können.It is advantageous to use an illumination source when recording images with the multi-camera. The lighting unit enables the markers to be illuminated so that they can be detected better in the image recordings, for example due to increased contrast.

Die Marker können mit retroreflektierenden Materialien ausgestaltet sein. Diese Materialien reflektieren Licht in genau die Richtung, aus der es gesendet wird. Wird die Beleuchtung unmittelbar an der Optik der Bildaufnahmeeinheit angebracht, ist eine verbesserte Lichtausbeute möglich.The markers can be designed with retroreflective materials. These materials reflect light in the exact direction from which it is sent. If the lighting is attached directly to the optics of the image recording unit, an improved light yield is possible.

Die Beleuchtung kann mit Licht unterschiedlichen Wellenlängen erfolgen. Die Wellenlänge der Beleuchtung hat dabei auch einen Einfluss auf die Fokuslage der Kamera. So können durch den Einsatz unterschiedlicher Wellenlängen bei gleichbleibender Kamerakonfiguration Messmerkmale in unterschiedlichen Arbeitsabständen zur Kamera scharf aufgenommen werden.The illumination can be done with light of different wavelengths. The wavelength of the illumination also has an influence on the focal position of the camera. By using different wavelengths with the same camera configuration, measurement features can be recorded sharply at different working distances from the camera.

In einer vorteilhaften Ausführungsform wird die Multikamera mit einem 3D-Scanner kombiniert. Dazu wird ein 3D-Scanner fest mit der Multikamera verbunden.In an advantageous embodiment, the multi-camera is combined with a 3D scanner. For this purpose, a 3D scanner is permanently connected to the multi-camera.

Der 3D-Scanner ist eingerichtet dreidimensionale Messdaten eines Objektes zu erfassen. Insbesondere Streifenlichtscanner und Laserlinienscanner sind für diese Kombination gut geeignet. Häufig ist es nicht möglich, alle Flächen eines Objektes mit dem 3D-Scanner aus einer einzigen Aufnahmeperspektive zu erfassen. Zur vollständigen Erfassung wird das zu vermessende Objekt deshalb in der Regel aus mehreren Positionen der Messeinrichtung relativ zum Objekt erfasst. Bekannt sind Methoden bei denen Referenzmarken vor der 3D-Messung auf oder in räumlicher Nähe zum Objekt platziert werden, um beispielsweise die Messdaten einer Einzelmessungen des 3D-Scanners zu einem Gesamtdatensatz zu kombinieren. Vorteilhafterweise werden die für die photogrammetrische Vermessung mit der Multikamera eingesetzten Marker auch für die Vermessung mit dem 3D-Sanner verwendet.The 3D scanner is set up to capture three-dimensional measurement data of an object. Strip light scanners and laser line scanners in particular are well suited for this combination. It is often not possible to capture all surfaces of an object with the 3D scanner from a single perspective. For complete detection, the object to be measured is therefore usually detected from a number of positions of the measuring device relative to the object. Methods are known in which reference marks are placed on or in close proximity to the object before the 3D measurement, for example in order to combine the measurement data of an individual measurement of the 3D scanner into an overall data set. Advantageously, the markers used for the photogrammetric measurement with the multi-camera are also used for the measurement with the 3D scanner.

In einer weiteren vorteilhaften Ausführungsform erfolgt nicht nur eine Kombination von Multikamera und 3D-Scanner, sondern sogar eine integrative Ausgestaltung. Hierbei wird ausgenutzt, dass 3D-Scanner oft ebenfalls Kameras verwenden. Somit ist eine gemeinsame Verwendung der Kameras für Multikamera und 3D-Scanner denkbar.In a further advantageous embodiment, there is not only a combination of multi-camera and 3D scanner, but even an integrative design. This exploits the fact that 3D scanners often also use cameras. Thus, a joint use of the cameras for multi-camera and 3D scanner is conceivable.

So ist beispielsweise ein Sensor mit zwei Kameras denkbar, bei dem mit den identischen Kameras das erfindungsgemäße Verfahren nach Anspruch 1 durchgeführt wird und anschließend eine flächenhafte 3D-Messung durchgeführt wird, die wiederum die Ergebnisse des erfindungsgemäßen Verfahrens nutzt.For example, a sensor with two cameras is conceivable, in which the method according to claim 1 is carried out with the identical cameras and then a two-dimensional 3D measurement is carried out, which in turn uses the results of the method according to the invention.

Die Messabläufe von Multikamera und 3D-Scanner können nacheinander oder auch zeitlich vermischt erfolgen. Die Messpositionen die Multikamera und 3D-Scanner in Relation zu den Messobjekten einnehmen können sich unterscheiden. Insbesondere kann sich der Arbeitsabstand für die photogrammetrische Vermessung vom Arbeitsabstand für die Messung mit dem 3D-Scanner unterscheiden. Vorteilhaft ist es, wenn die photogrammetrische Vermessung mit einem größeren Arbeitsabstand erfolgt.The measurement sequences of the multi-camera and 3D scanner can be carried out one after the other or at different times. The measurement positions that the multi-camera and 3D scanner take in relation to the measurement objects can differ. In particular, the working distance for the photogrammetric measurement can differ from the working distance for the measurement with the 3D scanner. It is advantageous if the photogrammetric measurement is carried out at a larger working distance.

Insbesondere die Wellenlängenabhängigkeit der Brechung in Kameraobjektiven kann ausgenutzt werden, um in den verschiedenen Arbeitsabständen eine bessere Schärfe der Abbildung zu erhalten. Hierzu können vorteilhafterweise die Messmerkmale für das photogrammetrische Verfahren mit einer anderen Wellenlänge beleuchtet werden, als die beim Einsatz des 3D-Scanner genutzte Wellenlänge. Vorteilhaft ist die Kombination von blauem und infrarotem Licht.In particular, the wavelength dependency of the refraction in camera lenses can be used to obtain a better sharpness of the image at the different working distances. For this purpose, the measurement features for the photogrammetric method can advantageously be illuminated with a different wavelength than the wavelength used when using the 3D scanner. The combination of blue and infrared light is advantageous.

Die Erfindung wird nachfolgend unter Bezugnahme auf die Figuren näher erläutert. Die dargestellten Ausgestaltungen sind beispielhaft und nicht einschränkend aufzufassen.The invention is explained in more detail below with reference to the figures. The configurations presented are to be understood as examples and not as restrictive.

Es zeigen:

  • 1 - Skizze einer Messvorrichtung;
  • 2 - Skizze von Markertypen;
  • 3 - Skizze einer Kombination aus einer Multikamera und einem 3D-Scanner;
  • 4 - Skizze einer Integration einer Multikamera und eines 3D-Scanners;
  • 5 - Beispielhafter Messablauf.
Show it:
  • 1 - Sketch of a measuring device;
  • 2 - sketch of marker types;
  • 3 - sketch of a combination of a multi-camera and a 3D scanner;
  • 4 - Sketch of an integration of a multi-camera and a 3D scanner;
  • 5 - Exemplary measurement procedure.

1 zeigt eine Ausführungsform einer Messvorrichtung 1, die eingerichtet ist, ein erfindungsgemäßes Verfahren durchzuführen. Die Messvorrichtung 1 hat eine Multikamera 2, die zwei miteinander verbundene Einzelkameras 3 hat. Die geometrische Beziehung der Einzelkameras 3 zueinander ist bekannt. Die Sichtbereiche 4 der Einzelkameras 3 überschneiden sich. Der Überschneidungsbereich 5 ist durch eine Schraffierung veranschaulicht. 1 shows an embodiment of a measuring device 1 which is set up to carry out a method according to the invention. The measuring device 1 has a multi-camera 2, which has two individual cameras 3 connected to one another. The geometric relationship between the individual cameras 3 is known. The viewing areas 4 of the individual cameras 3 overlap. The overlapping area 5 is illustrated by hatching.

In weiteren vorteilhaften Ausführungsformen kann die Multikamera 2 noch weitere Kameras 3 haben, wobei sich nur die Sichtbereiche 4 von mindestens zwei Kameras 3 überschneiden müssen.In further advantageous embodiments, the multi-camera 2 can have further cameras 3, in which case only the fields of view 4 of at least two cameras 3 have to overlap.

Die Multikamera 2 ist ausgestaltet, um Aufnahmen eines Objektes 6 zu machen, das mit Messmerkmalen 7 versehen ist. Diese Messmerkmale 7 können zum Beispiel aufgeklebte oder anderweitig angebrachte Marker sein, oder aber auch natürliche Markierungen, wie zum Beispiel Kanten oder Farbflecken. Vorteilhafterweise handelt es sich bei den Messmerkmalen 7 um uncodierte Marken. Die Aufnahmen werden in einer Auswerteeinheit 8 ausgewertet, um die 3D-Koordinaten der Messmerkmale 7 zu bestimmen.The multi-camera 2 is designed to take pictures of an object 6 that is provided with measurement features 7 . These measurement features 7 can, for example, be markers that are glued on or attached in some other way, or else natural markings, such as edges or colored spots, for example. The measurement features 7 are advantageously uncoded marks. The recordings are evaluated in an evaluation unit 8 in order to determine the 3D coordinates of the measurement features 7 .

Werden Marker auf das Objekt angebracht, so sollten diese über den Zeitraum einer Messung eine feste Relation zum Objekt aufweisen. Dies ist durch verschiedene Fixierweisen machbar. Gebräuchlich ist beispielsweise der Einsatz von Klebern, Magneten, Saugnäpfen oder auch Adhäsionsfolien.If markers are attached to the object, they should have a fixed relation to the object over the period of a measurement. This can be done using different fixing methods. For example, the use of adhesives, magnets, suction cups or adhesive foils is common.

2 zeigt Beispiele für unterschiedliche Typen von Markern. Die in der industriellen Messtechnik eingesetzten Marker können prinzipiell Messmerkmale in beliebiger Form aufweisen. Gebräuchlich ist die Ausgestaltung eines Messmerkmals als geometrische Form z.B. als Kreis. Häufig eingesetzte Ausführungsformen von uncodierten Markern 9 sind konzentrische Kreise mit einer komplementären Farbgebung, beispielsweise weiß auf schwarz, oder die Verwendung eines hellen Kreises auf dunklem Untergrund. 2 shows examples of different types of markers. In principle, the markers used in industrial measurement technology can have measurement characteristics in any form. It is common for a measurement feature to be in the form of a geometric shape, for example a circle. Frequently used embodiments of uncoded markers 9 are concentric circles with a complementary coloring, for example white on black, or the use of a light circle on a dark background.

Ein codierter Marker 10 weist im Gegensatz zum uncodierten Marker 9 ein exklusives Merkmal auf, das ihn von anderen Markern unterscheidet. Die hier dargestellte Ausführungsform eines codierten Markers 10, weist dazu in der direkten Umgebung eines Kreises ein spezielles Muster in Form eines Ringcodes 11 auf.In contrast to the uncoded marker 9, a coded marker 10 has an exclusive feature that distinguishes it from other markers. The embodiment of a coded marker 10 shown here has a special pattern in the form of a ring code 11 in the immediate vicinity of a circle.

Uncodierte Marken 9 sind in ihrer Verwendung vorteilhaft, weil sie klein und aufgrund ihrer Gleichartigkeit in der Regel günstig und einfach herzustellen sind.Uncoded marks 9 are advantageous in their use because they are small and, because of their similarity, are generally cheap and easy to produce.

Codierte Marken 10 können durch einen Code 11 eindeutig identifiziert werden. Nachteil der Codierung 11 ist der erhöhte Platzbedarf, die aufwendigere Herstellung und die Notwendigkeit einer Dekodierung. Zusätzlich muss der Anwender darauf achten, dass innerhalb eines Messprojektes jeder Code 11 nur einmal vorkommt, weil ansonsten Doppeldeutigkeiten auftreten können.Coded marks 10 can be clearly identified by a code 11. The disadvantage of coding 11 is the increased space requirement, the more complex production and the need for decoding. In addition, the user must ensure that each code 11 occurs only once within a measurement project, otherwise ambiguities can occur.

Im erfindungsgemäßen Verfahren werden die Markierungen beispielsweise über ihre Abstände untereinander kodiert. So können zum Beispiel die vorteilhaften uncodierten Marken 9 verwendet werden.In the method according to the invention, the markings are encoded, for example, via their distances from one another. For example, the advantageous uncoded marks 9 can be used.

3 zeigt eine vorteilhafte Ausführungsform, bei der die Multikamera 2 mit einem 3D-Scanner 12 in Form eines topometrischen Sensors 12 verbunden ist. 3 FIG. 1 shows an advantageous embodiment in which the multi-camera 2 is connected to a 3D scanner 12 in the form of a topometric sensor 12.

Ein topometrischer Sensor 12 könnte zum Beispiel ein Streifenlichtscanner oder ein Laserscanner sein. Abgebildet ist hier beispielsweise eine Ausführungsform, bei der der 3D-Scanner 12 einen Projektor 13 und zwei Bildaufnahmeeinheiten 14 hat. Ein Vorteil der Verbindung von einer Multikamera 2 und einem 3D-Scanner 12 ist, dass der 3D-Scanner 12 die von der Multikamera 2 nach dem erfindungsgemäßen Verfahren eingemessenen Messmerkmale 7 zur Orientierung einzelner Messungen verwenden kann. Besonders vorteilhaft ist dabei, wenn der Sichtbereich 5 der Multikamera 2 deutlich größer ist als der Sichtbereich des topometrischen Sensors 12. So kann der Sichtbereich 5 der Multikamera 2 vorteilhafter Weise mindestens 50% größer, wie der Sichtbereich des topometrischen Sensors 12 sein.A topometric sensor 12 could be a structured light scanner or a laser scanner, for example. For example, an embodiment is shown here in which the 3D scanner 12 has a projector 13 and two image recording units 14 . One advantage of the connection of a multi-camera 2 and a 3D scanner 12 is that the 3D scanner 12 can use the measurement features 7 measured by the multi-camera 2 according to the method according to the invention for the orientation of individual measurements. It is particularly advantageous if the field of view 5 of the multi-camera 2 is significantly larger than the field of view of the topometric sensor 12. The field of view 5 of the multi-camera 2 can advantageously be at least 50% larger than the field of view of the topometric sensor 12.

Ebenfalls denkbar ist eine hier nicht dargestellte Ausführungsform, bei der eine der Bildaufnahmeeinheiten 14 des topometrischen Sensors 12 zugleich eine Einzelkamera der Multikamera 2 ist. Das heißt, dass der topometrische Sensor 12 und die Multikamera 2, mindestens eine Kamera gemeinsam benutzen. Gemeinsam benutzen heißt dabei, dass mit dieser gemeinsam genutzten Kamera sowohl Aufnahmen für die topometrische Messung mit dem topometrischen Sensor 12 als auch für das mit der Multikamera 2 ausgeführte Verfahren aufgenommen werden können.Also conceivable is an embodiment not shown here, in which one of the image recording units 14 of the topometric sensor 12 is at the same time an individual camera of the multi-camera 2 . This means that the topometric sensor 12 and the multi-camera 2 share at least one camera use same. In this context, using together means that recordings for the topometric measurement with the topometric sensor 12 as well as for the method carried out with the multi-camera 2 can be recorded with this jointly used camera.

4 zeigt eine vorteilhafte Ausführungsform, in der die Multikamera 2 und der topometrische Sensor 12 ineinander integriert sind. Die Kameras 15 sind zugleich Einzelkameras der Multikamera 2 und auch Kameras des topometrischen Sensors 12. Ebenso wie in der in 3 gezeigten Ausführungsform ist es vorteilhaft, wenn die mit der Multikamera 2 eingemessenen Messmerkmale 7 vom topometrischen Sensor 12 zur Orientierung einzelner Messungen verwendet werden können. 4 shows an advantageous embodiment in which the multi-camera 2 and the topometric sensor 12 are integrated into one another. The cameras 15 are at the same time individual cameras of the multi-camera 2 and also cameras of the topometric sensor 12. As in FIG 3 In the embodiment shown, it is advantageous if the measurement features 7 measured with the multi-camera 2 can be used by the topometric sensor 12 to orientate individual measurements.

Besonders vorteilhaft ist es dabei, wenn die Aufnahmen mit der Multikamera 2 in einem höheren Arbeitsabstand durchgeführt werden können, sodass die Aufnahmen der Multikamera 2 einen größeren Sichtbereich haben, als die Aufnahmen mit dem topometrischen Sensor 12. Dadurch können in der Messung mit der Multikamera 2 verhältnismäßig viele Messmerkmale 7 in wenigen Aufnahmen eingemessen werden. Anschließend können bei der Messung mit dem topometrischen Sensor 12 nicht zusammenhängende Einzelmessungen direkt zueinander orientiert werden. Das Messen in verschiedenen Arbeitsabständen kann dadurch vorteilhaft weiter ausgestaltet werden, dass für die Messung mit der Multikamera 2 und die Messung mit dem topometrischen Sensor 12 Beleuchtungen mit unterschiedlichen Wellenlängen verwendet werden, wobei die Optik mindestens einer Kamera 15 dadurch eine schärfere Abbildung in den jeweiligen Abständen erzeugt.It is particularly advantageous if the recordings with the multi-camera 2 can be taken at a greater working distance, so that the recordings of the multi-camera 2 have a larger field of view than the recordings with the topometric sensor 12. This means that in the measurement with the multi-camera 2 relatively many measurement features 7 are measured in a few recordings. Subsequently, when measuring with the topometric sensor 12, individual measurements that are not related can be oriented directly to one another. The measurement at different working distances can advantageously be further developed by using illumination with different wavelengths for the measurement with the multi-camera 2 and the measurement with the topometric sensor 12, with the optics of at least one camera 15 thus providing a sharper image at the respective distances generated.

Die Beleuchtung für die Messung mit der Multikamera 2 kann über eine hier nicht gezeigte Beleuchtungsquelle ausgeführt werden. Vorteilhafterweise kann aber der Projektor 13 zur Beleuchtung während der Messung mit der Multikamera 2 und für die Messung mit dem topometrischen Sensor 12 eingesetzt werden. Die Messmerkmale 7 können beispielsweise für die photogrammetrische Messung mit Licht einer Wellenlänge oder eines Wellenlängenspektrums uniform beleuchtet. Vorteilhafterweise kann dies mit Licht im infraroten Wellenlängenbereich erfolgen. Bei der Messung mit dem 3D-Scanner kann der Projektor einen anderen Wellenlängenbereich, beispielsweise blau, einsetzen.The illumination for the measurement with the multi-camera 2 can be performed using an illumination source that is not shown here. However, the projector 13 can advantageously be used for illumination during the measurement with the multi-camera 2 and for the measurement with the topometric sensor 12 . The measurement features 7 can be uniformly illuminated with light of one wavelength or a wavelength spectrum, for example for the photogrammetric measurement. This can advantageously be done with light in the infrared wavelength range. When measuring with the 3D scanner, the projector can use a different wavelength range, for example blue.

Die Kameras 15 können vorteilhafterweise, z.B. durch entsprechend ausgewählte Optik, so ausgestaltet sein, das die Schärfeebene für Licht im roten Wellenlängenbereich in einem zur Kamera entfernteren Abstand liegt, als die Schärfeebene für eine blaue Wellenlänge.The cameras 15 can advantageously be designed, e.g. by means of appropriately selected optics, in such a way that the focal plane for light in the red wavelength range is at a greater distance from the camera than the focal plane for a blue wavelength.

5 zeigt ein Ablaufdiagramm zur schematischen Darstellung des erfindungsgemäßen Verfahrens. Einige der nachfolgend erläuterten Verfahrensschritte müssen nicht obligatorisch sein, sondern können lediglich optionale Verfahrensschritte darstellen. 5 shows a flowchart for the schematic representation of the method according to the invention. Some of the method steps explained below do not have to be mandatory, but can only represent optional method steps.

Schritt 101: „Aufnehmen von Bildern von Messmerkmalen mit einer Vorrichtung, die eine Multikamera hat, in verschiedenen Messpositionen“Step 101: "Taking pictures of measurement features with a device having a multi-camera in different measurement positions"

Die Messpositionen unterscheiden sich beispielsweise durch die Position oder den Blickwinkel der Multikamera in Relation zu den Messmerkmalen. Wird angenommen, das sich die Messmerkmale deren 3D-Koordinaten durch das erfindungsgemäße Verfahren bestimmt werden sollen, auf der Oberfläche eines Objektes befinden, so können die Bildaufnahmen beispielsweise von einem Anwender mit einer Multikamera aufgenommen werden, wobei der Anwender sich um das Objekt bewegt. Statt von einem Anwender gehalten, kann die Multikamera auch beispielsweise mit einem Manipulator, wie einem Roboterarm, um das Objekt herumbewegt werden. Es ist auch denkbar, dass sich das Objekt auf einer Positionierungseinheit befindet, beispielsweise einem Drehtisch, und die Multikamera von einem Stativ gehalten wird. Durch Drehen des Objektes mit Hilfe des Drehtisches können auch so verschiedene Messpositionen hergestellt werden.The measurement positions differ, for example, in the position or the viewing angle of the multi-camera in relation to the measurement features. If it is assumed that the measurement features whose 3D coordinates are to be determined by the method according to the invention are on the surface of an object, the images can be recorded by a user with a multi-camera, for example, with the user moving around the object. Instead of being held by a user, the multi-camera can also be moved around the object with a manipulator, such as a robot arm, for example. It is also conceivable that the object is located on a positioning unit, for example a turntable, and the multi-camera is held by a tripod. By turning the object with the help of the turntable, different measuring positions can also be produced.

Schritt 102: „Auswerten der Bildaufnahmen einer Messposition und Bestimmung von 3D-Identifikationsmerkmalen der Messmerkmale“Step 102: "Evaluating the image recordings of a measurement position and determining 3D identification features of the measurement features"

Es wird vorausgesetzt, dass die Konfiguration der Multikamera hinreichend genau bekannt ist. Die Konfiguration wird vorteilhafterweise durch eine Kalibriermessung der Multikamera bestimmt. Durch die Kalibriermessung können unter anderem Orientierung und Positionierung der Einzelkameras zueinander, die innere Orientierung der Kameras und weitere Abbildungseigenschaften bestimmt werden. Damit können für die Messmerkmale, die sich in einem gemeinsamen Sichtbereich mindestens zweier Einzelkameras der Multikamera befinden, über Triangulationsberechnungen 3D-Koordinaten bestimmt werden. Diese 3D-Koordinaten bezogen auf eine Einzelmessung liegen beispielsweise in einem Koordinatensystem vor, das sich an konstruktiven Merkmalen der Multikamera orientiert.It is assumed that the configuration of the multi-camera is known with sufficient accuracy. The configuration is advantageously determined by a calibration measurement of the multi-camera. The calibration measurement can be used to determine, among other things, the orientation and positioning of the individual cameras in relation to one another, the internal orientation of the cameras and other imaging properties. This means that 3D coordinates can be determined via triangulation calculations for the measurement features that are located in a common field of view of at least two individual cameras of the multi-camera. These 3D coordinates related to an individual measurement are available, for example, in a coordinate system that is based on the design features of the multi-camera.

Für die Weiterverarbeitung kommt es dabei nicht auf die 3D-Koordinaten selbst an, sondern diese dienen nur dazu 3D-Identifikationsmerkmale des Messmerkmals zu bestimmen, wie beispielsweise Winkel und / oder Abstände zu anderen Messmerkmalen. Bei den Messmerkmalen handelt es sich üblicherweise um Referenzmarken, die auf oder neben einem Objekt angebracht sind. Damit sind die Messmerkmale in der Regel unregelmäßig im Raum verteilt. Somit weisen verschiedene Messmerkmale in ihrem Umfeld eine unterschiedliche Anzahl von anderen Messmerkmalen auf. Auch die Abstände zu ihren Nachbarn oder auch weiter entfernten Messmerkmalen werden sich in der Regel unterscheiden. Eine weitere Möglichkeit ist die Betrachtung der mit anderen Messmerkmalen eingeschlossenen Flächen. Werden einem Messmerkmal auf diese Weise ein oder mehrere 3D-Identifikationsmerkmale zugeordnet, so können diese zugeordneten 3D-Identifikationsmerkmale das Messmerkmal einzigartig machen. Die 3D-Identifikationsmerkmale implizieren sozusagen eine Codierung des Messmerkmals, ohne dass dieses für sich allein betrachtet codiert sein muss.For the further processing, the 3D coordinates themselves are not important, but they only serve to determine 3D identification features of the measurement feature, such as angles and/or distances to other measurement features. The measurement features are usually reference marks that are attached to or next to an object. With that are the measurement features are usually distributed irregularly in space. Thus, different measurement features in their environment have a different number of other measurement features. The distances to their neighbors or to measurement features that are further away will also usually differ. Another option is to look at the areas enclosed by other measurement features. If one or more 3D identification features are assigned to a measurement feature in this way, these assigned 3D identification features can make the measurement feature unique. The 3D identification features imply a coding of the measurement feature, so to speak, without this having to be coded on its own.

Schritt 103: „Zuordnen der Messmerkmale in den Bildaufnahmen aus allen Messpositionen“Step 103: "Assignment of the measurement features in the image recordings from all measurement positions"

In Schritt 102 wurden den Messmerkmalen in den verschiedenen Einzelmessungen spezifische 3D-Identifikationsmerkmale zugeordnet. Dies wird nun in dem nachfolgenden Schritt 103 ausgenutzt, um ein Messmerkmal jeweils in den Bildaufnahmen unterschiedlicher Messpositionen zu identifizieren.In step 102, specific 3D identification features were assigned to the measurement features in the various individual measurements. This is now used in the subsequent step 103 in order to identify a measurement feature in each case in the image recordings of different measurement positions.

Beispielweise hat ein Messmerkmal M1 ein benachbartes Messmerkmal im Abstand von 5 cm, ein weiteres im Abstand von 18 cm und ein drittes im Abstand von 27 cm. Wird in einer anderen Einzelmessung auch ein Messmerkmal mit benachbarten Messmerkmalen in diesen Abständen gefunden, so ist davon auszugehen, dass es sich um dasselbe Messmerkmal M1 handelt. Es kann entsprechend identifiziert und in den Bildaufnahmen gekennzeichnet werden. Damit ist ein identifiziertes Messmerkmal in den mehreren Bildaufnahmen eineindeutig charakterisiert, auch wenn es sich a-priori um ein nicht-codiertes Messmerkmal handelte.For example, a feature M1 has a neighboring feature at a distance of 5 cm, another at a distance of 18 cm, and a third at a distance of 27 cm. If a measurement feature with neighboring measurement features at these distances is also found in another individual measurement, it can be assumed that the same measurement feature M1 is involved. It can be identified accordingly and marked in the image recordings. An identified measurement feature is thus uniquely characterized in the multiple image recordings, even if it was a priori a non-coded measurement feature.

Schritt 104: „Berechnen der 3D-Koordinaten der Messmerkmale“Step 104: "Calculate the 3D coordinates of the measurement features"

In diesem Schritt 104 werden die 3D-Koordinaten der Messmerkmale in einem globalen Koordinatensystem bestimmt. Kenntnisse über 3D-Koordinaten der Messmerkmale im Sensorkoordinatensystem werden nicht vorausgesetzt. Die Bestimmung der 3D-Koordinaten im globalen Koordinatensystem beruht auf der im Schritt 103 ausgeführten Identifizierung von Messmerkmalen in den vorhandenen Bildaufnahmen und ihrer 2D-Koordinaten in diesen Bildaufnahmen. Die Berechnung der globalen 3D-Koordinaten kann mittels Bündelblockausgleichs geschehen.In this step 104, the 3D coordinates of the measurement features are determined in a global coordinate system. Knowledge of 3D coordinates of the measurement features in the sensor coordinate system is not required. The determination of the 3D coordinates in the global coordinate system is based on the identification, carried out in step 103, of measurement features in the existing image recordings and their 2D coordinates in these image recordings. The global 3D coordinates can be calculated using bundle block adjustment.

Nicht für alle Messmerkmale können oder müssen in Schritt 102 3D-Identifikationsmerkmale bestimmt werden. Eine Ursache hierfür kann sein, dass das Messmerkmal sich nur im Sichtbereich einer Einzelkamera befunden hat. In einer vorteilhaften Ausführungsform des Verfahrens werden diese Messmerkmale dennoch in Schritt 104 in den Bündelblockausgleich einbezogen. Dies kann sich beispielsweise positiv auf die Genauigkeit der Bestimmung der 3D-Koordinaten auswirken.3D identification features cannot or must not be determined in step 102 for all measurement features. One reason for this may be that the measurement feature was only in the field of view of a single camera. In an advantageous embodiment of the method, these measurement features are nevertheless included in step 104 in the bundle block adjustment. For example, this can have a positive effect on the accuracy of the determination of the 3D coordinates.

Claims (20)

Verfahren zur photogrammetrischen Vermessung von Messmerkmalen (7) mit einer Vorrichtung (1), die eine Multikamera (2) hat, wobei die Multikamera (2) mindestens zwei fest miteinander verbundene Einzelkameras (3) hat, wobei sich der Sichtbereich (4) von mindestens zwei der Einzelkameras (3) zumindest teilweise überschneidet, mit den Schritten: a. Aufnehmen von Bildern der Messmerkmale (7) mit mindestens zwei Einzelkameras (3) der Multikamera (2) in verschiedenen Messpositionen; b. Auswerten der Bildaufnahmen einer Messposition und Bestimmen von 3D-Identifikationsmerkmalen von Messmerkmalen (7) im dreidimensionalen Raum, die sich im Überschneidungsbereich (5) der Einzelkameras (3) befinden, mit Hilfe der mehreren Bildaufnahmen für den Überschneidungsbereich und der jeweiligen Lage der Messmerkmale (7) in diesen Bildaufnahmen; c. Identifizieren der in den aus verschiedenen Messpositionen aufgenommenen Bildaufnahmen mit übereinstimmenden 3D-Identifikationsmerkmalen vorhandenen Messmerkmale (7); d. Berechnen der 3D-Koordinaten der identifizierten Messmerkmale (7) mit Hilfe der mehreren Bildaufnahmen.Method for the photogrammetric measurement of measurement features (7) using a device (1) which has a multi-camera (2), the multi-camera (2) having at least two individual cameras (3) which are permanently connected to one another, the field of view (4) expanding by at least at least partially overlaps two of the individual cameras (3), with the steps: a. Recording images of the measurement features (7) with at least two individual cameras (3) of the multi-camera (2) in different measurement positions; b. Evaluation of the image recordings of a measurement position and determination of 3D identification features of measurement features (7) in three-dimensional space that are located in the overlapping area (5) of the individual cameras (3), using the multiple image recordings for the overlapping area and the respective position of the measurement features (7 ) in these images; c. identifying the measurement features (7) present in the images recorded from different measurement positions with matching 3D identification features; i.e. Calculating the 3D coordinates of the identified measurement features (7) using the multiple images. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei den Messmerkmalen (7) um uncodierte Marken (9) handelt, sodass die Messmerkmale (7) anhand ihrer Ausgestaltung nicht eindeutig identifizierbar sind bzw. nicht identifiziert werden, sondern für die Messmerkmale (7) im sich überschneidenden Sichtbereich (5) anhand der Messbilder und der bekannten Konfiguration der Aufnahmeeinheiten (3) 3D-Identifikationsmerkmale zwischen den Messmerkmalen (7) berechnet werden, anhand derer die Messmerkmale (7) in den Messbildern eindeutig identifiziert werden können und in einer mathematischen Ausgleichung unter Verwendung der 2D-Bildkoordinaten der Messmerkmale (7) in einer jeweiligen Bildaufnahme und ihrer eindeutigen Identifizierung die 3D-Koordinaten der Messmerkmale (7) bestimmt werden.procedure after claim 1 , characterized in that the measurement features (7) are uncoded marks (9), so that the measurement features (7) are not clearly identifiable based on their design or are not identified, but for the measurement features (7) in the overlapping Field of view (5) based on the measurement images and the known configuration of the recording units (3) 3D identification features between the measurement features (7) are calculated, based on which the measurement features (7) can be clearly identified in the measurement images and in a mathematical adjustment using the 2D image coordinates of the measurement features (7) in a respective image recording and their unique identification, the 3D coordinates of the measurement features (7) are determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei den 3D-Identifikationsmerkmalen die bestimmt werden, um Distanzen und/oder Winkel und/oder eingeschlossene Flächen zwischen verschiedenen Messmerkmalen (7) handelt.Method according to one of the preceding claims, characterized in that the 3D identification features which are determined are distances and/or angles and/or enclosed areas between different measurement features (7). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Identifikation der Messmerkmale (7) zusätzlich codierte Marken (10) verwendet werden.Method according to one of the preceding claims, characterized in that additionally coded marks (10) are used to identify the measurement features (7). Verfahren nach einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass in Schritt d) bei der Berechnung der 3D-Koordinaten der Messmerkmale (7) ein Bündelblockausgleich erfolgt.Method according to one of the preceding claims, characterized in that in step d) a bundle block adjustment takes place when calculating the 3D coordinates of the measurement features (7). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich mindestens ein maßstabgebendes Element eingebracht wird, von dem mindestens ein Maß hinreichend genau bekannt ist und mindestens ein Maß von der Auswerteeinrichtung im Bündelblockausgleich berücksichtigt wird, um die Skalierung der resultierenden 3D-Positionen der Marken genauer zu bestimmen.Method according to one of the preceding claims, characterized in that at least one scaling element is additionally introduced, of which at least one measure is known with sufficient accuracy and at least one measure is taken into account by the evaluation device in the bundle block adjustment in order to scale the resulting 3D positions of the marks to be determined more precisely. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das maßstabgebende Element ein Element mit mindestens zwei uncodierten Marken (9) ist und das hinreichend bekannte Maß mindestens ein Abstand dieser uncodierten Marken (9) ist, wobei die uncodierten Marken (9) so ausgestaltet sind, dass sie nicht eindeutig identifiziert werden können und nicht eindeutig von anderen Marken auf dem Objekt unterschieden werden können und die Maße, die im Bündelblockausgleich berücksichtigt werden von der Auswerteeinrichtung dadurch identifiziert werden, dass sie bekannt sind.procedure after claim 6 , characterized in that the determining element is an element with at least two uncoded marks (9) and the sufficiently known measure is at least one distance between these uncoded marks (9), the uncoded marks (9) being designed in such a way that they are not unique can be identified and cannot be clearly distinguished from other marks on the object and the dimensions that are taken into account in the bundle block adjustment are identified by the evaluation device in that they are known. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das maßstabgebende Element ein Element mit mindestens zwei Markern, insbesondere codierten Marken (10), ist und das hinreichend bekannte Maß mindestens ein Abstand dieser Marken ist, wobei diese Marker so ausgestaltet sind, dass sie eindeutig identifiziert werden können.procedure after claim 6 , characterized in that the determining element is an element with at least two markers, in particular coded marks (10), and the sufficiently known measure is at least one distance between these marks, these markers being designed in such a way that they can be clearly identified. Verfahren (1) nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass nicht nur identifizierte Messmerkmale (7) aus dem sich überschneidenden Sichtbereich (5) der Kameras (3) im Bündelblockausgleich berücksichtigt werden, sondern auch Messmerkmale (7), die außerhalb des sich überschneidenden Sichtbereichs (5) in Messbildern aufgenommen wurden im Bündelblockausgleich berücksichtigt werden und ihre 3D-Positionen berechnet werden.Method (1) according to one of Claims 1 until 8th , characterized in that not only identified measurement features (7) from the overlapping field of view (5) of the cameras (3) are taken into account in the bundle block adjustment, but also measurement features (7) that were recorded outside of the overlapping field of view (5) in measurement images are taken into account in the bundle block adjustment and their 3D positions are calculated. Vorrichtung (1) zum dreidimensionalen optischen Vermessen von Messmerkmalen (7), wobei die Vorrichtung (1) eine Multikamera (2) mit mindestens zwei fest verbundenen Kameras (3) hat, wobei für mindestens zwei der Kameras (3) die Konfiguration zueinander hinreichend genau bekannt ist, und wobei mindestens zwei der Kameras (3) dazu eingerichtet sind, Messbilder von Messmerkmalen (7) aufzunehmen, wobei sich der Sichtbereich (4) der zur Bildaufnahme der Messmerkmale (7) verwendeten Kameras (3) sich überschneidet, und wobei die Vorrichtung (1) eine Auswerteeinheit (8) hat, die zur Berechnung der 3D-Koordinaten der Messmerkmale (7) mit einem Verfahren nach einem der Ansprüche 1 bis 9 eingerichtet ist.Device (1) for the three-dimensional optical measurement of measurement features (7), the device (1) having a multi-camera (2) with at least two permanently connected cameras (3), the configuration of at least two of the cameras (3) being sufficiently precise relative to one another is known, and wherein at least two of the cameras (3) are set up to record measurement images of measurement features (7), the field of view (4) of the cameras (3) used to record the images of the measurement features (7) overlapping, and wherein the Device (1) has an evaluation unit (8) for calculating the 3D coordinates of the measurement features (7) with a method according to one of Claims 1 until 9 is set up. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Multikamera (2) starr verbunden mit einem 3D-Scanner (12) ist.device after claim 10 , characterized in that the multi-camera (2) is rigidly connected to a 3D scanner (12). Vorrichtung (1) nach Anspruch 11, dadurch gekennzeichnet, dass der 3D-Scanner (12) zum Erfassen von dreidimensionalen Messdaten eingerichtet ist und dazu zumindest zum Teil die Messmerkmale (7) verwendet, deren 3D-Positionen die Auswerteeinheit (8) mit einem Verfahren nach einem der Ansprüche 1 bis 9 berechnet hat.Device (1) after claim 11 , characterized in that the 3D scanner (12) is set up to acquire three-dimensional measurement data and uses at least some of the measurement features (7) for this purpose, the 3D positions of which the evaluation unit (8) uses a method according to one of Claims 1 until 9 calculated. Vorrichtung (1) nach einem der Ansprüche 11 bis 12, dadurch gekennzeichnet, dass der 3D-Scanner (12) und die Multikamera (2) mindestens eine Einzelkamera (15) gemeinsam verwenden.Device (1) according to one of Claims 11 until 12 , characterized in that the 3D scanner (12) and the multi-camera (2) use at least one single camera (15) together. Vorrichtung (1) nach der Anspruch 13, dadurch gekennzeichnet, dass der 3D-Scanner (12) und die Multikamera (2) in den gemeinsam genutzten Einzelkameras (15) unterschiedliche Arbeitsabstände nutzen.Device (1) after Claim 13 , characterized in that the 3D scanner (12) and the multi-camera (2) use different working distances in the jointly used individual cameras (15). Vorrichtung (1) nach Anspruch 14, dadurch gekennzeichnet, dass der 3D-Scanner (12) einen kürzeren Arbeitsabstand als die Multikamera (2) verwendet.Device (1) after Claim 14 , characterized in that the 3D scanner (12) uses a shorter working distance than the multi-camera (2). Vorrichtung (1) nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass der 3D-Scanner (12) und die Multikamera (2) in ihren Beleuchtungen bzw. Projektionen Licht unterschiedlicher Wellenlängen nutzen.Device (1) according to one of Claims 11 until 15 , characterized in that the 3D scanner (12) and the multi-camera (2) use light of different wavelengths in their illumination or projections. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, dass der 3D-Scanner (12) eine Projektion mit blauer Wellenlänge verwendet und die Multikamera (2) eine Beleuchtung mit roter oder infraroter Wellenlänge nutzt.device after Claim 16 , characterized in that the 3D scanner (12) uses a blue wavelength projection and the multi-camera (2) uses red or infrared wavelength illumination. Vorrichtung (1) nach einem der Ansprüche 11 bis 17, dadurch gekennzeichnet, dass der 3D-Scanner (12) ein topometrischer Sensor ist.Device (1) according to one of Claims 11 until 17 , characterized in that the 3D scanner (12) is a topometric sensor. Vorrichtung (1) nach Anspruch 18, dadurch gekennzeichnet, dass der topometrische Sensor ein Streifenlichtscanner oder ein Laserlinienscanner ist.Device (1) after Claim 18 , characterized in that the topometric sensor a structured light scanner or a laser line scanner. Vorrichtung (1) nach einem der Ansprüche 11 bis 19, dadurch gekennzeichnet, dass mindestens eine Kamera (3) mit einer Beleuchtungseinheit zur Beleuchtung der Messmerkmale (7) in unmittelbarer Nähe zur Optik der Kamera (3) ausgestattet ist und die Messmerkmale (7) Marken aus einem retroreflektierenden Material sind.Device (1) according to one of Claims 11 until 19 , characterized in that at least one camera (3) is equipped with an illumination unit for illuminating the measurement features (7) in the immediate vicinity of the optics of the camera (3) and the measurement features (7) are markers made of a retroreflective material.
DE102020132179.1A 2020-12-03 2020-12-03 Method and device for photogrammetric measurement Pending DE102020132179A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020132179.1A DE102020132179A1 (en) 2020-12-03 2020-12-03 Method and device for photogrammetric measurement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020132179.1A DE102020132179A1 (en) 2020-12-03 2020-12-03 Method and device for photogrammetric measurement

Publications (1)

Publication Number Publication Date
DE102020132179A1 true DE102020132179A1 (en) 2022-06-09

Family

ID=81654894

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020132179.1A Pending DE102020132179A1 (en) 2020-12-03 2020-12-03 Method and device for photogrammetric measurement

Country Status (1)

Country Link
DE (1) DE102020132179A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023198283A1 (en) * 2022-04-13 2023-10-19 Carl Zeiss GOM Metrology GmbH Method and device for a photogrammetric measurement

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023198283A1 (en) * 2022-04-13 2023-10-19 Carl Zeiss GOM Metrology GmbH Method and device for a photogrammetric measurement

Similar Documents

Publication Publication Date Title
EP2574876B1 (en) Method and device for determining the 3D coordinates of an object
EP1497613B1 (en) Method and device for determining the spatial co-ordinates of an object
DE102004061338B4 (en) Automatic component testing
EP2914205B1 (en) Calibration device and method for calibrating a dental camera
DE102016118562A1 (en) THREE-DIMENSIONAL IMAGE DEVICE CONTAINING A DICHROITIC CAMERA
CH692873A5 (en) Device and method for the geometric calibration of CCD cameras.
DE102006049695A1 (en) Device and method for contactless detection of a three-dimensional contour
DE102009032262A1 (en) Method for determining the 3D coordinates of an object
DE102009032771B4 (en) Measuring device and method for the three-dimensional optical measurement of objects
DE102017218505A1 (en) Laser projector with flash alignment
DE10137241A1 (en) Arrangement, for detecting and measuring objects, optically projects markers onto object, records partial views of object in global coordinate system using information re-detected markers
DE19637682B4 (en) Method for determining the spatial coordinates of objects and / or their temporal change and device for applying this method
DE112012001082T5 (en) Target device and method
DE19502459A1 (en) Three dimensional optical measurement of surface of objects
EP1420264A1 (en) Method and device for calibrating a measurement system
DE102009030644B4 (en) Non-contact detection device
EP1190211A1 (en) Method for optically detecting the shape of objects
EP0897524A1 (en) Device for non-contact measurement of the surface of a three dimensional object
DE102017116758B4 (en) Method and device for scanning surfaces with a stereo camera
DE102008027976A1 (en) Method and device for determining the position of a sensor
DE112015006593T5 (en) Position finder of a free space
EP2942600A1 (en) Method and device for measuring misalignment and tilt of areas of an optical element
DE102020132179A1 (en) Method and device for photogrammetric measurement
DE19846145A1 (en) Three-dimensional imaging device for shape measurement has transmitter array whose elements move in straight, parallel lines
DE102019110729A1 (en) Method for aligning at least one calibration body and device for three-dimensional optical measurement of objects

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: MEISSNER BOLTE PATENTANWAELTE RECHTSANWAELTE P, DE