DE102017122627A1 - Optical measuring system and measuring method - Google Patents

Optical measuring system and measuring method Download PDF

Info

Publication number
DE102017122627A1
DE102017122627A1 DE102017122627.3A DE102017122627A DE102017122627A1 DE 102017122627 A1 DE102017122627 A1 DE 102017122627A1 DE 102017122627 A DE102017122627 A DE 102017122627A DE 102017122627 A1 DE102017122627 A1 DE 102017122627A1
Authority
DE
Germany
Prior art keywords
image data
optical
evaluation
camera
optical markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102017122627.3A
Other languages
German (de)
Other versions
DE102017122627B4 (en
Inventor
Thomas Mayer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Industrielle Messtechnik GmbH
Original Assignee
Carl Zeiss Industrielle Messtechnik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Industrielle Messtechnik GmbH filed Critical Carl Zeiss Industrielle Messtechnik GmbH
Priority to DE102017122627.3A priority Critical patent/DE102017122627B4/en
Publication of DE102017122627A1 publication Critical patent/DE102017122627A1/en
Application granted granted Critical
Publication of DE102017122627B4 publication Critical patent/DE102017122627B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/26—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken using computers to control the position of the pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die vorliegende Erfindung betrifft ein optisches Messsystem (10), aufweisend: mehrere optische Marker (14), welche an einem zu messenden Objekt (12) anbringbar sind; eine Beleuchtungseinrichtung (16) zur Beleuchtung des Objekts (12) und der optischen Marker (14); ein Kamerasystem (18) zur Aufnahme von Bilddaten des Objekts (12) und der optischen Marker (14); und eine Auswerte- und Steuereinheit (20), welche dazu eingerichtet ist, die Beleuchtungseinrichtung (16) zu steuern, mindestens drei unterschiedliche Beleuchtungsszenarien zu erzeugen, und das Kamerasystem (18) zu steuern, bei einem ersten der mindestens drei Beleuchtungsszenarien erste Bilddaten aufzunehmen, bei einem zweiten der mindestens drei Beleuchtungsszenarien zweite Bilddaten aufzunehmen und bei einem dritten der mindestens drei Beleuchtungsszenarien dritte Bilddaten aufzunehmen, wobei die Auswerte- und Steuereinheit (20) ferner dazu eingerichtet ist, mit Hilfe einer photometrischen Stereoanalyse anhand der ersten, zweiten und dritten Bilddaten eine räumliche Orientierung der optischen Marker (14) zu bestimmen, und wobei die Auswerte- und Steuereinheit (20) dazu eingerichtet ist, mit Hilfe einer photogrammetrischen Auswertung anhand der ersten, zweiten oder dritten Bilddaten oder anhand von vierten mit dem Kamerasystem (18) aufgenommenen Bilddaten räumliche Positionskoordinaten von zumindest drei der optischen Marker (14) zu bestimmen.

Figure DE102017122627A1_0000
The present invention relates to an optical measuring system (10), comprising: a plurality of optical markers (14) which can be attached to an object (12) to be measured; an illumination device (16) for illuminating the object (12) and the optical marker (14); a camera system (18) for capturing image data of the object (12) and the optical markers (14); and an evaluation and control unit (20), which is set up to control the illumination device (16), to generate at least three different illumination scenarios, and to control the camera system (18) to record first image data in a first of the at least three illumination scenarios, in a second of the at least three lighting scenarios, to acquire second image data and to record third image data in a third of the at least three lighting scenarios, wherein the evaluation and control unit (20) is further configured to use a photometric stereo analysis based on the first, second and third image data determine spatial orientation of the optical markers (14), and wherein the evaluation and control unit (20) is adapted to, with the aid of a photogrammetric evaluation based on the first, second or third image data or on the basis of fourth with the camera system (18) recorded image data spatial position co-ordinate at least three of the optical markers (14).
Figure DE102017122627A1_0000

Description

Die vorliegende Erfindung betrifft ein optisches Messsystem zur photogrammetrischen Messung eines zu messenden Objekts. Die vorliegende Erfindung betrifft des Weiteren ein entsprechendes Messverfahren sowie ein Computerprogrammprodukt zur Ausführung des Messverfahrens.The present invention relates to an optical measuring system for the photogrammetric measurement of an object to be measured. The present invention further relates to a corresponding measuring method and to a computer program product for carrying out the measuring method.

Das erfindungsgemäße Messsystem weist mehrere optische Marker auf, welche an dem zu messenden Objekt anbringbar sind. Ferner weist das Messsystem eine Beleuchtungseinrichtung zur Beleuchtung des Objekts und der optischen Marker auf. Des Weiteren weist das Messsystem ein Kamerasystem zur Aufnahme von Bilddaten sowie eine Auswerte- und Steuereinheit zur Steuerung der Beleuchtungseinrichtung und des Kamerasystems als auch zur Auswertung der von dem Kamerasystem aufgenommenen Bilddaten auf.The measuring system according to the invention has a plurality of optical markers which can be attached to the object to be measured. Furthermore, the measuring system has a lighting device for illuminating the object and the optical markers. Furthermore, the measuring system has a camera system for recording image data and an evaluation and control unit for controlling the illumination device and the camera system as well as for evaluating the image data recorded by the camera system.

Ein gattungsgemäßes Messsystem dieser Art ist beispielsweise aus der WO 2016/071227 A1 bekannt.A generic measuring system of this kind is for example from the WO 2016/071227 A1 known.

Mit Hilfe eines photogrammetrischen Messsystems lässt sich die dreidimensionale Position von optischen Markern im Raum durch eine oder mehrere kalibrierte Kameras sehr genau bestimmten. Die zu erfassenden optischen Marker, welche häufig auch als Tracking-Marker bezeichnet werden, können beispielsweise kreisrunde Marker aus Papier mit schwarzem Rand und hellem Zentrum sein. Grundsätzlich sind aber auch andere Arten von optischen Markern (Form, Muster und Material) denkbar. Für die photogrammetrische Messung ist es allerdings meist wichtig dass das Zentrum des optischen Markers gekennzeichnet ist oder sich in eindeutiger Weise bestimmen lässt.Using a photogrammetric measuring system, the three-dimensional position of optical markers in space can be very precisely determined by one or more calibrated cameras. The optical markers to be detected, which are often referred to as tracking markers, may be, for example, circular markers made of paper with a black border and a bright center. In principle, however, other types of optical markers (shape, pattern and material) are also conceivable. For the photogrammetric measurement, however, it is usually important that the center of the optical marker is characterized or can be clearly determined.

Die aus der WO 2016/071227 A1 bekannten optischen Marker weisen eine spezielle Farbmarkierung auf, bei der ein Farbspektrum mit verschiedenen Farbwerten vorgesehen ist, wobei sich die Farbwerte in einem sinusförmigen Muster entlang einer elliptischen Bahn um den Mittelpunkt des optischen Markers voneinander unterscheiden. Mit Hilfe dieses Farbmusters lässt sich die Pose, also die Position und räumliche Lage des optischen Markers, sehr exakt bestimmen.The from the WO 2016/071227 A1 known optical markers have a special color marking in which a color spectrum with different color values is provided, wherein the color values differ in a sinusoidal pattern along an elliptical path around the center of the optical marker. With the help of this color pattern, the pose, ie the position and spatial position of the optical marker, can be determined very precisely.

Während des Messprozesses werden bei derartigen optischen Messsystemen die in der Szene befindlichen optischen Marker durch eine oder mehrere kalibrierte Kameras aus einer oder mehreren Blickrichtungen erfasst. Um die dreidimensionalen Koordinaten der optischen Marker aus den Kamerabildern zu berechnen, müssen in einem ersten Schritt zunächst in jedem Bild der einen oder mehreren Kameras alle optischen Marker detektiert und die zweidimensionale Bildposition in Pixelkoordinaten jedes einzelnen optischen Markers gemessen werden. Dieser erste Schritt der photogrammetrischen Messung wird üblicherweise als Bildmessung bezeichnet. In weiteren Berechnungsschritten, welche als Bündelblockausgleichung bezeichnet werden, kann dann aus den Bildpositionen der optischen Marker die dreidimensionale Position im Raum bestimmt werden.During the measuring process, in such optical measuring systems, the optical markers in the scene are detected by one or more calibrated cameras from one or more viewing directions. In order to calculate the three-dimensional coordinates of the optical markers from the camera images, in a first step all optical markers must first be detected in each image of the one or more cameras and the two-dimensional image position must be measured in pixel coordinates of each individual optical marker. This first step of photogrammetric measurement is commonly referred to as image measurement. In further calculation steps, which are referred to as bundle block adjustment, the three-dimensional position in space can then be determined from the image positions of the optical markers.

In der industriellen Anwendung ist ein solches optisches Messsystem oftmals so ausgestaltet, dass in Bezug auf das Messvolumen fest installierte Kameras und fest installierte Lichtquellen verwendet werden. Zur Messung wird das zu messende Objekt im Sichtbereich der Kameras platziert.In industrial applications, such an optical measuring system is often designed in such a way that permanently installed cameras and permanently installed light sources are used in relation to the measuring volume. For measurement, the object to be measured is placed in the field of view of the cameras.

Optische Messsysteme dieser Art dienen beispielsweise dazu, im Rahmen einer Qualitätssicherung Werkstücke zu überprüfen oder die Geometrie eines Werkstücks vollständig im Rahmen eines so genannten „Reverse Engineering“ zu ermitteln. Darüber hinaus sind vielfältige weitere Anwendungsmöglichkeiten denkbar, wie zum Beispiel prozesssteuernde Anwendungen, bei denen die Messtechnik direkt zur Online-Überwachung und -Regelung von Fertigungs- und Bearbeitungsprozessen angewendet wird. Ein häufiges Anwendungsbeispiel ist die Überprüfung von Fahrzeugkarosseriebauteilen auf eventuelle Fertigungsfehler. Grundsätzlich können derartige optische Messsysteme jedoch auch zur Vermessung jeglicher Art von Messobjekten verwendet werden.Optical measuring systems of this type are used, for example, to check workpieces within the scope of a quality assurance or to determine the geometry of a workpiece completely within the framework of a so-called "reverse engineering". In addition, a variety of other application options are conceivable, such as process-controlling applications in which the measurement technology is used directly for online monitoring and control of manufacturing and machining processes. A common application example is the inspection of vehicle body components for possible manufacturing defects. In principle, however, such optical measuring systems can also be used for measuring any type of measuring objects.

Die zur Messung verwendeten optischen Marker können, müssen jedoch nicht zwangsläufig direkt an dem zu vermessenden Werkstück angebracht werden. Alternativ dazu lassen sich die optischen Marker auch an einer handgeführten Messvorrichtung anbringen, wie dies aus der WO 2016/071227 A1 bekannt ist. Eine derartige handgeführte Messvorrichtung weist beispielsweise eine Tastspitze oder einen Tastkopf auf, wie er aus Handelsüblichen Koordinatenmessgeräten bekannt ist. In einem solchen Fall wird mit Hilfe der photogrammetrischen Auswertung die dreidimensionale Position der handgeführten Messvorrichtung bestimmt. Da die Position und Lage der Tastspitze bzw. des Tastkopfes relativ zu den an der Hand geführten Messvorrichtung angeordneten optischen Markern bekannt ist bzw. ermittelt werden kann, ist somit letztendlich auch die (absolute) dreidimensionale Position der Tastspitze bzw. des Tastkopfes der handgeführten Messvorrichtung ermittelbar.The optical markers used for measurement may or may not necessarily be attached directly to the workpiece to be measured. Alternatively, the optical markers can also be attached to a hand-held measuring device, as shown in FIG WO 2016/071227 A1 is known. Such a hand-held measuring device has, for example, a stylus tip or a probe, as it is known from commercially available coordinate measuring machines. In such a case, the three-dimensional position of the hand-held measuring device is determined with the aid of photogrammetric evaluation. Since the position and position of the stylus tip or the probe relative to the hand-held measuring device arranged optical markers is known or can be determined, thus ultimately the (absolute) three-dimensional position of the probe tip or the probe of the hand-held measuring device can be determined ,

Eine weitere Möglichkeit besteht darin, die optischen Marker auf einem optischen Sensor anzubringen, welcher im Sichtbereich der Kameras ist. Auf diese Wiese lässt sich die Position des optischen Sensors im Raum bestimmen, was auch als Sensortracking bezeichnet wird.Another possibility is to mount the optical markers on an optical sensor, which is within the field of view of the cameras. In this way, the position of the optical sensor in space can be determined, which is also referred to as sensor tracking.

Mit Hilfe der photogrammetrischen Auswertung ist die Bestimmung der Position, also der räumlichen Koordinaten der optischen Marker mit den gängigen Verfahren relativ einfach möglich. Eine Bestimmung der räumlichen Ausrichtung der optischen Marker also deren Lage im Raum, gestaltet sich dagegen häufig etwas schwieriger mit den gängigen Messverfahren. With the aid of the photogrammetric evaluation, the determination of the position, that is to say the spatial coordinates of the optical markers, is relatively easy with the conventional methods. On the other hand, a determination of the spatial orientation of the optical markers, ie their position in space, often turns out to be somewhat more difficult with the conventional measuring methods.

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein optisches Messsystem bereitzustellen, mit Hilfe dessen sich die Position und Lage optischer Marker noch exakter und robuster bestimmen lässt als mit den bisher bekannten, gängigen Messverfahren.It is therefore an object of the present invention to provide an optical measuring system by means of which the position and position of optical markers can be determined even more accurately and robustly than with the previously known, common measuring methods.

Gemäß einem Aspekt der vorliegenden Erfindung wird diese Aufgabe durch ein Messsystem der eingangs genannten Art dadurch gelöst, dass die Auswerte- und Steuereinheit dazu eingerichtet ist, die Beleuchtungseinrichtung zu steuern, mindestens drei unterschiedliche Beleuchtungsszenarien zu erzeugen, und das Kamerasystem zu steuern, bei einem ersten der mindestens drei Beleuchtungsszenarien erste Bilddaten aufzunehmen, bei einem zweiten der mindestens drei Beleuchtungsszenarien zweite Bilddaten aufzunehmen und bei einem dritten der mindestens drei Beleuchtungsszenarien dritte Bilddaten aufzunehmen. Die Auswerte- und Steuereinheit ist ferner dazu eingerichtet, mit Hilfe einer photometrischen Stereoanalyse anhand der ersten, zweiten und dritten Bilddaten eine räumliche Orientierung der optischen Marker zu bestimmen, und mit Hilfe einer photogrammetrischen Auswertung anhand der ersten, zweiten oder dritten Bilddaten oder anhand von vierten mit dem Kamerasystem aufgenommenen Bilddaten räumliche Positionskoordinaten von zumindest drei der optischen Marker zu bestimmen.According to one aspect of the present invention, this object is achieved by a measuring system of the type mentioned above in that the evaluation and control unit is configured to control the illumination device, to generate at least three different illumination scenarios, and to control the camera system at a first record the first image data of the at least three illumination scenarios, record second image data in a second of the at least three illumination scenarios and record third image data in a third of the at least three illumination scenarios. The evaluation and control unit is further configured to determine a spatial orientation of the optical markers with the aid of a photometric stereo analysis on the basis of the first, second and third image data, and with the aid of a photogrammetric evaluation based on the first, second or third image data or on the basis of the fourth To determine with the camera system image data spatial position coordinates of at least three of the optical markers.

Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein entsprechendes Messverfahren mit den folgenden Verfahrensschritten:

  • - Beleuchten eines zu messenden Objekts, an dem mehrere optischen Marker angeordnet sind, wobei sequentiell mindestens drei unterschiedliche Beleuchtungsszenarien erzeugt werden;
  • - Aufnahmen von ersten Bilddaten des Objekts und der optischen Marker bei einem ersten der mindestens drei Beleuchtungsszenarien;
  • - Aufnahmen von zweiten Bilddaten des Objekts und der optischen Marker bei einem zweiten der mindestens drei Beleuchtungsszenarien;
  • - Aufnahmen von dritten Bilddaten des Objekts und der optischen Marker bei einem dritten der mindestens drei Beleuchtungsszenarien;
  • - Bestimmen einer räumlichen Orientierung der optischen Marker mit Hilfe einer photometrischen Stereoanalyse anhand der ersten, zweiten und dritten Bilddaten; und
  • - Bestimmen von räumlichen Positionskoordinaten von zumindest drei der optischen Marker mit Hilfe einer photogrammetrischen Auswertung anhand der ersten, zweiten oder dritten Bilddaten oder anhand von vierten bei einem vierten Beleuchtungsszenario aufgenommenen Bilddaten.
Another aspect of the present invention relates to a corresponding measuring method with the following method steps:
  • Illuminating an object to be measured on which a plurality of optical markers are arranged, wherein at least three different illumination scenarios are generated sequentially;
  • - taking pictures of first image data of the object and the optical markers in a first of the at least three lighting scenarios;
  • - taking pictures of second image data of the object and the optical markers in a second of the at least three lighting scenarios;
  • - taking pictures of third image data of the object and the optical markers in a third of the at least three illumination scenarios;
  • Determining a spatial orientation of the optical markers by means of a photometric stereoanalysis on the basis of the first, second and third image data; and
  • Determining spatial position coordinates of at least three of the optical markers with the aid of a photogrammetric evaluation on the basis of the first, second or third image data or on the basis of fourth image data recorded in a fourth illumination scenario.

Das erfindungsgemäße Messsystem und Messverfahren erlaubt also nicht nur eine photogrammetrische Auswertung anhand derer sich die Position der optischen Marker bestimmen lässt, sondern ermöglicht ebenso eine photometrische Stereoanalyse, anhand derer sich die räumliche Orientierung (räumliche Lage) der optischen Marker bestimmen lässt. Die Auswertung der Kamerabilder ermöglicht also sowohl die Bestimmung der Position der optischen Marker (mit Hilfe der photogrammetrischen Auswertung) als auch die Bestimmung einer Oberflächennormale jedes optischen Markers (mit Hilfe der photometrischen Stereoanalyse).The measuring system and measuring method according to the invention thus not only allows a photogrammetric evaluation by means of which the position of the optical markers can be determined, but also enables a photometric stereo analysis, by means of which the spatial orientation (spatial position) of the optical markers can be determined. The evaluation of the camera images thus enables both the determination of the position of the optical markers (with the aid of the photogrammetric evaluation) and the determination of a surface normal of each optical marker (with the aid of photometric stereoanalysis).

Je nach Anwendungsbeispiel und Ausführungsvariante ist es entweder möglich, die gleichen Bilddaten, welche für die photometrische Stereoanalyse ausgewertet werden, auch für die photogrammetrische Auswertung zu verwenden, oder aber unterschiedliche Bilddaten für die photometrische Stereoanalyse und die photogrammetrische Auswertung zu verwenden.Depending on the application example and embodiment variant, it is either possible to use the same image data, which are evaluated for the photometric stereo analysis, also for the photogrammetric evaluation, or to use different image data for the photometric stereo analysis and the photogrammetric evaluation.

Bei der ersten Variante werden mit dem Kamerasystem zumindest drei Bilder (bezeichnet als erste, zweite und dritte Bilddaten) bei unterschiedlichen Beleuchtungsszenarien erzeugt und anhand dessen sowohl die photometrische Stereoanalyse als auch die photogrammetrische Auswertung durchgeführt.In the first variant, the camera system generates at least three images (referred to as first, second and third image data) in different lighting scenarios and uses this to carry out both the photometric stereo analysis and the photogrammetric evaluation.

Bei der zweiten Variante wir die photometrische Stereoanalyse anhand der zumindest drei bei unterschiedlichen Beleuchtungsszenarien aufgenommenen Bilder durchgeführt und separat dazu, beispielsweise bei einem vierten Beleuchtungsszenario, weitere Bilddaten (vierte Bilddaten) aufgenommen, welche eine Vielzahl von Bildern aus unterschiedlichen Blickwinkeln auf das zu messende Objekt aufweisen. Die photogrammetrische Auswertung wird dann anhand dieser vierten Bilddaten vorgenommen.In the second variant, the photometric stereo analysis is carried out on the basis of the at least three images taken in different lighting scenarios and separately, for example, in a fourth lighting scenario, further image data (fourth image data) recorded, which have a variety of images from different angles to the object to be measured , The photogrammetric evaluation is then made on the basis of this fourth image data.

Gemäß einer Ausgestaltung der vorliegenden Erfindung ist das zu messende Objekt ein zu dem Messsystem gehörender, optischer 3D Sensor, an dem die optischen Marker angebracht sind.According to one embodiment of the present invention, the object to be measured is an optical 3D sensor belonging to the measuring system, to which the optical markers are attached.

Der bisherigen Terminologie folgend ist also der optische 3D Sensor selbst ein zu messendes Objekt. Vorzugsweise sind mindestens drei optische Marker an dem 3D Sensor angebracht. Mit Hilfe des erfindungsgemäßen Messsystems kann die Messposition und Messausrichtung des 3D Sensors im Sinne eines Sensortrackings bestimmt werden. Da nicht nur die Markerpositionen, sondern auch deren jeweilige räumliche Ausrichtung bestimmt werden können, kann die Robustheit und Genauigkeit im Vergleich zu bisher bekannten Sensortracking-Verfahren deutlich erhöht werden. Zudem ist es möglich den 3D Sensor als bewegten Sensor einzusetzen, dessen Position und Lage im Raum veränderbar ist.Following the previous terminology, the optical 3D sensor itself is therefore a measurement to be measured Object. Preferably, at least three optical markers are attached to the 3D sensor. With the aid of the measuring system according to the invention, the measuring position and measuring orientation of the 3D sensor can be determined in the sense of a sensor tracking. Since not only the marker positions, but also their respective spatial orientation can be determined, the robustness and accuracy can be significantly increased compared to previously known sensor tracking methods. It is also possible to use the 3D sensor as a moving sensor whose position and position in the room can be changed.

Gemäß einer weiteren Ausgestaltung ist es bevorzugt, dass der optische 3D Sensor dazu eingerichtet ist, Sensordaten eines zweiten Objekts zu erfassen, wobei die Auswerte- und Steuereinheit dazu eingerichtet ist, anhand der räumlichen Orientierung und der räumlichen Positionskoordinaten der optischen Marker sowie anhand der Sensordaten räumliche Positionskoordinaten des zweiten Objekts zu bestimmen.According to a further embodiment, it is preferred that the optical 3D sensor is set up to detect sensor data of a second object, wherein the evaluation and control unit is set up spatially based on the spatial orientation and the spatial position coordinates of the optical markers and on the basis of the sensor data To determine position coordinates of the second object.

Bei dem zweiten Objekt kann es sich beispielsweise um ein zu vermessendes Werkstück handeln, welches mit Hilfe des optischen 3D Sensors vermessen bzw. gescannt wird. Die Bewegung des 3D Sensors wird auf die oben genannte Weise durch das Kamerasystem des erfindungsgemäßen optischen Messsystems überwacht. Mit Hilfe der durch das erfindungsgemäße Messsystem gewonnenen Informationen zu Position und Lage des 3D Sensors können die verschiedenen Sensorpositionen des 3D Sensors erfasst und in ein übergeordnetes Koordinatensystem transformiert werden. Man spricht hierbei auch von einer globalen Registrierung, bei der die von dem 3D Sensor gewonnenen 3D Daten und die in der Auswerte- und Steuereinheit des erfindungsgemäßen Messsystems berechneten 3D Daten in ein gemeinsames Koordinatensystem transformiert und zu einem gesamten 3D Datensatz zusammengesetzt werden.The second object may be, for example, a workpiece to be measured, which is measured or scanned with the aid of the optical 3D sensor. The movement of the 3D sensor is monitored in the above-mentioned manner by the camera system of the optical measuring system according to the invention. With the help of the information obtained by the measurement system according to the invention information on the position and location of the 3D sensor, the various sensor positions of the 3D sensor can be detected and transformed into a higher-level coordinate system. This is also referred to as a global registration, in which the 3D data obtained by the 3D sensor and the 3D data calculated in the evaluation and control unit of the measuring system according to the invention are transformed into a common coordinate system and combined to form an entire 3D data set.

Bei dem optischen 3D Sensor kann es sich beispielsweise um einen Streifenlichtprojektionssensor, einen Stereo-Visionssensor, einen Laserscanner oder einen photogrammetrischen Sensor handeln. Im Falle einer Ausbildung des optischen 3D Sensors als photogrammetrischer Sensor würde dessen Bewegung im vorliegenden Fall selbst durch einen photogrammetrischen Sensor (das Kamerasystem des optischen Messsystems) überwacht.The optical 3D sensor can be, for example, a striped light projection sensor, a stereo vision sensor, a laser scanner or a photogrammetric sensor. In the case of an embodiment of the optical 3D sensor as a photogrammetric sensor, its movement in the present case would itself be monitored by a photogrammetric sensor (the camera system of the optical measuring system).

Gemäß einer weiteren Ausgestaltung der vorliegenden Erfindung ist die Auswerte- und Steuereinheit dazu eingerichtet, anhand der räumlichen Orientierung der optischen Marker die zumindest drei genannten optischen Marker, für die mit Hilfe der photogrammetrischen Auswertung die räumlichen Positionskoordinaten bestimmt werden, zu selektieren.In accordance with a further embodiment of the present invention, the evaluation and control unit is set up to select the at least three said optical markers for which the spatial position coordinates are determined with the aid of the photogrammetric evaluation on the basis of the spatial orientation of the optical markers.

Mit anderen Worten wird also zunächst die räumliche Orientierung jedes der optischen Marker mit Hilfe der photometrischen Stereoanalyse bestimmt und anhand dessen anschließend selektiert, welche der optischen Marker (zumindest drei) für die photogrammetrische Positionsbestimmung verwendet werden. Ungünstig orientierte optische Marker werden für die photogrammetrische Auswertung der einzelnen Kamerabilder dann nicht weiter berücksichtigt, da sie gegebenenfalls das Berechnungsergebnis der Bündelblockausgleichung verschlechtern würden. Diese Selektion der optischen Marker erhöht die Robustheit und Genauigkeit der Markerpositionsbestimmung.In other words, the spatial orientation of each of the optical markers is first of all determined with the aid of photometric stereoanalysis and, based on this, subsequently selected which of the optical markers (at least three) are used for the photogrammetric position determination. Unfavorably oriented optical markers are then not considered further for the photogrammetric evaluation of the individual camera images since they would possibly worsen the calculation result of the bundle block adjustment. This selection of optical markers increases the robustness and accuracy of marker position determination.

Ein Selektionskriterium für die Selektion der optischen Marker kann die räumliche Orientierung der optischen Marker relativ zu dem Kamerasystem sein. Weist das Kamerasystem mehrere Kameras auf, so wird als Selektionskriterium beispielsweise der Winkel den die Oberflächennormale eines optischen Markers mit den jeweiligen Kameras einschließt verwendet. Beispielsweise werden nur die optischen Marker selektiert, deren Oberflächennormale mit allen für die photogrammetrische Auswertung verwendeten Kameras jeweils einen Winkel einschließen, der kleiner ist als ein vordefinierter Grenzwinkel. Somit kann sichergestellt werden, dass alle optischen Marker ausreichend genau von dem Kamerasystem erfassbar sind.A selection criterion for the selection of the optical markers may be the spatial orientation of the optical markers relative to the camera system. If the camera system has several cameras, the selection criterion used is, for example, the angle which includes the surface normal of an optical marker with the respective cameras. For example, only the optical markers are selected whose surface normals, with all the cameras used for the photogrammetric evaluation, each include an angle that is smaller than a predefined limiting angle. Thus, it can be ensured that all optical markers can be detected with sufficient accuracy by the camera system.

Ein zusätzliches oder alternatives Selektionskriterium für die Selektion der optischen Marker kann die räumliche Orientierung der optischen Marker relativ zu der Beleuchtungseinrichtung sein. Beispielsweise kann definiert werden, dass lediglich die optischen Marker selektiert werden, deren Oberflächennormale einen Grenzwinkel mit den einzelnen Lichtquellen der Beleuchtungseinrichtung einschließen, welcher in einem vordefinierten Winkelbereich ist. Auf diese Weise wird sichergestellt, dass die für die photogrammetrische Auswertung verwendeten optischen Marker ausreichend gut ausgeleuchtet sind. Damit kann beispielsweise ebenso ausgeschlossen werden, das optische Marker für die photogrammetrische Auswertung verwendet werden, welche zu stark, zu gering oder in einem ungünstigen Winkel der zu starken Spiegelungen im Kamerasystem führt, beleuchtet werden.An additional or alternative selection criterion for the selection of the optical markers may be the spatial orientation of the optical markers relative to the illumination device. For example, it can be defined that only those optical markers are selected whose surface normal includes a critical angle with the individual light sources of the illumination device, which is in a predefined angular range. In this way it is ensured that the optical markers used for the photogrammetric evaluation are sufficiently well illuminated. Thus, for example, it can also be ruled out that the optical marker can be used for the photogrammetric evaluation, which leads to excessive, too low or at an unfavorable angle of excessive reflections in the camera system.

Gemäß einer Ausgestaltung der vorliegenden Erfindung weist die Beleuchtungseinrichtung eine erste, eine zweite und eine dritte Lichtquelle auf, wobei die Auswerte- und Steuereinheit dazu eingerichtet ist, die erste Lichtquelle zur Erzeugung des ersten Beleuchtungsszenarios, die zweite Lichtquelle zur Erzeugung des zweiten Beleuchtungsszenarios und die dritte Lichtquelle zur Erzeugung des dritten Beleuchtungsszenarios anzusteuern.According to one embodiment of the present invention, the illumination device has a first, a second and a third light source, wherein the evaluation and control unit is adapted to the first light source for generating the first illumination scenario, the second light source for generating the second illumination scenario and the third To control light source for generating the third lighting scenario.

Zur Erzeugung der ersten, zweiten und dritten Bilddaten, welche für die photometrische Stereoanalyse verwendet werden, kann also beispielsweise jeweils eine Lichtquelle angeschaltet werden. Zur Erzeugung der ersten Bilddaten wird die erste Lichtquelle angeschaltet und die beiden anderen Lichtquellen ausgeschaltet. Zur Erzeugung der zweiten Bilddaten wird die zweite Lichtquelle angeschaltet und die beiden anderen Lichtquellen ausgeschaltet. Zur Erzeugung der dritten Bilddaten wird die dritte Lichtquelle angeschaltet und die beiden anderen Lichtquellen ausgeschaltet. Selbstverständlich sind auch andere Schaltungen möglich, um die mindestens drei verschiedenen Beleuchtungsszenarien zu erzeugen. Es versteht sich ebenso, dass die Beleuchtungseinrichtung auch mehr als drei Lichtquellen aufweisen kann, und dass zur Erzeugung eines Beleuchtungsszenarios auch mehr als nur eine Lichtquelle aktiviert werden kann. In order to generate the first, second and third image data which are used for the photometric stereoanalysis, one light source can therefore be switched on, for example in each case. To generate the first image data, the first light source is turned on and the other two light sources are turned off. To generate the second image data, the second light source is turned on and the other two light sources are turned off. To generate the third image data, the third light source is turned on and the other two light sources are turned off. Of course, other circuits are possible to produce the at least three different lighting scenarios. It is also understood that the illumination device can also have more than three light sources, and that more than one light source can be activated to generate a lighting scenario.

Gemäß einer alternativen Ausgestaltung der vorliegenden Erfindung weist die Beleuchtungseinrichtung nur eine Lichtquelle auf, welche mit Hilfe einer Vorrichtung bewegt wird, um die mindestens drei unterschiedlichen Beleuchtungsszenarien zu erzeugen. Da die Relativ-Position und -Lage zwischen Kamerasystem und Beleuchtungseinrichtung für die photometrische Stereoanalyse bekannt sein sollte, sollte die Position und Lage der Lichtquelle während der genannten Bewegung getrackt werden oder vorbekannt (kalibriert) sein.According to an alternative embodiment of the present invention, the illumination device has only one light source, which is moved by means of a device in order to generate the at least three different illumination scenarios. Since the relative position and location between the camera system and the illumination device should be known for photometric stereoanalysis, the position and location of the light source should be tracked or known (calibrated) during said movement.

Ähnlich der Beleuchtungseinrichtung kann das Kamerasystem ebenfalls entweder mehrere Kameras aufweisen, oder aber nur eine bewegte Kamera, deren Position getrackt wird oder vorbekannt (kalibriert) ist.Similar to the illumination device, the camera system can likewise either have a plurality of cameras, or else only a moving camera whose position is tracked or previously known (calibrated).

Gemäß einer beispielhaften Ausgestaltung weist das Kamerasystem eine erste Kamera und eine zweite Kamera auf, wobei die Auswerte- und Steuereinheit dazu eingerichtet ist, das Kamerasystem zu steuern, die ersten, zweiten und dritten Bilddaten mit der ersten Kamera aufzunehmen sowie mit der zweiten Kamera fünfte Bilddaten bei dem ersten Beleuchtungsszenario, sechste Bilddaten bei dem zweiten Beleuchtungsszenario und siebte Bilddaten bei dem dritten Beleuchtungsszenario aufzunehmen, wobei die Auswerte- und Steuereinheit ferner dazu eingerichtet ist, mit Hilfe der photometrischen Stereoanalyse anhand der ersten, zweiten, dritten, fünften, sechsten und siebten Bilddaten eine räumliche Orientierung der optischen Marker zu bestimmen.According to an exemplary embodiment, the camera system has a first camera and a second camera, wherein the evaluation and control unit is configured to control the camera system, to record the first, second and third image data with the first camera and fifth image data with the second camera in the first lighting scenario, recording sixth image data in the second lighting scenario and seventh image data in the third lighting scenario, wherein the evaluation and control unit is further configured to use the photometric stereo analysis based on the first, second, third, fifth, sixth and seventh image data to determine a spatial orientation of the optical markers.

Für die photometrische Stereoanalyse wird in dieser Ausgestaltung also für jede der beiden Kameras eine Mehrzahl von Bildern aufgenommen, wobei für jedes einzelne Bild jede Kamera ein unterschiedliches Beleuchtungsszenario erzeugt wird. Unter dem ersten Beleuchtungsszenario, bei dem beispielsweise lediglich die erste Lichtquelle der Beleuchtungseinrichtung aktiviert ist, wird jeweils ein Bild mit jeder Kamera aufgenommen (erste und fünfte Bilddaten). Unter dem zweiten Beleuchtungsszenario, bei dem beispielsweise lediglich die zweite Lichtquelle Beleuchtungseinrichtung aktiviert ist, wird ebenfalls jeweils ein Bild mit jeder Kamera aufgenommen (zweite und sechste Bilddaten). Unter dem dritten Beleuchtungsszenario, bei dem beispielsweise lediglich die dritte Lichtquelle der Beleuchtungseinrichtung aktiviert ist, wird ebenfalls jeweils ein Bild mit jeder Kamera aufgenommen (dritte und siebte Bilddaten). Je nach Anzahl n der Kameras und Anzahl m der Lichtquellen erhält man auf diese Weise also n x m Bilddaten, welche für die photometrische Stereoanalyse verwendbar sind.For the photometric stereo analysis, a plurality of images is thus recorded for each of the two cameras in this embodiment, wherein a different lighting scenario is generated for each individual image of each camera. Under the first illumination scenario, in which, for example, only the first light source of the illumination device is activated, in each case one image is taken with each camera (first and fifth image data). Under the second illumination scenario in which, for example, only the second light source illumination device is activated, one image is also recorded with each camera (second and sixth image data). Under the third illumination scenario in which, for example, only the third light source of the illumination device is activated, an image is also taken in each case with each camera (third and seventh image data). Depending on the number n of cameras and the number m of light sources, one thus obtains n × m image data that can be used for the photometric stereo analysis in this manner.

Anstelle des Einsatzes mehrerer Kameras oder einer bewegten Kamera kann das Kamerasystem in einer alternativen Ausgestaltung auch eine erste Kamera aufweisen, welche als Stereokamera ausgebildet ist.Instead of using a plurality of cameras or a moving camera, the camera system in an alternative embodiment may also have a first camera, which is designed as a stereo camera.

Es versteht sich, dass sich die oben in Bezug auf das erfindungsgemäße optische Messsystem erwähnten und in den Patentansprüchen definierten Ausgestaltungen nicht nur auf das optische Messsystem selbst, sondern auch in entsprechender Weise auf das erfindungsgemäße Messverfahren beziehen. Des weiteren versteht es sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It is understood that the embodiments mentioned above in relation to the optical measuring system according to the invention and defined in the patent claims relate not only to the optical measuring system itself, but also in a corresponding manner to the measuring method according to the invention. Furthermore, it is understood that the features mentioned above and those yet to be explained below can be used not only in the particular combination given, but also in other combinations or alone, without departing from the scope of the present invention.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:

  • 1 eine vereinfachte, schematische Darstellung eines erstes Ausführungsbeispiels des Erfindungsgemäßen Messsystems;
  • 2 eine vereinfachte, schematische Darstellung eines zweiten Ausführungsbeispiels des erfindungsgemäßen Messsystems; und
  • 3 eine vereinfachte, schematische Darstellung eines dritten Ausführungsbeispiels des erfindungsgemäßen Messsystems.
Embodiments of the invention are illustrated in the drawings and are explained in more detail in the following description. Show it:
  • 1 a simplified, schematic representation of a first embodiment of the inventive measuring system;
  • 2 a simplified, schematic representation of a second embodiment of the measuring system according to the invention; and
  • 3 a simplified schematic representation of a third embodiment of the measuring system according to the invention.

Die 1-3 zeigen drei verschiedene Ausführungsbeispiele des erfindungsgemäßen Messsystems. Das Messsystem ist darin jeweils in seiner Gesamtheit mit der Bezugsziffer 10 gekennzeichnet.The 1-3 show three different embodiments of the measuring system according to the invention. The measuring system is therein in its entirety by the reference numeral 10 characterized.

Das erfindungsgemäße Messsystem 10 dient der optischen Vermessung eines Messobjekts 12. An dem Messobjekt 12 ist eine Vielzahl von optischen Markern 14 angebracht. Um eine möglichst gute Erkennung und Erfassung der Geometrie des Messobjekts 12 zu gewährleisten, sind die optischen Marker 14 vorzugsweise über das Messobjekt 12 verteilt angeordnet. An Stellen stärkerer Krümmung oder an Stellen von besonderem Interesse können mehr optische Marker 14 angeordnet sein als an den übrigen Stellen des Messobjekts 12. Die Verteilung der optischen Marker 14 kann, muss also nicht regelmäßig sein.The measuring system according to the invention 10 serves the optical measurement of a test object 12 , At the measuring object 12 is a variety of optical markers 14 appropriate. To get the best possible recognition and capture of the geometry of the measurement object 12 to ensure are the optical markers 14 preferably over the test object 12 arranged distributed. In places of greater curvature or in sites of particular interest, more optical markers can be used 14 be arranged as at the remaining points of the measurement object 12 , The distribution of optical markers 14 can, so does not have to be regular.

Je nach Ausgestaltung können die optischen Marker 14 beispielsweise mittels eines Klebstreifens, eines Magneten oder mit Hilfe anderer haftender Flächen am Messobjekt 12 angebracht sein. Alternativ dazu können die optischen Marker 14 auch auf das Messobjekt 12 projiziert werden. Grundsätzlich kommt auch eine feste Verbindung zwischen optischen Markern 14 und Messobjekt 12 in Frage. Dies kann zum Beispiel dann der Fall sein, wenn die optischen Marker 14 nicht direkt an einem zu vermessenden Werkstück, sondern an einem handgeführten oder maschinell geführten Messinstrument angeordnet sind, mit Hilfe dessen das Werkstück vermessen wird. Ein solches Messinstrument wäre dann ebenfalls als Messobjekt 12 im Sinne der vorliegenden Erfindung zu betrachten.Depending on the configuration, the optical markers 14 for example, by means of an adhesive strip, a magnet or with the help of other adhesive surfaces on the measurement object 12 to be appropriate. Alternatively, the optical markers 14 also on the test object 12 be projected. Basically, there is also a firm connection between optical markers 14 and measuring object 12 in question. This can be the case, for example, if the optical markers 14 are not arranged directly on a workpiece to be measured, but on a hand-held or mechanically guided measuring instrument, by means of which the workpiece is measured. Such a measuring instrument would then also be a measuring object 12 to be considered within the meaning of the present invention.

Das erfindungsgemäße Messsystem 10 umfasst des Weiteren eine Beleuchtungseinrichtung 16, ein Kamerasystem 18 sowie eine Auswerte- und Steuereinheit 20.The measuring system according to the invention 10 further comprises a lighting device 16 , a camera system 18 as well as an evaluation and control unit 20 ,

Die Beleuchtungseinrichtung 16 dient der Beleuchtung des Messobjekts 12 sowie der daran angeordneten optischen Marker 14. Sie weist in dem vorliegenden Ausführungsbeispiel eine erste Lichtquelle 22, eine zweite Lichtquelle 24 sowie eine dritte Lichtquelle 26 auf. Die drei Lichtquellen 22, 24, 26 sind in unterschiedlichen Positionen und/oder Orientierungen relativ zu dem Messobjekt 12 ausgerichtet. Je nach Aktivierung einer, zweier oder aller drei Lichtquellen 22, 24, 26 lassen sich somit unterschiedliche Beleuchtungsszenarien erzeugen.The lighting device 16 serves to illuminate the DUT 12 as well as the optical marker arranged thereon 14 , It has in the present embodiment, a first light source 22 , a second light source 24 and a third light source 26 on. The three light sources 22 . 24 . 26 are in different positions and / or orientations relative to the measurement object 12 aligned. Depending on the activation of one, two or all three light sources 22 . 24 . 26 Thus different lighting scenarios can be generated.

Das Kamerasystem 18 dient der Aufnahme von Bilddaten des Messobjekts 12 sowie der daran angeordneten optischen Marker 14. In dem in 1 dargestellten Ausführungsbeispiel weist das Kamerasystem 18 eine erste Kamera 28, eine zweite Kamera 30 sowie eine dritte Kamera 32 auf. Die drei Kameras 28, 30, 32 sind an unterschiedlichen Positionen und/oder in unterschiedlichen Orientierungen relativ zu dem Messobjekt 12 ausgerichtet. Die drei Kameras 28, 30, 32 nehmen das Messobjekt 12 somit aus unterschiedlichen Blickwinkeln auf.The camera system 18 serves to record image data of the DUT 12 as well as the optical marker arranged thereon 14 , In the in 1 illustrated embodiment, the camera system 18 a first camera 28 , a second camera 30 as well as a third camera 32 on. The three cameras 28 . 30 . 32 are at different positions and / or in different orientations relative to the measurement object 12 aligned. The three cameras 28 . 30 . 32 take the measurement object 12 thus from different angles.

In dem in 1 dargestellten Ausführungsbeispiel sind die Lichtquellen 22, 24, 26 der Beleuchtungseinrichtung 16 und die Kameras 28, 30, 32 des Kamerasystems 18 zumindest während einer Messung fix positioniert. In kalibriertem Zustand ist das Messsystem 10 dabei vorzugsweise zumindest derart kalibriert, dass die Relativ-Positionen und - Orientierungen der einzelnen Lichtquellen 22, 24, 26 und Kameras 28, 30, 32 bekannt sind. Vorzugsweise sind auch deren Absolut-Positionen und -Orientierungen bekannt.In the in 1 illustrated embodiment, the light sources 22 . 24 . 26 the lighting device 16 and the cameras 28 . 30 . 32 of the camera system 18 at least fixed during a measurement. In calibrated state is the measuring system 10 preferably calibrated at least in such a way that the relative positions and orientations of the individual light sources 22 . 24 . 26 and cameras 28 . 30 . 32 are known. Preferably, their absolute positions and orientations are known.

Die Beleuchtungseinrichtung 16 und das Kamerasystem 18 werden von der Auswerte- und Steuereinheit 20 gesteuert. Die Auswerte- und Steuereinheit 20 dient ferner der Auswertung der Bilddaten, welche von dem Kamerasystem 18 erzeugt werden. Bei der Auswerte- und Steuereinheit 20 handelt es sich vorzugsweise um eine Recheneinheit, beispielsweise einen Computer, auf dem eine entsprechende Software installiert ist, mit Hilfe dessen die Beleuchtungseinrichtung 16 und das Kamerasystem 18 gesteuert werden sowie die von dem Kamerasystem 18 gelieferten Bilddaten in erfindungsgemäßer Art und Weise ausgewertet werden.The lighting device 16 and the camera system 18 be from the evaluation and control unit 20 controlled. The evaluation and control unit 20 also serves the evaluation of the image data, which from the camera system 18 be generated. At the evaluation and control unit 20 it is preferably a computing unit, such as a computer, on which a corresponding software is installed, with the help of which the lighting device 16 and the camera system 18 controlled as well as those of the camera system 18 supplied image data are evaluated in accordance with the invention.

Die Verbindung 34 zwischen der Auswerte- und Steuereinheit 20 und der Beleuchtungseinrichtung 16 bzw. dem Kamerasystem 18 kann, wie in 1 schematisch dargestellt, über eines oder mehrere Kabel erfolgen. Alternativ dazu können die Bauteile jedoch auch über eine kabellose Verbindung miteinander verbunden sein. Ebenso wäre es möglich, die Auswerte- und Steuereinheit 20 mit der Beleuchtungseinrichtung 16 und dem Kamerasystem 18 in einem gemeinsamen Gehäuse unter zu bringen.The connection 34 between the evaluation and control unit 20 and the lighting device 16 or the camera system 18 can, as in 1 shown schematically, via one or more cables. Alternatively, however, the components may also be connected to each other via a wireless connection. It would also be possible to use the evaluation and control unit 20 with the lighting device 16 and the camera system 18 in a common housing under.

Des weiteren kann die Auswerte- und Steuereinheit 20 einen Bildschirm und eine entsprechende Eingabeeinheit (beispielsweise eine Tastatur) umfassen, um die Messergebnisse des Messsystems 10 entsprechend grafisch darzustellen bzw. um Steuerbefehle eingeben zu können.Furthermore, the evaluation and control unit 20 a screen and a corresponding input unit (for example a keyboard) to the measurement results of the measuring system 10 to graphically display accordingly or to be able to enter control commands.

Die Auswerte- und Steuereinheit 20 ist erfindungsgemäß dazu eingerichtet, die Beleuchtungseinrichtung 16 derart anzusteuern, dass mindestens drei unterschiedliche Beleuchtungsszenarien sequenziell hintereinander erzeugt werden. Währenddessen nimmt das Kamerasystem 18 von der Auswerte- und Steuereinheit 20 gesteuert jeweils zumindest ein Bild pro Beleuchtungsszenario von dem Messobjekt 12 auf. Anstelle von Einzelbildern können auch Bildsequenzen oder Videos aufgenommen werden. Vorliegend wird daher allgemein der Begriff Bilddaten verwendet.The evaluation and control unit 20 is inventively configured to the lighting device 16 such that at least three different lighting scenarios are generated sequentially one behind the other. Meanwhile, the camera system takes 18 from the evaluation and control unit 20 controlled in each case at least one image per lighting scenario of the measurement object 12 on. Instead of still images, also image sequences or videos can be recorded. In the present case, therefore, the term image data is generally used.

Die Beleuchtungsszenarios können beispielsweise wie folgt erzeugt werden. In einem ersten Beleuchtungsszenario wird die erste Lichtquelle 22 aktiviert, wobei die zweite und die dritte Lichtquelle 24, 26 ausgeschaltet sind. In einem zweiten Beleuchtungsszenario wird die zweite Lichtquelle 24 aktiviert, wobei die erste und die dritte Lichtquelle 22, 26 ausgeschaltet sind. In einem dritten Beleuchtungsszenario wird die dritte Lichtquelle 26 aktiviert, wobei die erste und die zweite Lichtquelle 22, 24 ausgeschaltet sind. Während des ersten Beleuchtungsszenarios werden mit Hilfe der ersten Kamera 28 erste Bilddaten von dem Messobjekt 12 aufgenommen. Während des zweiten Beleuchtungsszenarios werden mit Hilfe der ersten Kamera 18 zweite Bilddaten des Messobjekts 12 aufgenommen. Während des dritten Beleuchtungsszenarios werden mit Hilfe der ersten Kamera 28 dritte Bilddaten des Messobjekts 12 aufgenommen.The lighting scenarios can be generated, for example, as follows. In a first lighting scenario, the first light source becomes 22 activated, with the second and the third light source 24 . 26 are turned off. In a second lighting scenario, the second light source becomes 24 activated, with the first and the third light source 22 . 26 are turned off. In a third Lighting scenario becomes the third light source 26 activated, with the first and the second light source 22 . 24 are turned off. During the first lighting scenario, using the first camera 28 first image data from the measurement object 12 added. During the second lighting scenario, using the first camera 18 second image data of the measurement object 12 added. During the third lighting scenario, using the first camera 28 third image data of the measurement object 12 added.

Die ersten, zweiten und dritten Bilddaten werden von der Auswerte- und Steuereinheit 20 ausgewertet. Mit Hilfe einer photometrischen Stereoanalyse lässt sich anhand der ersten, zweiten und dritten Bilddaten eine räumliche Orientierung der optischen Marker 14 bestimmen. Unter der Bestimmung einer räumlichen Orientierung der optischen Marker 14 wird beispielsweise die Bestimmung der Richtung jeweils eine Oberflächennormale pro optischen Marker 14 verstanden, wobei die Oberflächennormale orthogonal zur Oberfläche des jeweiligen optischen Markers 14 ausgerichtet ist. Vorzugsweise werden für die photometrische Stereoanalyse nicht nur die von der ersten Kamera 28 erzeugten Bilddaten, sondern auch die von der zweiten und dritten Kamera 30, 32 erzeugten Bilddaten ausgewertet. Auch die zweite und dritte Kamera 30, 32 nehmen von der Auswerte- und Steuereinheit 20 gesteuert für jedes der drei Beleuchtungsszenarien jeweils Bilddaten auf. Im vorliegenden Ausführungsbeispiel werden somit insgesamt neun Bilddatensätze (also drei Bilddatensätze pro Kamera 28, 30, 32 und Beleuchtungsszenario), ausgewertet und für die photometrische Stereoanalyse verwendet. Es versteht sich, dass nicht zwangsläufig drei Kameras 28, 30, 32 vorgesehen sein müssen. Grundsätzlich können auch weniger Kameras, beispielsweise nur zwei oder gar nur eine Kamera, zum Beispiel eine Stereokamera vorgesehen sein. Ebenso versteht es sich dass die Beleuchtungseinrichtung 16 auch mehr als nur drei Lichtquellen aufweisen kann und mit Hilfe der Lichtquellen grundsätzlich auch mehr als nur drei Beleuchtungsszenarien erzeugt werden können. Selbst bei den drei Lichtquellen 22, 24, 26, wie sie in 1 dargestellt sind, können durch beliebige Permutationen der Aktivierung einzelner oder mehrerer Lichtquellen nicht nur drei Beleuchtungsszenarien, sondern insgesamt 7 Beleuchtungsszenarien erzeugt werden.The first, second and third image data are from the evaluation and control unit 20 evaluated. By means of a photometric stereo analysis, a spatial orientation of the optical markers can be determined on the basis of the first, second and third image data 14 determine. By determining a spatial orientation of the optical markers 14 For example, the determination of the direction will be a surface normal per optical marker 14 understood, wherein the surface normal orthogonal to the surface of the respective optical marker 14 is aligned. Preferably, for the photometric stereo analysis, not only those from the first camera 28 generated image data, but also from the second and third camera 30 . 32 evaluated image data. Also the second and third camera 30 . 32 take from the evaluation and control unit 20 controls image data for each of the three lighting scenarios. In the present exemplary embodiment, a total of nine image data sets (ie three image data sets per camera 28 . 30 . 32 and lighting scenario), evaluated and used for photometric stereoanalysis. It is understood that not necessarily three cameras 28 . 30 . 32 must be provided. In principle, fewer cameras, for example only two or even only one camera, for example a stereo camera, may be provided. Likewise, it is understood that the lighting device 16 can also have more than just three light sources and with the help of the light sources in principle more than just three lighting scenarios can be generated. Even with the three light sources 22 . 24 . 26 as they are in 1 are represented by arbitrary permutations of the activation of individual or multiple light sources not only three lighting scenarios, but a total of 7 lighting scenarios are generated.

Die Auswerte- und Steuereinheit 20 ist ferner dazu eingerichtet, mit Hilfe einer photogrammetrischen Auswertung die räumlichen Positionskoordinaten der optischen Marker 14 zu bestimmen. Für die photogrammetrische Auswertung werden zumindest zwei Bilder, welche aus unterschiedlichen Orientierungen relativ zu dem Messobjekt 12 aufgenommen sind, benötigt. Vorzugsweise werden dazu also die Bilddatensätze von zumindest zwei der drei Kameras 28, 30, 32 ausgewertet. Als Bilddaten für die photogrammetrische Auswertung können entweder die bereits für die photometrische Stereoanalyse verwendeten Bilddaten verwendet werden. Alternativ dazu können separat erzeugte Bilddaten verwendet werden. Beispielsweise können bei einer separaten Bildaufnahmesequenz, bei der alle Lichtquellen 22, 24, 26 eingeschaltet sind, Bilddaten mit der ersten Kamera 28 sowie Bilddaten mit der zweiten Kamera 30 erzeugt werden. Somit könnten beispielsweise neun Bilddatensätze (generiert mit allen drei Kameras 28, 30, 32 bei jeweils drei Beleuchtungsszenarien) für die photometrische Stereoanalyse und zwei Bilddatensätze (erzeugt durch zwei der drei Kameras 28, 30, 32 bei ein und demselben Beleuchtungsszenario) für die photogrammetrische Auswertung erzeugt und ausgewertet werden.The evaluation and control unit 20 is also set up with the aid of a photogrammetric evaluation, the spatial position coordinates of the optical marker 14 to determine. For the photogrammetric evaluation at least two images, which from different orientations relative to the measurement object 12 are needed. Preferably, therefore, the image data sets of at least two of the three cameras 28 . 30 . 32 evaluated. As image data for the photogrammetric evaluation either the image data already used for the photometric stereo analysis can be used. Alternatively, separately generated image data may be used. For example, in a separate image acquisition sequence where all the light sources 22 . 24 . 26 are turned on, image data with the first camera 28 as well as image data with the second camera 30 be generated. Thus, for example, nine image data sets (generated with all three cameras 28 . 30 . 32 each with three lighting scenarios) for the photometric stereo analysis and two image data sets (generated by two of the three cameras 28 . 30 . 32 in one and the same lighting scenario) for the photogrammetric evaluation are generated and evaluated.

Im Minimalfall weist das Kamerasystem 18 lediglich eine als Stereokamera ausgebildete Kamera auf, welche für die photometrische Stereoanalyse drei Bilddatensätze bei drei unterschiedlichen Beleuchtungsszenarien aufnimmt und für die photogrammetrische Auswertung einen Bilddatensatz aufnimmt, welcher entweder einer der drei ersten Bilddatensätze oder ein extra Bilddatensatz sein kann. Es versteht sich, dass bei einer Stereokamera die Bilddaten bereits versetzt zueinander aufgenommene Bilder enthalten.In the minimum case, the camera system points 18 merely a camera designed as a stereo camera, which records three image data records for three different illumination scenarios for the photometric stereo analysis and records an image data record for the photogrammetric evaluation, which can be either one of the three first image data records or an extra image data record. It is understood that in a stereo camera, the image data already offset images recorded to each other.

Die Auswerte- und Steuereinheit 20 kann ferner dazu eingerichtet sein die für die photogrammetrische Auswertung verwendeten optischen Marker 14 anhand der Ergebnisse der photometrischen Stereoanalyse zu selektieren. Mit Hilfe der photometrischen Stereoanalyse wird, wie bereits erwähnt, die räumliche Orientierung jedes einzelnen Markers 14 bestimmt. Wird dabei festgestellt, dass sich einige der optischen Marker 14 aufgrund ihrer räumlichen Orientierung nicht für die photogrammetrische Auswertung eignen, so werden diese de-selektiert und bei der photogrammetrischen Auswertung nicht berücksichtig. Für die photogrammetrische Auswertung werden also beispielsweise nur die optischen Marker 14 berücksichtigt, deren Oberflächennormale einen vordefinierten Grenzwinkel relativ zu zumindest zwei der drei Kameras 28, 30, 32 unterschreiten. Insgesamt sollten mit Hilfe der photogrammetrischen Auswertung die räumlichen Koordinaten von zumindest drei optischen Markern 14 bestimmt werden, um eine eindeutige Position und Lage des Messobjekts 12 ermitteln zu können.The evaluation and control unit 20 can also be set up for the optical markers used for the photogrammetric evaluation 14 to select from the results of photometric stereoanalysis. With the aid of photometric stereo analysis, as already mentioned, the spatial orientation of each individual marker 14 certainly. It is found that some of the optical markers 14 Due to their spatial orientation are not suitable for the photogrammetric evaluation, they are de-selected and not taken into account in the photogrammetric evaluation. Thus, for example, only the optical markers are used for the photogrammetric evaluation 14 whose surface normal has a predefined critical angle relative to at least two of the three cameras 28 . 30 . 32 below. Overall, using the photogrammetric evaluation, the spatial coordinates of at least three optical markers 14 be determined to a unique position and location of the DUT 12 to be able to determine.

Als weiteres Selektionskriterium für die Auswahl der optischen Marker 14, welche für die photogrammetrische Auswertung verwendet werden, kann deren Orientierung relativ zu den Lichtquellen 22, 24, 26 dienen. Selbstverständlich können auch beide der zuvor genannten Selektionskriterien miteinander kombiniert werden.As a further selection criterion for the selection of optical markers 14 , which are used for the photogrammetric evaluation, their orientation relative to the light sources 22 . 24 . 26 serve. Of course, both of the aforementioned selection criteria can be combined.

2 zeigt ein zweites Ausführungsbeispiel des erfindungsgemäßen Messsystems 10. Der wesentliche Unterschied zu dem ersten Ausführungsbeispiel besteht darin, dass die Beleuchtungseinrichtung 16 anstelle dreier Lichtquellen nur eine Lichtquelle 22 aufweist und das Kamerasystem 18 anstelle dreier Kameras lediglich eine Kamera 28 aufweist. Zur Erzeugung der für die photometrische Stereoanalyse notwendigen (mindestens) drei Beleuchtungsszenarien wird die Lichtquelle 22 allerdings mit Hilfe einer Bewegungsvorrichtung 36 bewegt. Die Bewegung der Lichtquelle 22 ist in 2 durch die gestrichelte Darstellung der Lichtquelle 22 an zwei weiteren Positionen sowie durch den Pfeil 38 schematisch dargestellt. Die Bewegung der Kamera 28 erfolgt in ähnlicher Weise über eine Bewegungsvorrichtung 40. Die Bewegung der Kamera 28 ist in 2 mit der an zwei weiteren Positionen gestrichelt eingezeichneten Kamera 28 sowie dem Pfeil 42 schematisch dargestellt. Die Vorrichtungen 36, 40 zur Bewegung der Lichtquelle 22 bzw. der Kamera 28 können grundsätzlich auch miteinander kombiniert werden. Unabhängig davon, ob zwei separate Bewegungsvorrichtungen 36, 40 oder eine kombinierte Bewegungsvorrichtung eingesetzt wird, sollten die Position und Lage der Lichtquelle 22 und der Kamera 28 während der Bewegung bekannt sein. Dies kann durch ein entsprechendes Tracking der Lichtquelle 22 und der Kamera 28 und/oder durch eine entsprechende Kalibrierung der Bewegungsvorrichtungen 36, 40 realisiert sein. 2 shows a second embodiment of the measuring system according to the invention 10 , The essential difference from the first embodiment is that the illumination device 16 instead of three light sources only one light source 22 has and the camera system 18 instead of three cameras just a camera 28 having. To generate the (at least) three lighting scenarios required for the photometric stereo analysis, the light source 22 but with the help of a movement device 36 emotional. The movement of the light source 22 is in 2 by the dashed representation of the light source 22 at two other positions as well as by the arrow 38 shown schematically. The movement of the camera 28 is done in a similar way via a movement device 40 , The movement of the camera 28 is in 2 with the dashed line at two other positions camera 28 as well as the arrow 42 shown schematically. The devices 36 . 40 to move the light source 22 or the camera 28 can basically be combined with each other. Regardless of whether two separate motion devices 36 . 40 or a combined movement device should be used, the position and location of the light source 22 and the camera 28 be known during the movement. This can be done by an appropriate tracking of the light source 22 and the camera 28 and / or by a corresponding calibration of the movement devices 36 . 40 be realized.

3 zeigt ein drittes Ausführungsbeispiel des erfindungsgemäßen Messsystems. Die Anordnung und Konfiguration der Beleuchtungseinrichtung 16 sowie das Kamerasystems 18 ist ähnlich bzw. gleich wie gemäß der in 1 gezeigten ersten Ausführungsform. Grundsätzlich kann die Konfiguration der Beleuchtungseinrichtung 16 und des Kamerasystems 18 in dieser dritten Ausführungsform jedoch auch so realisiert sein, wie dies oben gemäß der zweiten Ausführungsform erwähnt und in 2 gezeigt ist. Der wesentliche Unterschied zu den beiden ersten Ausführungsformen besteht darin, das als Messobjekt 12', welches von dem Messsystem 10 unmittelbar gemessen wird, nicht ein Werkstück, sondern ein 3D Sensor 42 eingesetzt wird. Mit Hilfe des erfindungsgemäßen Messsystems 10 wird in oben genannter Weise die räumliche Position und Orientierung der optischen Marker 14 ermittelt, welche gemäß der dritten Ausführungsform auf dem 3D Sensor angeordnet sind. Auf diese Weise lässt sich die räumliche Position und Lage des 3D Sensors 42 ermitteln. Der 3D Sensor 42 selbst kann zur optischen Vermessung eines Werkstücks 12" eingesetzt werden. 3 shows a third embodiment of the measuring system according to the invention. The arrangement and configuration of the lighting device 16 as well as the camera system 18 is similar to or the same as in 1 shown first embodiment. Basically, the configuration of the lighting device 16 and the camera system 18 However, in this third embodiment also be realized as mentioned above according to the second embodiment and in 2 is shown. The essential difference to the first two embodiments is that as a measuring object 12 ' which of the measuring system 10 is measured directly, not a workpiece, but a 3D sensor 42 is used. With the help of the measuring system according to the invention 10 in the above-mentioned manner, the spatial position and orientation of the optical markers 14 determines which are arranged according to the third embodiment on the 3D sensor. In this way the spatial position and position of the 3D sensor can be determined 42 determine. Of the 3D sensor 42 itself can be used for the optical measurement of a workpiece 12 " be used.

Bei dem 3D Sensor 42 kann es sich beispielsweise um einen Streifenlichtprojektionssensor handeln. Dies ist in 3 schematisch anhand eines Streifenmusters 44 auf dem zweiten Messobjekt 12" schematisch angedeutet. Alternativ dazu kann der 3D Sensor 42 als Stereo-Visionssensor, als Laserscanner oder als photogrammetrischer Sensor ausgebildet sein.In the 3D sensor 42 it may, for example, be a strip light projection sensor. This is in 3 schematically using a stripe pattern 44 on the second measuring object 12 " indicated schematically. Alternatively, the 3D sensor 42 be designed as a stereo vision sensor, as a laser scanner or as a photogrammetric sensor.

Mit Hilfe des erfindungsgemäßen Positions- und Lage-Trackings des 3D Sensors 42 lässt sich dessen Genauigkeit und Robustheit um ein Vielfaches erhöhen. Zur weiteren Verbesserung dieses Sensortrackings lässt sich auch hier die oben erwähnte Marker-Selektion vornehmen, bei der lediglich die optischen Marker 14 für die photogrammetrische Auswertung verwendet werden, welche eine geeignete Orientierung relativ zu dem Kamerasystem 18 und/oder der Beleuchtungseinrichtung 16 haben. Auch in diesem Fall sollten zur eindeutigen Positions- und Lagebestimmung des 3D Sensors 42 insgesamt jedoch mindestens die Position von mindestens drei optischen Markern 14 bestimmt werdenWith the help of the position and position tracking of the 3D sensor according to the invention 42 Its accuracy and robustness can be increased many times over. To further improve this sensor tracking, the above-mentioned marker selection can also be carried out here, with only the optical markers 14 be used for the photogrammetric evaluation, which is a suitable orientation relative to the camera system 18 and / or the lighting device 16 to have. Also in this case should for the unambiguous position and orientation of the 3D sensor 42 but in total at least the position of at least three optical markers 14 be determined

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • WO 2016/071227 A1 [0003, 0005, 0009]WO 2016/071227 A1 [0003, 0005, 0009]

Claims (14)

Optisches Messsystem (10), aufweisend: - mehrere optische Marker (14), welche an einem zu messenden Objekt (12) anbringbar sind; - eine Beleuchtungseinrichtung (16) zur Beleuchtung des Objekts (12) und der optischen Marker (14); - ein Kamerasystem (18) zur Aufnahme von Bilddaten des Objekts (12) und der optischen Marker (14); und - eine Auswerte- und Steuereinheit (20), welche dazu eingerichtet ist, die Beleuchtungseinrichtung (16) zu steuern, mindestens drei unterschiedliche Beleuchtungsszenarien zu erzeugen, und das Kamerasystem (18) zu steuern, bei einem ersten der mindestens drei Beleuchtungsszenarien erste Bilddaten aufzunehmen, bei einem zweiten der mindestens drei Beleuchtungsszenarien zweite Bilddaten aufzunehmen und bei einem dritten der mindestens drei Beleuchtungsszenarien dritte Bilddaten aufzunehmen, wobei die Auswerte- und Steuereinheit (20) ferner dazu eingerichtet ist, mit Hilfe einer photometrischen Stereoanalyse anhand der ersten, zweiten und dritten Bilddaten eine räumliche Orientierung der optischen Marker (14) zu bestimmen, und wobei die Auswerte- und Steuereinheit (20) dazu eingerichtet ist, mit Hilfe einer photogrammetrischen Auswertung anhand der ersten, zweiten oder dritten Bilddaten oder anhand von vierten mit dem Kamerasystem (18) aufgenommenen Bilddaten räumliche Positionskoordinaten von zumindest drei der optischen Marker (14) zu bestimmen.Optical measuring system (10), comprising: - A plurality of optical markers (14) which are attachable to an object to be measured (12); - An illumination device (16) for illuminating the object (12) and the optical marker (14); - A camera system (18) for receiving image data of the object (12) and the optical marker (14); and an evaluation and control unit (20) which is set up to control the illumination device (16), to generate at least three different illumination scenarios, and to control the camera system (18) to record first image data in a first of the at least three illumination scenarios, to acquire second image data in a second of the at least three lighting scenarios and to record third image data in a third of the at least three lighting scenarios, wherein the evaluation and control unit (20) is further adapted to determine by means of a photometric stereo analysis based on the first, second and third image data, a spatial orientation of the optical marker (14), and wherein the evaluation and control unit (20) thereto is set up to determine spatial position coordinates of at least three of the optical markers (14) with the aid of a photogrammetric evaluation on the basis of the first, second or third image data or on the basis of fourth image data recorded by the camera system (18). Optisches Messsystem gemäß Anspruch 1, wobei das zu messende Objekt (12') ein zu dem Messsystem (10) gehörender, optischer 3D Sensor (42) ist, an dem die optischen Marker (14) angebracht sind.Optical measuring system according to Claim 1 in which the object (12 ') to be measured is an optical 3D sensor (42) belonging to the measuring system (10) and to which the optical markers (14) are attached. Optisches Messsystem gemäß Anspruch 2, wobei der optische 3D Sensor (42) dazu eingerichtet ist, Sensordaten eines zweiten Objekts (12") zu erfassen, und wobei die Auswerte- und Steuereinheit (20) dazu eingerichtet ist, anhand der räumlichen Orientierung und der räumlichen Positionskoordinaten der optischen Marker (14) sowie anhand der Sensordaten räumliche Positionskoordinaten des zweiten Objekts (12") zu bestimmen.Optical measuring system according to Claim 2 wherein the optical 3D sensor (42) is adapted to detect sensor data of a second object (12 "), and wherein the evaluation and control unit (20) is arranged based on the spatial orientation and the spatial position coordinates of the optical markers (12). 14) and to determine spatial position coordinates of the second object (12 ") on the basis of the sensor data. Optisches Messsystem gemäß Anspruch 2 oder 3, wobei der optische 3D Sensor (42) einen Streifenlichtprojektionssensor, einen Stereo-Vision Sensor, einen Laserscanner oder einen photogrammetrischen Sensor aufweist.Optical measuring system according to Claim 2 or 3 wherein the optical 3D sensor (42) comprises a fringe light projection sensor, a stereo vision sensor, a laser scanner or a photogrammetric sensor. Optisches Messsystem gemäß einem der Ansprüche 1-4, wobei die Auswerte- und Steuereinheit (20) dazu eingerichtet ist, anhand der räumlichen Orientierung der optischen Marker (14) die zumindest drei der optischen Marker (14) zu selektieren, für die mit Hilfe der photogrammetrischen Auswertung die räumlichen Positionskoordinaten bestimmt werden.Optical measuring system according to one of Claims 1 - 4 , wherein the evaluation and control unit (20) is adapted to select on the basis of the spatial orientation of the optical markers (14) the at least three of the optical markers (14) for which the spatial position coordinates are determined by means of the photogrammetric evaluation. Optisches Messsystem gemäß Anspruch 5, wobei ein Selektionskriterium für die Selektion der optischen Marker (14) eine räumliche Orientierung der optischen Marker (14) relativ zu dem Kamerasystem (18) ist.Optical measuring system according to Claim 5 wherein a selection criterion for the selection of the optical markers (14) is a spatial orientation of the optical markers (14) relative to the camera system (18). Optisches Messsystem gemäß Anspruch 5 oder 6, wobei ein Selektionskriterium für die Selektion der optischen Marker (14) eine räumliche Orientierung der optischen Marker (14) relativ zu der Beleuchtungseinrichtung (16) ist.Optical measuring system according to Claim 5 or 6 , wherein a selection criterion for the selection of the optical markers (14) is a spatial orientation of the optical markers (14) relative to the illumination device (16). Optisches Messsystem gemäß einem der Ansprüche 1-7, wobei die Beleuchtungseinrichtung (16) eine erste, eine zweite und eine dritte Lichtquelle (22, 24, 26) aufweist, und wobei die Auswerte- und Steuereinheit (20) dazu eingerichtet ist, die erste Lichtquelle (22) zur Erzeugung des ersten Beleuchtungsszenarios, die zweite Lichtquelle (24) zur Erzeugung des zweiten Beleuchtungsszenarios und die dritte Lichtquelle (26) zur Erzeugung des dritten Beleuchtungsszenarios anzusteuern.Optical measuring system according to one of Claims 1 - 7 wherein the illumination device (16) comprises a first, a second and a third light source (22, 24, 26), and wherein the evaluation and control unit (20) is adapted to the first light source (22) for generating the first illumination scenario to drive the second light source (24) to produce the second illumination scenario and the third light source (26) to generate the third illumination scenario. Optisches Messsystem gemäß einem der Ansprüche 1-7, wobei die Beleuchtungseinrichtung (16) eine Lichtquelle (22) und eine Vorrichtung (36) zum Bewegen der Lichtquelle (22) aufweist, und wobei die Auswerte- und Steuereinheit (20) dazu eingerichtet ist, die Lichtquelle (22) mit Hilfe der Vorrichtung (36) zu bewegen, um die mindestens drei unterschiedlichen Beleuchtungsszenarien zu erzeugen.Optical measuring system according to one of Claims 1 - 7 wherein the illumination device (16) has a light source (22) and a device (36) for moving the light source (22), and wherein the evaluation and control unit (20) is adapted to the light source (22) by means of the device (36) to generate the at least three different lighting scenarios. Optisches Messsystem gemäß einem der Ansprüche 1-9, wobei das Kamerasystem (18) eine erste Kamera (28) und eine zweite Kamera (30) aufweist, wobei die Auswerte- und Steuereinheit (20) dazu eingerichtet ist, das Kamerasystem (18) zu steuern, die ersten, zweiten und dritten Bilddaten mit der ersten Kamera (28) aufzunehmen sowie mit der zweiten Kamera (30) fünfte Bilddaten bei dem ersten Beleuchtungsszenario, sechste Bilddaten bei dem zweiten Beleuchtungsszenario und siebte Bilddaten bei dem dritten Beleuchtungsszenario aufzunehmen, wobei die Auswerte- und Steuereinheit (20) ferner dazu eingerichtet ist, mit Hilfe der photometrischen Stereoanalyse anhand der ersten, zweiten, dritten, fünften, sechsten und siebten Bilddaten eine räumliche Orientierung der optischen Marker (14) zu bestimmen.Optical measuring system according to one of Claims 1 - 9 wherein the camera system (18) comprises a first camera (28) and a second camera (30), wherein the evaluation and control unit (20) is arranged to control the camera system (18), the first, second and third image data with the first camera (28) and with the second camera (30) to capture fifth image data in the first illumination scenario, sixth image data in the second illumination scenario and seventh image data in the third illumination scenario, wherein the evaluation and control unit (20) further adapted thereto is to determine a spatial orientation of the optical markers (14) by means of the photometric stereoanalysis on the basis of the first, second, third, fifth, sixth and seventh image data. Optisches Messsystem gemäß einem der Ansprüche 1-9, wobei das Kamerasystem (18) eine erste Kamera (28) aufweist, welche als Stereokamera ausgebildet ist.Optical measuring system according to one of Claims 1 - 9 wherein the camera system (18) comprises a first camera (28) which is designed as a stereo camera. Optisches Messsystem gemäß einem der Ansprüche 1-9, wobei das Kamerasystem (18) eine erste Kamera (28) und eine Vorrichtung (40) zum Bewegen der ersten Kamera (28) aufweist, und wobei die Auswerte- und Steuereinheit (20) dazu eingerichtet ist, die erste Kamera (28) mit Hilfe der Vorrichtung (40) zu bewegen, um die ersten, zweiten, dritten und/oder vierten Bilddaten aufzunehmen.Optical measuring system according to one of Claims 1 - 9 in that the camera system (18) has a first camera (28) and a device (40) for moving the first camera (28), and wherein the evaluation and control unit (20) is set up for this purpose is to move the first camera (28) by means of the device (40) to record the first, second, third and / or fourth image data. Messverfahren mit den folgenden Schritten: - Beleuchten eines zu messenden Objekts (12), an dem mehrere optischen Marker (14) angeordnet sind, wobei sequentiell mindestens drei unterschiedliche Beleuchtungsszenarien erzeugt werden; - Aufnahmen von ersten Bilddaten des Objekts (12) und der optischen Marker (14) bei einem ersten der mindestens drei Beleuchtungsszenarien; - Aufnahmen von zweiten Bilddaten des Objekts (12) und der optischen Marker (14) bei einem zweiten der mindestens drei Beleuchtungsszenarien; - Aufnahmen von dritten Bilddaten des Objekts (12) und der optischen Marker (14) bei einem dritten der mindestens drei Beleuchtungsszenarien; - Bestimmen einer räumlichen Orientierung der optischen Marker (14) mit Hilfe einer photometrischen Stereoanalyse anhand der ersten, zweiten und dritten Bilddaten; und - Bestimmen von räumlichen Positionskoordinaten von zumindest drei der optischen Marker (14) mit Hilfe einer photogrammetrischen Auswertung anhand der ersten, zweiten oder dritten Bilddaten oder anhand von vierten bei einem vierten Beleuchtungsszenario aufgenommenen Bilddaten.Measuring method with the following steps: - Illuminating an object to be measured (12) on which a plurality of optical markers (14) are arranged, wherein sequentially at least three different lighting scenarios are generated; - taking pictures of first image data of the object (12) and the optical markers (14) in a first of the at least three lighting scenarios; - taking pictures of second image data of the object (12) and the optical markers (14) in a second of the at least three lighting scenarios; - taking pictures of third image data of the object (12) and the optical markers (14) in a third of the at least three illumination scenarios; - determining a spatial orientation of the optical markers (14) by means of a photometric stereo analysis on the basis of the first, second and third image data; and Determining spatial position coordinates of at least three of the optical markers (14) with the aid of a photogrammetric evaluation on the basis of the first, second or third image data or on the basis of fourth image data recorded in a fourth illumination scenario. Computerprogrammprodukt, das einen Programmcode aufweist, der dazu eingerichtet ist, bei Ausführung in der Auswerte- und Steuereinheit des optischen Messsystems (10) gemäß einem der Ansprüche 1-12, das Messverfahren gemäß Anspruch 13 auszuführen.Computer program product having a program code which is set up, when executed in the evaluation and control unit of the optical measuring system (10) according to one of Claims 1 - 12 , the measuring method according to Claim 13 perform.
DE102017122627.3A 2017-09-28 2017-09-28 Optical measuring system and measuring method Expired - Fee Related DE102017122627B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017122627.3A DE102017122627B4 (en) 2017-09-28 2017-09-28 Optical measuring system and measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017122627.3A DE102017122627B4 (en) 2017-09-28 2017-09-28 Optical measuring system and measuring method

Publications (2)

Publication Number Publication Date
DE102017122627A1 true DE102017122627A1 (en) 2019-03-28
DE102017122627B4 DE102017122627B4 (en) 2021-04-01

Family

ID=65638074

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017122627.3A Expired - Fee Related DE102017122627B4 (en) 2017-09-28 2017-09-28 Optical measuring system and measuring method

Country Status (1)

Country Link
DE (1) DE102017122627B4 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3910287A1 (en) 2020-05-14 2021-11-17 Fill Gesellschaft m.b.H. Method and device for measuring a physical object

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016071227A1 (en) 2014-11-03 2016-05-12 Optinav Sp. Z O.O. Optical tracking method and system based on passive markers

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2458927B (en) * 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
DE102013114707A1 (en) * 2013-12-20 2015-06-25 EXTEND3D GmbH Method for carrying out and controlling a processing step on a workpiece
US10455216B2 (en) * 2015-08-19 2019-10-22 Faro Technologies, Inc. Three-dimensional imager

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016071227A1 (en) 2014-11-03 2016-05-12 Optinav Sp. Z O.O. Optical tracking method and system based on passive markers

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3910287A1 (en) 2020-05-14 2021-11-17 Fill Gesellschaft m.b.H. Method and device for measuring a physical object
WO2021228998A1 (en) 2020-05-14 2021-11-18 Fill Gesellschaft M.B.H. Method and device for measuring a physical object

Also Published As

Publication number Publication date
DE102017122627B4 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
DE102007054906B4 (en) Method for optical measurement of the three-dimensional geometry of objects
DE102014206309B4 (en) System and method for obtaining offset images to be used for improved edge resolution
DE60127644T2 (en) Teaching device for a robot
DE102007033486B4 (en) Method and system for mixing a virtual data model with an image generated by a camera or a presentation device
DE10137241A1 (en) Arrangement, for detecting and measuring objects, optically projects markers onto object, records partial views of object in global coordinate system using information re-detected markers
EP2133659B1 (en) Method and device for determining the position of a sensor
EP0923705B1 (en) Method and device for determining the spatial coordinates of objects
WO2017220598A1 (en) Method for the three dimensional measurement of moving objects during a known movement
DE102015212352A1 (en) Method, arrangement and computer program product for the position detection of an object to be examined
DE102005037841A1 (en) Method and arrangement for determining the relative position of a first object with respect to a second object, and a corresponding computer program and a corresponding computer-readable storage medium
DE102016120557A1 (en) System for dimensionally measuring an object
EP3044536A1 (en) Method and apparatus for measuring internal threads of a workpiece having an optical sensor
EP2589926A1 (en) Device for and method of optically measuring the shape of moving objects
DE102016102579A1 (en) Method and device for determining a plurality of spatial coordinates on an object
DE19626889A1 (en) Procedure for determining object geometry via multi=position 3d=sensor
DE102016115252A1 (en) Measuring device and method for setting up the measuring device
DE102017122627B4 (en) Optical measuring system and measuring method
WO2009018894A1 (en) Method and device for determining geometric data of a measured object
DE102008036710A1 (en) Method for three-dimensional optical measuring of object with topometric measuring process, involves selecting partial areas of objects such that reflections of patterns on surface of object do not influence patterns in partial areas
DE102010029627B4 (en) Apparatus and method for determining the structure of a specular surface of an object
DE19629616A1 (en) Appliance for setting up, measuring and checking processing machine tools
DE102020129923B4 (en) Procedure to prepare a 3D scan and 3D scanner to perform the procedure
DE102015117276B4 (en) Method and device for measuring a test object with improved measuring accuracy
DE102021209296B4 (en) Method for determining the movement of an object equipped with at least one video camera for image capture
DE102017009334B3 (en) Method for testing an optical system

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee