WO2019201836A1 - 3d digitalization system and 3d digitalization method - Google Patents

3d digitalization system and 3d digitalization method Download PDF

Info

Publication number
WO2019201836A1
WO2019201836A1 PCT/EP2019/059629 EP2019059629W WO2019201836A1 WO 2019201836 A1 WO2019201836 A1 WO 2019201836A1 EP 2019059629 W EP2019059629 W EP 2019059629W WO 2019201836 A1 WO2019201836 A1 WO 2019201836A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
calibration
cameras
sensor head
digitizing system
Prior art date
Application number
PCT/EP2019/059629
Other languages
German (de)
French (fr)
Inventor
Johannes KÖHLER
Tobias NÖLL
Simon Brattke
Jochen Fuchs
Original Assignee
Carl Zeiss Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Ag filed Critical Carl Zeiss Ag
Publication of WO2019201836A1 publication Critical patent/WO2019201836A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Definitions

  • the present invention relates to a 3D digitizing system and 3D digitizing method.
  • Such a 3D digitizing system usually needs to be pre-calibrated before it can be used to digitize three-dimensional objects.
  • the hardware parts relevant for the calibration e.g.
  • a dynamic calibration is provided which makes a calibration to be performed before the measurement superfluous. Therefore, the images can be taken to digitize the object and then the necessary dynamic calibration can be realized after the recordings, so that the 3D digitizing system can be used extremely flexibly.
  • variable 3D digitizing system is provided.
  • the 3D digitizing system makes it possible to scan an object to be digitized from all spatial directions without having to move the object in order to be able to detect the floor of the object.
  • each component eg camera and / or projector
  • the positioning device can be realized for example as a movable arm on which the first sensor head is mounted.
  • the positioning device can be designed such that it moves the sensor head, possibly further cameras, possibly further sensor heads and / or the holder.
  • the positioning device may have a robotic arm or a similar device.
  • the holder is designed as a turntable, so that the positioning device controls the rotation of the turntable.
  • the turntable may be formed as a glass turntable.
  • the first and second cameras are in particular geometry cameras, from whose images the three-dimensional shape of the object can be determined. If a third camera is provided, it may e.g. a texture camera, which serves for example to record color and other material properties of the object. The third camera may e.g. then not be provided if their shots are taken from one of the geometry cameras.
  • the projected pattern in step A1 may be a striped pattern.
  • the selection of the camera pair in step B1 can be performed, for example, so that there is a predetermined number or a predetermined level of correspondence.
  • the at least two cameras can be selected, whose recordings have the most correspondences.
  • more than two cameras are selected, for example, three or four cameras can be selected.
  • the calibration is done in step B2 for all selected cameras.
  • these two cameras are selected in step B1.
  • the selection in step B3 can be made such that the at least one camera not yet calibrated has a predetermined number or a predetermined level of correspondence with at least one image of at least one of the already calibrated cameras.
  • the camera can be selected which has the most correspondences to the at least one image of the already calibrated camera (s). If more than one camera is selected in step B3, it is possible, for example, to select the cameras which have more correspondences than still remaining uncalibrated cameras.
  • the 3D digitizing system may include other sensors, such as
  • Ultrasonic sensors time-of-flight sensors (ToF)
  • multi-spectral sensors such as IR cameras, etc.
  • Camera parameters are calibrated. Furthermore, it is possible to calibrate intrinsic and / or extrinsic projector parameters.
  • the individual partial scans (the images of the individual sections) can also be aligned with each other. Furthermore, meta-information (using at least one calibration mark) can be determined. This can in particular be location information, the area of interest in the measurement volume and / or a metric scaling.
  • the backprojection error (backprojection of reconstructed 3D points into the original image) is preferably in the range of 0.1 to 0.5 pixels.
  • the sensor heads may be identical or different.
  • the 3D digitizing system can still have at least one further (or more) cameras that are not part of a sensor head, but are calibrated with.
  • calibration markers which are also referred to below as calibration markers, markers or markers, may e.g. may be formed printed, may have a clearly distinguishable pattern and / or may be formed as a 3D body. Furthermore, e.g. switchable calibration markers are used. They can be made of electrochromic coatings or films. These may e.g. from a polymer liquid crystal film or from
  • Tungsten trioxide and / or polyaniline coatings The layers or films can be switched back and forth reversibly by applying current or voltage between an opaque and a transparent state. also be faded in or out with the help of microstructures integrated in the glass.
  • Calibration marks are used e.g. for generating optical correspondences for assembling individual partial scans in the context of the structure-from-motion method and / or serve e.g. to set the depth of field of the cameras.
  • step C) all recorded data can be removed, which are not part of the object to be digitized. Thus, all data can be removed automatically, which does not belong to the object to be digitized. Further, in step B2, the images of the cameras selected in step B1 can be aligned relative to each other to accommodate the different shooting directions
  • step C additionally, data of a pre-calibration carried out before steps A, A1 and A2 can be taken into account.
  • the 3D digitizing system according to the invention can perform a fine calibration starting from the pre-calibration. Such fine calibration can be performed extremely fast, e.g. before each subsequent measurement.
  • the steps A-C can be carried out again for the object to be digitized or a second object to be digitized, whereby fewer and / or smaller calibration marks can be used in the renewed execution in step A2 and in step C additionally data of the calibration of the first execution of the steps AC are taken into account.
  • the 3D digitizing method may include further steps described in connection with the 3D digitizing system.
  • Fig. 1 is a schematic view of an embodiment of the inventive 3D digitizing system
  • FIG. 2 shows a schematic view of the first sensor head 2.
  • the 3D digitizing system 1 comprises a first sensor head 2, a second sensor head 3, an IR camera 4, a holder 5 formed as a glass plate, a positioning device 6 and a control unit 7 an object 8 to be digitized is positioned.
  • a plurality of calibration marks 9 are applied to the holder 5. You can e.g. firmly applied or only hung up.
  • the object 8 itself may have at least one calibration mark 10.
  • the positioning device 6 is provided, with the relative
  • Positioning between the corresponding sensor head 2, 3 and the holder 5 is changeable.
  • further positions of the sensor heads 2 and 3 are shown in dashed lines in FIG.
  • the IR camera 4 is moved accordingly by means of the positioning device 6.
  • the holder 5 itself can be moved.
  • the holder 5 can be rotatable.
  • the rotational position is preferably adjusted by means of the positioning device 6.
  • the sensor heads 2, 3 may be identical.
  • Fig. 2 is an exemplary
  • the sensor head 2 may have a plate 1 1, on which a first and a second camera 12, 13 are attached, which are used in particular for so-called geometry recordings.
  • the three-dimensional structure of the object 8 can be derived from the geometry recordings.
  • the first sensor head 2 comprises a third camera 14, which for example has a
  • Texture camera 14 can be. With the third camera 14, the visual appearance of the surface of the object 8 can be detected. Furthermore, the first sensor head 2 also has a projector 15 which can be projected onto the male section of the object 8 in order to project a pattern. In this case, a striped pattern is often projected, because then off the recordings of the first and second camera 12, 13 can be determined by known methods, the three-dimensional shape of the recorded portion.
  • the 3D digitizing system according to the invention is designed such that a dynamic calibration takes place in which the required parameters are extracted from the recorded measurement data (in particular the recordings) following the measurement of the object 8.
  • the dynamic calibration method of the present invention is based on the structure-from-motion (SfM) approach.
  • This approach is used, for example, in photogrammetry (3D scanning with only one camera).
  • a detailed description of the SfM approach or the SfM method can be found in the thesis "Enhanced Usability and Applicability for Simultaneous Geometry and Reflectance Acquisition” by Johannes Daniel Köhler (ISBN 978-3-8439-2465-8), below Called Köhler. The contents of Köhler are hereby incorporated (in particular Chapter 4 "Camera and Projector Calibration").
  • the data acquisition is performed first.
  • the object 8 to be digitized is in several positions relative to the (uncalibrated) sensor heads 2,
  • the positions or the corresponding relative positioning can be adjusted by means of the positioning device 6.
  • At each shot is at least one of the calibration marks 9 and the object 8 partially and thus a portion of the object 8 in the field of view of the cameras 12-14, 4. Pro relative
  • the geometry cameras 12, 13 record one or more patterns projected with the projector 15. Each pattern can be recorded once or several times.
  • the texture camera 14 captures one or more color images of the portion of the object 8 (optionally with alternating illumination). When recording by means of the texture camera 14, preferably no pattern is projected onto the section of the object 8 by means of the projector 15.
  • At least one characteristic of the cameras is calibrated. This may be an intrinsic camera parameter, e.g. the focal length, the distortion, the major point, etc., and / or an extrinsic camera parameter, e.g. the camera position, camera orientation, etc., act.
  • an intrinsic camera parameter e.g. the focal length, the distortion, the major point, etc.
  • an extrinsic camera parameter e.g. the camera position, camera orientation, etc.
  • Correspondences contains (in their recordings most correspondences could be found). The correspondence can be generated with the projector 15
  • Correspondence e.g., by fringe projection or projection of the above clearly distinguishable pattern.
  • it may also be correspondences derived from the appearance of the object, e.g. by means of so-called
  • Feature Descriptors such as the known KAZE features are determined. Further Correspondences can be derived from the calibration marks 9, which in turn are determined, for example, by means of feature descriptors (such as, for example, KAZE features).
  • Geometry cameras 12, 13 of relative positioning and KAZE correspondences are typically found between different object sensor head positions. If a plurality of sensor heads 2, 3 are used, projector correspondences can also be generated between the different sensor heads 2, 3, provided that the receptacles of both sensor heads are assigned the same object positioning by means of the positioning device 6.
  • the at least one property for the two cameras is calibrated.
  • a triangulation of all correspondences between the camera pair to SD points can be performed. All points whose reprojection error is sufficiently low are retained, whereas all other points are discarded.
  • the calibration is then globally optimized for all currently calibrated and possibly already calibrated cameras.
  • the next not yet calibrated camera is preferably selected, whose
  • correspondence generated by the projector is preferred in the selection.
  • the newly selected camera is now calibrated in the same way as the first pair of cameras with respect to the at least one property.
  • This procedure is carried out until all cameras of the 3D digitizing system 1 are calibrated.
  • the desired 3D model of the object 8 to be digitized is created on the basis of the images taking into account the calibration performed.
  • a preliminary calibration can be carried out and then, by means of the method according to the invention, a dynamic fine calibration can be carried out with fewer features and very quickly for each scan.
  • a pre-calibration can be calculated using the already described structure-from-motion approach (SfM approach).
  • Pre-calibration can then be used as the starting value for a fine calibration. In this case, however, are no major changes in the positions and settings of Components more possible.
  • This fine calibration can compensate for pre-calibration errors that arise over time due to inaccuracies in the turntable or slight changes in camera positions.
  • the advantage of this type of calibration lies in the very fast calculation of the fine calibration and a significantly reduced number or
  • a metric scaling can be performed using known calibration marks prior to the creation of the 3D model.
  • all projectors 15 can be calibrated, provided that correspondences to the projector can be derived from the projection methods used.
  • a fine calibration can be calculated for each created 3D model.
  • the fine calibration assumes calibration as described above and assumes that the positions of the individual components of the system change only slightly. Based on the existing calibration, a new calibration is calculated with the starting values of the existing calibration. For this purpose, fewer features or even smaller features than for the original calibration necessary, which significantly reduces the calculation time.
  • the calibration marks 9 and 10 which are also referred to below as calibration markers, markers or marks 9, 10, e.g. can be printed and have a clearly distinguishable pattern, in particular have the following functions.
  • the calibration marks generate optical correspondences for assembling individual partial scans in the context of the structure-from-motion method.
  • the calibration marks can also be designed as 3D bodies. Without these calibration marks 9, e.g. Monochromatic objects and symmetrical to the rotation axis objects are difficult to scan.
  • Calibration marks can alternatively or additionally also be projected by means of one or more projection units (not shown) in the region of the section to be recorded (including object). These projection units are fixed during the scanning process (during the recording) relative to the object 8 and move with a change in position of the object 8, so that projected features do not change their position on the object surface with different object positioning.
  • the calibration marks 9 areas in the measurement volume can be identified and it can be generated by their spatial arrangement additional meta information, such as the position of the holder 5. This can be used to automatically release the object 8 in the images.
  • the scale is determined in the recordings. Furthermore, they can be used to estimate the focal length of the cameras if there is no starting value (auto-calibration).
  • the calibration markers 9 are preferably double-sided markers 9.
  • the size of the calibration markers 9 and the number of calibration markers 9 are adapted to the recordable measurement volume or the size of the object 8 to be recorded.
  • switchable calibration markers such as e.g. the calibration markers 10 or 9 are provided. They can be made of electrochromic coatings or films. These may e.g. be formed of a polymer liquid crystal film or of tungsten trioxide and / or polyaniline coatings. The layers or films can be reversibly switched back and forth by applying current or voltage between an opaque and a transparent state.
  • the layers or films can also be applied to the holder 5, so that unique calibration markers are provided, which can be switched on and off. Thus, e.g. obscuring the object 8 can be prevented by the calibration markers. In this case, then, e.g. Recordings with switched on and off calibration markers are made one after the other to avoid occlusion when shooting from below. When shooting from the top, the markers can be turned on or the entire glass plate 5 can be switched to opaque to prevent unwanted reflections that could interfere with the recordings.
  • markers can be used to identify areas in the measurement volume and, by their spatial arrangement, they can generate additional meta-information, e.g. the position of the holder 5. Thus, e.g. an exemption of the object 8 are performed automatically.
  • the calibration markers 9, 10 can also be designed as UV-sensitive and / or IR-sensitive calibration markers. For example, they can be applied to the holder 5 with the aid of UV-sensitive inks or layers or IR-sensitive inks or layers. The markers are then invisible as long as they are not activated by a corresponding UV radiation or IR radiation and then fluoresce or phosphoresce, for example.
  • recordings with activated and non-activated calibration markers can be carried out successively, in order, for example, to use To avoid occlusions when shooting from below.
  • the calibration markers can, for. B. have a relief and / or recesses and are detected by means of an ultrasonic sensor.
  • the calibration markers set the scale and, by their positional information, automatically enable cropping of the object 8 and can provide additional clues for the autocalibration (estimation of the focal length), which otherwise can be determined unobjectively or unambiguously.
  • the formation of the calibration markers as switchable markers leads in particular to the advantage that occlusions of the object 8 can be reliably avoided.
  • the described sensor head 2, 3 has the two geometry cameras 12 and 13 on the one hand and the texture camera 14 on the other hand, cameras optimally adapted to the task can be designed and used.
  • the geometry cameras 12, 13 are selected so that a high number of recordings can be carried out quickly with them.
  • the texture camera 14, however, is designed so that it has the best possible resolution, the recording speed decreases, but more details can be recorded.
  • Sensor heads 2, 3 and more cameras 4 can always be calibrated together reliably. Correspondences between the individual components of the sensor heads 2 and 3 (cameras, 12, 13, 14) and the camera 4 can be generated in particular by the projected unique pattern. Correspondences of a sensor head 2, 3 in dependence the relative positioning to the object 8 can be achieved in particular by the calibration marks 9. Thus, all cameras can always be calibrated, with the obligatory alignment via geometry described in Köhler, for example, being omitted for some data sets. This applies in particular when using the holder 5 in the form of a glass table.
  • each camera used in the sensor head 2, 3 it is no longer necessary, as in Köhler, for each camera used in the sensor head 2, 3 to generate its own virtual camera with its own parameters per relative positioning of the sensor head relative to the object.
  • the cameras 12 to 14 of a sensor head 2, 3 can now be e.g. split the focal length, which makes the calibration more robust.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The invention relates to a 3D digitalization system comprising a first sensor head (2, 3) which has at least one first and a second camera (12, 13) and a projector (15), a mounting (5) for supporting an object (8) to be digitalized, a positioning device (6) with which different relative positions between the first sensor head (2, 3) and the mounting (5) can be set, and a control unit (7) which actuates the first sensor head (2, 3) and the positioning device (6) such that the following steps are carried out: A) setting the different relative positions, wherein in each of the relative positions, A1) a pattern is projected onto a section of the object (8) to be digitalized by means of the projector (15), and the section with the projected pattern is captured using the first and the second camera (12, 13) and A2) capturing the section together with at least one calibration mark (9, 10), which is arranged on the mounting (5) and/or object (8), using the first and second camera (12, 13; 4, 14); and B) calibrating at least one property of the camera (12-14, 4) by carrying out the following steps: B1) selecting at least two cameras, the captured images of which have a correspondence and B2) calibrating the at least one property of the cameras selected in step B1; and C) generating a 3D model of the object (8) to be digitalized using the captured images while taking into consideration the calibration which is carried out.

Description

3D-Diqitalisierunqssvstem und 3D-Diqitalisierunqsverfahren  3D digitalization and 3D digitization method
Die vorliegende Erfindung betrifft ein 3D-Digitalisierungssystem sowie 3D- Digitalisierungsverfahren. The present invention relates to a 3D digitizing system and 3D digitizing method.
Ein solches 3D-Digitalisierungssystem muss üblicherweise vorab kalibriert werden, bevor es zur Digitalisierung von dreidimensionalen Objekten genutzt werden kann. Sobald die Kalibrierung durchgeführt wurde, dürfen sich die für die Kalibrierung relevanten Hardwareteile (z.B. Such a 3D digitizing system usually needs to be pre-calibrated before it can be used to digitize three-dimensional objects. Once the calibration has been performed, the hardware parts relevant for the calibration (e.g.
Kameraposition) nicht mehr ändern. Erschütterungen, Erwärmung oder Veränderungen des Messfeldes machen daher eine erneute Kalibrierung notwendig. Wenn Objekte verschiedener Größe gescannt werden sollen und dafür die Anordnung des 3D-Digitalisierungssystems verändert werden muss, ist eine erneute Kalibrierung notwendig. Camera position) no longer change. Shaking, heating or changes in the measuring field therefore necessitate a new calibration. If objects of different sizes are to be scanned and the arrangement of the 3D digitizing system has to be changed, a new calibration is necessary.
Ausgehend hiervon ist daher Aufgabe der Erfindung, ein verbessertes 3D- Digitalisierungssystem sowie ein verbessertes 3D-Digitalisierungsverfahren zur Verfügung zu stellen. Proceeding from this, it is therefore an object of the invention to provide an improved 3D digitizing system and an improved 3D digitizing method.
Die Erfindung ist in den unabhängigen Ansprüchen 1 und 15 definiert. Vorteilhafte The invention is defined in independent claims 1 and 15. advantageous
Weiterbildungen sind in den abhängigen Ansprüchen angegeben. Further developments are specified in the dependent claims.
Mit dem erfindungsgemäßen 3D-Digitalisierungssystem wird eine dynamische Kalibrierung bereitgestellt, die eine vor der Messung durchzuführende Kalibrierung überflüssig macht. Es können daher die Aufnahmen zur Digitalisierung des Objektes durchgeführt werden und im Anschluss an die Aufnahmen kann dann die notwendige dynamische Kalibrierung realisiert werden, sodass das 3D- Digitalisierungssystem äußerst flexibel einsetzbar ist. With the 3D digitizing system according to the invention, a dynamic calibration is provided which makes a calibration to be performed before the measurement superfluous. Therefore, the images can be taken to digitize the object and then the necessary dynamic calibration can be realized after the recordings, so that the 3D digitizing system can be used extremely flexibly.
Es wird somit ein variables 3D-Digitalisierungssystem bereitgestellt. Thus, a variable 3D digitizing system is provided.
Ferner ermöglicht das erfindungsgemäße 3D-Digitalisierungssystem ein zu digitalisierendes Objekt aus allen Raumrichtungen zu scannen, ohne das Objekt umlegen zu müssen, um den Boden des Objektes erfassen zu können. Furthermore, the 3D digitizing system according to the invention makes it possible to scan an object to be digitized from all spatial directions without having to move the object in order to be able to detect the floor of the object.
Die Position jeder Komponente (z.B. Kamera und/oder Projektor) kann bevorzugt flexibel im Raum relativ zu allen anderen Komponenten verändert werden. Die Positioniereinrichtung kann beispielsweise als beweglicher Arm realisiert sein, an dem der erste Sensorkopf montiert ist. Es ist jedoch auch jede andere Art der Positioniereinrichtung möglich. Insbesondere kann die Positioniereinrichtung so ausgebildet sein, dass sie den Sensorkopf, ggf. weitere Kameras, ggf. weitere Sensorköpfe und/oder den Halter bewegt. So kann die Positioniereinrichtung z.B. einen robotischen Arm oder eine ähnliche Vorrichtung aufweisen. Ferner ist es möglich, dass der Halter als Drehtisch ausgebildet ist, so dass die Positioniereinrichtung die Drehung des Drehtisches steuert. Insbesondere kann der Drehtisch als Glasdrehtisch ausgebildet sein. The position of each component (eg camera and / or projector) can preferably be changed flexibly in space relative to all other components. The positioning device can be realized for example as a movable arm on which the first sensor head is mounted. However, any other type of positioning device is possible. In particular, the positioning device can be designed such that it moves the sensor head, possibly further cameras, possibly further sensor heads and / or the holder. For example, the positioning device may have a robotic arm or a similar device. Furthermore, it is possible that the holder is designed as a turntable, so that the positioning device controls the rotation of the turntable. In particular, the turntable may be formed as a glass turntable.
Die erste und zweite Kamera sind insbesondere Geometriekameras, aus deren Aufnahmen die dreidimensionale Form des Objektes ermittelt werden kann. Sofern eine dritte Kamera vorgesehen ist, kann sie z.B. eine Texturkamera sein, die beispielsweise zur Aufnahme von Farbe und weiterer Materialeigenschaften des Objektes dient. Die dritte Kamera kann z.B. dann nicht vorgesehen sein, falls ihre Aufnahmen von einer der Geometriekameras übernommen werden. The first and second cameras are in particular geometry cameras, from whose images the three-dimensional shape of the object can be determined. If a third camera is provided, it may e.g. a texture camera, which serves for example to record color and other material properties of the object. The third camera may e.g. then not be provided if their shots are taken from one of the geometry cameras.
Bei dem projizierten Muster im Schritt A1 kann es sich um ein Streifenmuster handeln. The projected pattern in step A1 may be a striped pattern.
Die Auswahl des Kamerapaars im Schritt B1 kann beispielsweise so durchgeführt werden, dass eine vorbestimmte Anzahl bzw. ein vorbestimmtes Niveau von Korrespondenzen vorliegt. Insbesondere können die mindestens zwei Kameras ausgewählt werden, deren Aufnahmen die meisten Korrespondenzen aufweisen. Natürlich ist es auch möglich, dass im Schritt B1 mehr als zwei Kameras ausgewählt werden, es können beispielsweise drei oder vier Kameras ausgewählt werden. In diesem Fall erfolgt die Kalibrierung im Schritt B2 für alle ausgewählten Kameras. Falls das 3D-Digitalisierungssystem nur zwei Kameras aufweist, werden natürlich diese zwei Kameras im Schritt B1 ausgewählt. The selection of the camera pair in step B1 can be performed, for example, so that there is a predetermined number or a predetermined level of correspondence. In particular, the at least two cameras can be selected, whose recordings have the most correspondences. Of course, it is also possible that in step B1 more than two cameras are selected, for example, three or four cameras can be selected. In this case, the calibration is done in step B2 for all selected cameras. Of course, if the 3D digitizing system has only two cameras, these two cameras are selected in step B1.
Die Auswahl im Schritt B3 kann so erfolgen, dass die mindestens eine noch nicht kalibrierte Kamera eine vorbestimmte Anzahl bzw. ein vorbestimmtes Niveau von Korrespondenzen zu mindestens einer Aufnahme von mindestens einer der bereits kalibrierten Kameras aufweist. Insbesondere kann auch die Kamera ausgewählt werden, die die meisten Korrespondenzen zu der mindestens einen Aufnahme der bereits kalibrierten Kamera(s) aufweist. Wenn mehr als eine Kamera im Schritt B3 ausgewählt wird, können z.B. die Kameras ausgewählt werden, die mehr Korrespondenzen aufweisen als noch verbleibende nicht kalibrierte Kameras. Das 3D- Digitalisierungssystem kann weitere Sensoren aufweisen, wie zum Beispiel The selection in step B3 can be made such that the at least one camera not yet calibrated has a predetermined number or a predetermined level of correspondence with at least one image of at least one of the already calibrated cameras. In particular, the camera can be selected which has the most correspondences to the at least one image of the already calibrated camera (s). If more than one camera is selected in step B3, it is possible, for example, to select the cameras which have more correspondences than still remaining uncalibrated cameras. The 3D digitizing system may include other sensors, such as
Ultraschallsensoren, Time-Of-Flight-Sensoren (ToF), Multisprektralsensoren, wie zum Beispiel IR-Kameras, etc. Ultrasonic sensors, time-of-flight sensors (ToF), multi-spectral sensors, such as IR cameras, etc.
Mit den Kalibrierschritten B könne insbesondere intrinsische und/oder extrinsische With the calibration steps B, intrinsic and / or extrinsic
Kameraparameter kalibriert werden. Ferner ist es möglich, intrinsische und/oder extrinsische Projektorparameter zu kalibrieren. Auch können die einzelnen Teilscans (die Aufnahmen der einzelnen Abschnitte) zueinander ausgerichtet werden. Ferner können Metainformationen (unter Verwendung mindestens einer Kalibriermarke) ermittelt werden. Dabei kann es sich insbesondere um Lageinformationen, den interessierenden Bereich im Messvolumen und/oder eine metrische Skalierung handeln. Camera parameters are calibrated. Furthermore, it is possible to calibrate intrinsic and / or extrinsic projector parameters. The individual partial scans (the images of the individual sections) can also be aligned with each other. Furthermore, meta-information (using at least one calibration mark) can be determined. This can in particular be location information, the area of interest in the measurement volume and / or a metric scaling.
Alle Parameter werden bevorzugt in einem gemeinsamen, globalen Koordinatensystem bestimmt. Der Rückprojektionsfehler (Rückprojektion von rekonstruierten 3D-Punkten in das Ursprungsbild) liegt dabei bevorzugt im Bereich von 0,1 bis 0,5 Pixel. All parameters are preferably determined in a common, global coordinate system. The backprojection error (backprojection of reconstructed 3D points into the original image) is preferably in the range of 0.1 to 0.5 pixels.
Bevorzugt weist das 3D-Digitalisierungssystem n Sensorköpfe auf, wobei n eine ganze Zahl größer oder gleich 1 ist. Bevorzugt ist n = 1 , 2, 3, 4, 5, 6, 7, 8, 9 oder 10. Die Sensorköpfe können gleich oder verschieden ausgebildet sein. Ferner kann das 3D-Digitalisierungssystem noch mindestens eine weitere (oder mehrere weitere) Kameras aufweisen, die nicht Teil eines Sensorkopfes sind, aber mit kalibrierbar sind. The 3D digitizing system preferably has n sensor heads, where n is an integer greater than or equal to 1. Preferably, n = 1, 2, 3, 4, 5, 6, 7, 8, 9 or 10. The sensor heads may be identical or different. Furthermore, the 3D digitizing system can still have at least one further (or more) cameras that are not part of a sensor head, but are calibrated with.
Jede der Kalibriermarken, die nachfolgend auch Kalibriermarker, Marker oder Marken genannt werden, kann z.B. gedruckt ausgebildet sein, kann ein eindeutig unterscheidbares Muster aufweisen und/oder kann als 3D-Körper ausgebildet sein. Ferner können z.B. schaltbare Kalibriermarker eingesetzt werden. Sie können aus elektrochromen Beschichtungen oder Folien hergestellt sein. Diese können z.B. aus einem Polymer-Flüssigkristall-Film oder aus Each of the calibration marks, which are also referred to below as calibration markers, markers or markers, may e.g. may be formed printed, may have a clearly distinguishable pattern and / or may be formed as a 3D body. Furthermore, e.g. switchable calibration markers are used. They can be made of electrochromic coatings or films. These may e.g. from a polymer liquid crystal film or from
Wolframtrioxid- und/oder Polyanilin-Beschichtungen gebildet sein. Die Schichten bzw. Folien können durch Anlegen von Strom bzw. Spannung zwischen einem opaken und einem transparenten Zustand reversibel hin und her geschaltet werden Die Marker können z.B. auch mit Hilfe von im Glas integrierten Mikrostrukturen ein- bzw. ausgeblendet werden. Die Tungsten trioxide and / or polyaniline coatings. The layers or films can be switched back and forth reversibly by applying current or voltage between an opaque and a transparent state. also be faded in or out with the help of microstructures integrated in the glass. The
Kalibriermarken dienen z.B. zum Erzeugen optischer Korrespondenzen zum Zusammenfügen einzelner Teilscans im Rahmen des Structure-from-Motion-Verfahrens und/oder dienen z.B. zum Festlegen des Tiefenschärfebereiches der Kameras. Calibration marks are used e.g. for generating optical correspondences for assembling individual partial scans in the context of the structure-from-motion method and / or serve e.g. to set the depth of field of the cameras.
Im Schritt C) können alle aufgenommenen Daten entfernt werden, die nicht Teil des zu digitalisierenden Objektes sind. Somit können automatisch alle Daten entfernt werden, die nicht zum zu digitalisierenden Objekt gehören. Ferner können im Schritt B2 die Aufnahmen der im Schritt B1 ausgewählten Kameras relativ zueinander ausgerichtet werden, um die unterschiedlichen Aufnahmerichtungen zu In step C) all recorded data can be removed, which are not part of the object to be digitized. Thus, all data can be removed automatically, which does not belong to the object to be digitized. Further, in step B2, the images of the cameras selected in step B1 can be aligned relative to each other to accommodate the different shooting directions
kompensieren. Es kann somit ein vollautomatisches Ausrichten aller Aufnahmen bzw. Teilscans durchgeführt werden, die aus verschiedenen Richtungen und gegebenenfalls mit verschiedenen Sensorköpfen aufgenommen wurden. compensate. It can thus be carried out a fully automatic alignment of all images or partial scans, which were taken from different directions and possibly with different sensor heads.
Beim erfindungsgemäßen 3D-Digitalisierungssystem können im Schritt C zusätzlich noch Daten einer vor den Schritten A, A1 und A2 durchgeführten Vorkalibrierung berücksichtigt werden. In diesem Fall kann das erfindungsgemäße 3D-Digitalisierungssystem ausgehend von der Vorkalibrierung eine Feinkalibrierung durchführen. Eine solche Feinkalibrierung kann extrem schnell durchgeführt werden, z.B. vor jeder folgenden Messung. In the 3D digitizing system according to the invention, in step C, additionally, data of a pre-calibration carried out before steps A, A1 and A2 can be taken into account. In this case, the 3D digitizing system according to the invention can perform a fine calibration starting from the pre-calibration. Such fine calibration can be performed extremely fast, e.g. before each subsequent measurement.
Beim erfindungsgemäßen 3D-Digitalisierungssystem können nach Durchführen der Schritte A - C die Schritte A - C beim zu digitalisierendem Objekt oder einem zweiten zu digitalisierenden Objekt erneut durchgeführt werden, wobei bei der erneuten Durchführung im Schritt A2 weniger und/oder kleinere Kalibriermarken eingesetzt werden können und im Schritt C zusätzlich noch Daten der Kalibrierung der ersten Durchführung der Schritte A-C berücksichtigt werden. In the 3D digitizing system according to the invention, after carrying out steps A-C, the steps A-C can be carried out again for the object to be digitized or a second object to be digitized, whereby fewer and / or smaller calibration marks can be used in the renewed execution in step A2 and in step C additionally data of the calibration of the first execution of the steps AC are taken into account.
Ferner wird ein entsprechendes 3D-Digitalisierungsverfahren bereitgestellt. Das 3D- Digitalisierungsverfahren kann weitere Schritte aufweisen, die im Zusammenhang mit dem 3D- Digitalisierungssystem beschrieben sind. Furthermore, a corresponding 3D digitizing method is provided. The 3D digitizing method may include further steps described in connection with the 3D digitizing system.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen It is understood that the features mentioned above and those yet to be explained not only in the specified combinations, but also in others
Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Combinations or alone can be used without departing from the scope of the present invention.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen, die ebenfalls erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines The invention will be explained in more detail by means of embodiments with reference to the accompanying drawings, which also disclose features essential to the invention. These embodiments are merely illustrative and are not to be construed as limiting. For example, a description of one
Ausführungsbeispiels mit einer Vielzahl von Elementen oder Komponenten nicht dahingehend auszulegen, dass alle diese Elemente oder Komponenten zur Implementierung notwendig sind. Vielmehr können andere Ausführungsbeispiele auch alternative Elemente und Komponenten, weniger Elemente oder Komponenten oder zusätzliche Elemente oder Komponenten enthalten. Elemente oder Komponenten verschiedener Ausführungsbespiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Modifikationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein. Zur Vermeidung von Wiederholungen werden gleiche oder einander entsprechende Elemente in verschiedenen Figuren mit gleichen Bezugszeichen bezeichnet und nicht mehrmals erläutert. Von den Figuren zeigen: Embodiment with a plurality of elements or components not to be construed as that all these elements or components are necessary for implementation. Rather, other embodiments may include alternative elements and components, fewer elements or components, or additional elements or components. Elements or components of various embodiments may be combined with each other unless otherwise specified. Modifications and modifications, which are described for one of the embodiments may also be applicable to other embodiments. To avoid repetition, the same or corresponding elements in different figures are denoted by the same reference numerals and not explained several times. From the figures show:
Fig. 1 eine schematische Ansicht eines Ausführungsbeispiels des erfindungsgemäßen 3D- Digitalisierungssystems, und Fig. 1 is a schematic view of an embodiment of the inventive 3D digitizing system, and
Fig. 2 eine schematische Ansicht des ersten Sensorkopfes 2. 2 shows a schematic view of the first sensor head 2.
Bei dem in Fig. 1 gezeigten Ausführungsbeispiel umfasst das 3D-Digitalisierungssystem 1 einen ersten Sensorkopf 2, einen zweiten Sensorkopf 3, eine IR-Kamera 4, einen als Glasplatte ausgebildeten Halter 5, eine Positioniereinrichtung 6 sowie eine Steuereinheit 7. Auf dem Halter 5 ist ein zu digitalisierendes Objekt 8 positioniert. In the embodiment shown in FIG. 1, the 3D digitizing system 1 comprises a first sensor head 2, a second sensor head 3, an IR camera 4, a holder 5 formed as a glass plate, a positioning device 6 and a control unit 7 an object 8 to be digitized is positioned.
Ferner sind auf dem Halter 5 mehrere Kalibriermarken 9 aufgebracht. Sie können z.B. fest aufgebracht oder nur aufgelegt sein. Optional kann das Objekt 8 selbst mindestens eine Kalibriermarke 10 aufweisen. Um ein möglichst gutes 3D-Modell des Objektes 8 zu erhalten, werden mit den Sensorköpfen 2, 3 sowie der IR-Kamera 4 immer nur Abschnitte des Objektes 8 aufgenommen. Daher ist die Positioniereinrichtung 6 vorgesehen, mit der die relative Furthermore, a plurality of calibration marks 9 are applied to the holder 5. You can e.g. firmly applied or only hung up. Optionally, the object 8 itself may have at least one calibration mark 10. In order to obtain the best possible 3D model of the object 8, only sections of the object 8 are always taken with the sensor heads 2, 3 and the IR camera 4. Therefore, the positioning device 6 is provided, with the relative
Positionierung zwischen dem entsprechenden Sensorkopf 2, 3 und dem Halter 5 änderbar ist. Beispielshalber sind weitere Positionen der Sensorköpfe 2 und 3 gestrichelt in Fig. 1 dargestellt. Natürlich ist es auch möglich, dass die IR-Kamera 4 mittels der Positioniereinrichtung 6 entsprechend bewegt wird. Ferner kann auch der Halter 5 selbst bewegt werden. So kann der Halter 5 beispielsweise drehbar sein. Auch in diesem Fall wird die Drehstellung bevorzugt mittels der Positioniereinrichtung 6 eingestellt. Positioning between the corresponding sensor head 2, 3 and the holder 5 is changeable. By way of example, further positions of the sensor heads 2 and 3 are shown in dashed lines in FIG. Of course, it is also possible that the IR camera 4 is moved accordingly by means of the positioning device 6. Furthermore, the holder 5 itself can be moved. For example, the holder 5 can be rotatable. Also in this case, the rotational position is preferably adjusted by means of the positioning device 6.
Die Sensorköpfe 2, 3 können gleich ausgebildet sein. In Fig. 2 ist eine beispielhafte The sensor heads 2, 3 may be identical. In Fig. 2 is an exemplary
Ausgestaltung des ersten Sensorkopfes 2 gezeigt. Der Sensorkopf 2 kann eine Platte 1 1 aufweisen, auf der eine erste und eine zweite Kamera 12, 13 befestigt sind, die insbesondere für sogenannte Geometrieaufnahmen eingesetzt werden. Aus den Geometrieaufnahmen kann die dreidimensionale Struktur des Objektes 8 abgeleitet werden. Embodiment of the first sensor head 2 shown. The sensor head 2 may have a plate 1 1, on which a first and a second camera 12, 13 are attached, which are used in particular for so-called geometry recordings. The three-dimensional structure of the object 8 can be derived from the geometry recordings.
Ferner umfasst der erste Sensorkopf 2 eine dritte Kamera 14, die beispielsweise eine Furthermore, the first sensor head 2 comprises a third camera 14, which for example has a
Texturkamera 14 sein kann. Mit der dritten Kamera 14 kann das optische Erscheinungsbild der Oberfläche des Objektes 8 erfasst werden. Ferner weist der erste Sensorkopf 2 noch einen Projektor 15 auf, der zur Projektion eines Musters auf den aufzunehmenden Abschnitt des Objektes 8 projiziert werden kann. Dabei wird häufig ein Streifenmuster projiziert, da dann aus den Aufnahmen der ersten und zweiten Kamera 12, 13 mit bekannten Verfahren die dreidimensionale Form des aufgenommenen Abschnittes ermittelt werden kann. Texture camera 14 can be. With the third camera 14, the visual appearance of the surface of the object 8 can be detected. Furthermore, the first sensor head 2 also has a projector 15 which can be projected onto the male section of the object 8 in order to project a pattern. In this case, a striped pattern is often projected, because then off the recordings of the first and second camera 12, 13 can be determined by known methods, the three-dimensional shape of the recorded portion.
Um gute Ergebnisse zur Erstellung des gewünschten 3D-Modells zu erzielen, ist es notwendig, dass das 3D-Digitalisierungssystem kalibriert wird. Eine solche Kalibrierung ist in der Regel aufwendig und setzt voraus, dass sich die Positionen der Kameras 12 - 14 und die Positionen der Sensorköpfe relativ zueinander auch während der Messung nicht ändern. Die dazu notwendige Stabilität der Sensorköpfe 2, 3 ist in der Praxis kaum zu gewährleisten. In order to achieve good results for the creation of the desired 3D model, it is necessary that the 3D digitizing system is calibrated. Such a calibration is usually expensive and requires that the positions of the cameras 12-14 and the positions of the sensor heads relative to each other do not change during the measurement. The necessary stability of the sensor heads 2, 3 is hardly guaranteed in practice.
Insbesondere wenn die Sensorköpfe 2, 3 noch bewegt werden, wie dies in Fig. 1 schematisch dargestellt ist. In particular, when the sensor heads 2, 3 are still moving, as shown schematically in Fig. 1.
Auch treten Schwierigkeiten auf, wenn Abschnitte des Objektes 8 durch den Halter 5 hindurch aufgenommen werden, da dann durch den Halter 5 selbst, der hier als Glasplatte ausgebildet ist, der optische Strahlengang verändert wird, was eine erneute Kalibrierung notwendig machen würde. Difficulties also arise when sections of the object 8 are received through the holder 5, since then the optical beam path is changed by the holder 5 itself, which is designed here as a glass plate, which would necessitate a new calibration.
Daher ist das erfindungsgemäße 3D-Digitalisierungssystem so ausgebildet, dass eine dynamische Kalibrierung erfolgt, bei der die benötigten Parameter im Anschluss an die Messung des Objektes 8 aus den aufgenommenen Messdaten (insbesondere den Aufnahmen) extrahiert wird. Therefore, the 3D digitizing system according to the invention is designed such that a dynamic calibration takes place in which the required parameters are extracted from the recorded measurement data (in particular the recordings) following the measurement of the object 8.
Durch eine derartige dynamische Kalibrierung können Positionsänderungen automatisch ausgeglichen werden und kann ein zuverlässiger Betrieb auch bei größeren Erschütterungen oder Temperaturschwankungen gewährleistet werden. Zusätzliche Kameras und Sensoren können einfach in das 3D-Digitalisierungssystem 1 integriert werden. Es ist somit keine Vorkalibrierung mittels üblicher Kalibrierplatten mehr notwendig unddie Anordnung der Sensorköpfe 2, 3 kann beispielsweise ohne eine zusätzliche Kalibrierung einfach verändert werden. By means of such a dynamic calibration, changes in position can be compensated automatically and reliable operation can be ensured even in the event of major vibrations or temperature fluctuations. Additional cameras and sensors can be easily integrated into the 3D digitizing system 1. Thus, no pre-calibration by means of conventional calibration plates is necessary any more and the arrangement of the sensor heads 2, 3 can be easily changed, for example, without additional calibration.
Das dynamische Kalibrierverfahren der vorliegenden Erfindung basiert auf dem Structure-from- Motion-Ansatz (SfM-Ansatz). Dieser Ansatz wird beispielsweise in der Fotogrammetrie (3D- scannnen mit nur einer Kamera) eingesetzt. Eine detaillierte Beschreibung zu dem SfM-Ansatz bzw. zu dem SfM-Verfahren findet sich in der Dissertation„Enhanced Usability and Applicability for Simultaneous Geometry and Reflectance Acquisition“ von Johannes Daniel Köhler (ISBN 978-3-8439-2465-8), nachfolgend Köhler genannt. Der Inhalt von Köhler wird hiermit hier aufgenommen (insbesondere das Kapitel 4„Camera and Projector Calibration“). Erfindungsgemäß wird zunächst die Datenaufnahme durchgeführt. Dabei wird das zu digitalisierende Objekt 8 in mehreren Positionen relativ zu den (unkalibrierten) Sensorköpfen 2,The dynamic calibration method of the present invention is based on the structure-from-motion (SfM) approach. This approach is used, for example, in photogrammetry (3D scanning with only one camera). A detailed description of the SfM approach or the SfM method can be found in the thesis "Enhanced Usability and Applicability for Simultaneous Geometry and Reflectance Acquisition" by Johannes Daniel Köhler (ISBN 978-3-8439-2465-8), below Called Köhler. The contents of Köhler are hereby incorporated (in particular Chapter 4 "Camera and Projector Calibration"). According to the invention, the data acquisition is performed first. In this case, the object 8 to be digitized is in several positions relative to the (uncalibrated) sensor heads 2,
3 und der (unkalibrierten) IR-Kamera 4 aufgenommen. Die Positionen bzw. die entsprechenden relativen Positionierungen können mittels der Positioniereinrichtung 6 eingestellt werden. 3 and the (uncalibrated) IR camera 4 recorded. The positions or the corresponding relative positioning can be adjusted by means of the positioning device 6.
Bei jeder Aufnahme liegt mindestens eine der Kalibriermarken 9 und das Objekt 8 teilweise und somit ein Abschnitt des Objektes 8 im Sichtfeld der Kameras 12-14, 4. Pro relativer At each shot is at least one of the calibration marks 9 and the object 8 partially and thus a portion of the object 8 in the field of view of the cameras 12-14, 4. Pro relative
Positionierung werden dabei folgende Daten bzw. Aufnahmen aufgenommen. Positioning the following data or recordings are recorded.
Die Geometriekameras 12, 13 nehmen ein oder mehrere mit dem Projektor 15 projizierte Muster auf. Jedes Muster kann dabei einmal oder mehrmals aufgenommen werden. The geometry cameras 12, 13 record one or more patterns projected with the projector 15. Each pattern can be recorded once or several times.
Die Texturkamera 14 nimmt ein oder mehrere Farbbilder des Abschnittes des Objektes 8 auf (gegebenenfalls mit wechselnder Beleuchtung). Bei der Aufnahme mittels der Texturkamera 14 wird bevorzugt kein Muster mittels des Projektors 15 auf den Abschnitt des Objektes 8 projiziert. The texture camera 14 captures one or more color images of the portion of the object 8 (optionally with alternating illumination). When recording by means of the texture camera 14, preferably no pattern is projected onto the section of the object 8 by means of the projector 15.
Ferner wird eine Aufnahme mittels der IR-Kamera 4 durchgeführt. Furthermore, a recording by means of the IR camera 4 is performed.
Schließlich kann auf den aufzunehmenden Abschnitt des Objektes (den gesamten Abschnitt des Objektes) ein eindeutig unterscheidbares Muster projiziert und mittels der Kameras 12-14 und 4 aufgenommen werden. Dadurch kann insbesondere bei 3D-Digitalisierungssystemen mit mehreren Sensorköpfen 2 und 3 die Kalibrierbarkeit aller Kameras 12 - 14, 4 relativ zueinander vereinfacht werden. Finally, a clearly distinguishable pattern can be projected on the male portion of the object (the entire portion of the object) and captured by the cameras 12-14 and 4. As a result, in particular in the case of 3D digitizing systems having a plurality of sensor heads 2 and 3, the calibrability of all cameras 12 - 14, 4 relative to one another can be simplified.
Nachdem für alle relativen Positionierungen die oben beschriebenen Aufnahmen durchgeführt wurden, erfolgt die Kalibrierung mindestens einer Eigenschaft der Kameras. Dabei kann es sich um einen intrinsischen Kameraparameter, wie z.B. die Fokallänge, die Verzeichnung, den Hauptpunkt, etc., und/oder einen extrinsischen Kameraparameter, wie z.B. die Kameraposition, Kameraausrichtung, etc., handeln. After the above-described images have been taken for all relative positioning, at least one characteristic of the cameras is calibrated. This may be an intrinsic camera parameter, e.g. the focal length, the distortion, the major point, etc., and / or an extrinsic camera parameter, e.g. the camera position, camera orientation, etc., act.
Bei der Kalibrierung wird das Kamerapaar bevorzugt ausgesucht, das die meisten When calibrating, the camera pair is preferred, the most
Korrespondenzen enthält (in deren Aufnahmen die meisten Korrespondenzen gefunden werden konnten). Bei den Korrespondenzen kann es sich um mit dem Projektor 15 generierte Correspondences contains (in their recordings most correspondences could be found). The correspondence can be generated with the projector 15
Korrespondenzen (z.B. mittels Streifenprojektion oder Projektion des oben genannten eindeutig unterscheidbaren Musters) handeln. Es kann sich jedoch auch um vom Erscheinungsbild des Objekts abgeleitete Korrespondenzen handeln, die z.B. mittels sogenannter Correspondence (e.g., by fringe projection or projection of the above clearly distinguishable pattern). However, it may also be correspondences derived from the appearance of the object, e.g. by means of so-called
Merkmalsdeskriptoren wie z.B. den bekannten KAZE-Merkmalen ermittelt werden. Ferner können von den Kalibriermarken 9 Korrespondenzen abgeleitet werden, die beispielsweise wiederum mittels Merkmalsdeskriptoren (wie z. B. KAZE-Merkmale) bestimmt werden. Feature Descriptors such as the known KAZE features are determined. Further Correspondences can be derived from the calibration marks 9, which in turn are determined, for example, by means of feature descriptors (such as, for example, KAZE features).
Mit dem Projektor generierte Korrespondenzen finden sich in der Regel zwischen Correspondences generated with the projector are usually found between
Geometriekameras 12, 13 einer relativen Positionierung und KAZE-Korrespondenzen finden sich in der Regel zwischen verschiedenen Objekt-Sensorkopf-Positionen. Wenn mehrere Sensorköpfe 2, 3 eingesetzt werden, können Projektorkorrespondenzen auch zwischen den verschiedenen Sensorköpfen 2, 3 erzeugt werden, sofern die Aufnahmen beider Sensorköpfe derselben Objektpositionierung mittels der Positioniereinrichtung 6 zugeordnet sind. Geometry cameras 12, 13 of relative positioning and KAZE correspondences are typically found between different object sensor head positions. If a plurality of sensor heads 2, 3 are used, projector correspondences can also be generated between the different sensor heads 2, 3, provided that the receptacles of both sensor heads are assigned the same object positioning by means of the positioning device 6.
Nachdem nun bevorzugt das Kamerapaar mit den meisten Korrespondenzen ausgewählt wurde, wird die mindestens eine Eigenschaft für die beiden Kameras kalibriert. Dabei kann beispielsweise eine Triangulierung aller Korrespondenzen zwischen dem Kamerapaar zu SD Punkten durchgeführt werden. Alle Punkte, deren Reprojektionsfehler hinreichend gering ist, werden beibehalten, wohingegen alle anderen Punkte verworfen werden. Bevorzugt wird dann für alle gerade kalibrierten und eventuell schon kalibrierten Kameras die Kalibrierung global optimiert. Now that the camera pair with the most correspondences has been selected, the at least one property for the two cameras is calibrated. In this case, for example, a triangulation of all correspondences between the camera pair to SD points can be performed. All points whose reprojection error is sufficiently low are retained, whereas all other points are discarded. Preferably, the calibration is then globally optimized for all currently calibrated and possibly already calibrated cameras.
Danach wird bevorzugt die nächste noch nicht kalibrierte Kamera ausgewählt, deren Thereafter, the next not yet calibrated camera is preferably selected, whose
Aufnahmen zu den Aufnahmen der bereits kalibrierten Kameras die die meisten Recordings to the pictures of the already calibrated cameras the most
Korrespondenzen enthält. Wenn möglich, werden vom Projektor generierte Korrespondenzen bei der Auswahl bevorzugt. Contains correspondence. If possible, correspondence generated by the projector is preferred in the selection.
Die neu ausgewählte Kamera wird nun in gleicher Weise wie das erste Kamerapaar hinsichtlich der mindestens einen Eigenschaft kalibriert. The newly selected camera is now calibrated in the same way as the first pair of cameras with respect to the at least one property.
Dieses Vorgehen wird so lange durchgeführt, bis alle Kameras des 3D-Digitalisierungssystems 1 kalibriert sind. This procedure is carried out until all cameras of the 3D digitizing system 1 are calibrated.
Danach wird anhand der Aufnahmen unter Berücksichtigung der durchgeführten Kalibrierung das gewünschte 3D-Modell des zu digitalisierenden Objektes 8 erstellt. Thereafter, the desired 3D model of the object 8 to be digitized is created on the basis of the images taking into account the calibration performed.
In einer Weiterbildung kann man eine Vorabkalibrierung durchführen und dann kann mittels des erfindungsgemäßen Verfahrens eine dynamische Feinkalibrierung mit weniger Merkmalen und sehr schnell für jeden Scan durchführen. Dazu kann eine Vorkalibrierung mit dem bereits beschriebenen Structure-from-Motion-Ansatz (SfM-Ansatz) berechnet werden. Die In a further development, a preliminary calibration can be carried out and then, by means of the method according to the invention, a dynamic fine calibration can be carried out with fewer features and very quickly for each scan. For this purpose, a pre-calibration can be calculated using the already described structure-from-motion approach (SfM approach). The
Vorkalibrierung kann anschließend als Startwert für ein Feinkalibrierung verwendet werden. In diesem Fall sind allerdings keine größeren Änderungen der Positionen und Einstellungen der Komponenten mehr möglich. Diese Feinkalibrierung kann Fehler der Vorabkalibrierung ausgleichen, die mit der Zeit durch Ungenauigkeiten im Drehtisch oder leichten Veränderungen der Kamerapositionen entstehen. Der Vorteil dieser Art der Kalibrierung liegt in der sehr schnellen Berechnung der Feinkalibrierung und einer deutlich reduzierten Anzahl bzw. Pre-calibration can then be used as the starting value for a fine calibration. In this case, however, are no major changes in the positions and settings of Components more possible. This fine calibration can compensate for pre-calibration errors that arise over time due to inaccuracies in the turntable or slight changes in camera positions. The advantage of this type of calibration lies in the very fast calculation of the fine calibration and a significantly reduced number or
reduzierten Größe von Kalibriermarken. reduced size of calibration marks.
Optional kann vor der Erstellung des 3D-Modells noch eine metrische Skalierung mit Hilfe bekannter Kalibriermarken durchgeführt werden. Ferner können optional alle Projektoren 15 kalibriert werden, sofern aus den verwendeten Projektionsverfahren Korrespondenzen zum Projektor abgeleitet werden können. Optionally, a metric scaling can be performed using known calibration marks prior to the creation of the 3D model. Furthermore, optionally all projectors 15 can be calibrated, provided that correspondences to the projector can be derived from the projection methods used.
Optional kann eine Feinkalibrierung für jedes erstellte 3D Modell berechnet werden. Die Feinkalibrierung setzt eine Kalibrierung wie oben beschreiben voraus und geht davon aus, dass sich die Positionen der einzelnen Komponenten des Systems nur geringfügig ändern. Aus gehend von der bestehenden Kalibrierung wird eine neue Kalibrierung mit den Startwerten der bestehenden Kalibrierung berechnet. Hierzu sind weniger Merkmale bzw. auch kleinere Merkmale als für die ursprüngliche Kalibrierung notwendig, was die Berechnungszeit deutlich verkürzt. Optionally, a fine calibration can be calculated for each created 3D model. The fine calibration assumes calibration as described above and assumes that the positions of the individual components of the system change only slightly. Based on the existing calibration, a new calibration is calculated with the starting values of the existing calibration. For this purpose, fewer features or even smaller features than for the original calibration necessary, which significantly reduces the calculation time.
Die Kalibriermarken 9 und 10, die nachfolgend auch Kalibriermarker, Marker oder Marken 9, 10 genannt werden, die z.B. gedruckt ausgebildet sein können und ein eindeutig unterscheidbares Muster aufweisen, haben insbesondere die folgenden Funktionen. Die Kalibriermarken erzeugen optische Korrespondenzen zum Zusammenfügen einzelner Teilscans im Rahmen des Structure-from-Motion-Verfahrens. Die Kalibriermarken können auch als 3D Körper ausgeführt sein. Ohne diese Kalibriermarken 9 können z.B. einfarbige Objekte und zur Drehachse symmetrische Objekte nur schwer gescannt werden. Kalibriermarken können alternativ oder ergänzend auch mittels einer oder mehrerer Projektionseinheiten (nicht gezeigt) im Bereich des aufzunehmenden Abschnittes (inkl. Objekt) projiziert werden. Diese Projektionseinheiten sind während des Scanprozesses (während der Aufnahmen) relativ zum Objekt 8 fixiert und bewegen sich bei einer Lageveränderung des Objektes 8 mit, so dass projizierte Merkmale ihre Position auf der Objektoberfläche bei unterschiedlicher Objektpositionierung nicht verändern. The calibration marks 9 and 10, which are also referred to below as calibration markers, markers or marks 9, 10, e.g. can be printed and have a clearly distinguishable pattern, in particular have the following functions. The calibration marks generate optical correspondences for assembling individual partial scans in the context of the structure-from-motion method. The calibration marks can also be designed as 3D bodies. Without these calibration marks 9, e.g. Monochromatic objects and symmetrical to the rotation axis objects are difficult to scan. Calibration marks can alternatively or additionally also be projected by means of one or more projection units (not shown) in the region of the section to be recorded (including object). These projection units are fixed during the scanning process (during the recording) relative to the object 8 and move with a change in position of the object 8, so that projected features do not change their position on the object surface with different object positioning.
Mittels der Kalibriermarken 9 können Bereiche im Messvolumen identifiziert werden und es können durch ihre räumliche Anordnung zusätzliche Metainformationen generiert werden, wie z.B. die Lage des Halters 5. Dies kann genutzt werden, um das Objekt 8 in den Aufnahmen automatisch freizustellen. Durch Kenntnis der Größe der Kalibriermarker 9 ist der Maßstab in den Aufnahmen festgelegt. Ferner können sie zur Schätzung der Brennweite der Kameras herangezogen werden, wenn kein Startwert vorhanden ist (Autokalibrierung). By means of the calibration marks 9 areas in the measurement volume can be identified and it can be generated by their spatial arrangement additional meta information, such as the position of the holder 5. This can be used to automatically release the object 8 in the images. By knowing the size of the calibration markers 9, the scale is determined in the recordings. Furthermore, they can be used to estimate the focal length of the cameras if there is no starting value (auto-calibration).
Wenn der Halter 5 als Glastisch oder -platte ausgebildet ist, sind die Kalibriermarker 9 bevorzugt doppelseitige Marker 9. Die Größe der Kalibriermarker 9 und die Anzahl der Kalibriermarker 9 ist an das aufnehmbare Messvolumen bzw. die Größe des aufzunehmenden Objekts 8 angepasst. If the holder 5 is designed as a glass table or plate, the calibration markers 9 are preferably double-sided markers 9. The size of the calibration markers 9 and the number of calibration markers 9 are adapted to the recordable measurement volume or the size of the object 8 to be recorded.
Ferner können schaltbare Kalibriermarker wie z.B. der Kalibriermarker 10 oder 9 vorgesehen werden. Sie können aus elektrochromen Beschichtungen oder Folien hergestellt sein. Diese können z.B. aus einem Polymer-Flüssigkristall-Film oder aus Wolframtrioxid- und/oder Polyanilin-Beschichtungen gebildet sein. Die Schichten bzw. Folien können durch Anlegen von Strom bzw. Spannung zwischen einem opaken und einem transparenten Zustand reversibel hin und her geschaltet werden. Furthermore, switchable calibration markers such as e.g. the calibration markers 10 or 9 are provided. They can be made of electrochromic coatings or films. These may e.g. be formed of a polymer liquid crystal film or of tungsten trioxide and / or polyaniline coatings. The layers or films can be reversibly switched back and forth by applying current or voltage between an opaque and a transparent state.
Die Schichten oder Folien können auch auf dem Halter 5 aufgebracht werden, so dass eindeutige Kalibriermarker vorgesehen sind, die an- und ausgeschaltet werden können. Damit kann z.B. ein Verdecken des Objektes 8 durch die Kalibriermarker verhindert werden. In diesem Fall können dann z.B. Aufnahmen mit angeschalteten und ausgeschalteten Kalibriermarkern nacheinander gemacht werden, um Verdeckungen bei den Aufnahmen von unten zu vermeiden. Bei Aufnahmen von oben können die Marker angeschaltet werden oder kann die gesamte Glasplatte 5 auf opak geschaltet werden, um unerwünschte Reflexionen zu verhindern, die die Aufnahmen stören könnten. The layers or films can also be applied to the holder 5, so that unique calibration markers are provided, which can be switched on and off. Thus, e.g. obscuring the object 8 can be prevented by the calibration markers. In this case, then, e.g. Recordings with switched on and off calibration markers are made one after the other to avoid occlusion when shooting from below. When shooting from the top, the markers can be turned on or the entire glass plate 5 can be switched to opaque to prevent unwanted reflections that could interfere with the recordings.
Diese Marker können dazu genutzt werden, um Bereiche im Messvolumen zu identifizieren und sie können durch ihre räumliche Anordnung zusätzliche Metainformationen generieren, wie z.B. die Lage des Halters 5. Damit kann z.B. eine Freistellung des Objektes 8 automatisch durchgeführt werden. These markers can be used to identify areas in the measurement volume and, by their spatial arrangement, they can generate additional meta-information, e.g. the position of the holder 5. Thus, e.g. an exemption of the object 8 are performed automatically.
Ferner legen sie durch ihre Größe den Maßstab der Szene bzw. Aufnahme fest und können zur Schätzung der Brennweite herangezogen werden, wenn kein Startwert vorhanden ist Furthermore, their size determines the scale of the scene or recording and can be used to estimate the focal length if no starting value is present
(Autokalibrierung). (Autocalibration).
Die Kalibriermarker 9, 10 können auch als UV-sensitive und/oder IR-sensitive Kalibriermarker ausgebildet sein. Sie können z.B. mit Hilfe von UV-sensitiven Farben oder Schichten oder IR- sensitiven Farben oder Schichten auf den Halter 5 aufgebracht werden. Die Marker sind dann so lange unsichtbar, so lange sie nicht durch eine entsprechende UV-Strahlung oder IR- Strahlung aktiviert werden und dann z.B. fluoreszieren oder phosphoreszieren. The calibration markers 9, 10 can also be designed as UV-sensitive and / or IR-sensitive calibration markers. For example, they can be applied to the holder 5 with the aid of UV-sensitive inks or layers or IR-sensitive inks or layers. The markers are then invisible as long as they are not activated by a corresponding UV radiation or IR radiation and then fluoresce or phosphoresce, for example.
Auch in diesem Fall können Aufnahmen mit aktivierten und nicht-aktivierten Kalibriermarkern nacheinander durchgeführt werden, um z.B. Verdeckungen bei den Aufnahmen von unten zu vermeiden. In this case too, recordings with activated and non-activated calibration markers can be carried out successively, in order, for example, to use To avoid occlusions when shooting from below.
Die Kalibriermarker können z. B. ein Relief und/oder Aussparungen aufweisen und mittels eines Ultraschallsensors detektiert werden. The calibration markers can, for. B. have a relief and / or recesses and are detected by means of an ultrasonic sensor.
Aufgrund der Nutzung der Kalibriermarker 9, 10 können zusätzliche Korrespondenzen generiert werden, die das Zusammenfügen der Teilscans (der einzelnen Aufnahmen in unterschiedlichen relativen Positionierungen) wesentlich robuster macht. Es wird damit praktisch immer möglich, alle Aufnahmen aus den verschiedenen relativen Positionierungen automatisiert Due to the use of the calibration markers 9, 10, additional correspondences can be generated, which makes the joining of the partial scans (of the individual recordings in different relative positions) considerably more robust. It is thus almost always possible to automate all recordings from the different relative positions
zusammenzufügen. Außerdem legen die Kalibriermarker den Maßstab fest und ermöglichen durch ihre Lageinformation automatisch das Freistellen des Objektes 8 und können zusätzliche Anhaltspunkte für die Autokalibrierung (Schätzung der Brennweite) liefern, die ansonsten unrobust bzw. nicht eindeutig bestimmt werden kann. put together. In addition, the calibration markers set the scale and, by their positional information, automatically enable cropping of the object 8 and can provide additional clues for the autocalibration (estimation of the focal length), which otherwise can be determined unobjectively or unambiguously.
Die Ausbildung der Kalibriermarker als schaltbare Marker führt insbesondere zu dem Vorteil, dass Verdeckungen des Objektes 8 sicher vermieden werden können. The formation of the calibration markers as switchable markers leads in particular to the advantage that occlusions of the object 8 can be reliably avoided.
Da der beschriebene Sensorkopf 2, 3 die beiden Geometriekameras 12 und 13 einerseits und die Texturkamera 14 andererseits aufweist, können optimal an die Aufgabe angepasste Kameras ausgebildet und eingesetzt werden. So sind die Geometriekameras 12, 13 so gewählt, dass mit ihnen schnell eine hohe Anzahl von Aufnahmen durchgeführt werden kann. Die Texturkamera 14 ist hingegen so ausgebildet, dass sie eine möglichst gute Auflösung aufweist, wobei die Aufnahmegeschwindigkeit zwar abnimmt, jedoch mehr Details aufnehmbar sind.Since the described sensor head 2, 3 has the two geometry cameras 12 and 13 on the one hand and the texture camera 14 on the other hand, cameras optimally adapted to the task can be designed and used. Thus, the geometry cameras 12, 13 are selected so that a high number of recordings can be carried out quickly with them. The texture camera 14, however, is designed so that it has the best possible resolution, the recording speed decreases, but more details can be recorded.
Trotz dieses unterschiedlichen Einsatzes der Kameras 12-14 ist z.B. für die Kamera 14 aufgrund des erfindungsgemäßen Verfahrens eine robuste Kalibrierung möglich, da die beschriebenen Korrespondenzen in den Aufnahmen genutzt werden, wie bereits beschrieben wurde. Despite this differential use of the cameras 12-14, e.g. For the camera 14 due to the method according to the invention a robust calibration possible because the described correspondences are used in the recordings, as already described.
Ferner bringt der Einsatz der Kalibriermarker 9, 10 den Vorteil mit sich, dass mehrere Furthermore, the use of the calibration markers 9, 10 brings with it the advantage that several
Sensorköpfe 2, 3 und weitere Kameras 4 immer zuverlässig zusammen kalibriert werden können. Korrespondenzen zwischen den einzelnen Komponenten der Sensorköpfe 2 und 3 (Kameras, 12, 13, 14) und der Kamera 4 können dabei insbesondere durch die projizierten eindeutigen Muster erzeugt werden. Korrespondenzen eines Sensorkopfes 2, 3 in Abhängigkeit der relativen Positionierung zum Objekt 8 kann insbesondere durch die Kalibriermarken 9 erzielt werden. Somit können immer alle Kameras kalibriert werden, wobei z.B. die in Köhler beschriebene obligatorische Ausrichtung über die Geometrie für manche Datensätze entfällt. Dies gilt insbesondere bei der Nutzung des Halters 5 in Form eines Glastisches. Sensor heads 2, 3 and more cameras 4 can always be calibrated together reliably. Correspondences between the individual components of the sensor heads 2 and 3 (cameras, 12, 13, 14) and the camera 4 can be generated in particular by the projected unique pattern. Correspondences of a sensor head 2, 3 in dependence the relative positioning to the object 8 can be achieved in particular by the calibration marks 9. Thus, all cameras can always be calibrated, with the obligatory alignment via geometry described in Köhler, for example, being omitted for some data sets. This applies in particular when using the holder 5 in the form of a glass table.
Ferner ist es nicht mehr wie in Köhler notwendig, für jede im Sensorkopf 2, 3 benutzte Kamera pro relativer Positionierung des Sensorkopfs zum Objekt eine eigene virtuelle Kamera mit eigenen Parametern zu erzeugen. Die Kameras 12 bis 14 eines Sensorkopfes 2, 3 können sich nun z.B. die Fokallänge teilen, was die Kalibrierung robuster macht. Furthermore, it is no longer necessary, as in Köhler, for each camera used in the sensor head 2, 3 to generate its own virtual camera with its own parameters per relative positioning of the sensor head relative to the object. The cameras 12 to 14 of a sensor head 2, 3 can now be e.g. split the focal length, which makes the calibration more robust.
Auch ist es nun möglich, eine globale Optimierung auf einer Teilpunktmenge durchzuführen. Bei Köhler werden die Parameter einschließlich der Positionen aller 3D-Punkte stets global optimiert. Im vorliegenden erfindungsgemäßen Verfahren können nun Superpixel definiert werden, die jeweils eine größere Sensorfläche abdecken. Pro Superpixel werden nicht alle Korrespondenzen verarbeitet, was die Kalibrierungsgeschwindigkeit wesentlich erhöht, da weniger 3D-Punkte optimiert werden müssen. Also, it is now possible to perform a global optimization on a partial point set. At Köhler, the parameters, including the positions of all 3D points, are always optimized globally. Superpixels which each cover a larger sensor area can now be defined in the present inventive method. Not every correspondence is processed per Superpixel, which significantly increases the calibration speed, as fewer 3D points need to be optimized.

Claims

Patentansprüche claims
1. 3D-Digitalisierungssystem mit 1. 3D digitizing system with
einem ersten Sensorkopf (2, 3), der mindestens eine erste und eine zweite Kamera (12, a first sensor head (2, 3), the at least one first and a second camera (12,
13) und einen Projektor (15) aufweist, 13) and a projector (15),
einem Halter (5) zum Haltern eines zu digitalisierenden Objektes (8),  a holder (5) for holding an object (8) to be digitized,
einer Positioniereinrichtung (6), mit der verschiedene relative Positionierungen zwischen dem ersten Sensorkopf (2, 3) und dem Halter (5) einstellbar sind,  a positioning device (6) with which different relative positioning between the first sensor head (2, 3) and the holder (5) are adjustable,
und einer Steuereinheit (7), die den ersten Sensorkopf (2, 3) und die  and a control unit (7) including the first sensor head (2, 3) and the
Positioniereinrichtung (6) so ansteuert, dass folgende Schritte durchgeführt werden: Positioning device (6) controls so that the following steps are performed:
A) Einstellen der verschiedenen relativen Positionierungen, wobei in jeder der relativen Positionierungen A) Adjusting the various relative positions, with each of the relative positions
A1 ) ein Muster auf einen Abschnitt des zu digitalisierenden Objektes (8) mittels des  A1) a pattern on a portion of the object to be digitized (8) by means of
Projektors (15) projiziert wird und der Abschnitt mit dem projizierten Muster mit zumindest der ersten und der zweiten Kamera (12, 13) aufgenommen wird,  Projector (15) is projected and the section with the projected pattern with at least the first and the second camera (12, 13) is recorded,
A2) Aufnehmen des Abschnitts zusammen mit mindestens einer Kalibriermarke (9, 10), die am Halter (5) und/oder Objekt (8) angeordnet ist, mit der ersten und zweiten Kamera (12, 13; 4, 14);  A2) receiving the portion together with at least one calibration mark (9, 10) arranged on the holder (5) and / or object (8) with the first and second camera (12, 13, 4, 14);
B) Kalibrieren mindestens einer Eigenschaft der Kameras (12-14, 4) durch die folgenden Schritte: B) Calibrating at least one property of the cameras (12-14, 4) by the following steps:
B1 ) Auswahlen von mindestens zwei Kameras, deren Aufnahmen Korrespondenzen  B1) Selections of at least two cameras whose recordings are correspondences
aufweisen,  exhibit,
B2) Kalibrieren der mindestens einen Eigenschaft für die im Schritt B1 ausgewählten  B2) Calibrating the at least one property for those selected in step B1
Kameras, und  Cameras, and
C) Erstellen eines 3D-Modells des zu digitalisierenden Objektes (8) anhand der Aufnahmen unter Berücksichtigung der durchgeführten Kalibrierung.  C) Creating a 3D model of the object to be digitized (8) based on the images taking into account the calibration performed.
2. 3D-Digitalisierungssystem nach Anspruch 1 , bei dem die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass nach dem Schritt2. 3D digitizing system according to claim 1, wherein the control unit (7) controls the first sensor head (2, 3) and the positioning device (6) so that after the step
B2 und vor dem Schritt C folgende Schritte ausgeführt werden: B2 and before step C the following steps are performed:
B3) Auswahlen mindestens einer noch nicht kalibrierten Kamera, deren Aufnahme(n)  B3) Selecting at least one camera which has not yet been calibrated, whose recording (s)
Korrespondenzen zu mindestens einer Aufnahme mindestens einer der bereits kalibrierten Kameras aufweist, B4) Kalibrieren der mindestens einen Eigenschaft für die mindestens eine ausgewählte und nicht kalibrierte Kamera, Having correspondence with at least one photograph of at least one of the already calibrated cameras, B4) calibrating the at least one characteristic for the at least one selected and uncalibrated camera,
B5) Wiederholen der Schritte B3 und B4 bis für alle Kameras des 3D-Digitalisierungssystems (1 ) die mindestens eine Eigenschaft kalibriert ist.  B5) Repeat steps B3 and B4 until all the cameras of the 3D digitizing system (1) have at least one property calibrated.
3. 3D-Digitalisierungssystem nach Anspruch 1 oder 2, das eine dritte Kamera (4, 14) 3. 3D digitizing system according to claim 1 or 2, which comprises a third camera (4, 14).
aufweist, wobei mit der Positioniereinrichtung (6) verschiedene relative Positionierungen zwischen der dritten Kamera (4, 14) und dem Halter (5) einstellbar sind,  wherein with the positioning device (6) different relative positioning between the third camera (4, 14) and the holder (5) are adjustable,
und wobei im Schritt A2 der Abschnitt zusammen mit der mindestens einen  and wherein in step A2 the section together with the at least one
Kalibriermarke (9, 10) mit der dritten Kamera (4, 14) aufgenommen wird.  Calibration mark (9, 10) with the third camera (4, 14) is recorded.
3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem A 3D digitizing system according to any one of the preceding claims, wherein
die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass vor dem Schritt C eine metrische Skalierung unter Berücksichtigung der mindestens eine Kalibriermarke (9, 10) durchgeführt wird.  the control unit (7) controls the first sensor head (2, 3) and the positioning device (6) in such a way that a metric scaling is carried out taking into account the at least one calibration mark (9, 10) before step C.
3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem A 3D digitizing system according to any one of the preceding claims, wherein
die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass vor dem Schritt C eine Kalibrierung des Projektors (15) durchgeführt wird.  the control unit (7) controls the first sensor head (2, 3) and the positioning device (6) in such a way that a calibration of the projector (15) is carried out before step C.
3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem A 3D digitizing system according to any one of the preceding claims, wherein
die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass der Schritt B2 und ggf. der Schritt B4 jeweils den Schritt einer globalen Optimierung der Kalibrierung für die zu kalibrierende(n) Kamera(s) und der eventuell schon kalibrierten Kamera(s) aufweist.  the control unit (7) controls the first sensor head (2, 3) and the positioning device (6) in such a way that the step B2 and optionally the step B4 each comprise the step of global optimization of the calibration for the camera (s) to be calibrated (s ) and the possibly already calibrated camera (s) has.
3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem mindestens eine Eigenschaft der Kamera ein intrinsischer Parameter und/oder ein extrinsischer Parameter der Kameras ist. A 3D digitizing system according to any one of the preceding claims, wherein at least one property of the camera is an intrinsic parameter and / or an extrinsic parameter of the cameras.
3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem die Schritte A1 und A2 als einzelner Schritt gleichzeitig ausgeführt werden. A 3D digitizing system according to any one of the preceding claims, wherein steps A1 and A2 are executed as a single step simultaneously.
9. 3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem 9. 3D digitizing system according to one of the above claims, wherein
in einem Schritt A3 ein einzigartiges Muster auf den gesamten Abschnitt des Objektes (8) projiziert und mittels aller Kameras (4, 12 - 14) aufgenommen wird,  in a step A3, a unique pattern is projected onto the entire section of the object (8) and recorded by means of all the cameras (4, 12-14),
wobei die Aufnahme des Schrittes A3 in den Kalibrierungsschritten B und/oder im Schritt wherein the inclusion of step A3 in the calibration steps B and / or in step
C berücksichtigt werden C be considered
10. 3D-Digitalisierungssystem nach einer der obigen Ansprüche, 10. 3D digitizing system according to one of the above claims,
wobei mindestens ein weiterer Sensorkopf (2, 3), der mindestens eine erste und zweite Kamera und einen Projektor aufweist, vorgesehen ist,  wherein at least one further sensor head (2, 3) having at least one first and second camera and a projector is provided,
wobei die Positioniereinrichtung (6) verschiedene relative Positionierung zwischen dem mindestens einen weiteren Sensorkopf (2, 3) und dem Halter (5) einstellen kann, wobei die Steuereinheit (7) den ersten und den weiteren Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass im Schritt A1 der Abschnitt zusätzlich mit dem projizierten Muster des Projektors des weiteren Sensorkopfes mit der ersten und zweiten Kamera des weiteren Sensorkopfes aufgenommen wird und dass im Schritt A2 der Abschnitt zusätzlich zusammen mit mindestens einer Kalibriermarke mit der ersten und zweiten Kamera des weiteren Sensorkopfes (2, 3) aufgenommen wird.  wherein the positioning device (6) can set different relative positioning between the at least one further sensor head (2, 3) and the holder (5), wherein the control unit (7) controls the first and the further sensor head (2, 3) and the positioning device ( 6) so that in step A1 the section is additionally recorded with the projected pattern of the projector of the further sensor head with the first and second camera of the further sensor head and that in step A2 the section additionally together with at least one calibration mark with the first and second Camera of the other sensor head (2, 3) is recorded.
11 3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem 11 3D digitizing system according to one of the above claims, wherein
im Schritt C) alle aufgenommenen Daten entfernt werden, die nicht Teil des zu digitalisierenden Objektes (8) sind.  in step C) all recorded data are removed, which are not part of the object (8) to be digitized.
12. 3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem 12. 3D digitizing system according to one of the above claims, wherein
im Schritt B2 die Aufnahmen der im Schritt B1 ausgewählten Kameras relativ zueinander ausgerichtet werden, um die unterschiedlichen Aufnahmerichtungen zu kompensieren.  In step B2, the images of the cameras selected in step B1 are aligned relative to one another in order to compensate the different recording directions.
13. 3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem 13. 3D digitizing system according to one of the above claims, wherein
im Schritt C zusätzlich noch Daten einer vor den Schritten A, A1 und A2 durchgeführten Vorkalibrierung berücksichtigt werden.  In step C, additionally data of a pre-calibration carried out before steps A, A1 and A2 are taken into account.
14. 3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem 14. 3D digitizing system according to one of the above claims, wherein
nach Durchführen der Schritte A - C die Schritte A - C beim zu digitalisierendem Objekt oder einem zweiten zu digitalisierenden Objekt erneut durchgeführt werden, wobei bei der erneuten Durchführung im Schritt A2 weniger und/oder kleinere Kalibriermarken (9, 10) eingesetzt werden und im Schritt C zusätzlich noch Daten der Kalibrierung der ersten Durchführung der Schritte A-C berücksichtigt werden.  After carrying out steps A - C, the steps A - C are performed again on the object to be digitized or a second object to be digitized, with fewer and / or smaller calibration marks (9, 10) being used in the renewed execution in step A2 and in step C additionally data of the calibration of the first execution of the steps AC are considered.
15. 3D-Digitalisierungsverfahren für ein 3D-Digitalisierungssystem mit 15. 3D digitizing method for a 3D digitizing system with
einem ersten Sensorkopf (2, 3), der mindestens eine erste und eine zweite Kamera (12, 13) und einen Projektor (15) aufweist,  a first sensor head (2, 3) having at least a first and a second camera (12, 13) and a projector (15),
einem Halter (5) zum Haltern eines zu digitalisierenden Objektes (8),  a holder (5) for holding an object (8) to be digitized,
einer Positioniereinrichtung (6), mit der verschiedene relative Positionierungen zwischen dem ersten Sensorkopf (2, 3) und dem Halter (5) einstellbar sind, wobei der erste Sensorkopf (2, 3) und die Positioniereinrichtung (6) so angesteuert werden, dass folgende Schritte durchgeführt werden: a positioning device (6) with which different relative positioning between the first sensor head (2, 3) and the holder (5) are adjustable, wherein the first sensor head (2, 3) and the positioning device (6) are controlled in such a way that the following steps are carried out:
A) Einstellen der verschiedenen relativen Positionierungen, wobei in jeder der relativen Positionierungen  A) Adjusting the various relative positions, with each of the relative positions
A1 ) ein Muster auf einen Abschnitt des zu digitalisierenden Objektes (8) mittels des A1) a pattern on a portion of the object to be digitized (8) by means of
Projektors (15) projiziert wird und der Abschnitt mit dem projizierten Muster mit zumindest der ersten und der zweiten Kamera (12, 13) aufgenommen wird,  Projector (15) is projected and the section with the projected pattern with at least the first and the second camera (12, 13) is recorded,
A2) Aufnehmen des Abschnitts zusammen mit mindestens einer Kalibriermarke (9, 10), die am Halter (5) und/oder Objekt (8) angeordnet ist, mit der ersten und zweiten Kamera (12, 13; 4, 14);  A2) receiving the portion together with at least one calibration mark (9, 10) arranged on the holder (5) and / or object (8) with the first and second camera (12, 13, 4, 14);
B) Kalibrieren mindestens einer Eigenschaft der Kameras (12-14, 4) durch die folgenden Schritte:  B) Calibrating at least one property of the cameras (12-14, 4) by the following steps:
B1 ) Auswahlen von mindestens zwei Kameras, deren Aufnahmen Korrespondenzen  B1) Selections of at least two cameras whose recordings are correspondences
aufweisen,  exhibit,
B2) Kalibrieren der mindestens einen Eigenschaft für die im Schritt B1 ausgewählten B2) Calibrating the at least one property for those selected in step B1
Kameras, und  Cameras, and
C) Erstellen eines 3D-Modells des zu digitalisierenden Objektes (8) anhand der Aufnahmen unter Berücksichtigung der durchgeführten Kalibrierung. 16. 3D-Digitalisierungsverfahren nach Anspruch 15, bei dem nach Schritt B2 und vor dem C) Creating a 3D model of the object to be digitized (8) based on the images taking into account the calibration performed. 16. The 3D digitizing method according to claim 15, wherein after step B2 and before
Schritt C folgende Schritte durchgeführt werden: Step C, the following steps are performed:
B3) Auswahlen mindestens einer noch nicht kalibrierten Kamera, deren Aufnahme(n)  B3) Selecting at least one camera which has not yet been calibrated, whose recording (s)
Korrespondenzen zu mindestens einer Aufnahme mindestens einer der bereits kalibrierten Kameras aufweist,  Having correspondence with at least one photograph of at least one of the already calibrated cameras,
B4) Kalibrieren der mindestens einen Eigenschaft für die mindestens eine ausgewählte und nicht kalibrierte Kamera, B4) calibrating the at least one characteristic for the at least one selected and uncalibrated camera,
B5) Wiederholen der Schritte B3 und B4 bis für alle Kameras des 3D-Digitalisierungssystems (1 ) die mindestens eine Eigenschaft kalibriert ist.  B5) Repeat steps B3 and B4 until all the cameras of the 3D digitizing system (1) have at least one property calibrated.
PCT/EP2019/059629 2018-04-20 2019-04-15 3d digitalization system and 3d digitalization method WO2019201836A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018109586.4A DE102018109586A1 (en) 2018-04-20 2018-04-20 3D digitizing system and 3D digitizing process
DE102018109586.4 2018-04-20

Publications (1)

Publication Number Publication Date
WO2019201836A1 true WO2019201836A1 (en) 2019-10-24

Family

ID=66223721

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/059629 WO2019201836A1 (en) 2018-04-20 2019-04-15 3d digitalization system and 3d digitalization method

Country Status (2)

Country Link
DE (1) DE102018109586A1 (en)
WO (1) WO2019201836A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022112625A1 (en) * 2022-05-19 2023-11-23 Isra Vision Gmbh Method and device for aligning cameras

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101995231B (en) * 2010-09-20 2012-07-18 深圳大学 Three-dimensional detection system for surface of large thin-shell object and detection method thereof
CN103267491B (en) * 2012-07-17 2016-01-20 深圳大学 The method and system of automatic acquisition complete three-dimensional data of object surface
US20160300383A1 (en) * 2014-09-10 2016-10-13 Shenzhen University Human body three-dimensional imaging method and system
US20170188015A1 (en) * 2015-12-27 2017-06-29 Faro Technologies, Inc. Calibration plate and method for calibrating a 3d measurement device
US20170319874A1 (en) * 2014-11-10 2017-11-09 Vision Rt Limited Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19536297C2 (en) * 1995-09-29 2003-10-02 Daimler Chrysler Ag Method for the geometric calibration of 3D optical sensors for the three-dimensional measurement of objects and apparatus for this purpose
JP6602867B2 (en) * 2014-12-22 2019-11-06 サイバーオプティクス コーポレーション How to update the calibration of a 3D measurement system
US10455216B2 (en) * 2015-08-19 2019-10-22 Faro Technologies, Inc. Three-dimensional imager
US20170094251A1 (en) * 2015-09-30 2017-03-30 Faro Technologies, Inc. Three-dimensional imager that includes a dichroic camera
DE102017109854A1 (en) * 2017-05-08 2018-11-08 Wobben Properties Gmbh Method for referencing a plurality of sensor units and associated measuring device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101995231B (en) * 2010-09-20 2012-07-18 深圳大学 Three-dimensional detection system for surface of large thin-shell object and detection method thereof
CN103267491B (en) * 2012-07-17 2016-01-20 深圳大学 The method and system of automatic acquisition complete three-dimensional data of object surface
US20160300383A1 (en) * 2014-09-10 2016-10-13 Shenzhen University Human body three-dimensional imaging method and system
US20170319874A1 (en) * 2014-11-10 2017-11-09 Vision Rt Limited Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus
US20170188015A1 (en) * 2015-12-27 2017-06-29 Faro Technologies, Inc. Calibration plate and method for calibrating a 3d measurement device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GARRIDO-JURADO S ET AL: "Simultaneous reconstruction and calibration for multi-view structured light scanning", JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION, ACADEMIC PRESS, INC, US, vol. 39, 26 May 2016 (2016-05-26), pages 120 - 131, XP029623969, ISSN: 1047-3203, DOI: 10.1016/J.JVCIR.2016.05.014 *
JOHANNES DANIEL KÖHLER, ENHANCED USABILITY AND APPLICABILITY FOR SIMULTANEOUS GEOMETRY AND REFLECTANCE ACQUISITION, ISBN: 978-3-8439-2465-8
JOHANNES KOHLER ET AL: "A full-spherical device for simultaneous geometry and reflectance acquisition", APPLICATIONS OF COMPUTER VISION (WACV), 2013 IEEE WORKSHOP ON, IEEE, 15 January 2013 (2013-01-15), pages 355 - 362, XP032339511, ISBN: 978-1-4673-5053-2, DOI: 10.1109/WACV.2013.6475040 *

Also Published As

Publication number Publication date
DE102018109586A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
EP2105701B1 (en) Method and device for determining the 3D coordinates of an object
EP2079981B1 (en) Device and method for the contactless detection of a three-dimensional contour
DE19727281C1 (en) Geometric calibration device for CCD camera
DE102006055758B4 (en) Method for calibrating cameras and projectors
DE102006015792A1 (en) Method and system for measuring the shape of a reflective surface
EP2880853B1 (en) Apparatus and method for determining the distinct location of an image-recording camera
EP1957935A1 (en) Device and method for measuring the surface of a body
CH688471A5 (en) Engraving and method for its operation
DE102017109039A1 (en) Method for calibrating a camera and a laser scanner
EP2654017A2 (en) Method for measuring an object
CH680187A5 (en)
EP3558160B1 (en) Camera alignment or scanning apparatus method with a dental reference element
EP2710794A2 (en) Method for generating and evaluating an image
WO2016146105A1 (en) Method and device for calibrating a camera
EP2589926B1 (en) Device for and method of optically measuring the shape of moving objects
EP1640688A1 (en) Method and Apparatus for Measuring the Surface on an Object in three Dimensions
EP2019961A1 (en) Method for generating image information
WO2019201836A1 (en) 3d digitalization system and 3d digitalization method
DE102004012125B3 (en) Ellipsometric measurement with Region Of Interest-supported image correction involves correcting second image so ROI positions and/or shapes coincide in two images, processing corresponding image points/regions to produce resulting image
EP1906655A1 (en) Method for correcting distortions in perspective of a lens system
DE102004058655A1 (en) Two dimensional coordinate geometry or structure measurement for object, uses image processing, combines partial images to produce results with equidistant pixels
EP1774472B1 (en) Arrangement for the imaging of surface structures of three-dimensional objects
WO2009018894A1 (en) Method and device for determining geometric data of a measured object
DE102020200599A1 (en) Method and device for increasing the manufacturing accuracy in powder-bed-based jet melting with a movable processing head
EP0919784A2 (en) Device to determine three dimensional data from objects

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19718327

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19718327

Country of ref document: EP

Kind code of ref document: A1