DE102018109586A1 - 3D digitizing system and 3D digitizing process - Google Patents

3D digitizing system and 3D digitizing process Download PDF

Info

Publication number
DE102018109586A1
DE102018109586A1 DE102018109586.4A DE102018109586A DE102018109586A1 DE 102018109586 A1 DE102018109586 A1 DE 102018109586A1 DE 102018109586 A DE102018109586 A DE 102018109586A DE 102018109586 A1 DE102018109586 A1 DE 102018109586A1
Authority
DE
Germany
Prior art keywords
camera
cameras
sensor head
calibration
digitizing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018109586.4A
Other languages
German (de)
Inventor
Johannes Köhler
Tobias Nöll
Simon Brattke
Jochen Fuchs
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss AG
Original Assignee
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss AG filed Critical Carl Zeiss AG
Priority to DE102018109586.4A priority Critical patent/DE102018109586A1/en
Priority to PCT/EP2019/059629 priority patent/WO2019201836A1/en
Publication of DE102018109586A1 publication Critical patent/DE102018109586A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Abstract

Es wird ein 3D- Digitalisierungssystem mit einem ersten Sensorkopf (2, 3), der mindestens eine erste und eine zweite Kamera (12, 13) und einen Projektor (15) aufweist, einem Halter (5) zum Haltern eines zu digitalisierenden Objektes (8),einer Positioniereinrichtung (6), mit der verschiedene relative Positionierungen zwischen dem ersten Sensorkopf (2, 3) und dem Halter (5) einstellbar sind, und einer Steuereinheit (7) bereitgestellt, die den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass folgende Schritte durchgeführt werden:A) Einstellen der verschiedenen relativen Positionierungen, wobei in jeder der relativen PositionierungenA1) ein Muster auf einen Abschnitt des zu digitalisierenden Objektes (8) mittels des Projektors (15) projiziert wird und der Abschnitt mit dem projizierten Muster mit zumindest der ersten und der zweiten Kamera (12, 13) aufgenommen wird,A2) Aufnehmen des Abschnitts zusammen mit mindestens einer Kalibriermarke (9, 10), die am Halter (5) und/oder Objekt (8) angeordnet ist, mit der ersten und zweiten Kamera (12, 13; 4, 14);B) Kalibrieren mindestens einer Eigenschaft der Kameras (12-14, 4) durch die folgenden Schritte:B1) Auswählen von mindestens zwei Kameras, deren Aufnahmen Korrespondenzen aufweisen,B2) Kalibrieren der mindestens einen Eigenschaft für die im Schritt B1 ausgewählten Kameras, undC) Erstellen eines 3D-Modells des zu digitalisierenden Objektes (8) anhand der Aufnahmen unter Berücksichtigung der durchgeführten Kalibrierung.It is a 3D digitizing system with a first sensor head (2, 3) having at least a first and a second camera (12, 13) and a projector (15), a holder (5) for holding an object to be digitized (8 ), a positioning device (6), with the various relative positioning between the first sensor head (2, 3) and the holder (5) are adjustable, and a control unit (7) provided, the first sensor head (2, 3) and the Positioning device (6) so that the following steps are carried out: A) adjusting the different relative positioning, wherein in each of the relative positioning A1) a pattern is projected on a portion of the object to be digitized (8) by means of the projector (15) and the A2) recording the portion together with at least one calibration mark (9, 10) on the holding r (5) and / or object (8) is arranged, with the first and second camera (12, 13; 4, 14); B) calibrating at least one characteristic of the cameras (12-14, 4) by the following steps: B1) selecting at least two cameras whose images have correspondences, B2) calibrating the at least one property for those in step B1 selected cameras, andC) creating a 3D model of the object to be digitized (8) based on the images taking into account the calibration performed.

Description

Die vorliegende Erfindung betrifft ein 3D-Digitalisierungssystem sowie 3D-Dig italisieru ngsverfah ren.The present invention relates to a 3D digitizing system and 3D digitization methods.

Ein solches 3D-Digitalisierungssystem muss üblicherweise vorab kalibriert werden, bevor es zur Digitalisierung von dreidimensionalen Objekten genutzt werden kann. Sobald die Kalibrierung durchgeführt wurde, dürfen sich die für die Kalibrierung relevanten Hardwareteile (z.B. Kameraposition) nicht mehr ändern. Erschütterungen, Erwärmung oder Veränderungen des Messfeldes machen daher eine erneute Kalibrierung notwendig. Wenn Objekte verschiedener Größe gescannt werden sollen und dafür die Anordnung des 3D-Digitalisierungssystems verändert werden muss, ist eine erneute Kalibrierung notwendig.Such a 3D digitizing system usually needs to be pre-calibrated before it can be used to digitize three-dimensional objects. Once the calibration has been performed, the hardware parts relevant to the calibration (e.g., camera position) must not change. Shaking, heating or changes in the measuring field therefore necessitate a new calibration. If objects of different sizes are to be scanned and the arrangement of the 3D digitizing system has to be changed, a new calibration is necessary.

Ausgehend hiervon ist daher Aufgabe der Erfindung, ein verbessertes 3D-Digitalisierungssystem sowie ein verbessertes 3D-Digitalisierungsverfahren zur Verfügung zu stellen.Based on this, it is therefore an object of the invention to provide an improved 3D digitizing system and an improved 3D digitizing method.

Die Erfindung ist in den unabhängigen Ansprüchen 1 und 11 definiert. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.The invention is defined in independent claims 1 and 11. Advantageous developments are specified in the dependent claims.

Mit dem erfindungsgemäßen 3D-Digitalisierungssystem wird eine dynamische Kalibrierung bereitgestellt, die eine vor der Messung durchzuführende Kalibrierung überflüssig macht. Es können daher die Aufnahmen zur Digitalisierung des Objektes durchgeführt werden und im Anschluss an die Aufnahmen kann dann die notwendige dynamische Kalibrierung realisiert werden, sodass das 3D- Digitalisierungssystem äußerst flexibel einsetzbar ist.With the 3D digitizing system according to the invention, a dynamic calibration is provided which makes a calibration to be performed before the measurement superfluous. Therefore, the images can be taken to digitize the object and then the necessary dynamic calibration can be realized after the recordings, so that the 3D digitizing system can be used extremely flexibly.

Die Positioniereinrichtung kann beispielsweise als beweglicher Arm realisiert sein, an dem der erste Sensorkopf montiert ist. Es ist jedoch auch jede andere Art der Positioniereinrichtung möglich. Insbesondere kann die Positioniereinrichtung so ausgebildet sein, dass sie den Sensorkopf, ggf. weitere Kameras, ggf. weitere Sensorköpfe und/oder den Halter bewegt. So kann die Positioniereinrichtung z.B. einen robotischen Arm oder eine ähnliche Vorrichtung aufweisen. Ferner ist es möglich, dass der Halter als Drehtisch ausgebildet ist, so dass die Positioniereinrichtung die Drehung des Drehtisches steuert. Insbesondere kann der Drehtisch als Glasdrehtisch ausgebildet sein.The positioning device can be realized for example as a movable arm on which the first sensor head is mounted. However, any other type of positioning device is possible. In particular, the positioning device can be designed such that it moves the sensor head, possibly further cameras, possibly further sensor heads and / or the holder. Thus, the positioning device may e.g. a robotic arm or similar device. Furthermore, it is possible that the holder is designed as a turntable, so that the positioning device controls the rotation of the turntable. In particular, the turntable may be formed as a glass turntable.

Die erste und zweite Kamera sind insbesondere Geometriekameras, aus deren Aufnahmen die dreidimensionale Form des Objektes ermittelt werden kann. Sofern eine dritte Kamera vorgesehen ist, kann sie z.B. eine Texturkamera sein, die beispielsweise zur Aufnahme von Farbe und weiterer Materialeigenschaften des Objektes dient. Die dritte Kamera kann z.B. dann nicht vorgesehen sein, falls ihre Aufnahmen von einer der Geometriekameras übernommen werden.The first and second cameras are in particular geometry cameras, from whose images the three-dimensional shape of the object can be determined. If a third camera is provided, it may e.g. a texture camera, which serves for example to record color and other material properties of the object. The third camera may e.g. then not be provided if their shots are taken from one of the geometry cameras.

Bei dem projizierten Muster im Schritt A1 kann es sich um ein Streifenmuster handeln.The projected pattern in step A1 may be a striped pattern.

Die Auswahl des Kamerapaars im Schritt B1 kann beispielsweise so durchgeführt werden, dass eine vorbestimmte Anzahl bzw. ein vorbestimmtes Niveau von Korrespondenzen vorliegt. Insbesondere können die mindestens zwei Kameras ausgewählt werden, deren Aufnahmen die meisten Korrespondenzen aufweisen. Natürlich ist es auch möglich, dass im Schritt B1 mehr als zwei Kameras ausgewählt werden, es können beispielsweise drei oder vier Kameras ausgewählt werden. In diesem Fall erfolgt die Kalibrierung im Schritt B2 für alle ausgewählten Kameras. Falls das 3D-Digitalisierungssystem nur zwei Kameras aufweist, werden natürlich diese zwei Kameras im Schritt B1 ausgewählt.The selection of the camera pair in step B1 can be performed, for example, so that there is a predetermined number or a predetermined level of correspondence. In particular, the at least two cameras can be selected, whose recordings have the most correspondences. Of course, it is also possible that in step B1 more than two cameras are selected, for example, three or four cameras can be selected. In this case, the calibration is done in step B2 for all selected cameras. Of course, if the 3D digitizing system has only two cameras, these two cameras are selected in step B1.

Die Auswahl im Schritt B3 kann so erfolgen, dass die mindestens eine noch nicht kalibrierte Kamera eine vorbestimmte Anzahl bzw. ein vorbestimmtes Niveau von Korrespondenzen zu mindestens einer Aufnahme von mindestens einer der bereits kalibrierten Kameras aufweist. Insbesondere kann auch die Kamera ausgewählt werden, die die meisten Korrespondenzen zu der mindestens einen Aufnahme der bereits kalibrierten Kamera(s) aufweist. Wenn mehr als eine Kamera im Schritt B3 ausgewählt wird, können z.B. die Kameras ausgewählt werden, die mehr Korrespondenzen aufweisen als noch verbleibende nicht kalibrierte Kameras.The selection in step B3 can be made such that the at least one camera not yet calibrated has a predetermined number or a predetermined level of correspondence with at least one image of at least one of the already calibrated cameras. In particular, the camera can be selected which has the most correspondences to the at least one image of the already calibrated camera (s). If more than one camera is selected in step B3, e.g. the cameras are selected that have more correspondence than remaining uncalibrated cameras.

Das 3D- Digitalisierungssystem kann weitere Sensoren aufweisen, wie zum Beispiel Ultraschallsensoren, Time-Of-Flight-Sensoren (ToF), Multisprektralsensoren, wie zum Beispiel IR-Kameras, etc.The 3D digitizing system may include other sensors, such as ultrasonic sensors, time-of-flight (ToF) sensors, multi-spectral sensors, such as IR cameras, etc.

Mit den Kalibrierschritten B könne insbesondere intrinsische und/oder extrinsische Kameraparameter kalibriert werden. Ferner ist es möglich, intrinsische und/oder extrinsische Projektorparameter zu kalibrieren. Auch können die einzelnen Teilscans (die Aufnahmen der einzelnen Abschnitte) zueinander ausgerichtet werden. Ferner können Metainformationen (unter Verwendung mindestens einer Kalibriermarke) ermittelt werden. Dabei kann es sich insbesondere um Lageinformationen, den interessierenden Bereich im Messvolumen und/oder eine metrische Skalierung handeln.With the calibration steps B in particular intrinsic and / or extrinsic camera parameters can be calibrated. Furthermore, it is possible to calibrate intrinsic and / or extrinsic projector parameters. The individual partial scans (the images of the individual sections) can also be aligned with each other. Furthermore, meta-information (using at least one calibration mark) can be determined. This can in particular be location information, the area of interest in the measurement volume and / or a metric scaling.

Alle Parameter werden bevorzugt in einem gemeinsamen, globalen Koordinatensystem bestimmt. Der Rückprojektionsfehler (Rückprojektion von rekonstruierten 3D-Punkten in das Ursprungsbild) liegt dabei bevorzugt im Bereich von 0,1 bis 0,5 Pixel.All parameters are preferably determined in a common, global coordinate system. The backprojection error (backprojection of reconstructed 3D points into the Original image) is preferably in the range of 0.1 to 0.5 pixels.

Bevorzugt weist das 3D-Digitalisierungssystem n Sensorköpfe auf, wobei n eine ganze Zahl größer oder gleich 1 ist. Bevorzugt ist n = 1, 2, 3, 4, 5, 6, 7, 8, 9 oder 10. Die Sensorköpfe können gleich oder verschieden ausgebildet sein. Ferner kann das 3D-Digitalisierungssystem noch mindestens eine weitere (oder mehrere weitere) Kameras aufweisen, die nicht Teil eines Sensorkopfes sind, aber mit kalibrierbar sind.The 3D digitizing system preferably has n sensor heads, where n is an integer greater than or equal to 1. Preferably, n = 1, 2, 3, 4, 5, 6, 7, 8, 9 or 10. The sensor heads may be identical or different. Furthermore, the 3D digitizing system can still have at least one further (or more) cameras that are not part of a sensor head, but are calibrated with.

Ferner wird ein entsprechendes 3D-Digitalisierungsverfahren bereitgestellt. Das 3D-Digitalisierungsverfahren kann weitere Schritte aufweisen, die im Zusammenhang mit dem 3D-Digitalisierungssystem beschrieben sind.Furthermore, a corresponding 3D digitizing method is provided. The 3D digitizing method may include further steps described in the context of the 3D digitizing system.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It is understood that the features mentioned above and those yet to be explained below can be used not only in the specified combinations but also in other combinations or alone, without departing from the scope of the present invention.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen, die ebenfalls erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Elementen oder Komponenten nicht dahingehend auszulegen, dass alle diese Elemente oder Komponenten zur Implementierung notwendig sind. Vielmehr können andere Ausführungsbeispiele auch alternative Elemente und Komponenten, weniger Elemente oder Komponenten oder zusätzliche Elemente oder Komponenten enthalten. Elemente oder Komponenten verschiedener Ausführungsbespiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Modifikationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein. Zur Vermeidung von Wiederholungen werden gleiche oder einander entsprechende Elemente in verschiedenen Figuren mit gleichen Bezugszeichen bezeichnet und nicht mehrmals erläutert. Von den Figuren zeigen:

  • 1 eine schematische Ansicht eines Ausführungsbeispiels des erfindungsgemäßen 3D-Digitalisierungssystems, und
  • 2 eine schematische Ansicht des ersten Sensorkopfes 2.
The invention will be explained in more detail by means of embodiments with reference to the accompanying drawings, which also disclose features essential to the invention. These embodiments are merely illustrative and are not to be construed as limiting. For example, a description of an embodiment having a plurality of elements or components is not to be construed as requiring all of these elements or components for implementation. Rather, other embodiments may include alternative elements and components, fewer elements or components, or additional elements or components. Elements or components of various embodiments may be combined with each other unless otherwise specified. Modifications and modifications described for one of the embodiments may also be applicable to other embodiments. To avoid repetition, the same or corresponding elements in different figures are denoted by the same reference numerals and not explained several times. From the figures show:
  • 1 a schematic view of an embodiment of the inventive 3D digitizing system, and
  • 2 a schematic view of the first sensor head 2 ,

Bei dem in 1 gezeigten Ausführungsbeispiel umfasst das 3D-Digitalisierungssystem 1 einen ersten Sensorkopf 2, einen zweiten Sensorkopf 3, eine IR-Kamera 4, einen als Glasplatte ausgebildeten Halter 5, eine Positioniereinrichtung 6 sowie eine Steuereinheit 7. Auf dem Halter 5 ist ein zu digitalisierendes Objekt 8 positioniert.At the in 1 In the embodiment shown, the 3D digitizing system 1 comprises a first sensor head 2 , a second sensor head 3 , an IR camera 4 , a holder formed as a glass plate 5 , a positioning device 6 and a control unit 7 , On the holder 5 is an object to be digitized 8th positioned.

Ferner sind auf dem Halter 5 mehrere Kalibriermarken 9 aufgebracht. Sie können z.B. fest aufgebracht oder nur aufgelegt sein. Optional kann das Objekt 8 selbst mindestens eine Kalibriermarke 10 aufweisen. Um ein möglichst gutes 3D-Modell des Objektes 8 zu erhalten, werden mit den Sensorköpfen 2, 3 sowie der IR-Kamera 4 immer nur Abschnitte des Objektes 8 aufgenommen. Daher ist die Positioniereinrichtung 6 vorgesehen, mit der die relative Positionierung zwischen dem entsprechenden Sensorkopf 2, 3 und dem Halter 5 änderbar ist. Beispielshalber sind weitere Positionen der Sensorköpfe 2 und 3 gestrichelt in 1 dargestellt. Natürlich ist es auch möglich, dass die IR-Kamera 4 mittels der Positioniereinrichtung 6 entsprechend bewegt wird. Ferner kann auch der Halter 5 selbst bewegt werden. So kann der Halter 5 beispielsweise drehbar sein. Auch in diesem Fall wird die Drehstellung bevorzugt mittels der Positioniereinrichtung 6 eingestellt.Further, on the holder 5 several calibration marks 9 applied. They can for example be firmly applied or just hang up. Optionally, the object 8th even at least one calibration mark 10 exhibit. To get the best possible 3D model of the object 8th to be obtained with the sensor heads 2 . 3 as well as the IR camera 4 only sections of the object 8th added. Therefore, the positioning device 6 provided with the relative positioning between the corresponding sensor head 2 . 3 and the holder 5 is changeable. For example, other positions of the sensor heads are 2 and 3 dashed in 1 shown. Of course it is also possible that the IR camera 4 by means of the positioning device 6 is moved accordingly. Furthermore, the holder can also 5 to be moved. So can the holder 5 for example, be rotatable. Also in this case, the rotational position is preferably by means of the positioning device 6 set.

Die Sensorköpfe 2, 3 können gleich ausgebildet sein. In 2 ist eine beispielhafte Ausgestaltung des ersten Sensorkopfes 2 gezeigt. Der Sensorkopf 2 kann eine Platte 11 aufweisen, auf der eine erste und eine zweite Kamera 12, 13 befestigt sind, die insbesondere für sogenannte Geometrieaufnahmen eingesetzt werden. Aus den Geometrieaufnahmen kann die dreidimensionale Struktur des Objektes 8 abgeleitet werden.The sensor heads 2 . 3 can be the same. In 2 is an exemplary embodiment of the first sensor head 2 shown. The sensor head 2 can a plate 11 have on which a first and a second camera 12 . 13 are attached, which are used in particular for so-called geometry recordings. From the geometry images, the three-dimensional structure of the object 8th be derived.

Ferner umfasst der erste Sensorkopf 2 eine dritte Kamera 14, die beispielsweise eine Texturkamera 14 sein kann. Mit der dritten Kamera 14 kann das optische Erscheinungsbild der Oberfläche des Objektes 8 erfasst werden. Ferner weist der erste Sensorkopf 2 noch einen Projektor 15 auf, der zur Projektion eines Musters auf den aufzunehmenden Abschnitt des Objektes 8 projiziert werden kann. Dabei wird häufig ein Streifenmuster projiziert, da dann aus den Aufnahmen der ersten und zweiten Kamera 12, 13 mit bekannten Verfahren die dreidimensionale Form des aufgenommenen Abschnittes ermittelt werden kann.Furthermore, the first sensor head comprises 2 a third camera 14 for example, a texture camera 14 can be. With the third camera 14 can change the visual appearance of the surface of the object 8th be recorded. Furthermore, the first sensor head 2 another projector 15 on, which is used to project a pattern onto the part of the object to be recorded 8th can be projected. In this case, a stripe pattern is often projected, because then from the shots of the first and second camera 12 . 13 with known methods, the three-dimensional shape of the recorded portion can be determined.

Um gute Ergebnisse zur Erstellung des gewünschten 3D-Modells zu erzielen, ist es notwendig, dass das 3D-Digitalisierungssystem kalibriert wird. Eine solche Kalibrierung ist in der Regel aufwendig und setzt voraus, dass sich die Positionen der Kameras 12 - 14 und die Positionen der Sensorköpfe relativ zueinander auch während der Messung nicht ändern. Die dazu notwendige Stabilität der Sensorköpfe 2, 3 ist in der Praxis kaum zu gewährleisten. In order to achieve good results for the creation of the desired 3D model, it is necessary that the 3D digitizing system is calibrated. Such a calibration is usually expensive and requires that the positions of the cameras 12 - 14 and do not change the positions of the sensor heads relative to each other even during the measurement. The necessary stability of the sensor heads 2 . 3 is difficult to guarantee in practice.

Insbesondere wenn die Sensorköpfe 2, 3 noch bewegt werden, wie dies in 1 schematisch dargestellt ist. Especially if the sensor heads 2 . 3 to be moved, as in 1 is shown schematically.

Auch treten Schwierigkeiten auf, wenn Abschnitte des Objektes 8 durch den Halter 5 hindurch aufgenommen werden, da dann durch den Halter 5 selbst, der hier als Glasplatte ausgebildet ist, der optische Strahlengang verändert wird, was eine erneute Kalibrierung notwendig machen würde.Also, difficulties arise when sections of the object 8th through the holder 5 through, then through the holder 5 itself, which is designed here as a glass plate, the optical beam path is changed, which would require a recalibration.

Daher ist das erfindungsgemäße 3D-Digitalisierungssystem so ausgebildet, dass eine dynamische Kalibrierung erfolgt, bei der die benötigten Parameter im Anschluss an die Messung des Objektes 8 aus den aufgenommenen Messdaten (insbesondere den Aufnahmen) extrahiert wird.Therefore, the 3D digitizing system according to the invention is designed so that a dynamic calibration takes place in which the required parameters following the measurement of the object 8th is extracted from the recorded measurement data (in particular the recordings).

Durch eine derartige dynamische Kalibrierung können Positionsänderungen automatisch ausgeglichen werden und kann ein zuverlässiger Betrieb auch bei größeren Erschütterungen oder Temperaturschwankungen gewährleistet werden. Zusätzliche Kameras und Sensoren können einfach in das 3D-Digitalisierungssystem 1 integriert werden. Es ist somit keine Vorkalibrierung mittels üblicher Kalibrierplatten mehr notwendig und die Anordnung der Sensorköpfe 2, 3 kann beispielsweise ohne eine zusätzliche Kalibrierung einfach verändert werden.By means of such a dynamic calibration, changes in position can be compensated automatically and reliable operation can be ensured even in the event of major vibrations or temperature fluctuations. Additional cameras and sensors can easily enter the 3D digitizing system 1 to get integrated. Thus, it is no longer necessary to pre-calibrate by means of conventional calibration plates and the arrangement of the sensor heads 2 . 3 For example, it can easily be changed without additional calibration.

Das dynamische Kalibrierverfahren der vorliegenden Erfindung basiert auf dem Structure-from-Motion-Ansatz (SfM-Ansatz). Dieser Ansatz wird beispielsweise in der Fotogrammetrie (3D-scannnen mit nur einer Kamera) eingesetzt. Eine detaillierte Beschreibung zu dem SfM-Ansatz bzw. zu dem SfM-Verfahren findet sich in der Dissertation „Enhanced Usability and Applicability for Simultaneous Geometry and Reflectance Acquisition“ von Johannes Daniel Köhler (ISBN 978-3-8439-2465-8), nachfolgend Köhler genannt. Der Inhalt von Köhler wird hiermit hier aufgenommen (insbesondere das Kapitel 4 „Camera and Projector Calibration“).The dynamic calibration method of the present invention is based on the structure-from-motion (SfM) approach. This approach is used, for example, in photogrammetry ( 3D -scan with only one camera) used. A detailed description of the SfM approach or the SfM method can be found in the thesis "Enhanced Usability and Applicability for Simultaneous Geometry and Reflectance Acquisition" by Johannes Daniel Köhler (ISBN 978-3-8439-2465-8), below Called Köhler. The contents of Köhler are hereby incorporated (in particular the chapter 4 "Camera and Projector Calibration").

Erfindungsgemäß wird zunächst die Datenaufnahme durchgeführt. Dabei wird das zu digitalisierende Objekt 8 in mehreren Positionen relativ zu den (unkalibrierten) Sensorköpfen 2, 3 und der (unkalibrierten) IR-Kamera 4 aufgenommen. Die Positionen bzw. die entsprechenden relativen Positionierungen können mittels der Positioniereinrichtung 6 eingestellt werden.According to the invention, the data acquisition is performed first. This is the object to be digitized 8th in multiple positions relative to the (uncalibrated) sensor heads 2 . 3 and the (uncalibrated) IR camera 4 added. The positions or the corresponding relative positioning can be determined by means of the positioning device 6 be set.

Bei jeder Aufnahme liegt mindestens eine der Kalibriermarken 9 und das Objekt 8 teilweise und somit ein Abschnitt des Objektes 8 im Sichtfeld der Kameras 12-14, 4. Pro relativer Positionierung werden dabei folgende Daten bzw. Aufnahmen aufgenommen.Each shot contains at least one of the calibration marks 9 and the object 8th partially and thus a section of the object 8th in the field of view of the cameras 12 - 14 . 4 , The following data or recordings are recorded for each relative positioning.

Die Geometriekameras 12, 13 nehmen ein oder mehrere mit dem Projektor 15 projizierte Muster auf. Jedes Muster kann dabei einmal oder mehrmals aufgenommen werden.The geometry cameras 12 . 13 take one or more with the projector 15 projected patterns on. Each pattern can be recorded once or several times.

Die Texturkamera 14 nimmt ein oder mehrere Farbbilder des Abschnittes des Objektes 8 auf (gegebenenfalls mit wechselnder Beleuchtung). Bei der Aufnahme mittels der Texturkamera 14 wird bevorzugt kein Muster mittels des Projektors 15 auf den Abschnitt des Objektes 8 projiziert.The texture camera 14 takes one or more color images of the section of the object 8th on (possibly with changing lighting). When shooting with the texture camera 14 no pattern is preferred by means of the projector 15 on the section of the object 8th projected.

Ferner wird eine Aufnahme mittels der IR-Kamera 4 durchgeführt.Furthermore, a recording by means of the IR camera 4 carried out.

Schließlich kann auf den aufzunehmenden Abschnitt des Objektes (den gesamten Abschnitt des Objektes) ein eindeutig unterscheidbares Muster projiziert und mittels der Kameras 12-14 und 4 aufgenommen werden. Dadurch kann insbesondere bei 3D-Digitalisierungssystemen mit mehreren Sensorköpfen 2 und 3 die Kalibrierbarkeit aller Kameras 12 - 14, 4 relativ zueinander vereinfacht werden.Finally, a clearly distinguishable pattern can be projected on the male section of the object (the entire section of the object) and by means of the cameras 12 - 14 and 4 be recorded. As a result, in particular in 3D digitizing systems with multiple sensor heads 2 and 3 the calibration of all cameras 12 - 14 . 4 be simplified relative to each other.

Nachdem für alle relativen Positionierungen die oben beschriebenen Aufnahmen durchgeführt wurden, erfolgt die Kalibrierung mindestens einer Eigenschaft der Kameras. Dabei kann es sich um einen intrinsischen Kameraparameter, wie z.B. die Fokallänge, die Verzeichnung, den Hauptpunkt, etc., und/oder einen extrinischen Kameraparameter, wie z.B. die Kameraposition, Kameraausrichtung, etc., handeln.After the above-described images have been taken for all relative positioning, at least one characteristic of the cameras is calibrated. This may be an intrinsic camera parameter, e.g. the focal length, the distortion, the major point, etc., and / or an extrinsic camera parameter, such as a. the camera position, camera orientation, etc., act.

Bei der Kalibrierung wird das Kamerapaar bevorzugt ausgesucht, das die meisten Korrespondenzen enthält (in deren Aufnahmen die meisten Korrespondenzen gefunden werden konnten). Bei den Korrespondenzen kann es sich um mit dem Projektor 15 generierte Korrespondenzen (z.B. mittels Streifenprojektion oder Projektion des oben genannten eindeutig unterscheidbaren Musters) handeln. Es kann sich jedoch auch um vom Erscheinungsbild des Objekts abgeleitete Korrespondenzen handeln, die z.B. mittels sogenannter Merkmalsdeskriptoren wie z.B. den bekannten KAZE-Merkmalen ermittelt werden. Ferner können von den Kalibriermarken 9 Korrespondenzen abgeleitet werden, die beispielsweise wiederum mittels Merkmalsdeskriptoren (wie z. B. KAZE-Merkmale) bestimmt werden.During calibration, the pair of cameras that contains the most correspondence (in which most of the correspondence was found) is the one most favored. The correspondence can be with the projector 15 generated correspondences (eg by means of stripe projection or projection of the above clearly distinguishable pattern) act. However, it may also be correspondences derived from the appearance of the object, which are determined, for example, by means of so-called feature descriptors, such as the known KAZE features. Further, from the calibration marks 9 Correspondences are derived, for example, again by means of feature descriptors (such as KAZE features) are determined.

Mit dem Projektor generierte Korrespondenzen finden sich in der Regel zwischen Geometriekameras 12, 13 einer relativen Positionierung und KAZE-Korrespondenzen finden sich in der Regel zwischen verschiedenen Objekt-Sensorkopf-Positionen. Wenn mehrere Sensorköpfe 2, 3 eingesetzt werden, können Projektorkorrespondenzen auch zwischen den verschiedenen Sensorköpfen 2, 3 erzeugt werden, sofern die Aufnahmen beider Sensorköpfe derselben Objektpositionierung mittels der Positioniereinrichtung 6 zugeordnet sind.Correspondences generated with the projector are usually found between geometry cameras 12 . 13 relative positioning and KAZE correspondences are typically found between different object sensor head positions. If multiple sensor heads 2 . 3 Projector correspondences can also be used between the different sensor heads 2 . 3 be produced, provided the recordings both Sensor heads the same object positioning by means of positioning 6 assigned.

Nachdem nun bevorzugt das Kamerapaar mit den meisten Korrespondenzen ausgewählt wurde, wird die mindestens eine Eigenschaft für die beiden Kameras kalibriert. Dabei kann beispielsweise eine Triangulierung aller Korrespondenzen zwischen dem Kamerapaar zu 3D-Punkten durchgeführt werden. Alle Punkte, deren Reprojektionsfehler hinreichend gering ist, werden beibehalten, wohingegen alle anderen Punkte verworfen werden. Bevorzugt wird dann für alle gerade kalibrierten und eventuell schon kalibrierten Kameras die Kalibrierung global optimiert.Now that the camera pair with the most correspondences has been selected, the at least one property for the two cameras is calibrated. In this case, for example, a triangulation of all correspondences between the camera pair to 3D points can be performed. All points whose reprojection error is sufficiently low are retained, whereas all other points are discarded. Preferably, the calibration is then globally optimized for all currently calibrated and possibly already calibrated cameras.

Danach wird bevorzugt die nächste noch nicht kalibrierte Kamera ausgewählt, deren Aufnahmen zu den Aufnahmen der bereits kalibrierten Kameras die die meisten Korrespondenzen enthält. Wenn möglich, werden vom Projektor generierte Korrespondenzen bei der Auswahl bevorzugt.Thereafter, the next not yet calibrated camera is preferably selected, whose recordings contain the most correspondences to the recordings of the already calibrated cameras. If possible, correspondence generated by the projector is preferred in the selection.

Die neu ausgewählte Kamera wird nun in gleicher Weise wie das erste Kamerapaar hinsichtlich der mindestens einen Eigenschaft kalibriert.The newly selected camera is now calibrated in the same way as the first pair of cameras with respect to the at least one property.

Dieses Vorgehen wird so lange durchgeführt, bis alle Kameras des 3D-Digitalisierungssystems 1 kalibriert sind.This procedure is carried out until all cameras of the 3D digitizing system 1 are calibrated.

Danach wird anhand der Aufnahmen unter Berücksichtigung der durchgeführten Kalibrierung das gewünschte 3D-Modell des zu digitalisierenden Objektes 8 erstellt.Thereafter, the desired 3D model of the object to be digitized is determined on the basis of the recordings taking into account the calibration carried out 8th created.

Optional kann vor der Erstellung des 3D-Modells noch eine metrische Skalierung mit Hilfe bekannter Kalibriermarken durchgeführt werden. Ferner können optional alle Projektoren 15 kalibriert werden, sofern aus den verwendeten Projektionsverfahren Korrespondenzen zum Projektor abgeleitet werden können.Optionally, a metric scaling can be performed using known calibration marks prior to the creation of the 3D model. Furthermore, optionally all projectors 15 calibrated, provided that correspondences can be derived to the projector from the projection methods used.

Die Kalibriermarken 9 und 10, die nachfolgend auch Kalibriermarker, Marker oder Marken 9, 10 genannt werden, die z.B. gedruckt ausgebildet sein können und ein eindeutig unterscheidbares Muster aufweisen, haben insbesondere die folgenden Funktionen. Die Kalibriermarken erzeugen optische Korrespondenzen zum Zusammenfügen einzelner Teilscans im Rahmen des Structure-from-Motion-Verfahrens. Ohne diese Kalibriermarken 9 können z.B. einfarbige Objekte und zur Drehachse symmetrische Objekte nur schwer gescannt werden. Kalibriermarken können alternativ oder ergänzend auch mittels einer oder mehrerer Projektionseinheiten (nicht gezeigt) im Bereich des aufzunehmenden Abschnittes (inkl. Objekt) projiziert werden. Diese Projektionseinheiten sind während des Scanprozesses (während der Aufnahmen) relativ zum Objekt 8 fixiert und bewegen sich bei einer Lageveränderung des Objektes 8 mit, so dass projizierte Merkmale ihre Position auf der Objektoberfläche bei unterschiedlicher Objektpositionierung (mittels 5.|[FJ1]) nicht verändern.The calibration marks 9 and 10 , which below also calibration markers, markers or marks 9 . 10 may be formed, for example, and have a clearly distinguishable pattern, in particular have the following functions. The calibration marks generate optical correspondences for assembling individual partial scans in the context of the structure-from-motion method. Without these calibration marks 9 For example, monochrome objects and objects symmetrical to the rotation axis are difficult to scan. Calibration marks can alternatively or additionally also be projected by means of one or more projection units (not shown) in the region of the section to be recorded (including object). These projection units are relative to the object during the scanning process (during shooting) 8th fixed and move with a change in position of the object 8th with, so that projected features do not change their position on the object surface with different object positioning (using 5. | [FJ1]).

Mittels der Kalibriermarken 9 können Bereiche im Messvolumen identifiziert werden und es können durch ihre räumliche Anordnung zusätzliche Metainformationen generiert werden, wie z.B. die Lage des Halters 5. Dies kann genutzt werden, um das Objekt 8 in den Aufnahmen automatisch freizustellen.By means of the calibration marks 9 For example, areas in the measurement volume can be identified, and additional spatial information can be generated by their spatial arrangement, such as the position of the holder 5 , This can be used to make the object 8th in the recordings automatically indemnify.

Durch Kenntnis der Größe der Kalibriermarker 9 ist der Maßstab in den Aufnahmen festgelegt. Ferner können sie zur Schätzung der Brennweite der Kameras herangezogen werden, wenn kein Startwert vorhanden ist (Autokalibrierung).By knowing the size of the calibration markers 9 the scale is set in the recordings. Furthermore, they can be used to estimate the focal length of the cameras if there is no starting value (auto-calibration).

Wenn der Halter 5 als Glastisch oder -platte ausgebildet ist, sind die Kalibriermarker 9 bevorzugt doppelseitige Marker 9. Die Größe der Kalibriermarker 9 und die Anzahl der Kalibriermarker 9 ist an das aufnehmbare Messvolumen bzw. die Größe des aufzunehmenden Objekts 8 angepasst.If the holder 5 is designed as a glass table or plate, are the calibration markers 9 preferably double-sided markers 9 , The size of the calibration markers 9 and the number of calibration markers 9 is due to the recordable measurement volume or the size of the object to be recorded 8th customized.

Ferner können schaltbare Kalibriermarker wie z.B. der Kalibriermarker 10 oder 9 vorgesehen werden. Sie können aus elektrochromen Beschichtungen oder Folien hergestellt sein. Diese können z.B. aus einem Polymer-Flüssigkristall-Film oder aus Wolframtrioxid- und/oder Polyanilin-Beschichtungen gebildet sein. Die Schichten bzw. Folien können durch Anlegen von Strom bzw. Spannung zwischen einem opaken und einem transparenten Zustand reversibel hin und her geschaltet werden.Furthermore, switchable calibration markers such as the calibration marker can be used 10 or 9 be provided. They can be made of electrochromic coatings or films. These may be formed, for example, from a polymer liquid crystal film or from tungsten trioxide and / or polyaniline coatings. The layers or films can be reversibly switched back and forth by applying current or voltage between an opaque and a transparent state.

Die Schichten oder Folien können auch auf dem Halter 5 aufgebracht werden, so dass eindeutige Kalibriermarker vorgesehen sind, die an- und ausgeschaltet werden können. Damit kann z.B. ein Verdecken des Objektes 8 durch die Kalibriermarker verhindert werden. In diesem Fall können dann z.B. Aufnahmen mit angeschalteten und ausgeschalteten Kalibriermarkern nacheinander gemacht werden, um Verdeckungen bei den Aufnahmen von unten zu vermeiden. Bei Aufnahmen von oben können die Marker angeschaltet werden oder kann die gesamte Glasplatte 5 auf opak geschaltet werden, um unerwünschte Reflexionen zu verhindern, die die Aufnahmen stören könnten.The layers or foils can also be on the holder 5 be applied so that unique calibration markers are provided, which can be switched on and off. This can eg hide the object 8th be prevented by the calibration markers. In this case, for example, recordings with the calibration markers turned on and off can then be taken one after the other, in order to avoid occlusion when taking pictures from below. When shooting from above, the markers can be turned on or can the entire glass plate 5 be switched to opaque to prevent unwanted reflections that could disturb the recordings.

Diese Marker können dazu genutzt werden, um Bereiche im Messvolumen zu identifizieren und sie können durch ihre räumliche Anordnung zusätzliche Metainformationen generieren, wie z.B. die Lage des Halters 5. Damit kann z.B. eine Freistellung des Objektes 8 automatisch durchgeführt werden.These markers can be used to identify areas in the measurement volume and, by their spatial arrangement, they can generate additional meta information, such as the position of the holder 5 , Thus, for example, an exemption of the object 8th be carried out automatically.

Ferner legen sie durch ihre Größe den Maßstab der Szene bzw. Aufnahme fest und können zur Schätzung der Brennweite herangezogen werden, wenn kein Startwert vorhanden ist (Autokalibrierung).Furthermore, their size determines the scale of the scene or recording and can be used to estimate the focal length if no start value is present (auto-calibration).

Die Kalibriermarker 9, 10 können auch als UV-sensitive und/oder IR-sensitive Kalibriermarker ausgebildet sein. Sie können z.B. mit Hilfe von UV-sensitiven Farben oder Schichten oder IRsensitiven Farben oder Schichten auf den Halter 5 aufgebracht werden. Die Marker sind dann so lange unsichtbar, so lange sie nicht durch eine entsprechende UV-Strahlung oder IR-Strahlung aktiviert werden und dann z.B. fluoreszieren oder phosphoreszieren.The calibration markers 9 . 10 can also be designed as UV-sensitive and / or IR-sensitive calibration markers. You can, for example, with the help of UV-sensitive inks or layers or IRsensitive colors or layers on the holder 5 be applied. The markers are then invisible as long as they are not activated by a corresponding UV radiation or IR radiation and then fluoresce or phosphoresce, for example.

Auch in diesem Fall können Aufnahmen mit aktivierten und nicht-aktivierten Kalibriermarkern nacheinander durchgeführt werden, um z.B. Verdeckungen bei den Aufnahmen von unten zu vermeiden.In this case too, recordings with activated and non-activated calibration markers can be carried out successively, in order, for example, to use To avoid occlusions when shooting from below.

Die Kalibriermarker können z. B. ein Relief und/oder Aussparungen aufweisen und mittels eines Ultraschallsensors detektiert werden.The calibration markers can, for. B. have a relief and / or recesses and are detected by means of an ultrasonic sensor.

Aufgrund der Nutzung der Kalibriermarker 9, 10 können zusätzliche Korrespondenzen generiert werden, die das Zusammenfügen der Teilscans (der einzelnen Aufnahmen in unterschiedlichen relativen Positionierungen) wesentlich robuster macht. Es wird damit praktisch immer möglich, alle Aufnahmen aus den verschiedenen relativen Positionierungen zusammenzufügen. Außerdem legen die Kalibriermarker den Maßstab fest und ermöglichen durch ihre Lageinformation automatisch das Freistellen des Objektes 8 und können zusätzliche Anhaltspunkte für die Autokalibrierung (Schätzung der Brennweite) liefern, die ansonsten unrobust bzw. nicht eindeutig bestimmt werden kann.Due to the use of the calibration markers 9 . 10 additional correspondences can be generated, which makes the joining of the partial scans (of the individual images in different relative positions) considerably more robust. It is thus almost always possible to combine all recordings from the different relative positions. In addition, the calibration markers set the scale and, through their position information, automatically enable the object to be cropped 8th and may provide additional clues for autocalibration (estimate of focal length) that otherwise can be unprostually determined.

Die Ausbildung der Kalibriermarker als schaltbare Marker führt insbesondere zu dem Vorteil, dass Verdeckungen des Objektes 8 sicher vermieden werden können.The formation of the calibration markers as switchable markers leads in particular to the advantage that occlusions of the object 8th can be safely avoided.

Da der beschriebene Sensorkopf 2, 3 die beiden Geometriekameras 12 und 13 einerseits und die Texturkamera 14 andererseits aufweist, können optimal an die Aufgabe angepasste Kameras ausgebildet und eingesetzt werden. So sind die Geometriekameras 12, 13 so gewählt, dass mit ihnen schnell eine hohe Anzahl von Aufnahmen durchgeführt werden kann. Die Texturkamera 14 ist hingegen so ausgebildet, dass sie eine möglichst gute Auflösung aufweist, wobei die Aufnahmegeschwindigkeit zwar abnimmt, jedoch mehr Details aufnehmbar sind. Trotz dieses unterschiedlichen Einsatzes der Kameras 12-14 ist z.B. für die Kamera 14 aufgrund des erfindungsgemäßen Verfahrens eine robuste Kalibrierung möglich, da die beschriebenen Korrespondenzen in den Aufnahmen genutzt werden, wie bereits beschrieben wurde.Because the described sensor head 2 . 3 the two geometry cameras 12 and 13 on the one hand and the texture camera 14 On the other hand, cameras optimally adapted to the task can be designed and used. That's the geometry cameras 12 . 13 chosen so that with them a high number of shots can be performed quickly. The texture camera 14 On the other hand, it is designed so that it has the best possible resolution, although the recording speed decreases, but more details can be recorded. Despite this different use of the cameras 12 - 14 is eg for the camera 14 Due to the method according to the invention a robust calibration possible, since the described correspondences are used in the recordings, as already described.

Ferner bringt der Einsatz der Kalibriermarker 9, 10 den Vorteil mit sich, dass mehrere Sensorköpfe 2, 3 und weitere Kameras 4 immer zuverlässig zusammen kalibriert werden können. Korrespondenzen zwischen den einzelnen Komponenten der Sensorköpfe 2 und 3 (Kameras, 12, 13, 14) und der Kamera 4 können dabei insbesondere durch die projizierten eindeutigen Muster erzeugt werden. Korrespondenzen eines Sensorkopfes 2, 3 in Abhängigkeit der relativen Positionierung zum Objekt 8 kann insbesondere durch die Kalibriermarken 9 erzielt werden. Somit können immer alle Kameras kalibriert werden, wobei z.B. die in Köhler beschriebene obligatorische Ausrichtung über die Geometrie für manche Datensätze entfällt. Dies gilt insbesondere bei der Nutzung des Halters 5 in Form eines Glastisches.Further, the use of the calibration markers brings 9 . 10 the advantage of having multiple sensor heads 2 . 3 and more cameras 4 always be reliably calibrated together. Correspondences between the individual components of the sensor heads 2 and 3 (Cameras, 12, 13, 14) and the camera 4 can be generated in particular by the projected unique pattern. Correspondences of a sensor head 2 . 3 depending on the relative positioning to the object 8th especially by the calibration marks 9 be achieved. Thus, all cameras can always be calibrated, with the obligatory alignment via geometry described in Köhler, for example, being omitted for some data sets. This is especially true when using the holder 5 in the form of a glass table.

Ferner ist es nicht mehr wie in Köhler notwendig, für jede im Sensorkopf 2, 3 benutzte Kamera pro relativer Positionierung des Sensorkopfs zum Objekt eine eigene virtuelle Kamera mit eigenen Parametern zu erzeugen. Die Kameras 12 bis 14 eines Sensorkopfes 2, 3 können sich nun z.B. die Fokallänge teilen, was die Kalibrierung robuster macht.Furthermore, it is no longer necessary, as in Köhler, for each in the sensor head 2 . 3 used camera per relative positioning of the sensor head to the object to create its own virtual camera with its own parameters. The cameras 12 to 14 a sensor head 2 . 3 For example, the focal length can now divide, making the calibration more robust.

Auch ist es nun möglich, eine globale Optimierung auf einer Teilpunktmenge durchzuführen. Bei Köhler werden die Parameter einschließlich der Positionen aller 3D-Punkte stets global optimiert. Im vorliegenden erfindungsgemäßen Verfahren können nun Superpixel definiert werden, die jeweils eine größere Sensorfläche abdecken. Pro Superpixel werden nicht alle Korrespondenzen verarbeitet, was die Kalibrierungsgeschwindigkeit wesentlich erhöht, da weniger 3D-Punkte optimiert werden müssen.Also, it is now possible to perform a global optimization on a partial point set. At Köhler, the parameters, including the positions of all 3D points, are always optimized globally. Superpixels which each cover a larger sensor area can now be defined in the present inventive method. Not every correspondence is processed per Superpixel, which significantly increases the calibration speed, as fewer 3D points need to be optimized.

Claims (12)

3D-Digitalisierungssystem mit einem ersten Sensorkopf (2, 3), der mindestens eine erste und eine zweite Kamera (12, 13) und einen Projektor (15) aufweist, einem Halter (5) zum Haltern eines zu digitalisierenden Objektes (8), einer Positioniereinrichtung (6), mit der verschiedene relative Positionierungen zwischen dem ersten Sensorkopf (2, 3) und dem Halter (5) einstellbar sind, und einer Steuereinheit (7), die den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass folgende Schritte durchgeführt werden: A) Einstellen der verschiedenen relativen Positionierungen, wobei in jeder der relativen Positionierungen A1) ein Muster auf einen Abschnitt des zu digitalisierenden Objektes (8) mittels des Projektors (15) projiziert wird und der Abschnitt mit dem projizierten Muster mit zumindest der ersten und der zweiten Kamera (12, 13) aufgenommen wird, A2) Aufnehmen des Abschnitts zusammen mit mindestens einer Kalibriermarke (9, 10), die am Halter (5) und/oder Objekt (8) angeordnet ist, mit der ersten und zweiten Kamera (12, 13; 4, 14); B) Kalibrieren mindestens einer Eigenschaft der Kameras (12-14, 4) durch die folgenden Schritte: B1) Auswählen von mindestens zwei Kameras, deren Aufnahmen Korrespondenzen aufweisen, B2) Kalibrieren der mindestens einen Eigenschaft für die im Schritt B1 ausgewählten Kameras, und C) Erstellen eines 3D-Modells des zu digitalisierenden Objektes (8) anhand der Aufnahmen unter Berücksichtigung der durchgeführten Kalibrierung.3D digitizing system comprising a first sensor head (2, 3) having at least a first and a second camera (12, 13) and a projector (15), a holder (5) for holding an object (8) to be digitized Positioning device (6), with which different relative positioning between the first sensor head (2, 3) and the holder (5) are adjustable, and a control unit (7), the first sensor head (2, 3) and the positioning device (6) is controlled so that the following steps are carried out: A) adjusting the different relative positioning, wherein in each of the relative positioning A1) a pattern is projected onto a portion of the object (8) to be digitized by means of the projector (15) and the section with the A2) recording the section together with at least one calibration mark (9, 10) on the holder (5) and / or object (8) is arranged with the first and second camera (12, 13, 4, 14); B) calibrating at least one characteristic of the cameras (12-14, 4) by the following steps: B1) selecting at least two cameras whose images have correspondences, B2) calibrating the at least one characteristic for the cameras selected in step B1, and C ) Creating a 3D model of the object to be digitized (8) based on the images taking into account the calibration performed. 3D-Digitalisierungssystem nach Anspruch 1, bei dem die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass nach dem Schritt B2 und vor dem Schritt C folgende Schritte ausgeführt werden: B3) Auswählen mindestens einer noch nicht kalibrierten Kamera, deren Aufnahme(n) Korrespondenzen zu mindestens einer Aufnahme mindestens einer der bereits kalibrierten Kameras aufweist, B4) Kalibrieren der mindestens einen Eigenschaft für die mindestens eine ausgewählte und nicht kalibrierte Kamera, B5) Wiederholen der Schritte B3 und B4 bis für alle Kameras des 3D-Digitalisierungssystems (1) die mindestens eine Eigenschaft kalibriert ist.3D digitizing system after Claim 1 in which the control unit (7) controls the first sensor head (2, 3) and the positioning device (6) so that after step B2 and before step C the following steps are carried out: B3) selecting at least one camera not yet calibrated, their recording (s) having correspondences to at least one photograph of at least one of the already calibrated cameras, B4) calibrating the at least one characteristic for the at least one selected and uncalibrated camera, B5) repeating steps B3 and B4 through for all cameras of the 3D Digitizing system (1) which calibrates at least one property. 3D-Digitalisierungssystem nach Anspruch 1 oder 2, das eine dritte Kamera (4, 14) aufweist, wobei mit der Positioniereinrichtung (6) verschiedene relative Positionierungen zwischen der dritten Kamera (4, 14) und dem Halter (5) einstellbar sind, und wobei im Schritt A2 der Abschnitt zusammen mit der mindestens einen Kalibriermarke (9, 10) mit der dritten Kamera (4, 14) aufgenommen wird.3D digitizing system after Claim 1 or 2 comprising a third camera (4, 14), wherein the positioning means (6) different relative positioning between the third camera (4, 14) and the holder (5) are adjustable, and wherein in step A2, the portion together with the at least one calibration mark (9, 10) is recorded with the third camera (4, 14). 3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass vor dem Schritt C eine metrische Skalierung unter Berücksichtigung der mindestens eine Kalibriermarke (9, 10) durchgeführt wird.3D digitizing system according to one of the above claims, in which the control unit (7) controls the first sensor head (2, 3) and the positioning device (6) such that, prior to step C, a metric scaling taking into account the at least one calibration mark (9, 10) is performed. 3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass vor dem Schritt C eine Kalibrierung des Projektors (15) durchgeführt wird.3D digitizing system according to one of the above claims, wherein the control unit (7) controls the first sensor head (2, 3) and the positioning device (6) so that a calibration of the projector (15) is performed before step C. 3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem die Steuereinheit (7) den ersten Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass der Schritt B2 und ggf. der Schritt B4 jeweils den Schritt einer globalen Optimierung der Kalibrierung für die zu kalibrierende(n) Kamera(s) und der eventuell schon kalibrierten Kamera(s) aufweist.3D digitizing system according to one of the above claims, in which the control unit (7) controls the first sensor head (2, 3) and the positioning device (6) such that the step B2 and optionally the step B4 each comprise the step of global optimization of the Calibration for the camera (s) to be calibrated and any calibrated camera (s). 3D-Digitalisierungssystem nach einer der obigen Ansprüche, bei dem mindestens eine Eigenschaft der Kamera ein intrinsischer Parameter und/oder ein extrinsischer Parameter der Kameras ist.A 3D digitizing system according to any one of the preceding claims, wherein at least one property of the camera is an intrinsic parameter and / or an extrinsic parameter of the cameras. 3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem die Schritte A1 und A2 als einzelner Schritt gleichzeitig ausgeführt werden.A 3D digitizing system according to any one of the preceding claims, wherein steps A1 and A2 are executed as a single step simultaneously. 3D-Digitalisierungssystem nach einem der obigen Ansprüche, bei dem in einem Schritt A3 ein einzigartiges Muster auf den gesamten Abschnitt des Objektes (8) projiziert und mittels aller Kameras (4, 12 - 14) aufgenommen wird, wobei die Aufnahme des Schrittes A3 in den Kalibrierungsschritten B und/oder im Schritt C berücksichtigt werdenA 3D digitizing system according to any one of the preceding claims, wherein in a step A3, a unique pattern is projected onto the entire portion of the object (8) and captured by all the cameras (4, 12-14), the taking of step A3 in the Calibration steps B and / or be considered in step C. 3D-Digitalisierungssystem nach einer der obigen Ansprüche, wobei mindestens ein weiterer Sensorkopf (2, 3), der mindestens eine erste und zweite Kamera und einen Projektor aufweist, vorgesehen ist, wobei die Positioniereinrichtung (6) verschiedene relative Positionierung zwischen dem mindestens einen weiteren Sensorkopf (2, 3) und dem Halter (5) einstellen kann, wobei die Steuereinheit (7) den ersten und den weiteren Sensorkopf (2, 3) und die Positioniereinrichtung (6) so ansteuert, dass im Schritt A1 der Abschnitt zusätzlich mit dem projizierten Muster des Projektors des weiteren Sensorkopfes mit der ersten und zweiten Kamera des weiteren Sensorkopfes aufgenommen wird und dass im Schritt A2 der Abschnitt zusätzlich zusammen mit mindestens einer Kalibriermarke mit der ersten und zweiten Kamera des weiteren Sensorkopfes (2, 3) aufgenommen wird.3D digitizing system according to one of the above claims, wherein at least one further sensor head (2, 3) having at least one first and second camera and a projector is provided, wherein the positioning device (6) can set different relative positioning between the at least one further sensor head (2, 3) and the holder (5), wherein the control unit (7) controls the first and the further sensor head (2, 3) and the positioning device ( 6) so that in step A1 the section is additionally recorded with the projected pattern of the projector of the further sensor head with the first and second camera of the further sensor head and that in step A2 the section additionally together with at least one calibration mark with the first and second Camera of the other sensor head (2, 3) is recorded. 3D-Digitalisierungsverfahren für ein 3D-Digitalisierungssystem mit einem ersten Sensorkopf (2, 3), der mindestens eine erste und eine zweite Kamera (12, 13) und einen Projektor (15) aufweist, einem Halter (5) zum Haltern eines zu digitalisierenden Objektes (8), einer Positioniereinrichtung (6), mit der verschiedene relative Positionierungen zwischen dem ersten Sensorkopf (2, 3) und dem Halter (5) einstellbar sind, wobei der erste Sensorkopf (2, 3) und die Positioniereinrichtung (6) so angesteuert werden, dass folgende Schritte durchgeführt werden: A) Einstellen der verschiedenen relativen Positionierungen, wobei in jeder der relativen Positionierungen A1) ein Muster auf einen Abschnitt des zu digitalisierenden Objektes (8) mittels des Projektors (15) projiziert wird und der Abschnitt mit dem projizierten Muster mit zumindest der ersten und der zweiten Kamera (12, 13) aufgenommen wird, A2) Aufnehmen des Abschnitts zusammen mit mindestens einer Kalibriermarke (9, 10), die am Halter (5) und/oder Objekt (8) angeordnet ist, mit der ersten und zweiten Kamera (12, 13; 4, 14); B) Kalibrieren mindestens einer Eigenschaft der Kameras (12-14, 4) durch die folgenden Schritte: B1) Auswählen von mindestens zwei Kameras, deren Aufnahmen Korrespondenzen aufweisen, B2) Kalibrieren der mindestens einen Eigenschaft für die im Schritt B1 ausgewählten Kameras, und C) Erstellen eines 3D-Modells des zu digitalisierenden Objektes (8) anhand der Aufnahmen unter Berücksichtigung der durchgeführten Kalibrierung.3D digitizing method for a 3D digitizing system comprising a first sensor head (2, 3) having at least a first and a second camera (12, 13) and a projector (15), a holder (5) for holding an object to be digitized (8), a positioning device (6), with the various relative positioning between the first sensor head (2, 3) and the holder (5) are adjustable, wherein the first sensor head (2, 3) and the positioning device (6) so controlled the following steps are carried out: A) adjusting the different relative positions, wherein in each of the relative positions A1) a pattern is projected onto a portion of the object (8) to be digitized by means of the projector (15) and the portion with the projected one A2) recording the section together with at least one calibration mark (9, 10) which is attached to the holder (5) and / or object (8) is arranged with the first and second camera (12, 13; 4, 14); B) calibrating at least one characteristic of the cameras (12-14, 4) by the following steps: B1) selecting at least two cameras whose images have correspondences, B2) calibrating the at least one characteristic for the cameras selected in step B1, and C ) Creating a 3D model of the object to be digitized (8) based on the images taking into account the calibration performed. 3D-Digitalisierungsverfahren nach Anspruch 11, bei dem nach Schritt B2 und vor dem Schritt C folgende Schritte durchgeführt werden: B3) Auswählen mindestens einer noch nicht kalibrierten Kamera, deren Aufnahme(n) Korrespondenzen zu mindestens einer Aufnahme mindestens einer der bereits kalibrierten Kameras aufweist, B4) Kalibrieren der mindestens einen Eigenschaft für die mindestens eine ausgewählte und nicht kalibrierte Kamera, B5) Wiederholen der Schritte B3 und B4 bis für alle Kameras des 3D-Digitalisierungssystems (1) die mindestens eine Eigenschaft kalibriert ist.3D digitizing method according to Claim 11 in which the following steps are performed after step B2 and before step C: B3) selecting at least one camera which has not yet been calibrated and whose image (s) have correspondences with at least one image of at least one of the already calibrated cameras; B4) calibrating the at least one Property for the at least one selected and uncalibrated camera, B5) Repeat steps B3 and B4 until all the cameras of the 3D digitizing system (1) have at least one feature calibrated.
DE102018109586.4A 2018-04-20 2018-04-20 3D digitizing system and 3D digitizing process Withdrawn DE102018109586A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102018109586.4A DE102018109586A1 (en) 2018-04-20 2018-04-20 3D digitizing system and 3D digitizing process
PCT/EP2019/059629 WO2019201836A1 (en) 2018-04-20 2019-04-15 3d digitalization system and 3d digitalization method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018109586.4A DE102018109586A1 (en) 2018-04-20 2018-04-20 3D digitizing system and 3D digitizing process

Publications (1)

Publication Number Publication Date
DE102018109586A1 true DE102018109586A1 (en) 2019-10-24

Family

ID=66223721

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018109586.4A Withdrawn DE102018109586A1 (en) 2018-04-20 2018-04-20 3D digitizing system and 3D digitizing process

Country Status (2)

Country Link
DE (1) DE102018109586A1 (en)
WO (1) WO2019201836A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023222493A1 (en) * 2022-05-19 2023-11-23 Isra Vision Gmbh Method, computer program, and device for aligning cameras

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19536297A1 (en) * 1995-09-29 1997-04-03 Daimler Benz Ag Geometric calibration of optical 3-D sensors for three=dimensional measurement of objects
US20160180511A1 (en) * 2014-12-22 2016-06-23 Cyberoptics Corporation Updating calibration of a three-dimensional measurement system
US20170054965A1 (en) * 2015-08-19 2017-02-23 Faro Technologies, Inc. Three-dimensional imager
DE102016118562A1 (en) * 2015-09-30 2017-03-30 Faro Technologies Inc. THREE-DIMENSIONAL IMAGE DEVICE CONTAINING A DICHROITIC CAMERA
DE102017109854A1 (en) * 2017-05-08 2018-11-08 Wobben Properties Gmbh Method for referencing a plurality of sensor units and associated measuring device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101995231B (en) * 2010-09-20 2012-07-18 深圳大学 Three-dimensional detection system for surface of large thin-shell object and detection method thereof
CN103267491B (en) * 2012-07-17 2016-01-20 深圳大学 The method and system of automatic acquisition complete three-dimensional data of object surface
CN104299261B (en) * 2014-09-10 2017-01-25 深圳大学 Three-dimensional imaging method and system for human body
GB2532077B (en) * 2014-11-10 2017-11-22 Vision Rt Ltd Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus
DE102015122842B4 (en) * 2015-12-27 2019-02-07 Faro Technologies, Inc. Method for calibrating a 3D measuring device by means of a calibration plate

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19536297A1 (en) * 1995-09-29 1997-04-03 Daimler Benz Ag Geometric calibration of optical 3-D sensors for three=dimensional measurement of objects
US20160180511A1 (en) * 2014-12-22 2016-06-23 Cyberoptics Corporation Updating calibration of a three-dimensional measurement system
US20170054965A1 (en) * 2015-08-19 2017-02-23 Faro Technologies, Inc. Three-dimensional imager
DE102016118562A1 (en) * 2015-09-30 2017-03-30 Faro Technologies Inc. THREE-DIMENSIONAL IMAGE DEVICE CONTAINING A DICHROITIC CAMERA
DE102017109854A1 (en) * 2017-05-08 2018-11-08 Wobben Properties Gmbh Method for referencing a plurality of sensor units and associated measuring device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023222493A1 (en) * 2022-05-19 2023-11-23 Isra Vision Gmbh Method, computer program, and device for aligning cameras

Also Published As

Publication number Publication date
WO2019201836A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
DE19983341B4 (en) Method and device for acquiring stereoscopic images using image sensors
EP2079981B1 (en) Device and method for the contactless detection of a three-dimensional contour
EP1181814B1 (en) Method for detecting and representing one or more objects, for example teeth
DE10344922B4 (en) All-scanner
DE102006055758B4 (en) Method for calibrating cameras and projectors
EP2880853B1 (en) Apparatus and method for determining the distinct location of an image-recording camera
DE102017109039A1 (en) Method for calibrating a camera and a laser scanner
EP3558160B1 (en) Camera alignment or scanning apparatus method with a dental reference element
DE102007054906A1 (en) Method for optical measurement of the three-dimensional geometry of objects
DE19502459A1 (en) Three dimensional optical measurement of surface of objects
WO2016146105A1 (en) Method and device for calibrating a camera
DE3634189A1 (en) DEVICE FOR GENERATING AN ILLUSTRATIVE SIGNAL
DE102016002186A1 (en) Method and image processing device for determining a geometric measured variable of an object
EP1906655B1 (en) Method for correcting distortions in perspective of a lens system
EP3711289B1 (en) Method for automatically restoring a calibrated state of a projection system
EP2019961A1 (en) Method for generating image information
EP3628995A1 (en) Calibration template and calibration method for geometric calibration of a plurality of cameras of a camera array
DE102018109586A1 (en) 3D digitizing system and 3D digitizing process
DE19953063A1 (en) Method for three-dimensional optical measurement of object surfaces
WO2009018894A1 (en) Method and device for determining geometric data of a measured object
WO2006013074A2 (en) Arrangement for the imaging of surface structures of three-dimensional objects
DE19835303B4 (en) Process for generating and evaluating a sample engraving
EP3900318A1 (en) Apparatus having a multi-aperture imaging apparatus for accumulating image information
EP0919784A2 (en) Device to determine three dimensional data from objects
DE102019201600A1 (en) Method for generating a virtual, three-dimensional model of a real object, system for generating a virtual, three-dimensional model, computer program product and data carrier

Legal Events

Date Code Title Description
R163 Identified publications notified
R083 Amendment of/additions to inventor(s)
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee