DE102009040981A1 - Method for three-dimensional reconstruction of objects for projecting pattern sequences on reconstructing object, involves detecting pattern sequences in form of pattern views, which are compared with each other in different image views - Google Patents

Method for three-dimensional reconstruction of objects for projecting pattern sequences on reconstructing object, involves detecting pattern sequences in form of pattern views, which are compared with each other in different image views Download PDF

Info

Publication number
DE102009040981A1
DE102009040981A1 DE102009040981A DE102009040981A DE102009040981A1 DE 102009040981 A1 DE102009040981 A1 DE 102009040981A1 DE 102009040981 A DE102009040981 A DE 102009040981A DE 102009040981 A DE102009040981 A DE 102009040981A DE 102009040981 A1 DE102009040981 A1 DE 102009040981A1
Authority
DE
Germany
Prior art keywords
image
pattern
views
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009040981A
Other languages
German (de)
Inventor
Richard Prof. Dr. Kowarschik
Marcus Große
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Friedrich Schiller Universtaet Jena FSU
Original Assignee
Friedrich Schiller Universtaet Jena FSU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Friedrich Schiller Universtaet Jena FSU filed Critical Friedrich Schiller Universtaet Jena FSU
Priority to DE102009040981A priority Critical patent/DE102009040981A1/en
Publication of DE102009040981A1 publication Critical patent/DE102009040981A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Abstract

The method involves detecting pattern sequences in the form of pattern views, which are compared with each other in different image views. One or multiple corresponding pixels or image pixels are assigned to the selected pixels. An assigned surface area of the image view including image pixels is determined by the selected image pixels of the former image view and by the image pixels of latter image view.

Description

Die Erfindung betrifft ein Verfahren zur dreidimensionalen Rekonstruktion von Objekten, bei dem Mustersequenzen auf das Objekt projiziert werden, die in standortunterschiedlichen Bildansichten als korrespondierende Bildmuster des Objekts detektiert werden. Aus dem Vergleich dieser unterschiedlichen Bildmuster werden Rauminformationen für die dreidimensionale Rekonstruktion des Objektes gewonnen.The invention relates to a method for the three-dimensional reconstruction of objects, in which pattern sequences are projected onto the object, which are detected in location-different image views as corresponding image patterns of the object. From the comparison of these different image patterns, spatial information for the three-dimensional reconstruction of the object is obtained.

Es sind zahlreiche Verfahren zur strukturierten Beleuchtung bekannt (z. B. J. Salvi, J. Pagès, J. Batlle: Pattern codification strategies in structured light systems, Pattern Recognition, 2004, 37(4), 827–849 ). Die Streifenprojektion ist der prominenteste Vertreter, welcher in zahlreichen Modifikationen auch industriell zur Oberflächenkontrolle eingesetzt wird. Um die Mehrdeutigkeiten bei der Auswertung zu umgehen, werden zusätzlich zur Streifenprojektion in der Regel Graycode-Sequenzen auf das Objekt projiziert. Dadurch ist die Zahl der notwendigen Musteraufnahmen eines Objektes im Wesentlichen vorgegeben und relativ hoch, was mit einem hohen Verfahrens- und Auswerteaufwand verbunden ist. Da die Mustersequenz eine fest definierte Struktur aufweisen muss (feste Streifensequenz, feste Graycodesequenz) und es sich um sehr spezifische Muster handelt, werden hohe Anforderungen an die Musterprojektionseinheit gestellt, was die Musterprojektionsrate auf 60 Bilder pro Sekunde begrenzt. Daher ist die minimale Messzeit dieses Verfahrens nach unten begrenzt und damit ebenfalls die maximal mögliche Anzahl an 3D-Messungen pro Sekunde. Insbesondere zur Qualitätskontrolle im Fließbandbetrieb sind aber hohe Messraten erwünscht. Es lassen sich mit dem Verfahren keine bewegten Objekte vermessen.Numerous methods of structured illumination are known (eg. J. Salvi, J. Pages, J. Batlle: Pattern Codification Strategies in Structured Light Systems, Pattern Recognition, 2004, 37 (4), 827-849 ). The fringe projection is the most prominent representative, which is also used industrially for surface inspection in numerous modifications. To avoid the ambiguities in the evaluation, Graycode sequences are usually projected onto the object in addition to the fringe projection. As a result, the number of necessary pattern recordings of an object is substantially predetermined and relatively high, which is associated with a high processing and evaluation effort. Since the pattern sequence must have a well-defined structure (fixed stripe sequence, fixed graycode sequence) and are very specific patterns, high demands are placed on the pattern projection unit, which limits the pattern projection rate to 60 frames per second. Therefore, the minimum measurement time of this method is limited downwards and thus also the maximum possible number of 3D measurements per second. In particular, for quality control in assembly line operation but high measurement rates are desired. It can be measured with the method no moving objects.

Bekannt ist auch ein Verfahren nach Michaelis aus dem Jahr 1996 ( DE 196 23 172 C1 ) zur dreidimensionalen optischen Vermessung von Objektoberflächen, bei dem aus beliebigen Mustersequenzen des Objekts Punktkorrespondenzen für die Rekonstruktion gewonnen werden. In diesem Verfahren wird die zeitliche Änderung der detektierten Bilder unterschiedlicher Bildansichten miteinander verglichen, um die besagten Punktkorrespondenzen ableiten zu können. Die Punktsuche ist bei Michaelis für einen gegebenen Pixel auf die Umgebung der zugehörigen Epipolarlinie beschränkt, so dass die Kalibrierung des Systems bereits vor der Messung durchgeführt werden muss. Auch bei diesem Verfahren ist eine Vielzahl auszuwertender Bildansichten von Mustersequenzen erforderlich, um eindeutige Punktkorrespondenzen für die Rekonstruktion gewinnen zu können, woraus wiederum der bereits besagte hohe Verfahrens- und Auswerteaufwand resultiert. Zwar ist bei diesem Verfahren die minimale Mustersequenzlänge nicht festgelegt, so dass auch sehr kurze Messzeiten realisiert werden könnten, jedoch steigt die Ausreißeranzahl bei abnehmender Sequenzlänge stark an, so dass bei den gewünschten Messsequenzlängen keine befriedigende Ergebnisse erzielt werden. Daher lassen sich mit den bekannten Lösungen keine bewegten Objekte exakt vermessen.Also known is a method according to Michaelis from 1996 ( DE 196 23 172 C1 ) for the three-dimensional optical measurement of object surfaces, in which point correspondences for the reconstruction are obtained from arbitrary pattern sequences of the object. In this method, the temporal change of the detected images of different image views is compared with one another in order to be able to derive said point correspondences. For Michaelis, the point search is limited to the environment of the associated epipolar line for a given pixel, so that the calibration of the system must be carried out before the measurement. In this method too, a multiplicity of image views of pattern sequences to be evaluated is required in order to be able to obtain unambiguous point correspondences for the reconstruction, which in turn results in the already mentioned high process and evaluation effort. Although in this method the minimum pattern sequence length is not fixed, so that very short measurement times could be realized, however, the outlier number increases sharply as the sequence length decreases, so that satisfactory results are not achieved for the desired measurement sequence lengths. Therefore, with the known solutions no moving objects can be measured accurately.

Bei allen Verfahren der strukturierten Beleuchtung kommt es zu Fehlzuordnungen von Punktkorrespondenzen, welche in der Regel nach der 3D-Rekonstruktion des Objektes aus der Messpunktwolke entfernt werden. Eine der Punktzuordnung nachgelagerte Ausreißerunterdrückung ist aufwendig, da die dreidimensionalen Lagen der Punkte zueinander analysiert werden müssen, woraus ein hoher Verfahrensaufwand resultiert.In all methods of structured illumination, there are misallocations of point correspondences, which are usually removed from the measuring point cloud after the 3D reconstruction of the object. Outlier suppression downstream of the point assignment is complicated because the three-dimensional positions of the points must be analyzed with respect to each other, resulting in a high process outlay.

Der Erfindung liegt die Aufgabe zu Grunde, die dreidimensionale Rekonstruktion von Objekten zu verbessern und den Verfahrensaufwand zu reduzieren.The invention is based on the object to improve the three-dimensional reconstruction of objects and to reduce the complexity of the procedure.

Erfindungsgemäß werden jeweils ein oder mehrere aus dem Vergleich der unterschiedlichen Musteransichten anhand der Ähnlichkeit der Bildinformationen der Abfolge dieser Musteransichten gefundene korrespondierende Bildpunkte oder Bildpixel dem ausgewählten Bildpunkt oder Bildpixel lediglich als mögliche Korrespondenzpartner zugeordnet, ohne diese Zuordnung bereits als Ergebnis der Ähnlichkeitssuche zu entscheiden.According to the invention, one or more corresponding pixels or image pixels found from the comparison of the different pattern views based on the similarity of the image information of the sequence of these pattern views are respectively assigned to the selected pixel or image pixel merely as possible correspondence partners without already deciding this assignment as a result of the similarity search.

Von dem ausgewählten Bildpunkt oder Bildpixel der ersten Bildansicht sowie von den ein oder mehreren als mögliche Korrespondenzpartner zugeordneten Bildpunkten oder Bildpixeln der zumindest einen anderen Bildansicht wird daraufhin jeweils ein zugeordneter und den Bildpunkt oder Bildpixel jeweils einschließender Flächenbereich der Bildansichten festgelegt.From the selected pixel or image pixel of the first image view as well as the one or more pixels or image pixels of the at least one other image view assigned as possible correspondence partners, an assigned surface area of the image views is then respectively defined and the pixel or image pixel respectively enclosing.

Die detektierten Musteransichten der in den Bildansichten festgelegten Flächenbereiche werden nun in einem zweiten Vergleichsprozess in ihrer Abfolge auf Ähnlichkeit der zugehörigen Bildinformationen dieser Flächenbereiche untersucht, wobei aus der jeweiligen Bildinformations-Ähnlichkeit dieser Flächenbereiche für die verglichenen detektierten Musteransichten der zum ausgewählten Bildpunkt oder Bildpixel der ersten Bildansicht nunmehr tatsächlich korrespondierende Bildpunkt oder Bildpixel der zumindest einen anderen Bildansicht ermittelt und als Vergleichsergebnis definiert wird.The detected pattern views of the areas defined in the image views are now examined in a second comparison process in their sequence on similarity of the associated image information of these areas, from the respective image information similarity of these areas for the compared detected pattern views of the selected pixel or image pixel of the first image view now actually corresponding pixel or image pixel of at least one other image view is determined and defined as a comparison result.

Somit wird der zur ersten Bildansicht besagte tatsächlich korrespondierende Bildpunkt oder Bildpixel der zumindest einen anderen Bildansicht im Gegensatz zum eingangs genannten Stand der Technik nicht unmittelbar anhand des Ähnlichkeitsvergleichs der bildpunkt- oder bildpixelrelevanten Bildinformationen der Abfolge dieser Musteransichten definiert, sondern erst nach dem anschließenden Vergleichsprozess der Abfolge der Bildinformationen hinsichtlich der Ähnlichkeit der zu den ausgewählten Bildpunkten oder Bildpixeln festgelegten Flächenbereiche bestimmt.Thus, in contrast to the aforementioned prior art, the actually corresponding pixel or image pixel of the at least one other image view referred to the first image view is not defined directly on the basis of the similarity comparison of the image pixel or image pixel-relevant image information of the sequence of these pattern views, but determined only after the subsequent comparison process of the sequence of image information with respect to the similarity of the specified to the selected pixels or image pixels surface areas.

Wenngleich für die vorgeschlagene Methode zwei Vergleichsprozesse initiiert werden (der erste Vergleich zur Ermittlung einer Menge aus einem oder mehreren möglichen Korrespondenzpartnern und der zweite Vergleich zur Entscheidung des tatsächlichen Korrespondenzpartners aus der besagten Menge des oder der im ersten Vergleich gefundenen möglichen Korrespondenzpartner), ist der Verfahrensaufwand zur Bestimmung des tatsächlichen korrespondierenden Bildpunktes oder Bildpixels wesentlich verringert, da durch das zweite Vergleichskriterium Fehlzuordnungen vermieden werden und damit die notwendige Mustersequenzlänge deutlich verkleinert wird, welche nötig ist, um eine störungsfreie Rekonstruktion des Objektes durchzuführen. Auch ist der Rechenaufwand aufgrund der kleineren Mustersequenzlänge trotz des zweiten Vergleichsschrittes geringer als bei dem eingangs beschriebenen Verfahren nach Michaelis.Although two comparison processes are initiated for the proposed method (the first comparison for determining a set of one or more possible correspondent partners and the second comparison for the decision of the actual correspondent from the said set of possible match partners or those found in the first comparison) is the process overhead is significantly reduced for the determination of the actual corresponding pixel or image pixel, as the second comparison criterion avoids misallocations and thus significantly reduces the necessary pattern sequence length which is necessary to perform a trouble-free reconstruction of the object. Also, the computational effort due to the smaller pattern sequence length despite the second comparison step is lower than in the method described in Michaelis described above.

Die Anzahl der notwendigen Multiplikationen wird von A·A·N auf A·A·N/2 + A·N reduziert (A = Auflösung des Detektors, N = bisherige Mustersequenzlänge, N = 20). Da A sehr groß (A > 300000) ist, halbiert sich der Rechenaufwand also näherungsweise.The number of multiplications required is reduced from A · A · N to A · A · N / 2 + A · N (A = resolution of the detector, N = previous pattern sequence length, N = 20). Since A is very large (A> 300000), the computational effort is approximately halved.

Außerdem ist aufgrund der kleineren Mustersequenzlänge die Datenmenge verringert, die von den Detektoren zur Auswerteeinheit übertragen werden muss. Damit sinkt die Übertragungszeit der Daten und die Messfrequenz erhöht sich (Anzahl 3D-Rekonstruktionen pro Sekunde). Weiterhin wird zur Archivierung der Messdaten vorteilhafter Weise weniger Speicherplatz benötigt.In addition, due to the smaller pattern sequence length, the amount of data that has to be transmitted from the detectors to the evaluation unit is reduced. This reduces the transmission time of the data and the measuring frequency increases (number of 3D reconstructions per second). Furthermore, less storage space is advantageously required for archiving the measured data.

Durch die kleinere Mustersequenzlänge wird die Messzeit deutlich gesenkt, wodurch sich die Messfrequenz erhöht.Due to the smaller pattern sequence length, the measurement time is significantly reduced, which increases the measurement frequency.

Darüber hinaus werden sogenannte Ausreißer bereits während der Punktzuordnung unterdrückt, und es wird daher keine nachgelagerte aufwendige Ausreißerentfernung erforderlich.In addition, so-called outliers are already suppressed during the point assignment, and therefore no downstream costly outlier removal is required.

Die vorgeschlagene Methode ermöglicht weiterhin eine Objektrekonstruktion für bewegte Objekte, da, wie vorgenannt, die Messzeit deutlich gesenkt wird und im Gegensatz zur Streifenprojektion keine festen Sequenzlängen zur Rekonstruktion notwendig sind, weshalb aus einer kontinuierlichen Bildsequenz aus jeder Untersequenz eine 3D-Rekonstruktion durchgeführt werden kann.The proposed method further enables object reconstruction for moving objects, since, as mentioned above, the measurement time is significantly reduced and unlike strip projection no fixed sequence lengths are necessary for reconstruction, which is why a 3D reconstruction can be performed from a continuous image sequence from each subsequence.

Aufgrund der beliebigen Natur der Muster können auch unkonventionelle Verfahren zur Lichtstrukturerzeugung verwendet werden, welche die Limitierungen gewöhnlicher Projektionstechnik (60 Hz) umgehen. In Kombination mit der verkürzten notwendigen Mustersequenzlänge können sehr kurze Messzeiten erreicht werden, in denen selbst bewegte Objekte quasi „still stehen”.Due to the random nature of the patterns, it is also possible to use unconventional methods of light structure generation that circumvent the limitations of conventional projection technology (60 Hz). In combination with the shortened sample sequence length, very short measurement times can be achieved, in which even moving objects virtually "stand still".

Die Erfindung soll nachstehend anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert werden.The invention will be explained in more detail below with reference to an embodiment shown in the drawing.

Es zeigen:Show it:

1: schematischer Aufbau einer Messvorrichtung zur dreidimensionalen Rekonstruktion eines Objektes über den Vergleich von Bildmustern zweier standortunterschiedlich aufgenommener Bildansichten 1 FIG. 2 shows a schematic structure of a measuring apparatus for the three-dimensional reconstruction of an object via the comparison of image patterns of two image views taken at different locations

2: für einen ersten Vergleich der korrespondierenden Musterbildpaare ausgewählter Bildpunkt (linke Abbildung) der einen Bildansicht sowie aus dem Vergleich ermittelter Bildpunkt (rechte Abbildung) der anderen Bildansicht 2 : for a first comparison of the corresponding pattern image pairs selected pixel (left image) of the one image view and from the comparison determined pixel (right image) of the other image view

3: Festlegung von Flächenbereichen zu dem ermittelten Bildpunktpaar in den unterschiedlichen Bildansichten gemäß 2 für einen zweiten Vergleichsprozess der korrespondierenden Musterbildpaare 3 : Definition of surface areas to the determined pixel pair in the different image views according to 2 for a second comparison process of the corresponding pattern image pairs

1 zeigt ein zu rekonstruierendes dreidimensionales Objekt 1, welches durch einen DLP-Projektor 2 (DLP: Digital Light Processing), gesteuert über einen Rechner 3, mit einer Serie optischer Mustersequenzen (aus Übersichtsgründen nicht näher dargestellt) bestrahlt wird. Die auf das Objekt 1 projizierten optischen Mustersequenzen werden von zwei standortunterschiedlichen CCD-Kameras 4, 5 synchron in unterschiedlichen Bildansichten des Objekts 1 jeweils als Paare korrespondierender Musteransichten aufgenommen. Zur Auswertung dieser korrespondieren Musteransichten stehen die CCD-Kameras 4, 5 ausgangsseitig mit dem Rechner 3 in Verbindung. Für die synchrone Aufnahme der Paare der korrespondierenden Musteransichten werden die CCD-Kameras 4, 5 auf an sich bekannte Weise kalibriert. 1 shows a three-dimensional object to be reconstructed 1 which is powered by a DLP projector 2 (DLP: Digital Light Processing), controlled by a computer 3 , with a series of optical pattern sequences (not shown in detail) is irradiated. The on the object 1 projected optical pattern sequences are from two different location CCD cameras 4 . 5 synchronous in different image views of the object 1 each received as pairs of corresponding pattern views. The CCD cameras are used to evaluate these corresponding pattern views 4 . 5 on the output side with the computer 3 in connection. For the synchronous recording of the pairs of the corresponding pattern views, the CCD cameras 4 . 5 calibrated in a known per se.

Im Rechner 3 werden die von den CCD-Kameras 4, 5 gelieferten Daten ausgewertet, indem jeweils die Paare der korrespondierenden Musteransichten miteinander verglichen werden. Hierzu wird zunächst in der Bildansicht der CCD-Kamera 4 und damit für die Folge aller durch diese aufgenommenen Musteransichten des Objekts 1 ein Bildpunkt 6 ausgewählt. 2 zeigt links schematisch ein Bildraster 7 der CCD-Kamera 4 mit dem ausgewählten Bildpunkt 6. Anschließend wird der zeitliche Verlauf der Bildinformationen (Farb- oder Grauwertverlauf) dieses ausgewählten Bildpunktes für die gesamte von der CCD-Kamera 4 aufgenommene Abfolge der Musteransichten vom Objekt 1 rechentechnisch mit dem zeitlichen Verlauf der Bildinformationen (Farb- oder Grauwertverlauf) jedes Bildpunktes der für die gesamte von der CCD-Kamera 5 aufgenommene Abfolge der Musteransichten vom Objekt 1 verglichen. Aus diesem Vergleich wird aus einem Bildraster 8 der CCD-Kamera 5 (vgl. 2, rechte Abbildung) derjenige Bildpunkt 9 ermittelt, dessen zeitlicher Verlauf der Bildinformationen (Farb- oder Grauwertverlauf) der Musteransichten von der CCD-Kamera 5 zu dem zeitlichen Verlauf der Bildinformationen der Musteransichten von der CCD-Kamera 4 die größte Ähnlichkeit ausweist. Übersteigt die Korrelation der Bildpunkte 6, 9 einen vorgegebenen Schwellwert, so werden dieses Bildpunktpaar als potentielles Korrespondenzpaar erfasst und der Bildpunkt 9 dem ausgewählten Bildpunkt 6 als möglicher Korrespondenzpartner zugeordnet.In the calculator 3 Be the ones from the CCD cameras 4 . 5 evaluated data by each of the pairs of the corresponding pattern views are compared. This is done first in the image view of the CCD camera 4 and hence for the sequence of all the pattern views of the object taken by them 1 a pixel 6 selected. 2 shows on the left schematically a picture grid 7 the CCD camera 4 with the selected one pixel 6 , Subsequently, the temporal course of the image information (color or grayscale) of this selected pixel for the whole of the CCD camera 4 recorded sequence of pattern views of the object 1 computationally with the temporal course of the image information (color or grayscale) of each pixel of the whole of the CCD camera 5 recorded sequence of pattern views of the object 1 compared. This comparison is made from a picture grid 8th the CCD camera 5 (see. 2 , right figure) the pixel 9 determines the time course of the image information (color or gray scale) of the pattern views from the CCD camera 5 on the timing of the image information of the pattern views from the CCD camera 4 indicates the greatest similarity. Exceeds the correlation of the pixels 6 . 9 a predetermined threshold, so this pair of pixels are detected as a potential correspondence pair and the pixel 9 the selected pixel 6 assigned as possible correspondence partner.

Für einen zweiten rechentechnischen Vergleichsprozess werden zu den Bildpunkten 6, 9 jeweils den Bildpunkt 6 bzw. 9 einschließende korrespondierende Flächenbereiche (10, 11) festgelegt, deren zeitliche Verläufe der Bildinformationen der jeweiligen Musteransichten von der CCD-Kamera 4 bzw. der CCD-Kamera 5 (nach demselben Prinzip des ersten Vergleichs zur Ermittlung des Bildpunktes 9 als möglicher Korrespondenzpartner) nun ebenfalls miteinander verglichen werden (siehe 3). Auf diese Weise werden die Flächenbereiche (10, 11) nun Bildpaar für Bildpaar (Musteransichten der CCD-Kameras 4, 5) auf Ähnlichkeit der besagten Flächenbereiche hinsichtlich der Bildinformationsverläufe durch normierte Kreuzkorrelation untersucht. Übersteigt die aus dem Vergleich der Musterbildpaare ermittelte Ähnlichkeit einen vorgegebenen Schwellwert, so wird das potentielle Korrespondenzpaar der Bildpunkte 6, 9 als tatsächliches Korrespondenzpaar registriert.For a second computational comparison process become the pixels 6 . 9 each the pixel 6 respectively. 9 enclosing corresponding surface areas ( 10 . 11 ) whose temporal profiles of the image information of the respective pattern views of the CCD camera 4 or the CCD camera 5 (according to the same principle of the first comparison for the determination of the pixel 9 as a possible correspondent partner) are now also compared with each other (see 3 ). In this way, the surface areas ( 10 . 11 ) now image pair for image pair (pattern views of the CCD cameras 4 . 5 ) were examined for similarity of said surface areas with respect to the image information courses by normalized cross-correlation. If the similarity determined from the comparison of the pattern image pairs exceeds a predefined threshold value, then the potential correspondence pair of the pixels becomes 6 . 9 registered as an actual correspondence pair.

Wird im vorbeschriebenen ersten Vergleichsprozess nicht nur der besagte Bildpunkt 9 als möglicher Korrespondenzpartner, sondern aufgrund festgestellter Ähnlichkeit noch ein oder mehrere weitere Bildpunkte (aus Übersichtsgründen nicht in der Zeichnung dargestellt) gefunden, so wird die Prozedur des zweiten Vergleichs (Vergleich der jeweiligen korrespondierenden Flächenbereiche) zu dem jeweiligen Bildpunkt für jeden gefundenen möglichen Korrespondenzpartner (ermittelten Bildpunkt in der Bildansicht der CCD-Kamera 5) durchgeführt. Aus all den Vergleichen der zeitlichen Verläufe der Bildinformationen der Musteransichten des Objekts 1 werden in der Bildansicht der CCD-Kamera 5 derjenige Flächenbereich bestimmt, der die größte Ähnlichkeit mit dem Flächenbereich des ausgewählten Bildpunktes 6 der Bildansicht der CCD-Kamera 4 aufweist, und der betreffende Bildpunkt als tatsächlicher korrespondierender Bildpunktpartner zum ausgewählten Bildpunkt 6 ermittelt.In the above-described first comparison process, not only the aforementioned pixel 9 as a possible correspondence partner, but due to established similarity still one or more other pixels (not shown in the drawing for reasons of clarity) found, the procedure of the second comparison (comparison of the respective corresponding surface areas) to the respective pixel for each possible correspondence partner found (determined Pixel in the image view of the CCD camera 5 ) carried out. From all the comparisons of the time histories of the image information of the pattern views of the object 1 be in the picture view of the CCD camera 5 the surface area determines the greatest similarity with the surface area of the selected pixel 6 the picture view of the CCD camera 4 and the relevant pixel as the actual corresponding pixel partner to the selected pixel 6 determined.

Über die bekannten Kalibrierparameter kann in an sich bekannter Weise die 3D-Koordinate zu jedem tatsächlichen Korrespondenz-Bildpunktpaar ermittelt werden.About the known calibration parameters, the 3D coordinate to each actual correspondence pixel pair can be determined in a conventional manner.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Objektobject
22
DLP-ProjektorDLP projector
33
Rechnercomputer
4, 64, 6
CCD-KameraCCD camera
66
ausgewählter Bildpunkt (in der Bildansicht der CCD-Kamera 4)selected pixel (in the image view of the CCD camera 4 )
7, 87, 8
Bildrasterraster image
99
gefundener Bildpunkt (in der Bildansicht der CCD-Kamera 5)found pixel (in the image view of the CCD camera 5 )
10, 1110, 11
Flächenbereich (mit dem jeweiligen Bildpunkt 6 bzw. 9)Surface area (with the respective pixel 6 respectively. 9 )

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 19623172 C1 [0003] DE 19623172 C1 [0003]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • J. Salvi, J. Pagès, J. Batlle: Pattern codification strategies in structured light systems, Pattern Recognition, 2004, 37(4), 827–849 [0002] J. Salvi, J. Pages, J. Batlle: Pattern Codification Strategies in Structured Light Systems, Pattern Recognition, 2004, 37 (4), 827-849 [0002]

Claims (16)

Verfahren zur dreidimensionalen Rekonstruktion von Objekten, bei dem auf das zu rekonstruierende Objekt Mustersequenzen projiziert werden, die jeweils in unterschiedlicher Bildansicht, beispielsweise durch wenigstens zwei standortunterschiedliche Kameras, als Musteransichten detektiert und miteinander verglichen werden, indem zumindest ein Bildpunkt oder Bildpixel einer ersten Bildansicht ausgewählt wird und die zumindest eine andere Bildansicht anhand der Abfolge der Bildinformationen der detektierten Musteransichten zur Ermittlung eines korrespondierenden Bildpunktes oder Bildpixels jeweils auf größte Ähnlichkeit geprüft wird, und bei dem aus den gefundenen korrespondierenden Bildpunkt oder Bildpixeln der detektierten Musteransichten des Objekts die Rauminformationen zur dreidimensionalen Rekonstruktion des Objekts gewonnen werden, dadurch gekennzeichnet, dass jeweils ein oder mehrere aus dem Vergleich der unterschiedlichen Musteransichten anhand der Ähnlichkeit der Bildinformationen der Abfolge dieser Musteransichten gefundene korrespondierende Bildpunkt oder Bildpixel dem ausgewählten Bildpunkt oder Bildpixel lediglich als mögliche Korrespondenzpartner zugeordnet werden, dass von dem ausgewählten Bildpunkt oder Bildpixel der ersten Bildansicht sowie von den ein oder mehreren als mögliche Korrespondenzpartner zugeordneten Bildpunkten oder Bildpixeln der zumindest einen anderen Bildansicht jeweils ein zugeordneter und den Bildpunkt oder Bildpixel jeweils einschließender Flächenbereich der Bildansichten festgelegt wird, dass die detektierten Musteransichten der in den Bildansichten festgelegten Flächenbereiche in ihrer Abfolge auf Ähnlichkeit der zugehörigen Bildinformationen dieser Flächenbereiche untersucht werden und dass aus der jeweiligen Bildinformations-Ähnlichkeit dieser Flächenbereiche für die verglichenen detektierten Musteransichten der zum ausgewählten Bildpunkt oder Bildpixel der ersten Bildansicht tatsächlich korrespondierende Bildpunkt oder Bildpixel der zumindest einen anderen Bildansicht ermittelt wird.Method for the three-dimensional reconstruction of objects, in which pattern sequences are projected onto the object to be reconstructed, which are respectively detected in different image views, for example by at least two location-different cameras, as pattern views and compared with one another by selecting at least one pixel or image pixel of a first image view and the at least one other image view is examined for greatest similarity on the basis of the sequence of image information of the detected pattern views for determining a corresponding pixel or image pixel, and in which the space information for the three-dimensional reconstruction of the object from the found corresponding pixel or image pixels of the detected pattern views of the object be obtained, characterized in that each one or more from the comparison of the different pattern views based on the similarity of the image information At the selected pixels or image pixels, the corresponding pixel or image pixels found in the sequence of these pattern views are merely assigned as possible correspondence partners, that of the selected pixel or image pixel of the first image view and of the one or more pixels or image pixels of the at least one other image view assigned as possible correspondence partners in each case an assigned surface area of the image views that encloses the pixel or image pixel is determined, that the detected pattern views of the surface areas determined in the image views are examined in their sequence for similarity of the associated image information of these surface areas and that from the respective image information similarity of these surface areas for the compared detected pattern views of the selected pixel or image pixel of the first image view actually corresponding Bi ldpunkt or image pixel of at least one other image view is determined. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei Zuordnung mehrerer möglicher Korrespondenzpartner zum festgelegten Bildpunkt oder Bildpixel die Ähnlichkeitsuntersuchung der Abfolge der unterschiedlichen Musteransichten jeweils für jeden Flächenbereich dieser gefundenen möglichen Korrespondenzpartner durchgeführt wird und dass aus der höchsten Bildinformations-Ähnlichkeit dieser Flächenbereiche zum Flächenbereich des festgelegten Bildpunkts oder Bildpixels der tatsächlich korrespondierende Bildpunkt oder Bildpixel ermittelt wird.A method according to claim 1, characterized in that, when assigning a plurality of possible correspondence partners to the specified pixel or image pixel, the similarity examination of the sequence of different pattern views is performed for each surface area of these found possible correspondence partners and that from the highest image information similarity of these surface areas to the surface area of the specified Pixel or image pixels of the actually corresponding pixel or image pixel is determined. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Rekonstruktion der Objekte als Bildinformation jeweils der Farbwert der detektierten Musteransichten für die Ähnlichkeitsuntersuchung der Bildpunkte oder Bildpixel sowie der zugehörigen umgebenden Flächenbereiche ausgewertet werden.A method according to claim 1, characterized in that for the reconstruction of the objects as image information in each case the color value of the detected pattern views for the similarity examination of the pixels or image pixels and the associated surrounding surface areas are evaluated. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass für die Ähnlichkeitsuntersuchung der Bildpunkte oder Bildpixel sowie der zugehörigen umgebenden Flächenbereiche als Bildinformation außer dem Farbwert weitere Bildinformationen, wie beispielsweise der Phasenwert, herangezogen werden.A method according to claim 3, characterized in that for the similarity examination of the pixels or image pixels and the associated surrounding surface areas as image information in addition to the color value further image information, such as the phase value, are used. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die gewonnenen Rauminformationen für die dreidimensionale Rekonstruktion des Objekts zur Ausführung eines Phase-Unwrapping genutzt werden.A method according to claim 1, characterized in that the obtained spatial information for the three-dimensional reconstruction of the object are used to perform a phase unwrapping. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass statistische Mustersequenzen auf das Objekt projiziert werden.A method according to claim 1, characterized in that statistical pattern sequences are projected onto the object. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zu rekonstruierende Objekt jeweils unmittelbar mit einer farbigen Mustersequenz belegt wird, welche jeweils standortunterschiedlich, beispielsweise durch Kameras, in wenigstens zwei unterschiedlichen Bildansichten detektiert wird.A method according to claim 1, characterized in that the object to be reconstructed is each directly occupied by a colored pattern sequence, which is detected in each case different location, for example by cameras, in at least two different image views. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zu rekonstruierende Objekt jeweils mit einer Mustersequenz aus einem spektralen Mischsignal, beispielsweise Weißlicht, belegt wird, welches jeweils standort- und spektralunterschiedlich, beispielsweise über Farbfilter, in den wenigstens zwei unterschiedlichen Bildansichten detektiert wird.A method according to claim 1, characterized in that the object to be reconstructed in each case with a pattern sequence from a spectral mixing signal, for example, white light is occupied, which is each location and spectrally different, for example via color filter, detected in the at least two different image views. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass polarisiertes Licht als strukturierte Beleuchtung zur Erzeugung der Mustersequenzen verwendet wird.A method according to claim 1, characterized in that polarized light is used as structured illumination for generating the pattern sequences. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Mustersequenzen, die auf das Objekt projiziert werden, durch kohärente oder zumindest partiell-kohärente Beleuchtung erzeugt werden.A method according to claim 1, characterized in that the pattern sequences which are projected onto the object are generated by coherent or at least partially coherent illumination. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Gewinnung der Rauminformationen zusätzlich Informationen aus anderen Verfahren der strukturierten Beleuchtung herangezogen werden.A method according to claim 1, characterized in that for obtaining the spatial information in addition information from other methods of structured illumination are used. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Detektion der Musteransichten in den standortunterschiedlichen Bildansichten kontinuierlich erfolgt und aus N Musteraufnahmen durch Windowing-Verfahren bis zu (N – 1) Rekonstruktionen des Objekts durchgeführt werden. A method according to claim 1, characterized in that the detection of the pattern views in the location different image views takes place continuously and from N pattern recordings by windowing method to (N-1) reconstructions of the object are performed. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Detektion einer Musteransicht gleichzeitig mit der Kalibrierung der Projektion der Mustersequenzen auf das Objekt gekoppelt ist.A method according to claim 1, characterized in that the detection of a pattern view is coupled simultaneously with the calibration of the projection of the pattern sequences on the object. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Vorabkalibrierung durchgeführt wird, und die Punktsuche potentieller Korrespondenzpunkte auf die Epipolarlinie beschränkt wird.A method according to claim 1, characterized in that a pre-calibration is performed, and the point search of potential correspondence points is limited to the epipolar line. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Suchraum für die Punktsuche potentieller Korrespondenzen aufgrund von Nachbarschaftsrelationen bereits gefundener tatsächlicher Korrespondenzpunkte eingeschränkt wird.A method according to claim 1, characterized in that the search space for the point search of potential correspondences is limited due to neighborhood relations already found actual correspondence points. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Flächenbereich für die Ähnlichkeitsuntersuchung eines potentiellen Korrespondenzpaars unter Berücksichtigung bereits gefundener tatsächlicher Korrespondenzpaare neu festgelegt wird.A method according to claim 1, characterized in that the surface area for the similarity examination of a potential correspondence pair is redetermined taking into account already found actual correspondence pairs.
DE102009040981A 2009-09-10 2009-09-10 Method for three-dimensional reconstruction of objects for projecting pattern sequences on reconstructing object, involves detecting pattern sequences in form of pattern views, which are compared with each other in different image views Withdrawn DE102009040981A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009040981A DE102009040981A1 (en) 2009-09-10 2009-09-10 Method for three-dimensional reconstruction of objects for projecting pattern sequences on reconstructing object, involves detecting pattern sequences in form of pattern views, which are compared with each other in different image views

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009040981A DE102009040981A1 (en) 2009-09-10 2009-09-10 Method for three-dimensional reconstruction of objects for projecting pattern sequences on reconstructing object, involves detecting pattern sequences in form of pattern views, which are compared with each other in different image views

Publications (1)

Publication Number Publication Date
DE102009040981A1 true DE102009040981A1 (en) 2011-03-17

Family

ID=43571121

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009040981A Withdrawn DE102009040981A1 (en) 2009-09-10 2009-09-10 Method for three-dimensional reconstruction of objects for projecting pattern sequences on reconstructing object, involves detecting pattern sequences in form of pattern views, which are compared with each other in different image views

Country Status (1)

Country Link
DE (1) DE102009040981A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011101476A1 (en) * 2011-05-11 2012-11-15 Friedrich-Schiller-Universität Jena Method for 3D measurement of objects

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5655033A (en) * 1993-06-21 1997-08-05 Canon Kabushiki Kaisha Method for extracting corresponding point in plural images
DE19623172C1 (en) 1996-06-10 1997-10-23 Univ Magdeburg Tech Three-dimensional optical measuring method for object surface
DE19928341A1 (en) * 1999-06-21 2001-01-18 Univ Magdeburg Tech Method for three-dimensional optical measurement of object surfaces
DE102004004528A1 (en) * 2003-01-31 2004-08-19 Seiko Epson Corp. Stereo image processing method for measuring parallax between stereo images to determine 3D position coordinates of image objects, wherein both parallax and a parallax reliability factor are determined
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
DE102006001634B3 (en) * 2006-01-11 2007-03-01 Tropf, Hermann Creation of distance-image from correspondence between pixels from two cameras, by illuminating with random grid, and comparing brightness ratios of pixels

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5655033A (en) * 1993-06-21 1997-08-05 Canon Kabushiki Kaisha Method for extracting corresponding point in plural images
DE19623172C1 (en) 1996-06-10 1997-10-23 Univ Magdeburg Tech Three-dimensional optical measuring method for object surface
DE19928341A1 (en) * 1999-06-21 2001-01-18 Univ Magdeburg Tech Method for three-dimensional optical measurement of object surfaces
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
DE102004004528A1 (en) * 2003-01-31 2004-08-19 Seiko Epson Corp. Stereo image processing method for measuring parallax between stereo images to determine 3D position coordinates of image objects, wherein both parallax and a parallax reliability factor are determined
DE102006001634B3 (en) * 2006-01-11 2007-03-01 Tropf, Hermann Creation of distance-image from correspondence between pixels from two cameras, by illuminating with random grid, and comparing brightness ratios of pixels

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. Salvi, J. Pagès, J. Batlle: Pattern codification strategies in structured light systems, Pattern Recognition, 2004, 37(4), 827-849
SALVI,J.,et.al.:Pattern codification strategies in structured light systems.Pattern Recognition,Vol 37,No.4,Elsevier,2004,S.827-849 $vgl. Abschn. 3,4$ *
SALVI,J.,et.al.:Pattern codification strategies in structured light systems.Pattern Recognition,Vol 37,No.4,Elsevier,2004,S.827-849 vgl. Abschn. 3,4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011101476A1 (en) * 2011-05-11 2012-11-15 Friedrich-Schiller-Universität Jena Method for 3D measurement of objects
DE102011101476B4 (en) 2011-05-11 2023-05-25 Cognex Ireland Ltd. Process for 3D measurement of objects

Similar Documents

Publication Publication Date Title
DE3826288C2 (en)
DE2230650C2 (en) Method and device for the optical examination of a surface
DE112012001243B4 (en) Method for measuring depth values in a scene
DE102010015566B4 (en) Method and system for measuring reflective surfaces
DE112016001560T5 (en) Method and system for real-time motion artifact handling and noise removal for runtime sensor images
DE102007054906A1 (en) Method for optical measurement of the three-dimensional geometry of objects
DE19623172C1 (en) Three-dimensional optical measuring method for object surface
DE102017126378A1 (en) Method for processing a raw image of a time-of-flight camera, image processing device and computer program
EP3089106B1 (en) Method for reflection adjustment of images and related apparatus
DE102005022544A1 (en) Method and device for recording a digital X-ray image
WO2019197656A1 (en) Method and system for measuring an object by means of stereoscopy
WO2015169730A1 (en) Method and sensor for determining the surface of an object by means of deflectometry
DE602004009875T2 (en) Method for image processing for profile determination by means of structured light
DE102011010265A1 (en) Method for reconstructing three-dimensional objects used in quality control application, involves generating gray value profiles from subset of pattern image sequence and subset of surface of object shifted fringe patterns
EP3158285B1 (en) Method for determining a spatial displacement vector field
DE102017207881A1 (en) Non-contact 3D measuring system
DE102006028409A1 (en) Scanning microscope e.g. confocal scanning microscope, for use in micro-system technology, has signal detector arranged in optical path such that radiation is formed on detector, where focusing device is connected with scanner control unit
DE19634821A1 (en) Method and device for reducing image artifacts
DE102009056177B4 (en) Device and method for measuring and compensating for the effects of movement in phase-shifting profilometers and its application to mobile, freehand-guided profilometry
EP3274652B1 (en) Fringe projection method, fringe projection device, and computer program product
DE102009040981A1 (en) Method for three-dimensional reconstruction of objects for projecting pattern sequences on reconstructing object, involves detecting pattern sequences in form of pattern views, which are compared with each other in different image views
DE10359104B3 (en) Method for dynamic, three-dimensional acquisition and display of a surface
DE102019201193A1 (en) Method for the detection of topographic defects on surfaces of a component
EP3214602A1 (en) Method for three-dimensional recording of objects
DE102015010264A1 (en) Method for creating a 3D representation and corresponding image acquisition device

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R084 Declaration of willingness to licence
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee