DE102011010265A1 - Method for reconstructing three-dimensional objects used in quality control application, involves generating gray value profiles from subset of pattern image sequence and subset of surface of object shifted fringe patterns - Google Patents

Method for reconstructing three-dimensional objects used in quality control application, involves generating gray value profiles from subset of pattern image sequence and subset of surface of object shifted fringe patterns Download PDF

Info

Publication number
DE102011010265A1
DE102011010265A1 DE102011010265A DE102011010265A DE102011010265A1 DE 102011010265 A1 DE102011010265 A1 DE 102011010265A1 DE 102011010265 A DE102011010265 A DE 102011010265A DE 102011010265 A DE102011010265 A DE 102011010265A DE 102011010265 A1 DE102011010265 A1 DE 102011010265A1
Authority
DE
Germany
Prior art keywords
subset
patterns
pattern
image sequence
pattern image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102011010265A
Other languages
German (de)
Inventor
Prof. Dr. Kowarschik Richard
Marcus Große
Martin Schaffer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Ireland Ltd
Original Assignee
Friedrich Schiller Universtaet Jena FSU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Friedrich Schiller Universtaet Jena FSU filed Critical Friedrich Schiller Universtaet Jena FSU
Priority to DE102011010265A priority Critical patent/DE102011010265A1/en
Publication of DE102011010265A1 publication Critical patent/DE102011010265A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The method involves projecting stripe pattern in the phase surface of the object (1). Each of the surface with the superimposed pattern is detected by a camera (4,5). The gray level gradients in the recorded images pixel correspondence between associated pixels are determined. The gray value profiles are generated from a subset of the pattern image sequence and subset of the surface of the object shifted fringe patterns.

Description

Die Erfindung betrifft ein Verfahren zur dreidimensionalen Rekonstruktion von Objekten unter Verwendung von an sich bekannten Streifenprojektionsmustern, die in ihrer Phase über die Objektoberfläche verschoben werden. Die überlagerten Muster der Objektoberfläche werden in ihren Bildinhalten erfasst. Bei diesem etablierten Verfahren sollen die Auswertezeit verkürzt und die Auswertegenauigkeit erhöht werden.The invention relates to a method for the three-dimensional reconstruction of objects using strip projection patterns known per se, which are moved in their phase over the object surface. The overlaid patterns of the object surface are captured in their image content. With this established method, the evaluation time is to be shortened and the evaluation accuracy increased.

Die berührungslose optische Oberflächenvermessung wird für zahlreiche industrielle Applikationen, insbesondere zur Qualitätskontrolle eingesetzt. Dabei existieren zahlreiche Verfahren zur dreidimensionalen Erfassung von beliebigen Objektoberflächen ( J. Salvi, S. Fernandez, T. Pribanic, X. Llado: A state of the art in structured light patterns for surface profilometry, 2010, 43, 2666–2680, Pattern Recognition ). Die am genauesten messenden Verfahren nutzten zur besseren Lokalisation von Objektpunkten Beleuchtungssysteme, welche das Messobjekt mit verschiedenen Mustersequenzen beleuchten. Für jede projizierte Musterstruktur wird jeweils eine Aufnahme mit einer oder mehreren Kameras gemacht. Die gesamte Bildsequenz wird anschließend ausgewertet. Wesentliche Parameter, die über den erfolgreichen Einsatz eines solchen Messsystems entscheiden, sind dabei die realisierbare Messzeit und Messgenauigkeit.The non-contact optical surface measurement is used for numerous industrial applications, in particular for quality control. There are numerous methods for the three-dimensional detection of arbitrary object surfaces ( J. Salvi, S. Fernandez, T. Pribanic, X. Llado: Structured Light Patterns for Surface Profilometry, 2010, 43, 2666-2680, Pattern Recognition ). The most accurate methods used to better localization of object points lighting systems that illuminate the measurement object with different pattern sequences. For each projected pattern structure one shot is taken with one or more cameras. The entire image sequence is then evaluated. Essential parameters that determine the successful use of such a measuring system are the realizable measuring time and measuring accuracy.

Bekannt ist ein Verfahren nach Michaelis aus dem Jahr 1996 ( DE 196 23 172 C1 ) zur dreidimensionalen optischen Vermessung von Objektoberflächen, bei dem aus beliebigen Mustersequenzen des Objekts Punktkorrespondenzen für die Rekonstruktion gewonnen werden. In diesem Verfahren wird die zeitliche Änderung der detektierten Bilder unterschiedlicher Bildansichten miteinander verglichen, um die besagten Punktkorrespondenzen ableiten zu können. Über die Verwendung solcher Mustersequenzen in Verbindung mit Streifenprojektionsmustern, die in ihrer Phase über die Objektoberfläche verschoben werden, ist in der Fachwelt nichts bekannt geworden.A method according to Michaelis from the year 1996 is known ( DE 196 23 172 C1 ) for the three-dimensional optical measurement of object surfaces, in which point correspondences for the reconstruction are obtained from arbitrary pattern sequences of the object. In this method, the temporal change of the detected images of different image views is compared with one another in order to be able to derive said point correspondences. The use of such pattern sequences in conjunction with fringe projection patterns that are phase shifted across the object surface has not been disclosed in the art.

Unter den Verfahren der strukturierten Beleuchtung stellen Verfahren, die auf Basis des Prinzips der Phasenbestimmung aus geschobenen Streifenmustern die Kamera-Kamera- oder Kamera-Projektor-Zuordnung durchführen, den etablierten Stand der Technik dar. Diese Verfahren haben sich vor allem aufgrund der hohen erreichbaren Messgenauigkeit durchsetzen können. Sollen komplexere Objekte, welche Kanten und Höhensprünge aufweisen, vermessen werden, so muss die Streifenprojektionssequenz aufgrund ihrer Mehrdeutigkeit um eine zusätzliche Sequenz von Muster erweitert werden. Hier haben sich Gray-Code-Sequenzen durchgesetzt, welche die Mehrdeutigkeiten beseitigen, aber keine Information über die exakte Lage der Objektpunkte liefern.Among the methods of structured illumination, methods which perform the camera-camera or camera-projector assignment on the basis of the principle of phase determination from shifted stripe patterns represent the established state of the art. These methods have become especially due to the high achievable measurement accuracy can enforce. If more complex objects, which have edges and height jumps, are to be measured, the strip projection sequence must be extended by an additional sequence of patterns due to its ambiguity. Here Gray code sequences have prevailed, which eliminate the ambiguities, but provide no information about the exact location of the object points.

Im Allgemeinen besitzt die Gray-Code-Sequenz für ein definiertes Messvolumen, eine gewählte Streifengröße und entsprechende Kameraauflösung eine feste Länge. So lässt sich beispielsweise die Anzahl der Streifenmuster von mit 3 beginnend beliebig wählen, jedoch wird die Gray-Code-Sequenz beispielsweise fest bei 14 Bildern liegen und damit je nach Anzahl der Streifenmuster (z. B. vier oder sechzehn geschobene Muster) die Messzeit stark verlängern. So werden, sofern hohe Messgenauigkeiten gewünscht sind, zwischen P = 40 und P = 200 Streifenperioden im Bild zu sehen sein, und damit sind log_2(P) Gray-Code-Muster pro Richtung notwendig, also insgesamt 2·log_2(P) Gray-Code-Muster. Um die Gray-Code Sequenz auszuwerten, werden in der Regel weiterhin noch ein Dunkel- und Hellbild (+2) aufgenommen, um einen Grauwertschwellwert festzulegen, welcher schwarze und weiße Bereiche voneinander separiert. Da die exakte Lokalisation ausschließlich über die Streifenmuster erfolgt, sind die 14 (+2) Gray-Code-Bilder für die erreichbare Messgenauigkeit ohne Relevanz, d. h. es werden effektiv 14 (+2) Bilder verschenkt, da sie lediglich Mehrdeutigkeiten abfangen.In general, the Gray code sequence has a fixed length for a defined measurement volume, strip size, and corresponding camera resolution. For example, the number of stripe patterns can be arbitrarily set from 3, but the gray code sequence will be fixed at 14 images, for example, and thus the measurement time will be strong depending on the number of stripe patterns (eg, four or sixteen shifted patterns) extend. Thus, if high measurement accuracies are desired, between P = 40 and P = 200 fringe periods can be seen in the image, and thus log_2 (P) Gray code patterns per direction are necessary, ie a total of 2 · log_2 (P) Gray. code pattern. In order to evaluate the Gray code sequence, a dark and bright image (+2) are generally still recorded in order to set a gray value threshold, which separates black and white areas from each other. Since the exact localization is done exclusively via the stripe patterns, the 14 (+2) Gray code images are of no relevance to the achievable measurement accuracy, i. H. 14 (+2) pictures are effectively given away because they only intercept ambiguity.

Des Weiteren wird durch das kleinste Gray-Code-Muster die mögliche Streifenperiode eingeschränkt, so dass sich nicht die für das Messvolumen optimale Streifenperiode verwenden lässt und somit die so durchgeführte Punktzuordnung nicht die theoretisch beste Messgenauigkeit ermöglicht.Furthermore, the smallest gray code pattern restricts the possible fringe period, so that it is not possible to use the optimum fringe period for the measurement volume, and thus the point allocation performed in this way does not enable the theoretically best measurement accuracy.

Der Erfindung liegt die Aufgabe zugrunde, die dreidimensionale Rekonstruktion zeitlich zu verkürzen und die Genauigkeit zu erhöhen.The invention has for its object to shorten the three-dimensional reconstruction in time and to increase the accuracy.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur dreidimensionalen Rekonstruktion von Objekten unter Verwendung von Streifenprojektionsmustern gelöst, bei dem auf die Oberfläche des Objekts anstatt einer an sich bekannten Gray-Code-Sequenz ein einzelnes oder nacheinander eine Folge von statistischen Muster als Musterbildsequenz projiziert wird, bei dem weiterhin nacheinander auf das Objekt Streifenmuster projiziert und in ihrer Phase über die Oberfläche des Objekts verschoben werden, wobei jeweils die Oberfläche mit dem überlagertem Muster von mindestens einer Kamera erfasst wird, und bei dem pixelgenaue Korrespondenzen zwischen zugeordneten Bildpunkten durch Ähnlichkeitsanalyse von Grauwertverläufen ermittelt werden, wobei diese Grauwertverläufe jeweils aus einer Teilmenge der Musterbildsequenz und einer Teilmenge der über die Oberfläche des Objekts verschobenen Streifenmuster generiert werden.According to the invention, this object is achieved by a method for the three-dimensional reconstruction of objects using fringe projection patterns, in which a single or successively a sequence of statistical patterns is projected onto the surface of the object instead of a known Gray code sequence as a pattern image sequence the strip pattern is successively projected onto the object and moved in its phase over the surface of the object, wherein in each case the surface is detected with the superimposed pattern of at least one camera, and are determined in the pixel-precise correspondences between the associated pixels by similarity analysis of gray scale gradients, each of these gray scale gradients being generated from a subset of the pattern image sequence and a subset of the striped patterns shifted over the surface of the object.

An Stelle der besagten Gray-Code-Sequenz können beispielsweise sogenannte bandlimitierte statistische Muster ( A. Wiegmann, H. Wagner, R. Kowarschik: Human face measurement by projecting bandlimited random patterns, 2006, 14, 7692–7698, Optics Express ) zur Erfassung der eindeutigen pixelgenauen Zuordnung der Bildpunkte Verwendung finden. Instead of said Gray code sequence, for example, so-called band-limited statistical patterns ( A. Wiegmann, H. Wagner, R. Kowarschik: Human Face Measurement by Projecting Bandlimited Random Patterns, 2006, 14, 7692-7698, Optics Express ) are used for detecting the unique pixel-precise assignment of the pixels.

Bei solchen band-limitierten statistischen Muster hat sich eine Anzahl von 6 Muster als ausreichend erwiesen, wobei jedoch weitere Muster zur Erhöhung der Auswertegenauigkeit beitragen können.In such band-limited statistical patterns, a number of 6 patterns has been found to be sufficient, but other patterns may contribute to increasing the evaluation accuracy.

Um das Eindeutigkeitsproblem zu lösen, reichen, wie sich gezeigt hat, verfahrensgemäß vorhandene Streifenmuster und bereits sechs band-limitierte Muster aus. Damit verkürzt sich die Messzeit im Vergleich zum genannten Stand der Technik je nach Gray-Code-Länge und Phasenanzahl um bis zu 42%, da eine äquivalente Gray-Code-Sequenz und die notwendigen Schwellwertbilder, zehn Bilder mehr betragen. Durch die verkürzte Messsequenz müssen pro Einzelmessung weniger Daten von den Kameras in die Auswerteeinheiten übertragen werden, was je nach Kameraauflösung eine Zeitersparnis im Sekundenbereich bedeuten kann.In order to solve the uniqueness problem, it has been found that, according to the method, existing stripe patterns and already six band-limited patterns are sufficient. Thus, compared to the cited prior art, the measurement time is shortened by up to 42%, depending on the Gray code length and number of phases, since an equivalent Gray code sequence and the necessary threshold images amount to ten more images. Due to the shortened measurement sequence, less data has to be transmitted from the cameras to the evaluation units per individual measurement, which can mean a time saving in the seconds range depending on the camera resolution.

Die band-limitierten Muster bringen zusätzlich Informationen über die Subpixelzuordnung ein, wodurch mit Kombination dieser Subpixelzuordnung der Phasenauswertung und der Subpixelzuordnung der band-limitierten Muster das Messrauschen um bis zu 20% reduziert werden kann. Weil die Streifenperiode frei und damit optimal gewählt werden kann, lässt sich das Messrauschen, um weitere 10% im Vergleich zum Stand der Technik verbessern, so dass sich ein kumulierter Effekt von 30% ergibt.The band-limited patterns additionally provide information on the sub-pixel assignment, which, by combining this sub-pixel mapping of the phase evaluation and the sub-pixel mapping of the band-limited patterns, can reduce the measurement noise by up to 20%. Because the fringe period can be chosen freely and thus optimally, the measurement noise can be improved by a further 10% compared to the prior art, so that a cumulative effect of 30% results.

Zusammengefasst ergeben sich folgende Verbesserungen im Verfahrensablauf:

  • 1. Durch die nun kürzere Mustersequenz zur Beseitigung von Mehrdeutigkeiten kann die Messzeit stark verringert werden.
  • 2. Im Gegensatz zur Gray-Code-Sequenz muss kein Hell- und Dunkelbild zur Festlegung eines Schwellwertes eingesetzt werden, was die Messzeit weiter verkürzt.
  • 3. Durch die kürzere Messsequenz müssen weniger Daten von der Kamera zur Auswerteeinheit übertragen werden.
  • 4. Die nun eingesetzten Muster können optional zur Verbesserung der exakten Lokalisation eingesetzt werden, um die Messgenauigkeit weiter zu erhöhen.
  • 5. Die Streifenperiode kann frei gewählt und damit optimal an das Messvolumen angepasst werden, wodurch die Messgenauigkeit im Vergleich zu bestehenden Verfahren verbessert wird.
In summary, the following improvements result in the procedure:
  • 1. The now shorter pattern sequence for eliminating ambiguities can greatly reduce the measurement time.
  • 2. In contrast to the Gray code sequence, no light and dark image must be used to set a threshold value, which further reduces the measuring time.
  • 3. Due to the shorter measurement sequence, less data has to be transferred from the camera to the evaluation unit.
  • 4. The patterns now used can optionally be used to improve the exact localization to further increase the measurement accuracy.
  • 5. The stripe period can be chosen freely and thus optimally adapted to the measuring volume, which improves the measuring accuracy compared to existing methods.

Die Erfindung soll nachstehend anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert werden.The invention will be explained in more detail below with reference to an embodiment shown in the drawing.

Es zeigen:Show it:

1: Schematischer Aufbau einer Messvorrichtung zur dreidimensionalen Rekonstruktion eines Objektes über den Vergleich von Bildmustern zweier standortunterschiedlich aufgenommener Bildansichten 1 : Schematic structure of a measuring device for the three-dimensional reconstruction of an object on the comparison of image patterns of two location different recorded image views

2: für einen ersten Vergleich der korrespondierenden Musterbildpaare ausgewählter Bildpunkt (linke Abbildung) der einen Bildansicht sowie aus dem Vergleich ermittelter Bildpunkt (rechte Abbildung) der anderen Bildansicht 2 : for a first comparison of the corresponding pattern image pairs selected pixel (left image) of the one image view and from the comparison determined pixel (right image) of the other image view

1 zeigt ein zu rekonstruierendes dreidimensionales Objekt 1, welches durch einen DLP-Projektor 2 (DLP: Digital Light Processing), gesteuert über einen Rechner 3, mit einer Serie optischer Mustersequenzen (aus Übersichtsgründen nicht näher dargestellt) bestrahlt wird. Die auf das Objekt 1 projizierten optischen Mustersequenzen werden von zwei standortunterschiedlichen CCD-Kameras 4, 5 synchron in unterschiedlichen Bildansichten des Objekts 1 jeweils als Paare korrespondierender Musteransichten aufgenommen. In diesem Beispiel wird zusätzlich zu einer Sequenz aus 8 Streifenmustern (4 horizontale Streifenmuster, 4 vertikale Streifenmuster), anstatt einer an sich bekannten Gray-Code Sequenz eine Sequenz aus sechs band-limitierter Mustern projiziert ( A. Wiegmann, H. Wagner, R. Kowarschik: Human face measurement by projecting bandlimited random patterns, 2006, 14, 7692–7698, Optics Express ). Dadurch ist die Gesamtsequenz mit 14 Musterbildern, um 10 Bilder kürzer als die Mustersequenz gegenüber der Verwendung der besagten und den Stand der Technik repräsentierenden Gray-Code Sequenz, was einer Verkürzung der Messzeit von ca. 42% entspricht. Wird zusätzlich die verkürzte Messzeit durch Verminderung der übertragenen Datenmenge berücksichtigt, ist die prozentuale Verkürzung sogar noch höher, insbesondere bei Verwendung hochauflösender Kameras. Zur Auswertung dieser korrespondieren Musteransichten stehen die CCD-Kameras 4, 5 ausgangsseitig mit dem Rechner 3 in Verbindung. Für die synchrone Aufnahme der Paare der korrespondierenden Musteransichten werden die CCD-Kameras 4, 5 auf an sich bekannte Weise kalibriert. 1 shows a three-dimensional object to be reconstructed 1 which is powered by a DLP projector 2 (DLP: Digital Light Processing), controlled by a computer 3 , with a series of optical pattern sequences (not shown in detail) is irradiated. The on the object 1 projected optical pattern sequences are from two different location CCD cameras 4 . 5 synchronous in different image views of the object 1 each received as pairs of corresponding pattern views. In this example, in addition to a sequence of 8 stripe patterns (4 horizontal stripe patterns, 4 vertical stripe patterns), instead of a known Gray code sequence, a sequence of six band-limited patterns is projected ( A. Wiegmann, H. Wagner, R. Kowarschik: Human Face Measurement by Projecting Bandlimited Random Patterns, 2006, 14, 7692-7698, Optics Express ). As a result, the total sequence with 14 pattern images is 10 frames shorter than the pattern sequence compared to the use of the said prior art gray code sequence, which corresponds to a shortening of the measurement time of approximately 42%. In addition, taking into account the shortened measurement time by reducing the amount of data transferred, the percentage reduction is even higher, especially when using high-resolution cameras. The CCD cameras are used to evaluate these corresponding pattern views 4 . 5 on the output side with the computer 3 in connection. For the synchronous recording of the pairs of the corresponding pattern views, the CCD cameras 4 . 5 calibrated in a known per se.

Im Rechner 3 werden die von den CCD-Kameras 4, 5 gelieferten Daten ausgewertet, indem jeweils die Paare der korrespondierenden Musteransichten miteinander verglichen werden. Anstatt die Mehrdeutigkeit, wie bisher, über die besagte Gray-Code-Auswertung zu lösen, wird zunächst in der Bildansicht der CCD-Kamera 4 und damit für die Folge aller durch diese aufgenommenen Musteransichten des Objekts 1 ein Bildpunkt 6 ausgewählt. 2 zeigt links schematisch ein Bildraster 7 der CCD-Kamera 4 mit dem ausgewählten Bildpunkt 6. Anschließend wird der zeitliche Verlauf der Bildinformationen (Farb- oder Grauwertverlauf) dieses ausgewählten Bildpunktes für die gesamte von der CCD-Kamera 4 aufgenommene Sequenz-Abfolge der Musteransichten vom Objekt 1 rechentechnisch mit dem zeitlichen Verlauf der Bildinformationen (Farb- oder Grauwertverlauf) jedes Bildpunktes der für die gesamte von der CCD-Kamera 5 aufgenommene Abfolge der Musteransichten vom Objekt 1 verglichen. Da die gesamte Folge für die Ähnlichkeitsanalyse herangezogen wird, werden insbesondere auch die Streifenbilder verwendet, um das Mehrdeutigkeitsproblem zu lösen. Aus diesem Vergleich wird aus einem Bildraster 8 der CCD-Kamera 5 (vgl. 2, rechte Abbildung) derjenige Bildpunkt 9 ermittelt, dessen zeitlicher Verlauf der Bildinformationen (Farb- oder Grauwertverlauf) der Musteransichten von der CCD-Kamera 5 zu dem zeitlichen Verlauf der Bildinformationen der Musteransichten von der CCD-Kamera 4 die größte Ähnlichkeit ausweist. Übersteigt die Korrelation der Bildpunkte 6, 9 einen vorgegebenen Schwellwert, so wird dieses Bildpunktpaar als Korrespondenzpaar erfasst und der Bildpunkt 9 dem ausgewählten Bildpunkt 6 als Korrespondenzpartner zugeordnet. Durch diesen Schritt ist die Lage des Korrespondenzpunktes pixelgenau festgelegt, und damit das Mehrdeutigkeitsproblem gelöst.In the calculator 3 Be the ones from the CCD cameras 4 . 5 evaluated data by each of the pairs of the corresponding pattern views are compared. Instead of solving the ambiguity, as before, on the said Gray code evaluation, is first in the image view of the CCD camera 4 and thus for the Sequence of all captured by this pattern views of the object 1 a pixel 6 selected. 2 shows on the left schematically a picture grid 7 the CCD camera 4 with the selected pixel 6 , Subsequently, the temporal course of the image information (color or grayscale) of this selected pixel for the whole of the CCD camera 4 recorded sequence sequence of the pattern views of the object 1 computationally with the temporal course of the image information (color or grayscale) of each pixel of the whole of the CCD camera 5 recorded sequence of pattern views of the object 1 compared. In particular, since the entire sequence is used for the similarity analysis, the band images are also used to solve the ambiguity problem. This comparison is made from a picture grid 8th the CCD camera 5 (see. 2 , right figure) the pixel 9 determines the time course of the image information (color or gray scale) of the pattern views from the CCD camera 5 on the timing of the image information of the pattern views from the CCD camera 4 indicates the greatest similarity. Exceeds the correlation of the pixels 6 . 9 a predetermined threshold value, this pixel pair is detected as a correspondence pair and the pixel 9 the selected pixel 6 assigned as correspondence partner. Through this step, the position of the correspondence point is determined pixel-precise, and thus solved the ambiguity problem.

In einem zweiten rechentechnischen Prozess wird zu jedem Korrespondenzpaar (durch die Bildpunkte 6, 9 beschrieben) bekannter Weise durch die bekannte Bestimmung der Phasenwerte aus den Streifenbildern ein subpixelgenaues Korrespondenzpaar erzeugt. Anschließend kann ausgehend von dieser Subpixelkorrespondenz die Lokalisation unter Hinzunahme der Grauwertinformationen der bandlimitierten Muster weiter verfeinert werden. Die aus den Phasenwerten erhaltene Subpixelkorrespondenz wird nun als Startpunkt für eine weitere Verfeinerung der Korrespondenz genutzt. Hierfür wird unter ausschließlicher Verwendung der band-limitierten statistischen Muster ein Subpixelkorrelationspeak, um die ermittelte Startsubpixelkorrespondenz der Phasenauswertung durch bikubische Interpolation ermittelt und als finale Subpixelkorrespondenz akzeptiert.In a second computational process is added to each correspondence pair (by the pixels 6 . 9 described) by the known determination of the phase values from the stripe images generates a subpixel exact correspondence pair. Subsequently, based on this subpixel correspondence, the localization can be further refined by adding the gray value information of the bandlimited patterns. The subpixel correspondence obtained from the phase values is now used as a starting point for a further refinement of the correspondence. For this purpose, a subpixel correlation peak, determined by the ascertained start subpixel correspondence of the phase evaluation by bicubic interpolation and accepted as the final subpixel correspondence, is used exclusively with the use of the band-limited statistical pattern.

Im Vergleich zur bekannten Phasenauswertung mit Gray-Code bei gleicher Sequenzlänge wird dadurch das Messrauschen um 30% und im Vergleich zur reinen Phasenauswertung der Streifenbilder unter Verwendung statistischer Muster um 10% verbessert. Experimentell hat sich gezeigt, dass die in diesem Beispiel beschriebene Auswertungsmethode für eine definierte Sequenzlänge (z. B. 24 Musterbilder, 8 Streifen, 16 GC im Vergleich zu 8 Streifen und 16 statistische Muster) immer geringeres Messrauschen aufweist als das Gray-Code-Verfahren.In comparison to the known phase evaluation with Gray code with the same sequence length, the measurement noise is thereby improved by 30% and in comparison to the pure phase evaluation of the strip images using statistical patterns by 10%. It has been found experimentally that the evaluation method for a defined sequence length (eg 24 pattern images, 8 strips, 16 GC compared to 8 strips and 16 statistical patterns) described in this example always has lower measurement noise than the Gray code method ,

Über an sich bekannte Kalibrierparameter kann in an sich bekannter Weise die 3D-Koordinate zu jedem tatsächlichen Korrespondenz-Bildpunktpaar ermittelt werden.About known per se calibration parameters, the 3D coordinate to each actual correspondence pixel pair can be determined in a conventional manner.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 19623172 C1 [0003] DE 19623172 C1 [0003]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • J. Salvi, S. Fernandez, T. Pribanic, X. Llado: A state of the art in structured light patterns for surface profilometry, 2010, 43, 2666–2680, Pattern Recognition [0002] J. Salvi, S. Fernandez, T. Pribanic, X. Llado: Structured Light Patterns for Surface Profilometry, 2010, 43, 2666-2680, Pattern Recognition [0002]
  • A. Wiegmann, H. Wagner, R. Kowarschik: Human face measurement by projecting bandlimited random patterns, 2006, 14, 7692–7698, Optics Express [0009] A. Wiegmann, H. Wagner, R. Kowarschik: Human Face Measurement by Projecting Bandlimited Random Patterns, 2006, 14, 7692-7698, Optics Express [0009]
  • A. Wiegmann, H. Wagner, R. Kowarschik: Human face measurement by projecting bandlimited random patterns, 2006, 14, 7692–7698, Optics Express [0018] A. Wiegmann, H. Wagner, R. Kowarschik: Human Face Measurement by Projecting Bandlimited Random Patterns, 2006, 14, 7692-7698, Optics Express [0018]

Claims (4)

Verfahren zur dreidimensionalen Rekonstruktion von Objekten unter Verwendung von Streifenprojektionsmustern, bei dem auf die Oberfläche des Objekts anstatt eines ein einzelnes oder eine Folge von statistischen Muster als Musterbildsequenz projiziert wird, bei dem weiterhin nacheinander auf das Objekt Streifenmuster projiziert und in ihrer Phase über die Oberfläche des Objekts verschoben werden, wobei jeweils die Oberfläche mit dem überlagertem Muster von mindestens einer Kamera erfasst wird, und bei dem pixelgenaue Korrespondenzen zwischen zugeordneten Bildpunkten durch Ähnlichkeitsanalyse von Grauwertverläufen ermittelt werden, wobei diese Grauwertverläufe jeweils aus einer Teilmenge der Musterbildsequenz und einer Teilmenge der über die Oberfläche des Objekts verschobenen Streifenmuster generiert werden.A method for the three-dimensional reconstruction of objects using fringe projection patterns, wherein the surface of the object is projected as a pattern image sequence instead of a single or a series of statistical patterns, further projecting stripe patterns one after the other onto the object and passing over the surface of the object in phase Object are moved, in each case the surface with the superimposed pattern is detected by at least one camera, and are determined in the pixel-precise correspondences between associated pixels by similarity analysis of gray scale gradients, these gray value gradients each of a subset of the pattern image sequence and a subset of the above the surface the object is moved to generate striped patterns. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass eine nachfolgende subpixelgenaue Korrespondenz zwischen zugeordneten Bildpunkten durch Bestimmung der Phasen der über die Oberfläche des Objekts verschobenen Streifenmuster durchgeführt wird.A method according to claim 1, characterized in that a subsequent subpixel-accurate correspondence between associated pixels is performed by determining the phases of the over the surface of the object shifted stripe pattern. Verfahren gemäß Anspruch 2, dadurch gekennzeichnet, dass die subpixelgenaue Korrespondenz zwischen zugeordneten Bildpunkten durch Verwendung der Bildinformationen der Musterbildsequenz weiter verfeinert wird.A method according to claim 2, characterized in that the subpixel accurate correspondence between associated pixels is further refined by using the image information of the pattern image sequence. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass eine nachfolgende subpixelgenaue Korrespondenz zwischen zugeordneten Bildpunkten durch Verwendung einer Teilmenge der Musterbildsequenz sowie einer Teilmenge der geschobenen Streifenmuster ermittelt wird.A method according to claim 1, characterized in that a subsequent subpixel accurate correspondence between associated pixels is determined by using a subset of the pattern image sequence and a subset of the shifted stripe patterns.
DE102011010265A 2011-02-01 2011-02-01 Method for reconstructing three-dimensional objects used in quality control application, involves generating gray value profiles from subset of pattern image sequence and subset of surface of object shifted fringe patterns Pending DE102011010265A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011010265A DE102011010265A1 (en) 2011-02-01 2011-02-01 Method for reconstructing three-dimensional objects used in quality control application, involves generating gray value profiles from subset of pattern image sequence and subset of surface of object shifted fringe patterns

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011010265A DE102011010265A1 (en) 2011-02-01 2011-02-01 Method for reconstructing three-dimensional objects used in quality control application, involves generating gray value profiles from subset of pattern image sequence and subset of surface of object shifted fringe patterns

Publications (1)

Publication Number Publication Date
DE102011010265A1 true DE102011010265A1 (en) 2012-08-02

Family

ID=46511459

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011010265A Pending DE102011010265A1 (en) 2011-02-01 2011-02-01 Method for reconstructing three-dimensional objects used in quality control application, involves generating gray value profiles from subset of pattern image sequence and subset of surface of object shifted fringe patterns

Country Status (1)

Country Link
DE (1) DE102011010265A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457562A (en) * 2013-09-13 2015-03-25 武汉惟景三维科技有限公司 Adapter on-line detection system based on surface structured light
CN104677308A (en) * 2015-01-30 2015-06-03 宋展 Three-dimensional scanning method for high-frequency two-value strip
DE102015211954A1 (en) * 2015-06-26 2016-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and device for contactless measuring of an object surface
DE102018208417A1 (en) * 2018-05-28 2019-11-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projection device and projection method
CN110567398A (en) * 2019-09-02 2019-12-13 武汉光发科技有限公司 Binocular stereo vision three-dimensional measurement method and system, server and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19623172C1 (en) 1996-06-10 1997-10-23 Univ Magdeburg Tech Three-dimensional optical measuring method for object surface
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
DE102006001634B3 (en) * 2006-01-11 2007-03-01 Tropf, Hermann Creation of distance-image from correspondence between pixels from two cameras, by illuminating with random grid, and comparing brightness ratios of pixels
US20070057946A1 (en) * 2003-07-24 2007-03-15 Dan Albeck Method and system for the three-dimensional surface reconstruction of an object
DE102006061712A1 (en) * 2006-12-28 2008-07-03 Tropf, Hermann Distance image generating method for use in e.g. robotics, involves illuminating scene with random- or pseudo random pattern i.e. stripe pattern, and modulating pattern in displacement direction and in direction of epipolar lines
DE102008002725A1 (en) * 2008-06-27 2009-12-31 Robert Bosch Gmbh Distance image generating method for three-dimensional reconstruction of object surface from correspondence of pixels of stereo image, involves pixelwisely setting object surface in proportional to relative image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19623172C1 (en) 1996-06-10 1997-10-23 Univ Magdeburg Tech Three-dimensional optical measuring method for object surface
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US20070057946A1 (en) * 2003-07-24 2007-03-15 Dan Albeck Method and system for the three-dimensional surface reconstruction of an object
DE102006001634B3 (en) * 2006-01-11 2007-03-01 Tropf, Hermann Creation of distance-image from correspondence between pixels from two cameras, by illuminating with random grid, and comparing brightness ratios of pixels
DE102006061712A1 (en) * 2006-12-28 2008-07-03 Tropf, Hermann Distance image generating method for use in e.g. robotics, involves illuminating scene with random- or pseudo random pattern i.e. stripe pattern, and modulating pattern in displacement direction and in direction of epipolar lines
DE102008002725A1 (en) * 2008-06-27 2009-12-31 Robert Bosch Gmbh Distance image generating method for three-dimensional reconstruction of object surface from correspondence of pixels of stereo image, involves pixelwisely setting object surface in proportional to relative image

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A. Wiegmann, H. Wagner, R. Kowarschik: Human face measurement by projecting bandlimited random patterns, 2006, 14, 7692-7698, Optics Express
J. Salvi et al.; "Pattern codification strategies in structured light systems"; Pattern Recognition 37, 2004, S. 827 - 849 *
J. Salvi et al.; "Pattern codification strategies in structured light systems"; Pattern Recognition 37, 2004, S. 827 – 849
J. Salvi, S. Fernandez, T. Pribanic, X. Llado: A state of the art in structured light patterns for surface profilometry, 2010, 43, 2666-2680, Pattern Recognition

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457562A (en) * 2013-09-13 2015-03-25 武汉惟景三维科技有限公司 Adapter on-line detection system based on surface structured light
CN104677308A (en) * 2015-01-30 2015-06-03 宋展 Three-dimensional scanning method for high-frequency two-value strip
DE102015211954A1 (en) * 2015-06-26 2016-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and device for contactless measuring of an object surface
DE102015211954B4 (en) * 2015-06-26 2017-12-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and device for contactless measuring of an object surface
DE102018208417A1 (en) * 2018-05-28 2019-11-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projection device and projection method
US11029145B2 (en) 2018-05-28 2021-06-08 Fraunhofer-Gasellschaft zur Förderung der angewandten Forschung e.V. Projection device and projection method
CN110567398A (en) * 2019-09-02 2019-12-13 武汉光发科技有限公司 Binocular stereo vision three-dimensional measurement method and system, server and storage medium

Similar Documents

Publication Publication Date Title
EP2739203B1 (en) Method for registering a plurality of three-dimensional images of a dental object
DE112012001243B4 (en) Method for measuring depth values in a scene
DE19928341A1 (en) Method for three-dimensional optical measurement of object surfaces
DE19623172C1 (en) Three-dimensional optical measuring method for object surface
DE112011103452T5 (en) Method for matching pixels of a distance representation
DE102011010265A1 (en) Method for reconstructing three-dimensional objects used in quality control application, involves generating gray value profiles from subset of pattern image sequence and subset of surface of object shifted fringe patterns
EP3123228B1 (en) Confocal microscope with aperture correlation
DE102014114061A1 (en) A method and apparatus for enhancing the shape of edges for visual enhancement of rendering based on depth images of a three-dimensional video stream
DE102009009551A1 (en) Method for determining flow conditions
DE102012002161A1 (en) Method for three-dimensional optical surface measurement of objects by measurement device, involves projecting spectral narrow band optical patterns on object, and detecting patterns as location-differing image pattern of object surface
DE102010017604B4 (en) Method for optically measuring structures of an object
EP2217878A2 (en) Recording method for the image of a recorded object and recording device
DE102009060580B4 (en) Method for determining a set of optical imaging functions for 3D flow measurement
DE102016002186A1 (en) Method and image processing device for determining a geometric measured variable of an object
DE102016100132A1 (en) A method and apparatus for inspecting an object using machine vision
WO2015193383A1 (en) Method for determining a spatial displacement vector field
EP3274652B1 (en) Fringe projection method, fringe projection device, and computer program product
DE102012222505B4 (en) Method for acquiring three-dimensional data of an object to be measured, use of such a method for facial recognition and apparatus for carrying out such a method
DE102017105910A1 (en) Frequency-based projection segmentation
DE102012100848B4 (en) System and method for the stereoscopic display of images of an endoscope
DE102015112411A1 (en) System for the stereoscopic display of images of an endoscope
DE102009024030B3 (en) Method for optical determination of e.g. length of edges of machined metallic object surface of object, involves determining surface characteristics of surface section of object surface based on evaluation result of pixels or image segments
AT517656A1 (en) Photometric Stereomatching
DE102009040981A1 (en) Method for three-dimensional reconstruction of objects for projecting pattern sequences on reconstructing object, involves detecting pattern sequences in form of pattern views, which are compared with each other in different image views
DE102015011674A1 (en) Method for depth filtering of depth images

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R012 Request for examination validly filed

Effective date: 20141202

R016 Response to examination communication
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: COGNEX IRELAND LTD., IE

Free format text: FORMER OWNER: FRIEDRICH-SCHILLER-UNIVERSITAET JENA, 07743 JENA, DE

R082 Change of representative

Representative=s name: MEISSNER BOLTE PATENTANWAELTE RECHTSANWAELTE P, DE

R016 Response to examination communication
R082 Change of representative

Representative=s name: BARDEHLE PAGENBERG PARTNERSCHAFT MBB PATENTANW, DE

R016 Response to examination communication