EP1718926A1 - Vorrichtung und verfahren zur bestimmung von raumkoordinaten eines objekts - Google Patents

Vorrichtung und verfahren zur bestimmung von raumkoordinaten eines objekts

Info

Publication number
EP1718926A1
EP1718926A1 EP05716706A EP05716706A EP1718926A1 EP 1718926 A1 EP1718926 A1 EP 1718926A1 EP 05716706 A EP05716706 A EP 05716706A EP 05716706 A EP05716706 A EP 05716706A EP 1718926 A1 EP1718926 A1 EP 1718926A1
Authority
EP
European Patent Office
Prior art keywords
pattern
spatial coordinates
camera
image
projection data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05716706A
Other languages
English (en)
French (fr)
Inventor
Frank Forster
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1718926A1 publication Critical patent/EP1718926A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding

Definitions

  • the invention relates to a device for determining spatial coordinates of an object, comprising: a projector which projects a pattern with known projection data onto the object; a camera that generates an object image of the pattern projected onto the object; a data processing unit connected downstream of the camera, which determines spatial coordinates of the object from the object image and the known projection data.
  • the invention further relates to a method for determining spatial coordinates of an object with the method steps: projecting a pattern with known projection data onto an object, generating an object image with the aid of a camera and determining the spatial coordinates from the known projection data in a data processing unit.
  • Such a device and such a method are known from DE 199 63 333 AI.
  • a two-dimensional color pattern is projected onto the surface of the object to be examined by a projector.
  • a camera the position of which is known to the projector, captures the color pattern projected onto the object.
  • the triangular coordinates of a point on the surface of the object can then be calculated using a triangulation method.
  • the known device and the known method are particularly suitable for measuring large-area monochrome objects. If the surface of the object to be measured However, if the object is structured in small parts in terms of space or in relation to the coloring of the object, it is often difficult to analyze the object image, since either the projected pattern is only incompletely contained in the object image due to shadowing or edges, or because the projected color pattern is due to the coloring of the surface of the object to be measured is falsified. In addition, the spatial resolution of the known method is restricted, since color areas with a certain spatial extent must be used to encode the projection data in the color pattern.
  • the object of the invention is to create a method and a device with which even surfaces of an object to be measured that are structured in small parts can be detected with great accuracy.
  • Data processing unit determines additional spatial coordinates of the object from the object images by means of a triangulation method.
  • the spatial coordinates can be determined in two ways. On the one hand, it is possible to evaluate the pattern images independently of one another on the basis of the known projection data of the projected pattern.
  • the spatial coordinates are preferably determined from the pattern images on the basis of the projection data of the projected pattern. Only if no spatial coordinates are assigned to a pixel in one of the two sample images can be found in the two sample images corresponding pixels and tried from the image coordinates using a triangulation to determine the missing spatial coordinates.
  • the corresponding image points are searched along so-called epipolar lines.
  • the epipolar lines are the projection of the line of sight assigned to a pixel of a sample image into another sample image.
  • the pattern projected onto the object to be measured is preferably designed in such a way that the epipolar lines traverse a large number of pattern areas, so that the location information encoded in the projected pattern can be used when searching along the epipolar lines.
  • the pattern projected onto the object contains redundantly coded location information. This allows errors in decoding the pattern to be eliminated.
  • FIG. 1 shows a device for determining the spatial structure of an object
  • FIG. 2 shows the device from FIG. 1 with lines of sight and image coordinate systems drawn in.
  • the measuring device 1 shows a measuring device 1 for determining the spatial structure of an object 2.
  • the measuring device 1 comprises a projector 3 which projects a pattern 4 onto a surface 5 of the object 2.
  • ras 6 arranged, which capture the pattern 4 projected onto the object 2.
  • the cameras 6 are each connected to a computer 7.
  • the cameras 6 generate the sample images 8 and 9 shown in FIG. 2.
  • the positions of image points Si and S r in the sample images 8 and 9 are described with the aid of image coordinate systems 10 and 11.
  • FIG. 2 shows lens coordinate systems 12 and 13 which illustrate the position of lenses of the cameras 6.
  • the pattern images 8 and 9 are located behind the lenses of the cameras 6 and 7 in the beam direction.
  • the pattern images 8 and 9 are drawn in front of the lens coordinate systems 12 and 13 in the beam direction in FIG. 2. However, this does not change the geometric relationships.
  • lines of sight 14 and 15 are drawn in, each of which extends from an object point S on the surface 5 of the object 2 to an origin Oi of the objective coordinate system 12 and to an origin O r of the objective coordinate system 13.
  • the object point S is imaged on the image point Si in the pattern image 8 and on the image point S r in the pattern image 9.
  • the pixels S ⁇ and S r are also referred to as corresponding pixels.
  • the mutually corresponding image points Si and S r lie on epipolar lines 16 and 17, which are respectively the projection of the lines of sight 14 and 15 into the respective other pattern image 8 and 9.
  • the surface coordinates of the surface 5 of the object 2 can be determined in the measuring device 1 on the one hand according to the structured-light approach.
  • the object to be measured is illuminated with a stripe pattern.
  • the plane For each pixel in the sample images 8 and 9, the plane must now be identified in which the object point S lies, which corresponds to the Pixel Si or pixel S r corresponds.
  • This task is also known as an identification problem. Since the angles at which a stripe of the pattern 4 is projected onto the object 2 are known, the angle of the line of sight 14 or 15 can be determined after identification of the respective plane or the respective stripe in the pattern image 8 or 9. Furthermore, since the distance between the projector 3 and the respective camera 6 is known, the distance of the object point S can be determined from one of the sample images 8 or 9 by triangulation.
  • the identification problem is solved by successively projecting different patterns 4 composed of strips onto the object 2, the strip widths of the patterns 4 varying.
  • a sample image 8 or 9 is recorded for each of these projections and the respective color is determined for each pixel in the sample image 8 or 9.
  • the determination of the color is limited to the determination of whether the respective object point appears light or dark.
  • the determination of the color assumed for a specific projection now results in a multi-digit code by means of which the plane in which the associated object point S lies can be identified.
  • the respective levels are coded spatially in one- or two-dimensional patterns by the project data or location information can be encoded by groups of adjacent stripes or rectangles of different colors or by different symbols.
  • the groups of adjacent stripes or rectangles of different colors that contain location information are referred to below as marks.
  • Such a mark consists, for example, of the horizontal sequence of four adjacent colored stripes, the individual marks also being able to overlap.
  • the spatial marks contained in the sample images 8 and 9 are decoded in the computer 7 and the location information is thereby recovered. If the marks are completely visible in the sample images 8 and 9, the coordinates of the surface 5 of the object can in principle also be obtained with this method when the object 2 is moving. The reliability in the decoding of the marks can be increased even further by using redundant codes for coding the marks, which allow the detection of errors.
  • Such codes can be decoded in real time using commercially available workstation computers 7, since only a limited environment has to be analyzed for each pixel of the sample image 8 or 9.
  • the surface 5 to be measured has spatial structures that are smaller than the projected marks, difficulties can arise in the decoding, since marks may not be completely visible under certain circumstances.
  • the reflection on the surface 5 can also be disturbed.
  • the surface 5 itself can show a stripe pattern which strongly disturbs the pattern 4 projected onto the surface 5.
  • Such a pattern which is highly disruptive to the projected pattern 4 is, for example, the stripe pattern of a bar code.
  • inaccuracies frequently occur at the edges of the object 2 when determining the spatial coordinates, since the marks abruptly break off along the edges of the object.
  • a multitude of cameras 6 are provided in the measuring device 1 to solve these problems. If necessary, more than two cameras 6 can also be used in a measuring device of the type of measuring device 1.
  • n depth maps In general, however, areas occur in these depth maps in which no depth value could be determined for the reasons mentioned above. In most cases, the proportion of problem areas in which no depth values can be determined is relatively small in relation to the total area.
  • stereo processing is now carried out according to the principle of stereo viewing.
  • the coordinates of the surface 5 of the object 2 can be obtained by recording the surface 5 from the cameras 6, the positions of the cameras 6 being precisely known. If, as shown in FIG. 2, the image points Si and S r assigned to an object point S can be identified in the pattern images 8 and 9, the spatial position of the object point S follows from the intersection of the at least two lines of sight 14 and 15. Two positions each the cameras 6 and the object point S form a triangle with a base 18 of known length and known base angles ⁇ i and ⁇ r . The coordinates of the object point S on the surface 5 can thus be determined with the help of the so-called triangulation.
  • the solution to the correspondence problem is simplified in that the known pattern 4 is projected onto the object 2.
  • the measuring device 1 it is therefore only necessary to search for corresponding brand parts along the epipolar lines 16 and 17. This is a major advantage, especially for single-color surfaces.
  • the stereo processing step is only carried out in the problem areas in which the structured light approach could not provide spatial coordinates of object 2.
  • the problem areas are areas with a pronounced optical structure, which is exacerbated by the projection of the pattern 4.
  • the problem areas are therefore generally well suited for processing according to the principle of stereo viewing.
  • the stereo processing step can be used to increase the spatial resolution, since correspondence points can also be determined within the brands. So with the combined process it is possible not only the brand boundaries or other brand features, but to assign an exact depth value to each pixel or the image point of the cameras 6.
  • shadowing can be avoided by using the measuring device 1, because the depth values can already be calculated when an area of the surface 5 lies in the common field of view of at least two cameras 6 or one camera 6 and the projector 3.
  • measuring device 1 in contrast to conventional measuring devices, it is possible with measuring device 1, even with very small or very colorful objects with many depth jumps under uncontrolled recording conditions, for example in strong ambient light, with a single pair of sample images 8 and 9 with precise three-dimensional data of very high Win resolution.
  • three-dimensional data of moving objects 2 can be determined, such as, for example, people passing by or objects on a conveyor belt.
  • the data supplied by the cameras 6 can be evaluated in real time on a commercially available workstation computer.
  • the measuring device 1 Compared to a device that works solely on the principle of stereo viewing, the measuring device 1 is significantly more efficient and, because of the redundant coding of the pattern 4, is considerably more reliable. In addition, the measuring device 1 delivers reliable data even on optically unstructured surfaces and contributes to the reduction of shadowing.
  • the measuring device 1 delivers more precise data for object edges and small surfaces 5. Furthermore, accurate data is also generated when the reflection of the marks is disturbed. Finally, a higher spatial resolution can also be achieved. Also are better suppressed compared to the prior art.
  • the measuring device 1 described here is suitable for the robust detection of finely structured surfaces in
  • the measuring device 1 can also be used in quality assurance.
  • the measuring device 1 is also suitable for the identification and authentication of people on the basis of biometric features, for example for face recognition or three-dimensional verification by checking the hand geometry.
  • the measuring device 1 can also be used for tasks such as quality control of food or three-dimensional detection of objects - for the modeling of objects for virtual realities in the multimedia and gaming sector.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Eine Messvorrichtung (1) zur Bestimmung von dreidimensionalen Objektdaten weist neben einem Projektor (3) wenigstens zwei Kameras (6) auf, die vom Objekt (2) verschiedene Objektbilder aufnehmen. Diese Objektbilder können in einer Datenverarbei tungseinheit (7) nach dem Strukturierten-Licht-Ansatz und nach dem Prinzip des Stereosehens verarbeitet werden. Dadurch lässt sich die Zuverlässigkeit der gewonnenen Daten wesentlich steigern.

Description

Beschreibung
Vorrichtung und Verfahren zur Bestimmung von Raumkoordinaten eines Objekts
Die Erfindung betrifft eine Vorrichtung zur Bestimmung von Raumkoordinaten eines Objekts mit: einem Projektor, der auf das Objekt ein Muster mit bekannten Projektionsdaten projiziert; - einer Kamera, die ein Objektbild des auf das Objekt pro- jizierten Musters erzeugt; einer der Kamera nachgeschalteten Datenverarbeitungseinheit, die aus dem Objektbild und den bekannten Projektionsdaten Raumkoordinaten des Objekts bestimmt.
Die Erfindung betrifft ferner ein Verfahren zur Bestimmung von Raumkoordinaten eines Objekts mit den Verfahrensschritten: Projektion eines Musters mit bekannten Projektionsdaten auf ein Objekt, Erzeugen eines Objektbilds mit Hilfe einer Kamera und Bestimmen der Raumkoordinaten aus den bekannten Projektionsdaten in einer Datenverarbeitungseinheit.
Eine derartige Vorrichtung und ein derartiges Verfahren sind aus der DE 199 63 333 AI bekannt. Bei der bekannten Vorrichtung und dem bekannten Verfahren wird von einem Projektor ein zweidimensionales Farbmuster auf die Oberfläche des zu untersuchenden Objekts projiziert. Eine Kamera, deren Lage bezüg- lieh des Projektors bekannt ist, erfasst das auf das Objekt projizierte Farbmuster. Mit Hilfe eines Triangulationsverfahrens können anschließend die dreidimensionalen Koordinaten eines Punkts auf der Oberfläche des Objekts berechnet werden.
Die bekannte Vorrichtung und das bekannte Verfahren eignen sich insbesondere zur Vermessung von großflächigen einfarbigen Gegenständen. Wenn die Oberfläche des zu vermessenden Ob- jekts jedoch in räumlicher Hinsicht oder in Bezug auf die Einfärbung des Objektes kleinteilig strukturiert ist, ist es häufig schwierig, das Objektbild zu analysieren, da entweder das projizierte Muster aufgrund 'von Abschattungen oder Kanten nur unvollständig im Objektbild enthalten ist oder weil das projizierte Farbmuster durch die Einfärbung der Oberfläche des zu vermessenden Objekts verfälscht wird. Darüber hinaus ist die Ortsauflösung des bekannten Verfahrens eingeschränkt, da zur Codierung der Projektionsdaten im Farbmuster Farbflä- chen mit einer bestimmten räumlichen Ausdehnung verwendet werden müssen.
Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zu schaffen, mit denen sich auch kleinteilig strukturierte Oberflächen eines zu vermessenden Objekts mit großer Genauigkeit erfassen lassen.
Diese Aufgabe wird durch eine Vorrichtung und ein Verfahren mit den Merkmalen der unabhängigen Ansprüche gelöst. In davon abhängigen Ansprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen angegeben.
Die Vorrichtung zeichnet sich dadurch aus, dass wenigstens eine weitere Kamera ein weiteres Objektbild erzeugt und die
Datenverarbeitungseinheit aus den Objektbildern mittels eines Triangulationsverfahrens zusätzliche Raumkoordinaten des Objekts bestimmt.
Bei der Vorrichtung können die Raumkoordinaten auf zweierlei Weise bestimmt werden. Zum einen ist es möglich, die Musterbilder unabhängig voneinander auf der Grundlage der bekannten Projektionsdaten des projizierten Musters auszuwerten. Vorzugsweise werden dabei die Raumkoordinaten aus den Muster- bildern auf der Grundlage der Projektionsdaten des projizierten Musters bestimmt . Erst wenn einem Bildpunkt in einem der beiden Musterbilder keine Raumkoordinaten zugeordnet werden können, werden in den beiden Musterbildern zueinander korrespondierende Bildpunkte gesucht und aus den Bildkoordinaten mit Hilfe eines Triangulationsverfahrens versucht, die fehlenden Raumkoordinaten zu bestimmen.
Bei einer bevorzugten Ausführungsform der Vorrichtung und des Verfahrens werden die zueinander korrespondierenden Bildpunkte entlang so genannter Epipolarlinien gesucht . Die Epipolar- linien sind die Projektion der einem Bildpunkt eines Muster- bilds zugeordneten Sichtlinie in ein anderes Musterbild. Das auf das zu vermessende Objekt projizierte Muster ist dabei vorzugsweise so ausgebildet, dass die Epipolarlinien eine Vielzahl von Musterflächen durchqueren, so dass bei der Suche entlang der Epipolarlinien auf die im projizierten Muster co- dierte Ortsinformation zurückgegriffen werden kann.
Bei einer weiteren bevorzugten Ausführungsform enthält das auf das Objekt projizierte Muster redundant codierte Ortsinformationen. Dadurch können Fehler beim Decodieren des Mus- ters eliminiert werden.
Weitere Eigenschaften und Vorteile der Erfindung gehen aus der nachfolgenden Beschreibung hervor, in der Ausführungsbei- spiele der Erfindung anhand der beigefügten Zeichnung erläu- tert werden. Es zeigen:
Fig. 1 eine Vorrichtung zur Bestimmung der räumlichen Struktur eines Objekts; und
Fig. 2 eine Darstellung der Vorrichtung aus Fig. 1 mit eingezeichneten Sichtlinien und Bildkoordinatensystemen.
Fig. 1 zeigt eine Messvorrichtung 1 zur Bestimmung der räum- liehen Struktur eines Objekts 2. Die Messvorrichtung 1 um- fasst einen Projektor 3, der ein Muster 4 auf eine Oberfläche 5 des Objekts 2 projiziert. Neben dem Projektor 3 sind Käme- ras 6 angeordnet, die das auf das Objekt 2 projizierte Muster 4 erfassen. Die Kameras 6 sind jeweils an einem Rechner 7 angeschlossen.
Die Kameras 6 erzeugen die in Fig. 2 dargestellten Musterbilder 8 und 9. Die Lagen von Bildpunkten Si und Sr in den Musterbildern 8 und 9 werden mit Hilfe von Bildkoordinatensystemen 10 und 11 beschrieben. Weiterhin sind in Fig. 2 Objektivkoordinatensysteme 12 und 13 dargestellt, die die Lage von Objektiven der Kameras 6 verdeutlichen. In der Praxis befinden sich die Musterbilder 8 und 9 in Strahlrichtung hinter den Objektiven der Kameras 6 und 7. Der Einfachheit halber sind jedoch in Fig. 2 die Musterbilder 8 und 9 in Strahlrichtung vor den Objektivkoordinatensystemen 12 und 13 einge- zeichnet. An den geometrischen Verhältnissen ändert sich jedoch dadurch nichts .
Ferner sind in Fig. 2 Sichtlinien 14 und 15 eingezeichnet, die jeweils von einem Objektpunkt S auf der Oberfläche 5 des Objekts 2 zu einem Ursprung Oi des Objektivkoordinatensystems 12 und zu einem Ursprung Or des Objektivkoordinatensystems 13 verlaufen. Entlang der Sichtlinien 14 und 15 wird der Objektpunkt S im Musterbild 8 auf den Bildpunkt Si und im Musterbild 9 auf den Bildpunkt Sr abgebildet. Die Bildpunkte Sα und Sr werden auch als korrespondierende Bildpunkte bezeichnet.
Die zueinander korrespondierenden Bildpunkte Si und Sr liegen auf epipolaren Linien 16 und 17, die jeweils die Projektion der' Sichtlinien 14 und 15 in das jeweils andere Musterbild 8 und 9 sind.
Die Oberflächenkoordinaten der Oberfläche 5 des Objekts 2 können bei der Messvorrichtung 1 zum einen gemäß dem Struktu- rierten-Licht-Ansatz bestimmt werden. Bei diesem Verfahren wird beispielsweise wie in Fig. 1 und 2 dargestellt, das zu vermessende Objekt mit einem Streifenmuster beleuchtet. Zu jedem Bildpunkt in den Musterbildern 8 und 9 ist nun die Ebene zu identifizieren, in der der Objektpunkt S liegt, der dem Bildpunkt Si oder Bildpunkt Sr entspricht . Diese Aufgabe wird auch als Identifikationsproblem bezeichnet. Da die Winkel bekannt sind, unter denen ein Streifen des Musters 4 auf das Objekt 2 projiziert wird, kann der Winkel der Sichtlinie 14 oder 15 nach Identifikation der jeweiligen Ebene oder des jeweiligen Streifens im Musterbild 8 oder 9 bestimmt werden. Da ferner der Abstand zwischen dem Projektor 3 und der jeweiligen Kamera 6 bekannt ist, kann durch Triangulation der Abstand des Objektpunkts S aus einem der Musterbilder 8 oder 9 bestimmt werden.
Beim Codierten-Licht-Ansatz, einer abgewandelten Ausführungsform des Strukturierten-Licht-Ansatzes, wird das Identifikationsproblem dadurch gelöst, dass nacheinander verschiedene, aus Streifen zusammengesetzte Muster 4 auf das Objekts 2 projiziert werden, wobei die Streifenbreiten der Muster 4 variieren. Für jede dieser Projektionen wird ein Musterbild 8 o- der 9 aufgenommen und für jeden Bildpunkt im Musterbild 8 o- der 9 wird die jeweilige Farbe festgestellt. Bei Schwarz- Weiß-Bildern beschränkt sich die Feststellung der Farbe auf die Feststellung, ob der jeweilige -Objektpunkt hell oder dunkel erscheint. Für jeden Bildpunkt ergibt nun die Feststellung der bei einer bestimmten Projektion angenommenen Farbe einen mehrstelligen Code, durch den die Ebene identifi- ziert werden kann, in der der zugehörige Objektpunkt S liegt.
Mit dieser Ausführungsform des Codierten-Licht-Ansatzes lassen sich besonders hohe Auflösungen erzielen. Weil jedoch bei diesem Verfahren jeder Objektpunkt S während der Projektion seine Lage beibehalten muss, eignet sich das Verfahren nur für statische unbewegte Objekte, aber nicht für sich bewegende oder sich verformende Objekte, wie beispielsweise Personen oder bewegte Objekte auf einer Transporteinrichtung.
Bei einer modifizierten Ausführungsform des Codierten-Licht- Ansatzes werden die jeweiligen Ebenen räumlich in ein- oder zweidimensionalen Mustern codiert, indem die Projektsdaten oder Ortsinformationen durch Gruppen von benachbarten verschiedenfarbigen Streifen oder Rechtecken oder durch verschiedene Symbole codiert werden. Die Gruppen von benachbarten verschiedenfarbigen Streifen oder Rechtecken, die eine Ortsinformation enthalten, werden im Folgenden Marken genannt. Eine derartige Marke besteht beispielsweise aus der horizontalen Folge von jeweils vier benachbarten farbigen Streifen, wobei die einzelnen Marken auch überlappen können. Die in den Musterbildern 8 und 9 enthaltenen räumlichen Marken werden im Rechner 7 decodiert und dadurch werden die Ortsinformationen zurückgewonnen. Wenn die Marken vollständig in den Musterbildern 8 und 9 sichtbar sind, lassen sich mit diesem Verfahren die Koordinaten der Oberfläche 5 des Objekts grundsätzlich auch dann gewinnen, wenn sich das Objekt 2 be- wegt. Die Zuverlässigkeit bei der Decodierung der Marken kann noch weiter gesteigert werden, indem zur Codierung der Marken redundante Codes verwendet werden, die das Erkennen von Fehlern erlauben.
Die Decodierung derartiger Codes kann mit handelsüblichen Arbeitsplatzrechnern 7 in Echtzeit durchgeführt werden, da für jeden Bildpunkt des Musterbilds 8 oder 9 nur eine begrenzte Umgebung analysiert werden muss.
Wenn die zu vermessende Oberfläche 5 jedoch räumliche Strukturen aufweist, die kleiner als die projizierten Marken sind, kann es zu Schwierigkeiten bei der Decodierung kommen, da unter Umständen Marken nicht vollständig sichtbar sind. Darüber hinaus kann die Reflexion an der Oberfläche 5 auch gestört sein. Beispielsweise kann die Oberfläche 5 selbst ein Streifenmuster zeigen, das das auf die Oberfläche 5 projizierte Muster 4 stark stört. Ein solches das projizierte Muster 4 stark störendes Muster ist beispielsweise das Streifenmuster eines Barcodes. Weiterhin treten an den Rändern des Objekts 2 häufig Ungenauigkeiten bei der Bestimmung der Raumkoordinaten auf, da die Marken entlang den Rändern des Objekts abrupt abbrechen. Bei der Messvorrichtung 1 ist zur Lösung dieser Probleme eine Vielzahl von Kameras 6 vorgesehen. Gegebenenfalls können auch mehr als zwei Kameras 6 bei einer Messvorrichtung von der Art der Messvorrichtung 1 verwendet werden.
In einem ersten Verfahrensschritt werden die von den n Kameras 6 aufgenommenen Musterbilder 8 und 9 gemäß dem Struktu- rierten-Licht-Ansatz ausgewertet. Daraus ergeben sich dann n Tiefenkarten. Im Allgemeinen treten jedoch in diesen Tiefenkarten Bereiche auf, in denen aus den oben genannten Gründen kein Tiefenwert bestimmt werden konnte. In den meisten Fällen ist der Anteil der Problembereiche, in denen keine Tiefenwerte bestimmt werden können, bezüglich der Gesamtfläche ver- hältnismäßig klein.
In einem zweiten Verfahrensschritt wird nun eine Stereoverarbeitung nach dem Prinzip des Stereosehens durchgeführt.
Gemäß dem Prinzip des Stereosehens lassen sich die Koordinaten der Oberfläche 5 des Objekts 2 gewinnen, indem die Oberfläche 5 von den Kameras 6 aus aufgenommen wird, wobei die Positionen der Kameras 6 genau bekannt sind. Wenn, wie in Fig. 2 dargestellt, die einem Objektpunkt S zugeordneten Bildpunkte Si und Sr in den Musterbildern 8 und 9 identifiziert werden können, folgt die räumliche Position des Objektpunkts S aus dem Schnitt der mindestens zwei Sichtlinien 14 und 15. Je zwei Positionen der Kameras 6 und der Objektpunkt S bilden ein Dreieck mit einer Basis 18 bekannter Länge und bekannten Basiswinkeln φi und φr. Damit lassen sich die Koordinaten des Objektpunkts S auf der Oberfläche 5 mit Hilfe der so genannten Triangulation bestimmen.
Allerdings ist das Auffinden von korrespondierenden Bildpunk- ten Si und Sr mit Problemen behaftet. Die Lösung des Korrespondenzproblems wird zwar zunächst dadurch vereinfacht, dass ein Objektpunkt S mit Bildpunkt Si auf der durch Si und die bekannte Kamerageometrie festgelegten Sichtlinie 14 liegen muss. Die Suche nach den Bildpunkten Sr im Musterbild 9 kann sich also auf die Projektion der Sichtlinie 14 in die Bildebene der anderen Kamera 6, auf die so genannte Epipolarlinie 17 beschränken. Dennoch bleibt die Lösung des Korrespondenzproblems insbesondere unter Echtzeitbedingungen schwierig.
Grundsätzlich besteht zwar die Möglichkeit, bestimmte Annahmen über das Musterbild 8 oder 9 zu treffen. Beispielsweise kann die Annahme getroffen werden, dass die Musterbilder 8 und 9 annähernd gleich aussehen ("Similarity Constraint") , oder angenommen werden, dass die räumliche Reihenfolge der Merkmale des Objekts 2 in allen Musterbildern 8 und 9 gleich ist ("Ordering Constraint") . Diese Annahmen treffen aber nicht unter allen Umständen zu, da das Aussehen des Objekts 2 stark vom Betrachtungswinkel abhängt.
Bei der Messvorrichtung 1 wird die Lösung des Korrespondenzproblems jedoch dadurch vereinfacht, dass auf das Objekt 2 das bekannte Muster 4 projiziert wird. Bei der Messvorrich-_ tung 1 braucht daher nur entlang der Epipolarlinien 16 und 17 nach entsprechenden Markenteilen gesucht werden. Insbesondere bei einfarbigen Flächen ist das ein wesentlicher Vorteil. Darüber hinaus wird der Stereoverarbeitungsschritt ausschließlich in den Problembereichen durchgeführt, in denen der Strukturierte-Licht-Ansatz keine Raumkoordinaten des Ob- > jekts 2 liefern konnte. Häufig handelt es sich bei den Problembereichen um Bereiche mit ausgeprägter optischer Struktur, die durch die Projektion des Musters 4 noch verstärkt wird. Die Problembereiche sind daher für eine Verarbeitung nach dem Prinzip des Stereosehens im Allgemeinen gut geeignet.
Ferner kann der Stereoverarbeitungsschritt dazu verwendet werden, die Ortsauflösung zu steigern, da auch innerhalb der Marken Korrespondenzpunkte bestimmt werden können. So ist es mit dem kombinierten Verfahren möglich, nicht nur den Marken- grenzen oder anderen Markenmerkmalen, sondern jedem Pixel o- der Bildpunkt der Kameras 6 einen genauen Tiefenwert zuzuordnen.
Schließlich können durch die Anwendung der Messvorrichtung 1 Abschattungen vermieden werden, denn die Tiefenwerte können bereits dann berechnet werden, wenn ein Bereich der Oberfläche 5 im gemeinsamen Sichtfeld von wenigstens zwei Kameras 6 oder einer Kamera 6 und dem Projektor 3 liegt.
Somit ist es mit der Messvorrichtung 1 im Gegensatz zu herkömmlichen MessVorrichtungen möglich, auch bei sehr kleinen oder sehr bunten Objekten mit vielen Tiefensprüngen unter unkontrollierten Aufnahmebedingungen, zum Beispiel bei starkem Fremdlicht, mit einem einzigen Paar von Musterbildern 8 und 9 genaue dreidimensionale Daten von sehr hoher Auflösung zu gewinnen. Insbesondere lassen sich dreidimensionale Daten von bewegten Objekten 2 bestimmen, wie beispielsweise von vorbeilaufenden Personen oder von Gegenständen auf einem Fließband. Die Auswertung der von den Kameras 6 gelieferten Daten kann auf einem handelsüblichen Arbeitsplatzrechner in Echtzeit erfolgen .
Im Vergleich zu einer Vorrichtung, die allein nach dem Prin- zip des Stereosehens arbeitet, ist die Messvorrichtung 1 deutlich effizienter, und aufgrund der redundanten Codierung der Muster 4 erheblich zuverlässiger. Darüber hinaus liefert die MessVorrichtung 1 auch bei optisch unstrukturierten Oberflächen zuverlässige Daten und trägt zur Reduzierung von Ab- schattungen bei.
Im Vergleich zu Vorrichtungen, die ausschließlich nach dem Strukturierten-Licht-Ansatz arbeiten, liefert die Messvorrichtung 1 genauere Daten bei Objektkanten und kleinen Ober- flächen 5. Ferner werden auch dann genaue Daten erzeugt, wenn die Reflexion der Marken gestört ist. Schließlich kann auch eine höhere räumliche Auflösung erzielt werden. Auch Abschat- tungen werden im Vergleich zum Stand der Technik besser unterdrückt .
Die hier beschriebene Messvorrichtung 1 eignet sich für die robuste Erfassung von fein strukturierten Oberflächen in
Echtzeit auch bei sich schnell bewegenden, farbigen Objekten 2 in unkontrollierten Umgebungen wie im Freien, in öffentlichen Gebäuden oder in Fabrikhallen. Im Zusammenhang mit der Konstruktion besteht die Notwendigkeit, Gegenstände für Nach- bauten, für die Herstellung von Ersatzteilen oder der Erweiterung bestehender Anlagen oder Maschinen dreidimensional zu vermessen. Diese Aufgaben können mit Hilfe der Messvorrichtung 1 erfüllt werden. Auch in der Qualitätssicherung kann die Messvorrichtung 1 eingesetzt werden. Die MessVorrichtung 1 ist ferner für die Identifizierung und Authentifizierung von Personen anhand biometrischer Merkmale geeignet, zum Beispiel für die Gesichtserkennung oder die dreidimensionale Verifikation durch eine Überprüfung der Handgeometrie. Die Messvorrichtung 1 kann ferner auch für Aufgaben wie die Qua- litätskontrolle von Lebensmitteln oder das dreidimensionale Erfassen von Gegenständen -für die Modellierung von Objekten für virtuelle Realitäten im Multimedia- und Spielebereich eingesetzt werden.

Claims

Patentansprüche
1. Vorrichtung zur Bestimmung von Raumkoordinaten eines Objekts (2) mit: - einem Projektor (3) , der auf das Objekt (2) ein Muster (4) mit bekannten Projektionsdaten projiziert, mit einer Kamera (6) , die ein Objektbild (8) des auf das Objekt (2) projizierten Musters (4) erzeugt, und mit einer der Kamera (6) nachgeschalteten Datenverarbei- tungseinheit (7), die aus dem Objektbild (8) und den bekannten Projektionsdaten Raumkoordinaten des Objekts (2) bestimmt, dadurch gekennzeichnet, dass wenigstens eine weitere Kamera (6) ein weiteres Objektbild (9) erzeugt und die Datenverarbeitungseinheit (7) aus den Objektbildern (8, 9) mittels eines Triangulationsverfahrens zusätzliche Raumkoordinaten des Objekts (2) bestimmt.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Muster (4„) redundant codierte Projektionsdaten enthält..
3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Epipolarlinien (16, 17) eine Vielzahl von Marken des Musters (4) durchqueren.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (7) die Suche nach korrespondierenden Bildpunkten (Si, Sr) auf Problembereiche beschränkt, in denen eine Auswertung der Musterbilder (8, 9) allein ein fehlerhaftes Ergebnis liefert.
5. Verfahren zur Bestimmung von Raumkoordinaten eines Objekts (2) mit den Verfahrensschritten: Projektion eines Musters (4) mit bekannten Projektionsdaten auf ein Objekt (2); - Erzeugen eines Objektbilds (8) mit Hilfe einer Kamera (6) ; und - Bestimmen der Raumkoordinaten aus den bekannten Projektionsdaten in einer Datenverarbeitungseinheit (7) , dadurch gekennzeichnet, dass mit Hilfe einer weiteren Kamera (6) ein weiteres Objektbild (9) aufgenommen wird und dass bei einer fehlerhaften Bestim- mung der Raumkoordinaten auf der Grundlage der Projektionsdaten und einem der Musterbilder (8, 9) zusätzliche Raumkoordinaten des Objekts (2) durch eine Suche nach korrespondierenden Bildpunkten (Si, Sr) in den Objektbildern (8, 9) und eine nachfolgende Triangulation bestimmt werden.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass korrespondierenden Bildpunkte (Si, Sr) entlang von epipolaren
Linien (16, 17) gesucht werden.
EP05716706A 2004-02-24 2005-02-16 Vorrichtung und verfahren zur bestimmung von raumkoordinaten eines objekts Withdrawn EP1718926A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004008904A DE102004008904A1 (de) 2004-02-24 2004-02-24 Vorrichtung und Verfahren zur Bestimmung von Raumkoordinaten eines Objekts
PCT/EP2005/050669 WO2005080916A1 (de) 2004-02-24 2005-02-16 Vorrichtung und verfahren zur bestimmung von raumkoordinaten eines objekts

Publications (1)

Publication Number Publication Date
EP1718926A1 true EP1718926A1 (de) 2006-11-08

Family

ID=34833002

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05716706A Withdrawn EP1718926A1 (de) 2004-02-24 2005-02-16 Vorrichtung und verfahren zur bestimmung von raumkoordinaten eines objekts

Country Status (4)

Country Link
US (1) US20080319704A1 (de)
EP (1) EP1718926A1 (de)
DE (1) DE102004008904A1 (de)
WO (1) WO2005080916A1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8477154B2 (en) 2006-03-20 2013-07-02 Siemens Energy, Inc. Method and system for interactive virtual inspection of modeled objects
US8244025B2 (en) 2006-03-20 2012-08-14 Siemens Energy, Inc. Method of coalescing information about inspected objects
US7689003B2 (en) 2006-03-20 2010-03-30 Siemens Energy, Inc. Combined 2D and 3D nondestructive examination
US20080156619A1 (en) 2006-12-01 2008-07-03 Mehul Patel Range finder
DE102006061712A1 (de) * 2006-12-28 2008-07-03 Tropf, Hermann Erstellung eines Abstandsbildes
DE502007002611D1 (de) * 2007-02-09 2010-03-04 Siemens Ag Verfahren zur Bearbeitung eines Gegenstands, eines Systems oder einer Einrichtung und zugehörige Bearbeitungsvorrichtung
DE102011121696A1 (de) * 2011-12-16 2013-06-20 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von tiefenlimitierten Objekten
JP2013210254A (ja) * 2012-03-30 2013-10-10 Canon Inc 三次元計測装置、三次元計測方法及び三次元計測プログラム
DE102012013079B4 (de) 2012-06-25 2023-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum berührungslosen Erfassen einer dreidimensionalen Kontur
DE102012222505B4 (de) * 2012-12-07 2017-11-09 Michael Gilge Verfahren zum Erfassen dreidimensionaler Daten eines zu vermessenden Objekts, Verwendung eines derartigen Verfahrens zur Gesichtserkennung und Vorrichtung zur Durchführung eines derartigen Verfahrens
DE102013111761B4 (de) * 2013-10-25 2018-02-15 Gerhard Schubert Gmbh Verfahren und Scanner zum berührungslosen Ermitteln der Position und dreidimensionalen Form von Produkten auf einer laufenden Fläche
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
CN105783770A (zh) * 2016-01-22 2016-07-20 西南科技大学 一种基于线结构光的冰形轮廓测量的方法
WO2024026155A2 (en) * 2022-04-11 2024-02-01 Virginia Tech Intellectual Properties, Inc. Ultra-high spatial resolution structured light scanner and applications thereof

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4357108A (en) * 1980-06-06 1982-11-02 Robotic Vision Systems, Inc. Method for reproducton of object surfaces
US4842411A (en) * 1986-02-06 1989-06-27 Vectron, Inc. Method of automatically measuring the shape of a continuous surface
US5589942A (en) * 1990-04-05 1996-12-31 Intelligent Automation Systems Real time three dimensional sensing system
NO302055B1 (no) * 1993-05-24 1998-01-12 Metronor As Fremgangsmåte og system for geometrimåling
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
DE19623172C1 (de) * 1996-06-10 1997-10-23 Univ Magdeburg Tech Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
US7068825B2 (en) * 1999-03-08 2006-06-27 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
DE19963333A1 (de) * 1999-12-27 2001-07-12 Siemens Ag Verfahren zur Ermittlung von dreidimensionalen Oberflächenkoordinaten
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
EP1213912A3 (de) * 2000-12-07 2005-02-02 Sony United Kingdom Limited Verfahren und Vorrichtung zum Einfügen von Daten, sowie zur Erkennung und Wiederherstellung der eingefügten Daten
US6492651B2 (en) * 2001-02-08 2002-12-10 3D Systems, Inc. Surface scanning system for selective deposition modeling
US6868194B2 (en) * 2001-12-19 2005-03-15 General Electric Company Method for the extraction of image features caused by structure light using image reconstruction
DE10232690A1 (de) * 2002-07-18 2004-02-12 Siemens Ag Verfahren und Vorrichtung zur dreidimensionalen Erfassung von Objekten sowie Verwendung der Vorrichtung und des Verfahrens
US20050068544A1 (en) * 2003-09-25 2005-03-31 Gunter Doemens Panoramic scanner
US20070115484A1 (en) * 2005-10-24 2007-05-24 Peisen Huang 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2005080916A1 *

Also Published As

Publication number Publication date
WO2005080916A1 (de) 2005-09-01
US20080319704A1 (en) 2008-12-25
DE102004008904A1 (de) 2005-09-08

Similar Documents

Publication Publication Date Title
WO2005080916A1 (de) Vorrichtung und verfahren zur bestimmung von raumkoordinaten eines objekts
DE3854348T2 (de) Verfahren und Vorrichtung zum Messen der Form einer dreidimensional gekrümmten Oberfläche.
EP1523654B1 (de) Verfahren und vorrichtung zur dreidimensionalen erfassung von objekten sowie verwendung der vorrichtung und des verfahrens
DE69726025T2 (de) Verfahren und vorrichtung zum erhalten einer dreidimensionalen form
EP0970435B1 (de) Verfahren zur dreidimensionalen identifizierung von objekten
DE102017116952A1 (de) System und verfahren für verbessertes scoring von 3d-lagen und entfernen von störpunkten in 3d-bilddaten
EP2002203A2 (de) Verfahren und system zur formmessung einer spiegelnden oberfläche
DE10137241A1 (de) Registrierung von Tiefenbildern mittels optisch projizierter Marken
DE102007054906A1 (de) Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
DE112010004767T5 (de) Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm
DE19634254B4 (de) Optisch-numerisches Verfahren zur Ermittlung der gesamten Oberfläche eines dreidimensionalen Objektes
DE102006055758A1 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
EP3775767B1 (de) Verfahren und system zur vermessung eines objekts mittels stereoskopie
DE102016100132B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
EP1821064B1 (de) Verfahren und Vorrichtung zum Erfassen einer Kontur einer reflektierenden Oberfläche
DE10317078B4 (de) Verfahren und Vorrichtung zur Analyse reflektierender Oberflächen
EP3628995A1 (de) Kalibriervorlage und kalibrierverfahren zum geometrischen kalibrieren einer vielzahl von kameras eines kamera-arrays
DE102017010683B4 (de) Verfahren zur automatischen Wiederherstellung eines eingemessenen Zustands eines Projektionssystems
EP3274652B1 (de) Streifenprojektionsverfahren, streifenprojektionsvorrichtung und computerprogrammprodukt
DE19953063A1 (de) Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
DE102006061712A1 (de) Erstellung eines Abstandsbildes
DE102019208474A1 (de) Verfahren und System zum optischen Vermessen eines Objekts mit spiegelnder und/oder teilspiegelnder Oberfläche sowie entsprechende Messanordnung
DE4301546A1 (de) Einrichtung zum Prüfen von Oberflächen von Werkstücken
DE102009006089B4 (de) Verfahren zur Zuordnung von Bildpunkten
DE102007033835A1 (de) Bildaufnahmetechnik zur direkten Objektsegmentierung in Bildern

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20060717

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE FR GB IT

17Q First examination report despatched

Effective date: 20070112

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR GB IT

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20120901