DE102018108874A1 - Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie - Google Patents

Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie Download PDF

Info

Publication number
DE102018108874A1
DE102018108874A1 DE102018108874.4A DE102018108874A DE102018108874A1 DE 102018108874 A1 DE102018108874 A1 DE 102018108874A1 DE 102018108874 A DE102018108874 A DE 102018108874A DE 102018108874 A1 DE102018108874 A1 DE 102018108874A1
Authority
DE
Germany
Prior art keywords
cameras
pattern
scene
recorded
correspondences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102018108874.4A
Other languages
English (en)
Inventor
Holger Wirth
Peter Neugebauer
Manuel Scholz
Enis Ersü
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isra Vision AG
Original Assignee
Isra Vision AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isra Vision AG filed Critical Isra Vision AG
Priority to DE102018108874.4A priority Critical patent/DE102018108874A1/de
Priority to PCT/EP2019/059521 priority patent/WO2019197656A1/de
Priority to EP19719201.6A priority patent/EP3775767B1/de
Priority to CN201980025388.1A priority patent/CN111971525B/zh
Priority to US17/045,702 priority patent/US11640673B2/en
Publication of DE102018108874A1 publication Critical patent/DE102018108874A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • G06T7/596Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042Calibration or calibration artifacts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und ein System zur Vermessung eines Objekts (2) mittels Stereoskopie, bei dem mittels eines Projektors (9) ein Muster (3) auf die Objektoberfläche projiziert wird und das als Szene bezeichnete auf die Objektoberfläche projizierte Muster (3) mit mindestens zwei Kameras (4.1, 4.2, 4.3, 4.4) aufgenommen wird, wobei mittels einer Recheneinheit (5) durch Bildverarbeitung in den durch die Kameras (4.1, 4.2, 4.3, 4.4) aufgenommenen Bildern Korrespondenzen der Szene aufgefunden werden und mittels der gefundenen Korrespondenzen eine Vermessung des Objekts (2) durchgeführt wird. Es ist vorgesehen, dass die Kameras (4.1, 4.2, 4.3, 4.4) intrinsisch und extrinsisch kalibriert sind und bei der Musterprojektion eine flächige und zeitliche Kodierung erzeugt wird, indem (a) ein (vollständig) flächig kodiertes Muster (3) projiziert und die Szene mit den Kameras (4.1, 4.2, 4.3, 4.4) aufgenommen wird, und (b) ein zeitlich kodiertes Muster mit flächig unterschiedlicher Kodierung mehrfach nacheinander projiziert und mehrere Szenen nacheinander mit den Kameras (4.1, 4.2, 4.3, 4.4) jeweils zeitgleich getriggert aufgenommen werden.

Description

  • Die Erfindung betrifft ein Verfahren und ein System zur Vermessung von insbesondere dreidimensionalen Objekten mittels Stereoskopie, bei dem mittels eines Projektors ein Muster auf die Objektoberfläche projiziert wird und das als Szene bezeichnete auf die Objektoberfläche projizierte Muster mit mindestens zwei Kameras aufgenommen wird. Mittels einer Recheneinheit werden durch Bildverarbeitung in den durch die Kameras aufgenommenen Bildern Korrespondenzen der Szene aufgefunden und mittels der gefundenen Korrespondenzen eine Vermessung des Objekts durchgeführt. Dies erfolgt insbesondere durch Bestimmen der Koordinaten der gefundenen Korrespondenzen. Mit anderen Worten wird ein Vermessen der Objektoberfläche, die mit dem projizierten Muster beleuchtet ist, durchgeführt.
  • Für die dreidimensionale optische Vermessung von Objekten ist die sogenannte Stereoskopie ein bekanntes Verfahren. Dazu werden zwei Kameras benutzt, die in einem bestimmten Abstand zueinander montiert sind und in die zu vermessende Szene schauen. Es gibt passive Verfahren, die versuchen mit der natürlichen Beleuchtung oder zumindest einer unstrukturierten Beleuchtung auszukommen, und aktive Verfahren, die eine strukturierte Beleuchtung benutzen. Die strukturierte Beleuchtung wird benutzt, damit das schwierigste Problem beim Stereoverfahren, nämlich die robuste Auffindung von Korrespondenzen in den Bildern der verschiedenen Kameras, sicherer gelöst werden kann. Hier sind wiederum mehrere Verfahren bekannt, wobei alle letztendlich Bildpunkte in jeder Kamera auswerten.
  • Aufgabe der Erfindung ist es, ein solches Verfahren und System dahingehend weiter zu entwickeln, dass die Vermessung der Objekte robuster und weniger störanfällig ist. Die erfindungsgemäß vorgeschlagenen Verfahren und System sind insbesondere zur Verwendung in industriellen Umgebungen vorgesehen, insbesondere bei der Fertigung oder Montage dreidimensionaler Objekte.
  • Bei dem erfindungsgemäß vorgeschlagenen Verfahren ist insbesondere vorgesehen, dass die Kameras intrinsisch und extrinsisch kalibriert sind. Bei der Musterprojektion wird eine flächige Kodierung und eine zeitliche Kodierung erzeugt, indem zum einen
    • • ein (vollständig) flächig kodiertes Muster projiziert und die Szene mit den Kameras vorzugsweise zeitgleich getriggert aufgenommen wird, und
    • • ein zeitlich kodiertes Muster mit flächig unterschiedlicher Kodierung mehrfach nacheinander projiziert und mehrere Szenen nacheinander mit den Kameras jeweils zeitgleich getriggert aufgenommen werden.
  • Bei der flächigen Kodierung werden für die Szene Korrespondenzen benachbarter Bildpunkte in den durch die verschiedenen Kameras aufgenommen Bildern gefunden. Ferner werden bei der zeitlichen Kodierung für die mehreren Szenen in jeweils denselben Bildpunkten der durch die verschiedenen Kameras aufgenommenen Bilder Korrespondenzen gefunden. Für jeden Bildpunkt werden gefundene Korrespondenzen in der flächigen Kodierung und in der zeitlichen Kodierung korreliert, und diese Korrelationen werden bei der Vermessung des Objekts verwendet. Die Verwendung kann bspw. in einer Mittelung verschiedener Koordinatenpunktberechnungen, einer Überprüfung auf Abweichung und Bewertung mittels zulässiger Toleranzen, einem Verwerfen einzelner Bildpunkte oder dgl. bestehen.
  • Unter einem vollständig flächig kodierten Muster wird verstanden, dass das Muster zumindest in dem gesamten interessierenden Projektionsbereich, der der auf dem Objekt (bzw. genauer der Oberfläche des Objekts) durch die Projektion dargestellte Ausschnitt des Musters ist, kodiert ist. Grundsätzlich wird bei einer flächigen Kodierung ein Muster projiziert, das eine zweidimensionale Kodierung realisiert, d.h. dass ein Musterpunkt im Kontext des Gesamtmusters oder zumindest einer gewissen Musterumgebung um diesen Musterpunkt eindeutig identifizierbar ist. Als besonders vorteilhaft haben sich hier zweidimensionale Pseudo-Zufallsmuster erwiesen, deren Auflösung so gewählt ist, dass die Kameras die einzelnen Musterpunkte gerade noch sicher auflösen können, d.h. dass die Auflösung der Pixel der Kamera höher ist als die einzelnen Musterpunkte. Mit anderen Worten sind die Pixel der Kamera, auf denen das Muster abgebildet wird, kleiner als die Musterpunkte des in den Pixeln der Kamera abgebildeten Musters. Ein Musterpunkt wird also durch mehrere, vorzugsweise in zwei Dimensionen nebeneinander liegende Pixel der Kamera und des Kamerabildes beschrieben. Wie hoch die Auflösung der Musterpunkte sein muss, damit die Bildverarbeitung die einzelnen Musterpunkte sicher auffinden (d.h. auflösen) kann, hängt von den jeweiligen optischen Gegebenheiten ab und wird ggf. durch den Fachmann bei der Einrichtung des Systems durch theoretische Überlegungen und/oder Versuche ermittelt und entsprechend eingestellt. Grundsätzlich ist es je nach Anwendungsfall möglich, dass ein Musterpunkt in etwa in nur einem Kamerapixel abgebildet wird. Häufig wird es aber sinnvoll sein, wenn eine Musterpunkt eine flächige Anordnung mehrerer Kamerapixel umfasst.
  • Der Vorteil dieser räumlich bzw. flächig kodierten Muster ist, dass sie mit einem einzigen Bild in jeder Kamera auskommen. Der Nachteil ist jedoch, dass sie für jeden Musterpunkt Nachbarschaftsinformation benötigen. Es muss also in der Umgebung jedes Musterpunkts noch genügend Fläche in den Pixeln der Kamera abgebildet sein, dass zumindest noch so viel von der Musterumgebung erkennbar ist, dass die erfindungsgemäß durch die Anordnung der einzelnen Musterpunkte relativ zueinander erzeugte flächige Kodierung sicher erkannt werden kann. Außerdem ist diese Methode aus dem gleichen Grund relativ störungsanfällig, bspw. durch Störungen oder Reflexionen in den Bildern der Kameras.
  • Bei der zeitlichen Kodierung werden mehrere Muster in schneller Folge hintereinander projiziert und aufgenommen. Diese Muster unterscheiden sich leicht voneinander. Die Kodierung liegt hier in der zeitlichen Abfolge von Helligkeitswerten, bspw. Grauwerten, die in jedem Musterpunkt (oder Kamerapixel bzw. den den Musterpunkt abbildenden Kamerapixeln) aufeinander folgen. Diese Methode hat den Vorteil, dass keine Nachbarschaftsinformation für die einzelnen Musterpunkte benötigt wird. Dadurch ist die Erkennung robuster und die laterale Auflösung der Kamera kann voll genutzt werden. Der Nachteil der Methode ist, dass mehrere Bilder benötigt werden, um eine ausreichende Codierung für jeden Musterpunkt zu erhalten.
  • Gemäß einer bevorzugten Ausführungsform kann das zeitlich kodierte Muster durch mindestens eine räumliche Verschiebung oder mehrere (ggf. auch verschiedene) räumliche Verschiebungen desselben (vollständig) flächig kodierten Musters erzeugt werden. Hierdurch wird erreicht, dass in einem Musterpunkt bzw. auch Kamerapixel zeitlich versetzt unterschiedliche Musterinformationen dargestellt werden. Hierdurch lässt sich durch eine bestimmte Abfolge der zeitlichen Informationen auf einfache Weise eine zeitliche Kodierung erreichen.
  • Vorzugsweise ist die Größe der räumlichen Verschiebung klein bzw. gering im Vergleich zur Gesamtgröße des projizierten Musters. Beispielsweise liegt die Verschiebung in der Größenordnung eines Musterpunkts, wobei mit Größenordnung etwa ein Bereich des 0,25-fachen bis zum 10-fachen der Größe eines Musterpunkts gemeint sein kann. Vorzugweise ist die Bildauflösung der Kameras größer (höher) als ein Musterpunkt, vorzugsweise mindestens 5 oder 10 mal so groß. Erfindungsgemäß kann die Größe eines Musterpunkts bei der Abbildung des Musterpunkts in der Kamera aber auch der Größe eines Pixel der Kamera entsprechen. Ein sinnvolles Verhältnis von Auflösung der Kameras und Größe des projizierten Musterpunkts hängt auch von der Größe und Art des Objekts ab, und kann vom Fachmann nach Bedarf eingestellt werden.
  • Bei der flächigen Kodierung ist mit einem Bildpunkt grundsätzlich ein Musterpunkt gemeint, der im Folgenden noch näher definiert wird. Da die Pixelauflösung der Kameras erfindungsgemäß in vielen Fällen größer ist als die Rasterung des Musters mit einzelnen Musterpunkten, werden für die Auswertung meist mehrere Kamerapixel (im Sinne der technisch kleinstmöglichen Bildpunkte) erfindungsgemäß zusammengefasst, um Musterpunkte als Bildpunkte zu beschreiben, die dann mittels Bildverarbeitung ausgewertet werden, um flächige Korrespondenzen zu finden. Grundsätzlich können erfindungsgemäß aber auch einzelne Kamerapixel als Bildpunkte betrachtet werden.
  • Dies (d.h. die Auswertung einzelner Kamerapixel als Bildpunkte) ist erfindungsgemäß bevorzugt bei der zeitlichen Kodierung der Fall, in der es technisch einfacher ist, jeden Bildpunkt eines Kamerabilds auf die zeitliche Abfolge der Inhaltswerte zu untersuchen, so die zeitliche Kodierung zu erfassen und Korrespondenzen in den Bildern der anderen Kameras zu finden.
  • Entsprechend einer bevorzugten Ausführungsform der Erfindung können die ausgewerteten Bildpunkte bei der flächigen und der zeitlichen Kodierung also verschieden definiert sein. Das erfindungsgemäß vorgeschlagene Korrelieren der Korrespondenzen der flächigen Kodierung und der zeitlichen Kodierung erfolgt erfindungsgemäß in diesem Fall bevorzugt auf Basis der kleineren Bildpunkte, d.h. konkret der Kamerapixel.
  • Die Definition unterschiedlicher Bildpunkte bei den unterschiedlichen Kodierungen ist jedoch optional, weil das Verfahren grundsätzlich auch durchführbar ist, wenn die Bildpunkte bei der Auswertung der beiden Kodierungen gleich (auf die eine oder die andere Weise) definiert sind.
  • Erfindungsgemäß kann vorgeschlagen sein, dass die räumliche Verschiebung des Musters und die Aufnahme der Szene durch die zeitgleich getriggerten Kameras nicht aufeinander abgestimmt sind. Damit ist gemeint, dass diese nicht in einem vorgegebenen Bezug zueinanderstehen, sondern zeitlich zufällig zueinander liegen. Hierdurch wird das Auftreten systematischer Fehler vermieden.
  • Ferner kann die Größe der räumlichen Verschiebung zwischen den nacheinander aufgenommenen Szenen zur Erzeugung einer zeitlichen Kodierung unterschiedlich sein. Auch dies dient der Vermeidung systematischer Fehler durch zufällige Übereinstimmungen der Größe der Verschiebung des Musters und möglicher auf dem Objekt erkennbarer Strukturen.
  • Gemäß einer erfindungsgemäß bevorzugten Ausführungsform kann vorgesehen werden, dass die Größe mindestens einer der räumlichen Verschiebungen kleiner ist als ein Musterpunkt des flächigen Musters, bspw. etwa die Hälfte eines Musterpunkts. Unter Musterpunkt wird - entsprechend einem Pixel bei der Bildaufnahme - der in dem Muster dargestellte kleinste Musterbereich verstanden, aus dem durch flächiges Aneinanderfügen verschiedener kleinster Musterbereiche (mit in der Darstellung verschiedenem und/oder gleichem Inhalt, wobei ein Musterbereich jeweils einem Inhaltswert wie Farbe oder Helligkeit zugeordnet ist) das Gesamtmuster dargestellt werden kann. Anders beschrieben wird ein Musterpunkt durch einen Rasterpunkt gebildet, der bei der Rasterung des gesamten Musters durch jeweils benachbarte (aneinander anschließende) Rasterpunkte entsteht, wobei einem Rasterpunkt (respektive Musterpunkt) ein flächig gleicher Inhalt (Inhaltwert wie Farbe oder Helligkeit) zugeordnet ist.
  • Durch dieses Merkmal wird vermieden, dass systematische Strukturen auf dem Objekt und/oder der Objektoberfläche, deren Größe den Musterpunkten bzw. der durch die Musterpunkte vorgegebenen systematischen Rasterstruktur des Musters auf dem Objekt entspricht, zu systematischen Fehlern bei der Bewertung der Korrelationen führen.
  • Es ist erfindungsgemäß auch möglich, das zeitlich kodierte Muster durch phasenversetzte Projektion einer Helligkeitsverteilung zu erzeugen. Eine (zeitlich) phasenversetzte Projektion kann als alleinige Realisierung eines zeitlich kodierten Musters oder in Kombination mit der vorstehend beschrieben räumlichen Verschiebung eines flächigen Musters in einer oder mehreren der vorbeschriebenen Ausgestaltungen realisiert werden.
  • Die phasenversetzte Projektion einer Helligkeitsverteilung kann bspw. durch Projektion eines flächigen Musters mit unterschiedlichen Projektionshelligkeiten erfolgen. Als Muster kann jedes beliebige flächige Muster verwendet werden. Dies hat den Vorteil, dass für die Musterprojektion ein einfacher Diaprojektor verwendet werden kann, der ein auf einen transparenten Träger (Dia) (körperlich) vorhandenes Muster projiziert, wobei verschiedene Helligkeiten durch entsprechende Ansteuerung der Projektionslampen und/oder durch Filter unterschiedlicher Dichte, bspw. Graufilter, erzeugt werden, die dem transparenten Träger des Musters (Musterträger) in der Projektion überlagert werden.
  • Ein solcher Diaprojektor kann auch für die vorbeschriebene räumliche Verschiebung eines flächigen Musters genutzt werden. Hier ist es ausreichend, den mit dem das Muster tragenden Dia versehenen Diaträger des ansonsten feststehenden Diaprojektors (einschließlich dessen raumfest angeordneten Projektionsoptik) räumlich (minimal) zu verschieben und/oder zu verkippen (nachfolgend auch allgemein als „bewegen“ bezeichnet). Die Bewegung wird dann entsprechend der Projektionsoptik auf der Oberfläche des Objekts dargestellt.
  • Damit wird die Verschiebung des Dias entsprechend der Projektionsvergrößerung auf dem Objekt abgebildet. Dies ist mit dem Begriff „minimale Verschiebung und/oder Verkippung“ gemeint. Es ist also eine um den Faktor der Projektionsvergrößerung verminderte Bewegung des Dia vor der Projektionsoptik ausreichend, um die gewünschte räumliche Verschiebung des Musters auf dem Objekt zu erreichen.
  • Der Vorteil derartiger Diaprojektoren, die erfindungsgemäß für das Durchführen des hier beschriebenen Verfahrens verwendet werden können, liegt darin, dass diese günstig, robust und technisch leicht handhabbar sind. Sie eignen sich daher insbesondere auch für Industrieumgebungen.
  • Grundsätzlich ist es auch möglich, Digitalprojektoren zu verwenden, die beliebige auf einem Display darstellbare Muster projizieren können. Neben flächigen (Struktur-) Mustern können diese bspw. auch eine - an sich strukturlose - Helligkeitsverteilung auf das Objekt projizieren, deren räumliche Lage sich zeitlich phasenverschoben ändert. Ein typisches Beispiel ist ein zeitlich phasenverschobenes Sinus-Helligkeitsprofil, das besonders einfach erzeugbar und handhabbar ist. Bei einem solchen Phasenshift-Verfahren werden bspw. sinusförmige Grauwertverläufe phasenverschoben projiziert. Theoretisch kann man für einen solchen Sinus-Verlauf mit drei phasenverschobenen Mustern auskommen, in der Praxis werden jedoch fast immer mindestens vier phasenverschobene Muster benutzt. Um die Mehrdeutigkeiten des Sinusverlaufes auflösen zu können, benötigt man in industriellen Umgebungen meist noch deutlich mehr Muster. Dies kann durch Digitalprojektoren vergleichsweise einfach umgesetzt werden. Natürlich ist die Erfindung nicht grundsätzlich auf die hier beispielhaft beschriebenen sinusförmigen Grauwertverläufe (oder allgemeiner Helligkeitsverläufe) beschränkt.
  • Bei der Verwendung (herkömmlicher) Diaprojektoren ist es erfindungsgemäß einfacher, Verfahrensvarianten zu verwenden, bei denen nur ein flächiges Muster projiziert wird. Beispielsweise durch die Verwendung geeigneter Diamagazine (mit der entsprechenden Positioniergenauigkeit) ist es jedoch grundsätzlich auch möglich, verschiedene (flächig strukturierte) Muster zeitlich nacheinander zu projizieren, auch wenn dies mit Digitalprojektoren einfacher erreichbar ist. Diese sind jedoch technisch aufwendiger und deutlich teurer, erlauben aber auch die Verwendung verschiedenster Muster durch rein digitale Musterdefinition.
  • Grundsätzlich entspricht es auch einer möglichen Variante des beschriebenen Verfahrens, das zeitlich kodierte Muster durch zeitlich versetzte Projektion verschiedener Muster zu erzeugen. Auch diese Variante des Verfahrens ist grundsätzlich mit allen vorbeschriebenen Varianten frei kombinierbar.
  • Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäß vorgeschlagenen Verfahrens kann vorgesehen werden, dass für einen Bildpunkt der Muster, in dem vorbeschriebenen Sinn auch als Musterpunkt bezeichnet, eine Korrelation von Informationen aller Kameras durchgeführt wird.
  • Besonders vorteilhaft ist es, eine Korrelation von Informationen aller Kameras und aller verwendeten Kodierungen, mindestens als der mindestens einen flächigen und der mindestens einen zeitlichen Kodierung, gemeinsam (und gleichzeitig) zu verwenden und einen zur Durchführung des beschriebenen Verfahrens in einer Recheneinheit implementierten Auswertealgorithmus so zu gestalten, dass die gesamte Information aus allen Kameras und/oder allen Kodierungen integriert und zusammen ausgewertet wird. Hierdurch ergeben sich zwei wesentliche Vorteile:
  • Zum einen ist ein Bildpunkt erst dann nicht messbar, wenn alle Informationsquellen versagen. Mit anderen Worten ist ein Bildpunkt bereits auswertbar, wenn er bei einer der mehreren verwendeten Kodierungen und in zwei Kameras erfasst wird. Die vorzugsweise mehreren Kodierungen und die vorzugsweise mehr als zwei Kameras führen erfindungsgemäß also dazu, dass das Verfahren zur Vermessung von Objekten - gerade in unter bildoptischen Gesichtspunkten technisch schwierigen Industrieumgebungen - robuster wird.
  • Zum anderen wird für jeden Bildpunkt die maximal mögliche Information verarbeitet. Dies führt zu Redundanzen bei den für einen Bildpunkt zur Verfügung stehenden Informationen, da üblicherweise mehr als die unbedingt benötigten Informationsquellen zur Verfügung stehen. Diese redundanten Informationen können gegenseitig überprüft werden. Nach durch den Fachmann im Einzelfall festlegbaren, geeigneten Kriterien können die insgesamt zur Verfügung stehen redundanten Informationen dann zu einer verlässlichen Bildpunktinformation zusammengefasst werden, bspw. durch algorithmische Verbindung und/oder Verwerfen bestimmter (als fehlerhaft eingestufter) Informationen. Hierbei können Verfahren und Methoden der künstlichen Intelligenz, der Fuzzy-Logik und/oder dergleichen Hilfsmittel zum Einsatz kommen.
  • Da für die Stereoskopie mindestens zwei Bilder eines Bildpunktes benötigt werden, wird gemäß einer erfindungsgemäß bevorzugten Ausführungsform vorgeschlagen, die Szene mit mindestens drei Kameras, vorzugsweise vier Kameras, aus verschiedenen Blickwinkeln aufzunehmen. Hierdurch werden redundante Bildaufnahmen geschaffen, die wie vorbeschrieben die Robustheit des Verfahrens weiter erhöhen.
  • Eine besonders vorteilhafte Ausgestaltung mit Aufnahme der Szene durch vier Kameras ermöglicht erfindungsgemäß eine extrinsische und/oder intrinsische Rekalibrierung des Systems im laufenden Betrieb. Wenn ein Bildpunkt in den Bildern aller vier Kameras sichtbar ist, liegt ein hochredundantes System vor, weil es dann sehr wahrscheinlich ist, dass für jeden Bildpunkt die für die stereoskopische Vermessung des Objekts benötigten Informationen zweier Kameras doppelt vorliegen. Für die Rekalibrierung können zwei Teilsysteme aus jeweils zwei verschiedenen Kameras gebildet werden, wobei zur Kalibrierung eines Teilsystems immer die Messwerte der anderen Teilsysteme benutzt werden. Grundsätzlich geht dies auch mit nur drei Kameras, indem drei Teilsysteme mit jeweils zwei Kameras gebildet werden, wobei jeweils zwei Kameras umfassende Teilsysteme je genau eine identische Kamera aufweisen. Bei mehr als vier Kameras lässt sich das System beliebig skalieren.
  • Als Alternative kann man auch das System als Ganzes nachkalibrieren. Dazu kann man eine Abwandlung des - dem Fachmann grundsätzlich bekannten Bündelausgleichs - benutzen. Dies ist in diesem Fall auch in Industrieumgebungen möglich, weil sich aus den vier Kameras genügend Information extrahieren lässt. Grundsätzlich kann diese Nach-oder Rekalibrierung sogar bei jeder Messung durchgeführt werden. Das ist allerdings nicht immer sinnvoll, weil in der Regel sehr viele Messungen in sehr kurzer Zeit durchgeführt werden, in der es üblicher Weise nicht zu einer eine Rekalibrierung erfordernden Dejustage kommt. Insofern wird erfindungsgemäß bevorzugt vorgeschlagen, eine Rekalibrierung in vorgegeben zeitlichen Abständen automatisch und/oder - bspw. nach bestimmten Störungen manuell durchzuführen.
  • Durch den Einsatz von mindestens drei, vorzugsweise vier, oder ggf. noch mehr Kameras kann also das bei der stereoskopischen Messung in der Praxis bestehende Problem gelöst werden, dass das System sehr sensitiv gegenüber Fehlern in der Kalibrierung reagiert. Um eine stereoskopische Messung durchführen zu können, müssen die beteiligten Kameras sowohl intrinsisch als auch extrinsisch (möglichst genau) kalibriert sein.
  • Die intrinsische Kalibrierung umfasst die Bestimmung aller Parameter, die die Kamera selbst unabhängig von ihrer Lage beschreiben, also z.B. Brennweite, optische Verzerrungen, Hauptpunktverschiebung, usw. Es sind in der Literatur viele verschiedene Methoden bekannt, wie man eine solche Kalibrierung durchführen kann. Fast alle diese Methoden benutzen ein Muster aus Passpunkten, deren Lage zueinander bekannt ist. Diese Passpunkte können z.B. Punkte auf einer Platte oder auch räumlich verteilt angebrachte Punkte sein. Es wird mit der Kamera ein Bild dieser Punkte aufgenommen. Aus den im Bild erkannten Punktpositionen und den bekannten Relativpositionen dieser Punkte zueinander im Raum können die intrinsischen Parameter bestimmt werden. Je nach Anzahl und Anordnung der Punkte und verwendetem Kameramodell kann die Kamera damit mehr oder weniger genau modelliert werden.
  • Bei der extrinsischen Kalibrierung wird die Lage der Kamera bezogen auf ein extern vorgegebenes Bezugskoordinatensystem bestimmt. Auch dazu gibt es wieder mehrere in der Literatur beschriebene Methoden, die meistens ebenso Passpunkte benutzen. Wenn die Kamera bereits intrinsisch kalibriert ist, genügen hier sehr viel weniger Punkte (mindestens drei), deren Lage im Bezugskoordinatensystem allerdings bekannt sein muss.
  • Falls sich während des Betriebs eines stereoskopischen Sensors irgendein Parameter ändert (z.B. durch Erwärmung, leichte Stöße, usw.), kann dies in einem herkömmlichen System unter Industriebedingungen normalerweise nicht festgestellt und/oder korrigiert werden, solange die Parameteränderungen nicht zum Versagen des gesamten Systems führen. Es gibt zwar die Methode des Bündelausgleichs, die dieses Problem theoretisch lösen kann. Diese benötigt jedoch entweder viele Punkte oder zumindest einen bekannten Maßstab im Bild. Beides ist dort oft nicht gegeben.
  • Daher ist die erfindungsgemäß vorgeschlagene Rekalibrierung im Rahmen des durchgeführten Verfahrens eine besonders vorteilhafte Variante, die auch unabhängig von der gemeinsamen Verwendung einer flächigen und einer zeitlichen Kodierung verwendet werden kann.
  • Die Erfindung schlägt ferner ein System (im Sinne einer Vorrichtung) zur Vermessung von insbesondere dreidimensionalen Objekten mittels Stereoskopie mit einem Projektor zur Projektion eines flächig und/oder zeitlich kodierten Musters auf die Objektoberfläche und mit Kameras zur Aufnahme des als Szene bezeichneten und auf die Objektoberfläche projizierten Musters sowie mit einer Recheneinheit vor, die durch ein Programm zur Bildverarbeitung dazu eingerichtet ist, in den durch die Kameras aufgenommenen Bildern Korrespondenzen der Szene aufzufinden und mittels der gefundenen Korrespondenzen eine Vermessung des Objekts durchzuführen. Dies kann durch Bestimmen der Punkte der gefundenen Korrespondenzen erfolgen, d.h. mit anderen Worten wird ein Vermessen der Objektoberfläche durchgeführt, die mit dem projizierten Muster beleuchtet ist. Dazu sind die Kameras intrinsisch und extrinsisch kalibriert, wobei mindestens drei Kameras vorgesehen und derart angeordnet sind, dass die Szene aus mindestens drei verschiedenen Blickwinkeln aufgenommen wird.
  • Hierdurch werden, wie bereits beschrieben, Redundanzen bei der Stereoskopie erreicht, die die Vermessung des Objekts insgesamt robuster machen. Durch die mindestens drei Kameras wird nämlich das weitere Problem bei der Stereoskopie unter Industriebedingungen gelöst, dass für jeden Messpunkt immer Informationen aus zwei Bildern benötigt werden, diese jedoch häufig nicht mit den beiden vorgesehenen Kameras gewonnen werden können. Wenn man 3D-Punktewolken von in der Industrie sehr oft vorkommenden stark glänzenden Teilen aufnehmen möchte, hat man praktisch immer Bereiche in dem durch eine Kamera aufgenommenen Bild, in denen sich Glanzlichter bilden. Da sich diese in jeder Kamera an verschiedenen Stellen bilden (die Kameras haben verschiedene Blickwinkel), können alle Bereiche, in denen in zumindest eine der beiden Kameras gestört ist, nicht gemessen werden. Ein ähnliches Problem tritt bei Abschattungen auf. In herkömmlichen Systemen fallen immer alle Bereiche aus, in denen eines der beiden Kamerabilder gestört ist. Diese Ausfälle werden in dem erfindungsgemäß vorgeschlagenen System mit mindestens drei Kameras signifikant reduziert.
  • Gemäß einer besonders bevorzugten Ausführungsform des vorgeschlagenen System sind mindestens vier Kameras vorgesehen und derart angeordnet, dass die Szene aus mindestens vier verschiedenen Blickwinkeln aufgenommen wird, wobei - wie bereits beschrieben und sowohl für das vorgeschlagene System als auch für das vorgeschlagene Verfahren - alle Kameras extrinsisch und intrinsisch kalibriert sind.
  • In einem erfindungsgemäß besonders bevorzugt vorgeschlagenen System kann die Recheneinheit weiter dazu eingerichtet sein, aus den mehreren Kameras jeweils Teilsysteme aus zwei Kameras zu bilden, und eine Rekalibrierung von Kameras aus dem System durchzuführen, indem zur Kalibrierung eines Teilsystems immer die Messwerte der anderen Teilsysteme benutzt werden. Bevorzugte mögliche Varianten dieses erfindungsgemäßen Verfahrens zur Rekalibrierung wurden bereits beschrieben.
  • Zusätzlich kann die Recheneinheit und/oder der Projektor dazu eingerichtet sein, eine Musterprojektion mit einer flächigen und einer zeitlichen Kodierung zu erzeugen.
  • Es wurde bereits beschrieben, dass dieses Verfahren einer Musterprojektion mit einer flächigen und einer zeitlichen Kodierung grundsätzlich auch mit nur zwei Kameras ausführbar ist, auch wenn die Verwendung von mindestens drei Kameras besonders bevorzugt ist. Entsprechend bezieht sich die vorliegende Erfindung auch auf ein System zur Vermessung von Objekten mittels Stereoskopie, mit einem Projektor zur Projektion eines flächig und zeitlich kodierten Musters auf die Objektoberfläche und mit Kameras zur Aufnahme des als Szene bezeichneten auf die Objektoberfläche projizierten Musters und mit einer Recheneinheit, die durch ein Programm zur Bildverarbeitung dazu eingerichtet ist, in den durch die Kameras aufgenommenen Bildern Korrespondenzen der Szene aufzufinden und mittels der gefundenen Korrespondenzen eine Vermessung des Objekts durchzuführen, wobei die Kameras intrinsisch und extrinsisch kalibriert sind, mindestens drei Kameras vorgesehen und derart angeordnet sind, dass die Szene aus mindestens zwei verschiedenen Blickwinkeln aufgenommen wird und die Recheneinheit und/oder der Projektor dazu eingerichtet ist, eine Musterprojektion mit einer flächigen und einer zeitlichen Kodierung zu erzeugen.
  • Eine besonders bevorzugte Ausführungsform des vorgeschlagenen Systems sieht vor, dass die Recheneinheit dazu eingerichtet ist, das vorbeschriebene Verfahren oder Teile davon durchzuführen. Hierzu wird auf die vorstehende Erläuterung des Verfahrens verwiesen. Die beschriebenen Vorrichtungsmerkmale wird der Fachmann entsprechend nach Bedarf gemeinsam oder entsprechend der beschriebenen Funktion soweit notwendig in Teilen in das erfindungsgemäß vorgeschlagene System übernehmen.
  • In einem solchen besonders bevorzugten erfindungsgemäßen System und/oder Verfahren werden die Nachteile der bisher bekannten Systeme vermieden. Dies geschieht durch die Kombination von zwei Maßnahmen, die jede für sich auch schon Kombinationen von Maßnahmen darstellen, nämlich dem gemeinsamen Erzeugen von flächigen und zeitlichen Kodierungen und der Verwendung mindestens dreier Kameras. Diese Maßnahmen führen zu einem hohen Maß redundanter Daten, die miteinander korreliert werden, um die Verlässlichkeit und Robustheit der aus der Stereoskopie gewonnen Informationen zu verbessern.
  • Nachfolgend werden weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der Erfindung anhand eines bevorzugten Ausführungsbeispiels und der Zeichnung beschrieben. Alle beschriebenen und/oder bildlich dargestellten Merkmale bilden dabei den Gegenstand der vorliegenden Erfindung, auch unabhängig von ihrer Zusammenfassung in den Ansprüchen und deren Rückbezügen.
  • Es zeigen:
    • 1 schematisch eine Ausführungsform des erfindungsgemäß vorgeschlagenen System;
    • 2 beispielhaft ein erfindungsgemäß anwendbares flächiges Muster, das auf die Objektoberfläche des zu vermessenden Objekts projiziert wird, und
    • 3 einen schematischen Verfahrensablauf einer Grundausführungsform des erfindungsgemäß vorgeschlagenen Verfahrens.
  • 1 zeigt ein System 1 zur Vermessung eines dreidimensionalen Objekts 2 mittels Stereoskopie beispielhaft in einer schematisch dargestellten Ausführungsform. In der schematischen Darstellung der 1 ist das dreidimensionale Objekt der Übersichtlichkeit halber als plane Oberfläche dargestellt; die Erfindung bezieht sich aber ausdrücklich auf beliebige dreidimensionale Objekte 2, zu denen auch plane Oberflächen gehören.
  • Das System 1 weist einen Projektor 9 zur Projektion eines (flächig und/oder zeitlich) kodierten Musters 3 auf die Oberfläche des Objekts 2 auf. In dem System 1 gemäß einer besonders bevorzugten Ausführungsform sind vier Kameras 4.1, 4.2, 4.3 und 4.4 zur Aufnahme des (als Szene bezeichneten) auf die Objektoberfläche projizierten Musters 3 vorgesehen. Der Projektor 9 kann ein herkömmlicher Diaprojektor oder ein digitaler Projektor sein, in dem das zu projizierende Muster 3 auf einem transparenten Display nach einer digitalen Vorlage erzeugbar ist.
  • Ferner ist eine mit dem Projektor 9 und den Kameras 4.1, 4.2, 4.3 und 4.4 in Verbindung stehende Recheneinheit 5 vorgesehen, die durch ein Programm zur Bildverarbeitung dazu eingerichtet ist, in den durch die Kameras 4.1, 4.2, 4.3, 4.4 aufgenommenen Bildern Korrespondenzen der Szene aufzufinden und mittels der gefundenen Korrespondenzen eine Vermessung des Objekts 2 durchzuführen, und zwar durch Bestimmen der Punkte (Koordinaten) der gefundenen Korrespondenzen. Mit anderen Worten wird ein Vermessen des Objekts 2 mittels der Korrespondenzen von Bildpunkten des projizierten Musters 3 auf der Oberfläche des Objekts 2 durchgeführt. Dabei werden die Koordinaten der Bildpunkte des projizierten Musters auf der Oberfläche bestimmt, für die Korrespondenzen in den Bildern der verschiedenen Kameras 4.1, 4.2, 4.3, 4.4 gefunden wurden.
  • Dazu sind die Kameras intrinsisch und extrinsisch kalibriert. Die Szene (d.h. das auf die Oberfläche des Objekts 2 projizierte Muster 3, wird durch die Kameras 4.1, 4.2, 4.3, 4.4 aus verschiedenen Blickwinkeln 6.1, 6.2, 6.3, 6.4 aufgenommen, die in 1 für jede Kamera 4.1, 4.2, 4.3, 4.4 durch von den Kameras 4.1, 4.2, 4.3, 4.4 zu den Ecken des aufgenommenen Bereichs der Oberfläche des Objekts (der den aufgenommenen Bildern entspricht) ausgehende Sichtstrahlen symbolisiert sind. Die Kameras 4.1, 4.2, 4.3, 4.4 sind vorzugsweise Digitalkameras, deren Bilder unmittelbar durch die Recheneinheit verarbeitbar sind. Die Projektion 7 ist durch entsprechende von dem Projektor 9 ausgehende Sichtstrahlen angezeigt.
  • Nachfolgend wird anhand eines bevorzugten Ausführungsbeispiels die Vermessung des Objekts 2 mittels Stereoskopie beschrieben. Dabei müssen im Rahmen der vorgeschlagenen Erfindung nicht unbedingt alle der nachstehend beschriebenen Schritte und Merkmale realisiert werden. Auch sind Variationen der einzelnen Schritte denkbar, von denen einige eingangs bereits erläutert oder angedeutet wurden.
  • Durch den Projektor 9 wird ein vollständig kodiertes flächiges Muster 3 benutzt, das eine flächige Kodierung erzeugt und so für die Erkennung von Korrespondenzen in einem einzigen Bild geeignet ist. Das zu projizierende bzw. auf eine plane Ebene projizierte Muster 3 ist mit einzelnen Musterpunkten 8 in 2 noch einmal detaillierter anhand eines Beispiels dargestellt.
  • Als besonders vorteilhaft hat sich ein zufallscodiertes Muster 3 erwiesen (Pseudo-Random-Muster), weil man mit diesem großflächige Muster erzeugen kann, die noch in kleinen Bereichen mit wenigen Musterpunkten eindeutig kodiert sind, und weil sie leicht auszuwerten sind.
  • Dieses Muster 3 wird zusätzlich mehrfach hintereinander leicht verschoben, sodass sich zusätzlich zur flächigen Kodierung noch eine zeitliche Kodierung ergibt, in der einzelne Bildpunkte des projizierten Musters 3 im Bild der Kameras 4.1, 4,2, 4.3, 4,4 unterschiedliche Informationen im Zeitverlauf zeigen. Durch die zeitlich verschiedenen Informationen wird eine zeitliche Kodierung erreicht.
  • Das bevorzugt vorgeschlagene Vorsehen einer flächigen und einer zeitlichen Kodierung kombiniert die Vorteile der flächigen und der zeitlichen Kodierung, ohne die Nachteile mit zu übernehmen, da es für jeden Punkt bzw. die Vermessung jedes Punktes (Bildpunktes) ausreicht, dass eine der Kodierungen erfolgreich ausgewertet werden kann. Außerdem wird für die Punkte, für die die gesamte Information aus beiden Kodierungen vorliegt, das Verfahren aufgrund der Redundanzen sehr robust, und man erzielt eine sehr gute Genauigkeit.
  • Als vorteilhaft hat sich eine zufällige kleine Verschiebung desselben Musters erwiesen. Dies ist deshalb von Vorteil, weil es sehr einfach und kostengünstig zu realisieren ist. Man benötigt keinen aufwändigen Projektor 9 der in der Lage ist, verschiedene Bilder zu projizieren. Stattdessen genügt ein einfacher Projektor 9, bei dem ein einziges Dia zufällig bewegt wird. „Zufällig“ bezieht sich dabei darauf, dass die Bewegung in keinem Bezug zu den Zeitpunkten der Bildaufnahmen steht. Man könnte auch eine regelmäßige Bewegung nutzen, die nicht zur Bildaufnahme synchronisiert ist.
  • Als besonders Vorteilhaft hat es sich erweisen, wenn unter den Verschiebungen auch solche dabei sind, die kleiner sind als ein Musterpunkt 8 des flächigen Musters 3, weil sich dadurch die Genauigkeit weiter erhöhen lässt. Die Methode funktioniert jedoch auch, wenn diese Bedingung nicht eingehalten wird. Außerdem könnten auch verschiedene Muster 3 hintereinander projiziert werden.
  • Bevorzugt werden mehr als zwei, insbesondere wie dargestellt, vier Kameras 4.1, 4.2, 4.3, 4.4 aus verschiedenen Blickwinkeln 6.1, 6.2, 6.3, 6.4 verwendet, die alle in dasselbe Messvolumen schauen, d.h. dasselbe durch den Projektor 9 projizierte Muster 3 sehen und aufnehmen.
  • Dadurch wird der Nachteil, dass Reflexe in jeder Kamera 4.1, 4.2, 4.3, 4.4 an anderen Stellen des Bildes auftreten, zum Vorteil. Da man jede Stelle nur mit mindestens zwei Kameras 4.1, 4.2, 4.3, 4.4 sehen muss, gibt es nur noch sehr viel weniger Stellen, die man nicht messen kann, d.h. in denen nicht mindestens zwei der vier Kameras 4.1, 4.2, 4.3, 4.4 ein auswertbares Bild liefern.
  • Gleiches gilt auch für Abschattungen und alle anderen Arten von Störungen, die für die verschiedenen Kameras 4.1, 4.2, 4.3, 4.4 (aufgrund der unterschiedlichen Blickwinkel 6.1, 6.2, 6.3, 6.4) an verschiedenen Stellen des Bildes auftreten bzw. auftreten können.
  • Als besonders vorteilhaft haben sich vier Kameras 4.1, 4.2, 4.3, 4.4 erweisen, weil es dann sehr wahrscheinlich ist, dass für jeden Bildpunkt mindestens zwei Kameras 4.1, 4.2, 4.3, 4.4 Information liefern. Vorteilhaft ist es außerdem, einen Algorithmus zu benutzen, der die Kameras nicht paarweise auswertet, sondern für jeden Bildpunkt alle Kameras 4.1, 4.2, 4.3, 4.4, die Information über den Bildpunkt liefern, gemeinsam. Dadurch wird die Genauigkeit erhöht und die Messung robuster.
  • Da es sich hier um ein hochredundantes System handelt, kann zudem die Kalibrierung immer wieder neu bestimmt werden, wie bereits ausführlich erläutert wurde.
  • Der in 3 dargestellte Verfahrensablauf beschreibt die Ausführung einer Basisvariante des erfindungsgemäß vorgeschlagenen Verfahrens, das mit den bereits beschriebenen Ausführungsvarianten nach Bedarf ergänzt werden kann und mit den in den 1 und 2 beispielhaft beschriebenen Systemen ausgeführt werden kann.
  • Im Rahmen des vorgeschlagenen Verfahrens 50 zur Vermessung von Objekten 2 mittels Stereoskopie, wird in einem ersten Verfahrensschritt 51 mittels des Projektors 9 ein flächig kodiertes Muster 3 auf die Objektoberfläche projiziert und das als Szene bezeichnete und auf die Objektoberfläche projizierte Muster 3 mit den vier Kameras 4.1, 4.2, 4.3, 4.4, die vorzugsweise zeitgleich getriggert ausgelöst werden, aufgenommen. Hierdurch wird die flächige Kodierung erzeugt.
  • Anschließend wird in einem zweiten Verfahrensschritt 52 ein zeitlich kodiertes Muster mit flächig unterschiedlicher Kodierung mehrfach nacheinander projiziert und mehrere Szenen nacheinander mit den Kameras 4.1, 4.2, 4.3, 4.4 jeweils zeitgleich getriggert aufgenommen. Hierdurch wird ein zeitlich kodiertes Muster erzeugt, wobei jede Szene für sich auch eine eigenständige flächige Kodierung darstellt. Das zeitlich kodierte Muster wird durch mehrere räumliche Verschiebungen desselben flächig kodierten Musters 3 erzeugt.
  • In einem weiteren Verfahrensschritt 53 werden bei der flächigen Kodierung in der Szene für einen Bildpunkt durch Vergleich mit benachbarten Bildpunkten Korrespondenzen in den durch die verschiedenen Kameras 4.1, 4.2, 4.3, 4.4 aufgenommen Bildern gefunden. Hierdurch werden dieselben Bildpunkte in den einzelnen Bildern identifiziert sowie ggf. vermessen.
  • In einem weiteren Verfahrensschritt 54 werden bei der der zeitlichen Kodierung für die mehreren Szenen in jeweils denselben Bildpunkten der durch die verschiedenen Kameras aufgenommenen Bilder Korrespondenzen gefunden. Hierdurch werden dieselben Bildpunkte in einzelnen Bildern identifiziert sowie ggf. vermessen.
  • In einem nachfolgenden Verfahrensschritt 55 werden für jeden Bildpunkt die gefundene Korrespondenzen der flächigen Kodierung und der zeitlichen Kodierung korreliert und diese Korrelationen bei der Vermessung des Objekts verwendet.
  • Durch die erfindungsgemäß besonders bevorzugt vorgeschlagene Kombination von flächigen und zeitlichen Kodierungen und die bevorzugte Verwendung von mindestens drei Kameras 4.1, 4.2, 4.3, 4.4 wird die Vermessung dreidimensionaler Objekte 2 besonders robust.
  • Bezugszeichenliste
  • 1
    System zur Vermessung eines dreidimensionalen Objekts
    2
    dreidimensionales Objekt
    3
    projiziertes / zu projizierendes Muster
    4.1
    Kamera
    4.2
    Kamera
    4.3
    Kamera
    4.4
    Kamera
    5
    Recheneinheit
    6.1
    Blickwinkel der Kamera
    6.2
    Blickwinkel der Kamera
    6.3
    Blickwinkel der Kamera
    6.4
    Blickwinkel der Kamera
    7
    Projektion
    8
    Musterpunkte des projizierten / zu projizierenden Musters
    9
    Projektor
    50
    Verfahren zur Vermessung von Objekten mittels Stereoskopie
    51
    Verfahrensschritt
    52
    Verfahrensschritt
    53
    Verfahrensschritt
    54
    Verfahrensschritt
    55
    Verfahrensschritt

Claims (14)

  1. Verfahren zur Vermessung eines Objekts (2) mittels Stereoskopie, bei dem mittels eines Projektors (9) ein Muster (3) auf die Objektoberfläche projiziert wird und das als Szene bezeichnete auf die Objektoberfläche projizierte Muster (3) mit mindestens zwei Kameras (4.1, 4.2, 4.3, 4.4) aufgenommen wird, wobei mittels einer Recheneinheit (5) durch Bildverarbeitung in den durch die Kameras (4.1, 4.2, 4.3, 4.4) aufgenommenen Bildern Korrespondenzen der Szene aufgefunden werden und mittels der gefundenen Korrespondenzen eine Vermessung des Objekts (2) durchgeführt wird, dadurch gekennzeichnet, dass • die Kameras (4.1, 4.2, 4.3, 4.4) intrinsisch und extrinsisch kalibriert sind, • bei der Musterprojektion eine flächige und zeitliche Kodierung erzeugt wird, indem o ein (vollständig) flächig kodiertes Muster (3) projiziert und die Szene mit den Kameras (4.1, 4.2, 4.3, 4.4) aufgenommen wird, und o ein zeitlich kodiertes Muster mit flächig unterschiedlicher Kodierung mehrfach nacheinander projiziert und mehrere Szenen nacheinander mit den Kameras (4.1, 4.2, 4.3, 4.4) jeweils zeitgleich getriggert aufgenommen werden, • bei der flächigen Kodierung für die Szene Korrespondenzen benachbarter Bildpunkte in den durch die verschiedenen Kameras (4.1, 4.2, 4.3, 4.4) aufgenommen Bildern gefunden werden, • bei der zeitlichen Kodierung für die mehreren Szenen in jeweils denselben Bildpunkten der durch die verschiedenen Kameras (4.1, 4.2, 4.3, 4.4) aufgenommenen Bilder Korrespondenzen gefunden werden, und • für jeden Bildpunkt gefundene Korrespondenzen der flächigen Kodierung und der zeitlichen Kodierung korreliert werden und diese Korrelationen bei der Vermessung des Objekts (2) verwendet werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zeitlich kodierte Muster durch räumliche Verschiebung desselben flächig kodierten Musters (3) erzeugt wird.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die räumliche Verschiebung des Musters (3) und die Aufnahme der Szene durch die zeitgleich getriggerten Kameras (4.1, 4.2, 4.3, 4.4) nicht aufeinander abgestimmt sind.
  4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Größe der räumlichen Verschiebung des Musters (3) zwischen den nacheinander aufgenommenen Szenen unterschiedlich ist.
  5. Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Größe mindestens einer der räumlichen Verschiebungen kleiner ist als ein Musterpunkt (8) des flächigen Musters (3).
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zeitlich kodierte Muster durch phasenversetzte Projektion einer Helligkeitsverteilung erzeugt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zeitlich kodierte Muster durch zeitlich versetzte Projektion verschiedener Muster (3) erzeugt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für einen Bildpunkt (8) eine Korrelation von Informationen aller Kameras (4.1, 4.2, 4.3, 4.4) durchgeführt wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Szene mit mindestens drei Kameras, vorzugsweise vier Kameras (4.1, 4.2, 4.3, 4.4), aus verschiedenen Blickwinkeln (6.1, 6.2, 6.3, 6.4) aufgenommen wird.
  10. System zur Vermessung eines Objekts (2) mittels Stereoskopie mit einem Projektor (9) zur Projektion (7) eines kodierten Musters (3) auf die Objektoberfläche, mit Kameras (4.1, 4.2, 4.3, 4.4) zur Aufnahme des als Szene bezeichneten auf die Objektoberfläche projizierten Musters (3) und mit einer Recheneinheit (5), die durch ein Programm zur Bildverarbeitung dazu eingerichtet ist, in den durch die Kameras (4.1, 4.2, 4.3, 4.4) aufgenommenen Bildern Korrespondenzen der Szene aufzufinden und mittels der gefundenen Korrespondenzen eine Vermessung des Objekts (2) durchzuführen, dadurch gekennzeichnet, dass die Kameras (4.1, 4.2, 4.3, 4.4) intrinsisch und extrinsisch kalibriert sind und dass mindestens drei Kameras (4.1, 4.2, 4.3, 4.4) vorgesehen und derart angeordnet sind, dass die Szene aus mindestens drei verschiedenen Blickwinkeln (6.1, 6.2, 6.3, 6.4) aufgenommen wird.
  11. System nach Anspruch 10, dadurch gekennzeichnet, dass mindestens vier Kameras (4.1, 4.2, 4.3, 4.4) vorgesehen und derart angeordnet sind, dass die Szene aus mindestens vier verschiedenen Blickwinkeln (6.1, 6.2, 6.3, 6.4) aufgenommen wird.
  12. System nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass die Recheneinheit (5) weiter dazu eingerichtet ist, aus den mehreren Kameras (4.1, 4.2, 4.3, 4.4) jeweils Teilsysteme aus zwei Kameras (4.1, 4.2, 4.3, 4.4) zu bilden und eine Rekalibrierung von Kameras (4.1, 4.2, 4.3, 4.4) aus dem System (1) durchzuführen, indem zur Kalibrierung eines Teilsystems immer die Messwerte der anderen Teilsysteme benutzt werden.
  13. System nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Recheneinheit (5) und/oder der Projektor (9) dazu eingerichtet ist, eine Musterprojektion (7) mit einer flächigen und einer zeitlichen Kodierung erzeugen.
  14. System nach Anspruch 13, dadurch gekennzeichnet, dass die Recheneinheit (5) dazu eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen.
DE102018108874.4A 2018-04-13 2018-04-13 Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie Ceased DE102018108874A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE102018108874.4A DE102018108874A1 (de) 2018-04-13 2018-04-13 Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie
PCT/EP2019/059521 WO2019197656A1 (de) 2018-04-13 2019-04-12 Verfahren und system zur vermessung eines objekts mittels stereoskopie
EP19719201.6A EP3775767B1 (de) 2018-04-13 2019-04-12 Verfahren und system zur vermessung eines objekts mittels stereoskopie
CN201980025388.1A CN111971525B (zh) 2018-04-13 2019-04-12 用立体镜测量物体的方法和系统
US17/045,702 US11640673B2 (en) 2018-04-13 2019-04-12 Method and system for measuring an object by means of stereoscopy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018108874.4A DE102018108874A1 (de) 2018-04-13 2018-04-13 Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie

Publications (1)

Publication Number Publication Date
DE102018108874A1 true DE102018108874A1 (de) 2019-10-17

Family

ID=66251750

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018108874.4A Ceased DE102018108874A1 (de) 2018-04-13 2018-04-13 Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie

Country Status (5)

Country Link
US (1) US11640673B2 (de)
EP (1) EP3775767B1 (de)
CN (1) CN111971525B (de)
DE (1) DE102018108874A1 (de)
WO (1) WO2019197656A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3822578A1 (de) * 2019-11-15 2021-05-19 Hexagon Technology Center GmbH Adaptiver 3d-scanner mit variablem messbereich
DE102022112625A1 (de) 2022-05-19 2023-11-23 Isra Vision Gmbh Verfahren und Vorrichtung zur Ausrichtung von Kameras
US11867630B1 (en) 2022-08-09 2024-01-09 Glasstech, Inc. Fixture and method for optical alignment in a system for measuring a surface in contoured glass sheets
US12079980B2 (en) 2018-07-24 2024-09-03 Glasstech, Inc. System and method for measuring a surface in contoured glass sheets

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3098929B1 (fr) * 2019-07-16 2021-06-18 Yellowscan Procédé de détermination de paramètres d'étalonnage extrinseques d'un système de mesure
US11758100B2 (en) * 2019-09-11 2023-09-12 The Johns Hopkins University Portable projection mapping device and projection mapping system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19502459A1 (de) * 1995-01-28 1996-08-01 Wolf Henning Verfahren zur dreidimensionalen optischen Vermessung der Oberfläche von Objekten
DE102011008655A1 (de) * 2011-01-14 2012-07-19 Inb Vision Ag Vorrichtung und Verfahren zur dreidimensionalen optischen Vermessung von Oberflächen
DE102011121696A1 (de) * 2011-12-16 2013-06-20 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von tiefenlimitierten Objekten
DE102016118562A1 (de) * 2015-09-30 2017-03-30 Faro Technologies Inc. Dreidimensionales bildgerät, das eine dichroitische kamera umfasst
DE102016002398A1 (de) * 2016-02-26 2017-08-31 Gerd Häusler Optischer 3D-Sensor zur schnellen und dichten Formerfassung
US20170374331A1 (en) * 2016-06-27 2017-12-28 Intel Corporation Auto keystone correction and auto focus adjustment

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
CN100449258C (zh) * 2006-04-27 2009-01-07 浙江工业大学 基于二维彩色光编码的实时三维视觉系统
CN101667303B (zh) * 2009-09-29 2013-01-16 浙江工业大学 一种基于编码结构光的三维重建方法
US8723789B1 (en) * 2011-02-11 2014-05-13 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
EP2527784A1 (de) * 2011-05-19 2012-11-28 Hexagon Technology Center GmbH Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
DE102011121969A1 (de) 2011-12-21 2013-06-27 Deutsche Telekom Ag Verfahren zum Betreiben eines elektronischen Endgeräts
US9185392B2 (en) * 2012-11-12 2015-11-10 Spatial Integrated Systems, Inc. System and method for 3-D object rendering of a moving object using structured light patterns and moving window imagery
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
WO2015152829A1 (en) * 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US9256944B2 (en) * 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US10582186B1 (en) * 2014-06-11 2020-03-03 Amazon Technologies, Inc. Approaches for identifying misaligned cameras
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
WO2016106196A1 (en) * 2014-12-22 2016-06-30 Cyberoptics Corporation Updating calibration of a three-dimensional measurement system
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19502459A1 (de) * 1995-01-28 1996-08-01 Wolf Henning Verfahren zur dreidimensionalen optischen Vermessung der Oberfläche von Objekten
DE102011008655A1 (de) * 2011-01-14 2012-07-19 Inb Vision Ag Vorrichtung und Verfahren zur dreidimensionalen optischen Vermessung von Oberflächen
DE102011121696A1 (de) * 2011-12-16 2013-06-20 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von tiefenlimitierten Objekten
DE102016118562A1 (de) * 2015-09-30 2017-03-30 Faro Technologies Inc. Dreidimensionales bildgerät, das eine dichroitische kamera umfasst
DE102016002398A1 (de) * 2016-02-26 2017-08-31 Gerd Häusler Optischer 3D-Sensor zur schnellen und dichten Formerfassung
US20170374331A1 (en) * 2016-06-27 2017-12-28 Intel Corporation Auto keystone correction and auto focus adjustment

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12079980B2 (en) 2018-07-24 2024-09-03 Glasstech, Inc. System and method for measuring a surface in contoured glass sheets
EP3822578A1 (de) * 2019-11-15 2021-05-19 Hexagon Technology Center GmbH Adaptiver 3d-scanner mit variablem messbereich
US11490068B2 (en) 2019-11-15 2022-11-01 Hexagon Technology Center Gmbh Adaptive 3D-scanner with variable measuring range
DE102022112625A1 (de) 2022-05-19 2023-11-23 Isra Vision Gmbh Verfahren und Vorrichtung zur Ausrichtung von Kameras
WO2023222493A1 (de) 2022-05-19 2023-11-23 Isra Vision Gmbh Verfahren, computerprogramm und vorrichtung zur ausrichtung von kameras
US11867630B1 (en) 2022-08-09 2024-01-09 Glasstech, Inc. Fixture and method for optical alignment in a system for measuring a surface in contoured glass sheets

Also Published As

Publication number Publication date
CN111971525B (zh) 2023-02-28
EP3775767A1 (de) 2021-02-17
US11640673B2 (en) 2023-05-02
EP3775767B1 (de) 2023-07-05
US20210166412A1 (en) 2021-06-03
CN111971525A (zh) 2020-11-20
WO2019197656A1 (de) 2019-10-17

Similar Documents

Publication Publication Date Title
DE102018108874A1 (de) Verfahren und System zur Vermessung eines Objekts mittels Stereoskopie
DE102012108567B4 (de) Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
EP1971820B1 (de) Erstellung eines abstandsbildes
DE102007054906B4 (de) Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
EP0897524B1 (de) Vorrichtung zum berührungsfreien vermessen einer dreidimensionalen objektoberfläche
DE102016002398B4 (de) Optischer 3D-Sensor zur schnellen und dichten Formerfassung
DE10020893B4 (de) Verfahren zur optischen Formerfassung von Gegenständen
DE19536297C2 (de) Verfahren zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten und Vorrichtung hierzu
DE112010005008T5 (de) System und Verfahren zur Laufzeitbestimmung von Kamerafehlkalibrierung
EP2400261A1 (de) Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
EP3195256B1 (de) Verfahren und vorrichtung zum identifizieren von strukturelementen eines projizierten strukturmusters in kamerabildern
WO2007115621A2 (de) Verfahren und system zur formmessung einer spiegelnden oberfläche
DE10149750A1 (de) Handgeführter 3D-Scanner
DE102012009577A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung von Einzelbildkameras einer Kameraanordnung
WO2016146105A1 (de) Verfahren und vorrichtung zur kalibration einer kamera
WO2003078920A2 (de) Verfahren und vorrichtung zur bestimmung der absolut-koordinaten eines objekts
DE102017116758B4 (de) Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera
EP3907466A1 (de) 3d-sensor und verfahren zur erfassung von dreidimensionalen bilddaten eines objekts
DE102017010683B4 (de) Verfahren zur automatischen Wiederherstellung eines eingemessenen Zustands eines Projektionssystems
EP2887010B1 (de) Verfahren und Vorrichtung zum dreidimensionalen optischen Vermessen von Objekten mit einem topometrischen Messverfahren sowie Computerprogramm hierzu
DE102009006089B4 (de) Verfahren zur Zuordnung von Bildpunkten
DE102011083621B4 (de) Verfahren und Vorrichtung zur Fertigungskontrolle eines Kollimators
AT524118B1 (de) Computer-implementiertes Verfahren zur Erstellung von mehrdimensionalen Gegenstands-Datenstrukturen
DE10301094B4 (de) Vorrichtung zur Messung des Abstandes von Entfernungspunkten zu einer Kamera
WO2014114663A1 (de) Optische vorrichtung und verfahren zum bestimmen räumlicher koordinaten von oberflächen makroskopischer objekte durch triangulation zweier zeilenkameras

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final