DE102015106836B4 - Verfahren zur Steuerung einer 3D-Messvorrichtung mittels momentaner Bewegung und Vorrichtung hierzu - Google Patents

Verfahren zur Steuerung einer 3D-Messvorrichtung mittels momentaner Bewegung und Vorrichtung hierzu Download PDF

Info

Publication number
DE102015106836B4
DE102015106836B4 DE102015106836.2A DE102015106836A DE102015106836B4 DE 102015106836 B4 DE102015106836 B4 DE 102015106836B4 DE 102015106836 A DE102015106836 A DE 102015106836A DE 102015106836 B4 DE102015106836 B4 DE 102015106836B4
Authority
DE
Germany
Prior art keywords
measuring device
projector
display
point cloud
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102015106836.2A
Other languages
English (en)
Other versions
DE102015106836A1 (de
Inventor
Gerrit Hillebrand
Rasmus Debitsch
Rolf Heidemann
Martin Ossig
Johannes Buback
Daniel Döring
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faro Technologies Inc
Original Assignee
Faro Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faro Technologies Inc filed Critical Faro Technologies Inc
Priority to DE102015106836.2A priority Critical patent/DE102015106836B4/de
Priority to US14/844,700 priority patent/US9602811B2/en
Priority to PCT/US2015/048857 priority patent/WO2016040271A1/en
Priority to JP2017513511A priority patent/JP2017528714A/ja
Publication of DE102015106836A1 publication Critical patent/DE102015106836A1/de
Priority to US15/409,714 priority patent/US9915521B2/en
Priority to US15/892,753 priority patent/US10401143B2/en
Application granted granted Critical
Publication of DE102015106836B4 publication Critical patent/DE102015106836B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed

Abstract

Verfahren zur Steuerung einer 3D-Messvorrichtung (100), die
a) mittels eines Projektors (121) Strahlen in ihre Umgebung abgibt,
b) ihre Umgebung zum Vermessen aufnimmt und
c) zu unterschiedlichen Zeiten und von verschiedenen Positionen aus aufgenommene Messdaten an eine Steuer- und Auswertevorrichtung (122) liefert, welche die von der 3D-Messvorrichtung (100) gelieferten Messdaten auswertet, die ausgewerteten Messdaten registriert als eine dreidimensionale Punktwolke (3DP) und diese dreidimensionale Punktwolke (3DP) auf einem Display (130) der Steuer- und Auswertevorrichtung (122) visualisiert, dadurch gekennzeichnet, dass
d) die Bewegungen (v1, v2, v3) der 3D-Messvorrichtung (100) einschließlich Geschwindigkeit und Beschleunigung direkt aus den Messdaten der zeitabhängigen Positionen der 3D-Messvorrichtung (100) relativ zur dreidimensionalen Punktwolke (3DP) ermittelt und ausgewertet werden, und
e) mittels der ausgewerteten Bewegungen (v1, v2, v3) der 3D-Messvorrichtung (100) eine Steuerung des Visualisierens der Messdaten und/oder der dreidimensionalen Punktwolke (3DP) auf dem Display (130) erfolgt, wobei
f) zur Auswertung der Bewegungen (v1, v2, v3) der 3D-Messvorrichtung (100) der Betrag und die Richtung der Geschwindigkeit und/oder Beschleunigung der momentanen Bewegung (v1) der 3D-Messvorrichtung (100) quantitativ ermittelt werden. 2.-9. wie bisher

Description

  • Die Erfindung betrifft ein Verfahren mit den Merkmalen des Oberbegriffs des Anspruches 1 und eine Vorrichtung hierzu mit den Merkmalen des Anspruches 10.
  • Ein Verfahren der eingangs genannten Art ist aus der US 6 826 299 B2 bekannt. Ein Projektor projiziert Lichtmuster auf die Oberfläche eines zu scannenden Objekts. Die Position des Projektors wird anhand eines projizierten kodierten Musters bestimmt. Zwei (oder mehr) Kameras, deren Relativpositionen und -ausrichtungen bekannt sind oder ermittelt werden, können die Oberfläche mit einem weiteren, unkodierten Muster aufnehmen. Mittels an sich bekannter mathematischer Methoden, wie der Epipolargeometrie, können die dreidimensionalen Koordinaten (der Punkte des Musters) ermittelt werden.
  • Aus dem Spielebereich sind Scanner als Zielverfolgungseinrichtungen bekannt, bei welchen ein Projektor ein kodiertes Lichtmuster auf das zu verfolgende Ziel projiziert, vorzugsweise den spielenden Benutzer, um dieses kodierte Lichtmuster dann mit einer Kamera aufzunehmen und die Koordinaten des Benutzers zu ermitteln. Die Daten werden auf einem geeigneten Display dargestellt.
  • Die US 8 238 611 B2 zeigt ein System zum Scannen einer Szene einschließlich Entfernungsmessung. Das System besteht in seiner einfachsten Form aus einer Kameraeinheit mit zwei Kameras, gegebenenfalls mit Filtern, zur stereoskopischen Erfassung eines Zielbereichs, aus einer Beleuchtungseinheit zur Erzeugung eines Musters im Zielbereich, vorzugsweise mittels eines diffraktiven optischen Elements, und aus einer Synchronisiereinheit, welche Beleuchtungseinheit und Kameraeinheit aufeinander abstimmt. Kameraeinheit und Beleuchtungseinheit können in wählbaren Relativpositionen aufgestellt werden. Wahlweise können auch zwei Kameraeinheiten oder zwei Beleuchtungseinheiten eingesetzt werden. Eine in der Hand zu haltende 3D-Messvorrichtung, die mittels der Projektion von Mustern und der Aufnahme des gestreuten Lichtes ihre Umgebung vermisst, zeigt die US 2012/0092461 A1 .
  • In der WO 2013/106291 A1 ist eine Messvorrichtung mit einem Entfernungsmesser und einem Neigungssensor beschrieben, wobei letzterer einen häufig kalibrierten Beschleunigungssensor beinhaltet. Die DE 10 2014 205 640 A1 offenbart ein Verfahren, bei welchem mittels eines Smartphones bei bekannter Referenzstrecke durch Anpeilen eines Raumpunktes eine Winkelbestimmung vornimmt. Ein ähnliches Verfahren für die gleiche Hardware ist aus der US 2010/0074609 A1 bekannt.
  • Ein Messgerät mit Taster ist in der DE 10 2011 119 012 A1 offenbart. Der Taster wird entlang der Oberfläche eines Werkstücks geführt, und Lageänderungsensoren liefern Daten für die Bestimmung der Koordinaten des Messgeräts.
  • Gemäß der US 2014/0028805 A1 wird die Bewegung einer 3D-Messvorrichtung, wie sie beispielsweise in der DE 10 2012 112 322 A1 beschrieben ist, mittels eines Trackers erfasst, welcher einen Retroreflektor auf der 3D-Messvorrichtung verfolgt. Die Arbeitsweise des Trackers ist in der US 2013/01214122 A1 beschrieben. Dieser ist in der Lage, die Bewegungen des Retroreflektors zu klassifizieren und zu identifizieren. Der Retroreflektor kann in einem Zeigestab oder dergleichen verbaut sein, welcher für eine Präsentation benutzt wird. Mittels des Trackers kann die Bewegung des Zeigestabs mit Befehlen für das Präsentations-System verknüpft werden.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren der eingangs genannten Art zu verbessern und eine Vorrichtung hierzu zur Verfügung zu stellen. Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruches 1 und eine Vorrichtung mit den Merkmalen des Anspruches 9 gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.
  • Die Steuerung der 3D-Messvorrichtung mittels Bewegungen kann in allen Stufen erfolgen, also den Messvorgang, die Auswertung der Messdaten und die Visualisierung betreffen. Ein für die Steuerung geeignete Bewegung der 3D-Messvorrichtung kann die momentane Bewegung, eine kurzfristige oder kleinräumige Bewegung (insbesondere eine Geste) oder eine längerfristige oder großräumige Bewegung, nämlich der Bewegungspfad sein. Die Auswertung der Bewegung kann sich auf die Momentanwerte, typische Merkmale oder statistische Mittelwerte beziehen. Die Ermittlung der Bewegung erfolgt vorzugsweise ohne Hilfsmittel direkt aus den Messdaten heraus, deren Auswertungen (3D-Scans) in einem gemeinsamen Koordinatensystem registriert werden, so dass eine Referenz für die Bewegung definiert ist.
  • Eine bevorzugte 3D-Messvorrichtung ist ein System aus Projektor und Kameras, die an einer Tragestruktur angeordnet sind. Aufgrund des geringen Gewichts kann der Benutzer eine solche 3D-Messvorrichtung selber tragen und bewegen.
  • Die Tragestruktur, welche vorzugsweise mechanisch und thermisch (besonders) stabil ist, definiert die relativen Abstände der Kameras und des Projektors. Grob definiert sie auch deren relative Ausrichtungen. Die Anordnung auf der Vorderseite der 3D-Messvorrichtung, welche bei bestimmungsgemäßem Gebrauch der Umgebung zugewandt ist, hat den Vorteil, dass diese Abstände und Ausrichtungen nicht durch Formänderungen eines Gehäuses geändert werden.
  • Der Begriff „Projektor“ soll sich allgemein auf eine Vorrichtung zur Erzeugung eines Musters beziehen. Die Erzeugung des Musters kann durch ablenkende Verfahren, beispielsweise die Erzeugung mittels diffraktiver optischer Elemente oder Mikrolinsen (oder Einzel-Laser), oder durch abschattende Verfahren, beispielsweise die Erzeugung mittels Blenden, Dias (wie sie bei einem Dia-Projektor verwendet werden würden) und anderen Masken, erfolgen. Die ablenkenden Verfahren haben dabei den Vorteil, dass weniger Licht verloren geht und daher mehr Intensität zur Verfügung steht. Der Projektor kann ein Projektionszentrum haben, welches das gedachte Emissionszentrum für die Strahlen des Projektors ist, oder der Projektor kann parallele Strahlen abgeben.
  • Die für die Entfernungsmessung vorgesehenen Baugruppen sind nicht kolinear angeordnet. Im Falle von einem Projektor und zwei Kameras sind diese in einer Dreiecksanordnung zueinander angeordnet.
  • In Abhängigkeit der Anzahl der für die Entfernungsmessung vorgesehenen Baugruppen ist vorzugsweise eine entsprechend Anzahl von Armen der Tragestruktur vorgesehen, welche vorzugsweise von einer gemeinsamen Mitte aus abstehen. Die besagten Baugruppen sind vorzugsweise im Bereich der Enden der zugeordneten Arme vorgesehen. Jede der Baugruppen ist vorzugsweise auf der Rückseite der Tragestruktur angeordnet. Die Optik jeder Baugruppe fluchtet mit einer zugeordneten Öffnung in der Tragestruktur, um von der Vorderseite aus in die Umgebung gerichtet zu sein und vorzuspringen. Ein Gehäuse deckt die Rückseite ab und bildet das Griffteil.
  • Die Tragestruktur besteht vorzugsweise aus einer kohle- oder glasfaserverstärkten Matrix aus Kunststoff oder Keramik (oder einem anderen Material). Das Material sorgt für Stabilität und ein geringes Gewicht und kann zugleich mit Sichtflächen ausgebildet sein. Eine konkave (sphärische) Krümmung der Vorderseite der Tragestruktur hat nicht nur konstruktive Vorteile, sondern schützt die Optiken der für die Entfernungsmessung vorgesehenen Baugruppen, wenn die 3D-Messvorrichtung auf der Vorderseite abgelegt wird.
  • Der Projektor erzeugt das Muster, welches vorzugsweise nicht im sichtbaren Wellenlängenbereich liegt, sondern im Infraroten. Entsprechend sind die beiden Kameras in diesem Wellenlängenbereich empfindlich, während Streulicht und andere Störungen im sichtbaren Wellenlängenbereich herausgefiltert werden können. Eine 2D-Farbkamera kann als dritte Kamera für Farbinformationen und für Objektmerkmals-Informationen vorgesehen sein, welche ebenfalls die Umgebung und das Objekt aufnimmt. Mit den so erlangten Farbinformationen kann dann der 3D-Scan eingefärbt werden.
  • Die 3D-Messvorrichtung erzeugt mehrere 3D-Scans der gleichen Szene von verschiedenen Positionen aus. Die 3D-Scans werden in einem gemeinsamen Koordinatensystem registriert. Für das Zusammenfügen zweier überlappender 3D-Scans sind wiedererkennbare Strukturen von Vorteil. Vorzugsweise werden solche wiedererkennbaren Strukturen laufend gesucht und angezeigt oder wenigstens nach dem Aufnahmevorgang angezeigt. Wenn im einem bestimmten Bereich die Dichte nicht groß genug erscheint, können weitere 3D-Scans dieses Bereichs erzeugt werden. Eine Unterteilung des verwendeten Displays zur Darstellung eines Videobildes und der (dazu benachbarten Teile der) dreidimensionalen Punktwolke hilft zu erkennen, in welchen Bereichen noch Scans erzeugt werden sollten.
  • Die 3D-Messvorrichtung ist vorliegend als tragbare Vorrichtung konzipiert, arbeitet also mit hoher Geschwindigkeit und weist ein geringes Gewicht auf. Es ist aber auch möglich, dass die 3D-Messvorrichtung auf einem Dreibein (oder einem anderen Stativ), auf einem manuell verfahrbaren Trolley (oder einem anderen Wagen) oder auf einem autonom fahrenden Roboter montiert ist, also nicht mehr vom Benutzer getragen wird, gegebenenfalls auch unter Verwendung eines anderen Gehäuses, beispielsweise ohne Griffteil. Der Begriff „3D-Messvorrichtung“ ist daher weit auszulegen, so dass er allgemein als kompakte Einheiten ausgebildete Scanner umfasst, die stationär oder mobil sind und gegebenenfalls mit anderen Vorrichtungen verbaut sind.
  • Im Folgenden ist die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert. Es zeigen
    • 1 eine perspektivische Ansicht einer 3D-Messvorrichtung und eines Objekts in der Umgebung,
    • 2 eine Ansicht der Vorderseite der 3D-Messvorrichtung,
    • 3 eine Ansicht der Rückseite der 3D-Messvorrichtung,
    • 4 eine Draufsicht auf die 3D-Messvorrichtung von oben,
    • 5 eine rechte Seitenansicht der 3D-Messvorrichtung,
    • 6 eine 1 entsprechende Ansicht ohne Gehäuse,
    • 7 eine Draufsicht auf eine beispielhafte Steuer- und Auswertevorrichtung mit Display,
    • 8 eine Seitenansicht von 7,
    • 9 die Blickfelder der Kameras mit schraffiertem Überlapp,
    • 10 die geometrische Beziehung von Bildebenen, Projektorebene und Epipolarlinien,
    • 11 ein beispielhaftes Verfahren zum optischen Abtasten und Vermessen einer Umgebung,
    • 12 ein Beispiel mit einer Epipolarlinie,
    • 13 ein Beispiel mit zwei Epipolarlinien,
    • 14 ein Beispiel mit Inkonsistenzen,
    • 15 Schritte der dritten Verfahrensblocks und Schritte des Verfahrens zur Steuerung mittels Bewegungen,
    • 16 eine erste Gruppe von Bewegungen,
    • 17 eine zweite Gruppe von Bewegungen,
    • 18 eine dritte Gruppe von Bewegungen, und
    • 19 eine Draufsicht auf die Steuer- und Auswertevorrichtung von 7 mit einem geänderten Maßstab im Display.
  • Eine 3D-Messvorrichtung 100 ist zum optischen Abtasten und Vermessen von Objekten O in einer Umgebung vorgesehen. Die 3D-Messvorrichtung 100 ist vorzugsweise als tragbare Vorrichtung ausgebildet (1 bis 6). Die - beim bestimmungsgemäßen Gebrauch - dem Benutzer zugewandte Seite der 3D-Messvorrichtung 100, d.h sei als Rückseite und die der Umgebung zugewandte Seite als Vorderseite bezeichnet. Diese Definition erstreckt sich auf die Bestandteile der 3D-Messvorrichtung 100.
  • Die 3D-Messvorrichtung 100 weist (auf seiner Vorderseite) eine Tragestruktur 102 mit drei Armen 102a, 102b, 102c auf, welche der Tragestruktur 102 eine T-Form oder Y-Form geben, also eine Dreiecksanordnung. Der Bereich, in welchem die drei Arme 102a, 102b, 102c miteinander verbunden sind und von welchem aus die drei Arme 102a, 102b, 102c abstehen, definiert die Mitte der 3D-Messvorrichtung 100. Vom Benutzer aus gesehen, bei bestimmungsgemäßem Gebrauch, weist die Tragestruktur 102 einen linken Arm 102a, einen rechten Arm 102b und einen unteren Arm 102c auf. Vorliegend beträgt beispielsweise der Winkel zwischen linkem Arm 102a und rechtem Arm 102b etwa 150° ± 20° zwischen linkem Arm 102a und unterem Arm 102c etwa 105° ± 10°. Der untere Arm 102c ist meist etwas länger als die beiden anderen Arme 102a, 102b.
  • Die Tragestruktur 102 ist vorzugsweise aus einem kohlefaserverstärkten Kunststoff (CFK) ausgebildet, alternativ beispielsweise aus einer kohlefaserverstärkten Keramik oder aus einem glasfaserverstärkten Kunststoff. Das Material macht die Tragestruktur 102 mechanisch und thermisch stabil und sorgt zugleich für ein geringes Gewicht. Die Abmessung der Tragestruktur 102 senkrecht zu den Armen 102a, 102b, 102c ist deutlich geringer (beispielsweise 5 bis 15 mm) als die Länge der Arme 102a, 102b, 102c (beispielsweise 15 bis 25 cm). Die Tragestruktur 102 hat daher eine flache Grundform, vorliegend an einigen Abschnitten der Arme 102a, 102b, 102c mit einem verstärkten Rücken in der Mitte. Sie ist aber vorzugsweise nicht eben ausgebildet, sondern gekrümmt. Diese Krümmung der Tragestruktur 102 ist an die Krümmung einer Kugel angepasst, welche einen Radius von etwa 1 bis 3 m hat. Die (dem Objekt O zugewandte) Vorderseite der Tragestruktur 102 ist dabei konkav ausgebildet, die Rückseite konvex. Die gekrümmte Form der Tragestruktur 102 ist für die Stabilität vorteilhaft. Die Vorderseite der Tragestruktur 102 (und vorliegend auch die sichtbaren Bereiche der Rückseite) ist als Sichtfläche ausgebildet, d.h. ohne Blenden, Abdeckungen, Verkleidungen oder sonstige Aufmachungen versehen. Die bevorzugte Ausbildung aus faserverstärkten Kunststoffen oder Keramiken ist hierfür besonders geeignet.
  • Auf der Rückseite der Tragestruktur 102 ist ein Gehäuse 104 angeordnet, welches im Bereich der Enden der drei Arme 102a, 102b, 102c mittels geeigneter Verbindungsmittel schwimmend mit der Tragestruktur 102 verbunden ist, beispielsweise mittels Gummiringen und Schrauben mit etwas Spiel. Der Rand des Gehäuses 104 ist im Bereich des linken Arms 102a und des rechten Arms 102b bis in die unmittelbare Nähe der Tragestruktur 102 gezogen, während das Gehäuse 104 von der Mitte der 3D-Messvorrichtung 100 aus im Bereich des unteren Arms 102c im Abstand zur Tragestruktur 102 verläuft unter Bildung eines Griffteils 104g, am Ende des Griffteils 104g abbiegt und sich dem Ende des unteren Arms 102c nähert, wo es mit diesem schwimmend verbunden ist und sein Rand bis in die unmittelbare Nähe der Tragestruktur 102 gezogen ist. Soweit an einigen Abschnitten der Tragestruktur 102 ein verstärkter Rücken 102r vorgesehen ist, ragt dieser Rücken 102r in das Innere des Gehäuses 104. Das Gehäuse 104 wirkt als Haube.
  • Vorzugsweise sind Schutzelemente 105 am Gehäuse 104 oder an der Tragestruktur 102 angebracht, insbesondere an den Enden der Arme 102a, 102b, 102c, welche vor Stößen und daraus folgenden Beschädigungen schützen. Bei Nichtgebrauch kann die 3D-Messvorrichtung 100 mit der Vorderseite nach unten abgelegt werden. Dabei kommt er aufgrund der konkaven Krümmung der Vorderseite auf den Enden der Arme 102a, 102b, 102c zu liegen. Auch hier sind die Schutzelemente 105 an den Enden der Arme 102a, 102b, 102c hilfreich, indem die 3D-Messvorrichtung 100 auf diesen zu liegen kommt. Ferner können am Gehäuse 104, insbesondere am Griffteil 104g, optional Noppen aus einem weichen Material, beispielsweise Gummi, angebracht sein, welche für einen guten Kontakt mit der Hand des Benutzers sorgen.
  • Auf der Rückseite des Gehäuses 104 ist in der Mitte der 3D-Messvorrichtung 100 ein Bedienknopf 106 angeordnet, mittels dessen wenigstens das optische Abtasten und Vermessen, also der Messvorgang (und insbesondere der Projektions- und Aufnahmevorgang), gestartet und gestoppt werden kann. Der Bedienknopf 106 ist vorzugsweise multifunktional, beispielsweise mittels zeitlich strukturierter Sequenzen und/oder räumlich unterscheidbarer Bedienrichtungen, d.h. der Bedienknopf 106 kann nicht nur in eine Richtung gedrückt werden, sondern in mehrere Richtungen unterscheidbar gekippt werden. Um den Bedienknopf 106 herum sind vorzugsweise eine oder mehrere Statusleuchten 107 angeordnet, welche den aktuellen Zustand der 3D-Messvorrichtung 100 anzeigen und dadurch dessen Bedienung erleichtern. Die Statusleuchten 107 können vorzugsweise unterschiedliche Farben (grün, rot, ....) anzeigen, um den Status des Instruments anzuzeigen. Vorzugsweise sind die Statusleuchten 107 als LED ausgebildet.
  • An der Tragstruktur 102 sind - in einem definierten Abstand voneinander beabstandet - am linken Arm 102a (im Bereich von dessen Ende) eine erste Kamera 111 und am rechten Arm 102b (im Bereich von dessen Ende) eine zweite Kamera 112 angeordnet. Genauer gesagt, sind die beiden Kamera 111 und 112 auf der Rückseite der Tragestruktur 102 angeordnet und daran befestigt, wobei die Tragestruktur 102 jeweils eine Öffnung aufweist, durch welche die jeweilige Kamera 111, 112 zur Vorderseite der Tragestruktur 102 hinaus blicken kann. Die beiden Kameras 111, 112 werden vorzugsweise von den Verbindungsmitteln für die schwimmende Verbindung des Gehäuses 104 mit der Tragestruktur 102 umgeben.
  • Die erste Kamera 111 und die zweite Kamera 112 sind zueinander sind so eingestellt, dass die Blickfelder FOV überlappen, um dabei stereoskopische Aufnahmen der Objekte O zu machen. In einer Ausführung, bei welcher die Ausrichtungen fest eingestellt sind, gibt es einen optimalen Überlapp-Bereich, der von der Anwendung abhängt. Die festen Ausrichtungen können zunächst beliebig (und unbekannt) sein, und wird dann der 3D-Messvorrichtung 100 bekannt gemacht, beispielsweise durch werksseitiges Kalibrieren. Hinsichtlich Genauigkeit wäre ein Überlapp-Bereich ähnlich der Abmessung der 3D-Messvorrichtung 100 günstig. In einer weiteren Ausführung sind die Ausrichtungen einstellbar, um die Optimierung des Überlapps der Blickfelder FOV entsprechend dem Abstand von der 3D-Messvorrichtung 100 zu den zu vermessenden Objekten O zu ermöglichen. Durch Verfolgung, wie der Benutzer die Ausrichtungen einstellt, beispielsweise durch gegensinniges Schwenken der Kameras 111 und 112, sind die Ausrichtung der 3D-Messvorrichtung 100 bekannt. Im Falle dass die erste und zweite Kamera 111, 112 eingestellt werden, wird im Feld eine Kalibrierung durchgeführt, um die Winkel und Positionen der Kameras in der 3D-Messvorrichtung 100 zu bestimmen. Die Typen der Kalibrierung werden später beschrieben.
  • Vorzugsweise sind die erste Kamera 111 und die zweite Kamera 112 monochrom, d.h. für einen engen Wellenlängenbereich empfindlich, beispielsweise indem sie entsprechende Filter aufweisen, die dann andere Wellenlängenbereiche einschließlich Streulicht herausfiltern. Dieser enge Wellenlängenbereich liegt vorzugsweise im Infrarot-Bereich. Um trotzdem Farbinformationen über die Objekte O zu erhalten, weist die 3D-Messvorrichtung 100 vorzugsweise zusätzlich eine 2D-Kamera 113 auf, vorzugsweise eine Farbkamera. Die 2D-Kamera 113 ist vorzugsweise symmetrisch zur ersten Kamera 111 und zweiten Kamera 112 ausgerichtet und in der Mitte der 3D-Messvorrichtung 100 zwischen den beiden angeordnet. Die 2D-Kamera 113 ist dann im sichtbaren Wellenlängenbereich empfindlich. Die 2D-Kamera 113 nimmt 2D-Bilder der Szene auf, also die Umgebung der 3D-Messvorrichtung 100 samt der darin enthaltenen Objekte O.
  • Um für die 2D-Kamera 113 die Szene bei ungünstigen Lichtverhältnissen auszuleuchten, sind wenigstens eine, vorliegend vier (leistungsstarke) Leuchtdioden (LED) 114 vorgesehen. Jeder Leuchtdiode 114 ist ein Abstrahlelement 115 zugeordnet, mittels dessen das Licht der Leuchtdiode 114 entsprechend der Ausrichtung der 3D-Messvorrichtung 100 abgestrahlt wird. Ein solches Abstrahlelement 115 kann beispielsweise eine Linse oder ein geeignet ausgebildetes Ende eines Lichtleiters sein. Die (vorliegend vier) Abstrahlelemente 115 sind gleichmäßig um die 2D-Kamera 113 herum angeordnet. Jede Leuchtdiode 114 ist mittels jeweils eines Lichtleiters 116 mit dem zugeordneten Abstrahlelement 115 verbunden. Die Leuchtdioden 114 können daher baulich an einer Steuereinheit 118 der 3D-Messvorrichtung 100 angeordnet sein, insbesondere auf einer Platine derselben befestigt sein.
  • Um später eine Referenz für die Aufnahmen der Kameras 111, 112, 113 haben, ist vorzugsweise ein Neigungsmesser 119 vorgesehen. Als Neigungsmesser 119 bevorzugt ist ein Beschleunigungssensor (mit einer oder mehreren sensitiven Achsen), der in an sich bekannter Weise als MEMS (micro-electro-mechanical system) hergestellt ist. Als Neigungsmesser 119 sind auch andere Ausführungen und Kombinationen möglich. Die Daten der 3D-Messvorrichtung 100 haben jeweils (als eine Komponente) eine Gravitationsrichtung, die der Neigungsmesser 119 liefert.
  • Grundsätzlich könnten aus den Aufnahmen der ersten Kamera 111 und der zweiten Kamera 112 bereits dreidimensionale Daten ermittelt werden, also 3D-Scans der Objekte O erstellt werden, beispielsweise mittels Photogrammetrie. Jedoch weisen die Objekte O häufig wenig Strukturen und viele glatte Flächen auf, so dass die Erstellung von 3D-Scans aus dem Streulicht der Objekte O schwierig ist.
  • Es ist daher ein Projektor 121 vorgesehen, welcher am unteren Arm 102c (im Bereich seines Endes) auf der Rückseite der Tragestruktur 102 angeordnet und daran befestigt ist, und zwar entsprechend der Kameras 111, 112, 113, d.h. die Tragestruktur 102 weist eine Öffnung auf, durch welcher der Projektor 121 zur Vorderseite der Tragestruktur 102 vorspringen kann. Der Projektor 121 wird vorzugsweise von den Verbindungsmitteln für die schwimmende Verbindung des Gehäuses 104 mit der Tragestruktur 102 umgeben. Der Projektor 121, die erste Kamera 111 und die zweite Kamera 112 sind in einer Dreiecksanordnung zueinander angeordnet und in die Umgebung der 3D-Messvorrichtung 100 gerichtet. Die relativen Winkel von erster Kamera 111, zweiter Kamera 112 und Projektor 121 sind entsprechend der Messdistanz von der 3D-Messvorrichtung 100 zum Objekt O eingestellt. Wie oben beschrieben, kann die relative Ausrichtung voreingestellt sein oder vom Benutzer eingestellt werden.
  • Wird die 3D-Messvorrichtung 100 bei Nichtgebrauch auf die Vorderseite gelegt, also mit der Vorderseite nach unten auf einer Ablagefläche abgelegt, so sorgt die konkave Krümmung der Vorderseite dafür, dass die Kameras 111, 112, 113 und der Projektor 121 von der Ablagefläche beabstandet bleiben, also beispielsweise die jeweiligen Linsen vor Beschädigungen geschützt sind.
  • Die Kameras 111, 112, 113, der Projektor 121, der Bedienknopf 106, die Statusleuchten 107, die Leuchtdioden 114 und der Neigungsmesser 119 sind mit der gemeinsamen Steuereinheit 118 verbunden, die innerhalb des Gehäuses 104 angeordnet ist. Diese Steuereinheit 118 kann Bestandteil einer im Gehäuse integrierten Steuer- und Auswertevorrichtung sein. Vorzugsweise ist die besagten Steuereinheit 118 aber mit einer genormten Kommunikationsschnittstelle am Gehäuse 104 verbunden, die für eine drahtlose Verbindung (beispielsweise Bluetooth, WLAN, DECT) als Sende- und Empfangseinheit oder für eine kabelgebundene Verbindung (beispielsweise USB, LAN) ausgebildet ist, gegebenenfalls auch als eine spezielle Schnittstelle, wie sie in der DE 10 2009 010 465 B3 beschrieben ist. Die Kommunikationsschnittstelle ist mittels der besagten drahtlosen oder kabelgebundenen Verbindung mit einer externen Steuer- und Auswertevorrichtung 122 verbunden. Die Steuer- und Auswertevorrichtung 122 ist der 3D-Messvorrichtung 100 zugeordnet. Vorliegend ist die Kommunikationsschnittstelle für eine kabelgebundene Verbindung ausgebildet, wobei am Gehäuse 104 ein Kabel 125 eingesteckt ist, beispielsweise am unteren Ende des Griffteils 104g, so dass das Kabel 125 in Verlängerung des Griffteils 104g abgeht.
  • Die Steuer- und Auswertevorrichtung 122 weist einen oder mehrere Prozessoren 122a auf, um die Verfahren zum Betrieb und zur Steuerung der 3D-Messvorrichtung 100 und zur Auswertung des Messdaten auszuführen. Vorzugsweise ist die Steuer- und Auswertevorrichtung 122 ein tragbarer Computer (Notebook) oder ein Tablet (oder Smartphone) (beispielsweise 7 und 8) oder ein externer Computer (beispielsweise im Internet), auf welchem eine spezielle Software zum Steuern der 3D-Messvorrichtung 100 und zum Auswerten der Messdaten implementiert ist und welcher mit dem tragbaren Teil der 3D-Messvorrichtung 100 verbunden ist. Die Steuer- und Auswertevorrichtung 122 kann jedoch eine spezielle Hardware sein, oder in den tragbaren Teil der 3D-Messvorrichtung 100 integriert sein. Die Steuer- und Auswertevorrichtung 122 kann auch ein System verteilter Komponenten sein, mit wenigstens einer in den tragbaren Teil der 3D-Messvorrichtung 100 integrierten Komponente und wenigstens einer externen Komponente. Entsprechend kann der oder die Prozessoren 122a in die 3D-Messvorrichtung 100 oder in einen externen Computer eingebettet sein.
  • Der Projektor 121 projiziert auf die zu vermessenden (zu scannenden) Objekte O ein Muster X, das er beispielsweise mittels eines diffraktiven optischen Elements erzeugt. Das Muster X braucht nicht kodiert zu sein (d.h. ein eindeutiges Muster zu haben), sondern kann unkodiert sein, beispielsweise mittels Projektion periodisch beabstandeter Musterelemente (beispielsweise Lichtspots oder Lichtlinien). Die Korrespondenz zwischen den vom Projektor 121 projizierten Musterelementen und den Musterelementen in den Bildern auf den Photosensoren der Kameras 111, 112 wird durch gleichzeitig zu erfüllende Epipolarbedingungen und unter Verwendung von Kalibrierungsparametern bestimmt, wie nachfolgend ausgeführt. Die Mehrdeutigkeit wird durch die Verwendung der beiden Kameras 111 und 112 in Kombination mit dem exakten Wissen über die Form und Richtung des Musters aufgelöst, wobei dieses kombinierte Wissen aus einer Kalibrierung der 3D-Messvorrichtung 100 stammt.
  • Im Folgenden soll der Begriff „Musterelement“ die Form eines Elements des Musters X betonen, während der Begriff „Punkt“ die Position (eines Musterelements oder von etwas anderem) in 3D-Koordinaten bezeichnen soll.
  • Das unkodierte Muster X (1) ist vorzugsweise ein Punktmuster, eine regelmäßige Anordnung von Spots in einem Gitter umfassend. Vorliegend werden beispielsweise etwa einhundert mal einhundert Punkte (10.000 Punkte insgesamt) über ein Blickfeld FOV (9) von etwa 50° in eine Entfernung von näherungsweise 0,5 m bis 5 m projiziert. Das Muster X kann auch ein Linienmuster oder ein Kombinationsmuster von Punkten und Linien sein, das jeweils aus entsprechend dicht angeordneten Lichtpunkten gebildet wird. Die erste Kamera 111 weist eine erste Bildebene B111 auf, und die zweite Kamera 112 weist eine zweite Bildebene B112 auf. Die beiden Kameras 111 und 112 erhalten wenigstens einen Teil des Musters X in ihren jeweiligen Bildebenen B111 und B112 , in welchen der Photosensor (beispielsweise CMOS oder CCD) angeordnet ist, um einen vom Objekt O reflektierten Teil des Musters X aufzunehmen.
  • Es besteht ein Zusammenhang zwischen der Punktdichte des Musters X über dem Winkel des Blickfelds FOV, der Distanz zwischen dem Projektor 121 und dem Objekt O und der Auflösung, welche mit dem erzeugten Muster X auf dem Objekt O erreicht werden kann. Für einzelne paarweise Aufnahmen der Kameras 111, 112 führt eine höhere Punktdichte des Musters X zu einer größeren Fähigkeit, relativ feine Strukturen des Objekts O aufzulösen, als im Falle mit niederen Punktdichten des Musters X auf dem Objekt O. Es erscheint daher hilfreich, zusätzlich zum ersten Muster X wenigstens noch ein anderes Muster mit einer unterschiedlichen Dichte an projizierten Spots erzeugen zu können. Je nach Erzeugung der Muster ist ein dynamischer Übergang zwischen den Mustern und/oder eine räumliche Durchmischung möglich, um die Punktdichte an die Strukturen des Objektes O anzupassen. Vorzugsweise erzeugt der Projektor 121 die beiden Muster zeitlich versetzt zueinander und/oder in einem anderen Wellenlängenbereich und/oder mit unterschiedlicher Intensität.
  • Das - vorzugsweise monochromatische - Muster X wird vorzugsweise mittels eines diffraktiven optischen Elements 124 im Projektor 121 erzeugt. Das diffraktive optische Element 124 wandelt einen einzelnen Strahl einer Lichtquelle 121a in 18 in eine Ansammlung kleinerer Strahlen um, von denen jeder in eine unterschiedliche Richtung geht, um einen Spot zu erzeugen, wenn das Objekt O getroffen wird. Die Lichtquelle 121a kann beispielsweise ein Laser, eine Superlumineszenzdiode oder eine LED sein. In einer Ausführung ist die Wellenlänge der Lichtquelle 121a im Infrarot-Bereich. Die laterale Auflösung ist dann nur durch die Größe und den Abstand der Spots im projizierten Muster X begrenzt. Wenn das Muster X im Infrarot-Bereich ist, können die Aufnahmen der 2D-Kamera 113 ohne Interferenzen mit dem Muster X erzeugt werden. Zum gleichen Zweck könnte das Muster X alternativ im Ultraviolett-Bereich erzeugt werden.
  • Aus Gründen der Energieeffizienz und der Augensicherheit sind die beiden Kameras 111, 112 und der Projektor 121 so synchronisiert, dass sie das Muster X aufnehmen, sobald es der Projektor 121 projiziert, wobei das Muster X vorzugsweise ein gepulstes Muster ist. Jeder Projektions- und Aufnahmevorgang beginnt, indem der Projektor 121 das Muster X erzeugt, ähnlich einem Blitz in der Photographie, und die Kameras 111 und 112 (und gegebenenfalls 113) folgen mit einem Aufnahmevorgang, indem sie jeweils wenigstens ein Bild für jeden Projektionsvorgang des Musters X aufnehmen. Der Begriff „Aufnahme“ soll die zwei Bilder umfassen, welche die beiden Kameras 111 und 112 zeitgleich aufnehmen. Der Projektions- und Aufnahmevorgang kann eine einzelne Aufnahme (Schuss), oder eine Sequenz von Aufnahme (Video) umfassen. Ein derartiger Schuss oder ein derartiges Video wird mittels des Bedienknopfes 106 ausgelöst. Nach der Verarbeitung der Daten ergibt jede Aufnahme 3D-Scandaten, also eine Punktwolke im dreidimensionalen (3D) Raum, wobei die Punktwolke in relativen Koordinaten der 3D-Messvorrichtung 100 angegeben ist. Die zu einem bestimmten Zeitpunkt aufgenommene Punktwolke von 3D-Scandaten sei als 3D-Scan bezeichnet.
  • Der Projektor 121 ist nicht kolinear zu den beiden Kameras 111 und 112 angeordnet, sondern eher so angeordnet, dass ein Dreieck relativ zu den Kameras 111, 112 gebildet wird. Diese Dreiecksanordnung ermöglicht die Anwendung von Epipolargeometrie auf Grundlage von mathematischen Methoden der Optik. Die Bedingungen der Epipolargeometrie sagen aus, dass ein Punkt in der Projektorebene P121 des Projektors 121 auf eine erste Epipolarlinie in der ersten Bildebene B111 und auf eine zweite Epipolarlinie in der zweiten Bildebene B112 fällt, wobei die Epipolarlinien für jede der Bildebenen B111 und B112 durch die relative Geometrie des Projektors 121 und der beiden Kameras 111 und 112 bestimmt ist. Ferner fällt ein Punkt in der ersten Bildebene B111 auf eine Epipolarlinie in der Projektorebene P121 und auf eine Epipolarlinie in der zweiten Bildebene B112 , wobei die Epipolarlinien für die Projektorebene P121 und die zweite Bildebene B112 durch die relative Geometrie von Projektor 121 und Kameras 111 und 112 bestimmt ist. Ferner fällt auch ein Punkt in der zweiten Bildebene B112 auf eine Epipolarlinie in der Projektorebene P121 und auf eine Epipolarlinie in der ersten Bildebene B111 , wobei die Epipolarlinien für die Projektorebene P121 und die erste Bildebene B111 durch die relative Geometrie von Projektor 121 und Kameras 111 und 112 bestimmt ist. Es ergibt sich, dass die Verwendung von wenigstens zwei Kameras und einem Projektor genügend Epipolarbedingungen erzeugt, um eine Korrespondenz zu möglichen zwischen den zu bestimmenden Punkten des Musters X mit den Punkten in den Bildebenen B111 und B112 und der Projektorebene P121 , sogar wenn die projizierten Musterelemente keine unterscheidbaren Eigenschaften haben, beispielsweise identisch sind.
  • Vorliegend sind (wenigstens) drei Geräte (Projektor 121 und die beiden Kameras 111 und 112) beteiligt, d.h. es können ausgehend von jedem Gerät jeweils zwei Stereo-Geometrien (mit jeweils einer Fülle von Epipolarlinien e) mit den beiden anderen Geräten definiert werden. Daher ergeben sich für die vorliegende Anordnung eindeutige Dreier-Beziehungen von Punkten und Epipolarlinien e, aus denen sich die Korrespondenz der Abbildungen des Musters X in den beiden Bildebenen B111 , B112 ermitteln lässt. Aufgrund der (gegenüber einem Paar von Kameras) zusätzlichen Stereo-Geometrie können nämlich deutlich mehr der ansonsten ununterscheidbaren Muster-Punkte auf einer Epipolarlinie e identifiziert werden. Dadurch kann gleichzeitig die Dichte an Merkmalen hoch und die Merkmalsgröße sehr gering gehalten werden. Bei alternativen Verfahren mit kodierten Mustern (mit Merkmalen die beispielsweise aus mehreren Punkten bestehen) ist die Merkmalsgröße nach unten begrenzt, was die laterale Auflösung begrenzt. Sobald die besagte Korrespondenz zwischen den Punkten des Musters X des Projektors 121 und den zwei Kameras 111, 112 ermittelt ist, werden mittels Triangulation die dreidimensionalen Koordinaten der Punkte auf der Oberfläche des Objektes O für die 3D-Scandaten ermittelt.
  • Triangulations-Berechnungen können zwischen den beiden Kameras 111, 112 durchgeführt werden, basierend auf dem Grundlinienabstand zwischen den beiden Kameras 111, 112 und den relativen Kippwinkeln der beiden Kameras 111, 112. Triangulations-Berechnungen können zwischen dem Projektor 121 und der ersten Kamera 111 und zwischen dem Projektor 121 und der zweiten Kamera 112 durchgeführt werden. Um diese Triangulations-Berechnungen durchzuführen, wird ein Grundlinienabstand zwischen dem Projektor 121 und der ersten Kamera 111 und ein weiterer Grundlinienabstand zwischen dem Projektor 121 und der zweiten Kamera 112 benötigt. Zusätzlich werden die relativen Kippwinkel zwischen Projektor/erster Kamera und Projektor/zweiter Kamera benötigt.
  • Grundsätzlich ist eine der Triangulations-Berechnungen ausreichend, um die dreidimensionalen Koordinaten der Punkte des Musters X auf dem Objekt bestimmen, so dass die zwei extra Triangulations-Berechnungen redundante Information (Redundanzen) liefern, die sinnvollerweise verwendet wird, um eine Selbstüberprüfung der Messergebnisse und eine Selbstkalibration-Funktionalität zu schaffen, wie nachstehend beschrieben ist. Der Begriff „Redundanz“ soll sich auf mehrfache Möglichkeiten zur Bestimmung der 3D-Koordinaten beziehen.
  • Zusätzliche dreidimensionale Daten können mittels Photogrammetrie aus mehreren Aufnahmen mit verschiedenen Kamerapositionen gewonnen werden, beispielsweise der 2D-Kamera 113 oder aus einem Teil des Signals der Kameras 111 und 112. Damit die Objekte von den Kameras 111, 112 und 113 gesehen werden können, um Photogrammetrie-Berechnungen durchzuführen, ist es wichtig, dass die Objekte angemessen beleuchtet sind. Eine solche Beleuchtung kann die Hintergrundsbeleuchtung sein, beispielsweise von Sonne oder Kunstlicht, oder sie kann von der 3D-Messvorrichtung 100 oder von einer weiteren externen Lichtquelle zur Verfügung gestellt werden. In einer Ausführung wird das Objekt mit Licht beleuchtet von LEDs 114, die Bestandteile der 3D-Messvorrichtung 1000 sind. Wenn Photogrammetrie verwendet werden soll, muss das Objekt bis zu einem gewissen Grade beleuchtet werden.Die Beleuchtung ermöglicht den zweidimensionalen Kameras 111, 112, 113, Eigenschaften des Objekts wahrzunehmen, wie beispielsweise Farbe, Kontrast und Schatten, was hilft, die Objektmerkmale zu identifizieren.
  • Der Messvorgang weist auch einen zeitlichen Aspekt auf. Während bei stationären Vorrichtungen eine ganze Sequenz von Mustern projiziert und Aufnahmen gemacht werden können, um einen einzigen 3D-Scan zu ermitteln, wird vorliegend mit jedem Schuss der 3D-Messvorrichtung 100 ein 3D-Scan erzeugt. In einer anderen Ausführung (nicht dargestellt) ist für Spezialuntersuchungen ein zweiter Projektor neben dem vorliegenden Projektor 121 oder ein weiteres diffraktives optisches Element neben dem vorliegenden oder wenigstens ein weiteres Muster zusätzlich zum Muster X vorgesehen. Es ist dann durch geeignetes Umschalten möglich, bei einem Schuss auch Aufnahmen mit verschiedenen Mustern zeitlich fortlaufend zu machen, so dass der 3D-Scan eine höhere Auflösung erhält durch Kombination der Auswertungsergebnisse bezüglich der verschiedenen Muster.
  • Um die komplette Szene zu erfassen, sind die mit dem Schuss erzeugten 3D-Scans zu registrieren, d.h. die dreidimensionalen Punktewolken jeder Aufnahme in ein gemeinsames Koordinatensystem einzufügen. Die Registrierung ist beispielsweise mittels Videogrammetrie möglich, also beispielsweise „structure from motion“ (SFM) oder „simultaneous localisation und mapping“ (SLAM). Für gemeinsame Bezugspunkte kann die natürliche Textur der Objekte O genutzt oder ein stationäres Muster Y erzeugt werden.
  • In der Steuer- und Auswertevorrichtung 122 werden die von der 3D-Messvorrichtung 100 gelieferten Daten verarbeitet, d.h. aus den Aufnahmen die 3D-Scans erstellt. Die 3D-Scans wiederum werden zusammengefügt, d.h. in einem gemeinsamen Koordinatensystem registriert. Für das Registrieren können die bekannten Verfahren verwendet werden, d.h. beispielsweise in überlappenden Bereichen zweier 3D-Scans natürliche oder künstliche Targets (also wiedererkennbare Strukturen) lokalisiert und identifiziert werden, um durch Korrespondenzpaare die Zuordnung der beiden 3D-Scans zu ermitteln. Damit wird nach und nach eine ganze Szene von der 3D-Messvorrichtung 100 erfasst. Die Steuer- und Auswertevorrichtung 122 weist ein Display 130 (Anzeigevorrichtung) auf, welches integriert oder extern angeschlossen ist.
  • Die bisher beschriebenen Verfahrensschritte des Messvorgangs (d.h. des Scanvorgangs), also des Verfahrens zum optischen Abtasten und Vermessen der Umgebung der 3D-Messvorrichtung 100, lassen sich zu vier Verfahrensblöcken zusammenfassen, wie in 8 schematisch gezeigt. In einem ersten Verfahrensblock 201 erfolgt der Projektions- und Aufnahmevorgang (Schuss) für eine Aufnahme, d.h. es werden Messwerte aufgenommen. In einem zweiten Verfahrensblock 202 erfolgt die Auswertung (der Messwerte) und Erstellung der 3D-Scandaten aus der Aufnahme. In einem dritten Verfahrensblock 203 erfolgt die Registrierung mehrerer 3D-Scans (in dem gemeinsamen Koordinatensystem) und Darstellung (auf dem Display 130) der Auswertungen, vorzugsweise auch eine Speicherung der 3D-Scandaten. In einem optionalen vierten Verfahrensblock 204 erfolgt eine Überprüfung der Kalibrierung, wobei dieser vierte Verfahrensblock 204 auch integraler Bestandteil des zweiten Verfahrensblocks 202 sein oder diesem direkt folgen kann. Solange weitere Aufnahmen angefordert werden, beispielsweise durch anhaltendes Drücken des Bedienknopfes 106, kehrt das Verfahren zum ersten Verfahrensblock 201 zurück. Die Verfahrensblöcke 202 bis 204 werden vorzugsweise von der Steuer- und Auswertevorrichtung 122 als Registriereinheit ausgeführt. Spezielle Hardwaremodule können als Registriereinheit zusätzlich oder alternativ vorgesehen sein.
  • Im zweiten Verfahrensblock 202 werden in einer Aufnahme die Abbildungen besonderer Punkte zum Auffinden der Korrespondenz automatisch ausgewählt. Diese ausgewählten Abbildungen von Punkten in der Aufnahme entsprechen Punkten auf dem Objekt O, insbesondere Musterelementen (z.B. Spots) des Musters X. Für jede solche Abbildung eines Punktes in der ersten Bildebene B111 wird nacheinander die Epipolarlinien e in der zweiten Bildebene B112 und in der Projektorebene P121 lokalisiert. Das Verfahren wird wiederholt für die Abbildungen von Punkten in der zweiten Bildebene B112 und in der Projektorebene P121 , indem die Epipolarlinien e in den anderen beiden Ebenen wie zuvor beschrieben lokalisiert werden. Diese mehrfachen Epipolarbedingungen ermöglichen die Bestimmung der Eins-zu-eins-Korrespondenz in jeder der drei Ebenen zwischen den projizierten und den aufgenommenen Musterelementen (beispielsweise identischen Spots). Wie in 10 gezeigt, ist der Punkt X0 (aus dem Muster X auf dem Objekt O) gemeinsam in allen drei Ebenen B111 , B112 , P121 sichtbar (abgebildet), und seine Abbildungen liegen auf jeweils zwei Epipolarlinien e. Der Punkt X0 ist der Schnittpunkt von drei Geraden, einem Lichtstrahl des Projektors 121 und je einem Sichtstrahl der beiden Kameras 111 und 112. Der Punkt Xo ist eindeutig identifizierbar, wenn die Dichte der Punkte des Musters X ausreichend gering ist.
  • Für die Ermittlung von 3D-Koordinaten der vermessenen Punkte, d.h. für die Auswertung der Messwerte und die Erstellung des 3D-Scans aus der Aufnahme, werden Kalibrierungsparameter berücksichtigt, die aus der letzten Kalibrierung stammen. Die Kalibrierungsparameter sind korrekturbedürftig, wenn bei der Auswertung der Messwerte räumliche Inkonsistenzen (Inkonsistenzen der Geometrie) und zeitliche Inkonsistenzen (Parameter ändern sich im Laufe der Zeit) in den Aufnahmen auftreten. Die Inkonsistenzen können thermische Ursachen haben, beispielsweise aufgrund eines Anstiegs der Betriebstemperatur, aber auch mechanische Ursachen, wie beispielsweise ein mechanischer Schock, wie er bei einem Sturz der 3D-Messvorrichtung 100 auf den Boden auftreten kann. Die Inkonsistenzen zeigen sich als Abweichungen der gemessenen Positionen, Winkel und anderen geometrischen Merkmalen beispielsweise der Punkte auf dem Objekt O oder in den Ebenen B111 , B112 , P121 .
  • Die möglicherweise zu korrigierenden Kalibrierungsparameter können extrinsische Parameter, intrinsische Parameter und Betriebsparameter sein. Extrinsische Parameter sind für jede Einheit (Kameras 111, 112, 113 und Projektor 121) allgemein die sechs Freiheitsgrade eines starren Körpers, d.h. drei Ortskoordinaten und drei Winkel. Relevant ist insbesondere die relative Geometrie der Einheiten, d.h.die relativen Abstände und die relativen Winkel ihrer Ausrichtungen. Intrinsische Parameter beziehen sich auf Kamera- und Projektor-Geräteeigenschaften, wie beispielsweise Brennweite, Lage des Hauptpunktes, Verzerrungsparameter, Zentrierung der Photosensor-Anordnung oder der MEMS-Projektoranordnung, die Abmessung dieser Anordnungen in jeder Dimension, Verdrehung dieser Anordnungen relativ zum lokalen Koordinatensystem der 3D-Messvorrichtung 100, und Aberrations-Korrekturkoeffizienten für die Kamera- oder Projektor-Linsensysteme. Betriebsparameter können die Wellenlänge der Lichtquelle 121a, die Temperatur und die Luftfeuchtigkeit sein.
  • In Bezug auf 10 kann eine Inkonsistenz eine Abweichung der tatsächlichen Position des Punktes X0 von seiner erwarteten Position in einer der drei Ebenen sein.
  • Wie oben beschrieben, werden die Epipolarbedingungen gleichzeitig gelöst, um in den zwei Kameras 111, 112 und dem einen Projektor 121 die Korrespondenz von projizierten und aufgenommenen Musterelementen (d.h. von deren Abbildungen) zu bestimmen. Einige redundante Informationen (Redundanzen) aus diesen gleichzeitig zu erfüllenden Gleichungen stehen zur Verfügung, um Inkonsistenzen in den Korrespondenzen aufzufinden.
  • Zusätzlich können, wie oben beschrieben, drei getrennte Triangulations-Berechnungen durchgeführt werden, um drei Sätze von 3D-Koordinaten zu erhalten. Diese drei Triangulations-Berechnungen erfolgen für die erste und zweite Kamera 111, 112 (Stereokameras), den Projektor 121 und die erste Kamera 111, und für den Projektor 121 und die zweite Kamera 112. Die von den drei verschiedenen Triangulations-Berechnungen erhaltenen 3D-Koordinaten können verglichen werden, und falls Inkonsistenzen erkannt werden, können Änderungen an den Kalibrierungsparametern vorgenommen werden.
  • 12 zeigt eine vereinfachte Situation einer Inkonsistenz mit zwei Einheiten U1 , U2 , entweder zwei Kameras 111, 112 oder ein Projektor 121 und eine Kamera 111, 112. Jede Einheit U1 , U2 umfasst eine Ebene, in welcher Punkte ausgewählt werden können. Die zwei Epipolarlinien e sind beiden Ebenen gemeinsam. Ein ausgewählter Punkt 236 in der Ebene der Einheit U1 korrespondiert mit einem Punkt 216 in der Ebene der Einheit U2 . Beide Punkte sind Bilder eines realen Punktes auf dem Objekt O. Die Korrespondenz kann beispielsweise aufgefunden werden, indem der Punkt 216, 236 vorzugsweise das Abbild eines Spots aus dem Muster X auf dem Objekt O ist, d.h. der Punkt 216, 236 ist beleuchtet und seine Nachbarschaft ist dunkel. Jedoch ist der Abstand des Punktes 216 senkrecht zu den Epipolarlinien e nicht in der gleiche in beiden Ebenen, sondern es tritt eine Abweichung Δ auf, d.h. eine Abweichung Δ zwischen der tatsächlichen Position des Punktes 216 und der erwarteten Position 218. Im Allgemeinen ist die Abweichung Δ ein Vektor. Mit zwei Einheiten, insbesondere einem Projektor 121 und einer Kamera 111, ist nur die Komponente der Abweichung Δ senkrecht zu den Epipolarlinien e bekannt. Die Komponente parallel zu den Epipolarlinien e verschwindet bei der Ermittlung der 3D-Koordinaten. Mit mehr als zwei Einheiten, insbesondere einem Projektor 121 und zwei Kameras 111, 112, können die Komponenten der Abweichung Δ in beiden Dimensionen der Ebenen bestimmt werden aufgrund der besagten Redundanzen (beim Auffinden der Abweichungen und beim Ermitteln der 3D-Koordinaten). Mit Abweichungen Δ für mehrere ausgewählte Punkte können alle Abweichungen Δ in eine Karte eingezeichnet werden, das sogenannte Fehlerfeld, welches in 13 dargestellt ist. Im Falle von nur zwei Einheiten kann nur eine Komponente jeder Abweichung Δ in das Fehlerfeld eingezeichnet werden. Im Falle eines einzigen Grundes für die Inkonsistenz ist das Fehlerfeld typisch für einen bestimmten Typ von Inkonsistenz. 13 zeigt das Fehlerfeld einer Rotation der ersten Kamera 111 um die Blickrichtung, d.h. der Kalibrierungsparameter für den Rollwinkel der ersten Kamera 111 muss korrigiert werden.
  • Die Abweichungen sind nun bezüglich der Epipolarbedingungen genauer erläutert unter Verwendung der 12 bis 14. Es gibt zwei Möglichkeiten für die beteiligten Einheiten. Eine Möglichkeit ist, dass eine der Einheiten U1 , U2 eine Kamera ist und die andere ein Projektor. Die andere Möglichkeit ist, dass beide Einheiten U1 , U2 Kameras sind. Selbstverständlich können zusätzliche Projektoren oder Kameras vorhanden sein. Mit drei oder mehr Einheiten (beispielsweise mit zwei Kameras und einem Projektor) gibt es zusätzliche Möglichkeiten der automatischen Bestimmung der Kalibrierungsparameter, wie später ausgeführt wird.
  • Jede der Einheiten U1 , U2 hat einen Ursprung, auch als Projektionszentrum O1 , O2 bekannt. Dieser Punkt stellt einen Punkt dar, durch welchen all Strahlen aus der Einheit (für einen Projektor) oder in die Einheit (für eine Kamera) laufen. In einer tatsächlichen Einheit laufen nicht alle Strahlen durch das Projektionszentrum, sondern es können softwaremäßig Korrekturen der Kalibrierungsparameter des Kamerasystems vorgenommen werden, um die korrigierten Strahlen durch diese Punkte zu bringen. Die zwei Projektionszentren O1 , O2 definieren die Grundlinie 208.
  • Jede Einheiten U1 , U2 hat auch eine Ebene 210, 230, in welcher Bilder entstehen. In einem Projektor ist diese Ebene als Projektorebene P121 bekannt, und in einer Kamera ist sie als Bildebene B111 , B112 bekannt. In einem tatsächlichen Projektor oder einer tatsächlichen Kamera liegen Projektorebene P121 oder Bildebene B111 , B112 hinter den Projektionszentren O1 , O2 anstatt davor, wie 12. In den meisten Fällen wird ein Bauteil wie beispielsweise ein Bildsensor (in einer Kamera) oder ein Mustergenerator (in einem Projektor) an der Position der Ebene hinter dem Projektionszentrum O1 , O2 angeordnet. Jedoch ist die Positionierung der Ebenen vor den Projektionszentren O1 , O2 , wie in 12 dargestellt, mathematisch äquivalent zu den Ebenen, die auf der anderen Seite der Projektionszentren O1 , O2 angeordnet sind.
  • Die Projektionszentren O1 , O2 sind mit einem Grundlinienabstand B voneinander beabstandet. Die die Projektionszentren O1 , O2 verbindende Grundlinie 208 schneidet die Ebenen 230, 210 in den Punkten E1 , E2 . Die Schnittpunkte werden als Epipolarpunkte oder Epipole E1 , E2 bezeichnet. Eine durch einen der Epipole E1 , E2 auf einer korrespondierenden Ebene gezogene Linie wird als Epipolarlinie bezeichnet. Für den Fall der Ebene 210 und dem korrespondierenden Epipol E2 ist die Linie 212 die Epipolarlinie. Ein Punkt P1 auf der Ebene 230 liegt auf der Epipolarlinie 212.
  • Wie vorstehend beschrieben, läuft jeder Strahl, wie beispielsweise der Strahl 232, durch ein Projektionszentrum O1 , O2 , um eine Ebene 230, 210 zu erreichen, in welcher Bilder entstehen. Wenn die Ebene 230 eine Projektorebene ist, dann wird der Punkt P1 auf ein Objekt an einem Punkt wie PA , PB , PC , oder PD projiziert, abhängig vom Abstand zum Objekt. Diese Punkte PA , PB , PC , PD , welche sich den gemeinsamen Strahl 232 teilen, fallen in der Einheit U2 , welche in diesem Fall eine Kamera ist, auf korrespondierende Punkte QA , QB , QC , und QD auf der Epipolarlinie 212. Der Strahl 232 und die Epipolarlinie 212 liegen beide in der Ebene, welche die Punkte O1 , O2 , und PD enthält. Wenn die Ebene 230 eine Bildebene anstatt einer Projektorebene ist, kann der in der Bildebene empfangene Punkt P1 von irgend einem Punkt auf der Epipolarlinie 212 stammen, beispielsweise von einem der Punkte QA , QB , QC , oder QD .
  • 13 zeigt eine Epipolarlinie 234 in der Ebene 230 der Einheit U1 zusätzlich zur Epipolarlinie 212 in der Ebene 210 der Einheit U2 . Jeder Punkt V1 (und WA , WB , Wc) auf der Epipolarlinie 212 hat einen korrespondierenden Punkt (Bild- oder Projektionspunkt) UA , UB , UC , UD auf der Epipolarlinie 234. Gleichzeitig hat jeder Punkt UA , UB , UC , UD auf der Epipolarlinie 234 einen korrespondierenden Punkt WA , WB , WC , V1 auf der Epipolarlinie 212. Die Punktmenge 240 stellt Punkte, beispielsweise VA , VB , VC , VD im Raum dar, welche sich mit dem Objekt O schneiden können.
  • In einer Ausführung der vorliegenden Erfindung ist der erste Schritt, um die Kalibrierungsparameter zu überprüfen, Inkonsistenzen der Positionen von Abbildungen ausgewählter Punkte in den Projektor- oder Bildebenen aufzufinden bezogen auf die aufgrund der Epipolarbedingungen erwarteten Positionen.
  • Ein Beispiel einer solchen Inkonsistenz ist in 14 gezeigt. Ein Punkt 236 auf der Ebene 230 schneidet ein Objekt im Punkt 238. Entsprechend der Epipolarbedingungen,sollte der Punkt 238 auf der Epipolarlinie 212 erscheinen und insbesondere am the Punkt 218. In diesem Fall wird der tatsächliche Punkt an der Position 216 beobachtet. Im Allgemeinen, mit nur zwei Ebenen 210, 230, ist nur bekannt, dass für einen Punkt 236, der auf der Epipolarlinie 234 liegt, ein korrespondierender Punkt auf der Epipolarlinie 212 liegen sollte. Dass der Punkt 216 nicht auf die Epipolarlinie 212 fällt, zeigt an, dass ein Problem mit den Kalibrierungsparametern vorliegt. Ob hingegen der/die fehlerhafte(n) Kalibrierungsparameter ein extrinsischer Parameter, intrinsischer Parameter oder Betriebsparameter ist, lässt sich sagen aufgrund der Beobachtung eines einzigen Punktes 216.
  • 14 zeigt einige Fehler, die bei extrinsischen Kalibrierungsparametern erkannt werden können. Ein erkennbarer Fehlertyp liegt in der Grundlinie 208, nicht nur die der Grundlinienabstand 208, sondern auch die spezifische Position der Projektionszentren O1 , O2 , in andern Worten in den Koordinaten der Projektionszentren entlang der Richtung der nominalen Grundlinie 208 (Fehler 252) und in einer Richtung senkrecht zu der Richtung der nominalen Grundlinie 208 (Fehler 254). Ein weiterer möglicher Fehler liegt in der Winkelorientierung der Einheit U1 oder Einheit U2 . Eine Möglichkeit, die Orientierung zu beschreiben, erfolgt mittels eines Nickwinkels 256 um eine Achse 255 und eines Gierwinkels 258 um eine Achse 257. Falls die Kalibrierungsparameter für den Nickwinkel und den Gierwinkel der Ebenen 230 und 210 falsch sind, werden Punkte in den Ebenen nicht den aufgrund der Epipolarbedingungen erwarteten Positionen entsprechen. Die Einheit U1 , U2 kann auch einen falschen Kalibrierungsparameter für den Rollwinkel der Kamera oder des Projektors haben. Der Kalibrierungsparameter des Rollwinkels wird manchmal als ein intrinsischer Kalibrierungsparameter anstatt als ein extrinsischer Parameter betrachtet.
  • Sollten die Abweichungen und Inkonsistenzen aufgrund einer fehlerhafter, korrekturbedürftigen Kalibrierung zu groß sein, können Schwierigkeiten auftreten beim Auffinden der Korrespondenzen des Punktes Xo bei gleichzeitigem Erfüllen der Epipolarbedingungen. In einer Ausführung besteht das Muster X aus einer großen Anzahl (z.B. 10.000) von Punkten mit geringer Intensität und einer kleineren Anzahl (z.B. 1.000) von Punkten mit großer Intensität. Mit dieser Variation der Intensitäten kann die 3d-Messvorrichtung 100 sowohl Objekte mit hohem Reflexionsvermögen als auch Objekte mit geringem Reflexionsvermögen erkennen. Falls Schwierigkeiten beim Auffinden der Korrespondenzen auftreten, ist es im vierten Verfahrensblock 204 möglich, die im Muster X projizierten Spots weiter zu beabstanden, um eine Doppeldeutigkeit beim Auffinden der Korrespondenzen zu reduzieren. In der besagten Ausführung mit der Variation der Intensitäten können die Spots mit geringerer Intensität herausgefiltert oder wenigstens reduziert werden durch Reduzierung der Belichtungszeiten und/oder durch Reduzierung der Gesamtleistung des Projektors 121. Nur die Spots mit großer Intensität (welche eine größere Beabstandung aufweisen) sind in den Kameras 111, 112 sichtbar, was die Doppeldeutigkeit beim Auffinden der Korrespondenzen reduziert.
  • Die Registrierung der 3D-Scans in dem gemeinsamen Koordinatensystem erfolgt im dritten Verfahrensblock 203, wie bereits oben erwähnt und nun anhand von 15 erläutert werden soll. In einer bevorzugten Ausführung nimmt die 2D-Kamera 113 ein 2D-Bild zeitlich koordiniert zu den Aufnahmen der beiden Kameras 111, 112 auf, also beispielsweise gleichzeitig oder zeitlich minimal versetzt. D.h., jede Aufnahme der 3D-Messvorrichtung 100 umfasst eine Projektion des Projektors 121, je eine Aufnahme der beiden Kameras 111, 112 und ein 2D-Bild der 2D-Kamera 113. Die 3D-Koordinaten, welche aus den Aufnahmen der beiden Kameras 111, 112 ermittelt werden, sind aufgrund der Kalibrierung der 3D-Messvorrichtung 100 mit dem 2D-Bild verknüpft. Zusätzlich hat jede Aufnahme der 3D-Messvorrichtung 100 einen Zeitstempel.
  • Im ersten Schritt 203a des dritten Verfahrensblocks 203 werden in dem 2D-Bild Targets lokalisiert, d.h. wiedererkennbare Strukturen gesucht, welche als Targets für die Registrierung dienen können. Beispiele sind spezielle Punkte, Ecken, Kanten oder Texturen von Möbeln, Türrahmen oder sonstigen Körpern oder andere abwechslungsreiche Zonen. Gesucht werden beispielsweise nach raschen Helligkeits- oder Farbänderungen, indem Gradienten gebildet und mit Schwellwerten verglichen werden. Zusätzlich zu den „natürlichen“ Targets können auch künstliche Targets vorhanden sein, beispielsweise ein Muster eines zusätzlichen Projektors oder photogrammetrische Marken. Den lokalisierten Targets werden 3D-Koordinaten zugeordnet.
  • Typischerweise überlappen die 2D-Bilder zweier zeitlich aufeinander folgende Aufnahmen (und die zugeordneten 3D-Scans) miteinander, d.h. in dem überlappenden Bereich sind dann mehrere Targets enthalten. Im zweiten Schritt 203b des dritten Verfahrensblocks 203 werden zu den lokalisierten Targets Korrespondenzen gesucht. Hierzu werden zu den Targets die einbettenden Geometrien gesucht und verglichen. Die einbettenden Geometrien sind die benachbarten Targets und die zugehörigen Abstände und Winkel in den 2D-Bildern oder in den 3D-Koordinaten. Durch Vergleich der Geometrien werden die Korrespondenzen zwischen den Targets der zwei 2D-Bilder und damit der zwei zeitlich aufeinander folgenden Schüsse und der zugeordneten 3D-Koordinaten gefunden.
  • Damit kann im dritten Schritt 203c des dritten Verfahrensblocks 203 die eigentliche Registrierung erfolgen, d.h. die 3D-Koordinaten des 3D-Scans aus der zeitlich nachfolgenden Aufnahme im gemeinsamen Koordinatensystem ermittelt werden, in welchem schon die 3D-Koordinaten des 3D-Scans aus der zeitlich vorhergehenden Aufnahme registriert ist. Die Gesamtheit der 3D-Scans bildet eine dreidimensionale Punktwolke 3DP. Soweit die 3D-Messvorrichtung 100 zwischen den beiden Aufnahmen bewegt wurde, wird die (vektorielle) Positionsänderung ermittelt, d.h. Betrag und Richtung im gemeinsamen Koordinatensystem, also relativ zur dreidimensionalen Punktwolke 3DP. Das beschriebene Verfahren ist aufwendiger, aber genauer und robuster im Vergleich zur Bestimmung des optischen Flusses mittels Helligkeitsänderungen zwischen zwei zeitlich aufeinander folgenden Aufnahmen.
  • In einer anderen Ausführung ist als Neigungssensor 119 eine Inertialmesseinheit in die 3D-Messvorrichtung 100 eingesetzt, welche drei Beschleunigungssensoren und drei Gyroskope aufweist. Soweit die 3D-Messvorrichtung 100 zwischen zwei Schüssen bewegt wurde, wird die (vektorielle) Positionsänderung ermittelt. Wenn die Inertialmesseinheit mit einer hohen Genauigkeit versehen ist, kann die Registrierung der jeweiligen 3D-Koordinaten in dem gemeinsamen Koordinatensystem direkt mit den Daten der Inertialmesseinheit erfolgen. Wenn die Inertialmesseinheit mit einer geringen Genauigkeit versehen ist, dienen die Daten der Inertialmesseinheit als Ansatz für das zuvor beschriebene Verfahren zur Registrierung.
  • Die Visualisierung der dreidimensionalen Punktwolke 3DP, welche durch die registrierten 3D-Scans gebildet wird, und der 2D-Bilder, welche die 2D-Kamera 113 aufnimmt, erfolgt mittels der Steuer- und Auswertevorrichtung (122) und ihres Displays 130. Vorzugsweise nimmt die 2D-Kamera 113 nicht nur sporadisch ein einzelnes 2D-Bild auf, sondern nimmt laufend 2D-Bilder auf, welche (aneinandergereiht) ein aktuelles Videobild VL (Video-Livebild) ergeben.
  • Das in 7 gezeigte Display 130 liefert in einem bevorzugten Modus einen unterteilten Schirm, d.h. das Display 130 ist in einen ersten Displayteil 130a und einen zweiten Displayteil 130b unterteilt. Im vorliegenden Ausführungsbeispiel ist der erste Displayteil 130a ein (rechteckförmiger) zentraler Teil des Displays 130, und der zweite Displayteil 130b ist ein Randbereich um den ersten Displayteil 130a herum. In einer anderen Ausführung können die beiden Displayteile 130a, 130b jeweils eine von zwei Spalten auf dem Display 130 sein. Im ersten Displayteil 130a wird das aktuelle Videobild VL dargestellt, wie es von der 2D-Kamera 113 erzeugt wird. Im zweiten Displayteil 130b wird der aktuelle 3D-Scan (oder die bislang registrierten 3D-Scans) als Ansicht der dreidimensionalen Punktwolke 3DP (oder eines Teils dieser) dargestellt. Die Größe des ersten Displayteils 130a ist variabel, und der zweite Displayteil 130b ist immer der Bereich zwischen dem ersten Displayteil 130a und dem Rand des Displays 130. Das aktuelle Videobild VL ändert sich, wenn die 3D-Messvorrichtung 100 bewegt wird. Die Ansicht der dreidimensionalen Punktwolke 3DP ändert sich entsprechend und ist vorzugsweise daran angepasst, aus der neuen Position und Ausrichtung der 3D-Messvorrichtung 100 nach seiner Bewegung betrachtet zu werden.
  • Vorzugsweise passen der erste Displayteil 130a, d.h. das Videobild VL, und der zweite Displayteil 130b, d.h. der Blick auf einen Teil der dreidimensionalen Punktwolke 3DP, kontinuierlich zueinander (bezüglich der dargestellten Inhalte). Zum Ersten wird besagter Teil der dreidimensionalen Punktwolke 3DP (von der Steuer- und Auswertevorrichtung 122) so ausgewählt, wie er aus der Perspektive der 2D-Kamera 113 betrachtet wird oder wenigstens von einer mit der 2D-Kamera 113 fluchtenden Position. Gegebenenfalls wird das Blickfeld FOV für die 2D-Kamera 113 geeignet gewählt, insbesondere der Raumwinkelbereich des Blickfeldes FOV reduziert, um einen benachbarten Raumwinkelbereich aus der gleichen Perspektive betrachten zu können. Zum Zweiten wird der besagte Teil so ausgewählt, dass er sich kontinuierlich an das Videobild VL anschließt, d.h. es wird die Fortsetzung des Videobildes VL über das Blickfeld der 2D-Kamera 113 hinaus nach links, rechts, oben und unten gezeigt. Die Darstellung kann der Darstellung bei Verwendung eines Fischaugenobjektivs entsprechen, ist aber vorzugsweise unverzerrt. Der vom Videobild VL verdeckte Teil der dreidimensionalen Punktwolke 3DP wird nicht dargestellt. Um aber die dortige Dichte der Punkte der dreidimensionalen Punktwolke 3DP anzudeuten, kann das normalerweise in natürlichen Farben dargestellte Videobild VL künstlich eingefärbt werden, beispielsweise durch eine Überlagerung. Die künstliche Farbe (und gegebenenfalls Intensität), die für die Darstellung des künstlich eingefärbten Videobildes VL verwendet wird, entspricht der Dichte der Punkte, beispielsweise grün für eine (ausreichend) hohe Dichte und gelb für eine (verbesserungswürdige) mittlere oder geringe Dichte.
  • Um die Registrierung zu unterstützen, werden vorzugsweise Marken 133 in das aktuelle Videobild VL auf dem ersten Displayteil 130 eingeblendet, welche wiedererkennbare Strukturen (also mögliche Targets) anzeigen. Die Marken 133 können kleine „x“ oder „+“ sein. Die wiedererkennbaren Strukturen können spezielle Punkte, Ecken, Kanten oder Texturen sein. Die wiedererkennbaren Strukturen werden aufgefunden, indem der aktuelle 3D-Scan oder das aktuelle Videobild VL dem Beginn des Registrierungsvorgangs unterworfen wird (d.h. dem Lokalisieren von Targets). Die Verwendung des aktuellen Videobildes VL hat den Vorteil, dass der Aufnahmevorgang nicht so häufig erfolgen muss. Sofern die Marken 133 eine hohe Dichte haben, ist mit einer erfolgreichen Registrierung der betroffenen 3D-Scans zu rechnen. Sofern aber eine geringe Dichte der Marken 133 erkannt wird, sind zusätzliche 3D-Scans und/oder eine langsamere Bewegung der 3D-Messvorrichtung 100 vorteilhaft. Entsprechend ist die Dichte der Marken 133 ein qualitatives Maß für den Erfolg der Registrierung. Gleiches gilt für die durch künstliches Einfärben des Videobildes VL dargestellte Dichte der Punkte der dreidimensionalen Punktwolke 3DP.
  • Die Bewegung der 3D-Messvorrichtung 100 einschließlich Geschwindigkeit und Beschleunigung wird aus den Zeitdifferenzen zwischen den Aufnahmen (die zu unterschiedlichen Zeiten erfolgen) und den (zeitabhängig) zugeordneten, oben beschriebenen (vektoriellen) Positionsänderungen ermittelt. Die Positionsänderungen werden vorzugsweise aus dem Registrierungsvorgang ermittelt, d.h. relativ zur dreidimensionalen Punktwolke 3DP im gemeinsamen Koordinatensystem.
  • Die Bewegung der 3D-Messvorrichtung 100 und die Verarbeitung der gemachten Aufnahmen kann auch als Tracking behandelt werden, d.h. die 3D-Messvorrichtung 100 verfolgt die Relativbewegung seiner Umgebung mit den beim Tracking verwendeten Verfahren. Wenn das Tracking verloren geht, beispielsweise wenn die 3D-Messvorrichtung 100 zu schnell bewegt wurde, gibt es eine einfache Möglichkeit, das Tracking wieder aufzunehmen. Hierzu wird dem Benutzer das aktuelle Videobild VL, wie es die 2D-Kamera 113 liefert, und das von ihr gelieferte, letzte Video-Standbild des Trackings nebeneinander (oder übereinander) dargestellt. Der Benutzer muss dann die 3D-Messvorrichtung 100 so lange bewegen, bis beide Videobilder in Übereinstimmung gelangen. Eine Unterstützung, beispielsweise akustisch oder optisch, aufgrund einer Verarbeitung der Videobilder und eines Vergleichs derselben, ist hilfreich und daher vorzugsweise implementiert.
  • Erfindungsgemäß wird die Bewegung der 3D-Messvorrichtung 100, aufgrund der Art der Bedienung durch den Benutzer und aufgrund von (speziellen) Gesten des Benutzers, zur Steuerung der 3D-Messvorrichtung 100 verwendet, worunter auch die Auswertung der Messdaten fallen soll. Es gibt mehrere Möglichkeiten sowohl der Bewegung als auch der Steuerung. Das Verfahren zur Steuerung mittels Bewegungen umfasst Schritte, die wiederholt durchlaufen werden. Je nach Ausgestaltung können diese Schritte in das - als Schleife implementierte - Verfahren des Messvorgangs integriert sein, wobei sie sich vorzugsweise an den oben genannten dritten Verfahrensblock 203 der Registrierung anschließen. Normalerweise sind drei Schritte vorgesehen, wie in 15 dargestellt. In einem ersten Schritt, dem Bewegungserkennungsschritt 311, wird die Bewegung erfasst, wofür vorzugsweise die besagte Registrierung im dritten Verfahrensblock 203 genutzt wird. In einem zweiten Schritt, dem Bewegungsauswertungsschritt 312, wird die Bewegung, also Betrag und Richtung von Geschwindigkeit und/oder Beschleunigung in ihrer jeweiligen Zeitabhängigkeit, qualitativ und quantitativ ausgewertet. Vorzugsweise wird für die qualitative Auswertung die Bewegung mit gespeicherten Bewegungstypen verglichen und bei Unterschreiten von vorgegebenen Schwertwerten eine bestimmte Bewegung identifiziert. In einem dritten Schritt, dem Steuerungsschritt 313, wird aufgrund der ausgewerteten Bewegung eine Steuerung der 3D-Messvorrichtung 100 vorgenommen. Die drei Schritte können von der Steuer- und Auswertevorrichtung 122, gegebenenfalls auch von einem externen Computer als Teil der Steuer- und Auswertevorrichtung 122, oder von einem speziellen Hardwaremodul ausgeführt werden.
  • Die Steuerung der 3D-Messvorrichtung 100 kann wenigstens drei Steuerungskategorien, beeinflussen, das Messen (d.h. den eigentlichen Messvorgang mit der Beschaffung der Messdaten), das Visualisieren (d.h. die vorläufige Auswertung der Messdaten und deren Darstellung, insbesondere auf dem Display 130) und das Nachbearbeiten (d.h. die endgültige Auswertung der Messdaten). Je nach Ausführung können eine, zwei oder drei (oder mehr) Steuerungskategorien in das erfindungsgemäße Verfahren einbezogen sein. Bei der Nachbearbeitung wird der Steuerungsschritt 313 innerhalb der Schleife des Messvorgangs nur eine Speicherung des Ergebnisses des Bewegungsauswertungschrittes 312 vorsehen, im Übrigen aber nach Beendigung des Messvorgangs durchlaufen werden. Die drei Steuerungskategorien sind bevorzugt mit den vorhandenen Vorrichtungen verknüpft, nämlich die Steuerung des Messens mit der 3D-Messvorrichtung 100 (und gegebenenfalls der Steuer- und Auswertevorrichtung 122), die Steuerung des Visualisierens mit der Steuer- und Auswertevorrichtung 122 (insbesondere wenn sie tragbar ist), und die Steuerung des Nachbearbeitens mit einem externen Teil der Steuerungs- und Auswertevorrichtung 122 (einschließlich der Möglichkeit externer Computer, die mittels eines Netzwerks verbunden sein können).
  • Die Bewegungen und ihre Auswertungen können in drei Gruppen unterteilt werden, die in den 16, 17 und 18 dargestellt sind. Grundsätzlich können alle drei Gruppen von Bewegungen mit jeder der drei Steuerungskategorien kombinierbar sein. Es gibt aber sinnvolle und bevorzugte Kombinationen. Die Kombinationen können kumulativ oder alternativ verwirklicht sein.
  • Bei einer ersten Gruppe von möglichen Bewegungen gemäß 16 wird die momentane Bewegung v1 der 3D-Messvorrichtung 100 direkt (quantitativ) ausgewertet, d.h. momentane Geschwindigkeit und/oder Beschleunigung. Vorzugsweise erfolgt damit eine Steuerung des Messens und/oder des Visualisierens (während des Messens). Bei der Steuerung des Messens wird vorzugsweise ein Stillstand der Bewegung der 3D-Messvorrichtung 100 (oder ein Unterschreiten eines Schwellwertes der Geschwindigkeit der Bewegung der 3D-Messvorrichtung 100) genutzt, um eine Sequenz von Bildern einer oder mehrerer Kameras 111, 112, 113 mit niedrigem Dynamikumfang, aber unterschiedlicher Belichtungszeit der Kameras 111, 112, 113 oder unterschiedlicher Beleuchtungsstärke der Lichtquelle 121a oder der Leuchtdioden 114 oder unterschiedlicher Beleuchtungsdauer (Pulslänge) der Lichtquelle 121a innerhalb der Sequenz, aufzunehmen und hieraus ein Bild mit hohem Dynamikumfang zu ermitteln.
  • Die Steuerung des Visualisierens betrifft die Art und Weise der Darstellung des Videobildes VL und/oder der dreidimensionalen Punktwolke 3DP. Insbesondere kann bei der Darstellung des Videobildes VL und/oder der dreidimensionalen Punktwolke 3DP auf dem Display 130 der Maßstab oder der Zoom von der Geschwindigkeit und/oder Beschleunigung der Bewegung der 3D-Messvorrichtung 100 abhängen. Der Begriff „Maßstab“ soll als das Verhältnis zwischen der Größe (entweder lineare Abmessung, z.B. Diagonale, oder Fläche) des Videobildes VL, also des ersten Displayteils 130a, und der Größe (entweder lineare Abmessung oder Fläche) des gesamten Displays 130 definiert und als Prozentzahl angegeben sein. Der Begriff „Zoom“ soll sich auf eine - an sich bekannte - Ausschnittsvergrößerung der Darstellung auf dem Display 130 beziehen, beispielsweise für die dreidimensionale Punktwolke 3DP.
  • Einem kleinen Blickfeld der 2D-Kamera 113 ist ein kleiner Maßstab zugeordnet. Im vorliegenden Ausführungsbeispiel mit einem unterteilten Display mit zentralem ersten Displayteil 130a, welcher das Videobild VL zeigt, ist dann der erste Displayteil 130a von geringerer Größe als im Standardfall von 7, und der zweite Displayteil 130b zeigt einen größeren Teil der dreidimensionalen Punktwolke 3DP. Dies ist in 19 gezeigt. Einem großen Blickfeld ist ein großer Maßstab zugeordnet. Das Videobild VL kann sogar das gesamte Display 130 ausfüllen, oder es wird sogar nur ein Ausschnitt des Videobildes VL gezeigt.
  • Der Maßstab kann von einer Komponente der Geschwindigkeit und/oder Beschleunigung der Bewegung der 3D-Messvorrichtung 100 abhängen, beispielsweise senkrecht zur Ausrichtung der 3D-Messvorrichtung 100 oder parallel zu dieser Ausrichtung, also in Blickrichtung. Bei großen Geschwindigkeiten der Bewegung der 3D-Messvorrichtung 100 ist der Maßstab der Darstellung vorzugsweise kleiner ist als bei kleinen Geschwindigkeiten und umgekehrt. Entsprechendes gilt für die Beschleunigungen der Bewegung der 3D-Messvorrichtung 100, indem der Maßstab der Darstellung bei einer positiven Beschleunigungskomponente parallel zur Ausrichtung (also in Blickrichtung) der 3D-Messvorrichtung 100 („Vorwärtsbeschleunigung“) verkleinert und bei einer negativen Beschleunigungskomponente („Abbremsung“) vergrößert wird. Entsprechendes gilt für den Zoom.
  • Es ist auch möglich, die Benutzeroberfläche aufgrund der momentanen Bewegung v1 zu wählen, beispielsweise die Art oder Anordnung der Bedienknöpfe.
  • Die zweite Gruppe von möglichen Bewegungen gemäß 17 umfasst die Gesten v2. Der Benutzer vollführt mit der 3D-Messvorrichtung bestimmte kleine, d.h. in einem räumlichen Bereich mit dem Radius von wenigstens näherungsweise einer Armlänge des Benutzers, und vorzugsweise in sich geschlossene Bewegungen, die sogenannten Gesten v2. Die Untersuchung auf der Gesten v2 erfolgt vorrangig qualitativ, indem die Bewegungen mit gespeicherten Bewegungstypen verglichen werden und dadurch die Gesten v2 identifiziert werden.
  • Mittels der Gesten v2 kann der Benutzer alle drei Steuerungskategorien ansprechen, und dabei insbesondere die Datenbeschaffung steuern und die Bedienung der 3D-Messvorrichtung 100 und des Displays 130 optimieren. Der Benutzer kann zwischen diskreten Zuständen schalten oder Werte stufenweise oder kontinuierlich einstellen.
  • Beispiele für die Steuerung des Messens mittels Gesten v2 sind:
    • - die Messmethode wählen, beispielsweise zwischen Photogrammetrie, Mustererkennung, Streifenprojektion und gemischten Methoden zu wählen,
    • - die Messeigenschaften zu wählen, beispielsweise die Leistung des Projektors 121, die Belichtungszeit (gegebenenfalls in Abhängigkeit von Objektabständen), das Muster oder die Punktdichte,
    • - zusätzliche Messeigenschaften ein- oder auszuschalten, beispielsweise die 3D-Erkennung von Konturen oder einen Blitz.
  • Beispiele für die Steuerung des Visualisierens sind:
    • - die Benutzeroberfläche wählen, beispielsweise die Anordnung der Bedienknöpfe, Wahl zwischen 2D-, 3D und kombinierter Ansicht während des Scans.
    • - die Darstellung wählen, beispielsweise die Punktgröße, den Blickwinkel, die Projektionsart (orthogonal oder perspektivisch) oder eine Kartenansicht,
    • - die Navigation wählen, beispielsweise objektzentriert oder kamerazentriert, Zoom erlauben oder nicht,
    • - die 3D-Messvorrichtung 100 als Maus mit sechs Freiheitsgraden (x-Richtung, y-Richtung, z-Richtung, Gierwinkel (yaw), Rollwinkel (roll) und Nickwinkel (pitch) für die Navigation durch das gemeinsame Koordinatensystem mit der dreidimensionalen Punktwolke 3DP nutzen,
    • - mit der Darstellung auf dem Display 130 und mit weiteren Benutzerschnittstellen in der Art einer Maus interagieren, beispielsweise mit einer Bewegung zur Seite den Inhalt des Displays 130 zur Seite schieben.
  • Beispiele für die Steuerung des Nachbearbeitens sind:
    • - Markierungen setzen, beispielsweise Gebiete von (besonderem) Interesse markieren, beispielsweise durch eine kreisende Bewegung, einen Blickpunkt oder Drehpunkt in die Mitte eines interessierenden Gebietes setzen, einen Standort für die Navigation durch die das gemeinsame Koordinatensystem mit der dreidimensionalen Punktwolke 3DP definieren, beispielsweise durch eine Bewegung mit Änderung des Nickwinkels entsprechend dem Anklicken einer Maustaste,
    • - die (grobe) Gravitationsrichtung (z-Richtung) definieren, beispielsweise mittels einer - beispielsweise doppelten - vertikalen Aufwärts- und Abwärtsbewegung der 3D-Messvorrichtung 100 über einen bestimmten Weg - beispielsweise mindestens 20 cm - (beispielsweise alternativ zum Neigungssensor 119).
  • Bei einer dritten Gruppe von möglichen Bewegungen gemäß 18 wird der Bewegungspfad v3 der 3D-Messvorrichtung 100 durch den Raum (insbesondere statistisch) ausgewertet, d.h. die Koordinaten der Positionen der 3D-Messvorrichtung 100, welche diese während des Messvorgangs entlang des Bewegungspfades durch den Raum einnimmt. Die Auswertung des Bewegungspfads soll dazu genutzt werden, die Art der Szene zu ermitteln und gegebenenfalls unterschiedliche Darstellungen oder Bedienmöglichkeiten anzubieten. Dazu werden Eigenschaften des Bewegungspfades und der Ausrichtung der 3D-Messvorrichtung 100 hierzu insbesondere statistisch untersucht und mit vorgegebenen Typen verglichen. Die Unterscheidung zu den Gesten v2 erfolgt beispielsweise mittels der Größe der Positionsänderung der 3D-Messvorrichtung 100 während einer Bewegung zwischen zwei Stillständen.
  • So deutet ein Bewegungspfad um ein Zentrum herum (insbesondere mit Ausrichtung der 3D-Messvorrichtung 100 nach innen) eine Aufnahme eines einzelnen Objektes O (objektzentrierte Aufnahme) an. Entsprechend wird das Zentrum zum Gebiet von Interesse. Ein Bewegungspfad mit Ausrichtung der 3D-Messvorrichtung 100 vom Bewegungspfad nach außen (und insbesondere längeren geraden Abschnitten des Bewegungspfades) deutet auf eine Aufnahme von Räumen (grundrissorientierte Aufnahme).
  • Beispiele für die Steuerung des Messens sind:
    • - die Messmethode (wie bei v2 angegeben) zu wählen, beispielsweise aufgrund der Entfernung der aufgenommenen Objekte zum Bewegungspfad v3,
    • - Daten für ein Tracking oder die Registrierung zu wählen.
  • Beispiele für die Steuerung des Visualisierens sind:
    • - die Darstellung aufgrund der Messung zu wählen, insbesondere hinsichtlich Zoom und Orientierung,
    • - bei der objektorientierten Aufnahme das Gebiet von Interesse gegenüber dem Hintergrund hervorzuheben,
    • - bei der grundrissorientierten Aufnahme (auch) diesen Grundriss (Ansicht von oben) als Karte auf dem Display 130 darzustellen,
    • - im Falle, dass kein Grundriss vorliegt, die Wände der Räume zum Gebiet von Interesse zu machen,
    • - die Benutzeroberfläche zu wählen.
  • Beispiele für die Steuerung des Nachbearbeitens sind:
    • - Gebiete von Interesse zu erkennen,
    • - zwischen den für eine Nachbearbeitung benutzten Merkmalen der Gebiete von Interesse auszuwählen,
    • - zwischen verschiedenen Optionen der Nachbearbeitung auszuwählen, beispielsweise nur Gebiete von Interesse zu bearbeiten,
    • - in den erkannten Gebieten von Interesse die Lücken an Objektoberflächen füllen (video meshing, gap filling), sowie Interpolationen und Zusammenfügungen unterstützen,
    • - aus den z-Koordinaten des Bewegungspfades v3 die Lage des Fußbodens zu erkennen, unter der Annahme, dass diese z-Koordinaten im Mittel in einer horizontalen Ebene liegen, und die Navigation auf diese Ebene zu beschränken,
    • - aus den z-Koordinaten des Bewegungspfades v3 einen Stockwerkwechsel zu erkennen und die Stockwerke zu trennen, gegebenenfalls - sofern die 3D-Messvorrichtung 100 einen Altimeter aufweist - die absolute Lage des Stockwerks zu ermitteln..
  • Die vorstehende Unterteilung der Bewegungen in Gruppen dient nur dem besseren Verständnis. Typischerweise fallen die auftretenden Bewegungen v1, v2, v3 gleichzeitig in mehrere Gruppen und werden vorzugsweise unter dem Aspekt jeder der Gruppen ausgewertet. Beispielsweise können aufgrund des Geschwindigkeitsbetrags der momentanen Bewegung v1 bestimmte Bedienknöpfe oder Schaltflächen auf dem Display 130 auftauchen, die dann mittels einer Geste v2 betätigt werden können.
  • Bezugszeichenliste
  • 100
    3D-Messvorrichtung
    102
    Tragestruktur
    102a
    linker Arm
    102b
    rechter Arm
    102c
    unterer Arm
    102r
    Rücken
    104
    Gehäuse
    104g
    Griffteil
    105
    Schutzelement
    106
    Bedienknopf
    107
    Statusleuchte
    111
    erste Kamera
    112
    zweite Kamera
    113
    2D-Kamera
    114
    Leuchtdioden
    115
    Abstrahlelement
    116
    Lichtleiter
    118
    Steuereinheit
    119
    Neigungsmesser
    121
    Projektor
    121a
    Lichtquelle
    122
    Steuer- und Auswertevorrichtung
    122a
    Prozessor
    125
    Kabel
    130
    Display
    130a
    erster Displayteil
    130b
    zweiter Displayteil
    133
    Marke
    201
    erster Verfahrensblock
    202
    zweiter Verfahrensblock
    203
    dritter Verfahrensblock
    204
    vierter Verfahrensblock
    208
    Grundlinie
    210,230
    Ebene
    212
    Epipolarlinie in Ebene 210
    216
    Punkt (Position) in Ebene 210
    218
    Punkt in Ebene 210
    232
    Strahl
    234
    Epipolarlinie in Ebene 230
    236
    Punkt in Ebene
    240
    Punktmenge
    252, 254
    Fehler
    255,257
    Achse
    256
    Nickwinkel
    258
    Gierwinkel
    3DP
    dreidimensionale Punktwolke
    311
    Bewegungserkennungsschritt
    312
    Bewegungsauswertungsschritt
    313
    Steuerungsschritt
    B
    Grundlinienabstand
    B111
    erste Bildebene (der ersten Kamera)
    B112
    zweite Bildebene (der zweiten Kamera)
    e
    Epipolarlinie
    E1, E2
    Epipol
    FOV
    Blickfeld
    O
    Objekt
    O1, O2
    Projektionszentrum
    P1, PA, PB, PC, PD
    Punkte auf Strahl 232
    QA, QB, QC, QD
    Punkte auf Epipolarlinie 212
    P121
    Projektorebene
    U1, U2
    Einheit
    UA, UB, UC, UD
    Punkte auf Epipolarlinie 234
    VA, VB, VC, VD
    Punkte der Punktmenge 240
    VL
    aktuelles Videobild
    v1
    Bewegung
    v2
    Geste
    v3
    Bewegungspfad
    WA, WB, WC, V1
    Punkte auf Epipolarlinie 212
    X
    Muster
    X0, X1, X2
    (ausgewählter) Punkt und Koordinaten hierzu

Claims (9)

  1. Verfahren zur Steuerung einer 3D-Messvorrichtung (100), die a) mittels eines Projektors (121) Strahlen in ihre Umgebung abgibt, b) ihre Umgebung zum Vermessen aufnimmt und c) zu unterschiedlichen Zeiten und von verschiedenen Positionen aus aufgenommene Messdaten an eine Steuer- und Auswertevorrichtung (122) liefert, welche die von der 3D-Messvorrichtung (100) gelieferten Messdaten auswertet, die ausgewerteten Messdaten registriert als eine dreidimensionale Punktwolke (3DP) und diese dreidimensionale Punktwolke (3DP) auf einem Display (130) der Steuer- und Auswertevorrichtung (122) visualisiert, dadurch gekennzeichnet, dass d) die Bewegungen (v1, v2, v3) der 3D-Messvorrichtung (100) einschließlich Geschwindigkeit und Beschleunigung direkt aus den Messdaten der zeitabhängigen Positionen der 3D-Messvorrichtung (100) relativ zur dreidimensionalen Punktwolke (3DP) ermittelt und ausgewertet werden, und e) mittels der ausgewerteten Bewegungen (v1, v2, v3) der 3D-Messvorrichtung (100) eine Steuerung des Visualisierens der Messdaten und/oder der dreidimensionalen Punktwolke (3DP) auf dem Display (130) erfolgt, wobei f) zur Auswertung der Bewegungen (v1, v2, v3) der 3D-Messvorrichtung (100) der Betrag und die Richtung der Geschwindigkeit und/oder Beschleunigung der momentanen Bewegung (v1) der 3D-Messvorrichtung (100) quantitativ ermittelt werden. 2.-9. wie bisher
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die zeitabhängigen Positionen der 3D-Messvorrichtung (100) relativ zur dreidimensionalen Punktwolke (3DP) aus der Registrierung der ausgewerteten Messdaten der 3D-Messvorrichtung (100) in einem gemeinsamen Koordinatensystem ermittelt werden, welches eine Referenz für die Bewegungen (v1, v2, v3) der 3D-Messvorrichtung (100) definiert.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine 2D-Kamera (113) 2D-Bilder der Umgebung aufnimmt, welche zur Auswertung der Messdaten und/oder zur Registrierung dienen und/oder welche als Videobild (VL) auf dem Display (130) der Steuer- und Auswertevorrichtung (122) dargestellt werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Darstellung der dreidimensionalen Punktwolke (3DP) und/oder eines Videobildes (VL) auf dem Display (130) der Maßstab oder der Zoom von der Geschwindigkeit und/oder Beschleunigung der Bewegung der 3D-Messvorrichtung (100) abhängen, wobei der Maßstab als Verhältnis der Größe eines ersten Displayteils (130a) des Displays (130) für die Darstellung des Videobildes (VL) zur Größe des gesamten Displays (130) definiert ist und der Zoom sich auf eine Ausschnittsvergrößerung der Darstellung auf dem Display (130) bezieht
  5. Verfahren nach Anspruch 3 und 4, dadurch gekennzeichnet, dass das Display (130) der Steuer- und Auswertevorrichtung (122) geteilt ist und in dem ersten Displayteil (130a) das Videobild (VL) und in einem zweiten Displayteil (130b) die dreidimensionale Punktwolke (3DP) dargestellt wird.
  6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass bei großen Geschwindigkeiten der Bewegung (v1, v2, v3) der Maßstab der Darstellung kleiner ist als bei kleinen Geschwindigkeiten, und/oder dass bei positiver Beschleunigungskomponente der Bewegung (v1, v2, v3) in Blickrichtung der 3D-Messvorrichtung (100) der Maßstab der Darstellung verkleinert wird und bei negativer Beschleunigungskomponente vergrößert wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei Stillstand der Bewegung (v1, v2, v3), oder bei Unterschreiten eines Schwellwertes der Geschwindigkeit, mehrere Bilder der Kamera (111, 112, 113) mit niedrigem Dynamikumfang aufgenommen werden, aus denen ein Bild mit hohem Dynamikumfang ermittelt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die 3D-Messvorrichtung (100) mittels wenigstens eines Projektors (121) wenigstens ein Muster (X) auf einem Objekt (O) in der Umgebung der 3D-Messvorrichtung (100) erzeugt und mittels wenigstens zweier Kameras (111, 112) das dem Muster (X) versehene Objekt (O) unter Erzeugung von Messdaten aufnimmt, wobei die Messdaten unter Ausnutzung einer Dreiecksanordnung des Projektors (122) und der beiden Kameras (111, 112) ausgewertet werden, um 3D-Koordinaten des Objekts (O) zu ermitteln, wobei die relativen Abstände der Kameras (111, 112) und des Projektors (121) in der Dreiecksanordnung durch eine Tragestruktur (102) der 3D-Messvorrichtung (100) definiert werden, welche sichtbar ist und eine der Umgebung zugewandte Vorderseite der 3D-Messvorrichtung (100) definiert.
  9. Vorrichtung, geeignet zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, umfassend eine 3D-Messvorrichtung (100) mit einer zugeordneten Steuer- und Auswertevorrichtung (122).
DE102015106836.2A 2014-09-10 2015-05-02 Verfahren zur Steuerung einer 3D-Messvorrichtung mittels momentaner Bewegung und Vorrichtung hierzu Active DE102015106836B4 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE102015106836.2A DE102015106836B4 (de) 2014-09-10 2015-05-02 Verfahren zur Steuerung einer 3D-Messvorrichtung mittels momentaner Bewegung und Vorrichtung hierzu
US14/844,700 US9602811B2 (en) 2014-09-10 2015-09-03 Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
PCT/US2015/048857 WO2016040271A1 (en) 2014-09-10 2015-09-08 Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
JP2017513511A JP2017528714A (ja) 2014-09-10 2015-09-08 3次元座標の光学測定のための方法および3次元測定デバイスの制御
US15/409,714 US9915521B2 (en) 2014-09-10 2017-01-19 Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US15/892,753 US10401143B2 (en) 2014-09-10 2018-02-09 Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE202014010357.7 2014-09-10
DE202014010357.7U DE202014010357U1 (de) 2014-09-10 2014-09-10 Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
DE102015106836.2A DE102015106836B4 (de) 2014-09-10 2015-05-02 Verfahren zur Steuerung einer 3D-Messvorrichtung mittels momentaner Bewegung und Vorrichtung hierzu

Publications (2)

Publication Number Publication Date
DE102015106836A1 DE102015106836A1 (de) 2016-03-10
DE102015106836B4 true DE102015106836B4 (de) 2019-05-09

Family

ID=55022053

Family Applications (4)

Application Number Title Priority Date Filing Date
DE202014010357.7U Expired - Lifetime DE202014010357U1 (de) 2014-09-10 2014-09-10 Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
DE102015106837.0A Expired - Fee Related DE102015106837B4 (de) 2014-09-10 2015-05-02 Verfahren zur Steuerung einer 3D-Messvorrichtung mittels Gesten und Vorrichtung hierzu
DE102015106838.9A Expired - Fee Related DE102015106838B4 (de) 2014-09-10 2015-05-02 Verfahren zur Steuerung einer 3D-Messvorrichtung mittels des Bewegungspfades und Vorrichtung hierzu
DE102015106836.2A Active DE102015106836B4 (de) 2014-09-10 2015-05-02 Verfahren zur Steuerung einer 3D-Messvorrichtung mittels momentaner Bewegung und Vorrichtung hierzu

Family Applications Before (3)

Application Number Title Priority Date Filing Date
DE202014010357.7U Expired - Lifetime DE202014010357U1 (de) 2014-09-10 2014-09-10 Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
DE102015106837.0A Expired - Fee Related DE102015106837B4 (de) 2014-09-10 2015-05-02 Verfahren zur Steuerung einer 3D-Messvorrichtung mittels Gesten und Vorrichtung hierzu
DE102015106838.9A Expired - Fee Related DE102015106838B4 (de) 2014-09-10 2015-05-02 Verfahren zur Steuerung einer 3D-Messvorrichtung mittels des Bewegungspfades und Vorrichtung hierzu

Country Status (1)

Country Link
DE (4) DE202014010357U1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650542A (zh) * 2016-12-29 2017-05-10 浙江理工大学 多功能手持式物体扫描仪
DE102017107336A1 (de) * 2017-04-05 2018-10-11 Testo SE & Co. KGaA Messgerät und korrespondierendes Messverfahren
CN108534672A (zh) * 2018-03-30 2018-09-14 深圳积木易搭科技技术有限公司 一种三维扫描仪

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826299B2 (en) 2000-07-31 2004-11-30 Geodetic Services, Inc. Photogrammetric image correlation and measurement system and method
US20100074609A1 (en) 2008-09-24 2010-03-25 Fujitsu Limited Distance measuring device and distance measuring method
DE102009010465B3 (de) 2009-02-13 2010-05-27 Faro Technologies, Inc., Lake Mary Laserscanner
US20120092461A1 (en) 2009-06-17 2012-04-19 Rune Fisker Focus scanning apparatus
US8238611B2 (en) 2006-03-23 2012-08-07 Tyzx, Inc. Enhancing stereo depth measurements with projected texture
DE102011119012A1 (de) 2011-11-16 2013-05-16 Carl Zeiss Industrielle Messtechnik Gmbh Vereinfachtes Koordinatenmesssystem für Schulungszwecke
WO2013106291A1 (en) 2012-01-13 2013-07-18 Qualcomm Incorporated Calibrated hardware sensors for estimating real-world distances
US20130214122A1 (en) 2010-04-21 2013-08-22 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US20140028805A1 (en) 2011-04-15 2014-01-30 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurment devices
DE102012112322A1 (de) 2012-12-14 2014-06-18 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE102014205640A1 (de) 2014-03-26 2015-10-01 Bertram Martin Thyssen Vermessung mittels mobilem Gerät

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2048557B1 (de) 2007-10-11 2013-03-27 Sick Ag Optoelektronischer Sensor und mobile Vorrichtung sowie Verfahren zur Konfiguration
GB0921461D0 (en) * 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8491135B2 (en) * 2010-01-04 2013-07-23 Microvision, Inc. Interactive projection with gesture recognition
DE102010017857B4 (de) * 2010-04-22 2019-08-08 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
WO2012076013A1 (en) * 2010-12-06 2012-06-14 3Shape A/S System with 3d user interface integration

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826299B2 (en) 2000-07-31 2004-11-30 Geodetic Services, Inc. Photogrammetric image correlation and measurement system and method
US8238611B2 (en) 2006-03-23 2012-08-07 Tyzx, Inc. Enhancing stereo depth measurements with projected texture
US20100074609A1 (en) 2008-09-24 2010-03-25 Fujitsu Limited Distance measuring device and distance measuring method
DE102009010465B3 (de) 2009-02-13 2010-05-27 Faro Technologies, Inc., Lake Mary Laserscanner
US20120092461A1 (en) 2009-06-17 2012-04-19 Rune Fisker Focus scanning apparatus
US20130214122A1 (en) 2010-04-21 2013-08-22 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US20140028805A1 (en) 2011-04-15 2014-01-30 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurment devices
DE102011119012A1 (de) 2011-11-16 2013-05-16 Carl Zeiss Industrielle Messtechnik Gmbh Vereinfachtes Koordinatenmesssystem für Schulungszwecke
WO2013106291A1 (en) 2012-01-13 2013-07-18 Qualcomm Incorporated Calibrated hardware sensors for estimating real-world distances
DE102012112322A1 (de) 2012-12-14 2014-06-18 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE102014205640A1 (de) 2014-03-26 2015-10-01 Bertram Martin Thyssen Vermessung mittels mobilem Gerät

Also Published As

Publication number Publication date
DE202014010357U1 (de) 2015-12-11
DE102015106838A1 (de) 2016-03-10
DE102015106838B4 (de) 2019-05-09
DE102015106836A1 (de) 2016-03-10
DE102015106837A1 (de) 2016-03-10
DE102015106837B4 (de) 2019-05-02

Similar Documents

Publication Publication Date Title
DE102015122842B4 (de) Verfahren zum Kalibrieren einer 3D-Messvorrichtung mittels einer Kalibrierplatte
DE102014019671B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mittels 2D-Kamera
DE102014013677B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und unterteiltem Display
DE102014013678B3 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
DE102012112321B4 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102012112322B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE112014003227B4 (de) Dreidimensionales Messgerät mit dreidimensionaler Übersichtskamera
DE112011102995B4 (de) Laserscanner oder Lasernachführungsgerät mit einem Projektor
EP2805180B1 (de) Lasertracker mit funktionalität zur graphischen zielbereitstellung
DE112009005524B3 (de) Vorrichtung und Verfahren zum Messen von sechs Freiheitsgraden
DE102016118562A1 (de) Dreidimensionales bildgerät, das eine dichroitische kamera umfasst
DE112015004396T5 (de) Augmented-reality-kamera zur verwendung mit 3d-metrologie-ausrüstung zum erzeugen von 3d-bildern aus 2d-kamerabildern
DE112012001254T5 (de) Automatische Messung von Dimensionsdaten mit einem Lasertracker
EP2728374B1 (de) Erfindung betreffend die Hand-Auge-Kalibrierung von Kameras, insbesondere Tiefenbildkameras
EP3819671B1 (de) Optoelektronischer sensor und verfahren zur erfassung von objekten
EP3182065A1 (de) Handhaltbares entfernungsmessgerät und verfahren zum erfassen relativer positionen
DE112012001082T5 (de) Zielgerät und Verfahren
DE112012007096B4 (de) Trackereinheit und Verfahren in einer Trackereinheit
DE102015106836B4 (de) Verfahren zur Steuerung einer 3D-Messvorrichtung mittels momentaner Bewegung und Vorrichtung hierzu
WO2006069748A1 (de) Vorrichtungen zur vermessung eines objektes und verfahren zur verwendung einer derartigen vorrichtung
DE102010011528A1 (de) Anordnung und Verfahren zur Aufnahme geometrischer und photometrischer Objektdaten im Raum
DE102014019669B4 (de) 16Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mit vorgegebenen Bedingungen
DE102014019672B3 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mit Wellenlängenüberprüfung
DE102014019670B3 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mittels Redundanzen
DE102018115176B3 (de) Stereokamera und Verfahren zum Ausrichten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final