DE102016221040A1 - Verfahren zur Lokalisierung einer Vorrichtung in einem System - Google Patents

Verfahren zur Lokalisierung einer Vorrichtung in einem System Download PDF

Info

Publication number
DE102016221040A1
DE102016221040A1 DE102016221040.8A DE102016221040A DE102016221040A1 DE 102016221040 A1 DE102016221040 A1 DE 102016221040A1 DE 102016221040 A DE102016221040 A DE 102016221040A DE 102016221040 A1 DE102016221040 A1 DE 102016221040A1
Authority
DE
Germany
Prior art keywords
camera
image data
control unit
patterns
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016221040.8A
Other languages
English (en)
Inventor
Nikolaj Marchenko
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102016221040.8A priority Critical patent/DE102016221040A1/de
Publication of DE102016221040A1 publication Critical patent/DE102016221040A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Bei einem Verfahren zur Lokalisierung einer Vorrichtung (15) in einem System (10) weist die Vorrichtung (15) wenigstens eine Kamera zur Aufnahme von Bilddaten auf. Das System (10) umfasst wenigstens eine Projektionseinheit (11, 12) mit definierter Position zur Projektion von Mustern (13) auf einer Fläche innerhalb des Systems (10). Darüber hinaus ist eine separate Steuereinheit (17) vorgesehen. Bei dem Verfahren wird zunächst wenigstens ein Muster (13) durch die Projektionseinheit(en) (11, 12) auf wenigstens einer Fläche innerhalb des Systems (10) projiziert. Die Kamera der Vorrichtung (15) erfasst dieses Muster (13) und generiert daraus Bilddaten. Die Bilddaten werden an die Steuereinheit (17) übertragen und dort ausgewertet, wobei aus den Bilddaten auf die Position der Kamera und damit auf die Position der Vorrichtung (15) innerhalb des Systems (10) rückgeschlossen wird.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Lokalisierung einer Vorrichtung in einem System, wobei die Vorrichtung wenigstens eine Kamera zur Aufnahme von Bilddaten aufweist. Weiterhin betrifft die Erfindung ein Computerprogramm, ein maschinenlesbares Speichermedium und ein elektronisches Steuergerät, die zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet sind.
  • Stand der Technik
  • Für eine Lokalisierung von Gegenständen oder Personen außerhalb von geschlossenen Räumen werden vielfach GPS-basierende Systeme eingesetzt. Eine Lokalisation und eine Navigation auf der Basis von GPS hat erhebliche Bedeutung für das menschliche Leben erlangt. Hiermit kann eine Präzision bei der Lokalisation von etwa 1 Meter erreicht werden. Durch weitere Verbesserungen, beispielsweise über lokale Tags oder Dreiecksvermessungen unter Einbezug von zellulären Netzwerken kann sogar eine Präzision im Zentimeterbereich erreicht werden.
  • Für Innenräume stellt eine präzise Lokalisation im Zentimeterbereich jedoch nach wie vor eine große Herausforderung dar. Es sind bereits Ansätze bekannt, die mit einer drahtlosen Kommunikation arbeiten und beispielsweise auf der Basis der Signalstärke, der Laufzeit, der Ankunftszeit oder dem Ankunftswinkel von Signalen arbeiten. Beispielsweise werden hierbei Ultra-Breitbandsignale (UWB), 802.11-basierende oder Infrarot-basierende Ansätzen verwendet. Der Artikel von Mao et.al. (Computer Networks 51 (2007) 2529-2553) fasst verschiedene Techniken, die im Zusammenhang mit drahtlosen Sensornetzwerken für eine Lokalisierung eingesetzt werden, zusammen.
  • Alternativ zu drahtlosen Kommunikationstechniken können für eine Lokalisierung auch Ansätze eingesetzt werden, die auf der Analyse von Bildern oder Mustern basieren. Es ist bereits bekannt, bestimmte Muster oder Marker zu verwenden, die beispielsweise auf dem Untergrund oder an bestimmten Objekten im Raum angebracht sind und deren Position bekannt ist. Diese Muster oder Marker werden von einer Kamera aufgenommen und die Bilddaten werden dann analysiert. Beispielsweise kann eine Übereinstimmung von detektierten Merkmalen, beispielsweise Kanten, mit Referenzdaten oder eine geometrische Deformation im Vergleich mit bekannten Mustern analysiert werden. Die daraus resultierende Präzision der Lokalisation hängt von den verwendeten Mustern, der Bildqualität und den angewendeten Algorithmen ab. Beispielsweise ist in dem Artikel von Jorissen et. al. (in Lecture notes in Computer Science (Springer, 2014, 210-231)) ein Verfahren zur Navigation von Bodenrobotern in Innenräumen beschrieben, wobei ein bestimmtes Muster von Punkten, das auf dem Untergrund angebracht ist, von einer Kamera erfasst und ausgewertet wird. In dem Artikel von Köhler et. al. (in Proc. Intern. Conf. on Pervasive Computing, Toronto, 2007, 334-350) wird eine zu lokalisierenden Einrichtung beschrieben, bei der ein Projektor und eine Kamera vorgesehen ist. Der Projektor projiziert ein bestimmtes Gittermuster auf eine Oberfläche im Sichtfeld der Kamera. Dieses Gitter wird von der Kamera erfasst und ausgewertet, sodass durch geeignete Berechnungen beispielsweise die Entfernung zu einer Wand bestimmt werden kann.
  • Offenbarung der Erfindung
  • Vorteile der Erfindung
  • Die Erfindung stellt ein neues Verfahren zur Lokalisierung einer Vorrichtung in einem System bereit, wobei dieses Verfahren insbesondere in Innenräumen einsetzbar ist. Voraussetzung für dieses Verfahren ist, dass die Vorrichtung wenigstens eine Kamera aufweist, die zur Generierung von Bilddaten geeignet ist. Bei der Vorrichtung kann es sich beispielsweise um ein übliches Mobiltelefon (Smartphone) mit einer Kamera oder um einen mobilen Computer mit Kamera handeln. Weiterhin kann die Vorrichtung auch beispielsweise ein mobiler Roboter oder eine andere mobile Plattform sein, die mit einer Kamera ausgerüstet ist. Für das erfindungsgemäße Verfahren ist es erforderlich, dass das System wenigstens eine Projektionseinheit mit definierter Position zur Projektion von Mustern auf einer Fläche innerhalb des Systems aufweist. Mit dem Ausdruck „Muster“ ist hierbei gemeint, dass optisch erfassbare Markierungen beispielsweise in Form von Bildern oder allgemein von Mustern oder auch als einfache Marker in Form von Strichen oder Punkten projiziert werden. Bei der Projektionseinheit mit definierter Position handelt es sich beispielsweise um eine stationäre Projektionseinheit, die fest installiert sein kann. Prinzipiell kann/können die Projektionseinheit(en)auch mobil oder dynamisch sein. Wichtig für das Verfahren ist jedoch, dass die aktuelle Position der Projektionseinheit(en) so definiert ist, dass eindeutige Muster mit definierten Maßen projiziert werden, die für die erfindungsgemäßen Berechnungen zugrunde gelegt werden können. Weiterhin umfasst das System wenigstens eine separate Steuereinheit. Hierbei handelt es sich beispielsweise um eine Recheneinheit, die für eine Auswertung im Zuge des erfindungsgemäßen Verfahrens geeignet ist. Bei der Durchführung des erfindungsgemäßen Verfahrens projiziert die Projektionseinheit oder projizieren die Projektionseinheiten wenigstens ein Muster auf wenigstens einer Fläche innerhalb des Systems. Bei dieser Fläche kann es sich um eine ebene Fläche handeln, beispielsweise eine Bodenfläche oder eine Wandfläche oder eine Deckenfläche. Weiterhin kann sich die Projektionsfläche auf Objekten innerhalb des Systems befinden. Es muss auch nicht zwingend eine ebene Fläche sein. Die Kamera der zu lokalisierenden Vorrichtung erfasst dieses Muster und generiert daraus Bilddaten. Diese Bilddaten werden mittels geeigneter Schnittstellen und Kommunikationsmethoden an die Steuereinheit übertragen, beispielsweise mittels üblicher drahtloser Kommunikationsmethoden. Hierfür sind zweckmäßigerweise sowohl in der Vorrichtung als auch in der Steuereinheit geeignete Kommunikationsmodule vorgesehen. Die Bilddaten werden in der Steuereinheit ausgewertet, wobei insbesondere unter Verwendung von geeigneten Algorithmen aus den Bilddaten auf die Position der Kamera und damit auf die Position der Vorrichtung innerhalb des Systems rückgeschlossen wird.
  • Im Unterschied zu herkömmlichen Methoden sind bei dem erfindungsgemäßen Verfahren die zu analysierenden Muster nicht fest im System bzw. im Raum installiert. Vielmehr werden die zu analysierenden Muster mittels eines oder mehrerer Projektoren mit definierter Position projiziert. Dieses Verfahren erlaubt eine sehr dynamische Lokalisation in Innenräumen, wobei die Präzision, die Geschwindigkeit und die Komplexität der Lokalisation durch eine Anpassung und einen Wechsel der projizierten Muster sehr flexibel angepasst und geändert werden kann. Durch die Erfassung und die Prozessierung der Bilddaten der projizierten Muster ist es möglich, die exakte Lokalisation der bildaufnehmenden Kamera und damit der Vorrichtung, beispielsweise eines Mobiltelefons, in dem Innenraum zu errechnen.
  • In einer besonders bevorzugten Ausgestaltung des Verfahrens werden zwei oder mehr Projektionseinheiten eingesetzt. Hierdurch kann in besonders vorteilhafter Weise der gesamte Innenraum bei der Lokalisierung abgedeckt werden, sodass es nicht zu „blinden“ Flecken kommt.
  • Die Verwendung von mehreren Projektionseinheiten ist besonders vorteilhaft, um die Abdeckung des Systems für die Lokalisation zu erweitern. Darüber hinaus können durch mehrere Projektionseinheiten die Zuverlässigkeit und die Präzision der Lokalisierung verbessert werden. Beispielsweise können die Muster einer anderen Projektionseinheit verwendet werden, wenn das Muster einer Projektionseinheit aus irgendeinem Grund verdeckt oder gestört ist.
  • Die projizierten Muster der Projektionseinheiten können miteinander koordiniert sein oder die projizierten Muster der Projektionseinheiten sind nicht miteinander koordiniert, also unabhängig voneinander. Durch eine Koordination der projizierten Muster kann im Allgemeinen eine höhere Präzision des Verfahrens erreicht werden. Allerdings ist in dieser Ausführungsform das Verfahren unter Umständen aufwendiger als bei der anderen Ausführungsform, bei der die projizierten Muster nicht miteinander koordiniert werden. In jedem Fall ist es erforderlich, dass die projizierten Muster in der Steuereinheit bekannt sind, sodass eine Auswertung der Bilddaten mit einem Rückschluss auf die Position der Kamera erfolgen kann. Die projizierten Muster werden daher so ausgestaltet, dass die entsprechenden Bilddaten, die von der Kamera aufgenommen werden, einen Rückschluss auf die Position der Kamera erlauben. Die aufgenommenen Bilddaten werden hierfür in die Steuereinheit übertragen bzw. hochgeladen. In der Steuereinheit erfolgt eine Auswertung, beispielsweise durch einen Abgleich von bestimmten Charakteristika der Bilddaten, und darauf basierend eine Errechnung der Koordinaten für eine Lokalisierung der Kamera und damit der Vorrichtung. Die in der Steuereinheit durchgeführten Berechnungen basieren im Prinzip darauf, dass charakteristische Elemente der projizierten Muster in der Steuereinheit bekannt bzw. hinterlegt sind, z. B. Winkel, Ecken, Formen, Flächen, Proportionen und Größen. Durch die Erkennung dieser Elemente in den aufgenommenen Bilddaten und durch gegebenenfalls erkannte Verzerrungen, Verschiebungen und Änderungen von Abständen zwischen den Elementen ist die relative Entfernung und der Blickwinkel zwischen der Vorrichtung und dem Muster sowie gegebenenfalls zwischen der Vorrichtung und der Projektoreinheit ableitbar. Wenn beispielsweise der Abstand zwischen einzelnen Elementen bei dem aufgenommenen Bild groß ist, ist die Entfernung des Geräts zum projizierten Muster gering und umgekehrt. Durch die Berücksichtigung von Referenzwerten, die insbesondere in einer Initialisierungsphase, bei der Positionen von einzelnen Musterelementen oder Mustermarken eingelesen werden, ist eine genaue Lokalisierung möglich.
  • Die projizierten Muster können statisch oder dynamisch sein, sodass das Verfahren sehr flexibel an unterschiedliche Anforderungen angepasst werden kann. Beispielsweise können die projizierten Muster nur temporär projiziert werden, also in bestimmten Zeitfenstern, in denen eine Lokalisierung von Vorrichtungen innerhalb des Systems erforderlich ist.
  • In einer besonders bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens werden aus den generierten Bilddaten bestimmte Merkmale extrahiert, die anschließend ausgewertet werden können. Dies kann den Rechenaufwand bei der Auswertung erheblich reduzieren. Die Auswertung kann so erfolgen, dass die Bilddaten oder vorzugsweise die extrahierten Merkmale der Bilddaten in der Steuereinheit anhand eines Abgleichs mit Referenzdaten ausgewertet werden, um damit die Koordinaten der Kamera und damit der Vorrichtung für die Lokalisation zu errechnen.
  • Für das erfindungsgemäße Verfahren ist in der Regel eine initiale Kalibrierungsphase erforderlich, die unter Verwendung von Referenzkoordinaten durchgeführt wird. Hierfür können z. B. Marker verwendet werden, die auf dem Untergrund platziert werden und deren Koordinaten bekannt sind. Die Projektionseinheit(en) wird/werden in Bezug zu diesen Markern kalibriert. Dies kann beispielsweise manuell oder automatisch unter Verwendung von eingebauten oder externen Kameras erfolgen, sodass die Koordinaten jedes Punktes in dem projizierten Muster relativ zu der bekannten Position der Marker erhalten werden kann. Auf diese Weise kann sichergestellt werden, dass der gesamte Bereich abgedeckt wird und das erfindungsgemäße Verfahren in dem System eine genaue Lokalisation von Vorrichtungen in dem System mit der erforderlichen Präzision erlaubt.
  • Der Aufbau und die Funktion der Projektoren bzw. der Projektionseinheiten selbst kann auf verschiedene Weise realisiert sein. Es können prinzipiell verschiedene, an sich bekannte Projektionseinheiten verwendet werden, beispielsweise Projektionseinheiten, die auf der Basis von LEDs, Infrarot oder Laser basieren.
  • In einer besonders bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens können weitere Bewegungs- und/oder Orientierungsdaten zu der Bewegung und/oder Orientierung der Vorrichtung genutzt werden, die von Sensoren der Vorrichtung selbst erfasst werden. Für diesen Aspekt des Verfahrens können beispielsweise IMU-Sensoren (Inertial Mesurement Unit) genutzt werden, die in der zu lokalisierenden Vorrichtung, beispielsweise in einem Smartphone, verbaut sind, um verwertbare Informationen über die Orientierung und die Bewegung der Kamera in die Auswertung des Verfahrens mit einzubeziehen.
  • Das erfindungsgemäße Verfahren kann in verschiedenen Umgebungen eingesetzt werden, in denen eine präzise Lokalisation erforderlich ist. Insbesondere bei einer Lokalisation in Innenräumen, vor allem in komplexen dynamischen Umgebungen, kann das erfindungsgemäße Verfahren mit besonderem Vorteil eingesetzt werden, da in solchen Umgebungen herkömmliche Lokalisierungsverfahren oftmals nicht zufriedenstellend sind. Die Lokalisierung kann dabei beispielsweise für eine Lokalisierung von Menschen und deren Endgeräten, also insbesondere Smartphones, genutzt werden. Weiterhin eignet sich das erfindungsgemäße Verfahren auch für eine Lokalisierung von Robotern und anderen mobilen Plattformen im Hinblick auf deren Navigation und deren Betrieb. Hierbei kann es sehr vorteilhaft sein, dass die erfindungsgemäß ermittelbaren Informationen über die Position der Vorrichtung innerhalb des Systems, also die Koordinaten zur Lokalisation, an andere Dienste weitergeleitet werden. Das erfindungsgemäße Verfahren kann beispielsweise für einen koordinierten Betrieb von Produktionsmaschinen, Robotern und Mitarbeitern in industriellen Umgebungen und beispielsweise in Lagerhallen eingesetzt werden. Darüber hinaus kann die Lokalisierung gemäß dem erfindungsgemäßen Verfahren auch mit Vorteil in anderen Umgebungen eingesetzt werden, wie beispielsweise in Geschäften, Krankenhäusern, Parkhäusern oder Ähnlichem.
  • Der besondere Vorteil des erfindungsgemäßen Verfahrens liegt vor allem in der hohen Anpassungsfähigkeit des Verfahrens, da die projizierten Muster sehr schnell gewechselt und an die Anforderungen angepasst werden können. Dies ist ein besonderer Vorteil insbesondere im Vergleich mit fixierten Mustern oder Markern bei herkömmlichen Verfahren, die beispielsweise auf Oberflächen oder Objekte in einem Raum aufgedruckt oder aufgeklebt sind. Darüber hinaus ist die musterbasierte Lokalisation gemäß dem erfindungsgemäßen Verfahren wesentlich präziser als beispielsweise eine funkbasierte Lokalisation. Weiterhin sind in der Regel einfache Kameras für das erfindungsgemäße Verfahren ausreichend, es sind also keine High-End-Produkte erforderlich.
  • Erfindungsgemäß werden die Rechen- und Auswertungsprozesse in die externe Steuereinheit ausgelagert. Damit werden also die Intelligenz und die Komplexität des Systems in die Infrastruktur übertragen und müssen beispielsweise nicht in dem Smartphone des Nutzers enthalten sein. Dies hat den Vorteil von geringeren Wartungskosten, einer höhere Flexibilität und einer Skalierbarkeit des Systems im Hinblick auf viele Anwender. Mit dem erfindungsgemäßen Verfahren kann im Prinzip jede Vorrichtung, die mit einer Kamera ausgestattet ist, präzise in Innenräumen lokalisiert werden, ohne dass zusätzliche Hardware oder umfangreiche Software auf der Vorrichtung selbst installiert werden müsste.
  • Die Erfindung umfasst weiterhin ein Computerprogramm, das zur Durchführung der Schritte des beschriebenen Verfahrens eingerichtet ist. Weiterhin umfasst die Erfindung ein maschinenlesbares Speichermedium, auf welchem ein solches Computerprogramm gespeichert ist, sowie ein elektronisches Steuergerät, das zur Durchführung der Schritte des beschriebenen Verfahrens eingerichtet ist. Bei diesem Steuergerät handelt es sich insbesondere um die separate Steuereinheit, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben wurde. Die Steuereinheit weist dabei eine oder mehrere geeignete Schnittstellen und/oder Kommunikationsmodule auf, sodass Bilddaten, die von der Kamera der Vorrichtung aufgenommen wurden, an die Steuereinheit übertragen werden können.
  • Weitere Merkmale und Vorteile der Erfindung ergaben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen in Verbindung mit der Zeichnung. Hierbei können die einzelnen Merkmale jeweils für sich oder in Kombination miteinander verwirklicht sein.
  • In den Zeichnungen zeigen
    • 1 eine beispielhafte Skizze zur Illustrierung des erfindungsgemäßen Verfahrens;
    • 2 schematische Darstellung eine projizierten Musters zur Illustrierung der Auswertung der Bilddaten und
    • 3 Beispiel einer geometrischen Transformation bei einem bestimmten Blickwinkel und einer bestimmten Entfernung bei der Erfassung der Figur durch eine Kamera.
  • Beschreibung von Ausführungsbeispielen
  • Die Skizze in der 1 zeigt ein System 10, das beispielsweise einen Innenraum repräsentiert. In dem Innenraum sind zwei Projektionseinheiten 11 und 12 fest installiert. Die Projektionseinheiten 11, 12 projizieren ein Muster 13 auf eine Fläche innerhalb des Systems 10, in diesem Beispiel auf den Fußboden. Innerhalb des Systems befindet sich eine Person 14, die einen Tablet-Computer 15 trägt (hier nur angedeutet). Dieser Tablet-Computer 15 ist in üblicher Weise mit einer Kamera (hier nicht sichtbar) ausgestattet, die in Richtung des Fußbodens ausgerichtet ist, auf den das Muster 13 projiziert wird. Mit Hilfe des nachfolgenden noch näher erläuterten erfindungsgemäßen Verfahrens lässt sich die Position der Kamera und damit die Position des Tablet-Computers 15 innerhalb des Systems 10 genau lokalisieren. Hierfür nimmt die Kamera der Vorrichtung 15 das projizierte Muster 13 auf und generiert hieraus Bilddaten. Diese Bilddaten werden über eine drahtlose Kommunikationsverbindung 16 an eine separate Steuereinheit 17 des Systems 10 übertragen. Für die Datenübertragung 16 kann eine übliche WLAN-Verbindung genutzt werden. Für die Datenübertragung sind entsprechenden Kommunikationsmodule und/oder Schnittstellen bei der Vorrichtung 15 und der Steuereinheit 17 vorgesehen. Die Bilddaten werden in der Steuereinheit 17 ausgewertet, sodass hieraus die Positionskoordinaten der Kamera und damit die Position der Vorrichtung 15 innerhalb des Systems 10 errechnet werden können.
  • Die Berechnung der exakten Kameraposition bzw. der Vorrichtung 15 beruht insbesondere auf der Auswertung von geometrischen Merkmalen, die in den projizierten Mustern 13 kodiert sind. Hierfür kann es vorteilhaft sein, dass nur extrahierte Merkmale der aufgenommenen Bilddaten verwertet werden, um die erforderliche Rechenkapazität für die Auswertung reduzieren zu können. Die geometrischen Muster können von der Kamera erkannt werden, auch wenn sie aus einem bestimmten Winkel und aus verschiedenen Entfernungen aufgenommen werden. Die Auswertung und die Errechnung der Position erfolgt dann unter Berücksichtigung des Aufnahmewinkels und der Aufnahmeentfernung, wobei beispielsweise ein Abgleich mit Referenzdaten eine genaue Lokalisation bzw. eine Berechnung der Koordinaten der Kamera im System 10 erlaubt. Hierbei koordiniert die Steuereinheit 17 die Projektion des oder der Muster 13 durch die Projektionseinheiten 11, 12. Für die Lokalisierung können vorteilhafterweise weitere Daten, die Rückschlüsse auf beispielsweise die Orientierung und die Bewegung der Kamera erlauben, berücksichtigt werden. Derartige Daten können beispielsweise von entsprechenden Sensoren in der Vorrichtung 15, beispielsweise IMU-Sensoren, bereitgestellt werden.
  • Durch die Projektion der Muster 13 auf eine Fläche in dem System 10 ist das erfindungsgemäße Verfahren sehr flexibel einsetzbar und kann an die jeweiligen Gegebenheiten in einfacher Weise und sehr schnell adaptiert werden. Beispielsweise können die projizierten Muster 13 statisch oder auch dynamisch sein, abhängig von den jeweiligen Anforderungen an die Lokalisierung. Weiterhin können beispielsweise Sequenzen verschiedener Muster projiziert werden, indem verschiedene Muster schnell nacheinander projiziert werden, wodurch die Genauigkeit der Lokalisation weiter erhöht werden kann, insbesondere wenn nur ein kleiner Teil der Muster sich im Sichtfeld der Kamera befindet. Darüber hinaus erlaubt das erfindungsgemäße Verfahren, dass die Muster 13 nur dann projiziert werden, wenn tatsächlich eine Lokalisierung durchgeführt werden soll und auch nur in den Bereichen des Systems 10, in denen die Lokalisierung benötigt wird.
  • Bevor eine präzise Lokalisierung gemäß dem erfindungsgemäßen Verfahren vorgenommen werden kann, ist es in der Regel erforderlich, eine Test- und Kalibrierungsphase durchzuführen. Hierbei sollte die Projektion über die Projektionseinheiten 11, 12 genau eingestellt werden, um sicher zu stellen, dass der gesamte erforderliche räumliche Bereich für die Lokalisierung innerhalb des Systems 10 abgedeckt ist. Die anfängliche Kalibrierung des Systems 10 erfordert in der Regel Referenzkoordinaten, wobei beispielsweise Marker auf dem Fußboden oder an anderen Flächen oder Objekten des Systems 10 verwendet werden, deren Koordinaten bekannt sind. Durch eine Kalibrierung der Projektionseinheiten 11, 12 und einer gegebenenfalls erforderlichen Anpassung der Auswertung in der Steuereinheit 17 können die Koordinaten jedes Punktes im Bereich der projizierten Muster 13 in Bezug zu den bekannten Positionen der Marker errechnet werden, sodass dadurch die Kamera und damit die Vorrichtung 15 genau lokalisiert werden kann.
  • 2 zeigt ein Beispiel für ein Muster 130 mit verschiedenen Elementen (Linien und Punkte), das auf einer Fläche innerhalb der x,y-Ebene eines Systems gemäß dem erfindungsgemäßen Verfahren projiziert wird. Die folgende Beschreibung veranschaulicht die Auswertung der von einer Kamera 150 erfassten Bilddaten, aus denen auf die Position dieser Kamera 150 rückgeschlossen werden kann. Die Kamera 150 befindet sich an einer Position im Raum, deren Koordinaten und Orientierung zu berechnen ist. Aufgrund der Kalibrierung der hier nicht gezeigten Projektionseinheiten, die das Muster 130 projizieren, sind die Koordinaten aller projizierten Elemente innerhalb des Musters 130 bekannt, z. B. xi, yi. Auch die Winkel zwischen den einzelnen Elementen, wie beispielsweise β, und die Entfernungen zwischen einzelnen Elementen sind bekannt. Da die Kamera 150 an einer anderen Position und in anderer Orientierung im Vergleich mit der oder den Projektionseinheiten lokalisiert ist, sieht die Kamera 150 nur einen Teil des projizierten Musters 130, wobei die Kamera hierbei eine Transformation der Geometrien des projizierten Musters 130 aufnimmt. Der Rahmen 131 mit dem Abstand d zwischen zwei Seiten bezeichnet den Ausschnitt aus dem Muster 130, der von der Kamera 150 gesehen wird. In die folgende Auswertung werden noch verschiedene Parameter in Bezug auf die Kamera 150 einbezogen, wie beispielsweise das Blickfeld der Kamera oder die Fokussierungseinstellungen, die für weitere Berechnungen relevant sein können. Ein Beispiel für eine geometrische Transformation eines beispielhaften Dreiecks ist in 3 gezeigt. Das projizierte Dreieck auf der linken Seite ist dem System mit allen seinen Koordinaten, Winkeln und Abständen bekannt, beispielsweise die Winkel β und ү sowie die Längen a, b und c. Das Dreieck wird von der Kamera aus einem bestimmten Blickwinkel α und aus einem bestimmten Abstand / erfasst, wodurch verschiedene geometrische Transformationen eintreten, wie insbesondere abweichende Winkel und Längen. Dies ist auf der rechten Seite der 3 dargestellt (β', ү', a', b' und c). Die Auswertesoftware kann hierbei erkennen, dass das transformierte Objekt das bekannte Dreieck ist, das vom System projiziert wurde. Aus der speziellen Transformation und den Informationen zu dem ursprünglich projizierten Dreieck lässt sich auf die jeweilige Position der Kamera (x, y, z) und deren Orientierung (ϕ, Ψ, X) rückschließen, da diese spezielle Transformation eindeutig von dem Blickwinkel der Kamera und dem Abstand der Kamera abhängig ist. Die Berechnung zielt also darauf ab, auf der Basis des bekannten projizierten Dreiecks und den erhaltenen Winkeln und Abständen des transformierten Dreiecks auf diese Werte rückzuschließen. Die genauen mathematischen Berechnungen können verschiedene Schritte umfassen, die sich jeweils auf eine einfache Transformation beziehen, wie beispielsweise eine Rotation, Transition, Dilation, Skalierung und viele andere möglichen Transformationen. Derartige zum Teil umfangreiche Berechnungen sind beispielsweise aus der angewandten Mathematik im Zusammenhang mit den Berechnungen für Computeranimationen und Videospiele bekannt. Hierfür prinzipiell anwendbare Methoden sind beispielsweise aus dem Buch „Multiple View Geometry in Computer Vision“ (2. Auflage, Cambridge University Press, 2003) von Richard Hartley und Andrew Zisserman bekannt. Bei dem erfindungsgemäßen Verfahren sind in der Regel verschiedene geometrische Objekte des projizierten Musters für die Kamera detektierbar, sodass die Berechnungen auf der Basis des jeweiligen Originals und der Transformation zum Rückschluss auf die Position der Kamera für verschiedene geometrische Objekte parallel durchgeführt werden können.

Claims (14)

  1. Verfahren zur Lokalisierung einer Vorrichtung (15) in einem System (10), wobei die Vorrichtung (15) wenigstens eine Kamera zur Aufnahme von Bilddaten aufweist, dadurch gekennzeichnet, dass das System (10) wenigstens eine Projektionseinheit (11, 12) mit definierter Position zur Projektion von Mustern (13) auf einer Fläche innerhalb des Systems (10) und wenigstens eine separate Steuereinheit (17) umfasst, wobei das Verfahren folgende Verfahrensschritte umfasst: - die Projektionseinheit (11, 12) projiziert wenigstens ein Muster (13) auf wenigstens einer Fläche innerhalb des Systems (10), - die Kamera der Vorrichtung (15) erfasst dieses Muster (13) und generiert daraus Bilddaten, - die Bilddaten werden an die Steuereinheit (17) übertragen, - die Bilddaten werden in der Steuereinheit (17) ausgewertet, wobei aus den Bilddaten auf die Position der Kamera und damit auf die Position der Vorrichtung (15) innerhalb des Systems (10) rückgeschlossen wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zwei oder mehr Projektionseinheiten (11, 12) eingesetzt werden.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die projizierten Muster (13) der Projektionseinheiten (11, 12) miteinander koordiniert sind.
  4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die projizierten Muster (13) der Projektionseinheiten (11, 12) nicht miteinander koordiniert sind.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die projizierten Muster (13) statisch sind.
  6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die projizierten Muster (13) dynamisch sind.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den Bilddaten Merkmale extrahiert und ausgewertet werden.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Auswertung der Bilddaten in der Steuereinheit (17) anhand eines Abgleichs mit Referenzdaten die Koordinaten der Kamera und damit der Vorrichtung (15) errechnet werden.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren eine initiale Kalibrierungsphase unter Verwendung von Referenzkoordinaten umfasst.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bewegungs- und/oder Orientierungsdaten zu der Bewegung und/oder der Orientierung der Vorrichtung (15), die von Sensoren der Vorrichtung (15) erfasst werden, bei der Auswertung berücksichtigt werden.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Informationen über die Position der Vorrichtung (15) innerhalb des Systems (10) an andere Dienste weitergeleitet werden.
  12. Computerprogramm, das eingerichtet ist, die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 11 durchzuführen.
  13. Maschinenlesbares Speichermedium, auf welchem ein Computerprogramm nach Anspruch 12 gespeichert ist.
  14. Elektronisches Steuergerät (17), das eingerichtet ist, die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 11 durchzuführen.
DE102016221040.8A 2016-10-26 2016-10-26 Verfahren zur Lokalisierung einer Vorrichtung in einem System Withdrawn DE102016221040A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016221040.8A DE102016221040A1 (de) 2016-10-26 2016-10-26 Verfahren zur Lokalisierung einer Vorrichtung in einem System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016221040.8A DE102016221040A1 (de) 2016-10-26 2016-10-26 Verfahren zur Lokalisierung einer Vorrichtung in einem System

Publications (1)

Publication Number Publication Date
DE102016221040A1 true DE102016221040A1 (de) 2018-04-26

Family

ID=61866065

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016221040.8A Withdrawn DE102016221040A1 (de) 2016-10-26 2016-10-26 Verfahren zur Lokalisierung einer Vorrichtung in einem System

Country Status (1)

Country Link
DE (1) DE102016221040A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10149750A1 (de) * 2001-03-09 2002-09-19 Tecmath Ag Handgeführter 3D-Scanner
DE102012100953A1 (de) * 2012-02-06 2013-08-08 A.Tron3D Gmbh Vorrichtung zum Erfassen der dreidimensionalen Geometrie von Objekten und Verfahren zum Betreiben derselben
DE102013105828A1 (de) * 2012-06-08 2013-12-12 Perceptron, Inc. Hybrid sensor
DE102012023623A1 (de) * 2012-11-28 2014-06-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Zusammensetzen von Teilaufnahmen einer Oberfläche eines Objektes zu einer Gesamtaufnahme des Objektes und System zum Erstellen einer Gesamtaufnahme eines Objektes
US20150317780A1 (en) * 2012-12-14 2015-11-05 Bp Corporation North America, Inc. Apparatus and method for three dimensional surface measurement
DE102014019669A1 (de) * 2014-12-30 2016-06-30 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mit vorgegebenen Bedingungen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10149750A1 (de) * 2001-03-09 2002-09-19 Tecmath Ag Handgeführter 3D-Scanner
DE102012100953A1 (de) * 2012-02-06 2013-08-08 A.Tron3D Gmbh Vorrichtung zum Erfassen der dreidimensionalen Geometrie von Objekten und Verfahren zum Betreiben derselben
DE102013105828A1 (de) * 2012-06-08 2013-12-12 Perceptron, Inc. Hybrid sensor
DE102012023623A1 (de) * 2012-11-28 2014-06-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Zusammensetzen von Teilaufnahmen einer Oberfläche eines Objektes zu einer Gesamtaufnahme des Objektes und System zum Erstellen einer Gesamtaufnahme eines Objektes
US20150317780A1 (en) * 2012-12-14 2015-11-05 Bp Corporation North America, Inc. Apparatus and method for three dimensional surface measurement
DE102014019669A1 (de) * 2014-12-30 2016-06-30 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mit vorgegebenen Bedingungen

Similar Documents

Publication Publication Date Title
DE102014210897B4 (de) Verfahren und Vorrichtung zur Strahlerpositionierung
DE102017128543B4 (de) Störbereich-einstellvorrichtung für einen mobilen roboter
DE69732666T2 (de) Vorrichtung zur raumkoordinatenbestimmung und verfahren zu deren kalibrierung
DE102012112322B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE102014013677B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und unterteiltem Display
EP2515101B1 (de) Verfahren zur Planung einer Inspektionsbahn und zur Bestimmung von zu inspizierenden Bereichen
DE202012104890U1 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
EP3182065A1 (de) Handhaltbares entfernungsmessgerät und verfahren zum erfassen relativer positionen
EP2880853B1 (de) Vorrichtung und verfahren zur bestimmung der eigenlage einer bildaufnehmenden kamera
EP2489977A2 (de) Vorrichtung und Verfahren zur Bestimmung der 3-D-Koordinaten eines Objekts und zum Kalibrieren eines Industrieroboters
EP3104330B1 (de) Verfahren zum nachverfolgen zumindest eines objektes und verfahren zum ersetzen zumindest eines objektes durch ein virtuelles objekt in einem von einer kamera aufgenommenen bewegtbildsignal
WO2010066698A1 (de) Messsystem zur vermessung von räumen und/oder von objekten
EP1910999B1 (de) Verfahren und anordnung zur bestimmung der relativen lage eines ersten objektes bezüglich eines zweiten objektes, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
WO2012013388A1 (de) Parallele online-offline rekonstruktion für drei-dimensionale raumvermessung
DE102007046287A1 (de) Verfahren zur Kalibrierung einer Sensoranordnung und Sensoranordnung
DE4113992A1 (de) Verfahren zur automatischen dreidimensionalen ueberwachung von gefahrenraeumen
DE112019004963T5 (de) Optikbasiertes mehrdimensionales Ziel- und Mehrfachobjekterkennungs- und verfolgungsverfahren
DE10151983A1 (de) Verfahren zur Dokumentation einer Unfallsituation
DE102010013499A1 (de) Verfahren zur Ausrichtung einer stereoskopischen Bildgebungseinrichtung eines optischen Trackingssystems, Trackingsystem und medizinisches Behandlungssystem
DE102016115252A1 (de) Messvorrichtung und Verfahren zur Einrichtung der Messvorrichtung
DE102018204704A1 (de) System zum Überwachen eines Überwachungsbereichs
DE102016221040A1 (de) Verfahren zur Lokalisierung einer Vorrichtung in einem System
DE112022002520T5 (de) Verfahren zur automatischen Kalibrierung von Kameras und Erstellung von Karten
DE102006014546B4 (de) Verfahren und Vorrichtung zum sensorbasierten Überwachen einer Umgebung
DE102019133754A1 (de) Systeme und verfahren zum richten eines beleuchtungskörpers in einem veranstaltungsbereich

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee