DE112016006262T5

DE112016006262T5 - Dreidimensionaler Scanner und Verarbeitungsverfahren zur Messunterstützung für diesen

Info

Publication number: DE112016006262T5
Application number: DE112016006262.1T
Authority: DE
Inventors: Ryosuke Kawanishi; Makito Seki; Keisuke SAMBONGI; Yu ENOMOTO
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-01-20
Filing date: 2016-01-20
Publication date: 2018-10-04
Anticipated expiration: 2036-01-21
Also published as: HK1254590A1; CN108474653A; WO2017126060A1; US20190049240A1; KR20180090353A; JP6489566B2; US10393515B2; DE112016006262B4; JPWO2017126060A1; KR101973917B1; CN108474653B

Abstract

Bei einem dreidimensionalen Scanner berechnet ein Scanner-Hauptkörper die Position und Richtung eines Tiefensensors. Der Scanner-Hauptkörper bestimmt auch einen Bewegungskandidaten, der ein Kandidat für eine Position und Richtung ist, an/in die der Tiefensensor als nächstes bewegt werden soll. Dann erfasst der Scanner-Hauptkörper ein Merkmal innerhalb des Bewegungskandidaten, das vom Tiefensensor vom Bewegungskandidaten beobachtet werden kann, und wertet die Stabilität des vom Bewegungskandidaten durchgeführten Mappings durch Verwendung des Merkmals innerhalb des Bewegungskandidaten aus. Der Scanner-Hauptkörper stellt dem Benutzer außerdem eine Bewegungsrichtung und/oder Bewegungsgeschwindigkeit des Tiefensensors basierend einem Auswerteergebnis dar.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf: einen dreidimensionalen Scanner, der so ausgebildet ist, dass er die Abmessungen eines dreidimensionalen Raums, zum Beispiel einer Produktionsstätte und eines Aufzugsschachts, misst, um eine dreidimensionale Karte davon zu erstellen; und ein Verarbeitungsverfahren zur Messunterstützung für den dreidimensionalen Scanner.
Technischer Hintergrund
In einer Produktionsstätte und einem Aufzugsschacht ist es beispielsweise erforderlich, die Abmessungen der Arbeitsumgebung zu messen, die ein dreidimensionaler Raum für die Installation oder Wartung von Geräten ist. Es ist jedoch schwierig, einen dreidimensionalen Raum manuell zu vermessen, und diese Schwierigkeit führt häufig dazu, dass die Messung eines Teils übersprungen wird oder bei einigen Messwerten ein Fehler auftritt. In einem solchen Fall ist eine Korrektur in der Konstruktion, die Bearbeitung eines Elements oder eine andere solche Maßnahme erforderlich, die zu einer Verzögerung der Arbeit führt.
Wenn ein Objekt im Besitz eines Kunden ist, ist es außerdem erforderlich, um die Abmessungen neu zu messen, den Kunden erneut aufzufordern, das Objekt am Standort zu stoppen (z.B. die Produktion einzustellen oder den Betrieb eines Aufzugs einzustellen).
Vor diesem Hintergrund besteht die Forderung, die Form eines dreidimensionalen Raums auf einfache Weise zu vermessen (scannen) und die dreidimensionale Form zu speichern, um so jederzeit die Abmessungen jedes Teils messen zu können und auch eine Simulation der Anlage zu ermöglichen.
Als ein Verfahren zur Erfassung der Form des dreidimensionalen Raums gibt es ein Verfahren der manuellen Abtastung mittels eines dreidimensionalen (3D) Sensors. In diesem Fall wird aus einer Vielzahl von Messdaten jeweils ein Merkmal extrahiert. Anschließend werden die Messdaten registriert, so dass sich die Gemeinsamkeiten der Messdaten überlappen und so eine dreidimensionale Karte erstellt (aktualisiert) wird. Eine solche Verarbeitung für die Erfassung von Daten wird als Mapping bzw. Zuordnen bezeichnet.
Bei einem verwandten Bildverarbeitungsgerät weist eine Steuereinheit eine dreidimensionale Kartenerstellungseinheit auf. Die dreidimensionale Kartengenerierungseinheit bewegt eine Kamera und erzeugt aus zwei zweidimensionalen Bildern, die an zwei Punkten aufgenommen wurden, eine teilweise dreidimensionale Karte. Darüber hinaus veranlasst die Steuereinheit die Kamera, von jedem einzelnen Punkt einer Führungsschiene aus aufzunehmen, und erzeugt und speichert aus dem aufgenommenen Bild eine komplette dreidimensionale Karte. Weiterhin leitet die Steuereinheit auf Basis der gespeicherten gesamten dreidimensionalen Karte einen Punkt ab, von dem aus ein frei wählbarer Bildaufnahmezielpunkt ungehindert betrachtet werden kann. Die Steuereinheit veranlasst dann in der Nähe des abgeleiteten Punktes die Kamera, ein Bild so lange aufzunehmen, bis eine dreidimensionale Karte mit dem Zielpunkt der Bildaufnahme erzeugt werden kann, und die dreidimensionale Karte des Teils zu erzeugen, um die dreidimensionale Karte des Zielpunktes des Bildes zu erfassen (siehe z.B. Patentliteratur 1).
In einem anderen Fall wird eine Eigenposition in einem verwandten Eigenpositionsschätzverfahren geschätzt, indem ein Merkmalspunkt in einem Bild erfasst wird, das von einem an einem mobilen Körper angebrachten Bilderfassungsgerät aufgenommen wird, und die Position eines Objekts in der Peripherie des mobilen Körpers aus einer Änderung des Merkmalspunktes auf dem Bild in Übereinstimmung mit der Bewegung des mobilen Körpers ermittelt wird. Zu diesem Zeitpunkt, wenn sich der mobile Körper nicht auf der Stelle dreht, wird die Bildaufnahmerichtung des Bildaufnahmegerätes als Anfangsrichtung eingestellt. In der Zwischenzeit, wenn sich der mobile Körper auf der Stelle dreht, wird die Bildaufnahmerichtung des Bildaufnahmegeräts so eingestellt, dass zumindest ein Teil der im Bild vorhandenen Merkmalspunkte aufgenommen werden kann, bevor sich der mobile Körper dreht. Mit dieser Einstellung ist es möglich, die Wahrscheinlichkeit, einen Merkmalspunkt zu verlieren, zu reduzieren und kontinuierlich eine Eigenlokalisierung durchzuführen (siehe z.B. Patentliteratur 2).
Liste der Zitierungen, Patentliteratur
[PTL 1] JP 2009-155056 A ; [PTL 2] JP 5310285 B2
Zusammenfassung der Erfindung
Technisches Problem
Bei dem in der Patentliteratur 1 beschriebenen verwandten Bildverarbeitungsgerät wird die Stabilität der Abbildung nach der Bewegung der Kamera auswertet und es ist erforderlich, durch Ausprobieren einen optimalen Betrachtungspunkt zu bestimmen.
Darüber hinaus wird bei dem in der Patentliteratur 2 beschriebenen Verfahren der Eigenpositionsschätzung die Stabilität der Abbildung nicht auswertet, so dass eine Verschlechterung der Genauigkeit in Abhängigkeit von einer Sensorroute befürchtet wird.
Die vorliegende Erfindung wurde gemacht, um die oben genannten Probleme zu lösen, und hat als Aufgabe, einen dreidimensionalen Scanner und eine Verarbeitungsverfahren zur Messunterstützung für den dreidimensionalen Scanner aufzuzeigen, die in der Lage sind, eine dreidimensionale Karte mit höherer Genauigkeit zu erstellen.
Lösung des Problems
Gemäß einer Ausgestaltung der vorliegenden Erfindung wird ein dreidimensionaler Scanner aufgezeigt, der Folgendes aufweist: einen Tiefensensor, der in der Lage ist, Messdaten bzgl. eines Abstand zu einem Messziel als eine Menge von Punkten in einem dreidimensionalen Raum zu erfassen; und einen Scanner-Hauptkörper, der ausgebildet ist zum: Extrahieren von Merkmalen aus einer Vielzahl von durch den Tiefensensor erfassten Teilen von Messdaten; und Erzeugen einer dreidimensionalen Karte, indem die extrahierten Merkmale übereinander gelegt werden, wobei der Scanner-Hauptkörper ausgebildet ist zum: Berechnen einer Position und einer Richtung des Tiefensensors; Bestimmen eines Bewegungskandidaten, der ein Kandidat für eine Position und Richtung ist, in die der Tiefensensor als nächstes bewegt werden soll; Erfassen eines Merkmal innerhalb des Bewegungskandidaten, welches das Merkmal ist, das durch den Tiefensensor von dem Bewegungskandidaten beobachtet werden kann; Auswerten der Stabilität der vom Bewegungskandidaten durchgeführten Abbildung durch Verwendung des Merkmals innerhalb des Bewegungskandidaten; und Präsentieren, einem Benutzer, einer Bewegungsrichtung oder einer Bewegungsgeschwindigkeit des Tiefensensors basierend auf einem Auswertungsergebnis.
Weiterhin wird nach einer Ausgestaltung der vorliegenden Erfindung ein Verarbeitungsverfahren zur Messunterstützung für einen dreidimensionalen Scanner aufgezeigt, wobei der dreidimensionale Scanner aufweist: einen Tiefensensor, der in der Lage ist, Messdaten bzgl. eines Abstand zu einem Messziel als eine Menge von Punkten in einem dreidimensionalen Raum zu erfassen; und einen Scanner-Hauptkörper, der dazu ausgebildet ist zum: Extrahieren von Merkmalen aus einer Vielzahl von durch den Tiefensensor erfassten Teilen von Messdaten; und Erzeugen einer dreidimensionalen Karte, indem die extrahierten Merkmale übereinander gelegt werden, wobei das Verarbeitungsverfahren zur Messunterstützung ein Verarbeitungsverfahren zur Unterstützung der dreidimensionalen Messung durch den Scanner-Hauptkörper des dreidimensionalen Scanners ist, wobei das Verarbeitungsverfahren zur Messunterstützung die folgenden Schritte aufweist: Berechnen einer Position und einer Richtung des Tiefensensors; Bestimmen eines Bewegungskandidaten, der ein Kandidat für eine Position und Richtung ist, in die der Tiefensensor als nächstes bewegt werden soll; Erfassen eines Merkmal innerhalb des Bewegungskandidaten, welches das Merkmal ist, das durch den Tiefensensor von dem Bewegungskandidaten beobachtet werden kann; Auswerten der Stabilität der vom Bewegungskandidaten durchgeführten Abbildung durch Verwendung des Merkmals innerhalb des Bewegungskandidaten; und Präsentieren, einem Benutzer, einer Bewegungsrichtung oder einer Bewegungsgeschwindigkeit des Tiefensensors basierend auf einem Auswertungsergebnis.
Vorteile der Erfindung
Im dreidimensionalen Scanner und dem Verarbeitungsverfahren zur Messunterstützung für diesen gemäß der vorliegenden Erfindung wird dem Benutzer die Bewegungsrichtung und/oder die Bewegungsgeschwindigkeit des Tiefensensors auf der Grundlage eines Ergebnisses der Auswertung der Stabilität der Kartierung dargestellt, so dass es möglich ist, die dreidimensionale Karte mit höherer Genauigkeit glatter zu erstellen.
Figurenliste

1 ist ein Blockdiagramm zur Darstellung eines dreidimensionalen Scanners nach einer ersten Ausgestaltung der vorliegenden Erfindung.
2 ist eine Draufsicht zur Veranschaulichung, wie ein Benutzer ein Messziel mit dem dreidimensionalen Scanner nach der ersten Ausgestaltung scannt, um eine dreidimensionale Karte zu erstellen.
3 ist eine Ansicht eines in 2 dargestellten Arbeitszustands, der von hinter dem Benutzer aus betrachtet wird.
4 ist eine erläuternde Darstellung zur Veranschaulichung eines Beispiels eines Verfahrens zur Extraktion von Formmerkmalen durch ein Merkmals-Extraktionsmodul aus 1.
5 ist eine erläuternde Darstellung zur Veranschaulichung der ersten und der zweiten Merkmalspunktgruppe, die durch das Merkmals-Extraktionsmodul aus 1 erhalten werden.
6 ist eine erläuternde Darstellung zur Veranschaulichung eines Zustands, bei dem sich die gemeinsamen Teile der ersten und zweiten Merkmalspunktgruppe aus 5 überlappen.
7 ist eine erläuternde Darstellung zur Veranschaulichung eines Zustands, bei dem sich die gemeinsamen Teile zwischen der dritten und der vierten Merkmalspunktgruppe bewirken, dass sich die erste und die zweite Merkmalspunktgruppe aus 6 überlappen.
8 ist eine erläuternde Darstellung zur Veranschaulichung eines Beispiels für ein Mapping-Ergebnis, das bei einem kleinen Vorhersagefehler erzielt wurde.
9 ist eine erläuternde Darstellung zur Veranschaulichung eines Beispiels für ein Mapping-Ergebnis, das bei einem großen Vorhersagefehler erzielt wurde.
10 ist eine erläuternde Darstellung zur Veranschaulichung eines Beispiels von Anzeigeinhalten, die auf einem Anzeigegerät durch ein Ausgabemodul aus 1 dargestellt werden.
11 ist eine erläuternde Darstellung zur Veranschaulichung eines Zustands der Mapping-Arbeit, die einem dreidimensionalen Kartendarstellungsbereich aus 10 entspricht.
12 ist eine erläuternde Darstellung zur Veranschaulichung eines Beispiels eines horizontalen Querschnitts eines Aufzugsschachtes, der auf dem Anzeigegerät durch das Ausgabemodul aus 1 dargestellt wird.
13 ist eine erläuternde Darstellung zur Veranschaulichung eines Beispiels für einen vertikalen Querschnitt des Aufzugsschachtes, der auf dem Anzeigegerät durch das Ausgabemodul aus 1 dargestellt wird.
14 ist ein Flussdiagramm zur Veranschaulichung der Funktionsweise eines Scanner-Hauptkörpers aus 1.
15 ist ein Blockdiagramm zur Darstellung eines dreidimensionalen Scanners nach einer zweiten Ausgestaltung der vorliegenden Erfindung.
16 ist eine erläuternde Darstellung zur Veranschaulichung eines Beispiels eines Verfahrens zur Extraktion visueller Merkmale durch ein Merkmals-Extraktionsmodul aus 15.
17 ist eine Frontansicht zur Veranschaulichung eines dreidimensionalen Scanners nach einer dritten Ausgestaltung der vorliegenden Erfindung.
18 ist eine Rückansicht zur Veranschaulichung des dreidimensionalen Scanners aus 17.
19 ist ein Blockdiagramm zur Darstellung eines dreidimensionalen Scanners nach einer vierten Ausgestaltung der vorliegenden Erfindung.
20 ist ein Flussdiagramm zur Veranschaulichung der Funktionsweise eines Scanner-Hauptkörpers aus 19.
21 ist ein Blockdiagramm zur Darstellung eines dreidimensionalen Scanners nach einer fünften Ausgestaltung der vorliegenden Erfindung.
22 ist ein Flussdiagramm zur Veranschaulichung der Funktionsweise eines Scanner-Hauptkörpers aus 21.
23 ist ein Blockdiagramm zur Darstellung eines dreidimensionalen Scanners nach einer sechsten Ausgestaltung der vorliegenden Erfindung.
24 ist ein Flussdiagramm zur Veranschaulichung der Funktionsweise eines Scanner-Hauptkörpers aus 23.
25 ist eine Draufsicht zur Veranschaulichung, wie eine dreidimensionale Karte des Inneren einer Grube des Aufzugsschachtes durch den Einsatz des dreidimensionalen Scanners entsprechend der jeder der ersten bis sechsten Ausführungsformen erstellt wird.
26 ist eine perspektivische Ansicht zur Veranschaulichung eines Zustands, unter dem der dreidimensionale Scanner nach der jeder der ersten bis sechsten Ausführungsformen an einem mobilen Roboter montiert ist.

Beschreibung der Ausgestaltungen
Es werden nun die Möglichkeiten für die Ausführung der vorliegenden Erfindung anhand der Zeichnungen beschrieben.
Erste Ausgestaltung
1 ist ein Blockdiagramm zur Darstellung eines dreidimensionalen Scanners nach einer ersten Ausgestaltung der vorliegenden Erfindung. In 1 weist der dreidimensionale Scanner einen Scanner-Hauptkörper 1 und einen mit dem Scanner-Hauptkörper 1 verbundenen Tiefensensor 2 auf.
Der Tiefensensor 2 ist ein Sensor, der in der Lage ist, Entfernungsdaten, also Messdaten bzgl. einer Entfernung zu einem Messziel, als eine Menge (dreidimensionale Punktwolke) von Punkten in einem dreidimensionalen Raum zu erfassen. Als Verfahren zur Entfernungsmessung können verschiedene Verfahren verwendet werden, z.B. ein Time-of-Flight (ToF)-Verfahren und ein aktives Stereoverfahren, bei dem die Musterprojektion durch ein System mit einem Projektor und einer Kamera durchgeführt wird.
Der Tiefensensor 2 kann von einem Benutzer manuell bewegt werden, während er in der Hand gehalten wird, oder er kann an einem Schlitten oder dergleichen montiert werden, so dass die Messung durch Bewegen des Schlittens durchgeführt wird. Die Entfernung kann zu einem Zeitpunkt gemessen werden, zu dem der Benutzer eine Anweisung eingibt, oder automatisch in jedem vorab eingestellten Zeitintervall.
Der Scanner-Hauptkörper 1 kann aus einem Computer mit einer Recheneinheit (CPU), einem Speicher (einschließlich ROM, RAM und Festplatte) und einem Signaleingangs-/Ausgangsmodul bestehen. Der Scanner-Hauptkörper 1 hat Funktionen, die vom Computer implementiert werden. Das heißt, ein Programm zur Ausführung der Funktionen des Scanner-Hauptkörpers 1 wird im Speicher des Rechners abgelegt. Beispielsweise kann ein Tablet-PC (Slate-Personal-Computer) als der Computer verwendet werden, der den Scanner-Hauptkörper 1 bildet.
2 ist eine Draufsicht zur Veranschaulichung, wie der Benutzer das Messziel mit dem dreidimensionalen Scanner nach der ersten Ausgestaltung scannt, um eine dreidimensionale Karte zu erstellen. 3 ist eine Ansicht eines in 2 dargestellten Arbeitsstandes, der von hinten betrachtet wird. Wie in 2 und 3 dargestellt, kann der Benutzer bei Verwendung eines Tablet-PCs als Scanner-Hauptkörper 1 mit dem Tiefensensor 2 am Scanner-Hauptkörper 1 den dreidimensionalen Scanner von Hand halten, um ihn zu bewegen oder zu drehen. Das heißt, es ist möglich, die sechs Freiheitsgrade der Translation und Rotation zu handhaben.
Der Scanner-Hauptkörper 1 weist als Funktionsblöcke ein Merkmals-Extraktionsmodul 11, ein Mapping-Modul 12, einen Speicher 13, ein Bestimmungsmodul 14 für Bewegungskandidaten, ein Erfassungsmodul 15 für registrierte Merkmale, ein Mapping-Auswertungsmodul 16 und ein Ausgabemodul 17 auf.
Das Merkmals-Extraktionsmodul 11 extrahiert ein Merkmal des Messziels auf Basis mehrerer Teile von Messdaten, die vom Tiefensensor 2 gewonnen wurden. Das zu extrahierende Merkmal weist ein Formmerkmal und ein sogenanntes Primitiv auf. Das Formmerkmal beinhaltet z.B. eine Kantenlinie oder andere solche gerade Linien, Eckpunkte oder andere solche Punkte, eine Richtung der gerade Linien und eine Normale zu einer Ebene. Das Primitiv weist beispielsweise einen Kreis, ein Rechteck und eine Kugel auf.
Als Verfahren zum Extrahieren eines Merkmals kann z.B. ein Krümmungsberechnungsverfahren zum Extrahieren von Eckpunkten verwendet werden. Für die Extraktion einer Kantenlinie kann z.B. ein Hough-Transformationsverfahren verwendet werden. Für die Extraktion eines Primitivs kann z.B. ein Modellpassungsverfahren unter Verwendung eines 3D-Modells verwendet werden.
4 ist eine erläuternde Darstellung zur Veranschaulichung eines Beispiels eines Verfahrens zur Extraktion von Formmerkmalen durch das Merkmals-Extraktionsmodul 11 aus 1. Wird z.B. ein rechteckiges Parallelepiped mit dem Tiefensensor 2 gemessen, so erhält man als Messdaten eine solche dreidimensionale Punktwolke 21 wie in 4 dargestellt. Es ist möglich, eine Vielzahl von Ebenen 21a zu extrahieren, indem die dreidimensionale Punktwolke 21 einer primitiven Anpassung unterzogen wird. Eine Kugel oder ähnliches kann auch durch eine ähnliche primitive Anpassung extrahiert werden.
Zusätzlich ist es möglich, eine Vielzahl von Kantenlinien 21b zu extrahieren, indem man Punkte mit einer steilen Gradientenänderung an der Peripherie der dreidimensionalen Punktwolke 21 erkennt und eine gerade Linie, die diese Punkte verbindet. Weiterhin ist es möglich, eine Vielzahl von Eckpunkten 21c aus Informationen über z.B. einen Punkt von Interesse zu extrahieren, dessen Peripherie eine hohe Krümmung oder einen Schnittpunkt von Kantenlinien aufweist.
Das Mapping-Modul 12 bewirkt, dass sich die zwischen verschiedenen Teilen der Messdaten beobachteten gemeinsamen Merkmale durch die Verwendung der extrahierten Merkmale überlappen und die Teile der Messdaten einer Registrierung unterzogen werden, um so eine dreidimensionale Karte zu erstellen und zu aktualisieren.
Das Mapping-Modul 12 berechnet dann die Position und Richtung des Tiefensensors 2 (nachfolgend „Sensorposition/-richtung“ genannt), die zum Zeitpunkt der Datenerfassung aufgrund des Ergebnisses der Registrierung vorliegen. Das Mapping-Modul 12 ergänzt und aktualisiert außerdem dreidimensionale Karteninformationen, Sensorpositionsinformation und Sensorrichtungsinformationen im Speicher 13. Der Speicher 13 speichert die Informationen aus dem Mapping-Modul 12.
Als konkretes Beispiel für das Mapping-Verfahren wählt das Mapping-Modul 12 zunächst mindestens zwei Teile von Messdaten aus, nämlich 3D-Daten. Anschließend extrahiert das Mapping-Modul 12 ein Merkmal aus den ausgewählten Teilen der 3D-Daten. Zu diesem Zeitpunkt ergeben sich zum Zeitpunkt der Berechnung unterschiedliche Randbedingungen für die Überlappung, je nachdem, welche Art von Merkmalen extrahiert und verwendet werden.
Danach ordnet das Mapping-Modul 12 die Merkmale der 3D-Daten einander zu. Das heißt, das Mapping-Modul 12 findet gemeinsame Merkmale. Anschließend wird die Koordinatentransformation so durchgeführt, dass sich die Merkmale der Teile der 3D-Daten überlappen. Wenn beispielsweise die Teile der 3D-Daten vor der Bewegung als Referenz verwendet werden, werden die Teile der 3D-Daten nach der Bewegung der Koordinatentransformation unterzogen, so dass ein Merkmal in den Teilen der 3D-Daten nach der Bewegung ein Merkmal in den Teilen der 3D-Daten vor der Bewegung überlappt.
In diesem Fall wird eine relative Positions-/Ausrichtungsbeziehung (position/posture relationship) des Tiefensensors 2 nach der Bewegung in Bezug auf den Tiefensensor 2 vor der Bewegung ermittelt. Zur Umsetzung wird eine Transformationsmatrix für die Koordinatentransformation, d.h. eine Matrix aus relativen Positions-Ausrichtungs-Informationen bzgl. des Tiefensensor 2, berechnet. Für die Berechnung der Transformationsmatrix wird mindestens eine Art von Merkmalen verwendet, darunter Punkte (sowohl 2D als auch 3D ist zulässig), Linien (2D, 3D) und Ebenen (3D).
5 ist eine erläuternde Darstellung zur Veranschaulichung der ersten und der zweiten Merkmalspunktgruppe t1 und t2, die durch das Merkmals-Extraktionsmodul 11 aus 1 nebeneinander erhalten werden. 6 ist eine erläuternde Darstellung zur Veranschaulichung eines Zustands, bei dem gemeinsame Teile der ersten und zweiten Merkmalspunktgruppe t1 und t2 aus 5 dazu gebracht werden sich zu überlappen. 7 ist eine erläuternde Darstellung zur Veranschaulichung eines Zustands, bei dem die gemeinsamen Teile zwischen der dritten und vierten Merkmalspunktgruppe aus 6 bewirken, dass sich die erste und zweite Merkmalspunktgruppe t1 und t2 überlappen.
Das Mapping-Modul 12 vergleicht die erste Merkmalspunktgruppe t1 in den ersten Messdaten und die zweite Merkmalspunktgruppe t2 in den zweiten Messdaten, um gemeinsame Teile zwischen diesen zu erkennen. Anschließend werden die Koordinaten der zweiten Messdaten so transformiert, dass sich die gemeinsamen Teile (innerhalb der gestrichelten Linie in 6) überlappen.
Danach vergleicht das Mapping-Modul 12 die in den dritten Messdaten enthaltene dritte Merkmalspunktgruppe t3 mit den Merkmalspunktgruppen t1 und t2, um gemeinsame Teile dazwischen zu erkennen, und transformiert die Koordinaten der dritten Messdaten so, dass sich die gemeinsamen Teile überlappen. Anschließend vergleicht das Mapping-Modul 12 die vierte Merkmalspunktgruppe t4, die in den vierten Messdaten enthalten ist, mit den Merkmalspunktgruppen t1, t2 und t3, um gemeinsame Teile dazwischen zu erkennen, und transformiert die Koordinaten der vierten Messdaten so, dass sich die gemeinsamen Teile überlappen. Diese Verarbeitung wird wiederholt, um eine dreidimensionale Karte zu erstellen.
Das Ermittlungsmodul 14 für Bewegungskandidaten ermittelt einen Bewegungskandidaten als Kandidaten für eine Position und Richtung, in die der Tiefensensor 2 als nächstes bewegt werden soll. Es kann nur einen Bewegungskandidaten geben oder zwei oder mehr Bewegungskandidaten. Der Bewegungskandidat für die Position kann die aktuelle Position sein.
Zusätzlich kann als Bewegungskandidat ein in eine relativ feste Position und Richtung bezüglich der aktuellen Sensorposition/-richtung bewegter Punkt, z.B. in vier Richtungen um einen Translationsbetrag von 10 cm und einen Rotationsbetrag von jeweils 10 Grad nach oben, unten, rechts und links, eingestellt werden. Weiterhin kann als Bewegungskandidat eine Position und Richtung, in die die Bewegung ausgeführt werden soll, manuell eingegeben werden. Weiterhin kann die Position und Richtung, in die der Tiefensensor 2 als nächstes bewegt werden soll, vom Bewegungsort des Tiefensensors 2 zur aktuellen Position vorhergesagt und die vorhergesagte Position und Richtung als Bewegungskandidat eingestellt werden.
Das Erfassungsmodul 15 für registrierte Merkmale erfasst ein Merkmal innerhalb des Bewegungskandidaten, das als vom Tiefensensor 2 von dem Bewegungskandidaten aus als beobachtbar eingeschätzt wird, ausgewählt aus den in der dreidimensionalen Karte registrierten Merkmalen.
Das Mapping-Auswertungsmodul 16 wertet die Stabilität des vom Bewegungskandidaten durchgeführten Mappings durch Verwendung des Merkmals innerhalb des Bewegungskandidaten aus, das vom Erfassungsmodul 15 für registrierten Merkmale erfasst wurde.
Als Verfahren zur Auswertung der Stabilität des Mappings gibt es ein Verfahren, um festzustellen, ob die für die Registrierung erforderliche Mindestanzahl von Merkmalen beobachtbar ist, d.h. ob die Berechnung selbst für die Registrierung durchgeführt werden kann oder nicht. In diesem Fall, z.B. wenn die Anzahl der Merkmale gleich oder kleiner als eine im Voraus festgelegte Anzahl ist, wird festgestellt, dass die Berechnung nicht durchgeführt werden kann.
Als weiteres Verfahren zur Auswertung der Stabilität des Mappings gibt es ein Verfahren zur Berechnung eines Vorhersagefehlers im Mapping aus der Art und Anordnung der Merkmale. Die Anordnung der Merkmale stellt eine Verteilung der beobachtbaren Merkmale innerhalb des Sensorsichtfeldes des Bewegungskandidaten dar.
In einem Fall, in dem kein Messfehler vorliegt, wie in 6 dargestellt, entspricht die durch das Mapping berechnete Sensorposition/-richtung der tatsächlichen Sensorposition/-richtung. Selbst bei einem Messfehler, wenn die gemeinsamen Teile zwischen den verschiedenen Merkmalspunktgruppen t1 und t2 über einen relativ großen Bereich verteilt sind, wie in 8 dargestellt, wird die durch das Mapping berechnete Sensorposition/-richtung im Wesentlichen so geschätzt, dass sie der tatsächlichen Sensorposition/- richtung entspricht, und der Vorhersagefehler ist gering.
Währenddessen, im Falle eines Messfehlers, wenn die gemeinsamen Teile zwischen den verschiedenen Merkmalspunktgruppen t1 und t2 lokal in einem relativ engen Bereich verteilt sind, wie in 9 dargestellt, liegt ein großer Vorhersagefehler zwischen der durch das Mapping berechneten Sensorposition/-richtung und der tatsächlichen Sensorposition/-richtung vor.
Als Verfahren zur Berechnung des Vorhersagefehlers gibt es ein Verfahren, das einen Fehler bei der Registrierung der Teile der Messdaten verwendet, der auftritt, wenn sich die Position eines beobachtbaren Merkmals geringfügig ändert. In diesem Fall, da die Verteilung der Merkmale innerhalb des Sichtfeldes des Sensors weiter abweicht, wird der Fehler in der Registrierung tendenziell größer. Darüber hinaus wird der Registrierungsfehler, der bei einer Positionsänderung des Merkmals aufgetreten ist, mit abnehmender Anzahl von Merkmalen tendenziell größer. Je größer die Anzahl der Merkmale im Sichtfeld des Sensors wird, desto zufriedenstellender wird die Auswertung.
Zu diesem Zeitpunkt kann der geringfügige Änderungsbetrag der Position des Merkmals als der Betrag der Verschiebung des Merkmals definiert werden, der auftreten kann, wenn das Merkmal tatsächlich aus den Sensordaten extrahiert wird, und es gibt ein Verfahren zur Bestimmung des geringfügigen Änderungsbetrags als Auflösung der Abstandsmessung (z.B. Messfehler in einer Tiefenrichtung oder Abstandsmessintervall in einer horizontalen (vertikalen) Richtung), wenn der Tiefensensor 2 ein ToF-Verfahren verwendet und als ein Pixel, wenn der Tiefensensor 2 eine Kamera verwendet.
In einem Idealzustand, in dem kein Messfehler vorliegt, wird der zum Zeitpunkt des Mappings auftretende Registrierfehler der Messdaten unabhängig von der Größe eines Vorhersagefehlers als Null erwartet. Allerdings tritt bei der eigentlichen Messung immer ein Fehler auf, so dass davon ausgegangen wird, dass mit zunehmendem Vorhersagefehler auch der Registrierfehler der Messdaten zum Zeitpunkt des eigentlichen Mappings größer wird.
Im Gegensatz, in einem Fall, in dem der Vorhersagefehler klein ist, auch wenn ein Fehler in den Messdaten auftritt, wird der Registrierfehler zum Zeitpunkt des Mappings tendenziell kleiner.
Als konkretes Beispiel für ein Mapping-Auswertungsverfahren wählt das Mapping-Auswertungsmodul 16 zunächst eine Sensorposition/-orientierung aus, für die das Mapping ausgewertet werden soll. Zu diesem Zeitpunkt wird z.B. die Position/Orientierung um einen festen Betrag von der aktuellen Sensorposition/-orientierung verschoben. Anschließend erfasst das Mapping-Auswertungsmodul 16 ein Merkmal, das von der gewählten Sensorposition/-orientierung aus der erstellten Karte beobachtbar ist.
Danach bestimmt das Mapping-Auswertungsmodul 16, ob das Mapping mit Hilfe des erfassten Merkmals durchgeführt werden kann oder nicht. Beispielsweise werden mindestens drei verschiedene Punkte als 3D-Punkte und mindestens drei verschiedene Ebenen als Ebenen benötigt. Wenn eine Vielzahl von Merkmalen in Kombination verwendet wird, variiert die erforderliche Mindestanzahl von Merkmalen je nach Kombination von Merkmalen, z. B. werden zwei 3D-Punkte und eine Ebene benötigt. Ein Kriterium, ob das Mapping durchgeführt werden kann oder nicht, ist also je nach zu verwendendem Merkmal unterschiedlich.
Wenn das Mapping durchgeführt werden kann, wird das Mapping unter Verwendung aller Merkmale ausgeführt. Das Mapping wird auch durch Verschieben der Position (Richtung im Falle einer Normalen auf eine Ebene) des für das Mapping zu verwendenden Merkmals durchgeführt. Zu diesem Zeitpunkt wird z.B. die Position des Merkmals um ein Pixel auf einem Bild oder um 1 mm im Raum verschoben.
Dann wird das Mapping mit einer Mindestanzahl oder einer größeren Anzahl von Merkmalen durchgeführt, die das Mapping aus den erfassten Merkmalen ermöglichen. Eine Statistik unter Verwendung des relativen Änderungsbetrags der Sensorposition/-orientierung wird aus einer Vielzahl von Mapping-Ergebnissen, die durch eines dieser Mapping- Verfahren oder durch eine Kombination davon erhalten wurden, erfasst und ein Auswertewertungswert auf der Grundlage der Statistik berechnet.
Beispielsweise wird davon ausgegangen, dass die als Auswertewertungswert dienende Statistik als Verteilungswert des relativen Änderungsbetrages der Sensorposition/-orientierung eingestellt wird, die Auswertung zufriedenstellender wird, je kleiner der Wert wird.
Für den Auswertewertungswert kann ein Reprojektionsfehler des Merkmals eingestellt werden. Man erhält den Reprojektionsfehler, indem das Merkmal in der Karte auf ein 2D-Bild projiziert wird, das an jeder Sensorposition/-orientierung durch Verwendung der berechneten Position/Orientierung des Sensors aufgenommen wurde, und eine Differenz zwischen der 2D-Position des Merkmals auf dem ursprünglichen 2D-Bild und der 2D-Position des projizierten Merkmals berechnet wird. Dies ist eines der grundlegenden Auswertungsverfahren im entsprechenden technischen Bereich.
Vereinfacht gesagt, kann mindestens eine beliebige Abweichung oder Dichte der Merkmalsverteilung innerhalb des Sensorsichtfeldes als Auswertewertungswert verwendet werden. In diesem Fall wird davon ausgegangen, dass die Auswertung mit zunehmender Abweichung unbefriedigender und die Auswertung mit zunehmender Dichte zufriedenstellender wird.
Weiterhin kann die vorhergesagte Bewegungsrichtung des Tiefensensors 2 zur Auswertung herangezogen werden. In diesem Fall wird die Auswertung als zufriedenstellend angenommen, wenn z.B. eine große Anzahl von Merkmalen in Bewegungsrichtung des Sensors vorhanden ist.
Das Ausgabemodul 17 zeigt dem Benutzer die Bewegungsrichtung und/oder die Bewegungsgeschwindigkeit des Tiefensensors 2, die dem Bewegungskandidaten entspricht, basierend auf einem Auswertungsergebnis des Mapping-Auswertungsmoduls 16. Als ein Verfahren für die Präsentation gibt es ein Verfahren zur Durchführung der Anzeige in einer Illustration durch die Verwendung einer Anzeige oder einer anderen solchen Anzeigevorrichtung und ein Verfahren zur Verwendung von Sprache.
In diesem Fall erhält man die Bewegungsrichtung als Richtung von der aktuellen Position des Tiefensensors 2 zu einem Bewegungskandidaten, für den die Stabilität des Mappings ausgewertet wurde. Die Bewegungsgeschwindigkeit ergibt sich als eine Geschwindigkeit, bei der eine der Bewegungsgeschwindigkeit zurechenbare Unschärfe in den erfassten Daten des Tiefensensors 2 nicht auftritt, oder man erhält sie z.B. durch Division eines Abstands von der aktuellen Position des Tiefensensors 2 zu dem Bewegungskandidaten, für den die Stabilität des Mappings durch das Zeitintervall für die Datenerfassung des Tiefensensors 2 ausgewertet wurde. Die Bewegungsgeschwindigkeit kann als Absolutwert oder als Relativwert zur Bewegungsgeschwindigkeit des Tiefensensors 2 zum Zeitpunkt der vorherigen Datenerfassung erfasst werden.
Als Inhalte, die mit dem Anzeigegerät dargestellt werden sollen, gibt es zwei Arten von Informationen über: (A) Verarbeitung der Ergebnisse einschließlich der aktuell vom Tiefensensor 2 erfassten Messdaten und der extrahierten Merkmale; und (B) die Vogelperspektive der erzeugten dreidimensionalen Karte, die Position/Richtung des Sensors und andere in dem Speicher 13 registrierte Informationen. Die gleichzeitige Präsentation der Elemente (A) und (B) beim Benutzer erleichtert das Erfassen einer Scansituation. Zu diesem Zeitpunkt, wenn die Position/Richtung des Sensors in der dreidimensionalen Karte dem Objekt (B) überlagert wird, wird es viel einfacher, die Situation zu erfassen.
10 ist eine erläuternde Darstellung zur Veranschaulichung eines Beispiels von Anzeigeinhalten, die auf dem Anzeigegerät durch das Ausgabemodul 17 aus 1 dargestellt werden. In 10 ist ein Beispiel für die Ausführung der Anzeige auf einer Anzeige 1a eines Tablet-PCs als Anzeigegerät dargestellt. In diesem Beispiel ist die Anzeige 1a in zwei Teile eines linken und eines rechten Teils unterteilt. Der linke Teil ist der Messsituationsdarstellungsbereich 1b, der rechte Teil ist ein dreidimensionaler Kartendarstellungsbereich 1c.
Im Messsituationsdarstellungsbereich 1b werden die aktuelle Messsituation des Tiefensensors 2 und die Darstellungsinhalte der Bewegungsrichtung und Bewegungsgeschwindigkeit des Tiefensensors 2, vom Ausgabemodul 17 ausgegeben, angezeigt. Im dreidimensionalen Kartendarstellungsbereich 1c wird eine dreidimensionale Karte angezeigt, die erzeugt wird.
An den vier Umfangsseiten des Messsituationsdarstellungsbereich 1b ist ein Rahmenteil 1d angeordnet. Im Rahmenteil 1d wird eine Richtung zu einem gemappten bzw. kartierten Bereich und eine Richtung zu einem ungemessenen Bereich angezeigt, um sie voneinander zu unterschieden. Im Beispiel aus 10 wird die Richtung zum gemappten Bereich und die Richtung zum ungemessenen Bereich durch unterschiedliche Farben oder Töne unterschieden. In 10 zeigt der dunklere Teil beispielsweise die Richtung zum gemappten Bereich an. Die Detektion des ungemessenen Bereichs wird später in einer sechsten Ausführungsform der vorliegenden Erfindung beschrieben.
Währenddessen werden in der Mitte der Messsituationsdarstellungsbereichs 1b, d.h. ein vom Rahmenteil 1d umgebener Teil, die extrahierten Merkmale und die dargestellte Bewegungsrichtung und Bewegungsgeschwindigkeit des Tiefensensors 2 angezeigt. In diesem Beispiel werden die Merkmale durch die Dreiecke, die Bewegungsrichtungen des Tiefensensors 2 durch die Richtungen der Pfeile und die Bewegungsgeschwindigkeiten des Tiefensensors 2 durch die Längen der Pfeile angezeigt.
Im dreidimensionalen Kartendarstellungsbereich 1c wird die zu erstellende dreidimensionale Karte im Zusammenhang mit der Mappingarbeit bzw. Kartierungsarbeit dargestellt. 11 ist eine erläuternde Darstellung zur Veranschaulichung eines Zustands der Kartierungsarbeiten entsprechend dem dreidimensionalen Kartendarstellungsbereich 1c aus 10. In 11 wird der Pfad des Tiefensensors 2 durch die Pfeile und das Sichtfeld des Tiefensensors 2 durch die gestrichelten Rechtecke angezeigt.
Bei dem obigen Aspekt (B) ist es auch effektiv, die Blickrichtung aus der Vogelperspektive in Abhängigkeit vom Messziel zu ändern. Wenn beispielsweise das Innere eines Aufzugsschachtes oder ein anderer geschlossener Raum als Messziel verwendet wird, genügt es, dass es Blickrichtungen aus der Vogelperspektive aus zwei Blickrichtungen gibt, nämlich aus der Vogelperspektive (horizontaler Querschnitt ist akzeptabel), die durch Betrachtung der dreidimensionalen Karte von unmittelbar oben, wie in 12 dargestellt, und einem vertikalen Querschnitt, von dem aus die optische Richtung des optischen Achse des Tiefensensors 2, wie in 13 dargestellt, betrachtet werden kann. Dies erleichtert die Zuordnung zwischen einer zweidimensionalen Zeichnung und einer dreidimensionalen Form. In 12 und 13 zeigen die dreieckigen Markierungen jeweils die Position/Richtung des Sensors an.
Zu diesem Zeitpunkt, wenn der Projektionsstil einer horizontalen Schnittansicht parallel projiziert wird, nähert sich die Anzeige der zweidimensionalen Zeichnung an, was ein intuitives Verständnis ermöglicht. Währenddessen, wird der Projektionsstil einer vertikalen Schnittansicht perspektivisch projiziert, nähert sich die Anzeige einem dreidimensionalen Erscheinungsbild an, was ein intuitives Verständnis ermöglicht.
Bei einem anderen Beispiel, in dem das äußere Erscheinungsbild eines Objekts als Messobjekt für die Bauteilprüfung oder einen anderen Zweck verwendet wird, ist es möglich, ein Teil, für das die Messdaten nicht gewonnen wurden, leicht zu entdecken, wenn es aus der Vogelperspektive aus mehreren Blickwinkeln betrachtet wird, um das Messobjekt so zu umgeben, dass man keinen toten Winkel hat.
Wenn eine empfohlene Bewegungsrichtung des Tiefensensors 2 oder eine die Bewegung hemmende Richtung überlagert und dem oben genannten Punkt (A) oder (B) angezeigt wird, ist es möglich, die Richtung, in die der Tiefensensor 2 bewegt werden soll, intuitiv zu verstehen. Wenn die Bewegungsrichtung überlagert wird und mit Pfeilen angezeigt wird, kann der Benutzer intuitiv erkennen, ob die aktuelle Bewegungsgeschwindigkeit des Tiefensensors 2 zu schnell oder zu langsam ist, indem eine Längenänderung des Pfeils, eine blinkende Anzeige oder ein anderer visueller Effekt hinzugefügt wird.
Wenn die Informationen dem Benutzer per Sprache präsentiert werden, ist es von Vorteil, dass eine Scanführung ohne Blick auf das Anzeigegerät möglich ist. Wenn die Präsentation mit dem Anzeigegerät und die Präsentation mit Sprache kombiniert werden, kann außerdem eine kompliziertere Führung durchgeführt werden.
Als nächstes ist 14 ein Flussdiagramm zur Veranschaulichung einer Bedienung des Scanner-Hauptkörpers 1 aus 1. Wenn die Verarbeitung gestartet wird, erfasst der Scanner-Hauptkörper 1 Messdaten vom Tiefensensor 2 (Schritt S1) und extrahiert ein Merkmal aus den Messdaten (Schritt S2). Anschließend erstellt der Scanner-Hauptkörper 1 eine dreidimensionale Karte, indem er die Merkmale einer Vielzahl von Messdaten überlagert (Schritt S3). Danach bestimmt der Scanner-Hauptkörper 1, ob das Mapping erfolgreich ist oder nicht (Schritt S4), und wenn das Mapping erfolgreich ist, aktualisiert er die dreidimensionale Karte (Schritt S5).
Wenn das Mapping nicht erfolgreich ist, fragt der Scanner-Hauptkörper 1 den Benutzer, ob das Mapping beendet werden soll oder nicht (Schritt S12). Wenn das Mapping fortgesetzt werden soll, weist der Scanner-Hauptkörper 1 den Benutzer darauf hin, den Tiefensensor 2 (Schritt S13) zu bewegen, und der Vorgang kehrt zu Schritt 1 zurück.
Wenn das Mapping erfolgreich ist und die dreidimensionale Karte aktualisiert wird, berechnet und aktualisiert der Scanner-Hauptkörper 1 die aktuelle Position und Richtung des Tiefensensors 2 (Schritt S6). Anschließend ermittelt der Scanner-Hauptkörper 1 den Bewegungskandidaten des Tiefensensors 2 (Schritt S7) und erfasst das Merkmal innerhalb des Bewegungskandidaten (Schritt S8).
Danach wertet der Scanner-Hauptkörper 1 die Stabilität des vom Bewegungskandidaten durchgeführten Mappings durch Verwendung des Merkmals innerhalb des Bewegungskandidaten aus (Schritt S9). Die Mapping-Auswertung wird solange durchgeführt, bis die Stabilität des Mappings für alle Bewegungskandidaten (Schritt S9 und Schritt S10) ausgewertet wird.
Wenn die Mapping-Auswertung für alle Bewegungskandidaten beendet ist, zeigt der Scanner-Hauptkörper 1 dem Benutzer die Bewegungsrichtung und/oder die Bewegungsgeschwindigkeit des Tiefensensors 2 als Auswertungsergebnis an (Schritt S11). Dann fragt der Scanner-Hauptkörper 1 den Benutzer, ob das Mapping beendet werden soll oder nicht (Schritt S12). Wenn das Mapping fortgesetzt werden soll, weist der Scanner-Hauptkörper 1 den Benutzer darauf hin, den Tiefensensor 2 (Schritt S13) zu bewegen, und der Vorgang kehrt zum Schritt 1 zurück. Wenn ein Befehl zum Beenden des Mappings vom Benutzer eingegeben wird, wird die Verarbeitung beendet.
In dem oben genannten dreidimensionalen Scanner und Verarbeitungsverfahren zur Messunterstützung wird dem Benutzer die Bewegungsrichtung und/oder die Bewegungsgeschwindigkeit des Tiefensensors 2 auf der Grundlage eines Ergebnisses der Auswertung der Stabilität des Mappings dargestellt, so dass es möglich ist, eine dreidimensionale Karte mit höherer Genauigkeit flüssiger zu erstellen.
Das heißt, es ist schwierig, den Erfolg oder Misserfolg des Mappings und dessen Genauigkeit nur durch visuelle Beobachtung der einzelnen Teile der Messdaten und extrahierten Merkmale vorherzusagen. Die Stabilität des Mappings wird jedoch für den Bewegungskandidaten durch den Scanner-Hauptkörper 1 ausgewertet, und die Bewegungsrichtung des Sensors, in der das Mapping voraussichtlich versagen wird, ist im Voraus bekannt. Dadurch ist es möglich, einen Fehler beim Mapping zu vermeiden und den Zeit- und Arbeitsaufwand für das erneute Scannen zu reduzieren. Darüber hinaus ist es möglich, die Bewegungsrichtung zu kennen, die es ermöglicht, das Mapping mit hoher Genauigkeit durchzuführen und damit die Genauigkeit des Mappings zu verbessern. Außerdem ist es nicht mehr erforderlich, das Scannen durch Ausprobieren wiederholt zu wiederholen, bis die Genauigkeit zufriedenstellend ist.
Zweite Ausgestaltung
15 ist ein Blockdiagramm zur Darstellung eines dreidimensionalen Scanners nach einer zweiten Ausgestaltung der vorliegenden Erfindung. Bei der zweiten Ausgestaltung wird neben dem Tiefensensor 2 eine visuelle Kamera 4 verwendet, die in der Lage ist, ein farbiges oder monochromes zweidimensionales Bild zu erfassen, und das Mapping erfolgt nicht nur mit dem aus den Entfernungsdaten extrahierten Formmerkmal, sondern gleichzeitig auch mit einem aus den Bilddaten extrahierten visuellen Merkmal.
Das Merkmals-Extraktionsmodul 11 extrahiert ein Merkmal aus den Abstandsdaten des Tiefensensors 2 und extrahiert auch visuelle Merkmale, z.B. einen Merkmalspunkt und eine gerade Linie, aus den Bilddaten der visuellen Kamera 4. Als ein Verfahren, um ein Merkmal aus den Bilddaten zu extrahieren, kann z.B. beim Merkmalspunkt die Hough-Transformation auf einen Eckpunkt angewendet werden, der der Ecke eines Objekts entspricht. Bei der geraden Linie kann die Hough-Transformation auf die Kontur eines Objekts angewendet werden, nachdem die Kontur aus einem Bild erkannt wurde.
16 ist eine erläuternde Darstellung zur Veranschaulichung eines Verfahrens zur Extraktion visueller Merkmale durch das Merkmals-Extraktionsmodul 11 aus 15. In 16 ist ein von der visuellen Kamera 4 aufgenommenes Bild dargestellt. In 16 zeigen die ×-Markierungen die extrahierten Merkmalspunkte an.
Im Merkmals-Extraktionsmodul 11 wird ein Punkt, der eine große Farbveränderung um einen interessierenden Punkt aufweist, als Merkmals-Punkt extrahiert. Zu diesem Zeitpunkt ist es möglich, eine gerade Linie zu extrahieren, aber ein Punkt, der nicht von einem benachbarten Punkt unterschieden werden kann, z.B. ein Punkt auf einer geraden Linie, wird nicht als Merkmalspunkt extrahiert, selbst wenn die Farbtonänderung groß ist.
Zusätzlich werden die Ecken einer Säule und die Ecken eines an einer Wand hängenden Plakats 22 als Merkmalspunkte extrahiert. Die Merkmalspunkte können auch aus dem Muster des Posters 22 und ähnlichem extrahiert werden.
Im Mapping-Modul 12, dem Speicher 13, dem Erfassungsmodul 15 für registrierten Merkmale und dem Mapping-Auswertungsmodul 16 wird neben dem aus den Bilddaten gewonnenen Merkmal auch das aus den Abstandsdaten gewonnene Merkmal verwendet. Alle anderen Konfigurationen und Operationen sind ähnlich oder identisch mit der ersten Ausgestaltung.
Entsprechend dem oben genannten dreidimensionalen Scanner und Verarbeitungsverfahren zur Messunterstützung kann eine größere Anzahl von Merkmalen verwendet werden, die die Stabilität des Mappings weiter verbessern können.
Die visuelle Kamera 4 kann in den Tiefensensor 2 integriert oder separat ausgebildet werden.
Dritte Ausgestaltung
17 ist eine Frontansicht zur Darstellung eines dreidimensionalen Scanners nach einer dritten Ausgestaltung der vorliegenden Erfindung. 18 ist eine Rückansicht zur Veranschaulichung des dreidimensionalen Scanners aus 17.Bei der dritten Ausführung ist ein Gehäuse 5, an dem der Tiefensensor 2 und die visuelle Kamera 4 angeordnet sind, am Scanner-Hauptkörper 1 befestigt. Als Tiefensensor 2 wird eine Kamera zur Abstandsmessung verwendet.
Zusätzlich sind eine Beleuchtungseinrichtung 6 und ein Projektor 7 am Gehäuse 5 angeordnet. Das Gehäuse 5 und der Scanner-Hauptkörper 1 sind über ein Kabel 8 miteinander verbunden. Die am Gehäuse 5 angeordneten Geräte werden vom Scanner-Hauptkörper 1 über das Kabel 8 mit Strom versorgt. Der Tiefensensor 2 und die visuelle Kamera 4 übertragen Daten über das Kabel 8 zum Scanner-Hauptkörper 1. Die am Gehäuse 5 montierten Geräte erhalten zusätzlich ein Befehlssignal vom Scanner-Hauptkörper 1 über das Kabel 8.
Der Projektor 7 projiziert ein Muster auf das Messobjekt. Der Tiefensensor 2 nimmt das projizierte Muster auf, um die Abstandsdaten mit einem aktiven Stereoverfahren zu erfassen. Die Beleuchtungseinrichtung 6 bestrahlt das Messobjekt mit Licht. Alle anderen Konfigurationen und Operationen sind ähnlich oder identisch mit der zweiten Ausführung.
Auf diese Weise kann als Messverfahren des Tiefensensors 2 ein aktives Stereoverfahren mit Musterprojektion durch ein System mit einem Projektor und einer Kamera verwendet werden.
Zusätzlich wird durch die Beleuchtungseinrichtung 6 Licht auf das Messziel aufgebracht, wodurch die Extraktion visueller Merkmale aus den Bilddaten der visuellen Kamera 4 auch dann erleichtert wird, wenn die Messung in einer Grube des Aufzugsschachtes oder an einem anderen dunklen Ort durchgeführt wird.
Weiterhin sind der Tiefensensor 2 und die visuelle Kamera 4 in die Beleuchtungseinrichtung 6 integriert, so dass eine Positionsbeziehung zwischen ihnen ständig fixiert ist, die einen Unterschied im Erscheinungsbild aufgrund einer unterschiedlichen Blickrichtung reduzieren kann. Es ist auch möglich, die Wahrscheinlichkeit einer Schattenbildung durch das Vorhandensein eines abschirmenden Objekts zwischen dem Messobjekt und der Beleuchtungseinrichtung 6 zu verringern.
Bei der dritten Ausführung ist die Beleuchtungseinrichtung 6 in den Tiefensensor 2 und die visuellen Kamera 4 integriert, jedoch kann eine Beleuchtungseinrichtung, die in einer Messumgebung, z.B. einer Schachtgrube, installiert ist, verwendet werden.
Vierte Ausgestaltung
19 ist ein Blockdiagramm zur Darstellung eines dreidimensionalen Scanners nach einer vierten Ausgestaltung der vorliegenden Erfindung. Der Scanner-Hauptkörper 1 gemäß der vierten Ausführungsform weist außerdem ein Modul zur Suche nach einer stabilen Position auf, das so ausgebildet ist, dass es die zu erstellende dreidimensionale Karte nach einer Aufnahmeposition durchsucht, an der die Abbildung stabil ist. Das Mapping-Auswertemodul 16 registriert im Speicher das für die registrierte Sensorposition/- richtung erhaltene Auswertergebnis. Das Ausgabemodul 17 stellt dem Benutzer die mit dem Modul 18 zur Suche nach einer stabilen Position ermittelte Aufnahmeposition dar.
Das Modul 18 zur Suche nach einer stabilen Position sucht eine Position, für die das Auswerteergebnis zufriedenstellend ist, aus den Mapping-Auswertungsergebnissen der jeweiligen Sensorpositionen/-richtungen, die im Speicher registriert sind. 13. Ein Kriterium für die Priorität der auszugebenden Position wird durch den Wert einer Auswertefunktion unter Berücksichtigung der Größe des Auswertewertes des Mappings und des Grades der Nähe zur aktuellen Position bestimmt.
Die zu verwendende Auswertefunktion kann jederzeit die gleiche sein oder vom Benutzer durch Auswahl einer Priorität in Abhängigkeit von der Situation geändert werden. Das Modul 18 zur Suche nach einer stabilen Position beginnt mit der Suche nach der stabilen Position, wenn das Mapping fehlschlägt oder wenn der Mapping-Auswertungswert für die aktuelle Position gleich oder kleiner als ein bestimmter Wert wird. Zusätzlich zu einer dieser Situationen kann die Suche gestartet werden, wenn der Benutzer die Suche bestimmt. Alle anderen Konfigurationen und Operationen sind ähnlich oder identisch mit der ersten, zweiten oder dritten Ausgestaltung.
20 ist ein Flussdiagramm zur Veranschaulichung einer Bedienung des Scanner-Hauptkörpers 1 aus 19. Der Scanner-Hauptkörper 1 nach der vierten Ausführungsform bestimmt, ob nach der stabilen Position (Schritt S14) gesucht werden soll oder nicht, abhängig davon, ob das Mapping erfolgreich ist (Schritt S4), dem Mapping-Auswertungsergebnis (Schritt S11) und dem Vorhandensein oder Nichtvorhandensein der Bestimmung durch den Benutzer. Wenn festgestellt wird, dass die Suche erforderlich ist, sucht der Scanner-Hauptkörper 1 nach der Position, an der das Mapping stabil ist (Schritt S15), und zeigt dem Benutzer die abgerufene Position an (Schritt S16).
Zusätzlich zu den Wirkungen der ersten bis dritten Ausführungsform erzeugen die oben genannten dreidimensionalen Scanner und Verarbeitungsverfahren zur Messunterstützung für diese einen solchen Effekt, dass es leicht möglich ist, sich von einem Zustand, in dem die Abbildung instabil ist, zu erholen, indem man zu der Aufnahmeposition zurückkehrt, in der die Abbildung stabil ist, wenn die Abbildung aufgrund einer Verringerung der Anzahl von Merkmalen innerhalb des Sichtfeldes des Sensors instabil wird.
Fünfte Ausgestaltung
21 ist ein Blockdiagramm zur Darstellung eines dreidimensionalen Scanners nach einer fünften Ausgestaltung der vorliegenden Erfindung. Der Scanner-Hauptkörper 1 nach der fünften Ausführungsform weist außerdem ein Sensorbewegungsbahnberechnungsmodul 19 auf, das zur Berechnung eines Sensorbewegungspfades zwischen frei wählbaren Positionen in der zu erstellenden dreidimensionalen Karte ausgebildet ist, der eine Bewegung ohne Unterbrechung der Abbildung ermöglicht.
Der vom Sensorbewegungsbahnberechnungsmodul 19 berechnete Sensorbewegungspfad weist einen Startpunkt, einen Endpunkt und eine Vielzahl von Zwischenpunkten auf dem Sensorbewegungspfad auf. Die Anfangswerte der Zwischenpunkte werden in regelmäßigen Abständen auf Positionen gesetzt, die auf einem Liniensegment abgetastet werden, das den Startpunkt und den Endpunkt des Sensorbewegungspfades verbindet. Eine Sensorrichtung an jedem Zwischenpunkt wird durch lineare Interpolation einer Sensorrichtung am Startpunkt und Interpolation einer Sensorrichtung am Endpunkt berechnet.
Die Zwischenpunkte können vom Benutzer manuell gesetzt werden. In diesem Fall kann die Anzahl der Zwischenpunkte durch weitere Abtastpositionen zwischen den vom Benutzer eingestellten Zwischenpunkten erhöht werden. Durch manuelles Setzen der Zwischenpunkte ist es möglich, einen komplizierteren Sensorbewegungspfad zu berechnen. Durch die Abtastung der Positionen zwischen den vom Benutzer gesetzten Zwischenpunkten kann der Benutzer zudem Zeit und Arbeit sparen, um eine große Anzahl von Zwischenpunkten zu setzen.
Das Ermittlungsmodul 14 für Bewegungskandidaten ermittelt den oben genannten Startpunkt, Endpunkt und Zwischenpunkte als Bewegungskandidaten. Das Mapping-Auswertungsmodul 16 führt die Mapping-Auswertung für die oben genannten Bewegungskandidaten durch. Zu diesem Zeitpunkt, wenn festgestellt wird, dass der Startpunkt oder der Endpunkt nicht abgebildet werden kann, wird die Verarbeitung zur Berechnung des Sensorbewegungspfades beendet. Wenn die Zwischenpunkte einen bestimmten Zwischenpunkt mit einer Position/Richtung enthalten, von der aus das Mapping nicht durchgeführt werden kann, wird eine Sensorposition/-richtung in der Nähe des gegebenen Zwischenpunktes als Bewegungskandidat ermittelt und die Mapping-Auswertung erneut durchgeführt. Zu diesem Zeitpunkt, wenn der Zwischenpunkt eine vorbestimmte Anzahl von Malen oder mehr geändert wurde, wird die Verarbeitung zur Berechnung des Sensorbewegungspfades beendet.
Das Ausgangsmodul 17 stellt ein Ergebnis der Berechnung des Sensorbewegungspfades für den Benutzer dar. Zu diesem Zeitpunkt wird die Art und Weise der Anzeige der Sensorposition/-richtung auf dem Pfad geändert, je nachdem, ob das Mapping davon durchgeführt werden kann oder nicht. Als Beispiel werden verschiedene Farben für die Anzeige verwendet, so dass eine Sensorposition, von der aus das Mapping durchgeführt werden kann, grün dargestellt wird und eine Sensorposition, von der aus das Mapping nicht durchgeführt werden kann, rot dargestellt wird. Durch die Darstellung der Position für den Benutzer, von der aus das Mapping auf dem Pfad nicht durchgeführt werden kann, ist es möglich, den Zwischenpunkt durch manuelles Zurücksetzen des Sensorbewegungspfades effizient auszuwählen. Alle anderen Konfigurationen und Operationen sind ähnlich oder identisch mit der vierten Ausgestaltung.
22 ist ein Flussdiagramm zur Veranschaulichung einer Bedienung des Scanner-Hauptkörpers 1 aus 21. Der Scanner-Hauptkörper 1 gemäß der fünften Ausführungsform aktualisiert die aktuelle Position und Richtung des Tiefensensors 2 (Schritt S6) und bestimmt dann, ob der Sensorbewegungspfad berechnet werden soll oder nicht (Schritt S17). Wenn festgestellt wird, dass der Sensorbewegungspfad berechnet werden muss, berechnet der Scanner-Hauptkörper 1 den Sensorbewegungspfad (Schritt S18).
Nachdem die Stabilität des Mappings für alle Bewegungskandidaten (Schritt S9 und Schritt S10) ausgewertet wurde, bestimmt der Scanner-Hauptkörper 1, ob der Sensorbewegungspfad (Schritt S19) ausgewertet werden soll oder nicht. Wenn festgestellt wird, dass der Sensorbewegungspfad ausgewertet werden muss, bestimmt der Scanner-Hauptkörper 1, ob das Mapping von allen Punkten des Sensorbewegungspfades aus durchgeführt werden kann (Schritt S20).
Wenn es einen Punkt gibt, von dem aus das Mapping auf dem Sensorbewegungspfad nicht durchgeführt werden kann, kehrt die Prozedur zu Schritt S18 zurück. Nachdem festgestellt wurde, dass das Mapping von allen Punkten auf dem Sensorbewegungspfad durchgeführt werden kann, nachdem festgestellt wurde, dass die Suche nach der stabilen Position nicht erforderlich ist (Schritt S14), und nachdem die stabile Position abgerufen (Schritt S15) und dem Benutzer präsentiert wurde (Schritt S16), bestimmt der Scanner-Hauptkörper 1, ob der Sensorbewegungspfad dem Benutzer angezeigt werden soll oder nicht (Schritt S21).
Wenn festgestellt wird, dass es erforderlich ist, den Sensorbewegungspfad darzustellen, zeigt der Scanner-Hauptkörper 1 dem Benutzer den Sensorbewegungspfad an (Schritt S22), und das Verfahren geht zu Schritt S12 über. Wenn es nicht erforderlich ist, den Bewegungspfad des Sensors darzustellen, geht das Verfahren direkt zu Schritt S12 über.
Zusätzlich zu den Auswirkungen der vierten Ausgestaltung erzeugen der oben genannte dreidimensionalen Scanner und das Verarbeitungsverfahren zur Messunterstützung für dasselbe Verfahren eine solche Wirkung, dass das Sensorbewegungspfadberechnungsmodul 19 es dem Benutzer ermöglicht, einem im Voraus präsentierten Pfad zu einem Ziel zu folgen, und damit ist es möglich, die Arbeitszeit für das Scannen zu reduzieren.
Das heißt, es besteht die Wahrscheinlichkeit, dass die für das Scannen benötigte Arbeitszeit länger wird, wenn sich der Scanner-Hauptkörper 1 bewegt, während er weiterhin einen Pfad durch Ausprobieren entdeckt, um das Mapping nicht zu unterbrechen, bevor er zu einem Abschnitt geht, für den die Messung nicht durchgeführt wurde, und das Scannen durchführt. In der fünften Ausführungsform wird jedoch ein optimaler Sensorbewegungspfad dargestellt, so dass die Arbeitszeit reduziert werden kann.
Sechste Ausgestaltung
23 ist ein Blockdiagramm zur Darstellung eines dreidimensionalen Scanners nach einer sechsten Ausgestaltung der vorliegenden Erfindung. Der Scanner-Hauptkörper 1 gemäß der sechsten Ausführungsform weist außerdem ein Modul zur Erkennung eines ungemessenen Bereichs auf, das so ausgebildet ist, dass es einen ungemessenen Bereich in der zu erstellenden dreidimensionalen Karte erkennt.
Das Modul 20 zur Erfassung des ungemessenen Bereichs verwendet die dreidimensionale Karte, die Sensorposition/-richtung, einen Sensorblickwinkel und einen Abstand, der es der Entfernungsmessung ermöglicht, einen dreidimensionalen Bereich zu berechnen, der vom Tiefensensor 2 und der visuellen Kamera 4 beobachtet wurde, und erkennt einen Bereich, der nicht als ungemessener Bereich betrachtet wurde.
Das Ausgabemodul 17 stellt dem Benutzer den abgerufenen ungemessenen Bereich dar. Als Beispiel für ein Verfahren zur Anzeige des ungemessenen Bereichs auf der Anzeige 1a gibt es ein Verfahren zur Anzeige des ungemessenen Bereichs durch den Rahmenteil 1d aus 10. Alle anderen Konfigurationen und Operationen sind ähnlich oder identisch mit der fünften Ausgestaltung.
24 ist ein Flussdiagramm zur Veranschaulichung einer Bedienung des Scanner-Hauptkörpers 1 aus 23. Der Scanner-Hauptkörper 1 gemäß der sechsten Ausführungsform bestimmt, ob der Bewegungspfad des Sensors dargestellt werden soll (Schritt S21), und bestimmt dann, ob ein ungemessener Bereich erkannt werden soll (Schritt S23). Wenn festgestellt wird, dass ein ungemessener Bereich erkannt werden muss, erkennt der Scanner-Hauptkörper 1 einen ungemessenen Bereich (Schritt S24) und zeigt dem Benutzer den ungemessenen Bereich an (Schritt S25).
Zusätzlich zu den Auswirkungen der fünften Ausführungsform erzeugen der oben erwähnte dreidimensionale Scanner und das Verarbeitungsverfahren zur Messunterstützung für denselben eine solche Wirkung, dass man leicht überprüfen kann, welcher Teil eines zu scannenden Objekts noch nicht gemessen wurde, was eine solche Nacharbeit verhindern kann, dass man die Messung wiederholt, wenn man nach dem Scannen merkt, dass sie die übersprungen wurde.
25 ist eine Draufsicht zur Veranschaulichung, wie die dreidimensionale Karte des Inneren einer Grube des Aufzugsschachtes durch den Einsatz des dreidimensionalen Scanners nach jeder der ersten bis sechsten Ausführungsformen erstellt wird. In der Grube sind ein Paar Führungsschienen 31a und 31b zur Führung des Auf- und Abstiegs einer Kabine (nicht abgebildet), ein Puffer 32 und dergleichen eingebaut.
Im Inneren der Grube oder einer anderen solchen Umgebung gibt es unzureichende Textur- und Formmerkmale, und es sind relativ wenige Merkmale, die für das Mapping erforderlich sind. Daher ist es wahrscheinlich, dass es nicht möglich ist, das Mapping durchzuführen, in Abhängigkeit vom Pfad des Tiefensensors 2.
Vor diesem Hintergrund werden dem Benutzer mit dem dreidimensionalen Scanner nach jeder der ersten bis sechsten Ausführungsformen Informationen präsentiert, so dass das Scannen entlang eines Sensorbewegungspfades erfolgt, der ein Mapping ermöglicht, um so eine Nacharbeit zu verhindern, die das Wiederholen des Scannens aufgrund eines Fehlers im Mapping erfordert. Darüber hinaus ermöglicht die Erkennung eines ungemessenen Bereichs dem Benutzer, ein noch nicht gescanntes Teil zu erkennen, um so auch Nacharbeiten aufgrund der fehlenden Messung zu vermeiden.
Wenn außerdem das Innere der Grube oder ein anderer so enger Raum (z.B. ca. 2 m im Quadrat) gemessen wird, ist der Abstand zwischen dem Tiefensensor 2 und dem Messobjekt eher gering. Bei geringem Abstand ist die Anzahl der beobachteten Merkmale im Sichtfeld des Sensors relativ gering, was zu der Befürchtung führt, dass sich die Stabilität des Mappings verschlechtert. In der Mapping-Auswertung wird der Auswertewertungswert mit zunehmender Anzahl der Merkmale zufriedenstellender. Um also einen engen Raum abzutasten, um eine Sensororientierung mit einem zufriedenstellenden Auswertewertungswert zu erhalten, wird der Benutzer geführt, die Messung entlang eines Kreises durchzuführen, während er eine Orientierung beibehält, um eine gegenüberliegende Schachtwand über die Mitte des Raums zu messen.
26 ist eine perspektivische Ansicht zur Veranschaulichung eines Zustands, unter dem der dreidimensionale Scanner entsprechend jeder der ersten bis sechsten Ausführungsformen an einem mobilen Roboter 33 montiert ist, der eine autonom fahrende Baurt mit Räder hat. Auf diese Weise wird der dreidimensionale Scanner am mobilen Roboter 33 montiert, um so die dreidimensionale Karte der Umgebung des mobilen Roboters 33 erzeugen zu können.
Bei der Erstellung einer dreidimensionalen Karte durch den Einsatz des mobilen Roboters 33 muss der Roboter ständig erkennen können, wo sich der Roboter selbst in der dreidimensionalen Karte befindet (Eigenposition). Wenn das Mapping jedoch fehlschlägt, wird die Eigenposition unklar, was zu einem Ausfall des Systems führt. Vor diesem Hintergrund führt der dreidimensionale Scanner entsprechend jeder der ersten bis sechsten Ausführungsformen die Mapping-Auswertung im Voraus durch, bevor die nachfolgende Bewegung gestartet wird, so dass der mobile Roboter 33 einen Pfad wählen kann, der ein Versagen des Mappings verhindert.
Weiterhin ist es möglich, durch die Erkennung eines ungemessenen Bereichs an einen Ort zu gelangen, von dem aus die Messung nicht durchgeführt wurde, um die dreidimensionale Karte zu aktualisieren. Mit dieser Konfiguration ist es möglich, automatisch und effizient eine dreidimensionale Karte zu erstellen, ohne dass ein Teil fehlt.
Bei den ersten bis sechsten Ausführungsformen können die Funktionen des Scanner-Hauptkörpers 1 von zwei oder mehr Computern oder elektronischen Schaltungen getrennt ausgeführt werden.
Es gibt keine besondere Einschränkung für das Messziel, und die vorliegende Erfindung kann auch auf andere dreidimensionale Messungen als die des Aufzugsschachtes angewendet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009155056 A [0008]
JP 5310285 B2 [0008]

Claims

Dreidimensionaler Scanner, aufweisend: einen Tiefensensor, der dafür ausgebildet ist, Messdaten über eine Entfernung zu einem Messziel als eine Menge von Punkten in einem dreidimensionalen Raum zu erfassen; und einen Scanner-Hauptkörper, der dafür ausgebildet ist: Merkmale aus einer Vielzahl von Teilen von Messdaten zu extrahieren, die durch den Tiefensensor erfasst werden; und eine dreidimensionale Karte zu erstellen, indem die extrahierten Merkmale übereinander gelegt werden, wobei der Scanner-Hauptkörper dafür ausgebildet ist: eine Position und Richtung des Tiefensensors zu berechnen; einen Bewegungskandidaten zu ermitteln, der ein Kandidat für eine Position und Richtung ist, an/in die der Tiefensensor als nächstes bewegt werden soll; ein Merkmal innerhalb des Bewegungskandidaten zu erfassen, das durch den Tiefensensor vom Bewegungskandidaten beobachtet werden kann; die Stabilität der vom Bewegungskandidaten durchgeführten Kartierung durch die Verwendung des Merkmals innerhalb des Bewegungskandidaten auszuwerten; und einem Benutzer eine Bewegungsrichtung und/oder eine Bewegungsgeschwindigkeit des Tiefensensors auf der Grundlage eines Auswerteergebnisses zu präsentieren.
Dreidimensionaler Scanner nach Anspruch 1, wobei der Scanner-Hauptkörper eine Anzeige aufweist, und wobei der Scanner-Hauptkörper dafür ausgebildet ist, dass er auf der Anzeige gemeinsam eine aktuelle Messsituation, die von dem Tiefensensor durchgeführt wird, und einen Darstellungsinhalt, der sich auf die Bewegung des Tiefensensors bezieht, anzeigt.
Dreidimensionaler Scanner nach Anspruch 2, wobei der Scanner-Hauptkörper dafür ausgebildet ist: die Bewegungsrichtung des Tiefensensors auf der Anzeige in Form einer Pfeilrichtung anzeigen; und die Bewegungsgeschwindigkeit des Tiefensensors auf der Anzeige in Form einer Länge des Pfeils anzeigen.
Dreidimensionaler Scanner nach Anspruch 2 oder 3, wobei der Scanner-Hauptkörper dafür ausgebildet ist, dass er auf der Anzeige die aktuelle Messsituation des Tiefensensors und die erstellte dreidimensionale Karte nebeneinander anzeigt.
Dreidimensionaler Scanner nach einem der Ansprüche 2 bis 4, wobei der Scanner-Hauptkörper dafür ausgebildet ist, dass er eine Richtung zu einem gemappten Bereich und eine Richtung zu einem ungemessenen Bereich anzeigt, so dass sie in einem Rahmenabschnitt in einer Peripherie eines Bereichs, in dem die aktuelle Messsituation wie vom Tiefensensors durchgeführt angezeigt wird, voneinander unterschieden werden können.
Dreidimensionaler Scanner nach einem der Ansprüche 1 bis 5, wobei der Scanner-Hauptkörper dafür ausgebildet ist: die zu erstellende dreidimensionale Karte nach einer Aufnahmeposition zu durchsuchen, an der das Mapping stabil ist, basierend auf einer Auswertungsfunktion, die unter Berücksichtigung einer Größe eines Auswertungswertes des Mappings und eines Grades der Nähe zu einer aktuellen Position erhalten wurde; und dem Benutzer die Aufnahmeposition zu präsentieren.
Dreidimensionaler Scanner nach einem der Ansprüche 1 bis 6, wobei der Scanner-Hauptkörper dafür ausgebildet ist: einen Pfad des Tiefensensors zwischen frei wählbaren Positionen in der zu erstellenden dreidimensionalen Karte berechnen, wobei der Pfad es dem Tiefensensor ermöglicht, sich ohne Unterbrechung des Mappings zu bewegen; und dem Benutzer den Pfad präsentieren.
Dreidimensionaler Scanner nach einem der Ansprüche 1 bis 7, wobei der Scanner-Hauptkörper dafür ausgebildet ist: einen ungemessenen Bereich in der zu erstellenden dreidimensionalen Karte zu erkennen; und den ungemessenen Bereich dem Benutzer präsentieren.
Dreidimensionaler Scanner nach einem der Ansprüche 1 bis 8, ferner mit einer visuellen Kamera, die dafür ausgebildet ist, ein zweidimensionales Bild des Messobjekts aufzunehmen, wobei der Scanner-Hauptkörper dafür ausgebildet ist: ein visuelles Merkmal aus einer Vielzahl von Bilddaten zu extrahieren, die von der visuellen Kamera erhalten wurden; und das visuelle Merkmal für das Mapping zu verwenden.
Dreidimensionaler Scanner nach einem der Ansprüche 1 bis 9, ferner mit einer Beleuchtungseinrichtung, die zum Aufbringen von Licht auf das Messziel ausgebildet ist.
Dreidimensionaler Scanner nach einem der Ansprüche 1 bis 10, ferner mit einem Projektor, der dafür ausgebildet ist, ein Muster auf das Messziel zu projizieren, wobei der Tiefensensor dafür ausgebildet ist, das projizierte Muster aufzunehmen, um Entfernungsdaten durch ein aktives Stereoverfahren zu erfassen.
Verarbeitungsverfahren zur Messunterstützung für einen dreidimensionalen Scanner, der dreidimensionale Scanner aufweisend: einen Tiefensensor, der dafür ausgebildet ist, Messdaten bzgl. einer Entfernung zu einem Messziel als eine Menge von Punkten in einem dreidimensionalen Raum zu erfassen; und einen Scanner-Hauptkörper, der dafür ausgebildet ist: Merkmale aus einer Vielzahl von Teilen der Messdaten zu extrahieren, die durch den Tiefensensor erfasst werden; und eine dreidimensionale Karte zu erstellen, indem die extrahierten Merkmale übereinander gelegt werden, wobei das Verarbeitungsverfahren zur Messunterstützung ein Verarbeitungsverfahren zur Unterstützung der dreidimensionalen Messung durch den Scanner-Hauptkörper des dreidimensionalen Scanners ist, wobei das Messhilfeverarbeitungsverfahren die folgenden Schritte aufweist: Berechnen einer Position und Richtung des Tiefensensors; Bestimmen eines Bewegungskandidaten, der ein Kandidat für eine Position und Richtung ist, an/in die der Tiefensensor als nächstes bewegt werden soll; Erfassen eines Merkmals innerhalb des Bewegungskandidaten, das durch den Tiefensensor vom Bewegungskandidaten beobachtet werden kann; Auswerten der Stabilität des vom Bewegungskandidaten durchgeführten Mappings durch Verwendung des Merkmals innerhalb des Bewegungskandidaten; und Darstellen einer Bewegungsrichtung und/oder einer Bewegungsgeschwindigkeit des Tiefensensors für einen Benutzer auf der Grundlage eines Auswerteergebnisses.
Verarbeitungsverfahren zur Messunterstützung für einen dreidimensionalen Scanner nach Anspruch 12, das ferner einen Schritt aufweist, bei dem auf einer Anzeige gemeinsam eine aktuelle Messsituation des Tiefensensors und ein Darstellungsinhalt, der sich auf die Bewegung des Tiefensensors bezieht, angezeigt werden.
Verarbeitungsverfahren zur Messunterstützung für einen dreidimensionalen Scanner nach Anspruch 13, wobei der Schritt der Anzeige einer aktuellen Messsituation, die durch den Tiefensensor durchgeführt wird, die Anzeige einer Richtung zu einem gemappten Bereich und einer Richtung zu einem ungemessenen Bereich aufweist, um so voneinander unterschieden zu werden.
Verarbeitungsverfahren zur Messunterstützung für einen dreidimensionalen Scanner nach einem der Ansprüche 12 bis 14, das ferner die folgenden Schritte aufweist: Durchsuchen der zu erstellenden dreidimensionalen Karte nach einer Aufnahmeposition, an der die Karte stabil ist, basierend auf einer Auswertungsfunktion, die unter Berücksichtigung einer Größe eines Auswertungswertes des Mappings und eines Grades der Nähe zu einer aktuellen Position erhalten wurde; und Präsentieren der Aufnahmeposition für den Benutzer.
Verarbeitungsverfahren zur Messunterstützung für einen dreidimensionalen Scanner nach einem der Ansprüche 12 bis 15, das ferner die folgenden Schritte aufweist: Berechnen eines Pfads des Tiefensensors zwischen frei wählbaren Positionen in der zu erstellenden dreidimensionalen Karte, wobei der Pfad es dem Tiefensensor ermöglicht, sich ohne Unterbrechung des Mappings zu bewegen; und Präsentieren des Pfads für den Benutzer.
Verarbeitungsverfahren zur Messunterstützung für einen dreidimensionalen Scanner nach einem der Ansprüche 12 bis 16, das ferner die folgenden Schritte aufweist: Erkennen eines nicht gemessenen Bereichs in der zu erstellenden dreidimensionalen Karte; und Präsentieren des ungemessenen Bereichs für den Benutzer.