DE102019216548A1

DE102019216548A1 - Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks

Info

Publication number: DE102019216548A1
Application number: DE102019216548.6A
Authority: DE
Inventors: Michael Putz; Sinka Ismail; Marcus Opdenberg; Marco Arnold; Peter Rückrich
Original assignee: Deepup GmbH
Current assignee: Deepup GmbH
Priority date: 2019-10-28
Filing date: 2019-10-28
Publication date: 2021-04-29
Also published as: MX2022005059A; WO2021083915A1; BR112022008096A2; CA3159078A1; EP4051982A1; CL2022001061A1; AU2020372614A1; JP2022553750A; US20220282967A1; CN114667434A

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erfassung von freiliegenden Infrastrukturelementen eines unterirdischen Leitungsnetzwerks, insbesondere in einer geöffneten Baugrube, mit einer mobilen Erfassungsvorrichtung (1).

Description

Die Erfindung betrifft ein Verfahren zur lagerichtigen Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen, insbesondere in einer geöffneten Baugrube, mit einer mobilen Erfassungsvorrichtung. Ferner betrifft die Erfindung eine mobile Erfassungsvorrichtung zur lagerichtigen Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen, insbesondere in einer geöffneten Baugrube.
Unterirdische Infrastrukturelemente befinden sich in großer Zahl im Untergrund und zumeist in sogenannten Leitungsnetzwerken. Sowohl für die Instandhaltung dieser Leitungsnetzwerke als auch für die Planung von neuen Tiefbauvorhaben in der Nähe solcher Leitungsnetzwerke ist es notwendig, eine möglichst präzise Dokumentation mit genauen Positionsangaben dieser unterirdischen Infrastrukturelemente zur Verfügung zu haben. Eine unzureichende Lagekenntnis über diese Infrastrukturelemente kann zu Schäden an diesen Infrastrukturelementen, zu Versorgungsunterbrechungen und im schlimmsten Fall auch zu fatalen Personenschäden führen.
In der US 2014 210 856 A1 wird ein Verfahren zur Erfassung und Visualisierung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks beschrieben, die verdeckt angeordnet sind. In einem Zustand, in welchem die Infrastrukturelemente freiliegend angeordnet sind, werden diese mittels eines Laserscanners erfasst. Zudem wird ein Kontrollpunkt erfasst, dessen Koordinaten bekannt sind. Anhand der durch den Laserscanner erfassten Daten wird ein 3D-Modell der Infrastrukturelemente erstellt, dessen Koordinaten in Bezug auf den Kontrollpunkt definiert sind. Nach dem Verdecken der Infrastrukturelemente, wird ein Marker an einer sichtbaren Stelle angeordnet. Zur Visualisierung der nunmehr verdeckten Infrastrukturelemente wird dieser Marker von einer Kamera einer mobilen Anzeigeeinheit erfasst und in der Anzeigeeinheit wird das 3D-Modell der Infrastrukturelemente dem Kamerabild überlagert dargestellt. Als nachteilig hat sich bei dem bekannten Verfahren allerdings herausgestellt, dass sowohl bei dem Erfassen der Infrastrukturelemente zum Erzeugen des 3D-Modells als auch bei der dem Kamerabild überlagerten Visualisierung des 3D-Modells in der von der erfassten Szene jeweils ein Kontrollpunkt bzw. Marker angeordnet sein muss. Hierdurch ergeben sich relativ viele Arbeitsschritte sowie eine erhöhte Anfälligkeit gegenüber Vandalismus, beispielsweise dem unerwünschten Entfernen bzw. Versetzen der Marker.
Vor diesem Hintergrund stellt sich die Aufgabe, eine möglichst genaue und lagerichtige Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks mit reduzierter Anzahl an Arbeitsschritten zu ermöglichen.
Zur Lösung der Aufgabe wird ein Verfahren zur Erfassung von freiliegenden Infrastrukturelementen eines unterirdischen Leitungsnetzwerks, insbesondere in einer geöffneten Baugrube, mit einer mobilen Erfassungsvorrichtung vorgeschlagen, wobei:

- mittels einer 3D-Rekonstruktionseinrichtung der mobilen Erfassungsvorrichtung Bilddaten und/oder Tiefendaten einer Szene erfasst werden, die mindestens ein im Untergrund angeordnetes, freiliegendes Infrastrukturelement enthält und anhand dieser Bilddaten und/oder Tiefendaten eine 3D-Punktwolke mit mehreren Punkten erzeugt wird;
- mittels einem oder mehreren Empfängern der mobilen Erfassungsvorrichtung Signale eines oder mehrerer globaler Navigationssatellitensysteme empfangen werden und eine erste Positionsangabe der Position der Erfassungsvorrichtung in einem globalen Bezugssystem ermittelt wird; und
- eine oder mehrere zweite Positionsangaben der Position der Erfassungsvorrichtung in einem lokalen Bezugssystem und eine oder mehrere Orientierungsangaben der Orientierung der Erfassungsvorrichtung in dem jeweiligen lokalen Bezugssystem ermittelt werden,
1. a. wobei die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels einer inertialen Messeinheit der mobilen Erfassungsvorrichtung erfolgt, welche lineare Beschleunigungen der mobilen Erfassungsvorrichtung in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung um diese Hauptachsen erfasst, und/oder
2. b. wobei die 3D-Rekonstruktionseinrichtung eine oder mehrere 2D-Kameras aufweist, mittels derer die Bilddaten und/oder die Tiefendaten der Szene erfasst werden und die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Bilddaten und/oder der Tiefendaten erfolgt; und/oder
3. c. wobei die 3D-Rekonstruktionseinrichtung eine LIDAR-Messeinrichtung aufweist, mittels derer die Tiefendaten der Szene erfasst werden und die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Tiefendaten erfolgt;
- den Punkten der 3D-Punktwolke, anhand der ersten Positionsangabe und einer oder mehrerer der zweiten Positionsangaben sowie einer oder mehrerer der Orientierungsangaben jeweils eine Georeferenz zugewiesen wird.

Ein weiterer Gegenstand der Erfindung ist eine mobile Erfassungsvorrichtung zur lagerichtigen Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen, insbesondere in einer geöffneten Baugrube, umfassend:

- eine 3D-Rekonstruktionseinrichtung zur Erfassung von Bilddaten und/oder Tiefendaten einer Szene, die mindestens ein im Untergrund angeordnetes, freiliegendes Infrastrukturelement enthält, und zum Erzeugen einer 3D-Punktwolke mit mehreren Punkten anhand dieser Bilddaten und/oder Tiefendaten;
- einen oder mehrere Empfänger zum Empfangen von Signalen eines oder mehrerer globaler Navigationssatellitensysteme und zur Ermittlung einer ersten Positionsangabe der Position der Erfassungsvorrichtung in einem globalen Bezugssystem;
- eine inertiale Messeinheit zur Ermittlung einer zweiten Positionsangabe der Position der Erfassungsvorrichtung in einem lokalen Bezugssystem und einer Orientierungsangabe der Orientierung der Erfassungsvorrichtung in dem lokalen Bezugssystem, wobei die inertiale Messeinheit eingerichtet ist, lineare Beschleunigungen der mobilen Erfassungsvorrichtung in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung um diese Hauptachsen zu erfassen; und/oder wobei die 3D-Rekonstruktionseinrichtung eine oder mehrere 2D-Kameras aufweist, mittels derer Bilddaten der Szene erfassbar sind, wobei eine zweite Positionsangabe der Position der Erfassungsvorrichtung in dem lokalen Bezugssystem und die Orientierungsangabe mittels visueller Odometrie anhand der Bilddaten ermittelbar ist; und/oder wobei die 3D-Rekonstruktionseinrichtung eine LIDAR-Messeinrichtung aufweist, mittels derer Tiefendaten der Szene erfassbar sind, wobei eine zweite Positionsangabe der Position der Erfassungsvorrichtung in dem lokalen Bezugssystem und die Orientierungsangabe mittels visueller Odometrie anhand der Tiefendaten erfolgt;
- wobei die Erfassungsvorrichtung eingerichtet ist, den Punkten der 3D-Punktwolke, anhand der ersten Positionsangabe und einer oder mehrerer der zweiten Positionsangaben sowie einer oder mehrerer der Orientierungsangaben jeweils eine Georeferenz zuzuweisen.

Bei dem erfindungsgemäßen Verfahren werden die freiliegenden Infrastrukturelemente mittels der mobilen Erfassungsvorrichtung erfasst, wobei diese einen oder mehrere Empfänger zum Empfang von Signalen eines oder mehrerer globaler Navigationssatellitensysteme sowie die 3D-Rekonstruktionseinrichtung und ggf. die inertiale Messeinheit umfasst. Diese Kombination aus dem oder den Empfängern für die Signale eines oder mehrerer globaler Navigationssatellitensysteme und der 3D-Rekonstruktionseinrichtung und ggf. der inertialen Messeinheit ermöglicht eine einfache Erfassung der Position und Orientierung der Infrastrukturelemente in einem geodätischen Referenzsystem mit hoher Genauigkeit. Erzeugt wird hierbei eine 3D-Punktwolke der aufgenommen Szene, welche das gegebene Infrastrukturelement oder die gegebenen Infrastrukturelemente beinhaltet. Deren Punkten wird jeweils eine Georeferenz zugewiesen. Als Georeferenz wird in diesem Zusammenhang eine Positionsangabe eines Punkts der 3D-Punktwolke in einem geodätischen Referenzsystem, bevorzugt in einem amtlichen Lagebezugssystem, beispielsweise ETRS89/UTM, verstanden. Den Punkten der 3D-Punktwolke wird die Georeferenz anhand der ersten Positionsangabe - also der ermittelten Position der mobilen Erfassungsvorrichtung in dem globalen Bezugssystem - und anhand der zweiten Positionsangabe - also einer geschätzten Position der Erfassungsvorrichtung im lokalen Bezugssystem - und anhand der Orientierungsangabe - also der geschätzten Orientierung der Erfassungsvorrichtung im lokalen Bezugssystem - zugewiesen. Somit können die Bilddaten eine Positionsangabe aufweisen, die unabhängig von Referenzpunkten im Bereich der jeweiligen Infrastrukturelemente bzw. Baugrube ist. Hierdurch kann die Ermittlung der Georeferenz mit erhöhter Genauigkeit und Zuverlässigkeit erfolgen. Gemäß der Erfindung ist das Anordnen und Erfassen eines Kontrollpunkts oder eines Markers - etwa gemäß US 2014 210 856 A1 - nicht erforderlich, so dass Arbeitsschritte beim Einmessen eingespart werden können. Folglich kann eine möglichst genaue und lagerichtige Erfassung der freiliegenden Infrastrukturelemente mit einer reduzierten Anzahl an Arbeitsschritten ermöglicht werden.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche und betreffen gleichermaßen das Verfahren zur Erfassung von Infrastrukturelementen als auch die mobile Vorrichtung zur Erfassung von Infrastrukturelementen.
Unter unterirdischen Infrastrukturelementen werden im Sinne der Erfindung insbesondere Leitungs- bzw. Kabelelemente wie beispielsweise Glasfaser-, Gas-, Fernwärme-, Wasserleitungen, Strom- oder Telekommunikationskabel sowie dazugehörige Leerrohre, Kabelschächte und Verbindungselemente verstanden. Die Verbindungselemente können beispielsweise als Verbinder für genau zwei Leitungs- bzw. Kabelelemente, als Verteiler zum Verbinden von drei oder mehr Leitungs- bzw. Kabelelementen, oder als Verstärkerelemente ausgebildet sein.
Bevorzugt sind der oder die Empfänger dazu eingerichtet, Signale eines globalen Navigationssatellitensystems zu empfangen und zu verarbeiten. Besonders bevorzugt ist es, wenn der oder die Empfänger dazu eingerichtet sind, Signale mehrerer globaler Navigationssatellitensysteme (GNSS), insbesondere Signale von Satelliten verschiedener globaler Navigationssatellitensysteme und mehrerer Frequenzbänder gleichzeitig zu erfassen und zu verarbeiten. Bei den globalen Navigationssatellitensystemen kann es sich beispielsweise um GPS, GLONASS, Galileo oder Beidou handeln. Der oder die Empfänger können alternativ oder zusätzlich dazu eingerichtet sein, Signale, insbesondere Referenz- oder Korrektursignale, von landbasierten Referenzstationen zu empfangen. Beispielsweise können der oder die Empfänger dazu eingerichtet sein, die Signale der landbasierten Sendestation über ein Mobilfunknetz zu empfangen. Bei den Korrektursignalen kann es sich beispielsweise um SAPOS-Korrektursignale (deutscher Satellitenpositionierungsdienst) oder um Signale des globalen HxGN SmartNet handeln. Bevorzugt wird zur Ermittlung der Position der Erfassungsvorrichtung eines oder mehrere der folgenden Verfahren eingesetzt: Echtzeitkinematik (engl. real time kinematic (RTK), precise point positioning (PPP), post processed kinematic (PPK)). Durch den Einsatz eines oder mehrerer dieser Verfahren kann die Genauigkeit bei der Bestimmung der Position der Erfassungsvorrichtung auf einen Bereich von kleiner 10 cm, bevorzugt kleiner 5 cm, besonders bevorzugt kleiner 3 cm, beispielsweise kleiner 2 cm, reduziert werden. Zur Gewährleistung der Qualität der ermittelten ersten Positionsangaben im globalen Bezugssystem kann, für den Benutzer nicht sichtbar, eine Qualitätsuntersuchung der Georeferenzierung durchgeführt werden. Hierzu werden vorzugsweise ein oder mehrere Qualitätsparameter der globalen Satellitennavigationssysteme, beispielsweise DOP (Dilution of Precision), überwacht.
Die inertiale Messeinheit (engl. Inertial Measurement Unit, (IMU)) ist bevorzugt dazu eingerichtet, jeweils eine translatorische Bewegung in drei zueinander orthogonalen Raumrichtungen - z. B. entlang einer x-Achse, einer y-Achse und einer z-Achse - und jeweils eine Drehbewegung um diese drei Raumrichtungen - z. B. um die x-Achse, die y-Achse und die z-Achse - zu erfassen, insbesondere diese Datenerfassungen mehrfach in zeitlichen Abständen zu wiederholen. Beispielsweise kann die inertiale Messeinheit als Beobachtungsgrößen drei lineare Beschleunigungswerte für die translatorische Bewegung und drei Winkelgeschwindigkeiten für die Drehraten der Drehbewegung erfassen. Anhand proportionaler Verhältnisse von gemessenen Spannungsunterschieden lassen sich diese Beobachtungsgrößen ableiten. Mit Hilfe weiterer Verfahren wie beispielsweise dem Strapdown-Algorithmus (SDA) kann durch die gemessene spezifische Kraft und der Drehraten auf Änderungen in der Position, in der Geschwindigkeit und in der Orientierung geschlossen werden.
Die 3D-Rekonstruktionseinrichtung kann eine Time-of-Flight-Kamera, eine Structured-Light-Kamera, eine Stereokamera, eine LIDAR-Messeinrichtung, eine RADAR-Messeinrichtung und/oder eine Kombination derer untereinander, insbesondere mit einer oder mehreren 2D-Kameras, aufweisen.
Gemäß einer vorteilhaften Ausgestaltung umfasst die mobile Erfassungsvorrichtung ein Gehäuse, wobei der oder die Empfänger, die inertiale Messeinheit und die 3D-Rekonstruktionseinrichtung in dem Gehäuse angeordnet sind. Alternativ ist es vorteilhaft, wenn die mobile Erfassungsvorrichtung ein Gestell aufweist, wobei der oder die Empfänger, die inertiale Messeinheit und die 3D-Rekonstruktionseinrichtung freiliegend auf dem Gestell angeordnet sind. Durch das gemeinsame Gehäuse oder das Gestell kann eine kompakte und robuste, mobile Erfassungsvorrichtung zur Erfassung der freiliegenden Infrastrukturelemente bereitgestellt werden.
Eine bevorzugte Ausgestaltung sieht vor, dass die mobile Erfassungsvorrichtung von einer Person tragbar ist, bevorzugt mit beiden Händen einer Person, besonders bevorzugt mit einer Hand einer Person haltbar ist, so dass die mobile Erfassungsvorrichtung durch den Benutzer zu einer geöffneten Baugrube mitgeführt und dort verwendet werden kann, um freiliegende Infrastrukturelemente zu erfassen. Bevorzugt weist die mobile Erfassungsvorrichtung ein Gehäuse auf, dessen größte Kantenlänge kleiner ist als 50 cm, bevorzugt kleiner ist als 40 cm, besonders bevorzugt kleiner ist als 30 cm, beispielsweise kleiner ist als 20 cm. Eine alternative, bevorzugte Ausgestaltung sieht vor, dass die mobile Erfassungsvorrichtung als unbemanntes Luftfahrzeug ausgebildet ist. Eine derartige mobile Erfassungsvorrichtung kann - automatisch oder durch einen Benutzer gesteuert - über eine geöffnete Baugrube fliegen, um freiliegende Infrastrukturelemente in der Baugrube zu erfassen. Eine weitere, alternative Ausgestaltung sieht vor, dass die mobile Erfassungsvorrichtung an einer Bodenmaschine oder einem Bodenfahrzeug befestigt werden kann, insbesondere befestigt ist.
Bevorzugt wird die Georeferenz ausschließlich mittels der mobilen Erfassungsvorrichtung ermittelt - beispielsweise mittels dem einen oder den mehreren Empfängern für Signale eines oder mehrerer globaler Navigationssatellitensysteme, der inertialen Messeinheit und der 3D-Rekonstruktionseinrichtung. Bevorzugt umfassen mehrere, insbesondere alle Punkte der 3D-Punktwolke durch die Georeferenzierung eine Positionsangabe in einem geodätischen Referenzsystem. Das geodätischen Referenzsystem kann identisch mit dem globalen Bezugsystem sein.
Gemäß einer vorteilhaften Ausgestaltung des Verfahrens ist vorgesehen, dass den Punkten der 3D-Punktwolke jeweils eine Farb- oder Grauwertinformationen zugeordnet ist, wobei die Farb- oder Grauwertinformation bevorzugt mittels der einen oder mehreren 2D-Kameras der 3D-Rekonstruktionseinrichtung erfasst wird. Die Farb- oder Grauwertinformation kann beispielsweise als RGB-Farbinformation im RGB-Farbraum oder HSV-Farbinformation im HSV-Farbraum vorliegen.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass

- die erste Positionsangabe der Position in dem globalen Bezugssystem und/oder dieser Positionsangabe zugeordnete Rohdaten; und
- die einen oder mehreren zweiten Positionsangaben; und
- die einen oder mehreren zweiten Orientierungsangaben; und
- die erfassten Bilddaten und/oder die erfassten Tiefendaten und/oder die erfassten linearen Beschleunigungen der mobilen Erfassungsvorrichtung in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems sowie die Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung um diese Hauptachsen;

Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass, insbesondere zur Ermittlung und/oder zum Zuweisen der Georeferenz, die eine oder mehreren zweiten Positionsangaben von dem jeweiligen lokalen Bezugssystem in das globale Bezugssystem transformiert werden, bevorzugt mittels einer Rigid Body Transformation oder Helmert-Transformation oder mittels einer Hauptachsentransformation. Optional können die erste Positionsangabe in dem globalen Bezugssystem und die eine oder mehreren zweiten Positionsangaben in dem jeweiligen lokalen Bezugssystem in ein weiteres Bezugssystem transformiert werden.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Bilddaten und/oder der Tiefendaten und/oder mittels inertialer Messeinheit durch simultane Positionsbestimmung und Kartenerstellung erfolgt. Die Ermittlung der einen oder mehreren zweiten Positionsangaben und der Orientierungsangaben trägt zu einer verbesserten Georeferenzierung der Punkte der 3D-Punktwolke bei, indem eine genauere Bestimmung der Trajektorie der Erfassungsvorrichtung ermöglicht wird.
Vorteilhaft ist es, wenn das Zuweisen der Georeferenz zu den Punkten der 3D-Punktwolke mittels Sensordatenfusion erfolgt, wobei bevorzugt zu Optimierung ein Faktorgraph als grafisches Modell und/oder ein angewandtes Schätzungsverfahren verwendet wird, wobei bevorzugt die ersten Positionsangaben der Position in dem globalen Bezugssystem verwendet werden. So lassen sich insbesondere Drifteffekte und Abweichungen zwischen den zweiten Positionsangaben und den ersten Positionsangaben in dem globalen Bezugssystem der Erfassungsvorrichtung erkennen und korrigieren. Die Erfassung der ersten Positionsangaben vom einen oder mehreren eingebundenen Empfängern in einem globalen Bezugssystem kann die kurzzeitstabilen limitierenden Faktoren der relativen Sensoriken kompensieren und mit Hilfe einer Transformation ins übergeordnete Koordinatensystem zur Georeferenzierung der mobilen Erfassungsvorrichtung führen.
Eine vorteilhafte Ausgestaltung sieht vor, dass eine Plausibilität einer zeitlichen Abfolge von ersten Positionsangaben der Position der Erfassungsvorrichtung in dem globalen Bezugssystem ermittelt wird, bevorzugt indem anhand der zeitlichen Abfolge von ersten Positionsangaben eine erste Geschwindigkeitsangabe ermittelt wird, anhand der erfassten linearen Beschleunigungen und Winkelgeschwindigkeiten eine zweite Geschwindigkeitsangabe berechnet wird und mit der ersten Geschwindigkeitsangabe verglichen wird. Hierzu kann ein Vergleich mit dem Zeitintegral der linearen Beschleunigungen erfolgen. Hierdurch kann die Zuverlässigkeit der ermittelten bzw. den Punkten zugewiesenen Georeferenz erhöht werden. Bevorzugt wird den Punkten der 3D-Punktwolke somit anhand einer oder mehrerer ersten Positionsangaben und einer oder mehrerer der zweiten Positionsangaben und einer oder mehrerer der Orientierungsangaben und der gemessenen Beschleunigungen der mobilen Erfassungsvorrichtung entlang der Hauptachsen des lokalen Bezugssystems und der gemessenen Winkelgeschwindigkeiten der Drehungen der mobilen Erfassungsvorrichtung um diese Hauptachsen jeweils eine Georeferenz zugewiesen.
Eine vorteilhafte Ausgestaltung sieht vor, dass anhand der 3D-Punktwolke und/oder anhand der Bilddaten, mindestens ein Infrastrukturelement, insbesondere eine Leitung oder ein Verbindungselement, detektiert und/oder klassifiziert und/oder segmentiert wird.
In diesem Zusammenhang wird bevorzugt, wenn zur Detektion, Klassifikation und/oder Segmentierung eines Infrastrukturelements ein oder mehrere Verfahren der Bildsegmentierung, wie beispielsweise Schwellwertverfahren, insbesondere Histogramm-basierte Verfahren, oder texturorientierte Verfahren, oder Region-basierte Verfahren, oder auch pixelbasierte Verfahren wie beispielsweise Support Vector Maschine, Entscheidungsbäume und Neuronale Netze eingesetzt werden. Beispielsweise können zur Detektion, Klassifikation und/oder Segmentierung der Infrastrukturelemente Farbinformationen der erfassten Bilddaten mit einer vorgegebenen Farbinformation verglichen werden. Da Infrastrukturelemente unterschiedlicher Leitungsnetzwerke in der Regel eine unterschiedliche Farbgebung und/oder unterschiedliche Geometrieinformation aufweisen, können Farbinformationen und/oder Geometrieinformationen der erfassten Bilddaten mit beispielsweise in einer Datenbank hinterlegten vorgegebenen Farbinformation und/oder Geometrieinformation verglichen werden, um die Infrastrukturelemente einerseits von ihrer Umgebung in der Szene zu unterscheiden, und andererseits den Typ des Infrastrukturelements zu erkennen, beispielsweise, ob es sich eine Glasfaserleitung oder ein Fernwärmeleitung handelt. Bevorzugt werden Farbinformationen der Punkte der 3D-Punktwolke mit einer vorgegebenen Farbinformation verglichen, so dass Punkte der 3D-Punktwolke unmittelbar einem erkannten Infrastrukturelement zugeordnet werden können. Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass zur Detektion, Klassifikation und/oder Segmentierung mindestens ein Histogramm von Farb- und/oder Grauwertinformationen, und/oder Sättigungswertinformationen und/oder Helligkeitswertinformationen und/oder eines elektromagnetischen Wellenspektrums mehrerer Punkte der 3D-Punktwolke erzeugt wird. Das Erzeugen eines Histogramms der Farb- oder Grauwertinformationen ermöglicht in einem ersten Schritt die Zuordnung der Punkte der Punktwolke, die der vordefinierten Farb- und/oder Grauwertinformationen, und/oder Sättigungswertinformationen und/oder Helligkeitswertinformationen und/oder eines elektromagnetischen Wellenspektrums am ehesten ähneln und somit die Basis für eine verbesserte Erkennung von Infrastrukturelementen bei einer Szene legen. Bevorzugt wird ein Histogramm von Farb- oder Grauwertinformationen der Bilddaten im HSV-Farbraum erzeugt, beispielsweise nach einer vorhergehenden Transformation der Bilddaten in den HSV-Farbraum. Besonders bevorzugt wird das Histogramm des Farbwerts (engl. hue) erzeugt, der auch als Farbwinkel bezeichnet wird.
Bevorzugt werden in dem Histogramm oder in den Histogrammen lokale Maxima detektiert und unter den lokalen Maxima solche Maxima mit den geringsten Abständen zu einem vorgegebenen Farb-, Sättigung- und Helligkeits-Schwellenwert eines Infrastrukturelements bestimmt oder detektiert.
Als vorteilhaft hat es sich erwiesen, wenn eine Gruppe von Punkten, deren Punkte einen vorgegebenen Abstands-Schwellenwert zu den aus den detektierten lokalen Maxima zusammengesetzten Farbinformationen nicht überschreiten, iterativ durch weitere Punkte, die einen definierten geometrischen und farblichen Abstand zu den dazugehörigen Nachbarpunkten nicht überschreiten, erweitert wird, um einen örtlich zusammenhängenden Bereich eines Infrastrukturelements mit ähnlichen Farbinformationen zu bilden. Auf diese Weise ist es möglich, örtlich zusammenhängende Bereiche eines Infrastrukturelements mit einem ähnlichen Farbwert zu detektieren. Auch ein Infrastrukturelement, dessen Farbwert sich im geometrischen Verlauf des Infrastrukturelements allmählich ändert kann als zusammenhängendes Infrastrukturelement in den Bilddaten erkannt werden. Bevorzugt kann ein Vorzugsrichtung-Abstands-Schwellenwert für eine Vorzugsraumrichtung vorgegeben sein, die einer Bewegungsrichtung der mobilen Erfassungsvorrichtung beim Erfassen des Infrastrukturelements entspricht. Der Vorzugsrichtung-Abstands-Schwellenwert kann größer sein als der Abstands-Schwellenwert für andere Raumrichtungen, da davon ausgegangen werden kann, dass sich der Benutzer beim Erfassen der Infrastrukturelemente in der geöffneten Baugrube die mobile Erfassungsvorrichtung in einer Richtung bewegt, die der Haupterstreckungsrichtung der Infrastrukturelemente entspricht.
Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass zur Detektion, Klassifikation und/oder Segmentierung der Infrastrukturelemente und/oder zur verbesserten Distanzmessung und/oder zur Initialisierung der absoluten Orientierung ein Lichtpunkt eines Laserpointers der Erfassungsvorrichtung erfasst und/oder in der Anzeigerichtung angezeigt wird. Hierzu weist die mobile Erfassungsvorrichtung bevorzugt einen Laserpointer zur optischen Markierung von Infrastrukturelementen auf, mit dem bevorzugt ein Laserstrahl erzeugbar ist, der in Richtung der mit der 3D-Rekonstruktionseinrichtung erfassten Szene gerichtet ist. Mittels des Laserpointers kann ein Benutzer der Erfassungsvorrichtung einen Punkt in der erfassten Szene markieren, der einen Teil des Infrastrukturelements darstellt. Der mittels des Laserpointers markierte Punkt kann in den erfassten Bilddaten identifiziert werden und Punkte, die einen geometrischen Abstand von dem markierten Punkt aufweisen können Kandidaten-Punkte darstellen, die vermutlich ebenfalls Teil des Infrastrukturelements sind. In einem weiteren Schritt können die Farbwerte der Kandidaten-Punkte miteinander verglichen werden, beispielsweise mittels eines oder mehrerer Histogramme. Hieraus können die lokalen Maxima mit den geringsten Abständen zu den zuvor definierten Farbwert-, Sättigung- und Helligkeitswerten des Infrastrukturelements detektiert werden.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht vor, dass zur Detektion, Klassifikation und/oder Segmentierung der Infrastrukturelemente Farb- oder Grauwertinformationen der erfassten Bilddaten, insbesondere Farb- oder Grauwertinformationen der Punkte der 3D-Punktwolke, und/oder die erfassten Tiefendaten und zugehörige Label-Informationen einem oder mehreren künstlichen neuronalen Netzen zum Trainieren zugeführt werden. Im Rahmen eines Trainings des künstlichen neuronalen Netzes können die Bilddaten als Trainingsdaten für das künstliche neuronale Netz verwendet werden, wobei zusätzlich Korrekturdaten durch einen Benutzer der Erfassungsvorrichtung bereitgestellt werden, um das künstliche neuronale Netz zu trainieren. Das künstliche neuronale Netz kann als Teil einer Datenverarbeitungseinrichtung der mobilen Erfassungsvorrichtung, insbesondere als Software und/oder Hardware, ausgebildet sein. Alternativ ist es möglich, dass das künstliche neuronale Netz als Teil eines Servers vorgesehen ist, mit welchem die mobile Erfassungsvorrichtung über eine drahtlose Kommunikationsverbindung in Verbindung steht. Über das trainierte neuronale Netz kann eine Detektion, Klassifikation und/oder Segmentierung von Infrastrukturelementen mit verringertem Rechenaufwand ermöglicht werden.
Eine vorteilhafte Ausgestaltung sieht vor, dass für jedes detektierte Infrastrukturelement ein dazugehöriges 3D-Objekt erzeugt wird, insbesondere anhand der 3D-Punktwolke. Das Erzeugen des 3D-Objekts erfolgt bevorzugt ausgehend von der 3D-Punktwolke im geodätischen Referenzsystem und ist somit georeferenziert. Das 3D-Objekt kann eine Textur aufweisen. Bevorzugt umfasst die mobile Erfassungsvorrichtung einen Grafikprozessor (GPU), der dazu eingerichtet ist, das dem erfassten Infrastrukturelement entsprechende 3D-Objekt darzustellen.
Gemäß einer vorteilhaften Ausgestaltung wird vorgesehen, dass mittels einer Anzeigeeinrichtung der mobilen Erfassungseinheit eine Darstellung der 3D-Punktwolke angezeigt wird. Dies bietet den Vorteil, dass der Benutzer der mobilen Erfassungsvorrichtung, die 3D-Punktwolke vor Ort, beispielsweise unmittelbar nach dem Erfassen der Infrastrukturelemente in der geöffneten Baugrube, betrachten und ggf. überprüfen kann.
Gemäß einer vorteilhaften Ausgestaltung wird vorgesehen, dass mittels einer Anzeigeeinrichtung der mobilen Erfassungseinheit ein 2D-Lageplan angezeigt wird. Der 2D-Lageplan kann mittels einer Datenverarbeitungseinrichtung der mobilen Erfassungsvorrichtung erzeugt werden, beispielsweise anhand der insbesondere georeferenzierten 3D-Punktwolke. Bevorzugt kann der2D-Lageplan in einer Datei gespeichert werden, beispielsweise im .dxf-Dateiformat. Die Ausgestaltung eines solchen 2D-Lageplans dient dazu, die Infrastrukturelemente digital in die individuellen Geoinformationssysteme der zuständigen Inhaber zu integrieren.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass mittels einer Anzeigeeinrichtung der mobilen Erfassungsvorrichtung eine Stückliste von Infrastrukturelementen, insbesondere von Leitungselementen und Verbindungselementen, angezeigt wird. Die Stückliste kann mittels einer Datenverarbeitungseinrichtung der mobilen Erfassungsvorrichtung anhand der detektierten, klassifizierten und/oder segmentierten Infrastrukturelemente erzeugt und durch den Benutzer manuell angepasst werden. Die Stückliste kann beispielweise Infrastrukturelemente unterschiedlicher Leitungsnetzwerke umfassen. Die Stückliste kann beispielsweise Informationen über die Anzahl der jeweiligen Infrastrukturelemente und/oder die Anzahl an verlegten Längeneinheiten der jeweiligen Infrastrukturelemente und/oder die Positionsangabe des jeweiligen Infrastrukturelements in einem geodätischen Referenzsystem und/oder den Baufortschritt umfassen.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass mittels einer Anzeigeeinrichtung der mobilen Erfassungsvorrichtung eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion eines oder mehrerer 3D-Objekte, die einem Infrastrukturelement entsprechen, angezeigt wird. Zur Projektion des 3D-Objektes des Infrastrukturelementes auf die Baugrube muss zunächst die Orientierung der Kamerablickrichtung der mobilen Erfassungsvorrichtung initialisiert werden. Dazu muss der Benutzer die mobile Erfassungsvorrichtung beispielweise über einen Bereich weniger Meter zur Örtlichkeit bewegen oder ein bestimmtes Bewegungsmuster/Prozedur ausführen, um über ausreichende Sensordaten der mobilen Erfassungsvorrichtung die Orientierung im Raum zu verfügen. Bevorzugt wird eine Überlagerung der Bilddaten der als Teil der 3D-Rekonstruktionseinrichtung vorgesehenen 2D-Kamera mit mehreren Projektionen der 3D-Objekten angezeigt, die mehreren, insbesondere miteinander verbundenen Infrastrukturelementen, entsprechen. Eine derartige Darstellung kann auch als „augmented realtity“-Darstellung bezeichnet werden und ermöglicht eine realitätsnahe bzw. lagerichtige Darstellung der verdeckt angeordneten Infrastrukturelemente auch im geschlossenen Zustand. Das bedeutet, dass mittels der mobilen Erfassungsvorrichtung einem Benutzer auch nach dem Schließen der Baugrube eine realitätsnahe Darstellung der unter der Erde verlegten Infrastrukturelemente dargestellt werden kann. Aufgrund der georeferenzierten Bilddaten muss der Benutzer die Infrastrukturelemente nicht freilegen, um deren Verlauf mit hoher Genauigkeit wahrnehmen zu können.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass mittels einer Anzeigeeinrichtung der mobilen Erfassungsvorrichtung eine Überlagerung von Bilddaten einer als Teil der 3D-Rekonstruktionseinrichtung vorgesehenen 2D-Kamera der Erfassungsvorrichtung mit einer Projektion mehrerer Punkte der 3D-Punktwolke angezeigt wird. Wird eine Projektion der 3D-Punktwolke in der Anzeigevorrichtung angezeigt, ergibt sich gegenüber der Darstellung der Projektion eines 3D-Objekts zwar ein erhöhter Rechenaufwand bei der Darstellung. Allerdings kann dann auf eine vorhergehende Erzeugung des 3D-Objekts verzichtet werden.
Die mobile Erfassungsvorrichtung umfasst bevorzugt eine Anzeigeeinrichtung zur Anzeige von Anzeigedaten und eine Datenverarbeitungseinrichtung, die dazu eingerichtet ist, Anzeigedaten bereitzustellen, die

- eine Darstellung der 3D-Punktwolke und/oder
- ein 2D-Lageplan und/oder
- eine Stückliste von Infrastrukturelementen und/oder
- eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion eines oder mehrerer 3D-Objekte, die einem Infrastrukturelement entsprechen, und/oder
- eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion mehrerer Punkte der 3D-Punktwolke

Gemäß einer vorteilhaften Ausgestaltung umfasst die mobile Erfassungsvorrichtung einen Laserpointer zur optischen Markierung von Infrastrukturelementen und/oder zur erweiterten Distanzmessung und/oder zur Initialisierung der Orientierung in der Anzeigerichtung.
Gemäß einer vorteilhaften Ausgestaltung umfasst die mobile Erfassungsvorrichtung einen Polarisationsfilter zur Vermeidung von Glanz, Spiegelung und Reflexionen zur Qualitätssteigerung und Optimierung der Beobachtungsdaten.
Gemäß einer vorteilhaften Ausgestaltung umfasst die mobile Erfassungsvorrichtung eine oder mehrere Beleuchtungseinrichtungen zur verbesserten Detektion, Klassifikation und/oder Segmentierung von Infrastrukturelementen.
Weitere Einzelheiten und Vorteile der Erfindung sollen nachfolgend anhand der in den Figuren gezeigten Ausführungsbeispiele erläutert werden. Hierin wird folgendes gezeigt:

1 ein Ausführungsbeispiel einer mobilen Erfassungsvorrichtung gemäß der Erfindung in einer schematischen Blockdarstellung;
2 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Erfassung von freiliegenden und sich im Untergrund befindlichen Infrastrukturelementen in einem Ablaufdiagramm; und
3 eine beispielhafte Projektion einer 3D-Punktwolke.

In 1 ist ein Blockdiagramm eines Ausführungsbeispiels einer mobilen Erfassungsvorrichtung 1 zur Erfassung von freiliegenden, sich im Untergrund befindlichen Infrastrukturelementen, insbesondere in einer geöffneten Baugrube, dargestellt. Die mobile Erfassungsvorrichtung 1 umfasst unter anderem einen oder mehrere Empfänger 2, bestehend aus einer Empfangsanlage mit einer Antenne zum Empfangen und Verarbeiten von Signalen eines oder mehrerer globaler Navigationssatellitensysteme und zur Ermittlung einer ersten Position der Erfassungsvorrichtung im globalen Bezugssystem anhand von Laufzeitmessungen der Satellitensignale. Insbesondere mittels einer Referenzstation oder dem Dienst eines Referenznetzwerks kann diese erste Position der Erfassungsvorrichtung 1 im globalen Bezugssystem verbessert werden. Die mobile Erfassungsvorrichtung 1 enthält auch eine 3D-Rekonstruktionseinrichtung 4 zur Erfassung von Bilddaten und/oder Tiefendaten einer Szene, die freiliegende, sich im Untergrund befindliche Infrastrukturelemente enthält. Weiterhin umfasst die mobile Erfassungsvorrichtung 1 eine inertiale Messeinheit 3 zur Messung der Beschleunigungen entlang der Hauptachsen und der Winkelgeschwindigkeiten der Drehungen der mobilen Erfassungsvorrichtung 1. Darüber hinaus werden eine oder mehrere, zweite Positionsangaben der Position der Erfassungsvorrichtung entweder mittels visueller Odometrie der Bilddaten und/oder Tiefendaten oder mittels einer inertialen Messeinheit 3 durch simultane Positionsbestimmung und Kartenerstellung geschätzt. Der oder die Empfänger 2, die inertiale Messeinheit 3 und die 3D-Rekonstruktionseinrichtung 4 sind in einem gemeinsamen Gehäuse oder auf einem Gestell 9 angeordnet.
Das Gehäuse oder das Gestell 9 weisen Abmessungen auf, die es ermöglichen, dass die mobile Erfassungsvorrichtung 1 durch einen Benutzer mit beiden Händen, bevorzugt in einer einzigen Hand gehalten werden kann. Beispielsweise weist das Gehäuse oder das Gestell 9 eine größte Kantenlänge auf, die kleiner ist als 50 cm, bevorzugt kleiner ist als 40 cm, besonders bevorzugt kleiner ist als 30 cm, beispielsweise kleiner ist als 20 cm.
Weitere Bestandteile der mobilen Erfassungsvorrichtung 1, die ebenfalls in dem Gehäuse oder auf dem Gestell 9 angeordnet sind, sind ein Laserpointer 5, eine Datenverarbeitungseinrichtung 6, eine Speichereinheit 7, eine Kommunikationseinrichtung 10 und eine Anzeigeeinrichtung 8.
Der Laserpointer 5 kann zur optischen Markierung von Infrastrukturelementen und/oder zur ergänzenden Distanzmessung verwendet werden und ist derart in dem Gehäuse oder Gestell 9 angeordnet, dass mit ihm ein Laserstrahl erzeugbar ist, der in Richtung des mit der 3D-Rekonstruktionseinrichtung 4 erfassten Szene zeigt, beispielsweise in die Mitte der mit der 3D-Rekonstruktionseinrichtung 4 erfasste Szene.
Die Datenverarbeitungseinrichtung 6 ist mit dem oder den Empfängern 2, der inertialen Messeinheit 3 und der 3D-Rekonstruktionseinrichtung 4 verbunden, so dass die einzelnen gemessenen und geschätzten Daten sowie die Bilddaten der Datenverarbeitungseinrichtung 6 zugeführt werden können. Ferner sind der Laserpointer 5, die Speichereinheit 7 und die Anzeigeeinrichtung 8 mit der Datenverarbeitungseinrichtung 6 verbunden.
Die Erfassungsvorrichtung 1 enthält eine Kommunikationseinrichtung 10, die insbesondere als Kommunikationseinrichtung zur drahtlosen Kommunikation, beispielsweise mittels Bluetooth, WLAN oder Mobilfunk, ausgestaltet ist.
Die Anzeigeeinrichtung 8 dient der Visualisierung der mittels der Erfassungsvorrichtung 1 erfassten Infrastrukturelemente. Die Anzeigeeinrichtung 8 ist bevorzugt als kombinierte Anzeige- und Bedieneinrichtung, beispielsweise nach Art eines berührungsempfindlichen Bildschirms, (engl. touchscreen) ausgebildet.
Die in 1 gezeigte mobilen Erfassungsvorrichtung 1 kann in einem Verfahren zur Erfassung von freiliegende, sich im Untergrund befindlichen Infrastrukturelementen Verwendung finden. Ein Ausführungsbeispiel eines solchen Verfahrens 100 soll nachfolgend anhand der Darstellung in 2 erläutert werden.
Bei dem Verfahren 100 zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks in einer geöffneten Baugrube mit einer mobilen Erfassungsvorrichtung 1 werden in einem Erfassungsschritt 101 mittels einem oder mehrerer Empfänger 2 der mobilen Erfassungsvorrichtung 1 Signale eines oder mehrerer globaler Navigationssatellitensysteme empfangen und verarbeitet sowie eine oder mehrere Positionsangaben der Position der Erfassungsvorrichtung 1 im globalen Bezugssystem ermittelt. Gleichzeitig werden mittels einer als Teil der 3D-Rekonstruktionseinrichtung 4 vorgesehenen 2D-Kamera der mobilen Erfassungsvorrichtung 1 Bilddaten einer Szene, die freiliegende, sich im Untergrund befindliche Infrastrukturelemente enthält, erfasst. Darüber hinaus werden eine oder mehrere, zweite Positionsangaben der Position der Erfassungsvorrichtung entweder mittels visueller Odometrie der Bilddaten und/oder Tiefendaten oder mittels einer inertialen Messeinheit 3 durch simultane Positionsbestimmung und Kartenerstellung geschätzt. Die inertiale Messeinheit ist dazu eingerichtet, lineare Beschleunigungen der mobilen Erfassungsvorrichtung 1 in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung 1um diese Hauptachsen zu erfassen. Die Erfassungsvorrichtung 1 wird entweder von einer Person, bevorzugt mit beiden Händen einer Person, besonders bevorzugt mit einer Hand einer Person, getragen oder als unbemanntes Luftfahrzeug ausgebildet oder an einer Bodenmaschine bzw. einem Bodenfahrzeug befestigt.
Die geschätzte zweite Position im lokalen System, die geschätzte Orientierung im lokalen Bezugssystem, die gemessene erste Position im globalen Bezugssystem, die gemessenen Beschleunigungen entlang der Hauptachsen und die gemessen Winkelgeschwindigkeiten der Drehungen der mobilen Erfassungsvorrichtung 1 um die Hauptachsen und die erfassten Bilddaten werden synchronisiert in der Speichereinheit 7 der Erfassungsvorrichtung 1 abgespeichert. Der Benutzer kann sich mit der Erfassungsvorrichtung 1 während des Erfassungsschritts 101 bewegen, beispielsweise entlang eines freiliegendes Infrastrukturelements. Durch die synchronisierte Speicherung dieser Daten wird sichergesellt, dass die Daten in den nachfolgenden Verfahrensschritten korrekt verarbeitet werden können. Die von der 3D-Rekonstruktionseinrichtung erfassten Bilddaten werden in einem nachfolgenden Rekonstruktionsschritt 102 derart aufbereitet, dass sie eine 3D-Punktwolke mit mehreren Punkten und Farbinformationen für die Punkte erzeugen. Insofern wird hier von einer kolorierten 3D-Punktwolke gesprochen.
In einem Georeferenzierungsschritt 103 wird danach den Punkten der 3D-Punktwolke anhand der geschätzten zweiten Position der 3D-Rekonstruktionseinrichtung 4 im lokalen Bezugssystem, der geschätzten Orientierung der 3D-Rekonstruktionseinrichtung 4 im lokalen Bezugssystem und der gemessenen ersten Positionen der mobilen Erfassungsvorrichtung 1 im globalen Bezugssystem und der gemessenen Beschleunigungen der mobilen Erfassungsvorrichtung 1 entlang der Hauptachsen und der gemessenen Winkelgeschwindigkeiten der Drehungen der mobilen Erfassungsvorrichtung 1 um die Hauptachsen der mobilen Erfassungsvorrichtung 1 eine erste Positionsangabe in einem geodätischen Referenzsystem, beispielsweise einem amtlich anerkannten Koordinatensystem zugewiesen. Insofern wird nach dem Georeferenzierungsschritt 103 eine kolorierte, georeferenzierte 3D-Punktwolke errechnet und bereitgestellt.
Danach werden in einem Erkennungsschritt 104 anhand der Farbinformationen der Daten, Infrastrukturelemente detektiert. Zur Detektion Klassifikation und/oder Segmentierung der Infrastrukturelemente werden Farbinformationen der erfassten Bilddaten mit einer vorgegebenen Farbinformation verglichen. Alternativ oder zusätzlich kann eine Markierung der Infrastrukturelemente durch den Benutzer bei der Erfassung der Szene mittels des Laserpointers 5 erfolgt sein. Die Markierung durch den Laserpointer 5 kann in den Bilddaten detektiert und zur Detektion der Infrastrukturelemente herangezogen werden. Als Ergebnis des Erkennungsschritts 104 sind mehrere Bildpunkte der Bilddaten, insbesondere mehrere Punkte der kolorierten, georeferenzierten 3D-Punktwolke, jeweils einem gemeinsamen Infrastrukturelement zugewiesen, beispielsweise einem Leitungselement oder einem Leitungsverbindungselement. Die Darstellung in 3 zeigt eine beispielhafte Abbildung eines erkannten Infrastrukturelements in einer 2D-Projektion.
In einem nachfolgenden Datenaufbereitungsschritt 105 werden die erzeugten Daten des einzelnen Erkennungsschritt aufbereitet und dessen Infrastrukturelemente detektiert. Die Aufbereitung kann mittels der Datenverarbeitungseinrichtung 6 erfolgen. Hierbei sind verschiedene Arten der Aufbereitung möglich, die alternativ oder kumulativ durchgeführt werden können: In dem Datenaufbereitungsschritt 105 können 3D-Objekte erzeugt werden, die den erfassten Infrastrukturelementen entsprechen, so dass ein 3D-Modell des unterirdischen Leitungsnetzwerks erzeugt wird. Ferner kann eine Projektion der 3D-Punktwolke berechnet werden. Es ist möglich, dass ein 2D-Lageplan erzeugt wird, in welchen die detektierten Infrastrukturelemente wiedergegeben sind. Darüber hinaus kann eine Stückliste der erkannten Infrastrukturelemente erzeugt werden.
In einem Visualisierungsschritt 106 kann dann mittels der Anzeigeeinrichtung 8 der mobilen Erfassungsvorrichtung 1

Bezugszeichenliste

1: Mobile Erfassungsvorrichtung
2: Ein oder mehrere Empfänger
3: Inertiale Messeinheit
4: 3D-Rekonstruktionseinrichtung
5: Laserpointer
6: Datenverarbeitungseinrichtung
7: Speichereinheit
8: Anzeigeeinrichtung
9: Gehäuse/Gestell
10: Kommunikationseinrichtung
100: Verfahren
101: Datenerfassungsschritt
102: Rekonstruktionsschritt
103: Georeferenzierungsschritt
104: Erkennungsschritt
105: Datenaufbereitungsschritt
106: Visualisierungsschritt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2014210856 A1 [0003, 0007]

Claims

Verfahren zur lagerichtigen Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen, insbesondere in einer geöffneten Baugrube, mit einer mobilen Erfassungsvorrichtung (1), wobei: - mittels einer 3D-Rekonstruktionseinrichtung (4) der mobilen Erfassungsvorrichtung (1) Bilddaten und/oder Tiefendaten einer Szene erfasst werden, die mindestens ein im Untergrund angeordnetes, freiliegendes Infrastrukturelement enthält und anhand dieser Bilddaten und/oder Tiefendaten eine 3D-Punktwolke mit mehreren Punkten erzeugt wird; - mittels einem oder mehreren Empfängern (2) der mobilen Erfassungsvorrichtung (1) Signale eines oder mehrerer globaler Navigationssatellitensysteme empfangen werden und eine erste Positionsangabe der Position der Erfassungsvorrichtung (1) in einem globalen Bezugssystem ermittelt wird; und - eine oder mehrere zweite Positionsangaben der Position der Erfassungsvorrichtung (1) in einem lokalen Bezugssystem und eine oder mehrere Orientierungsangaben der Orientierung der Erfassungsvorrichtung (1) in dem jeweiligen lokalen Bezugssystem ermittelt werden, a. wobei die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels einer inertialen Messeinheit (3) der mobilen Erfassungsvorrichtung (1) erfolgt, welche lineare Beschleunigungen der mobilen Erfassungsvorrichtung (1) in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung (1) um diese Hauptachsen erfasst, und/oder b. wobei die 3D-Rekonstruktionseinrichtung (4) eine oder mehrere 2D-Kameras aufweist, mittels derer die Bilddaten und/oder die Tiefendaten der Szene erfasst werden und die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Bilddaten und/oder der Tiefendaten erfolgt; und/oder c. wobei die 3D-Rekonstruktionseinrichtung (4) eine LIDAR-Messeinrichtung aufweist, mittels derer die Tiefendaten der Szene erfasst werden und die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Tiefendaten erfolgt; - den Punkten der 3D-Punktwolke anhand der ersten Positionsangabe und einer oder mehrerer der zweiten Positionsangaben sowie einer oder mehrerer der Orientierungsangaben jeweils eine Georeferenz zugewiesen wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass den Punkten der 3D-Punktwolke jeweils eine Farb- oder Grauwertinformationen zugeordnet ist, wobei die Farb- oder Grauwertinformation bevorzugt mittels der einen oder mehreren 2D-Kameras der 3D-Rekonstruktionseinrichtung (4) erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - die erste Positionsangabe der Position in dem globalen Bezugssystem und/oder dieser Positionsangabe zugeordnete Rohdaten; und - die eine oder mehreren zweiten Positionsangaben; und - die eine oder mehreren zweiten Orientierungsangaben; und - die erfassten Bilddaten und/oder die erfassten Tiefendaten und/oder die erfassten linearen Beschleunigungen der mobilen Erfassungsvorrichtung (1) in drei orthogonal aufeinander stehenden Achsen des lokalen Bezugssystems sowie die Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung (1) um diese Achsen; zeitlich synchronisiert abgespeichert werden, insbesondere in einer Speichereinheit (7) der Erfassungsvorrichtung (1).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die eine oder mehreren zweiten Positionsangaben in dem jeweiligen lokalen Bezugssystem in das globale Bezugssystem transformiert werden, bevorzugt mittels einer Rigid Body Transformation oder Helmert-Transformation oder mittels einer Hau ptachsentransform ation.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Zuweisen der Georeferenz zu den Punkten der 3D-Punktwolke mittels Sensordatenfusion erfolgt, wobei bevorzugt zur Optimierung ein Faktorgraph als grafisches Modell und/oder ein angewandtes Schätzungsverfahren, insbesondere nach Levenberg-Marquardt, angewendet wird, wobei die ersten Positionsangaben der Position in dem globalen Bezugssystem bevorzugt verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Gewährleistung der Qualität der durch den oder die Empfänger (2) ermittelten einen oder mehreren ersten Positionsangaben im globalen Bezugssystem ein oder mehrere Qualitätsparameter der globalen Satellitennavigationssysteme, beispielsweise DOP (engl. Dilution of Precision), überwacht werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Plausibilität einer zeitlichen Abfolge von ersten Positionsangaben der Position der Erfassungsvorrichtung (1) in dem globalen Bezugssystem ermittelt wird, bevorzugt indem anhand der zeitlichen Abfolge von ersten Positionsangaben eine erste Geschwindigkeitsangabe ermittelt wird, anhand der erfassten linearen Beschleunigungen und Winkelgeschwindigkeiten eine zweite Geschwindigkeitsangabe berechnet wird und mit der ersten Geschwindigkeitsangabe verglichen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der 3D-Punktwolke und/oder anhand der Bilddaten, mindestens ein Infrastrukturelement, insbesondere eine Leitung oder ein Verbindungselement, detektiert und klassifiziert wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass zur Detektion, Klassifikation und/oder Segmentierung eines Infrastrukturelements ein oder mehrere Verfahren der Bildsegmentierung, wie beispielsweise Schwellwertverfahren, insbesondere Histogramm-basierte Verfahren, oder texturorientierte Verfahren, Region-basierte Verfahren, oder auch pixelbasierte Verfahren wie beispielsweise Support Vector Maschine, Entscheidungsbäume und Neuronale Netze eingesetzt werden.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass zur Detektion, Klassifikation und/oder Segmentierung mindestens ein Histogramm von Farb- und/oder Grauwertinformationen, und/oder Sättigungswertinformationen und/oder Helligkeitswertinformationen und/oder eines elektromagnetischen Wellenspektrums mehrerer Punkte der 3D-Punktwolke erzeugt wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass in dem Histogramm oder in den Histogrammen lokale Maxima detektiert werden und unter den lokalen Maxima solche Maxima mit den geringsten Abständen zu einem vorgegebenen Farb-, Sättigung- und Helligkeits-Schwellenwert eines Infrastrukturelements detektiert werden.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass eine Gruppe von Punkten, deren Punkte einen vorgegebenen Abstands-Schwellenwert zu den aus den detektierten lokalen Maxima zusammengesetzten Farbinformationen nicht überschreiten, iterativ durch weitere Punkte, die einen definierten geometrischen und farblichen Abstand zu denen der Gruppe nicht überschreiten, erweitert wird, um einen örtlich zusammenhängenden Bereich eines Infrastrukturelements mit ähnlichen Farbinformationen zu bilden.
Verfahren nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass zur Detektion, Klassifikation und/oder Segmentierung der Infrastrukturelemente und/oder zur verbesserten Distanzmessung und/oder zur Initialisierung der absoluten Orientierung ein Lichtpunkt eines Laserpointers (5) der Erfassungsvorrichtung (1) erfasst und/oder in der Anzeigerichtung (8) angezeigt wird.
Verfahren nach einem der Ansprüche 8 bis 13, dadurch gekennzeichnet, dass zur Detektion, Klassifikation und/oder Segmentierung der Infrastrukturelemente Farb- oder Grauwertinformationen der erfassten Bilddaten, insbesondere Farb- oder Grauwertinformationen der Punkte der 3D-Punktwolke, und/oder die erfassten Tiefendaten und zugehörige Label-Informationen einem künstlichen neuronalen Netz zum Trainieren zugeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jedes detektierte Infrastrukturelement ein dazugehöriges 3D-Objekt erzeugt wird, insbesondere anhand der 3D-Punktwolke.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer Anzeigeeinrichtung (8) der mobilen Erfassungsvorrichtung (1) - eine Darstellung der 3D-Punktwolke und/oder - ein 2D-Lageplan und/oder - eine Stückliste von Infrastrukturelementen und/oder - eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion eines oder mehrerer 3D-Objekte, die einem Infrastrukturelement entsprechen, und/oder - eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion mehrerer Punkte der 3D-Punktwolke angezeigt wird.
Mobile Erfassungsvorrichtung (1) zur lagerichtigen Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen, insbesondere in einer geöffneten Baugrube, umfassend: - eine 3D-Rekonstruktionseinrichtung (4) zur Erfassung von Bilddaten und/oder Tiefendaten einer Szene, die mindestens ein im Untergrund angeordnetes, freiliegendes Infrastrukturelement enthält, und zum Erzeugen einer 3D-Punktwolke mit mehreren Punkten anhand dieser Bilddaten und/oder Tiefendaten; - einen oder mehrere Empfänger (2) zum Empfangen von Signalen eines oder mehrerer globaler Navigationssatellitensysteme und zur Ermittlung einer ersten Positionsangabe der Position der Erfassungsvorrichtung (1) in einem globalen Bezugssystem; - eine inertiale Messeinheit (3) zur Ermittlung einer zweiten Positionsangabe der Position der Erfassungsvorrichtung (1) in einem lokalen Bezugssystem und einer Orientierungsangabe der Orientierung der Erfassungsvorrichtung (1) in dem lokalen Bezugssystem, wobei die inertiale Messeinheit (3) eingerichtet ist, lineare Beschleunigungen der mobilen Erfassungsvorrichtung (1) in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung (1) um diese Hauptachsen zu erfassen; und/oder wobei die 3D-Rekonstruktionseinrichtung (4) eine oder mehrere 2D-Kameras aufweist, mittels derer Bilddaten der Szene erfassbar sind, wobei eine zweite Positionsangabe der Position der Erfassungsvorrichtung in dem lokalen Bezugssystem und die Orientierungsangabe mittels visueller Odometrie anhand der Bilddaten ermittelbar ist; und/oder wobei die 3D-Rekonstruktionseinrichtung (4) eine LIDAR-Messeinrichtung aufweist, mittels derer Tiefendaten der Szene erfassbar sind, wobei eine zweite Positionsangabe der Position der Erfassungsvorrichtung in dem lokalen Bezugssystem und die Orientierungsangabe mittels visueller Odometrie anhand der Tiefendaten erfolgt; - wobei die Erfassungsvorrichtung eingerichtet ist, den Punkten der 3D-Punktwolke, anhand der ersten Positionsangabe und einer oder mehrerer der zweiten Positionsangaben sowie einer oder mehrerer der Orientierungsangaben jeweils eine Georeferenz zuzuweisen.
Mobile Erfassungsvorrichtung nach dem Anspruch 17, dadurch gekennzeichnet, dass der oder die Empfänger (2) dazu eingerichtet sind, Signale eines oder mehrerer globaler Navigationssatellitensysteme und/oder landbasierter Referenzstationen, bevorzugt mit Korrekturdaten aus Referenzdiensten, zu empfangen und zu verarbeiten.
Mobile Erfassungsvorrichtung nach einem der Ansprüche 17 oder 18, dadurch gekennzeichnet, dass die 3D-Rekonstruktionseinrichtung (4) eine Time-of-Flight-Kamera, eine Structured-Light-Kamera, eine Stereokamera, eine LIDAR-Messeinrichtung, eine RADAR-Messeinrichtung und/oder eine Kombination derer untereinander, insbesondere mit einer oder mehreren 2D-Kameras, aufweist.
Mobile Erfassungsvorrichtung nach einem der Ansprüche 17 bis 19, gekennzeichnet durch ein Gehäuse (9), wobei der oder die Empfänger (2) und die inertiale Messeinheit (3) und die 3D-Rekonstruktionseinrichtung (4) in dem Gehäuse (9) angeordnet sind; oder durch ein Gestell (9), wobei der oder die Empfänger (2) und die inertiale Messeinheit (3) und die 3D-Rekonstruktionseinrichtung (4) auf dem Gestell (9) angeordnet sind.
Mobile Erfassungsvorrichtung nach einem der Ansprüche 17 bis 20, dadurch gekennzeichnet, dass die mobile Erfassungsvorrichtung (1) von einer Person tragbar ist, bevorzugt mit beiden Händen einer Person, besonders bevorzugt mit einer Hand einer Person haltbar ist, oder als unbemanntes Luftfahrzeug ausgebildet ist oder an einer Bodenmaschine bzw. einem Bodenfahrzeug befestigbar ist.
Mobile Erfassungsvorrichtung nach einem der Ansprüche 17 bis 21, gekennzeichnet durch eine Anzeigeeinrichtung (8) zur Anzeige von Anzeigedaten und eine Datenverarbeitungseinrichtung (6) die dazu eingerichtet ist, Anzeigedaten bereitzustellen, die - eine Darstellung der 3D-Punktwolke und/oder - ein 2D-Lageplan und/oder - eine Stückliste von Infrastrukturelementen und/oder - eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion eines oder mehrerer 3D-Objekte, die einem Infrastrukturelement entsprechen, und/oder - eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion mehrerer Punkte der 3D-Punktwolke umfassen.
Mobile Erfassungsvorrichtung nach einem der Ansprüche 17 bis 22, gekennzeichnet durch einen Laserpointer (5) zur optischen Markierung von Infrastrukturelementen und/oder zur erweiterten Distanzmessung und/oder zur Initialisierung der Orientierung in der Anzeigerichtung.
Mobile Erfassungsvorrichtung nach einem der Ansprüche 17 bis 23, gekennzeichnet durch einen Polarisationsfilter zur Vermeidung von Glanz, Spiegelung und Reflexionen zur Qualitätssteigerung und Optimierung der Beobachtungsdaten.
Mobile Erfassungsvorrichtung nach einem der Ansprüche 17 bis 24, gekennzeichnet durch eine oder mehrere Beleuchtungseinrichtungen zur verbesserten Detektion, Klassifikation und/oder Segmentierung von Infrastrukturelementen.