DE102013110583C5

DE102013110583C5 - Verfahren und Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung

Info

Publication number: DE102013110583C5
Application number: DE102013110583.1A
Authority: DE
Inventors: Jürgen Gittinger; Martin Ossig
Original assignee: Faro Technologies Inc
Current assignee: Faro Technologies Inc
Priority date: 2013-09-24
Filing date: 2013-09-24
Publication date: 2017-12-14
Anticipated expiration: 2033-09-25
Also published as: DE102013110583B3; JP2016537613A; GB2533753A; WO2015048053A1

Abstract

Verfahren zum optischen Abtasten und Vermessen einer Umgebung eines Laserscanners (10), wobei a) ein Lichtsender (17) des Laserscanners (10) einen Sendelichtstrahl (18) aussendet, b) der Sendelichtstrahl (18) mittels eines um eine horizontale Achse drehbaren Spiegels (16) in die Umgebung ausgesandt wird, c) der Spiegel (16) einen von einem Objekt (O) in der Umgebung des Laserscanners (10) reflektierten oder sonst irgendwie gestreuten Empfangslichtstrahl (20) aus der Umgebung einfängt, d) der Spiegel (16) den Empfangslichtstrahl (20) auf einen Lichtempfänger (21) des Laserscanners (10) gibt, welcher den Empfangslichtstrahl (20) empfängt, e) eine Steuer- und Auswertevorrichtung (22) des Laserscanners (10) für eine Vielzahl von Messpunkten (X) jeweils wenigstens die Distanz (d) zum Objekt (O) ermittelt, f) der Spiegel (16) das Bild der Umgebung auf eine Farbkamera (25) des Laserscanners (10) lenkt, g) die Farbkamera (25) Bilder der Umgebung aufnimmt, mittels derer die Steuer- und Auswertevorrichtung (22) den Messpunkten (X) Farben zuordnet, dadurch gekennzeichnet, dass h) die Farbkamera (25) eine Sequenz von Bildern mit niedrigem Dynamikumfang und mit unterschiedlichen Belichtungszeiten aufnimmt, i) aus denen ein Bild mit hohem Dynamikumfang erzeugt wird, j) eine dynamisch bestimmte mittlere Helligkeit und/oder Helligkeitsstatistik berücksichtigt wird, um die benötigte Anzahl von aufzunehmenden Bildern zu begrenzen, k) eine Mittelung der Helligkeitswerte über eine Drehung des Spiegels (16) um seine horizontale Achse hinweg erfolgt, und aufgrund der gemittelten Helligkeitswerte die verschiedenen Belichtungszeiten für die Sequenz von Bildern mit niedrigem Dynamikumfang definiert werden.

Description

Die Erfindung betrifft ein Verfahren mit den Merkmalen des Oberbegriffs des Anspruches 1.
In der DE 10 2009 055 988 B3 ist ein Laserscanner beschrieben, der nach dem Verfahren der eingangs genannten Art arbeitet. Zum Einfärben eines Scans werden farbige Bilder verwendet, die pixelweise den Messwerten des Scans zugeordnet werden. Die Hardware der Farbkamera gibt die Qualität der farbigen Bilder vor, auch hinsichtlich Helligkeiten und Kontrast.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren der eingangs genannten Art zu verbessern. Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruches 1 gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.
Da der Sendelichtstrahl einfarbig ist, ist der Scan als Gesamtheit der Messpunkte zunächst graustufig. Das Einfärben der graustufigen Scans mittels der Bilder der Farbkamera ermöglicht einen realistischeren Eindruck von der Umgebung. Die Farbkamera nimmt eine Sequenz von Bildern mit niedrigem Dynamikumfang auf. Aus dieser Sequenz erzeugt die Steuer- und Auswertevorrichtung ein Bild mit hohem Dynamikumfang. Die Vergrößerung des Dynamikumfangs wird dadurch erreicht, dass die Bilder der Sequenz mit unterschiedlichen Belichtungszeiten aufgenommen werden, also unterschiedliche Helligkeiten (Helligkeitswerte) aufweisen. Der erzeugte Bild mit hohem Dynamikumfang wird kontrastreicher.
Je nach beabsichtigter Auswertung kann das Bild mit hohem Dynamikumfang direkt zum Einfärben des Scans verwendet werden oder auf ein Bild mit niedrigem Dynamikumfang reduziert werden, um damit den Scan einzufärben. Im Endergebnis werden große Helligkeitsunterschiede kontrastreicher erfasst. Insbesondere werden Sättigungen bei den Farben der Messpunkte vermieden.
Die Verbindung zwischen dem Laserscanner, gegebenenfalls außerhalb des Messkopfes angeordneter Teile der Steuer- und Auswertevorrichtung, gegebenenfalls einer Anzeigevorrichtung auf einem an den Laserscanner angeschlossenen Computer, und weiterer in das System eingebundener Computer kann drahtgebunden oder drahtlos, beispielsweise mittels WLAN, erfolgen.
Im Folgenden ist die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert. Es zeigen
1 eine teilweise geschnittene Darstellung von Teilen des Laserscanners,
2 eine teilweise geschnittene Darstellung des Laserscanners im Betrieb, und
3 eine pespektivische Ansicht des Laserscanners.
Ein Laserscanner 10 ist als Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung des Laserscanners 10 vorgesehen. Der Laserscanner 10 weist einen Messkopf 12 und einen Fuß 14 auf. Der Messkopf 12 ist als eine um eine vertikale Achse drehbare Einheit auf dem Fuß 14 montiert. Der Messkopf 12 weist einen um eine horizontale Achse drehbaren Spiegel 16 auf. Der Schnittpunkt der beiden Drehachsen sei als Zentrum C₁₀ des Laserscanners 10 bezeichnet.
Der Messkopf 12 weist ferner einen Lichtsender 17 zum Aussenden eines Sendelichtstrahls 18 auf. Der Sendelichtstrahl 18 ist vorzugsweise ein Laserstrahl im Bereich von ca. 300 bis 1600 nm Wellenlänge, beispielsweise 1550 nm, 905 nm, 790 nm oder weniger als 400 nm, jedoch sind prinzipiell auch andere elektromagnetische Wellen mit beispielsweise größerer Wellenlänge verwendbar. Der Sendelichtstrahl 18 ist mit einem Modulationssignal amplitudenmoduliert. Der Sendelichtstrahl 18 wird vom Lichtsender 17 auf den Spiegel 16 gegeben, dort umgelenkt und in die Umgebung ausgesandt. Ein von einem Objekt O in der Umgebung reflektierter oder sonst irgendwie gestreuter Empfangslichtstrahl 20 wird vom Spiegel 16 wieder eingefangen, umgelenkt und auf einen Lichtempfänger 21 gegeben. Die Richtung des Sendelichtstrahls 18 und des Empfangslichtstrahls 20 ergibt sich aus den Winkelstellungen des Spiegels 16 und des Messkopfes 12, welche von den Stellungen ihrer jeweiligen Drehantriebe abhängen, die wiederum von jeweils einem Encoder erfasst werden.
Eine Steuer- und Auswertevorrichtung 22 steht mit dem Lichtsender 17 und dem Lichtempfänger 21 im Messkopf 12 in Datenverbindung, wobei Teile derselben auch außerhalb des Messkopfes 12 angeordnet sein können, beispielsweise als ein am Fuß 14 angeschlossener Computer. Die Steuer- und Auswertevorrichtung 22 ist dazu ausgebildet, für eine Vielzahl von Messpunkten X die Distanz d des Laserscanners 10 zu dem (beleuchteten Punkt am) Objekt O aus der Laufzeit des Sendelichtstrahls 18 und des Empfangslichtstrahls 20 zu ermitteln. Hierzu kann beispielsweise die Phasenverschiebung zwischen den beiden Lichtstrahlen 18, 20 bestimmt und ausgewertet werden.
An die Steuer- und Auswertevorrichtung 22 ist eine Anzeigevorrichtung 24 angeschlossen. Die Anzeigevorrichtung 24 ist vorliegend ein Display am Laserscanner 10, sie kann aber alternativ auch das Display eines am Fuß 14 angeschlossenen Computers sein.
Mittels der (schnellen) Drehung des Spiegels 16 wird entlang einer Kreislinie abgetastet. Mittels der (langsamen) Drehung des Messkopfes 12 relativ zum Fuß 14 wird mit den Kreislinien nach und nach der gesamte Raum abgetastet. Die Gesamtheit der Messpunkte X einer solchen Messung sei als Scan bezeichnet. Das Zentrum C₁₀ des Laserscanners 10 definiert für einen solchen Scan den Ursprung des lokalen stationären Bezugssystems. In diesem lokalen stationären Bezugssystem ruht der Fuß 14.
Jeder Messpunkt X umfasst außer der Distanz d zum Zentrums C₁₀ des Laserscanners 10 als Wert noch eine Helligkeit, welche ebenfalls von der Steuer- und Auswertevorrichtung 22 ermittelt wird. Die Helligkeit ist ein Graustufenwert, welcher beispielsweise durch Integration des bandpass-gefilterten und verstärkten Signals des Lichtempfängers 21 über eine dem Messpunkt X zugeordnete Messperiode ermittelt wird. Optional können mittels einer Farbkamera noch Bilder erzeugt werden, mittels derer den Messpunkten noch Farben (R, G, B) als Wert zugeordnet werden können.
Der Laserscanner 10 weist eine derartige Farbkamera 25 auf, die ebenfalls an die Steuer- und Auswertevorrichtung 22 angeschlossen ist. Die Farbkamera 25 ist beispielsweise als eine CCD-Kamera oder CMOS-Kamera ausgebildet und liefert ein im Farbraum dreidimensionales Signal, vorzugsweise ein RGB-Signal, für ein im Ortsraum zweidimensionales Bild. Die Steuer- und Auswertevorrichtung 22 verknüpft den (im Ortsraum dreidimensionalen) Scan des Laserscanners 10 mit den (im Ortsraum zweidimensionalen) Bildern der Farbkamera 25, was als ”Mapping” bezeichnet wird. Die Verknüpfung erfolgt bildweise für jedes der aufgenommenen farbigen Bilder, um im Endergebnis jedem Messpunkt X des Scans eine Farbe (in RGB-Anteilen) zuzuordnen, d. h. den Scan einzufärben.
Der Lichtempfänger 21 ist in der Regel so ausgebildet, dass er nicht direkt den vom Spiegel 16 kommende Empfangslichtstrahl 20 empfängt, sondern dass der Spiegel 16 den Empfangslichtstrahl 20 auf eine Empfangsoptik 30 lenkt. Die Empfangsoptik 30 bildet den vom Spiegel 16 kommenden Empfangslichtstrahl 20 mittels optischer Bauelemente, insbesondere Linsen und/oder Spiegel, auf den Lichtempfänger 21 ab. Der Spiegel 16 weist als 45°-Schnittfläche eines Zylinders eine kleine Halbachse auf, die den Durchmesser des Empfangslichtstrahls 20 definiert. Die Empfangsoptik 30 weist eine Empfangslinse 32 auf, deren Durchmesser wenigstens so groß wie die kleine Halbachse des Spiegels 16 ist, so dass sie den Empfangslichtstrahl 20 vollständig empfangen und auf das nächste optische Bauelement projizieren kann. Die optische Achse der Empfangslinse 32 ist auf den Spiegel 16 ausgerichtet. Die Empfangsoptik 30 reduziert den Durchmesser des Empfangslichtstrahls 20 bis auf Abmessung des Lichtempfängers.
Die Farbkamera 25 und der Lichtempfänger 21 können die gleiche Empfangsoptik 30 benutzt, d. h. die Farbkamera 25 wäre – bezüglich der Richtung des Empfangslichtstrahls 20 – hinter der Empfangsoptik 30 oder innerhalb der Empfangsoptik 30 angeordnet. Eine bevorzugte Anordnung der Farbkamera 25 ist jedoch in der DE 10 2009 055 988 B3 offenbart. Die Farbkamera 25 ist – bezüglich der Richtung des Empfangslichtstrahls 20 – vor der Empfangsoptik 30 angeordnet, d. h. der Lichtempfänger 21 einerseits und die Farbkamera 25 andererseits nutzen zwar gemeinsam den Spiegel 16, aber die Empfangsoptik 30 wird nur vom Lichtempfänger 21 genutzt.
Eine Anordnung der Farbkamera 25 auf der optischen Achse der Empfangslinse 32 hat den Vorteil, dass Abbildungsfehler gering gehalten werden, d. h. die Empfangsoptik 30 und die Farbkamera 25 sehen den gleichen Ausschnitt der Umgebung. Die Farbkamera 25 kann – bezüglich der Richtung des Empfangslichtstrahls 20 – direkt auf der Empfangslinse 32 sein. Der Sendelichtstrahl 18 des Lichtsenders 17 kann dann beispielsweise mittels eines halbdurchlässigen Spiegels auf die optische Achse der Empfangslinse 32 gelenkt werden, um weiter auf den Spiegel 16 zu treffen. Alternativ kann die Farbkamera 25 mittels eines halbdurchlässigen Spiegels den Empfangslichtstrahl 20 wenigstens teilweise empfangen. Der Platz direkt auf der Empfangslinse 32 kann dann vom Lichtsender 17 eingenommen werden.
Die Lichtsender 17 und die Farbkamera 25 sind vorzugsweise zeitlich nacheinander in Betrieb, d. h. erst tastet der Laserscanner 10 – bei abgeschalteter Farbkamera 25 – mit dem Sendelichtstrahl 18 die Umgebung ab und empfängt den Empfangslichtstrahl 20, woraus ein graustufiger Scan erzeugt wird, und dann nimmt er – bei abgeschaltetem Lichtsender 17 – mittels der Farbkamera 25 die farbigen Bilder der Umgebung auf. Dann kombiniert die Steuer- und Auswertevorrichtung 22 den graustufigen Scan mit den farbigen Bildern, um den Messpunkten X Farben zuzuordnen, d. h. um den graustufigen Scan einzufärben.
Die Farbkamera 25 kann den Kontrast ihrer Bilder erhöhen. Hierzu nimmt die Farbkamera 25 eine Sequenz von Bildern mit niedrigem Dynamikumfang (low dynamic range, LDR). Der Dynamikumfang bezieht sich auf die möglichen Werte der Pixel. Die einzelnen LDR-Bilder werden mit unterschiedlicher Belichtungszeit erzeugt, so dass einzelne Bereich der Umgebung besonders gut beleuchtet aufgenommen werden. Aus der Sequenz der unterschiedlich belichteten LDR-Bilder wird ein Bild mit hohem Dynamikumfang (high dynamic range, HDR) erzeugt, vorzugsweise in der Steuer- und Auswertevorrichtung 22 oder in einer geeignet Recheneinheit der Farbkamera 25. Das HDR-Bild wird dann weiter bearbeitet. Gesättigte Helligkeitswerte, d. h. ganz dunkle und ganz helle Flächen, werden so vermieden.
Das HDR-Bild kann auch visualisiert werden, wenn die Hardware nur LDR-Bilder darstellen kann, beispielsweise auf der Anzeigevorrichtung 24. Hierzu kann ein Schieber verwendet werden oder eine Dynamikkompression (tone mapping). Bei der Dynamikkompression wird durch Operatoren, insbesondere globale Operatoren, lokalen Operatoren, frequenzbasierte Operatoren oder gradientenbasierte Operatoren der Dynamikumfang des HDR-Bildes auf ein LDR-Bild reduziert. Die hellen Flächen erscheinen dunkler und die dunklen Flächen heller. Mit den lokalen Operatoren wird eine maximale Sichtbarkeit von Details unabhängig von der Beleuchtungssituation erreicht. Vorzugsweise erfolgt eine fließende Verknüpfung lokaler Operatoren, um kontinuierliche, kantenlose Übergänge zu erzeugen.
Das resultierende LDR-Bild kann dann zum Einfärben des graustufigen Scans benutzt werden. Alternativ wird das HDR-Bild zum Einfärben des graustufen Scans benutzt. Es kann aber auch die komplette Dynamik des HDR-Bildes genutzt werden: Bei nachfolgenden Erkennungsschritten ermöglichen die fein abgestuften Helligkeiten eine genauere Lokalisierung von Objekten. Bei der Visualisierung kann ein gewählte Ausschnitt optimal dargestellt werden, und der Benutzer kann die Ansicht auf seine Bedürfnisse hin optimieren. Bei der Bildaufnahme kann eine dynamisch bestimmte mittlere Helligkeit berücksichtigt werden, so dass die benötigte Anzahl von aufzunehmenden Bildern begrenzt wird. Bei der Bildaufnahme kann eine Messung erfolgen, ob noch Bereiche im Hellen oder Dunklen nicht abgedeckt sind (was beispielsweise aus einer Helligkeitsstatistik extrahiert werden kann). Nach Überschreitung eines Grenzwertes kann die Bildaufnahme ohne Qualitätseinbuße gestoppt werden, was den Zeitbedarf für die Bildaufnahme minimiert. Abhängig von den Benutzereinstellungen kann Qualität gegen Geschwindigkeit abgestimmt werden. Um all diese Eigenschaften der Dynamik des HDR-Bildes nutzen zu können, werden vorzugsweise sowohl das HDR-Bild als auch das LDR-Bild gespeichert.
Die Mittelung der Helligkeitswerte kann über eine Drehung des Spiegels 16 hinweg erfolgen. Aufgrund der gemittelten Helligkeitswerten werden dann die verschiedenen Belichtungszeiten für die Sequenz der LDR-Bilder definiert. Die Anzahl der LDR-Bilder in der Sequenz ergibt sich aus der benötigten Abdeckung der Umgebung und ist vorrangig eine Funktion des Öffnungswinkels des Kameraobjektivs. Die Anzahl der LDR-Bilder in der Sequenz ist aber vorzugsweise kleiner als die Anzahl von Messpunkten X des graustufigen Scans über eine Drehung des Spiegels 16 hinweg.
Bezugszeichenliste

10: Laserscanner
12: Messkopf
14: Fuß
16: Spiegel
17: Lichtsender
18: Sendelichtstrahl
20: Empfangslichtstrahl
21: Lichtempfänger
22: Steuer- und Auswertevorrichtung
24: Anzeigevorrichtung
25: Farbkamera
30: Empfangsoptik
32: Empfangslinse
C₁₀: Zentrum des Laserscanners
d: Distanz
O: Objekt
X: Messpunkt

Claims

Verfahren zum optischen Abtasten und Vermessen einer Umgebung eines Laserscanners (10), wobei a) ein Lichtsender (17) des Laserscanners (10) einen Sendelichtstrahl (18) aussendet, b) der Sendelichtstrahl (18) mittels eines um eine horizontale Achse drehbaren Spiegels (16) in die Umgebung ausgesandt wird, c) der Spiegel (16) einen von einem Objekt (O) in der Umgebung des Laserscanners (10) reflektierten oder sonst irgendwie gestreuten Empfangslichtstrahl (20) aus der Umgebung einfängt, d) der Spiegel (16) den Empfangslichtstrahl (20) auf einen Lichtempfänger (21) des Laserscanners (10) gibt, welcher den Empfangslichtstrahl (20) empfängt, e) eine Steuer- und Auswertevorrichtung (22) des Laserscanners (10) für eine Vielzahl von Messpunkten (X) jeweils wenigstens die Distanz (d) zum Objekt (O) ermittelt, f) der Spiegel (16) das Bild der Umgebung auf eine Farbkamera (25) des Laserscanners (10) lenkt, g) die Farbkamera (25) Bilder der Umgebung aufnimmt, mittels derer die Steuer- und Auswertevorrichtung (22) den Messpunkten (X) Farben zuordnet, dadurch gekennzeichnet, dass h) die Farbkamera (25) eine Sequenz von Bildern mit niedrigem Dynamikumfang und mit unterschiedlichen Belichtungszeiten aufnimmt, i) aus denen ein Bild mit hohem Dynamikumfang erzeugt wird, j) eine dynamisch bestimmte mittlere Helligkeit und/oder Helligkeitsstatistik berücksichtigt wird, um die benötigte Anzahl von aufzunehmenden Bildern zu begrenzen, k) eine Mittelung der Helligkeitswerte über eine Drehung des Spiegels (16) um seine horizontale Achse hinweg erfolgt, und aufgrund der gemittelten Helligkeitswerte die verschiedenen Belichtungszeiten für die Sequenz von Bildern mit niedrigem Dynamikumfang definiert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus dem Bild mit hohem Dynamikumfang die Farben den Messpunkten (X) direkt oder mittels Erzeugung eines Bildes mit reduziertem Dynamikumfang zugeordnet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus dem Bild mit hohem Dynamikumfang mittels Dynamikkompression ein Bild mit reduziertem Dynamikumfang erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Spiegel (16) den Empfangslichtstrahl (20) auf eine Empfangsoptik (30) lenkt, welche den Empfangslichtstrahl (20) auf den Lichtempfänger (21) abbildet, wobei die Farbkamera (25) bezüglich der Richtung des Empfangslichtstrahls (20) vor der Empfangsoptik (30) angeordnet ist.
Vorrichtung, die als Laserscanner (10) ausgebildet ist, zum optischen Abtasten und Vermessen einer Umgebung nach einem Verfahren nach einem der vorhergehenden Ansprüche.