DE102006031114A1 - 3D Kombinationsmessgerät aus digitaler Kamera und Laserscanner - Google Patents

3D Kombinationsmessgerät aus digitaler Kamera und Laserscanner

Info

Publication number
DE102006031114A1
DE102006031114A1 DE102006031114A DE102006031114A DE102006031114A1 DE 102006031114 A1 DE102006031114 A1 DE 102006031114A1 DE 102006031114 A DE102006031114 A DE 102006031114A DE 102006031114 A DE102006031114 A DE 102006031114A DE 102006031114 A1 DE102006031114 A1 DE 102006031114A1
Authority
DE
Germany
Prior art keywords
scanner
beam
camera
characterized
beam path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102006031114A
Other languages
English (en)
Other versions
DE102006031114B4 (de
Inventor
Jens Knobbe
Hubert Lakner
Hans-Jörg SCHÖNHERR
Kristof Seidl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kst Kamera & System Techn GmbH
Kst Kamera & System Technik GmbH
Technische Universitaet Dresden
Original Assignee
Kst Kamera & System Techn GmbH
Kst Kamera & System Technik GmbH
Technische Universitaet Dresden
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kst Kamera & System Techn GmbH, Kst Kamera & System Technik GmbH, Technische Universitaet Dresden filed Critical Kst Kamera & System Techn GmbH
Priority to DE102006031114A priority Critical patent/DE102006031114B4/de
Publication of DE102006031114A1 publication Critical patent/DE102006031114A1/de
Application granted granted Critical
Publication of DE102006031114B4 publication Critical patent/DE102006031114B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B26/00Optical devices or arrangements using movable or deformable optical elements for controlling the intensity, colour, phase, polarisation or direction of light, e.g. switching, gating, modulating
    • G02B26/08Optical devices or arrangements using movable or deformable optical elements for controlling the intensity, colour, phase, polarisation or direction of light, e.g. switching, gating, modulating for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4812Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Abstract

Kombinationsmessgerät für Anwendungen in der Nahbereichsphotogrammetrie und der Computeranimation aus einer digitalen Kamera, vorzugsweise einer Rotationszeilenpanoramakamera mit vertikaler Bildsensor-Zeile, und einem Scannermesssystem, vorzugsweise einem Laserscanner, zur nahezu gleichzeitigen Gewinnung der 3-D-Objektinformation aus den mit der Kamera aufgenommenen 2-D-Farbbilddaten und den mit dem in mindestens einer Richtung ausgelenkten Scannerstrahl gewonnenen Entfernungsdaten, gekennzeichnet dadurch, dass der Scannerstrahlengang durch das Aufnahmeobjektiv der Kamera geführt wird. In einer vorzugsweisen Ausführung erfolgt die Einspiegelung des ausgelenkten Scannerstrahles in den Abbildungsstrahlengang der Kamera erfindungsgemäß mittels eines Hohlspiegels mit Feldlinsenfunktion, der auch als diffraktives optisches Element ausgeführt sein kann. Zur sender- und empfängerseitigen Separation der Strahlengänge werden in Kombination spezielle optische Teilerspiegel und -filter eingesetzt. Zur Auslenkung des Scannerstrahles wird vorteilhafterweise ein Mikroscannerspiegel oder ein Mikroscannerspiegel-Array verwendet.

Description

  • Stand der Technik
  • Sowohl Laserscanner als auch Digitalkameras sind als photogrammetrische Messwerkzeuge zur Bestimmung von dreidimensionalen Objektmodellen im weitesten Sinne etabliert. Dreidimensionale Modelle realer Objekte spielen in verschiedenen Bereichen eine zunehmende Rolle. Die Anwendungen reichen dabei von Planungs- und Dokumentationsaufgaben bei Bauaufnahme, Facility Management, Erstellung von Planungsgrundlagen und im Kulturgut- und Denkmalschutz bis hin zu Aufgabenstellungen der virtuellen Realität.
  • Während die photogrammetrische Stereoauswertung in ihren Grundzügen schon bereits über 100 Jahre alt ist, wurden Laserscanning und digitale Photogrammetrie als computerbasierte Messverfahren erst im Laufe der letzten 15-20 Jahre weitgehend unabhängig voneinander entwickelt./[1]
  • Bei der photogrammetrischen Stereoauswertung ist es auf Grund der unterschiedlichen Lage äquivalenter Bildpunkte von mindestens zwei fotografischen Aufnahmen möglich (allgemein als stereoskopische Parallaxe bezeichnet), die Entfernung zu bestimmen./[1][5]
  • Digitale Rotationszeilenpanoramakameras werden deshalb immer häufiger für anspruchsvolle photogrammetrische Anwendungen eingesetzt. Sie können in einem Bild die gesamte 360°-Umgebung festhalten.
  • Mit derzeit ca. 3-fach höherem Auflösungspotential als Kameras mit Matrix-Sensoren, generieren sie hochauflösende zweidimensionale Bilddaten mit hoher visueller Qualität und hohem Interpretationsgehalt./[2][3][4]
  • Um aus Panoramabildern in der photogrammetrischen Stereoauswertung dreidimensionale Objektinformationen gewinnen zu können, sind jedoch mindestens zwei, besser drei, Aufnahmen von unterschiedlichen Standpunkten notwendig.
  • Dadurch wird bei komplexen Objekten die Flexibilität und die Effektivität stark eingeschränkt.
  • Laserscanner sind zeitlich und örtlich versetzte abtastende Polarmesssysteme, welche dreidimensionale Koordinaten von Punkten auf Objektoberflächen durch die Messung von zwei Richtungen und einer Distanz bestimmen
  • Laserscanner wurden ursprünglich für den Einsatz in Flugzeugen zur digitalen Erfassung des Höhenmodells des Geländes entwickelt. In den letzten Jahren wurden sie auch verstärkt für den Nahbereich weiterentwickelt.
  • Laserscanner haben sich wegen ihrer rationellen Arbeitsweise bei der Aufnahme der 3D-Objektinformation zur Erstellung von 3D-Modellen vor Allem bei Industrieanwendungen mit geringerer Genauigkeitsanforderung und ohne notwendige Farbinformation durchgesetzt. Ein Laserscanner generiert direkt dreidimensionale Daten mit hoher Zuverlässigkeit und bietet damit die Basis für einen hohen Automatisierungsgrad in der Auswertung.
  • Ein Laserscanner kann heute mit etwa 12.000 Punkten pro Sekunde dreidimensionale Objektmodelle in Form dichter Punktwolken generieren. Die gemessenen Punkte stellen eine zufällige Repräsentation der Oberfläche dar, wodurch speziell Ecken und Kanten schlecht zu detektieren sind. Diese Punktwolken entsprechen außerdem nicht dem menschlichen Wahrnehmungsvermögen und können nur eingeschränkt durch interaktive Bewegung am Rechner interpretiert werden.
  • Einige Hersteller terrestrischer Laserscanner bieten daher eine am Scanner ansetzbare oder schon im Gehäuse eingebaute digitale Matrixkamera mit geringer bis mittlerer Auflösung an, welche zur Kolorierung der Punktwolke und damit zur erleichterten Interpretation dienen kann./[6]
  • Nach einer Phase der Unsicherheit in der Beurteilung der Perspektiven passiver abbildender Kamerasysteme und einer überzogenen Erwartungshaltung bezüglich der Möglichkeiten moderner Lasertechnologie für die Generierung qualitativ hochwertiger 3D-Modelle Ende der neunziger Jahre ist man sich international in Fachkreisen inzwischen wieder einig, dass ein vollständiger Ersatz der passiven Farbbildaufnahmesysteme durch aktive Lasersysteme weder technisch- physikalisch möglich noch wünschenswert und sinnvoll ist, sondern zukünftig die optimale Lösung in der Kombination beider Verfahren liegen wird.
  • Durch eine kombinierte Auswertung der deutlich zeitlich nacheinander erfolgenden Aufnahmen der seperaten Messsysteme Kamera und Laserscanner von einem Standpunkt aus versucht man derzeit die Vorteile beider Verfahren, d.h. hochauflösende Farbbildinformation einerseits und zuverlässige, direkte und schnelle 3D-Information andererseits teilweise zu vereinen. Dies ist hierbei jedoch wegen der erheblichen Zeitparallaxe nur bei absolut statischen Objekten sinnvoll und mit genügender Genauigkeit möglich.
  • Hierzu wurden verschiedene Arbeiten bezüglich Algorithmen und Software zur gemeinsamen automatischen Auswertung von Panoramabilddaten und Laserscannerdaten und zur sich unterstützenden gemeinsamen Kalibrierung der unterschiedlichen Messgeräte bekannt./[7][8]
  • Als Laserstrahl-Ablenkeinrichtungen sind derzeit Rotationsspiegel oder rotierende Polygonspiegel als üblicher Stand der Technik zu betrachten.
  • Si-Mikroscannerspiegel werden dagegen als Einzelelemente oder Displays hauptsächlich zur digitalen Projektion, in Barcode-Scannern und in Spektrometern eingesetzt./[9]
  • In den letzten Jahren wurden auch Untersuchungen zur Eignung von mikrosystemtechnischen Aktor-Einheiten (hier Dünnfilmaktor) zur Laserstrahlablenkung für miniaturisierte schnelle und niedrig auflösende Laserscanner zur Unterstützung von bildgebenden Fahrerassistenzsystemen (LIDAR) bekannt./[10]
  • In [11] werden die Randbedingungen für die Konstruktion einer Optischen Pinzette beschrieben, u.a. die zur Einkopplung des Laserstrahles in das Mikroskopobjektiv notwendig sind. Der in der Ebene des zu untersuchenden Objektes fokussierte Laserstrahl soll dabei außerdem in x- und y-Richtung bewegt werden. Die geringen Winkel erlauben hier die Benutzung von gewöhnlichen Linsen und Planspiegel zur Ablenkung. Alle ausgelenkten Strahlen sollen einen gemeinsamen Schnittpunkt in der Eintrittspuppille des Mikroskopobjektives haben.
  • Die Einkopplung des Messstrahles eines nichtscannenden Entfernungsmessers in den Strahlengang einer Kamera mittels einer speziell geformten Strahlteilerplatte wird in [12] beschrieben.
  • Weiterhin wurde in einer inzwischen gelöschten Patentanmeldung als Ideenskizze eine Integration von digitaler Kamera und Barcodescanner bekannt./[13]
  • Die prinzipielle Ideen, eine Rotationszeilenpanoramakamera für Stereoaufnahmen mit einem zusätzlichen separaten Laserentfernungsmesssystem auf einem gemeinsamen Drehtisch zu verwenden, wurde schon vor einigen Jahren erstmals veröffentlicht/[5]
  • Eine Vereinigung der Optiksysteme eines bildgebenden Kamerasystems mit dem eines Laserscanners entsprechend der hier im Folgenden beschriebenen erfindungsgemäßen Lösung konnte nicht recherchiert werden.
  • Literaturverzeichnis
    • [1] Luhmann, T: Nahbereichsphotogrammetrie-Grundlagen, Methoden und Anwendungen. Wichmann Verlag, Heidelberg; 2000
    • [2] Schneider, Danilo: Geometrische Modellierung einer digitalen Rotationszeilenkamera für die Nutzung als photogrammetrisches Messsystem; Diplomarbeit an der TU Dresden, Institut für Photogrammetrie und Fernerkundung; Dresden; 2002
    • [3] KST GmbH Kamera & Systemtechnik, Pirna, EYESCAN M3Dmetric Produktinformationen 2002-2004
    • [4] Schneider, D.; Maas, H.-G. (2004b): Application and accuracy potential of a strict geometric model for rotating line cameras. Paper präsentiert zum Panoramic Photogrammetry Workshop der ISPRS 2004, Dresden. International archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XXXIV, Part 5/W16
    • [5] Schönherr, Hans-Jörg, Dresden: Patentanmeldung DE 100 08 520 A1
    • [6] Mulso, Ch.; Schneider, D.; Ullrich, A.; Studnicka, N.: Untersuchungen zur Genauigkeit eines integrierten terrestrischen Laserscanner-Kamera Systems
    • [7] ] Klette, R., Aukland, NZ; Scheibe, K., DLR e.V. Berlin: „Combinations of range data and panoramic images" – new opportunities in 3d scene modeling"; Computer Graphics Image Vision: New Trends, pages 3-10, 2005
    • [8] Hirzinger, G., DLR e.V. Oberpfaffenhofen: "From Robot Vision to Multi-Sensor 3D-World Modelling"; XXth ISPRS Congress International Society for Photogrammetry and Remote Sensing, Istanbul, Turkey, 12.-13. July 2004
    • [9] Patent WO 03032046A1 : "Device for projection of an image bades an two-dimensiona resonant scanner"; Fraunhofer IPMS Dresden; 2003
    • [10] Kapp, A.; Brugger, D.; Karlsruhe: „Miniaturisierte Laserscanner zur Umfelderfassung im Fahrzeugbereich"; VDI-Berichte; 1864-249, 2004
    • [11] Fällmann, E.; Axner, O.: „Design for fully steerable dual-trap optical tweezers"; Umeå University, Dep. of Experimental Physics, Umeå 1997
    • [12] Patentanmeldung DE 423 881 : „Kamerasystem mit integrierter Entfernungsmesseinrichtung"; Optimess Gesellschaft für optoelektronische Inspektions- und Messtechnik mbH; Gera; 1992
    • [13] Patentanmeldung DE 101 58 351 : „Digitale Photo- und Scannerkamera"; Schultheis, J.-P.; Ramsbach-Baumbach; 2003
  • Ziel und Gegenstand der Erfindung
  • Das Potential einer Integration von Kamera und Laserscanner wird mit einer im Stand der Technik beschriebenen Fusion von Laserscanner- und Kameradaten bei Weitem nicht ausgeschöpft.
  • Sowohl Laserscanner als auch Rotationszeilenkamera eignen sich zur Aufnahme von 360°-Panoramen, sind aber in ihren Eigenschaften weitgehend komplementär und somit in der Lage, sich gegenseitig zu ergänzen: Das liegt vor allem an der hohen Arbeitsgeschwindigkeit der direkten Entfernungsmessung des aktiven Lasermesssystems und dem schnellen, einfachen Arbeitsablauf dieses „Einbildverfahrens" gegenüber der relativ aufwendigen und zeitintensiven prinzipbedingten Mehrbildaufnahme und 3D-Mehrbildauswertung bei der klassischen Photogrammetrie.
  • Diese Komplementarität soll deshalb in einem neuartigen integrierten Messsystem genutzt werden. Es sollen nicht nur aus Laserscannerdaten weitgehend automatisiert 3-D Objektgeometrien generiert werden können, welche dann durch Bilddaten einer Kamera überlagert werden. Die Daten der unabhängig arbeitenden Messverfahren, d.h. hochauflösende Farbbildinformation und 3D-Information räumlicher Objekte sollen mittels eines in seinen wesentlichen Komponenten gemeinsamen optomechanischen Systems nahezu pixelsynchron rationell in einem Arbeitsschritt und von einem Standpunkt aus aufgenommen werden können.
  • Ziel der Erfindung ist die prinzipielle Beseitigung der im Stand der Technik dargestellten Nachteile der Einzelgeräte bzw. -Verfahren. Erreicht werden soll dies durch die Schaffung einer integrierten Optik für einen Messkopf eines kompakten Kombinationsmesssystems aus digitaler Kamera und Laserscanner, vorzugsweise auf Basis eines Rotationszeilenpanoramascanners.
  • Die technische Herausforderung besteht dabei darin, dass die opto-mechanischen Bauelemente der bekannten Einzelgeräte Kamera und Laserscanner, die einerseits für die Bildaufnahme auf dem digitalen Zeilensensor und andererseits für das Aussenden und Empfangen des vertikal scannenden Laserstrahles notwendig sind, sich bei einer Integration gegenseitig im Wege stehen würden.
  • Im Wesentlichen ist also das Problem zu lösen, den Strahlengang des senkrecht in einem möglichst weiten Winkelbereich auszulenkenden Laserstrahls eines Laserscanners so weit wie möglich mit dem Abbildungsstrahlengang der Kamera, vorzugsweise einer Rotationszeilenpanoramakamera, zu vereinigen, ohne dass sich die Strahlengänge der beiden bei der Datenaufnahme prinzipiell unabhängig voneinander arbeitenden Messeinrichtungen gegenseitig behindern oder negativ beeinflussen.
  • Ein in Hard- und Software integriertes Panoramakamera- Laserscanner -System käme den Bedürfnissen vieler Anwender entgegen und würde daher völlig neue und lukrative Marktsegmente bei Planungs- und Dokumentationsaufgaben (Bauaufnahme; Facility Management, Erstellung von Planungsgrundlagen, Denkmalschutz) bis hin zu Aufgaben der virtuellen Realität (Internetpräsentationen, Visualisierung komplexer Planungsvorhaben, Generierung animierter Spielfilme) erschließen. Durch eine Effizienzsteigerung wird es möglich sein hochwertige 3D-Objektmodelle in Anwendungsgebieten zu erstellen, in denen dies bislang als zu kostenintensiv galt.
  • Beschreibung der Erfindung
  • Erfindungsgemäß wird das Ziel dadurch erreicht, dass der Scannerstrahl mittels eines Hohlspiegels mit Bildfeldlinsenfunktion in den Abbildungsstrahlengang der Kamera eingespiegelt wird.
  • Mit der erfindungsgemäßen Anordnung wird sowohl der vorzugsweise von einem Mikroscannerspiegel in mindestens einer Achse ausgelenkte und in Richtung Messobjekt ausgesendete als auch der wieder vom Objekt reflektierte und zum Sensor des Entfernungsmesssystems einlaufende Laserscannerstrahl in den Abbildundstrahlengang der Kamera durch das Bildaufnahmeobjektiv hindurch eingespiegelt und zusätzlich vom Abbildungsstrahlengang separiert.
  • Um den Laserstrahl für einen maximalen Scannbereich durch das Aufnahmeobjektiv zu führen, sollte dabei der Schnittpunkt der Laserstrahlen im Mittelpunkt der Blendenebene bzw. der Austrittspupille (AP) des Bildaufnahmeobjektives liegen (1).
  • Um außerdem einen konstanten Strahlquerschnitt unabhängig von der Entfernung zwischen Aufnahmegerät und Objekt zu erreichen, sollte der Laserstrahl kollimiert aus der Aufnahmeoptik austreten.
  • Zum Zwecke der geometrischen und/oder spektralen Separation des sender- bzw. empfängerseitigen Laserstrahlenganges vom Bildstrahlengang in einem minimalen Bauvolumen wird das Hohlspiegelelement in Kombination mit mindestens einem weiteren optischen spiegelnden bzw. filternden Element eingesetzt.
  • Weiterhin können die verwendeten optischen Elemente, besonders die Spiegel, zum Zwecke der Korrektur von Abbildungsfehlern des optischen Gesamtsystems speziell ausgeführt sein, wie z.B. als asphärischer Spiegel oder als Meniskus mit Rückflächenverspiegelung.
  • Die eingesetzten optischen Elemente können erfindungsgemäß auch als „Diffraktive Optische Elemente" ausgeführt sein.
  • Zur Minimierung der Baugröße erfolgt in der vorzugsweisen Ausführung die Laserstrahlauslenkung mittels eines Mikroaktors in Form eines Mikroscannerspiegels. Der Scannerspiegel kann prinzipiell auch als in zwei Achsrichtungen schwingender 2D-Microscannerspiegel ausgeführt sein.
  • Anhand der Zeichnungen zum prinzipiellen optischen Aufbau (2 bis 5) der folgenden vier Ausführungsbeispiele eines erfindungsgemäßen Kombinationsmessgerätes mit integrierter Optik auf Basis einer Rotationszeilenpanoramakamera und mit Laserstrahlauslenkung durch einen Mikroscannerspiegel soll die Erfindung näher beschrieben werden
  • In allen beschriebenen Ausführungsbeispielen dreht sich das gesamte im Messkopf integrierte erfindungsgemäße opto-mechanische System auf dem Drehtisch des Rotationspanoramascanners um dessen vertikale Achse (12), die vorzugsweise ebenfalls durch die Austrittspupille (AP) des Aufnahmeobjektives (13) verläuft.
  • Die Synchronisation der Scannerstrahlauslenkung kann entweder vom gemeinsamen Rotationsantrieb des Drehtisches oder vom Zeilenauslesetakt der Bildsensor-Zeile erfolgen.
  • Beispiel 1 (2):
  • Der Laserstrahl (––––––) tritt aus dem Laser (1) aus und wird von der Laserfokussieroptik (2) so fokussiert, dass er nach dem Durchgang durch das Aufnahmeobjektiv (13) die geringste Divergenz über den gesamten Scannbereich hat. Dazu ist der Laser bei einem mittleren Scannwinkel in der Bildebene des Aufnahmeobjektives (13) fokussiert. Nach der Laserfokussieroptik (2) ist ein Strahlteiler (3) angeordnet, der zur Vermeidung von störenden Rückreflexionen hier als teilreflektierende planparallele Spiegelplatte ausgeführt ist. Anschließend wird der Laserstrahl durch eine Ablenkeinrichtung in Form eines Mikroscannerspiegels (4) ausgelenkt.
  • Diese Ablenkeinrichtung zur Strahlauslenkung kann aber auch ein Rotationsspiegel, Polygonspiegel, ein einzelner Microaktor, ein Microspiegelarray oder ähnliches sein.
  • Die Spiegelplatte des MOEMS (micro-opto-electro-mechanical system) schwingt um seine horizontale Achse hin und zurück, wodurch der Laserstrahl im Objektraum vertikal ausgelenkt wird (14).
  • Zwischen Aufnahmeobjektiv (13) und Brennebene, d.h. hier CCD-Zeile (11) ist ein quaderförmiger Strahlteiler (5), der polarisierend ausgeführt ist, angeordnet. Die Strahlen vom Scannerspiegel durchlaufen den Quader und treffen rückseitig auf eine λ/4-Verzögerungsplatte (18), um anschließend am sphärischen Hohlspiegel (8) reflektiert zu werden. Da der Scannerspiegel genau im Mittelpunkt der Hohlspiegelsphäre liegt, nehmen die Strahlen denselben Weg durch die λ/4-Platte zurück, wo nun die Polarisationsrichtung des Lichtes um 90° in Bezug auf die vom Laser ausgesendete Strahlung gedreht wird. Damit werden die Strahlen am polarisierenden Strahlteiler (5) jetzt in Richtung Objekt (15) durch das Aufnahmeobjektiv (13) gelenkt, wo die Strahlen am Objekt (15) diffus reflektiert werden, um auf dem gleichen Weg (-------) bis zur Strahlteilerplatte (3) zurückzukehren. Der größte Teil der zurückkehrenden Strahlung (-------) durchdringt die Teilerplatte (3), wird von der Detektoroptik (16) gesammelt und vom Detektor (17) erfasst.
  • Hauptvorteile dieser Anordnung mit streng 90°-gefaltetem Strahlengang sind die geringen geometrischen Abbildungsfehler, da Form und Lage der den Objektraum abtastenden Laserlinie unabhängig vom Ablenkwinkel des Laserstrahles nahezu mit der von der Bildaufnahmezeile aufgenommenen Linie im Objektraum (2, (14)) übereinstimmt und damit quasisynchron auswertbar ist. Des Weiteren bietet der Quader die Möglichkeit, die Fläche vor der CCD-Zeile mit dem für die CCD-Zeile notwendigen Infrarotsperrfilter (11) zu bedampfen. Außerdem kann an der Fläche zum Hohlspiegel hin direkt die λ/4-Verzögerungsplatte gekittet werden.
  • Die Nachteile dieser Lösung liegen einerseits in der notwendige polarisierende dielektrische 45°-Teilerschicht für den vorzugsweise im nahen Infrarot (NIR) arbeitenden Laserstrahl zur Vermeidung von störenden Reflexen am Hohlspiegel und andererseits in der anzustrebenden nicht polarisierenden nahezu vollständigen Transmission im sichtbaren Spektralbereich für den Abbildungsstrahlengang.
  • Ungünstig ist außerdem die Schnittweitenverlängerung durch den Glaskörper des Quaders (5) im Abbildungsstrahlengang.
  • Der relativ kostenintensive quaderförmige Strahlenteiler (5) kann durch eine auch bezüglich störender Reflexe günstigere Teilerplatte ersetzt werden, wobei der auftretende Parallelversatz der Strahlen und ein erhöhter mechanischer Aufwand zu berücksichtigen sind.
  • Beispiel 2 (3):
  • Der Laserstrahl tritt wie bei Beispiel 1 aus dem Laser (1) aus und wird von der Linse (2) kollimiert. Im Weiteren wird er an einer Strahlteilerplatte (3) zum Teil reflektiert und auf die Ablenkeinrichtung gelenkt. Zur Minimierung der Baugröße der Anordnung wird hier wieder ein Microscannerspiegel (4) verwendet.
  • Auf Grund des Platzbedarfes der CCD-Zeile ist ein Planspiegel (6) notwendig. Dieser ist gegenüber der optischen Achse um 45° gedreht. Der Abstand zwischen Ablenkeinrichtung (4) und Hohlspiegel (8) ist mit dem Krümmungsradius des Hohlspiegels (8) identisch. Um die beschriebene Forderung des gemeinsamen Schnittpunktes der Laserstrahlen bei jedem Ablenkwinkel in der Austrittspupille der Aufnahmeoptik zu gewährleisten, muss der Abstand vom Hohlspiegel (8) bis zur Austrittspupille des Aufnahmeobjektives (13) wiederum dem Krümmungsradius des Hohlspiegels (8) entsprechen.
  • Vor der CCD Zeile (11) befindet sich ein als Interferenzfilter ausgeführter IR-Sperrfilter (10). Dieser transmittiert nur Wellenlängen im sichtbaren Spektralbereich. Wellenlängen im nahen Infrarotbereich werden hingegen reflektiert. Die Laserwellenlänge und der IR-Sperrfilter sind nun so aufeinander abgestimmt, dass die Laserwellenlänge vollständig reflektiert wird.
  • Damit die Strahlengänge ab dem Interferenzfilter (10) dieselbe optische Achse haben, sich aber nicht gegenseitig negativ beeinflussen sind die optischen Achsen des IR-Sperrfilters (10) und des Hohlspiegels (8) gegenläufig um einen gewissen Winkel (im Beispiel ca. 15°) um ihre senkrechte Achse gedreht. Dabei muss beachtet werden, dass sich die Sperrkante der Kennlinie des Interferenzfilters zu längeren Wellenlängen verschiebt.
  • Vorteile dieser Anordnung gegenüber Beispiel 1 sind der relativ einfache, platzsparende und kostengünstige opto-mechanische Aufbau, geringe Lichtverluste und keine notwendige Polarisierung.
  • Auf den ersten Blick nachteilig ist, dass auf Grund des gedrehten Hohlspiegels die ausgelenkten Strahlen nicht mehr in der Mitte des Spiegels auftreffen, wodurch ein vom Auslenkwinkel abhängiger horizontaler Strahlversatz in x-Richtung verursacht wird. Das bedeutet, dass die ausgelenkten Laserstrahlen nicht mehr in einer vertikalen Ebene mit der optischen Achse des Abbildungsstrahlenganges aus dem Aufnahmeobjektiv (13) austreten und im Objektraum auf einer gekrümmten Linie scannen (3, (14)).
  • Das hat zur Folge, dass die Entfernungsmessung und die Bildaufnahme eines Objektpunktes in Abhängigkeit vom vertikalen Scannwinkel nicht genau zur gleichen Zeit erfolgen. Dieser Effekt kann jedoch durch eine Kalibration des Kombinationsmesssystems und einer Korrekturrechnung der gewonnenen Messpunktkoordinaten kompensiert werden.
  • Beispiel 3 (4):
  • Der Laserstrahl tritt wie bei den vorherigen Beispielen aus dem Laser (1) aus und wird von der Linse (2) kollimiert. Im Weiteren wird er an einer Strahlteilerplatte (3) zum Teil reflektiert und auf die Ablenkeinrichtung gelenkt. Zur Minimierung der Baugröße der Anordnung wird hier ebenfalls ein Microscannerspiegel (4) verwendet.
  • Die Funktion dieser Anordnung ist ähnlich der in Beispiel 2.
  • Zur Korrektur der horizontalen Ablenkung der Laserscannlinie wird ein zweiter Hohlspiegel in Kombination mit dem ersten eingesetzt. Mit dem in entgegengesetzter Richtung verdrehten Hohlspiegel, der mit einem Abstand des doppelten Krümmungsradius zum ersten Hohlspiegel angeordnet ist, kann die horizontale Ablenkung des Laserstrahls im Objektraum minimiert, bzw. ganz kompensiert werden (4, (14)).
  • Jedoch verstärken sich dadurch zusätzlich die Abbildungsfehler des Systems, die Zahl der optischen Elemente wird größer und der Justageaufwand und damit auch die Kosten steigen. Die Korrektur der gekrümmten Laserlinie in der Objektebene könnte alternativ zu dieser Lösung auch mit einem synchron zur y-Richtung aber mit geringer Auslenkung in x-Richtung schwingendem 2D-Mikroaktor erfolgen.
  • Beispiel 4 (5):
  • Der Laserstrahl tritt wie bei den vorherigen Beispielen aus dem Laser (1) aus und wird von der Linse (2) kollimiert. Im Weiteren wird er an einer Strahlteilerplatte (3) zum Teil reflektiert und auf die Ablenkeinrichtung gelenkt. Zur Minimierung der Baugröße der Anordnung wird hier ebenfalls ein Microscannerspiegel (4) verwendet.
  • In diesem Beispiel wird durch die Kombination von Hohlspiegel und IR-Sperrfilter in einem Bauelement (9) vor der Sensorzeile eine deutlich höhere Kompaktheit des Kombinationsmessgerätes erreicht. Dabei ist dieses Bauelement als Meniskus ausgebildet, wobei die dem Objektiv zugewandte Seite den spezifischen Radius zum Einkoppeln des Laserstrahls in das Objektiv besitzt und die der CCD-Zeile zugewandte Sphäre so gewählt wird, dass zusätzliche Abbildungsfehler im Aufnahmestrahlengang durch dieses Optikelement minimal gehalten werden.
  • Die IR-Sperrfilterbeschichtung für die CCD-Zeile, die gleichzeitig als Spiegel für den Laserstrahl verwendet wird ist dabei vorzugsweise auf der dem Objektiv zugewandten Seite dieses Bauelementes (9) angeordnet.

Claims (14)

  1. Kombinationsmessgerät für Anwendungen in der Nahbereichsphotogrammetrie und der Computeranimation aus einer digitalen Kamera, vorzugsweise einer Rotationszeilenpanoramakamera mit vertikaler Bildsensor-Zeile (11), und einem vorzugsweise im roten oder infraroten Spektralbereich arbeitenden aktiven Scannermesssystem vorzugsweise einem Laserscanner (1), zur nahezu gleichzeitigen Gewinnung der 3D-Objektinformation aus den mit der Kamera aufgenommenen 2D-Farbbilddaten und den mit dem in mindestens einer Richtung ausgelenkt Scannerstrahl gewonnenen Entfernungsdaten, gekennzeichnet dadurch, dass der Scannerstrahlengang durch das Aufnahmeobjektiv (12) der Kamera geführt wird.
  2. Kombinationsmesssystem nach Anspruch 1, gekennzeichnet dadurch, dass zur Einspiegelung des mindestens in einer Richtung ausgelenkten Scannerstrahles, vorzugsweise eines Laserstrahles in den Abbildungsstrahlengang der Kamera ein Hohlspiegel (8) vorzugsweise mit Feldlinsenfunktion, d.h. mit gemeinsamem Schnittpunkt aller Strahlen des gesamten Scanwinkelbereiches nahe der Austrittspupille des Aufnahmeobjektives (12), verwendet wird.
  3. Vorrichtung nach Anspruch 1 und/oder 2, gekennzeichnet dadurch, dass zur Separation des ausgesendeten Laserstrahles und des im Objekt reflektierten und wieder einfallenden Scannerstrahles ein Strahlenteiler (5) in Form eines prismatischen Körpers eingesetzt wird (Bsp.: 2).
  4. Vorrichtung nach Anspruch 3, gekennzeichnet dadurch, dass zur Trennung des ausgesendeten und des einfallenden Laserstrahles und zur Separation vom Abbildungsstrahlengang der Strahlenteiler polarisierend beschichtet und mit einer λ/4-Platte kombiniert ist.
  5. Vorrichtung nach Anspruch 3 und/oder 4, gekennzeichnet dadurch, dass der IR-Sperrfilter zur Separation des Scanner- und des Kamerastrahlenganges auf einer der beiden senkrecht zur optischen Achse des Abbildungsstrahlenganges stehenden Fläche des prismatischen Körpers (5) angeordnet ist.
  6. Vorrichtung nach Anspruch 2, gekennzeichnet dadurch, dass zur sender- bzw. empfängerseitigen geometrischen und/oder spektralen Separation des einzuspiegelnden Scannerstrahlenganges vom Kamerastrahlengang der vor der Bildsensorzeile angeordnete dichroitische Infrarotsperrfilter (10) in einer um seine vertikale Achse leicht gedrehten Stellung in Doppelfunktion als Spiegel für den Scannerstrahl genutzt wird (Bsp. 3).
  7. Vorrichtung nach Anspruch 2 und 6, gekennzeichnet dadurch, dass der IR-Sperrfilter als Hohlfilter (9) ohne Brechkraft zum Aufnahmeobjektiv hin konkav gewölbt ist (Bsp.: 5)
  8. Vorrichtung nach Anspruch 7, gekennzeichnet dadurch, dass das Hohlfilterglas (9) mit positiver oder negativer Brechkraft für den jeweils durchgehenden Strahlengang bzw. Spektralbereich vorzugsweise zum Zwecke der optischen Korrektur des Abbildungsstrahlengangs ausgeführt ist und die den Laserstrahl reflektierende Schicht auf der dem Objektiv zugewandten und/oder abgewandten Seite des Filterglases (9) aufgebracht ist.
  9. Vorrichtung nach Anspruch 2 und/oder 6, gekennzeichnet dadurch, dass zum Einspiegeln des Scannerstrahles in das Aufnahmeobjektiv (12) zwei gegeneinander gerichtete Hohlspiegel (7 und 8) in Kombination verwendet werden (Bsp.: 4).
  10. Vorrichtung nach Anspruch 1 und/oder Anspruch 2, gekennzeichnet dadurch, dass zur Auslenkung des Scannerstrahles in mindestens einer der Achsrichtungen ein Mikroaktor (4), vorzugsweise ein Mikroscannerspiegel oder ein Mikroscannerspiegel-Array, verwendet wird.
  11. Vorrichtung nach Anspruch 1 und/oder 2, gekennzeichnet dadurch, dass anstelle des Hohlspiegels ein „Diffraktives Optisches Element" vorzugsweise in Form eines Fresnellspiegels, einer Fresnellinse oder eines Mikrospiegel-Arrays verwendet wird.
  12. Vorrichtung nach Anspruch 11, gekennzeichnet dadurch, dass das „Diffraktive Optische Element" ein Kombinationselement mit diffraktivem und refraktivem Anteil ist.
  13. Kombinationsmessystem auf Basis einer Rotationszeilenpanoramakamera nach Anspruch 1 und/oder Anspruch 2 und/oder Anspruch 10, gekennzeichnet dadurch, dass die Synchronisation der Scannerstrahlauslenkung durch den Rotationsantrieb des Drehtisches erfolgt.
  14. Kombinationsmessystem auf Basis einer Rotationszeilenpanoramakamera nach Anspruch 1 und/oder Anspruch 2 und/oder Anspruch 10, gekennzeichnet dadurch, dass die Synchronisation der Scannerstrahlauslenkung durch den Zeilenauslesetakt der Bildsensor-Zeile erfolgt.
DE102006031114A 2006-06-29 2006-06-29 3D Kombinationsmessgerät aus digitaler Kamera und Laserscanner Expired - Fee Related DE102006031114B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102006031114A DE102006031114B4 (de) 2006-06-29 2006-06-29 3D Kombinationsmessgerät aus digitaler Kamera und Laserscanner

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102006031114A DE102006031114B4 (de) 2006-06-29 2006-06-29 3D Kombinationsmessgerät aus digitaler Kamera und Laserscanner

Publications (2)

Publication Number Publication Date
DE102006031114A1 true DE102006031114A1 (de) 2008-01-03
DE102006031114B4 DE102006031114B4 (de) 2008-07-03

Family

ID=38777053

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006031114A Expired - Fee Related DE102006031114B4 (de) 2006-06-29 2006-06-29 3D Kombinationsmessgerät aus digitaler Kamera und Laserscanner

Country Status (1)

Country Link
DE (1) DE102006031114B4 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012168490A1 (de) * 2011-06-09 2012-12-13 Zoller & Fröhlich GmbH Laserscanner und verfahren zum ansteuern eines laserscanners
DE102013111547A1 (de) * 2013-10-21 2015-04-23 Sick Ag Sensor mit um Drehachse beweglicher Abtasteinheit
DE102017205631A1 (de) 2017-04-03 2018-10-04 Robert Bosch Gmbh LiDAR-System und Verfahren zum Ermitteln eines Systemzustands eines LiDAR-Systems
WO2019067527A1 (en) * 2017-09-29 2019-04-04 Veoneer Us, Inc. Multifunction vehicle detection system
US10416292B2 (en) 2016-05-24 2019-09-17 Veoneer Us, Inc. Direct detection LiDAR system and method with frequency modulation (FM) transmitter and quadrature receiver
US10473784B2 (en) 2016-05-24 2019-11-12 Veoneer Us, Inc. Direct detection LiDAR system and method with step frequency modulation (FM) pulse-burst envelope modulation transmission and quadrature demodulation
US10613200B2 (en) 2017-09-19 2020-04-07 Veoneer, Inc. Scanning lidar system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852908A1 (de) * 1998-11-09 2000-05-18 Deutsch Zentr Luft & Raumfahrt Verfahren zur Aufnahme von Böden, Decken und Räumen
EP1081459A1 (de) * 1999-08-31 2001-03-07 Leica Geosystems AG Tachymeter-Fernrohr
EP1310764A2 (de) * 2001-11-09 2003-05-14 Riegl Laser Measurement Systems Gmbh Einrichtung zur Aufnahme eines Objektraumes
EP1610091A1 (de) * 2004-06-23 2005-12-28 Leica Geosystems AG Scannersystem und Verfahren zur Erfassung von Oberflächen
EP1662278A1 (de) * 2004-11-27 2006-05-31 Leica Geosystems AG Plankonvex- oder Plankonkavlinse mit damit verbundenem Umlenkmittel

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19916305A1 (de) * 1999-04-12 2000-10-19 Ulrich Claus Anordnung zur räumlichen Bild- und Meßdatengewinnung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852908A1 (de) * 1998-11-09 2000-05-18 Deutsch Zentr Luft & Raumfahrt Verfahren zur Aufnahme von Böden, Decken und Räumen
EP1081459A1 (de) * 1999-08-31 2001-03-07 Leica Geosystems AG Tachymeter-Fernrohr
EP1310764A2 (de) * 2001-11-09 2003-05-14 Riegl Laser Measurement Systems Gmbh Einrichtung zur Aufnahme eines Objektraumes
EP1610091A1 (de) * 2004-06-23 2005-12-28 Leica Geosystems AG Scannersystem und Verfahren zur Erfassung von Oberflächen
EP1662278A1 (de) * 2004-11-27 2006-05-31 Leica Geosystems AG Plankonvex- oder Plankonkavlinse mit damit verbundenem Umlenkmittel

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012168490A1 (de) * 2011-06-09 2012-12-13 Zoller & Fröhlich GmbH Laserscanner und verfahren zum ansteuern eines laserscanners
DE102012105027B4 (de) * 2011-06-09 2015-08-13 Zoller & Fröhlich GmbH Laserscanner und Verfahren zum Ansteuern eines Laserscanners
DE102013111547A1 (de) * 2013-10-21 2015-04-23 Sick Ag Sensor mit um Drehachse beweglicher Abtasteinheit
US10416292B2 (en) 2016-05-24 2019-09-17 Veoneer Us, Inc. Direct detection LiDAR system and method with frequency modulation (FM) transmitter and quadrature receiver
US10473784B2 (en) 2016-05-24 2019-11-12 Veoneer Us, Inc. Direct detection LiDAR system and method with step frequency modulation (FM) pulse-burst envelope modulation transmission and quadrature demodulation
DE102017205631A1 (de) 2017-04-03 2018-10-04 Robert Bosch Gmbh LiDAR-System und Verfahren zum Ermitteln eines Systemzustands eines LiDAR-Systems
US10613200B2 (en) 2017-09-19 2020-04-07 Veoneer, Inc. Scanning lidar system and method
WO2019067527A1 (en) * 2017-09-29 2019-04-04 Veoneer Us, Inc. Multifunction vehicle detection system
US10684370B2 (en) 2017-09-29 2020-06-16 Veoneer Us, Inc. Multifunction vehicle detection system

Also Published As

Publication number Publication date
DE102006031114B4 (de) 2008-07-03

Similar Documents

Publication Publication Date Title
US9939258B2 (en) Confocal surface topography measurement with fixed focal positions
US10126426B2 (en) Multi-clad fiber-based light detection and ranging sensor
AU2017203227B2 (en) Wide-field of view (FOV) imaging devices with active foveation capability
US20190079522A1 (en) Unmanned aerial vehicle having a projector and being tracked by a laser tracker
US10401143B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US20170030705A1 (en) Six degree-of-freedom laser tracker that cooperates with a remote sensor
US9074878B2 (en) Laser scanner
JP5985661B2 (ja) 走査深度エンジン
US9989357B2 (en) Aerial device that cooperates with an external projector to measure three-dimensional coordinates
US10089789B2 (en) Coordinate measuring device with a six degree-of-freedom handheld probe and integrated camera for augmented reality
US9219907B2 (en) Method and apparatus for quantitative 3-D imaging
EP3274737B1 (de) Verfahren und systeme zur ausrichtung von lidar optiken
KR101498149B1 (ko) 자동 고정밀 타겟 포인트 조준 기능을 가진 측지 측량 장치
DE112014007227T5 (de) Verwendung von zweidimensionalen Kamerabildern zur Beschleunigung der Registrierung von Dreidimensionalen Scans
US7215430B2 (en) Integrated system for quickly and accurately imaging and modeling three-dimensional objects
DE112013004489T5 (de) Laserscanner mit Dynamischer Einstellung der Winkel-Abtastgeschwindigkeit
US20140226190A1 (en) Three-dimensional scanner with spectroscopic energy detector
JP6616077B2 (ja) 測定装置及び3次元カメラ
US9530213B2 (en) Single-sensor system for extracting depth information from image blur
DE102016118562A1 (de) Dreidimensionales bildgerät, das eine dichroitische kamera umfasst
JP5405671B2 (ja) 環境を光学的に走査し測定する装置
JP5462371B2 (ja) 環境を光学的に走査し測定する装置
Zhou et al. Computational cameras: convergence of optics and processing
US10021379B2 (en) Six degree-of-freedom triangulation scanner and camera for augmented reality
US9476695B2 (en) Laser tracker that cooperates with a remote camera bar and coordinate measurement device

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8122 Nonbinding interest in granting licences declared
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee
8370 Indication of lapse of patent is to be deleted
8320 Willingness to grant licences declared (paragraph 23)
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20120103