DE102014116904B4 - Method for optically scanning and measuring a scene and automatically generating a video - Google Patents
Method for optically scanning and measuring a scene and automatically generating a video Download PDFInfo
- Publication number
- DE102014116904B4 DE102014116904B4 DE102014116904.2A DE102014116904A DE102014116904B4 DE 102014116904 B4 DE102014116904 B4 DE 102014116904B4 DE 102014116904 A DE102014116904 A DE 102014116904A DE 102014116904 B4 DE102014116904 B4 DE 102014116904B4
- Authority
- DE
- Germany
- Prior art keywords
- trajectory
- points
- cluster
- scene
- trajectory points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/51—Display arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Verfahren zum optischen Abtasten und Vermessen einer Szene mittels eines Laserscanners (10), der wenigstens einen Scan der Szene mit einem bestimmten Zentrum (Ci) und mit mehreren Messpunkten (X) erzeugt, wobei die erzeugten Scans mit ihren Messpunkten (X) in einem gemeinsamen Koordinatensystem (XYZ) der Szene registriert werden und die Gesamtheit aller Messpunkte (X) der erzeugten Scans eine dreidimensionale Punktwolke (3DP) bilden, welche visualisiert wird, wobei zur automatischen Erzeugung eines Videos als Visualisierung a) in einem ersten Schritt im gemeinsamen Koordinatensystem (XYZ) der Szene eine Trajektorie (T) mit mehreren Trajektorien-Punkten (TP) auf ihr definiert wird, indem ausgezeichnete Punkte in eine Abfolge gebracht werden und exakt oder approximiert Trajektorien-Punkte (TP) definieren, die entsprechend der Abfolge miteinander verbunden werden, b) in einem zweiten Schritt die Trajektorien-Punkte (TP) Clustern (G', G°) zugeteilt werden, wobei jeder Cluster (G', G°) eine Abfolge von Trajektorien-Punkten (TP) darstellt, und wobei für die Zuteilung der Trajektorien-Punkte TP zu den Clustern (G', G°) die Krümmung der Trajektorie (T) an den Trajektorien-Punkten (TP) bestimmt wird, wobei ein Trajektorien-Punkt (TP) zu einem ”geraden” Cluster (G') gehört, wenn die Krümmung betragsmäßig unterhalb eines bestimmten Schwellwertes liegt, und wobei wenigstens zwei aufeinander folgende Trajektorien-Punkte (TP) zu einem ”ausgedehnten” Cluster (G°) gehören, wenn die Krümmungen betragsmäßig jeweils oberhalb des bestimmten Schwellwertes liegen und das gleiche Vorzeichen haben, c) zu den den Clustern (G', G°) zugeteilten Trajektorien-Punkten (TP) jeweils ein Ausschnitt der lokalen Umgebung (αβγ) aus der dreidimensionalen Punktwolke (3DP) ermittelt wird, wobei sich aus einer Aneinanderreihung dieser Ausschnitte das Video ergibt.A method for optically scanning and measuring a scene by means of a laser scanner (10), which generates at least one scan of the scene with a specific center (Ci) and with several measurement points (X), wherein the generated scans with their measurement points (X) in a common Coordinate system (XYZ) of the scene are registered and the totality of all measurement points (X) of the generated scans form a three-dimensional point cloud (3DP), which is visualized, wherein the automatic generation of a video as visualization a) in a first step in the common coordinate system (XYZ ) the scene is defined a trajectory (T) with multiple trajectory points (TP) on it by placing excellent points in a sequence and defining exact or approximated trajectory points (TP) connected together according to the sequence, b ) in a second step, the trajectory points (TP) clusters (G ', G °) are assigned, each cluster (G', G °) ei represents a sequence of trajectory points (TP), and wherein for the allocation of the trajectory points TP to the clusters (G ', G °) the curvature of the trajectory (T) at the trajectory points (TP) is determined, a trajectory point (TP) belongs to a "straight" cluster (G ') if the curvature is below a certain threshold in absolute value, and at least two consecutive trajectory points (TP) form an "extended" cluster (G ° ), if the curvatures amount in each case above the determined threshold and have the same sign, c) to the clusters (G ', G °) assigned trajectory points (TP) in each case a section of the local environment (αβγ) from the Three-dimensional point cloud (3DP) is determined, resulting from a juxtaposition of these sections, the video.
Description
Die Erfindung betrifft ein Verfahren zum optischen Abtasten und Vermessen einer Szene mittels eines Laserscanners (
In der
Die Visualisierung dieser dreidimensionalen Punktwolke erfolgt durch eine zweidimensionale Projektion von einem gewählten Blickpunkt aus in einer gewählten Blickrichtung. Üblich ist dabei, einen Teilbereich der dreidimensionalen Punktwolke auszuwählen und an die Graphik-Karte zu übergeben, welche dann selber die zweidimensionalen Projektionen erzeugt. Aufgrund der Größe der dreidimensionalen Punktwolke lässt sich mit zufälligen Blickpunkten und zufälligen Blickrichtungen kein Überblick verschaffen. Zudem sind selbst bei Auswahl eines Teilbereichs der dreidimensionalen Punktwolke immer noch riesige Datenmengen zu bewegen.The visualization of this three-dimensional point cloud takes place by means of a two-dimensional projection from a selected viewpoint in a selected viewing direction. It is customary to select a subarea of the three-dimensional point cloud and transfer it to the graphics card, which then generates the two-dimensional projections itself. Due to the size of the three-dimensional point cloud, it is not possible to get an overview with random points of view and random viewing directions. In addition, even with the selection of a subarea of the three-dimensional point cloud, huge amounts of data still have to be moved.
Die nachveröffentlichten
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren der eingangs genannten Art zu verbessern. Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruches 1 gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.The invention is based on the object to improve a method of the type mentioned. This object is achieved by a method with the features of
Das erfindungsgemäße Verfahren erreicht durch eine Datenvorverarbeitung der dreidimensionalen Punktwolke eine deutliche Datenreduzierung, ohne dass wesentliche Einschränkungen für den Benutzer bestehen. Die Datenreduzierung erlaubt nicht nur eine schnellere Datenübertragung und Visualisierung der verbliebenen Daten, sondern das erzeugte Video macht es auch möglich, sich einen (aussagekräftigen) Überblick über die dreidimensionale Punktwolke zu verschaffen. Entsprechend hat das Verfahren zwei Intentionen. Einerseits soll das Scanprojekt unterstützt werden, indem Defizite der dreidimensionalen Punktwolke aufgesucht und erkannt werden, wie datenarme oder schwierig zu visualisierende oder fehlerhafte Bereiche, so dass dann noch ergänzende Scans von anderen Standorten aus durchgeführt und Fehler beseitigt werden können. Andererseits soll das Gesamtergebnis des Scanprojekts visualisiert werden, indem möglichst vieles gezeigt wird, insbesondere wichtige und gut erfasste Bereiche.The inventive method achieves a significant data reduction by a data preprocessing of the three-dimensional point cloud, without any significant restrictions for the user. The data reduction not only allows a faster data transfer and visualization of the remaining data, but the generated video also makes it possible to get a (meaningful) overview of the three-dimensional point cloud. Accordingly, the method has two intentions. On the one hand, the scan project is to be supported by finding and recognizing deficits of the three-dimensional point cloud, such as data poor or difficult to visualize or faulty areas, so that additional scans can be performed from other locations and errors can be eliminated. On the other hand, the overall result of the scan project should be visualized by showing as much as possible, in particular important and well-recorded areas.
Für das Video wird eine feste Trajektorie definiert, insbesondere durch Verbinden von Trajektorien-Punkten, welche aus den verschiedenen Zentren gewonnen werden, die der Laserscanner während der verschiedenen Scans eingenommen hat, und aus weiteren ausgezeichneten Punkten, wie Eingängen, Ausgängen und UmrundunUmrundungen von Hindernissen, um Kollisionen der Trajektorie und der Daten zu vermeiden. Schwankungen der Höhe werden reduziert oder eliminiert. Die Bildung von Clustern und die Definition wenigstens eines Fokus für jeden Cluster ermöglicht die Definition bevorzugter Blickrichtungen. Der zugehörige Ausschnitt der lokalen Umgebung ist vorzugsweise an das menschliche Gesichtsfeld angepasst. Die Aneinanderreihung (Abfolge) der Ausschnitte bildet das Video. Die Bewegungsgeschwindigkeit, welche sich aus der Anzahl der den Ausschnitten zugeordneten Zwischenpunkte auf der Trajektorie ergibt, kann dynamisch gewählt werden.For the video, a fixed trajectory is defined, in particular by connecting trajectory points obtained from the various centers occupied by the laser scanner during the various scans and from other excellent points, such as entrances, exits and orbits around obstacles, to avoid collisions of the trajectory and the data. Variations in altitude are reduced or eliminated. The formation of clusters and the definition of at least one focus for each cluster allows the definition of preferred viewing directions. The associated section of the local environment is preferably adapted to the human visual field. The sequence (sequence) of the excerpts forms the video. The speed of movement, which results from the number of intermediate points assigned to the cutouts on the trajectory, can be selected dynamically.
Im Folgenden ist die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert. Es zeigenIn the following the invention with reference to an embodiment shown in the drawing is explained in more detail. Show it
Die vorliegende Erfindung betrifft eine 3D-Koordinaten-Mess-Vorrichtung, die einen Lichtstrahl auf ein Objekt O lenkt, welches entweder ein (kooperatives) Target, beispielsweise ein Rückstrahler, oder ein nicht-kooperatives Target, beispielsweise eine diffus streuende Oberfläche des Objekts O, sein kann. Ein Entfernungsmesser im Gerät misst eine Entfernung zum Objekt O, und Drehwinkelgeber messen die Drehwinkel zweier Achsen im Gerät. Die gemessene Entfernung und die zwei Winkel ermöglichen einem Prozessor im Gerät, die 3D-Koordinaten des Objekts O zu bestimmen. Vorliegend wird derartige Vorrichtung der Fall eines Laserscanners
Laserscanner werden typischerweise dazu verwendet, geschlossene oder offene Räume, wie zum Beispiel Gebäudeinnenflächen, Industrieanlagen und Tunnels zu erfassen. Laserscanner werden für viele Zwecke, einschließlich Building Information Modeling (BIM), Industrieanalysen, Unfallrekonstruktionsanwendungen, archäologische Studien und forensische Untersuchungen eingesetzt. Ein Laserscanner kann eingesetzt werden, um Objekte in der Umgebung des Laserscanners durch die Erfassung von Datenpunkten, die Objekte innerhalb der Umgebung darstellen, optisch zu erfassen und zu vermessen. Solche Datenpunkte erhält man, indem ein Lichtstrahl auf die Objekte gelenkt und das reflektierte oder gestreute Licht gesammelt wird, um die Entfernung, zwei Winkel (d. h. einen Azimutwinkel und einen Zenitwinkel), und optional einen Grautonwert zu ermitteln. Diese Roh-Scandaten werden gesammelt, gespeichert und an einen oder mehrere Rechner gesendet, um ein dreidimensionales Bild zu erzeugen, das den erfassten Bereich oder das erfasste Objekt darstellt. Zur Erzeugung des Bildes werden mindestens drei Werte für jeden Datenpunkt gesammelt. Diese drei Werte können die Entfernung und zwei Winkel umfassen, oder können umgewandelte Werte wie zum Beispiel x, y, z-Koordinaten sein.Laser scanners are typically used to detect closed or open spaces, such as building interiors, industrial facilities and tunnels. Laser scanners are used for many purposes including Building Information Modeling (BIM), industrial analysis, accident reconstruction applications, archaeological surveys and forensic investigations. A laser scanner can be used to optically detect and measure objects in the laser scanner environment by capturing data points that represent objects within the environment. Such data points are obtained by directing a light beam at the objects and collecting the reflected or scattered light to determine the distance, two angles (i.e., one azimuth angle and one zenith angle), and optionally a gray tone value. This raw scan data is collected, stored and sent to one or more computers to generate a three-dimensional image representing the captured area or object. To generate the image, at least three values are collected for each data point. These three values may include the distance and two angles, or may be converted values such as x, y, z coordinates.
Die Zeichnung zeigt einen Laserscanner
Der Messkopf
Ein reflektierter Lichtstrahl, nachfolgend als Empfangslichtstrahl
Eine Steuer- und Auswertevorrichtung
Die Lichtgeschwindigkeit in Luft hängt von den Lufteigenschaften wie zum Beispiel Lufttemperatur, Luftdruck, relative Luftfeuchtigkeit und der Kohlendioxidkonzentration ab. Diese Lufteigenschaften beeinflussen den Brechungsindex der Luft. Die Lichtgeschwindigkeit in Luft entspricht der Lichtgeschwindigkeit im Vakuum geteilt durch den Brechungsindex. Ein Laserscanner der vorliegend beschriebenen Art beruht auf der Lichtlaufzeit in der Luft (der Laufzeit, die das Licht benötigt, um von der Vorrichtung bis zum Objekt und wieder zurück zur Vorrichtung zu gelangen). Eine Methode der Entfernungsmessung auf Grundlage der Lichtlaufzeit (oder der Laufzeit einer anderen elektromagnetischen Strahlungsart) hängt von der Lichtgeschwindigkeit in Luft ab und ist daher leicht von Methoden der Entfernungsmessung mittels Triangulation zu unterscheiden. Bei Methoden auf Grundlage von Triangulation wird Licht von seiner Lichtquelle in eine bestimmte Richtung ausgestrahlt und dann auf einem Kamerapixel in einer bestimmten Richtung aufgefangen. Dadurch, dass die Entfernung zwischen der Kamera und dem Projektor bekannt ist, und dass ein projizierter Winkel mit einem Empfangswinkel abgeglichen wird, ermöglicht die Triangulationsmethode die Bestimmung der Entfernung zum Objekt auf der Grundlage einer bekannten Länge und zweier bekannter Winkel eines Dreiecks. Die Triangulationsmethode hängt daher nicht direkt von der Lichtgeschwindigkeit in Luft ab.The speed of light in air depends on air properties such as air temperature, air pressure, relative humidity and carbon dioxide concentration. These air properties affect the refractive index of the air. The speed of light in air is the speed of light in vacuum divided by the refractive index. A laser scanner of the type described herein is based on the light transit time in the air (the transit time the light takes to travel from the device to the object and back to the device). A method of distance measurement based on the time of flight of light (or the duration of another type of electromagnetic radiation) depends on the speed of light in air and is therefore easily distinguished from triangulation distance measuring methods. In triangulation-based methods, light is emitted from its light source in a particular direction and then captured on a camera pixel in a particular direction. By knowing the distance between the camera and the projector and matching a projected angle with a reception angle, the triangulation method allows the determination of the distance to the object based on a known length and two known angles of a triangle. The triangulation method therefore does not depend directly on the speed of light in air.
Der Messkopf
In einer Ausführungsform findet das Erfassen der Umgebung um den Laserscanner
Zusätzlich zur Distanz d vom Zentrum C10 zu einem Messpunkte X kann der Laserscanner
Vorzugsweise ist der Spiegel
Der Lichtsender
Der Laserscanner
Um die Verzerrung zu beseitigen, kann eine Korrektur vorgenommen werden, um einen linearen Zusammenhang zwischen Teilflächen der zweidimensionalen Ansicht einerseits und Raumwinkeln im dreidimensionalen Scan andererseits zu erzeugen, wofür die dreidimensionalen Daten auf eine Kugel oder einen Zylinder projiziert werden. Das Ergebnis ist eine Panoramaansicht
Der Begriff ”Panoramaansicht” soll sich auf Darstellungen beziehen, bei denen (für die Blickrichtung eines Betrachters) eine Winkelbewegung um einen festen Punkt im Raum möglich ist, insbesondere wenn nur ein Ausschnitt dargestellt ist, hingegen eine Translation im Raum nicht vorgesehen ist. Bei einer vollständigen SD-Darstellung wären (für den Betrachter) Winkelbewegungen und eine Translation im Raum von Punkt zu Punkt möglich. Sowohl die Panoramaansicht als auch die 3D-Darstellung sind üblicherweise das Ergebnis einer Darstellung zweidimensionaler Bilder aus verschiedenen Blickrichtungen, die in Kombination für den Betrachter einen 3D-Effekt mit dem Eindruck von Tiefe erzeugen. Wenn eine derartige Kombination entlang eines Pfades gezeigt wird, entsteht der Eindruck einer 3D-Darstellung. Wenn eine derartige Kombination als Rotation gezeigt wird, entsteht der Eindruck einer Panoramaansicht. Vorsorglich sei darauf hingewiesen, dass der Begriff ”zweidimensionale Bilder” unterschiedliche (aber zusammenhängende) Bedeutungen haben kann. Im einfachsten Fall handelt es sich um Bilder einer Kamera oder eines Auges. Es kann sich aber auch um Projektionen einer dreidimensionalen Punktwolke
Um eine Szene aus verschiedenen Richtungen oder einen ausgedehnten Raum erfassen zu können, werden mehrere Scans von unterschiedlichen Standorten (entsprechend einer Menge unterschiedlicher Zentren Ci) aus erzeugt und danach registriert in einem gemeinsamen Koordinatensystem XYZ der Szene. Der Laserscanner
Abstrakt betrachtet, besteht die Registrierung aus einem ersten Schritt, einen ersten Scan aufzunehmen, d. h. eine erste Gesamtheit von Messpunkten X mit dreidimensionalen Koordinaten in einem ersten Bezugssystem mit einem ersten Zentrum, aus einem zweiten Schritt, einen zweiten Scan aufzunehmen, d. h. eine zweite Gesamtheit von Messpunkten X mit dreidimensionalen Koordinaten in einem zweiten Bezugssystem mit einem vom ersten Zentrum verschiedenen zweiten Zentrum, und aus einem dritten Schritt, die beiden Scans, d. h. die beiden Gesamtheiten von Messpunkten X, in ein gemeinsames Bezugssystem, nämlich in das gemeinsame Koordinatensystem XYZ der Szene, zu bringen, wofür sich bei wenigstens einer Gesamtheit von Messpunkten X die dreidimensionalen Koordinaten ändern.In abstract terms, the registration consists of a first step to take a first scan, d. H. a first set of measurement points X with three-dimensional coordinates in a first frame of reference with a first center, from a second step to capture a second scan, d. H. a second set of measurement points X with three-dimensional coordinates in a second frame of reference with a second center different from the first center, and a third step, the two scans, d. H. bring the two sets of measurement points X, in a common frame of reference, namely in the common coordinate system XYZ the scene, for which change the three-dimensional coordinates at least a total of measuring points X.
Um die dreidimensionale Punktwolke
Das jeweilige Koordinatensystem für die lokale Umgebung αβγ jedes Trajektorien-Punktes TP wird vorzugsweise mit drei (Dreh-)Winkeln um drei Achsen X', Y', Z' eines lokalen Koordinatensystems X'Y'Z' definiert. Der Rollwinkel (roll) β beschreibt eine Drehung um eine Achse X', welche der Tangente an die Trajektorie T entspricht. Der Nickwinkel (pitch) γ beschreibt eine Drehung um die Querachse Y'. Der Gierwinkel (yaw) α beschreibt eine Drehung um die (vertikale) Achse Z'. Im einfachsten Fall wird der Rollwinkel β = 0° betragen, und die beiden anderen Winkel α, γ werden sich aus der Trajektorie T ergeben, d. h. deren Ableitungen im Koordinatensystem XYZ. Dabei wird in der Regel die Trajektorie T bezüglich der Z-Achse auf der gleichen Höhe wie die Zentren Ci verlaufen, so dass der Nickwinkel γ im einfachsten Fall ebenfalls 0° beträgt.The respective coordinate system for the local environment αβγ of each trajectory point TP is preferably defined with three (rotational) angles about three axes X ', Y', Z 'of a local coordinate system X'Y'Z'. The roll angle β describes a rotation about an axis X ', which corresponds to the tangent to the trajectory T. The pitch angle γ describes a rotation about the transverse axis Y '. The yaw angle (yaw) α describes a rotation about the (vertical) axis Z '. In the simplest case, the roll angle will be β = 0 °, and the other two angles α, γ will result from the trajectory T, ie their derivatives in the coordinate system XYZ. In this case, as a rule, the trajectory T with respect to the Z axis will run at the same height as the centers C i , so that the pitch angle γ in the simplest case is also 0 °.
Zur Visualisierung der dreidimensionalen Punktwolke
Grundsätzlich wäre es möglich, für die Visualisierung die Trajektorie T durch die dreidimensionale Punktwolke
Die Trajektorie T des Videos liegt im Koordinatensystem XYZ auf einer konstanten oder sich allenfalls leicht ändernden Höhe und weist nur in den beiden anderen (lateralen) Koordinaten größere Änderungen auf, was die automatische Erzeugung des Videos vereinfacht und ”Achterbahnfahrten” vermeidet. Diese Voraussetzung ist beispielsweise in Gebäuden gegeben, bei denen die Scans im gleichen Stockwerk erzeugt wurden, auch dann, wenn Kabelbrücken, Schlauchbrücken, Schwellen oder sonstige Rampen mit geringem Höhenunterschied vorhanden sind.The trajectory T of the video is in the coordinate system XYZ at a constant or at best slightly changing altitude and has only in the other two (lateral) coordinates greater changes, which simplifies the automatic generation of the video and "roller coaster rides" avoids. This requirement is met, for example, in buildings where the scans were created on the same floor, even if there are cable bridges, hose bridges, sleepers or other low-height ramps.
In einem ersten Schritt
Ausgegangen wird von der Gesamtheit der Zentren Ci (i = 1, ... n) der Scans., welche ausgezeichnete Punkte bilden, die möglichst alle – wenigstens näherungsweise – auf der Trajektorie T liegen sollen. Hinzu kommen gegebenenfalls weitere ausgezeichnete Punkte, beispielsweise Türen oder Fenster, damit die Trajektorie T nicht durch Wände führt, oder Umgehungswege für Hindernisse oder sonstige Punkte von Interesse, an denen die Trajektorie T vorbeiführen soll. Diese weiteren ausgezeichneten Punkte können vom Benutzer definiert oder automatisch aus den Daten berechnet sein.The starting point is the totality of the centers C i (i = 1,... N) of the scans., Which form excellent points which should as far as possible lie on the trajectory T, at least approximately. In addition, there may be other excellent points, such as doors or windows, so that the trajectory T does not pass through walls, or bypass paths for obstacles or other points of interest at which the trajectory T should pass. These other awarded points may be user defined or automatically calculated from the data.
Unter dieser Gesamtheit der Zentren Ci und den weiteren ausgezeichneten Punkten ist eine Abfolge für den Verlauf der Trajektorie T zu definieren. Die Abfolge der ausgezeichneten Punkte kann durch Sortierkriterien automatisch bestimmt werden, wobei die Sortierkriterien vorzugsweise hierarchisch geordnet sind. Solche Sortierkriterien sind beispielsweise die grobe räumliche Entfernung, so dass nach Gebäuden sortiert wird, die Höhe, so dass (innerhalb des Gebäudes) nach Stockwerken sortiert wird, die Nummer des Laserscanners, falls mit mehreren Laserscannern gearbeitet wird, und schließlich, wenn nach den vorgenannten Sortierkriterien vorzugsweise vorsortiert ist, die zeitliche Abfolge der Scans (oder deren Umkehrung) und/oder die räumliche Nähe der ausgezeichneten Punkte. Prinzipiell würde das letztgenannte Sortierkriterium ausreichen, aber mit der Verwendung mehrerer Sortierkriterien wird später ein ”unnatürlicher” Verlauf der Trajektorie T vermieden. Zudem werden die ausgezeichneten Punkte bestimmten Clustern zugeteilt, welche mit den später genannten Clustern G', G° übereinstimmen können. Zu den Sortierkriterien gehören bestimmte Schwellwerte, mittels derer über die Zuteilung zu den Clustern entschieden wird. Die drei Koordinaten im Koordinatensystem XYZ können unterschiedlich behandelt werden. So ist es für eine Sortierung nach Gebäuden die laterale Entfernung wichtiger als der Höhenunterschied und für die Sortierung nach dem Stockwerk die Koordinaten in z-Richtung höher zu gewichten. Es ist auch möglich, für die Abfolge der ausgezeichneten Punkte anhand einer Optimierung zu definieren, insbesondere den Ansatz nach dem ”Traveling Salesman Problem” zu verwenden.From this set of centers C i and the other points of excellence, a sequence for the course of the trajectory T is to be defined. The sequence of the points awarded can be determined automatically by sorting criteria, the sorting criteria preferably being hierarchically ordered. Such sorting criteria are, for example, the coarse spatial distance, so that sorted by buildings, the height so that (inside the building) is sorted by floors, the number of the laser scanner, if working with several laser scanners, and finally, if after the above Sorting criteria is preferably pre-sorted, the timing of the scans (or their inversion) and / or the spatial proximity of the awarded points. In principle, the latter sorting criterion would be sufficient, but with the use of several sorting criteria, an "unnatural" course of the trajectory T is later avoided. In addition, the awarded points are assigned to certain clusters, which may coincide with the clusters G ', G ° mentioned later. The sort criteria include certain thresholds by which the allocation to the clusters is decided. The three coordinates in the coordinate system XYZ can be treated differently. Thus, for a sorting according to buildings, the lateral distance is more important than the height difference, and for the sorting on the floor, the coordinates in the z-direction are to be weighted higher. It is also possible to define for the sequence of points awarded by means of an optimization, in particular to use the approach to the "traveling salesman problem".
Eine Möglichkeit ist es, die Trajektorie T als Spline (Polynomzug) durch die vorhandenen ausgezeichneten Punkte in der besagten Abfolge zu definieren. Die ausgezeichneten Punkte werden so jeweils zu Trajektorien-Punkten TP. In niedrigster Ordnung verbindet die Trajektorie T in direkter Linie die Trajektorien-Punkten TP mit ihren exakten Koordinaten, so dass die Trajektorie T eckig wirkt. Mit den höheren Ordnungen wird die Trajektorie T glatter.One possibility is to define the trajectory T as a spline (polynomial) through the existing points of excellence in the said sequence. The awarded points thus become trajectory points TP. In the lowest order, the trajectory T directly connects the trajectory points TP with their exact coordinates, so that the trajectory is T angular. With the higher orders, the trajectory T becomes smoother.
Eine weitere Möglichkeit ist es, die Trajektorie T als approximierte Verbindung der ausgezeichneten Punkte zu definieren, d. h. einer, mehrere oder alle ausgezeichneten Punkten definieren näherungsweise die zugeordneten Trajektorien-Punkte TP auf der Trajektorie T, indem sie etwas verschoben werden. Ein Beispiel wäre die Verwendung kleinster Abstandsquadrate. Ein weiteres Beispiel wäre es, von den ausgezeichneten Punkten einzelne oder mehrere Koordinaten nur näherungsweise für den zugeordneten Trajektorien-Punkt TP zu übernehmen, und dann die Trajektorie T als Spline durch die Trajektorien-Punkte TP (mit den approximierten Koordinaten) zu legen.Another possibility is to define the trajectory T as the approximate connection of the points awarded; H. One, several, or all of the designated points approximately define the associated trajectory points TP on the trajectory T by shifting them slightly. An example would be the use of least squares. Another example would be to take single or multiple coordinates of the distinguished points only approximately for the associated trajectory point TP, and then place the trajectory T as a spline through the trajectory points TP (with the approximated coordinates).
Beispielsweise können von den jeweils drei Koordinaten der ausgezeichneten Punkte, insbesondere der Zentren Ci, im Koordinatensystem XYZ, die tatsächlichen Höhen schwächer gewichtet und die sich hieraus ergebenden Höhen als approximierte Koordinaten für die zugeordneten Trajektorien-Punkte TP übernommen werden. Hierzu kann beispielsweise eine mittlere Höhe aller Zentren Ci ermittelt werden und die jeweiligen Abweichungen hierzu reduziert werden, beispielsweise mit einem bestimmten Faktor, so dass nur geringe Schwankungen der Höhe auftreten. Hinsichtlich der beiden lateralen Koordinaten im Koordinatensystem XYZ stimmen die Trajektorien-Punkte TP mit den zugeordneten ausgezeichneten Punkten überein.For example, of the three coordinates of the excellent points, in particular of the centers C i , in the coordinate system XYZ, the actual heights can be weighted less and the resulting heights can be adopted as approximated coordinates for the assigned trajectory points TP. For this purpose, for example, a mean height of all centers C i can be determined and the respective deviations can be reduced for this purpose, for example with a certain factor, so that only slight fluctuations of the height occur. With regard to the two lateral coordinates in the coordinate system XYZ, the trajectory points TP coincide with the assigned excellent points.
Die Trajektorien-Punkte TP haben entlang der Trajektorie T vorzugsweise möglichst ähnliche Abstände zueinander. Für die nachfolgenden Schritte sind dann bessere Ergebnisse zu erwarten. Gegebenenfalls werden daher auf der Trajektorie T noch zusätzliche Trajektorien-Punkte TP zwischen den bisher schon vorhandenen Trajektorien-Punkten TP definiert.The trajectory points TP preferably have distances as closely as possible along the trajectory T. For the following steps better results are expected. If necessary, therefore, additional trajectory points TP between the already existing trajectory points TP are defined on the trajectory T.
In einem zweiten Schritt
Steigt die Krümmung von einem vorhergehenden Trajektorien-Punkt TP auf den nachfolgenden Trajektorien-Punkt TP über den Schwellwert, bildet dieser nachfolgende Trajektorien-Punkt TP den Endpunkt eines ”geraden” Clusters G'. Sinkt die Krümmung von einem vorhergehenden Trajektorien-Punkt TP auf den nachfolgenden Trajektorien-Punkt TP unter den Schwellwert, bildet dieser vorhergehende Trajektorien-Punkt TP den Anfangspunkt eines ”geraden” Clusters G'. Liegen die Krümmungen von einem vorhergehenden Trajektorien-Punkt TP auf den nachfolgenden Trajektorien-Punkt TP betragsmäßig jeweils oberhalb eines bestimmten Schwellwertes und wechselt dabei das Vorzeichen, bildet dieser nachfolgende Trajektorien-Punkt TP den Endpunkt eines ”ausgedehnten” Clusters G°. Der Anfangspunkt der Trajektorie T hat den gleichen Winkel wie der zweite Trajektorien-Punkt TP. Jeder Endpunkt eines Clusters bildet zugleich den Anfangspunkt des nächsten Clusters. Gegebenenfalls sind diese Cluster ”gerade” Cluster G' mit nur zwei Trajektorien-Punkten TP. Im Ergebnis gehört jeder Trajektorien-Punkt TP wenigstens einem Cluster G', G° an, und aufeinanderfolgende Cluster G', G° überlappen in jeweils genau einem Trajektorien-Punkt TP.If the curvature of a previous trajectory point TP on the subsequent trajectory point TP exceeds the threshold value, this trajectory point subsequent TP forms the end point of a "straight" cluster G '. If the curvature drops from a previous trajectory point TP to the following trajectory point TP below the threshold value, this preceding trajectory point TP forms the starting point of a "straight" cluster G '. If the curvatures of a preceding trajectory point TP on the subsequent trajectory point TP are each above a certain threshold value and change the sign, this subsequent trajectory point TP forms the end point of an "extended" cluster G °. The starting point of the trajectory T has the same angle as the second trajectory point TP. Each endpoint of a cluster also forms the starting point of the next cluster. Optionally, these clusters are "straight" clusters G 'with only two trajectory points TP. As a result, each trajectory point TP belongs to at least one cluster G ', G °, and successive clusters G', G ° each overlap exactly one trajectory point TP.
Anstelle der Zuordnung mittels der Krümmung der Trajektorie T können auch andere Kriterien verwendet werden. Ebenso sind noch andere Typen von Clustern denkbar, beispielsweise mit weit auseinander liegenden Trajektorien-Punkten TP, oder außerhalb oder innerhalb eines Gebäudes.Instead of the assignment by means of the curvature of the trajectory T, other criteria can also be used. Likewise, other types of clusters are conceivable, for example with widely spaced trajectory points TP, or outside or inside a building.
In einem dritten Schritt
In einem vierten Schritt
Wie die Trajektorien-Punkte TP, ist jeder Zwischenpunkt durch eine Position im dreidimensionale Koordinatensystem XYZ definiert. Zugleich liegt jeder Zwischenpunkt auf der Trajektorie T jeweils zwischen zwei Tranjektorien-Punkten TP. Es werden so viele Zwischenpunkte definiert, dass später wenigstens fünfundzwanzig pro Sekunde angefahren werden können. Die Zwischenpunkte können gleichmäßig entlang der Trajektorie T verteilt sein, oder in Abhängigkeit von Bahnparametern der Trajektorie T (beispielsweise eine hohe Dichte von Zwischenpunkten, wenn die Trajektorie T kurvig ist, und eine geringere Dichte von Zwischenpunkten, wenn die Trajektorie T gerade ist), oder in Abhängigkeit der Daten (beispielsweise eine hohe Dichte von Zwischenpunkten, wenn die dreidimensionale Punktwolke nah am momentanen Trajektorien-Punkt TP ist, und eine geringere Dichte von Zwischenpunkten, wenn sie weiter weg ist). Die Zwischenpunkte werden vorzugsweise so ausgewählt, dass das spätere Abfahren der Trajektorie T als möglichst ”angenehm” empfunden wird. Dies wird beispielsweise erreicht, indem Änderungen der Dichte der Zwischenpunkte oder allgemein der Geschwindigkeit entlang der Trajektorie T stetig erfolgen, ebenso Änderungen von Blickrichtungen.Like the trajectory points TP, each intermediate point is defined by a position in the three-dimensional coordinate system XYZ. At the same time, each intermediate point on the trajectory T lies between two tranjectory points TP. So many intermediate points are defined that later at least twenty-five per second can be approached. The intermediate points can be distributed uniformly along the trajectory T, or depending on trajectory parameters of the trajectory T (for example, a high density of intermediate points if the trajectory T is curved, and a lower density of intermediate points if the trajectory T is even), or depending on the data (for example, a high density of intermediate points if the three-dimensional point cloud is close to the current trajectory point TP, and a lower density of intermediate points if it is farther away). The intermediate points are preferably selected so that the later traversing of the trajectory T is perceived as "pleasant" as possible. This is achieved, for example, by making changes in the density of the intermediate points or, in general, the speed along the trajectory T continuous, as well as changes in viewing directions.
Um den besagten Ausschnitt der lokalen Umgebung αβγ zu definieren, ist den vorgegebenen Punkten jeweils eine bevorzugte Blickrichtung zugeordnet. Innerhalb jedes Clusters G', G° wird wenigstens der Gierwinkel α so gewählt, dass in der Regel die Blickrichtung (angedeutet durch Pfeile in
In diesem vierten Schritt
Zu jedem dieser zweidimensionalen Bilder des Videos bleiben vorzugsweise die Koordinaten des vorgegebenen Punktes, von dem aus betrachtet wird, und die eingestellte Blickrichtung gespeichert, also die Kameraparameter für den sichtbaren Ausschnitt der lokalen Umgebung αβγ. Mit diesen Kameraparametern ist ein nahtloser Wechsel zwischen dem Video und einer dreidimensionalen Darstellung möglich. Der Benutzer kann vorzugsweise das Video an einem beliebigen Punkt der Trajektorie T unterbrechen, von dem Punkt aus die lokale Umgebung αβγ betrachten, beispielsweise die dreidimensionale Punktewolke
In einer abgewandelten Ausführung sind den vorgegebene Punkten auf der Trajektorie T für eine stereoskopische Betrachtung zwei leicht beabstandete Kamerapositionen zugeordnet, so dass jeweils zwei Bilder erzeugt werden. Es entsteht dann ein stereoskopisches Video mit unterschiedlichen Bildern für jedes Auge.In a modified embodiment, two slightly spaced camera positions are assigned to the predetermined points on the trajectory T for a stereoscopic viewing, so that in each case two images are generated. It then creates a stereoscopic video with different images for each eye.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 1010
- Laserscannerlaser scanner
- 1212
- Messkopfprobe
- 12a12a
- erste Achsefirst axis
- 1414
- Fußfoot
- 1616
- Spiegelmirror
- 16a16a
- zweite Achsesecond axis
- 16b16b
- Spiegelträgermirror support
- 1717
- Lichtsenderlight source
- 17a17a
- Laserdiodelaser diode
- 17b17b
- Umlenkoptikdeflecting
- 17c17c
- Strahlteilerbeamsplitter
- 1818
- SendelichtstrahlTransmitted light beam
- 2020
- EmpfangslichtstrahlReception light beam
- 2121
- Lichtempfängerlight receiver
- 21a21a
- Empfangslinsereceiving lens
- 21b21b
- Spiegelanordnungmirror arrangement
- 21c21c
- Detektordetector
- 2222
- Steuer- und AuswertevorrichtungControl and evaluation device
- 2424
- Anzeigevorrichtungdisplay device
- 2525
- Farbkameracolor camera
- 8080
- planare Ansichtplanar view
- 8181
- Geländerrailing
- 8282
- Cursorcursor
- 8383
- Anzeige der Zeilen + SpaltenDisplay of rows + columns
- 8484
- Anzeige der DrehwinkelDisplay of the rotation angle
- 8585
- Anzeige der kartesischen KoordinatenDisplay of the Cartesian coordinates
- 9090
- Panoramaansichtpanoramic view
- 101101
- erster Schrittfirst step
- 102102
- zweiter Schrittsecond step
- 103103
- dritter SchrittThird step
- 104104
- vierter Schrittfourth step
- 3DP3DP
- (dreidimensionale) Punktwolke(three-dimensional) point cloud
- C10, Ci C 10 , C i
- Zentrum des LaserscannersCenter of the laser scanner
- dd
- Distanzdistance
- FF
- Fokusfocus
- G'G'
- gerader Clusterstraight cluster
- G°G °
- ausgedehnter Clusterextended cluster
- OO
- Objektobject
- TT
- Trajektorietrajectory
- TPTP
- Trajektorien-PunktTrajectory point
- XX
- Messpunktmeasuring point
- XYZXYZ
- (gemeinsames) Koordinatensystem(common) coordinate system
- X'Y'Z'X'Y'Z '
- lokales Koordinatensystemlocal coordinate system
- αα
- Gierwinkelyaw
- ββ
- Rollwinkelroll angle
- γγ
- Nickwinkelpitch angle
- αβγαβγ
- lokale Umgebunglocal environment
Claims (8)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014116904.2A DE102014116904B4 (en) | 2014-11-19 | 2014-11-19 | Method for optically scanning and measuring a scene and automatically generating a video |
US14/944,430 US9652852B2 (en) | 2013-09-24 | 2015-11-18 | Automated generation of a three-dimensional scanner video |
US15/592,367 US9761016B1 (en) | 2013-09-24 | 2017-05-11 | Automated generation of a three-dimensional scanner video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014116904.2A DE102014116904B4 (en) | 2014-11-19 | 2014-11-19 | Method for optically scanning and measuring a scene and automatically generating a video |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102014116904A1 DE102014116904A1 (en) | 2016-05-19 |
DE102014116904B4 true DE102014116904B4 (en) | 2016-11-24 |
Family
ID=55855429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102014116904.2A Expired - Fee Related DE102014116904B4 (en) | 2013-09-24 | 2014-11-19 | Method for optically scanning and measuring a scene and automatically generating a video |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102014116904B4 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013110580B4 (en) | 2013-09-24 | 2024-05-23 | Faro Technologies, Inc. | Method for optically scanning and measuring a scene and laser scanner designed to carry out the method |
US9652852B2 (en) | 2013-09-24 | 2017-05-16 | Faro Technologies, Inc. | Automated generation of a three-dimensional scanner video |
EP3377917A1 (en) * | 2015-11-18 | 2018-09-26 | Faro Technologies, Inc. | Automated generation of a three-dimensional scanner video |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009015922A1 (en) * | 2009-03-25 | 2010-10-07 | Faro Technologies, Inc., Lake Mary | Method for optically scanning and measuring a scene |
DE102010020925A1 (en) * | 2010-05-10 | 2011-11-10 | Faro Technologies, Inc. | Method for optical scanning and measuring of environment in optical scanner, involves searching selected pixels and adjacent pixels with lower depth, where selected pixels are filled depending on values of adjacent pixels and depths |
DE102010033561B3 (en) * | 2010-07-29 | 2011-12-15 | Faro Technologies, Inc. | Device for optically scanning and measuring an environment |
DE102013110580A1 (en) * | 2013-09-24 | 2015-03-26 | Faro Technologies, Inc. | Method for optically scanning and measuring a scene |
-
2014
- 2014-11-19 DE DE102014116904.2A patent/DE102014116904B4/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009015922A1 (en) * | 2009-03-25 | 2010-10-07 | Faro Technologies, Inc., Lake Mary | Method for optically scanning and measuring a scene |
DE102010020925A1 (en) * | 2010-05-10 | 2011-11-10 | Faro Technologies, Inc. | Method for optical scanning and measuring of environment in optical scanner, involves searching selected pixels and adjacent pixels with lower depth, where selected pixels are filled depending on values of adjacent pixels and depths |
DE102010033561B3 (en) * | 2010-07-29 | 2011-12-15 | Faro Technologies, Inc. | Device for optically scanning and measuring an environment |
DE102013110580A1 (en) * | 2013-09-24 | 2015-03-26 | Faro Technologies, Inc. | Method for optically scanning and measuring a scene |
WO2015048048A1 (en) * | 2013-09-24 | 2015-04-02 | Faro Technologies, Inc. | Collecting and viewing three-dimensional scanner data in a flexible video format |
Also Published As
Publication number | Publication date |
---|---|
DE102014116904A1 (en) | 2016-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102014104712B4 (en) | Registration of a scene disintegrating into clusters with visualized clusters | |
DE102013110580B4 (en) | Method for optically scanning and measuring a scene and laser scanner designed to carry out the method | |
DE102013017500B3 (en) | Method and apparatus for optically scanning and measuring a scene | |
DE102012112322B4 (en) | Method for optically scanning and measuring an environment | |
DE102012112321B4 (en) | Device for optically scanning and measuring an environment | |
DE102010020925B4 (en) | Method for optically scanning and measuring an environment | |
DE112015004396T5 (en) | AUGMENTED REALITY CAMERA FOR USE WITH 3D METROLOGY EQUIPMENT FOR PRODUCING 3D IMAGES FROM 2D CAMERA IMAGES | |
DE102014110992A1 (en) | Register a clustered scene with location tracking | |
EP3819671B1 (en) | Optoelectronic sensor and method for detecting objects | |
EP2464098B1 (en) | Vicinity presentation device, a vehicle with such a vicinity presentation device and method for displaying a panorama image | |
DE10058244C2 (en) | Measuring method for determining the position of an object in front of a screen and device for carrying out the method | |
DE102014101587A1 (en) | Registration of a scene with consistency check | |
DE102013010010B4 (en) | Method for operating a driver assistance system for maneuvering and/or parking | |
EP1460454B1 (en) | Method for combined processing of high resolution images and video images | |
DE102014116904B4 (en) | Method for optically scanning and measuring a scene and automatically generating a video | |
WO1998043113A1 (en) | Measuring system using laser technique for three-dimensional objects | |
EP3775993A1 (en) | Mobile apparatus and method for detecting an object space | |
DE102021124430B3 (en) | Visualize lidar measurement data | |
DE102005055879A1 (en) | Air Traffic guide | |
WO1997010488A1 (en) | Process and device for detecting and measuring three-dimensional bodies or any surfaces | |
EP4118628A2 (en) | Method and device for precisely selecting a spatial coordinate by means of a digital image | |
DE102014104713A1 (en) | Register a clustered scene with pairs of scans | |
DE102015106838B4 (en) | Method for controlling a 3D measuring device by means of the movement path and device for this purpose | |
CH702255A1 (en) | Three dimensional table scanner for three dimensional detection of objects, has cameras and light sources are arranged relative to object by holding devices, and processing device is operatively connected with cameras | |
WO2019110206A1 (en) | Lidar system for surroundings detection and method for operating a lidar system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R082 | Change of representative |
Representative=s name: HOSENTHIEN-HELD UND DR. HELD, DE |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |