DE102020101706A1 - Method for generating depth image pairs for a database - Google Patents
Method for generating depth image pairs for a database Download PDFInfo
- Publication number
- DE102020101706A1 DE102020101706A1 DE102020101706.5A DE102020101706A DE102020101706A1 DE 102020101706 A1 DE102020101706 A1 DE 102020101706A1 DE 102020101706 A DE102020101706 A DE 102020101706A DE 102020101706 A1 DE102020101706 A1 DE 102020101706A1
- Authority
- DE
- Germany
- Prior art keywords
- time
- flight camera
- tof
- database
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Verfahren zur Generierung valider Entfernungsgrunddaten für eine Lichtlaufzeitkamera,bei dem in einem Erfassungsschritt,mit wenigstens einer Lichtlaufzeitkamera und einem Laserscanner zumindest stückweise Entfernungswerte einer Szenerie erfasst werden,wobei in einem ersten Bearbeitungsschritt,die Entfernungswerte der Lichtlaufzeitkamera mit den Entfernungswerten des Laserscanners einem wahrscheinlisten Raumpunkt der Szenerie zugeordnet werden,und in einem zweiten Bearbeitungsschritt die Daten mittels einer Bildverarbeitung optimiert und zu Trainings-Entfernungsdatenpaare zusammengefasst und in einer Datenbank abgelegt werden.Method for generating valid basic distance data for a time-of-flight camera, in which in a detection step, at least one time-of-flight camera and a laser scanner, at least piecewise distance values of a scene are recorded, wherein in a first processing step, the distance values of the time-of-flight camera with the distance values of the laser scanner is a probable point in space of the scenery are assigned, and in a second processing step the data are optimized by means of image processing and combined into training distance data pairs and stored in a database.
Description
Die Erfindung betrifft ein Verfahren zur Generierung von Tiefenbildpaaren für eine Datenbank für die Verwendung in einer Lichtlaufzeitkamera nach Gattung des unabhängigen Anspruchs.The invention relates to a method for generating depth image pairs for a database for use in a time-of-flight camera according to the preamble of the independent claim.
Derartige Lichtlaufzeitkameras bzw. Lichtlaufzeitkamerasysteme betreffen insbesondere alle Lichtlaufzeit bzw. TOF-Kamerasysteme, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie beispielsweise in der
Aufgabe der Erfindung ist es, die Genauigkeit einer Lichtlaufzeitkamera zu verbessern.The object of the invention is to improve the accuracy of a time-of-flight camera.
Die Aufgabe wird durch das erfindungsgemäße Verfahren gelöst.The object is achieved by the method according to the invention.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.The invention is explained in more detail below on the basis of exemplary embodiments with reference to the drawings.
Es zeigen schematisch:
-
1 einen Aufbau zur Erfassung und Einlernen valider Entfernungsdaten, -
2 eine erfindungsgemäße Datenerfassung und -aufbereitung.
-
1 a structure for recording and teaching in valid distance data, -
2 a data acquisition and processing according to the invention.
Die verwendete Lichtlaufzeitkamera misst phasenverschobene periodische Funktionen, wobei die Phase proportional zur Tiefe d ist. Es ist üblich, diese Messungen als Real- (Re) und Imaginärteil (Im) eines komplexen Sinussignals (oft als Rohbild bezeichnet) zu gestalten. Die Phase wird definiert als:
Die Tiefe wird dann berechnet als:
Der eindeutige Bereich (ur) einer ToF-Kamera ist durch die Verwendung ihrer Modulationsfrequenz (f) begrenzt.
Mit c = Lichtgeschwindigkeit.With c = speed of light.
Die Tiefenmessung leidet unter mehreren Fehlern. Insbesondere Rauschen, Mehrweginterferenzen und so genannte „phase unwrapping‟ (Phasenzuordnungs) - Fehler müssen berücksichtigt werden.
- a) Das Rauschen wird in der Regel mit räumlichen, kernelbasierten (adaptiven-) Filterverfahren reduziert. Auch eine zeitliche Filterung wird verwendet.
- b) Mehrwege-Interferenz entsteht durch Mehrfachreflexionen in der Szene, bevor das Licht zur Kamera zurückkehrt. Dies führt zu überbestimmten Tiefenwerten und ist stark szenenabhängig. Derzeit ist kein klassischer Algorithmus in der Lage, diesen Fehler in Echtzeit zu korrigieren.
- c) Die Fehler durch die Phasenzuordnung (phase unwrapping) werden typischerweise mit dem chinesischen Restwert Theorem und mehreren Frequenzen gelöst. Fehler in der Zuordnung zu einem der möglichen Eindeutigkeitsbereichen können insbesondere durch Rauschen entstehen. Der maximale Bereich der Messung ist zudem noch durch das kleinste gemeinsame Vielfache der eindeutigen Bereiche der verwendeten Modulationsfrequenzen begrenzt.
- a) The noise is usually reduced with spatial, kernel-based (adaptive) filter methods. Temporal filtering is also used.
- b) Multipath interference is caused by multiple reflections in the scene before the light returns to the camera. This leads to overdetermined depth values and is heavily dependent on the scene. No conventional algorithm is currently able to correct this error in real time.
- c) The errors due to the phase assignment (phase unwrapping) are typically solved with the Chinese residual value theorem and several frequencies. Errors in the assignment to one of the possible uniqueness areas can arise in particular due to noise. The maximum range of the measurement is also limited by the smallest common multiple of the unique ranges of the modulation frequencies used.
Modelle des maschinellen Lernens sind in der Lage, mit diesen Problemen umzugehen, benötigen jedoch große Mengen an Trainingsdaten mit bekannten fehlerfreien Tiefendaten. Gegenwärtig werden Ray-Tracing-Methoden verwendet, um signifikante Mengen synthetischer Trainingsdaten mit entsprechender fehlerfreier Tiefe zu erzeugen. Leider haben synthetische Daten aufgrund verschiedener Vereinfachungen und Unzulänglichkeiten, die im Raytracer vorgenommen werden, erhebliche Nachteile.Machine learning models are able to deal with these problems, but require large amounts of training data with known error-free depth data. Ray tracing methods are currently used to generate significant amounts of synthetic training data with appropriate error-free depth. Unfortunately, synthetic data has significant disadvantages due to various simplifications and inadequacies made in the ray tracer.
Wie eingangs beschrieben und in
Als Referenzmesssystem kann beispielsweise ein 3D-Laserscanner verwendet werden, wobei aus der Scan-Punktewolke Entfernungsreferenzen bzw. ein Referenztiefenbild gewonnen werden kann. Aufgrund der punktförmigen Abtastung des Scanners, ist dieses Messverfahren typischerweise nicht von Mehrwegausbreitungen betroffen und liefert somit ein im Wesentlichen fehlerfreies Tiefenbild. Die Tof-Kamera hingegen ist aufgrund der flächigen Beleuchtung der Szene anfällig für Mehrwegausbreitungen. Ziel des erfindungsgemäßen Vorgehens ist es unter anderem, solche Effekte zu trainieren und die gelernten Daten in einem neuronalen Netz zur Verfügung zu stellen.A 3D laser scanner, for example, can be used as the reference measuring system, distance references or a reference depth image can be obtained from the scan point cloud. Due to the point-like scanning of the scanner, this measuring method is typically not affected by multipath propagation and thus provides an essentially error-free depth image. The Tof camera, on the other hand, is susceptible to multi-path propagation due to the flat lighting of the scene. The aim of the procedure according to the invention is, among other things, to train such effects and to make the learned data available in a neural network.
Nach der Grunddatenerfassung werden die Rohdaten so verarbeitet, dass die Tiefenbilder der Lichtlaufzeitkamera mit der Punktwolke des Laserscanners gemeinsam registriert werden können. Hierbei kann insbesondere auch eine extrinsische Kalibrierung vorteilhaft sein, um beispielsweise unerwünschte stereoskopische Effekte zu korrigieren. Diese Effekte treten aufgrund des endlichen Abstands zwischen Scanner und ToF-Sensor auf.After the basic data has been recorded, the raw data is processed in such a way that the depth images from the time-of-flight camera can be registered together with the point cloud from the laser scanner. In particular, an extrinsic calibration can also be advantageous here in order to correct undesired stereoscopic effects, for example. These effects occur due to the finite distance between the scanner and the ToF sensor.
Nach der Rohdatenpaarung kann eine Bildverarbeitung vorgesehen sein, die beispielsweise aus der Scan-Punktewolke bzw. Scan-Rohdaten ein Tiefenbild erzeugt. Das Scan-Tiefenbild kann hiernach beispielsweise mit den Roh-ToF-Bilder gepaart werden oder die Roh-ToF-Bilder werden in eine andere Repräsentation, wie beispielsweise einem Phasen- oder Entfernungsbild umgerechnet. Grundsätzlich lässt sich aus den Roh-ToF-Bildern auch zu einem späteren Zeitpunkt eine jeweils gewünschte Repräsentation berechnen.After the raw data pairing, image processing can be provided which, for example, generates a depth image from the scan point cloud or scan raw data. The scan depth image can then be paired with the raw ToF images, for example, or the raw ToF images are converted into another representation, such as a phase or distance image. In principle, the desired representation can also be calculated from the raw ToF images at a later point in time.
Schließlich gibt die Bildverarbeitung fehlerfreie Tiefenbilder mit zugeordneten ToF-Bildern aus. Eine zusätzliche Verarbeitung der ToF-Bilder ist wie oben beschrieben optional (Phase, Tiefe, Rauschfilter, Kalibrierung...).Finally, the image processing outputs error-free depth images with associated ToF images. Additional processing of the ToF images is optional as described above (phase, depth, noise filter, calibration ...).
Die anhand von vorzugsweise einigen Tausend erfassten unterschiedlichen Szenarien gewonnenen Trainingsdatenpaare werden in einer Datenbank bzw. einem neuronalen Netz abgelegt. Diese Datenbank ist für den jeweiligen ToF-Kameratyp universell und kann zur Verbesserung der Entfernungsmessungen herangezogen werdenThe training data pairs obtained on the basis of preferably several thousand recorded different scenarios are stored in a database or a neural network. This database is universal for the respective ToF camera type and can be used to improve the distance measurements
Ein wesentlicher Aspekt der Erfindung ist die Datenvermehrung. Dies bedeutet, dass die Menge der Trainingsdatenpaare pro Scan viel größer als 1 sein sollte. Bevorzugt sollten mehre Zehntausend Datenpaare erstellt werden. Vorzugsweise sollte jeder Scan >=10 Datenpaare liefern, um eine umfangreiche Datenbank für das Training aufzubauen. Mehrere Methoden sind geeignet, um dies zu erreichen:
- a) Montage der Lichtlaufzeitkamera auf einem Motor pro Rotationsachse. Eine Software ändert dann automatisch die Blickwinkel der Kamera durch Drehen der Motoren und nimmt so mehrere einzigartige Bilder pro Scan auf.
- b) Verwendung von mehreren Lichtlaufzeitkameras in verschiedenen Positionen und Winkeln, die auf dem Laserscanner montiert sind. Dies hat den zusätzlichen Vorteil, dass verschiedene Kameras mit unterschiedlichen Kalibrierfehlern verwendet werden können. Dadurch wird die statistische Wirksamkeit der Informationserweiterung (augmentation) erhöht.
- c) Aufnahme der ToF-Bilder bei verschiedenen Belichtungszeiten, um verschiedene Signal-Rausch-Verhältnisse darzustellen (z.B. 5 verschiedene Stufen).
- a) Installation of the time-of-flight camera on one motor per axis of rotation. Software then automatically changes the camera's angle of view by rotating the motors and thus takes several unique images per scan.
- b) Use of several time-of-flight cameras in different positions and angles, which are mounted on the laser scanner. This has the additional advantage that different cameras with different calibration errors can be used. This increases the statistical effectiveness of information augmentation.
- c) Recording the ToF images at different exposure times in order to show different signal-to-noise ratios (eg 5 different levels).
Alle Methoden können kombiniert werden, um die bestmögliche Datenverstärkung zu erreichen. Für einen Laserscanner mit einem Sichtfeld (fov) von 300°×360° und eine ToF-Kamera mit 45°x60° fov können wir ~36 eindeutige Blickpunkte abrufen. Bei 5 Belichtungszeiten erhalten wir 5x36=180 Trainingsmuster pro Scan, so dass eine Datenbank von 100x180 = 18k Trainingspaaren entsteht.All methods can be combined to achieve the best possible data amplification. For a laser scanner with a field of view (fov) of 300 ° × 360 ° and a ToF camera with 45 ° x60 ° fov, we can call up ~ 36 unique points of view. With 5 exposure times we get 5x36 = 180 training samples per scan, so that a database of 100x180 = 18k training pairs is created.
Wie in
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
- DE 19704496 C2 [0002]DE 19704496 C2 [0002]
Claims (2)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020101706.5A DE102020101706A1 (en) | 2020-01-24 | 2020-01-24 | Method for generating depth image pairs for a database |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020101706.5A DE102020101706A1 (en) | 2020-01-24 | 2020-01-24 | Method for generating depth image pairs for a database |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102020101706A1 true DE102020101706A1 (en) | 2021-07-29 |
Family
ID=76753314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102020101706.5A Withdrawn DE102020101706A1 (en) | 2020-01-24 | 2020-01-24 | Method for generating depth image pairs for a database |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102020101706A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19704496C2 (en) | 1996-09-05 | 2001-02-15 | Rudolf Schwarte | Method and device for determining the phase and / or amplitude information of an electromagnetic wave |
US20160239725A1 (en) | 2015-02-12 | 2016-08-18 | Mitsubishi Electric Research Laboratories, Inc. | Method for Denoising Time-of-Flight Range Images |
US20170262768A1 (en) | 2016-03-13 | 2017-09-14 | Microsoft Technology Licensing, Llc | Depth from time-of-flight using machine learning |
EP3291172A1 (en) | 2016-09-06 | 2018-03-07 | Audi Ag | Method for calculating final image data |
-
2020
- 2020-01-24 DE DE102020101706.5A patent/DE102020101706A1/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19704496C2 (en) | 1996-09-05 | 2001-02-15 | Rudolf Schwarte | Method and device for determining the phase and / or amplitude information of an electromagnetic wave |
US20160239725A1 (en) | 2015-02-12 | 2016-08-18 | Mitsubishi Electric Research Laboratories, Inc. | Method for Denoising Time-of-Flight Range Images |
US20170262768A1 (en) | 2016-03-13 | 2017-09-14 | Microsoft Technology Licensing, Llc | Depth from time-of-flight using machine learning |
EP3291172A1 (en) | 2016-09-06 | 2018-03-07 | Audi Ag | Method for calculating final image data |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69624614T2 (en) | Stereo matching and inequality measurement method | |
DE102018108027B4 (en) | Object detection device | |
DE102015108825B4 (en) | TOF camera with location sensor system | |
DE102021112880A1 (en) | POSITIONING METHOD AND SYSTEM THAT COMBINES MARKER POINT POSITIONING AND INTELLIGENT BACKWARD POSITIONING | |
DE112010000019T5 (en) | Method for optically scanning and measuring an environment | |
DE102014104712A1 (en) | Registration of a clustered scene with visualized clusters | |
DE202017104518U1 (en) | Testing 3D Imaging Systems | |
DE102017102227A1 (en) | Method and device for automatic identification of a point of interest in a depth measurement on a viewed object | |
WO2014139504A1 (en) | Apparatus for volumetrically measuring an object in the body of an animal for slaughter | |
DE102018108936A1 (en) | Form measuring system and shape measuring method | |
DE112017003426T5 (en) | Method and system for reconstructing a three-dimensional representation | |
DE3102880C2 (en) | Method and device for calibrating scanners | |
DE102015102928A1 (en) | System and method for selecting a two-dimensional region of interest using a distance sensor. | |
DE102016002186A1 (en) | Method and image processing device for determining a geometric measured variable of an object | |
DE102006022103B4 (en) | Method for measuring a solid | |
DE102020101706A1 (en) | Method for generating depth image pairs for a database | |
DE102021109386B4 (en) | Method for correcting depth images of a time-of-flight camera | |
DE102011056948A1 (en) | Method for calibrating a camera to a position sensor | |
DE102021128537A1 (en) | Time-of-flight camera and method for operating one | |
DE102014104713A1 (en) | Register a clustered scene with pairs of scans | |
DE102019220616B4 (en) | PROCEDURE FOR SIMULTANEOUS LOCATION AND IMAGE | |
DE102021111602A1 (en) | Computer-implemented method for correcting artifacts in measurement data generated by a time-of-flight 3D sensor, a corresponding computer program, a corresponding computer-readable medium and a PMD detector | |
DE102020204761A1 (en) | EVALUATION OF THE MODULATION TRANSFER FUNCTION FOR RED / CLEAR FILTERED OPTICAL DEVICES | |
DE102015102128A1 (en) | Laser scanner and method for measuring an object | |
DE3127146A1 (en) | Method for correcting image errors (aberrations) caused by echo-time effects in the ultrasonic scanning of objects, in particular in ultrasonic reflection computer tomography and in the compound-B scanning method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |