EP4217960A1 - Device and method for creating training data for two-dimensional scans of a ground-penetrating radar system - Google Patents

Device and method for creating training data for two-dimensional scans of a ground-penetrating radar system

Info

Publication number
EP4217960A1
EP4217960A1 EP21782664.3A EP21782664A EP4217960A1 EP 4217960 A1 EP4217960 A1 EP 4217960A1 EP 21782664 A EP21782664 A EP 21782664A EP 4217960 A1 EP4217960 A1 EP 4217960A1
Authority
EP
European Patent Office
Prior art keywords
gpr
image
images
designed
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21782664.3A
Other languages
German (de)
French (fr)
Inventor
Markus Boldt
Ulrich THÖNNESSEN
Karsten Schulz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP4217960A1 publication Critical patent/EP4217960A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the invention relates to a device and a method for creating training data for two-dimensional scans of a ground radar system
  • the invention relates, inter alia, to an image processing technique for creating training data for two-dimensional scans of a ground penetrating radar (GPR) system, which can be used, for example, to train machine learning (ML) algorithms.
  • GPR ground penetrating radar
  • ML machine learning
  • CNNs convolutional neural networks
  • NNs neural networks
  • data augmentation methods are also used to increase the stock of training data.
  • artefacts or disturbances depicted in the image data are recognized, extracted and, for example, shifted to different locations within the image.
  • Scaling or rotations are also possible.
  • the invention described here includes a corresponding procedure.
  • a device for creating training data for two-dimensional scans of a ground-penetrating radar system is provided.
  • the device is designed to determine a foreground area and a background area of the GPR image for each GPR image from one or more first GPR images, and to determine one or more interfering objects in the foreground area of the GPR image.
  • the device is designed to generate one or more second GPR images for each GPR image of the one or more first GPR images depending on at least one interference object of the one or more interference objects of the GPR image in order to generate the training data.
  • the procedure includes:
  • FIG. 1 shows a device for creating training data for two-dimensional scans of a ground radar system according to an embodiment.
  • FIG. 2 shows a device for creating training data for two-dimensional nradar systems according to a further embodiment.
  • FIG. 3 shows a flowchart with modules of an apparatus according to an embodiment.
  • FIG. 4 shows an RPCA-based separation of image foreground and image background after input of a GPR data sequence according to an embodiment.
  • FIG. 5 shows a pictorial representation of the central steps of the workflow visualized in FIG. 3 according to an embodiment.
  • FIG. 1 shows a device 100 for creating training data for two-dimensional scans of a ground-penetrating radar system according to an embodiment.
  • the device 100 is designed to determine a foreground area and a background area of the GPR image for each GPR image from one or more first GPR images, and to determine one or more interference objects in the foreground area of the GPR image.
  • the device 100 is designed to generate one or more second GPR images depending on at least one interference object of the one or more interference objects of the GPR image for each GPR image of the one or more first GPR images in order to generate the training data.
  • the device 100 can be designed, for example, to change the at least one interfering object and/or a position of the at least one interfering object in the GPR image in order to generate the one or more second GPR images.
  • the device 100 can be configured, for example, to change a scaling of the at least one clutter object in the GPR image in order to generate the one or more second GPR images.
  • the device 100 can be designed, for example, to change a gray value intensity of the at least one interfering object in the GPR image in order to generate the one or more second GPR images.
  • the device 100 may be configured to change the position of the at least one clutter object in the GPR image to generate the one or more second GPR images.
  • the device 100 can be configured, for example, to determine the foreground area and the background area of the GPR image for each GPR image of the one or more first GPR images by separating the foreground area and the background area from one another by the device 100 measuring the GPR image divided into a plurality of image areas that do not overlap, the apparatus 100 assigning each of the plurality of image areas to either the foreground area or the background area.
  • the one or more first GPR images may be one or more two-dimensional GPR images.
  • FIG. 2 shows a device 100 for creating training data for two-dimensional scans of a ground radar system according to a further embodiment.
  • GPR system 210 can include, for example, an optional GPR system 210, a zero-offset corrector 220, a (robust) principal component analyzer 230, a mask selector 240, a data augmentator 250 and a result image generator 260.
  • the one or more first GPR images can be, for example, a plurality of first GPR images.
  • the plurality of first GPR images can be, for example, a plurality of chronologically consecutive GPR images that were generated from a sequence of a plurality of recorded GPR images.
  • the device 100 may include a GPR data acquisition system 210 to acquire the sequence of the plurality of acquired GPR images.
  • the GPR data collection system 210 may be a multi-channel ground penetrating radar.
  • the device 100 can be designed, for example, to use the multi-channel ground-penetrating radar in order to record the sequence of the majority of the recorded GPR images.
  • the GPR system 210 may be a single-channel system having measurement tracks arranged parallel to one another.
  • the device 100 can be designed, for example, to use the single-channel system in order to record the sequence of the majority of the recorded GPR images.
  • the device 100 can be designed, for example, to compensate for a distance between the sensor and the ground surface that varies in the sequence of the plurality of recorded GPR images in order to generate the plurality of first GPR images.
  • the device 100 can be configured, for example, to normalize a soil signature that varies in the sequence of the plurality of recorded GPR images in order to generate the plurality of first GPR images.
  • the device 100 can have a zero-offset corrector 220, for example, which can be configured, for example, to perform a zero-offset correction with respect to the sequence of the plurality of recorded GPR images in order to generate the plurality of first GPR images.
  • a zero-offset corrector 220 for example, which can be configured, for example, to perform a zero-offset correction with respect to the sequence of the plurality of recorded GPR images in order to generate the plurality of first GPR images.
  • the device 100 may include, for example, a principal component analyzer 230 that may be configured, for example, to perform a robust principal component analysis to determine the foreground area for each GPR image of the plurality of first GPR images.
  • the device 100 can be designed, for example, to determine the one or more interfering objects in the foreground area of each GPR image of the plurality of first GPR images, dividing image information of the GPR image into a low-rank matrix and a sparse matrix.
  • the sparse matrix may depend, for example, on the background area of the GPR image, and the low-ranking matrix may depend, for example, on the foreground area of the GPR image and on the one or more clutter objects of the GPR image.
  • the device 100 can be configured, for example, to mask and extrapolate the one or more clutter objects of the foreground area in each GPR image of the plurality of first GPR images using a mask.
  • the device 100 can have a mask selector 240, for example, which can be configured, for example, to determine the mask by means of a threshold detection method and/or by means of an edge detection method.
  • a mask selector 240 for example, which can be configured, for example, to determine the mask by means of a threshold detection method and/or by means of an edge detection method.
  • the device 100 can be configured, for example, to have a data augmentator 250, which can be configured, for example, to move and/or scale the clutter object using the mask.
  • the device 100 can have, for example, a calculation result image generator 260, which can be configured, for example, for each image pixel of a plurality of image pixels in an area of the interference object in the GPR image that is masked by the mask, a mean value from the calculate the foreground image and/or the background image of the GPR image in order to determine the mean value as a pixel value for an image coordinate of one of the one or more second GPR images.
  • a calculation result image generator 260 which can be configured, for example, for each image pixel of a plurality of image pixels in an area of the interference object in the GPR image that is masked by the mask, a mean value from the calculate the foreground image and/or the background image of the GPR image in order to determine the mean value as a pixel value for an image coordinate of one of the one or more second GPR images.
  • the device 100 can have, for example, an insertion result image generator 260, which can be configured, for example, to insert one of the one or more interference objects of a GPR image of the plurality of first GPR images into another GPR image of the plurality of first GPR images in order to generate one of the one or more second GPR images.
  • an insertion result image generator 260 which can be configured, for example, to insert one of the one or more interference objects of a GPR image of the plurality of first GPR images into another GPR image of the plurality of first GPR images in order to generate one of the one or more second GPR images.
  • An image processing technique is used to create or enlarge a training database from GPR image data, which aims to separate the image foreground from the image background.
  • the main focus of this separation are so-called interference objects, which are in the image foreground in the present description.
  • new GPR images can be artificially generated by varying the interference object in terms of location, scaling and gray value intensity (data augmentation, see above).
  • the workflow is shown in FIG. This is explained step by step below.
  • FIG 3 shows a flow chart with modules of a device according to an embodiment.
  • the parallelograms represent data; the rectangles represent modules for carrying out work steps (or the work steps as such).
  • Sequences of chronologically consecutive GPR image data are used as the data basis.
  • the two-dimensionality of the data is achieved by using a multi-channel ground radar that records an image with each measurement, with n image columns orthogonal to the direction of movement of the sensor.
  • two-dimensional GPR image data can also be created by measuring paths of a single-channel system arranged parallel to one another. The number m of image lines represents the number of depth points determined by sensor-related parameters. By moving the sensor along a measurement path, a three-dimensional data cube of size m x n x p is created from p GPR images,
  • a so-called zero offset correction (correction of the zero crossing of the signal) is first carried out, which aims on the one hand to compensate for a distance between the sensor and the ground surface that varies over the sequence and on the other hand to standardize a varying ground signature.
  • This pre-processing step precedes the further processing steps aimed at estimating the background of a GPR image in a robust way.
  • the corrected image data sequence is the basis for the extraction of clutter.
  • RPCA Robust Principal Component Analysis
  • PCA Principal Component Analysis
  • RPCA is considered a so-called Described pre-screening procedure used to detect artifacts [Masarik et al., 2015].
  • the delimitation of the interfering object from the undisturbed image background is achieved by dividing the image information into a low-rank matrix and a sparse matrix.
  • the low-rank matrix contains the image background, which extends over the ground radar image under consideration and the neighboring images changed little in the same sequence. This also includes the soil signature after performing a zero offset correction.
  • the sparse matrix contains information about local variations in the image content, such as those caused by interfering objects.
  • FIG. 4 shows an RPCA-based separation of image foreground and image background after input of a GPR data sequence according to an embodiment.
  • FIG. 4 An RPCA-based separation into image foreground and background is illustrated in FIG. 4. Individual B-scans of the data sequence are visualized here along the time t.
  • the interfering object is manually masked in the image and then extracted.
  • the mask is used to move or scale the interfering object from its original position in the image (data augmentation). In this way, a far larger number of synthetic ground radar images can be
  • Interfering objects can be created in varying image backgrounds. Furthermore, it is possible to use the extracted interference object in other, for example, interference-free GPR images with comparable statistics of the image background.
  • the mask selection step to be carried out manually can potentially be automated, for example by using unsupervised threshold value or edge detection methods.
  • the mean value from the foreground or background image is calculated for each image pixel in the masked area. These values are then entered at the corresponding image coordinates in the result image with the correct sign.
  • FIG. 5 shows a pictorial representation of the central steps of the workflow visualized in FIG. 3 according to an embodiment. From left to right, FIG. 5 shows an undisturbed and a disturbed B-scan of the input data sequence after application of the RPCA present image background and image foreground, as well as a foreground with a selected mask; three exemplary result images with a selected interfering object, placed at different points of the B-scan.
  • FIG. 5 the work steps given in FIG. 3 are illustrated from left to right.
  • two B-scans of the input to see the data sequence On the one hand, these represent the undisturbed state without interfering objects (left) and, on the other hand, the disturbed state, here with two interfering objects (right).
  • the three images shown in the middle in FIG. 5 show the image background (left), foreground (middle) and the mask selection for an interference object of interest (right) resulting after application of the RPCA.
  • On the right-hand side of FIG. 5 there are three result images by way of example after the selected interference object has been placed at different points in the B-scan.
  • One of the advantages of the concepts according to embodiments is the very rapid growth of the training data set using a small amount of GPR image data. This enables a massive reduction in the effort involved in data acquisition.
  • a prerequisite for the RPCA method is the existence of an undisturbed sequence of spatially consecutive ground radar images (transient process).
  • the mask selection around a potential interference object remains as a manual processing step. Manually because a GPR image can contain several interfering objects of different types and characteristics, so that a targeted selection of the desired object is carried out. All other steps, such as scaling or translations, are automated, which means that the method is easy to use and user-friendly.
  • the concepts described here are designed, among other things, to create a large number of suitable training data for machine learning applications based on ground radar image data with relatively little effort.
  • aspects have been described in the context of a device, it is understood that these aspects also represent a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Similarly, aspects described in connection with or as a method step also constitute a description of a corresponding block or detail or feature of a corresponding apparatus.
  • Some or all of the method steps may be performed by hardware apparatus (or using hardware Apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the essential process steps can be performed by such an apparatus.
  • embodiments of the invention may be implemented in hardware, or in software, or at least partially in hardware, or at least partially in software.
  • Implementation can be performed using a digital storage medium such as a floppy disk, a DVD, a BluRay disk, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, a hard disk or other magnetic or optical Memory are carried out on which electronically readable control signals are stored, which can interact with a programmable computer system in such a way or interaction that the respective method is carried out. Therefore, the digital storage medium can be computer-readable.
  • some embodiments according to the invention comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system in such a way that one of the methods described herein is carried out.
  • embodiments of the present invention can be implemented as a computer program product with a program code, wherein the program code is effective to perform one of the methods when the computer program product runs on a computer.
  • the program code can also be stored on a machine-readable carrier, for example.
  • exemplary embodiments include the computer program for performing one of the methods described herein, the computer program being stored on a machine-readable carrier.
  • an exemplary embodiment of the method according to the invention is therefore a computer program that has a program code for performing one of the methods described herein when the computer program runs on a computer.
  • a further exemplary embodiment of the method according to the invention is therefore a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for carrying out one of the methods described herein is recorded.
  • the data carrier or digital storage medium or computer-readable medium is typically tangible and/or non-transitory.
  • a further exemplary embodiment of the method according to the invention is therefore a data stream or a sequence of signals which represents or represent the computer program for carrying out one of the methods described herein.
  • the data stream or sequence of signals may be configured to be transferred over a data communications link, such as the Internet.
  • Another embodiment includes a processing device, such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • a processing device such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • Another embodiment includes a computer on which the computer program for performing one of the methods described herein is installed.
  • a further exemplary embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a recipient.
  • the transmission can be, for example, electronic or optical.
  • the recipient can be, for example, a computer, a mobile device, a storage device or a similar device.
  • the device or the system can, for example, comprise a file server for transmission of the computer program to the recipient.
  • a programmable logic device e.g., a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein.
  • the methods are performed on the part of any hardware device. This can be hardware that can be used universally, such as a computer processor (CPU), or hardware that is specific to the method, such as an ASIC.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

A device (100) for creating training data for two-dimensional scans of a ground-penetrating radar system is provided. The device (100) is designed to determine, for each GPR image of one or more first GPR images, a foreground region and a background region of the GPR image and one or more interfering objects in the foreground region of the GPR image. The device (100) is also designed to produce, for each GPR image of the one or more first GPR images, one or more second GPR images in accordance with at least one interfering object of the one or more interfering objects of the GPR image, in order to produce the training data.

Description

Vorrichtung und Verfahren zur Erstellung von Trainingsdaten für zweidimensionale Scans eines Bodenradar-Systems Device and method for creating training data for two-dimensional scans of a ground radar system
Besch r ei bung Description
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Erstellung von Trainingsdaten für zweidimensionale Scans eines Bodenradar-Systems, The invention relates to a device and a method for creating training data for two-dimensional scans of a ground radar system,
Speziell betrifft die Erfindung unter anderem eine Bildverarbeitungstechnik zur Erstellung von Trainingsdaten für zweidimensionale Scans eines Bodenradar-Systems (engl. Ground Penetrating Radar GPR), die beispielsweise zum Trainieren von Machine Learning (ML) - Algorithmen genutzt werden können. Specifically, the invention relates, inter alia, to an image processing technique for creating training data for two-dimensional scans of a ground penetrating radar (GPR) system, which can be used, for example, to train machine learning (ML) algorithms.
ML-Verfahren erfreuen sich einer in den letzten Jahren stetig wachsenden Berücksichtigung in verschiedenen Anwendungsbereichen. Speziell die sogenannten Convolutional Neural Networks (CNNs) als Sonderform der Neuronalen Netze (NNs) unterliegen einem hohen Interesse im Themengebiet der digitalen Bildverarbeitung. Damit derartige Netze robuste Analyseergebnisse berechnen können, müssen in der Regel sehr umfangreiche Datensätze zum Training bereitstehen, Verfügbare Netze dienen zur Analyse von Bilddaten, die mit elektrooptischen Sensoren aufgenommen wurden. Für derartige Eingabedaten existiert eine Vielzahl unterschiedlicher Trainingsdatensätze, die zum Beispiel für Klassifikationsaufgaben genutzt werden können. Für GPR-Daten wiederum existieren bis heute, nach aktuellem Wissensstand, keine derartigen Trainingsdaten, ML methods have enjoyed increasing attention in various application areas in recent years. In particular, the so-called convolutional neural networks (CNNs) as a special form of neural networks (NNs) are of great interest in the field of digital image processing. In order for networks of this type to be able to calculate robust analysis results, very extensive data sets must generally be available for training. Available networks are used to analyze image data recorded with electro-optical sensors. A large number of different training data sets exist for such input data, which can be used, for example, for classification tasks. According to the current state of knowledge, no such training data exist for GPR data,
Der Stand der Technik weicht deshalb teils auf Transfer Learning (TL) Strategien aus, die mit kleineren Datenbasen auskommen. Im Falle einer Neukonstruktion eines Netzes ohne Rückgriff auf TL-Methoden ist man demzufolge darauf angewiesen, beispielsweise durch aufwändige Messkampagnen geeignete Trainingsdaten zu akquirieren. Die hier beschriebene Erfindung bietet hierzu eine alternative Vorgehensweise, um den damit verbundenen Aufwand deutlich zu verringern. The state of the art is therefore partly deviating from transfer learning (TL) strategies that get by with smaller databases. In the case of a new construction of a network without recourse to TL methods, one is therefore dependent on acquiring suitable training data, for example through complex measurement campaigns. The invention described here offers an alternative approach to this in order to significantly reduce the associated effort.
Zur verarbeitenden Analyse von GPR-Bllddaten existieren nur sehr wenige bis keine frei verfügbaren Datensätze, die zum Training von CNNs genutzt werden können, Daraus folgt, dass häufig Methoden wie das TL zum Einsatz kommen, um bereits vortrainierte Netze auf den jeweiligen GPR-Datensatz anzupassen. Hierfür ist eine relativ geringe Anzahl an GPR- Daten erforderlich. Wichtige Probleme dabei sind, dass die dem vortrainierten Netz zugrundeliegenden Daten bezüglich Dimension, Grauwertspektrum und Objektsignatur der GPR-Daten nicht übereinstimmen und entsprechend angepasst werden müssen, was wiederum häufig mit Qualitätseinbußen hinsichtlich der Ergebnisse verbunden ist. For the processed analysis of GPR image data, there are only very few or no freely available data sets that can be used to train CNNs. It follows that methods such as TL are often used to adapt pre-trained networks to the respective GPR data set . A relatively small amount of GPR data is required for this. Important problems are that the data on which the pre-trained network is based, with regard to dimension, gray value spectrum and object signature GPR data do not match and need to be adjusted accordingly, which in turn often reduces the quality of the results.
Der alternative Weg, die Erstellung und das Testen GPR-spezifischer Netzstrukturen von Grund auf, ist wiederum ohne Trainingsdaten in umfangreicher Anzahl nur bei gleichzeitigen Qualitätseinbußen bei den Ergebnissen umsetzbar. The alternative way, the creation and testing of GPR-specific network structures from the ground up, can only be implemented without training data in large numbers with simultaneous loss of quality in the results.
Neben dem TL werden auch Data Augmentation-Methoden verwendet, um den Bestand an Trainingsdaten zu vergrößern. Hierbei werden in den Bilddaten abgebildete Artefakte beziehungsweise Störungen erkannt, extrahiert und Innerhalb des Bilds an verschiedene Stellen beispielsweise verschoben. Skalierungen oder Rotationen sind ebenfalls möglich, Die hier beschriebene Erfindung beinhaltet eine entsprechende Vorgehensweise. In addition to the TL, data augmentation methods are also used to increase the stock of training data. In this case, artefacts or disturbances depicted in the image data are recognized, extracted and, for example, shifted to different locations within the image. Scaling or rotations are also possible. The invention described here includes a corresponding procedure.
Eine Vorrichtung nach Anspruch 1 , ein Verfahren nach Anspruch 24 und ein Computerprogramm nach Anspruch 25 werden bereitgestellt. An apparatus according to claim 1, a method according to claim 24 and a computer program according to claim 25 are provided.
Eine Vorrichtung zur Erstellung von Trainingsdaten für zweidimensionale Scans eines Bodenradar-Systems wird bereitgestellt. Die Vorrichtung Ist ausgebildet, für jedes GPR Bild von ein oder mehreren ersten GPR Bildern einen Vordergrundbereich und einen Hintergrundbereich des GPR Bildes zu bestimmen, und ein oder mehrere Störobjekten in dem Vordergrundbereich des GPR Bildes zu bestimmen. Des Weiteren ist die Vorrichtung ausgebildet, für jedes GPR Bild der ein oder mehreren ersten GPR Bilder ein oder mehrere zweite GPR Bilder abhängig von wenigstens einem Störobjekt der ein oder mehreren Störobjekte des GPR Bildes zu erzeugen, um die Trainingsdaten zu erzeugen. A device for creating training data for two-dimensional scans of a ground-penetrating radar system is provided. The device is designed to determine a foreground area and a background area of the GPR image for each GPR image from one or more first GPR images, and to determine one or more interfering objects in the foreground area of the GPR image. Furthermore, the device is designed to generate one or more second GPR images for each GPR image of the one or more first GPR images depending on at least one interference object of the one or more interference objects of the GPR image in order to generate the training data.
Des Weiteren wird ein Verfahren zur Erstellung von Trainingsdaten für zweidimensionale Scans eines Bodenradar-Systems bereitgestellt. Das Verfahren umfasst: Furthermore, a method for creating training data for two-dimensional scans of a ground radar system is provided. The procedure includes:
Für jedes GPR Bild von ein oder mehreren ersten GPR Bildern, Bestimmen eines Vordergrundbereichs und eines Hintergrundbereichs des GPR Bildes, und Bestimmen von ein oder mehreren Störobjekten in dem Vordergrundbereich des GPR Bildes. Und: For each GPR image from one or more first GPR images, determining a foreground area and a background area of the GPR image, and determining one or more clutter objects in the foreground area of the GPR image. And:
- Für jedes GPR Bild der ein oder mehreren ersten GPR Bilder, Erzeugen von ein oder mehreren zweiten GPR Bildern abhängig von wenigstens einem Störobjekt der ein oder mehreren Störobjekte des GPR Bildes zur Erzeugung der Trainingsdaten. Ferner wird ein Computerprogramm mit einem Programmcode zur Durchführung des oben beschriebenen Verfahrens bereitgestellt. - For each GPR image of the one or more first GPR images, generating one or more second GPR images depending on at least one interfering object of the one or more interfering objects of the GPR image for generating the training data. Furthermore, a computer program with a program code for carrying out the method described above is provided.
Nachfolgend werden bevorzugte Ausführungsformen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. Preferred embodiments of the invention are described below with reference to the drawings.
In den Zeichnungen ist dargestellt: The drawings show:
Fig. 1 zeigt eine Vorrichtung zur Erstellung von Trainingsdaten für zweidimensionale Scans eines Bodenradar-Systems gemäß einer Ausführungsform. 1 shows a device for creating training data for two-dimensional scans of a ground radar system according to an embodiment.
Fig. 2 zeigt eine Vorrichtung zur Erstellung von Trainingsdaten für zweidimensionale nradar-Systems gemäß einer weiteren Ausführungsform. FIG. 2 shows a device for creating training data for two-dimensional nradar systems according to a further embodiment.
Fig. 3 zeigt ein Ablaufdiagramm mit Modulen einer Vorrichtung gemäß einer Ausführungsform. 3 shows a flowchart with modules of an apparatus according to an embodiment.
Fig. 4 zeigt eine RPCA-basierte Trennung von Bildvorder- und Bildhintergrund nach Eingabe einer GPR-Datensequenz gemäß einer Ausführungsform. 4 shows an RPCA-based separation of image foreground and image background after input of a GPR data sequence according to an embodiment.
Fig. 5 zeigt eine bildliche Darstellung der zentralen Schrite des in Fig.3 visualisierten Arbeitsablaufs gemäß einer Ausführungsform. FIG. 5 shows a pictorial representation of the central steps of the workflow visualized in FIG. 3 according to an embodiment.
Fig. 1 zeigt eine Vorrichtung 100 zur Erstellung von Trainingsdaten für zweidimensionale Scans eines Bodenradar-Systems gemäß einer Ausführungsform. 1 shows a device 100 for creating training data for two-dimensional scans of a ground-penetrating radar system according to an embodiment.
Die Vorrichtung 100 ist ausgebildet, für jedes GPR Bild von ein oder mehreren ersten GPR Bildern einen Vordergrundbereich und einen Hintergrundbereich des GPR Bildes zu bestimmen, und ein oder mehrere Störobjekten in dem Vordergrundbereich des GPR Bildes zu bestimmen. The device 100 is designed to determine a foreground area and a background area of the GPR image for each GPR image from one or more first GPR images, and to determine one or more interference objects in the foreground area of the GPR image.
Des Weiteren ist die Vorrichtung 100 ausgebildet, für jedes GPR Bild der ein oder mehreren ersten GPR Bilder ein oder mehrere zweite GPR Bilder abhängig von wenigstens einem Störobjekt der ein oder mehreren Störobjekte des GPR Bildes zu erzeugen, um die Trainingsdaten zu erzeugen. Gemäß einer Ausführungsform kann die Vorrichtung 100 z.B. ausgebildet sein, das wenigstens eine Störobjekt und/oder eine Position des wenigstens einen Störobjekts in dem GPR Bild zu verändern, um die ein oder mehreren zweiten GPR Bilder zu erzeugen. Furthermore, the device 100 is designed to generate one or more second GPR images depending on at least one interference object of the one or more interference objects of the GPR image for each GPR image of the one or more first GPR images in order to generate the training data. According to one embodiment, the device 100 can be designed, for example, to change the at least one interfering object and/or a position of the at least one interfering object in the GPR image in order to generate the one or more second GPR images.
In einer Ausführungsform kann die Vorrichtung 100 z.B. ausgebildet sein, eine Skalierung des wenigstens einen Störobjekts in dem GPR Bild zu verändern, um die ein oder mehreren zweiten GPR Bilder zu erzeugen. In one embodiment, the device 100 can be configured, for example, to change a scaling of the at least one clutter object in the GPR image in order to generate the one or more second GPR images.
Gemäß einer Ausführungsform kann die Vorrichtung 100 z.B. ausgebildet sein, eine Grauwertintensität des wenigstens einen Störobjekts in dem GPR Bild zu verändern, um die ein oder mehreren zweiten GPR Bilder zu erzeugen. According to one embodiment, the device 100 can be designed, for example, to change a gray value intensity of the at least one interfering object in the GPR image in order to generate the one or more second GPR images.
In einer Ausführungsform kann die Vorrichtung 100 z.B. ausgebildet sein, die Position des wenigstens einen Störobjekts in dem GPR Bild zu verändern, um die ein oder mehreren zweiten GPR Bilder zu erzeugen. For example, in one embodiment, the device 100 may be configured to change the position of the at least one clutter object in the GPR image to generate the one or more second GPR images.
Gemäß einer Ausführungsform kann die Vorrichtung 100 z.B. ausgebildet sein, für jedes GPR Bild der ein oder mehreren ersten GPR Bilder den Vordergrundbereich und den Hintergrundbereich des GPR Bildes zu bestimmen, indem der Vordergrundbereich und der Hintergrundbereich voneinander separiert werden, indem die Vorrichtung 100 das GPR Bild in eine Mehrzahl von Bildbereichen unterteilt, die sich nicht überschneiden, wobei die Vorrichtung 100 jeden der Mehrzahl der Bildbereiche entweder dem Vordergrundbereich zuordnet oder aber dem Hintergrundbereich zuordnet. According to one embodiment, the device 100 can be configured, for example, to determine the foreground area and the background area of the GPR image for each GPR image of the one or more first GPR images by separating the foreground area and the background area from one another by the device 100 measuring the GPR image divided into a plurality of image areas that do not overlap, the apparatus 100 assigning each of the plurality of image areas to either the foreground area or the background area.
In einer Ausführungsform kann es sich bei den ein oder mehreren ersten GPR Bildern z.B, um ein oder mehrere zweidimensionale GPR Bilder handeln. For example, in one embodiment, the one or more first GPR images may be one or more two-dimensional GPR images.
Fig. 2 zeigt eine Vorrichtung 100 zur Erstellung von Trainingsdaten für zweidimensionale Scans eines Bodenradar-Systems gemäß einer weiteren Ausführungsform. FIG. 2 shows a device 100 for creating training data for two-dimensional scans of a ground radar system according to a further embodiment.
Die Vorrichtung der Fig. 2 kann dabei z.B. ein optionales GPR System 210, einen Zero- Offset-Korrektor 220, einen (robusten) Hauptkomponentenanalysator 230, einen Maskenselektor 240, einen Daten Augmentator 250 und einen Ergebnisbilderzeuger 260 umfassen. 2 can include, for example, an optional GPR system 210, a zero-offset corrector 220, a (robust) principal component analyzer 230, a mask selector 240, a data augmentator 250 and a result image generator 260.
Gemäß einer Ausführungsform können die ein oder mehreren ersten GPR Bilder z.B. eine Mehrzahl von ersten GPR Bildern sein. In einer Ausführungsform kann es sich z.B, bei der Mehrzahl der ersten GPR Bilder um eine Mehrzahl von zeitlich aufeinanderfolgenden GPR Bildern handeln, die aus einer Sequenz von einer Mehrzahl von aufgenommenen GPR Bildern erzeugt wurden. According to one embodiment, the one or more first GPR images can be, for example, a plurality of first GPR images. In one embodiment, the plurality of first GPR images can be, for example, a plurality of chronologically consecutive GPR images that were generated from a sequence of a plurality of recorded GPR images.
Gemäß einer Ausführungsform kann die Vorrichtung 100 z.B. ein GPR System 210 zur Datenaufnahme aufweisen, um die Sequenz der Mehrzahl der aufgenommenen GPR Bilder aufzunehmen. For example, according to one embodiment, the device 100 may include a GPR data acquisition system 210 to acquire the sequence of the plurality of acquired GPR images.
In einer Ausführungsform kann es sich bei dem GPR System 210 zur Datenaufnahme z.B. um ein mehrkanaliges Bodenradar handeln. Dabei kann die Vorrichtung 100 z.B. ausgebildet sein, das mehrkanalige Bodenradar einzusetzen, um die Sequenz der Mehrzahl der aufgenommenen GPR Bilder aufzunehmen. For example, in one embodiment, the GPR data collection system 210 may be a multi-channel ground penetrating radar. In this case, the device 100 can be designed, for example, to use the multi-channel ground-penetrating radar in order to record the sequence of the majority of the recorded GPR images.
Gemäß einer Ausführungsform kann es sich bei dem GPR System 210 z.B. um ein einkanaliges System handelt, das parallel zueinander angeordnete Messbahnen aufweist. Dabei kann die Vorrichtung 100 z.B. ausgebildet sein, das einkanalige System einzusetzen, um die Sequenz der Mehrzahl der aufgenommenen GPR Bilder aufzunehmen. For example, according to one embodiment, the GPR system 210 may be a single-channel system having measurement tracks arranged parallel to one another. In this case, the device 100 can be designed, for example, to use the single-channel system in order to record the sequence of the majority of the recorded GPR images.
In einer Ausführungsform kann die Vorrichtung 100 z.B. ausgebildet sein, einen in der Sequenz der Mehrzahl der aufgenommenen GPR Bilder variierenden Abstand zwischen Sensor und Bodenoberfläche auszugleichen, um die Mehrzahl der ersten GPR Bilder zu erzeugen. In one embodiment, the device 100 can be designed, for example, to compensate for a distance between the sensor and the ground surface that varies in the sequence of the plurality of recorded GPR images in order to generate the plurality of first GPR images.
Gemäß einer Ausführungsform kann die Vorrichtung 100 z.B. ausgebildet sein, einen in der Sequenz der Mehrzahl der aufgenommenen GPR Bilder variierende Bodensignatur zu normieren, um die Mehrzahl der ersten GPR Bilder zu erzeugen. According to one embodiment, the device 100 can be configured, for example, to normalize a soil signature that varies in the sequence of the plurality of recorded GPR images in order to generate the plurality of first GPR images.
In einer Ausführungsform kann die Vorrichtung 100 z.B. einen Zero-Offset Korrektor 220 aufweisen, der z.B. ausgebildet sein kann, eine Zero-Offset-Korrektur bezüglich der Sequenz der Mehrzahl der aufgenommenen GPR Bilder vorzunehmen, um die Mehrzahl der ersten GPR Bilder zu erzeugen. In one embodiment, the device 100 can have a zero-offset corrector 220, for example, which can be configured, for example, to perform a zero-offset correction with respect to the sequence of the plurality of recorded GPR images in order to generate the plurality of first GPR images.
Gemäß einer Ausführungsform kann die Vorrichtung 100 z.B. einen Hauptkomponentenanalysator 230 aufweisen, der z.B. ausgebildet sein kann, eine robuste Hauptkomponentenanalyse durchzuführen, um den Vordergrundbereich für jedes GPR Bild der Mehrzahl der ersten GPR Bildern zu bestimmen. In einer Ausführungsform kann die Vorrichtung 100 z.B. ausgebildet sein, zur Bestimmung der ein oder mehreren Störobjekten in dem Vordergrundbereich jedes GPR Bildes der Mehrzahl der ersten GPR Bilder Bildinformation des GPR Bildes in eine Matrix niederen Rangs und in eine schwach besetzte Matrix aufzuteilen. According to one embodiment, the device 100 may include, for example, a principal component analyzer 230 that may be configured, for example, to perform a robust principal component analysis to determine the foreground area for each GPR image of the plurality of first GPR images. In one embodiment, the device 100 can be designed, for example, to determine the one or more interfering objects in the foreground area of each GPR image of the plurality of first GPR images, dividing image information of the GPR image into a low-rank matrix and a sparse matrix.
Gemäß einer Ausführungsform kann die schwach besetzte Matrix z.B. von dem Hintergrundbereich des GPR Bildes abhängen, und die Matrix niederen Rangs kann z.B. von dem Vordergrundbereich des GPR Bildes und von den ein oder mehreren Störobjekten des GPR Bildes abhängen. According to one embodiment, the sparse matrix may depend, for example, on the background area of the GPR image, and the low-ranking matrix may depend, for example, on the foreground area of the GPR image and on the one or more clutter objects of the GPR image.
In einer Ausführungsform kann die Vorrichtung 100 z.B. ausgebildet sein, die ein oder mehreren Störobjekte des Vordergrundbereichs in jedem GPR Bild der Mehrzahl der ersten GPR Bilder mittels einer Maske zu maskieren und zu extrapolieren. In one embodiment, the device 100 can be configured, for example, to mask and extrapolate the one or more clutter objects of the foreground area in each GPR image of the plurality of first GPR images using a mask.
In einer Ausführungsform kann die Vorrichtung 100 z.B. einen Maskenselektor 240 aufweisen, der z.B. ausgebildet sein kann, die Maske mittels eines Schwellwertdetektionsverfahrens und/oder mittels eines Kantendetektionsverfahrens zu bestimmen. In one embodiment, the device 100 can have a mask selector 240, for example, which can be configured, for example, to determine the mask by means of a threshold detection method and/or by means of an edge detection method.
Gemäß einer Ausführungsform kann die Vorrichtung 100 z.B. ausgebildet sein, einen Daten Augmentator 250 aufweisen, der z.B. ausgebildet sein kann, das Störobjekt unter Verwendung der Maske zu verschieben und/oder zu skalieren. According to one embodiment, the device 100 can be configured, for example, to have a data augmentator 250, which can be configured, for example, to move and/or scale the clutter object using the mask.
Gemäß einer Ausführungsform kann die Vorrichtung 100 z.B, einen Berechnungs- Ergebnisbilderzeuger 260 aufweisen, der z.B. ausgebildet sein kann, für jedes Bildpixel einer Mehrzahl von Bildpixeln in einem Bereich des Störobjekts in dem GPR Bild, der mittels der Maske maskiert ist, einen Mitelwert aus dem Vordergrundbild und/oder dem Hintergrundbild des GPR Bildes zu berechnen, um den Mittelwert als Pixelwert für eine Bildkoordinate eines der ein oder mehreren zweiten GPR Bilder zu bestimmen. According to one embodiment, the device 100 can have, for example, a calculation result image generator 260, which can be configured, for example, for each image pixel of a plurality of image pixels in an area of the interference object in the GPR image that is masked by the mask, a mean value from the calculate the foreground image and/or the background image of the GPR image in order to determine the mean value as a pixel value for an image coordinate of one of the one or more second GPR images.
In einer Ausführungsform kann die Vorrichtung 100 z.B. einen Einsetz- Ergebnisbilderzeuger 260 aufweisen, der z.B. ausgebildet sein kann, eines der ein oder mehreren Störobjekte eines GPR Bildes der Mehrzahl der ersten GPR Bilder in ein anderes GPR Bild der Mehrzahl der ersten GPR Bilder einzusetzen, um eines der ein oder mehreren zweiten GPR Bilder zu erzeugen. In one embodiment, the device 100 can have, for example, an insertion result image generator 260, which can be configured, for example, to insert one of the one or more interference objects of a GPR image of the plurality of first GPR images into another GPR image of the plurality of first GPR images in order to generate one of the one or more second GPR images.
Nachfolgend werden weitere, spezielle Ausführungsbeispiele der Erfindung beschrieben. Zur Erstellung beziehungsweise zur Vergrößerung eines Trainingsdatenbestands aus GPR-Bilddaten kommt eine Bildverarbeitungstechnik zum Einsatz, die darauf abzielt, den Bildvorder- vom Bildhintergrund zu separieren. Hauptaugenmerk dieser Separierung sind sogenannte Störobjekte, die sich in der vorliegenden Beschreibung im Bildvordergrund befinden, Im Anschluss an die Separierung können neue GPR-Bilder durch beliebige Variation des Störobjekts hinsichtlich Ort, Skalierung und Grauwertintensität künstlich erzeugt werden (Data Augmentation, siehe oben). Der Arbeitsablauf ist in Fig. 3 dargesteiit. Nachfolgend wird dieser schritweise erläutert. Further specific exemplary embodiments of the invention are described below. An image processing technique is used to create or enlarge a training database from GPR image data, which aims to separate the image foreground from the image background. The main focus of this separation are so-called interference objects, which are in the image foreground in the present description. Following the separation, new GPR images can be artificially generated by varying the interference object in terms of location, scaling and gray value intensity (data augmentation, see above). The workflow is shown in FIG. This is explained step by step below.
So zeigt Fig, 3 ein Ablaufdiagramm mit Modulen einer Vorrichtung gemäß einer Ausführungsform. Die Parallelogramme stellen dabei Daten; die Rechtecke Module zur Durchführung von Arbeitsschriten (oder die Arbeitsschrite als solche dar). 3 shows a flow chart with modules of a device according to an embodiment. The parallelograms represent data; the rectangles represent modules for carrying out work steps (or the work steps as such).
Als Datengrundlage werden Sequenzen aus zeitlich aufeinanderfolgenden GPR-Bilddaten verwendet. Die Zweidimensionalität der Daten wird durch Nutzung eines mehrkanaligen Bodenradars erreicht, das bei jeder Messung ein Bild aufzeichnet, mit n Bildspalten orthogonal zur Bewegungsrichtung des Sensors. Alternativ lassen sich zweidimensionale GPR-Bilddaten auch durch parallel zueinander angeordnete Messbahnen eines einkanaligen Systems erstellen. Die Anzahl m der Bildzeilen repräsentiert die durch sensorbezogene Parameterfestgelegte Anzahl der Tiefenpunkte, Durch Fortbewegung des Sensors entlang einer Messstrecke entsteht aus p GPR-Bildern ein dreidimensionaler Datenkubus der Größe m x n x p, Sequences of chronologically consecutive GPR image data are used as the data basis. The two-dimensionality of the data is achieved by using a multi-channel ground radar that records an image with each measurement, with n image columns orthogonal to the direction of movement of the sensor. Alternatively, two-dimensional GPR image data can also be created by measuring paths of a single-channel system arranged parallel to one another. The number m of image lines represents the number of depth points determined by sensor-related parameters. By moving the sensor along a measurement path, a three-dimensional data cube of size m x n x p is created from p GPR images,
Auf Basis der Bilddatensequenz wird zunächst eine so genannte Zero-Offset-Korrektur (Korrektur des Nulldurchgangs des Signals) durchgeführt, die einerseits zum Ziel hat, einen über die Sequenz variierenden Abstand zwischen Sensor und Bodenoberfläche auszugleichen und andererseits eine variierende Bodensignatur zu normieren, Dieser Vorverarbeitungsschrit den weiteren Verarbeitungsschriten vorangestellt, die darauf abzielen, den Hintergrund eines GPR-Bilds in robuster Weise zu schätzen. Die korrigierte Bilddatensequenz ist die Grundlage für die Extraktion von Störobjekten. On the basis of the image data sequence, a so-called zero offset correction (correction of the zero crossing of the signal) is first carried out, which aims on the one hand to compensate for a distance between the sensor and the ground surface that varies over the sequence and on the other hand to standardize a varying ground signature. This pre-processing step precedes the further processing steps aimed at estimating the background of a GPR image in a robust way. The corrected image data sequence is the basis for the extraction of clutter.
Zur Extraktion von Störobjekten als Bildvordergrund kommt die robuste Hauptkomponentenanalyse (Robust Principal Component Analysis, RPCA) zum Einsatz. Diese wurde entwickelt, um die konventionelle und weit verbreitete Hauptkomponentenanalyse (Principal Component Analysis, PCA) gegenüber statistischen Ausreißern innerhalb der Datenpunkte unanfälliger zu gestalten [De la Torre et al., 2001], Im Themengebiet der GPR-Bildverarbeitung wird die RPCA als ein sogenanntes Pre- Screening-Verfahren beschrieben, das zur Detektion von Artefakten verwendet wird [Masarik et al., 2015], Die Abgrenzung des Störobjekts vom ungestörten Bildhintergrund erfolgt durch Aufteilung der Bildinformation in eine Matrix niederen Rangs und eine schwach besetzte Matrix, Die Matrix niederen Rangs enthält den Bildhintergrund, der sich über das betrachtete Bodenradarbild und die benachbarten Bilder der selben Sequenz wenig verändert. Hierzu zählt auch die Bodensignatur nach Durchführung einer Zero-Offset- Korrektur. Im Gegensatz dazu enthält die schwach besetzte Matrix enthält Informationen über lokale Variationen des Bildinhalts, wie sie durch Störobjekte hervorgerufen werden. Robust Principal Component Analysis (RPCA) is used to extract clutter as the foreground of the image. This was developed to make the conventional and widely used Principal Component Analysis (PCA) less susceptible to statistical outliers within the data points [De la Torre et al., 2001]. In the field of GPR image processing, RPCA is considered a so-called Described pre-screening procedure used to detect artifacts [Masarik et al., 2015], The delimitation of the interfering object from the undisturbed image background is achieved by dividing the image information into a low-rank matrix and a sparse matrix. The low-rank matrix contains the image background, which extends over the ground radar image under consideration and the neighboring images changed little in the same sequence. This also includes the soil signature after performing a zero offset correction. In contrast, the sparse matrix contains information about local variations in the image content, such as those caused by interfering objects.
Fig. 4 zeigt eine RPCA-basierte Trennung von Bildvorder- und Bildhintergrund nach Eingabe einer GPR-Datensequenz gemäß einer Ausführungsform. 4 shows an RPCA-based separation of image foreground and image background after input of a GPR data sequence according to an embodiment.
So ist in Fig. 4 eine RPCA-basierte Trennung in Bildvorder- und -Hintergrund bildlich dargestellt, Entlang der Zeit t sind hier einzelne B-Scans der Datensequenz visualisiert. An RPCA-based separation into image foreground and background is illustrated in FIG. 4. Individual B-scans of the data sequence are visualized here along the time t.
In einem darauffolgenden Verarbeitungsschritt wird im Bild manuell das Störobjekt maskiert und dann extrahiert. Die Maske dient dazu, das Störobjekt losgelöst von seiner ursprünglichen Lage im Bild zu verschieben oder zu skalieren (Data Augmentation). Auf diese Weise kann eine weitaus größere Anzahl synthetischer Bodenradarbilder mit In a subsequent processing step, the interfering object is manually masked in the image and then extracted. The mask is used to move or scale the interfering object from its original position in the image (data augmentation). In this way, a far larger number of synthetic ground radar images can be
Störobjekten in variierendem Bildhintergrund erstellt werden. Weiterhin ist es möglich, das extrahierte Störobjekt in andere, zum Beispiel störungsfreie GPR-Bilder mit vergleichbarer Statistik des Bildhintergrunds einzusetzen. Der manuell durchzuführende Schrit zur Maskenselektion ist potentiell automatisierbar, beispielsweise durch Anwendung unüberwachter Schwellwert- oder Kantendetektionsverfahren. Interfering objects can be created in varying image backgrounds. Furthermore, it is possible to use the extracted interference object in other, for example, interference-free GPR images with comparable statistics of the image background. The mask selection step to be carried out manually can potentially be automated, for example by using unsupervised threshold value or edge detection methods.
Im letzten Verarbeitungsschrit wird im maskierten Bereich für jedes Bildpixel der Mitelwert aus Vorder- oder Hintergrundbild berechnet. Diese Werte werden danach vorzeichengetreu im Ergebnisbild an die entsprechenden Bildkoordinaten eingetragen. In the last processing step, the mean value from the foreground or background image is calculated for each image pixel in the masked area. These values are then entered at the corresponding image coordinates in the result image with the correct sign.
Fig. 5 zeigt eine bildliche Darstellung der zentralen Schritte des in Fig.3 visualisierten Arbeitsablaufs gemäß einer Ausführungsform. Von links nach rechts zeigt Fig. 5 einen ungestörten und einen gestörten B-Scan der eingegebenen Datensequenz nach Anwendung der RPCA vorliegender Bildhinter- und Bildvordergrund, sowie einen Vordergrund mit selektierter Maske; drei exemplarische Ergebnisbilder mit selektiertem Störobjekt, platziert an unterschiedlichen Stellen des B-Scans. FIG. 5 shows a pictorial representation of the central steps of the workflow visualized in FIG. 3 according to an embodiment. From left to right, FIG. 5 shows an undisturbed and a disturbed B-scan of the input data sequence after application of the RPCA present image background and image foreground, as well as a foreground with a selected mask; three exemplary result images with a selected interfering object, placed at different points of the B-scan.
So sind in Fig. 5 die in Fig. 3 gegebenen Arbeitsschritte von links nach rechts bildlich dargestellt. Auf der linken Seite der Fig. 5 sind zwei B-Scans der eingegebenen Datensequenz zu sehen. Diese repräsentieren einerseits den ungestörten Zustand ohne Störobjekte (links) und andererseits den gestörten Zustand, hier mit zwei Störobjekten (rechts). Die in Fig. 5 mitig dargestellten drei Bilder zeigen den nach Anwendung der RPCA resultierenden Bildhinter- (links), -Vordergrund (Mite) und die Maskenselektion für ein Störobjekt von Interesse (rechts). Auf der rechten Seite der Fig. 5 befinden sich exemplarisch drei Ergebnisbilder nach Platzierung des selektierten Störobjektes an unterschiedlichen Stellen des B-Scans. Thus, in FIG. 5, the work steps given in FIG. 3 are illustrated from left to right. On the left of Figure 5 are two B-scans of the input to see the data sequence. On the one hand, these represent the undisturbed state without interfering objects (left) and, on the other hand, the disturbed state, here with two interfering objects (right). The three images shown in the middle in FIG. 5 show the image background (left), foreground (middle) and the mask selection for an interference object of interest (right) resulting after application of the RPCA. On the right-hand side of FIG. 5 there are three result images by way of example after the selected interference object has been placed at different points in the B-scan.
Einer der Vorteile der Konzepte gemäß Ausführungsformen, ist die sehr schnelle Vergrößerung des Trainingsdatenbestands unter Einsatz einer geringen Anzahl an GPR- Bilddaten. Dadurch ist eine massive Reduktion des Aufwands bei der Datenakquisition möglich. Voraussetzung für das RPCA-Verfahren ist die Existenz einer ungestörten Sequenz räumlich aufeinanderfolgender Bodenradarbilder (Einschwingvorgang). Als manueller Verarbeitungsschrit verbleibt die Maskenselektion um ein potentielles Störobjekt. Manuell deshalb, da in einem GPR-Bild mehrere Störobjekte unterschiedlichen Typs und Ausprägung enthalten sein können und so eine gezielte Selektion des gewünschten Objekts durchgeführt wird. Alle weiteren Schritte, wie beispielsweise die Skalierung oder die Translationen, erfolgen automatisiert, wodurch eine gute Bedienbarkeit und Nutzerfreundlichkeit der Methode gegeben ist. One of the advantages of the concepts according to embodiments is the very rapid growth of the training data set using a small amount of GPR image data. This enables a massive reduction in the effort involved in data acquisition. A prerequisite for the RPCA method is the existence of an undisturbed sequence of spatially consecutive ground radar images (transient process). The mask selection around a potential interference object remains as a manual processing step. Manually because a GPR image can contain several interfering objects of different types and characteristics, so that a targeted selection of the desired object is carried out. All other steps, such as scaling or translations, are automated, which means that the method is easy to use and user-friendly.
Die hier beschriebenen Konzepte sind u.a, darauf ausgelegt, basierend auf Bodenradar- Bilddaten mit relativ geringem Aufwand eine große Anzahl geeigneter Trainingsdaten für Machine Learning Anwendungen zu schaffen. The concepts described here are designed, among other things, to create a large number of suitable training data for machine learning applications based on ground radar image data with relatively little effort.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschrit beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschrite können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder einer elektronischen Schaltung durchgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden. Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software oder zumindest teilweise in Hardware oder zumindest teilweise in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer BluRay Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Although some aspects have been described in the context of a device, it is understood that these aspects also represent a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Similarly, aspects described in connection with or as a method step also constitute a description of a corresponding block or detail or feature of a corresponding apparatus. Some or all of the method steps may be performed by hardware apparatus (or using hardware Apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the essential process steps can be performed by such an apparatus. Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware, or in software, or at least partially in hardware, or at least partially in software. Implementation can be performed using a digital storage medium such as a floppy disk, a DVD, a BluRay disk, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, a hard disk or other magnetic or optical Memory are carried out on which electronically readable control signals are stored, which can interact with a programmable computer system in such a way or interaction that the respective method is carried out. Therefore, the digital storage medium can be computer-readable.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Thus, some embodiments according to the invention comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system in such a way that one of the methods described herein is carried out.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. In general, embodiments of the present invention can be implemented as a computer program product with a program code, wherein the program code is effective to perform one of the methods when the computer program product runs on a computer.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein. The program code can also be stored on a machine-readable carrier, for example.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. Other exemplary embodiments include the computer program for performing one of the methods described herein, the computer program being stored on a machine-readable carrier. In other words, an exemplary embodiment of the method according to the invention is therefore a computer program that has a program code for performing one of the methods described herein when the computer program runs on a computer.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Der Datenträger oder das digitale Speichermedium oder das computerlesbare Medium sind typischerweise greifbar und/oder nicht flüchtig. Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit em Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden. A further exemplary embodiment of the method according to the invention is therefore a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for carrying out one of the methods described herein is recorded. The data carrier or digital storage medium or computer-readable medium is typically tangible and/or non-transitory. A further exemplary embodiment of the method according to the invention is therefore a data stream or a sequence of signals which represents or represent the computer program for carrying out one of the methods described herein. For example, the data stream or sequence of signals may be configured to be transferred over a data communications link, such as the Internet.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. Another embodiment includes a processing device, such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Another embodiment includes a computer on which the computer program for performing one of the methods described herein is installed.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen, Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen. A further exemplary embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a recipient. The transmission can be, for example, electronic or optical. The recipient can be, for example, a computer, a mobile device, a storage device or a similar device. The device or the system can, for example, comprise a file server for transmission of the computer program to the recipient.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gaterarray mit einem Mikroprozessor Zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. In some embodiments, a programmable logic device (e.g., a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein. In general, in some embodiments, the methods are performed on the part of any hardware device. This can be hardware that can be used universally, such as a computer processor (CPU), or hardware that is specific to the method, such as an ASIC.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden, Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei. The embodiments described above are merely illustrative of the principles of the present invention. It is to be understood that modifications and variations to the arrangements and details described herein will occur to those skilled in the art through the specific Details presented based on the description and explanation of the exemplary embodiments herein are limited.
Literatur literature
De la Torre, F., Black, M, J. (2001); Robust Principal Component Analysis for Computer Vision, Proceedings of International Conference on Computer Vision (ICCV), 8 Selten. De la Torre F, Black M J (2001); Robust Principal Component Analysis for Computer Vision, Proceedings of International Conference on Computer Vision (ICCV), 8 Rare.
Masarik, M. P,, Burns, J., Thelen, B. T., Kelly, J., Havens, T., C. (2015): GPR Anomaly Detection with Robust Principal Component Analysis, Proceedings of SPIE, Detection and Sensing of Mines, Explosive Objects, and Obscured Targets XX, Bd. 9454, S. 945414-1 - 945414-11. Masarik MP, Burns J, Thelen BT, Kelly J, Havens T C (2015): GPR Anomaly Detection with Robust Principal Component Analysis, Proceedings of SPIE, Detection and Sensing of Mines , Explosive Objects, and Obscured Targets XX, Vol. 9454, pp. 945414-1 - 945414-11.

Claims

Patentanspr üche 1. Vorrichtung (100) zur Erstellung von Trainingsdaten für zweidimensionale Scans eines Bodenradar-Systems, wobei die Vorrichtung (100) ausgebildet ist, für jedes GPR Bild von ein oder mehreren ersten GPR Bildern einen Vordergrundbereich und einen Hintergrundbereich des GPR Bildes zu bestimmen, und ein oder mehrere Störobjekten in dem Vordergrundbereich des GPR Bildes zu bestimmen, und wobei die Vorrichtung (100) ausgebildet ist, für jedes GPR Bild der ein oder mehreren ersten GPR Bilder ein oder mehrere zweite GPR Bilder abhängig von wenigstens einem Störobjekt der ein oder mehreren Störobjekte des GPR Bildes zu erzeugen, um die Trainingsdaten zu erzeugen. 2. Vorrichtung (100) nach Anspruch 1 , wobei die Vorrichtung (100) ausgebildet ist, das wenigstens eine Störobjekt und/oder eine Position des wenigstens einen Störobjekts in dem GPR Bild zu verändern, um die ein oder mehreren zweiten GPR Bilder zu erzeugen. 3. Vorrichtung (100) nach Anspruch 2, wobei die Vorrichtung (100) ausgebildet ist, eine Skalierung des wenigstens einen Störobjekts in dem GPR Bild zu verändern, um die ein oder mehreren zweiten GPR Bilder zu erzeugen. 4. Vorrichtung (100) nach Anspruch 2 oder 3, wobei die Vorrichtung (100) ausgebildet ist, eine Grauwertintensität des wenigstens einen Störobjekts in dem GPR Bild zu verändern, um die ein oder mehreren zweiten GPR Bilder zu erzeugen. 5. Vorrchtung (100) nach einem der Ansprüche 2 bis 4, wobei die Vorrichtung (100) ausgebildet ist, die Position des wenigstens einen Störobjekts in dem GPR Bild zu verändern, um die ein oder mehreren zweiten GPR Bilder zu erzeugen . 1. Device (100) for creating training data for two-dimensional scans of a ground radar system, wherein the device (100) is designed to determine a foreground area and a background area of the GPR image for each GPR image from one or more first GPR images , and to determine one or more interfering objects in the foreground area of the GPR image, and wherein the device (100) is designed, for each GPR image of the one or more first GPR images, one or more second GPR images depending on at least one interfering object of the one or generate multiple clutter of the GPR image to generate the training data. 2. Device (100) according to claim 1, wherein the device (100) is designed to change the at least one interfering object and/or a position of the at least one interfering object in the GPR image in order to generate the one or more second GPR images. 3. Device (100) according to claim 2, wherein the device (100) is designed to change a scaling of the at least one interfering object in the GPR image in order to generate the one or more second GPR images. 4. Device (100) according to claim 2 or 3, wherein the device (100) is designed to change a gray value intensity of the at least one interfering object in the GPR image in order to generate the one or more second GPR images. 5. device (100) according to any one of claims 2 to 4, wherein the device (100) is designed to change the position of the at least one interfering object in the GPR image in order to generate the one or more second GPR images.
1. Vorrichtung (100) nach einem der vorherigen Ansprüche, wobei die Vorrichtung (100) ausgebildet ist, für jedes GPR Bild der ein oder mehreren ersten GPR Bilder den Vordergrundbereich und den Hintergrundbereich des GPR Bildes zu bestimmen, indem der Vordergrundbereich und der Hintergrundbereich voneinander separiert werden, indem die Vorrichtung (100) das GPR Bild in eine Mehrzahl von Bildbereichen unterteilt, die sich nicht überschneiden, wobei die Vorrichtung (100) jeden der Mehizahl der Bildbereiche entweder dem Vordergrundbereich zuordnet oder aber dem Hintergrundbereich zuordnet. 7. Vorrichtung (100) nach einem der vorherigen Ansprüche, wobei es sich bei den ein oder mehreren ersten GPR Bildern um ein oder mehrere zweidimensionale GPR Bilder handelt. 8. Vorrichtung (WO) nach einem der vorherigen Ansprüche, wobei die ein oder mehreren ersten GPR Bilder eine Mehrzahl von ersten GPR Bildern sind, 9. Vorrichtung (100) nach Anspruch 8, wobei es sich bei der Mehrzahl der ersten GPR Bilder um eine Mehrzahl von zeitlich aufeinanderfolgenden GPR Bildern handelt, die aus einer Sequenz von einer Mehrzahl von aufgenommenen GPR Bildern erzeugt wurden. (100) nach Anspruch 9, wobei die Vorrichtung (100) ein GPR System (210) zur Datenaufnahme aufweist, um die Sequenz der Mehrzahl der aufgenommenen GPR Bilder aufzunehmen. 11 Vorrichtun g (100) nach Anspruch 10, wobei es sich bei dem GPR System (210) zur Datenaufnahme um ein mehrkanaliges Bodenradar handelt, wobei die Vorrichtung (100) ausgebildet ist, das mehrkanalige Bodenradar einzusetzen, um die Sequenz der Mehrzahl der aufgenommenen GPR Bilder aufzunehmen. 1. Device (100) according to one of the preceding claims, wherein the device (100) is designed to determine the foreground area and the background area of the GPR image for each GPR image of the one or more first GPR images by separating the foreground area and the background area from each other be separated by the device (100) dividing the GPR image into a plurality of image areas which do not overlap, the device (100) assigning each of the plurality of image areas to either the foreground area or to the background area. 7. Device (100) according to any one of the preceding claims, wherein the one or more first GPR images are one or more two-dimensional GPR images. The device (WO) according to any of the preceding claims, wherein the one or more first GPR images is a plurality of first GPR images. 9. The device (100) according to claim 8, wherein the plurality of first GPR images is one Plurality of temporally consecutive GPR images that were generated from a sequence of a plurality of recorded GPR images. (100) according to claim 9, wherein the device (100) comprises a GPR system (210) for data acquisition to acquire the sequence of the plurality of the acquired GPR images. 11 device (100) according to claim 10, wherein the GPR system (210) for data acquisition is a multi-channel ground radar, wherein the device (100) is designed to use the multi-channel ground-penetrating radar to record the sequence of the plurality of recorded GPR images.
12. Vorrichtung (100) nach Anspruch 10, wobei es sich bei dem GPR System (210) um ein einkanaWges System handelt, das parallel zueinander angeordnete Messbahnen aufweist, wobei die Vorrichtung (100) ausgebildet ist, das einkanallge System einzusetzen, um die Sequenz der Mehrzahl der aufgenommenen GPR Bilder aufzunehmen. 12. The device (100) according to claim 10, wherein the GPR system (210) is a single-channel system that has measurement paths arranged parallel to one another, the device (100) being designed to use the single-channel system to sequence the the majority of the captured GPR images.
13. Vorrichtung (100) nach einem der Ansprüche 9 bis 12, wobei die Vorrichtung (100) ausgebildet ist, einen über in der Sequenz der Mehrzahl der aufgenommenen GPR Bilder variierenden Abstand zwischen Sensor und Bodenoberfläche auszugleichen, um die Mehrzahl der ersten GPR Bilder zu erzeugen. 13. Device (100) according to one of claims 9 to 12, wherein the device (100) is designed to compensate for a varying distance between the sensor and the ground surface in the sequence of the plurality of recorded GPR images in order to record the plurality of first GPR images respectively.
14. Vorrichtung (100) nach einem der Ansprüche 9 bis 13, wobei die Vorrichtung (100) ausgebildet ist, einen über in der Sequenz der Mehrzahl der aufgenommenen GPR Bilder variierende Bodensignatur zu normieren, um die Mehrzahl der ersten GPR Bilder zu erzeugen. 14. Device (100) according to one of claims 9 to 13, wherein the device (100) is designed to normalize a soil signature that varies over the sequence of the plurality of recorded GPR images in order to generate the plurality of first GPR images.
15. Vorrichtung (100) nach Anspruch 13 oder 14, wobei die Vorrichtung (100) einen Zero-Offset Korrektor (220) aufweist, der ausgebildet ist, eine Zero-Offset-Korrektur bezüglich der Sequenz der Mehrzahl der aufgenommenen GPR Bilder vorzunehmen, um die Mehrzahl der ersten GPR Bilder zu erzeugen. 15. Device (100) according to claim 13 or 14, wherein the device (100) has a zero-offset corrector (220) which is designed to carry out a zero-offset correction with respect to the sequence of the plurality of recorded GPR images in order to generate the majority of the first GPR images.
16. Vorrichtung (100) nach einem der Ansprüche 8 bis 15, wobei die Vorrichtung (100) einen Hauptkomponentenanalysator (230) aufweist, der ausgebildet ist, eine robuste Hauptkomponentenanalyse durchzuführen, um den Vordergrundbereich für jedes GPR Bild der Mehrzahl der ersten GPR Bildern zu bestimmen. The device (100) according to any one of claims 8 to 15, wherein the device (100) comprises a principal component analyzer (230) configured to perform a robust principal component analysis to determine the foreground area for each GPR image of the plurality of first GPR images determine.
17. Vorrichtung (100) nach einem der Ansprüche 8 bis 16, wobei die Vorrichtung (100) ausgebildet ist, zur Bestimmung der ein oder mehreren Störobjekten in dem Vordergrundbereich jedes GPR Bildes der Mehrzahl der ersten GPR Bilder Bildinformation des GPR Bildes in eine Matrix niederen Rangs und in eine schwach besetzte Matrix aufzuteiten. 17. Device (100) according to one of claims 8 to 16, wherein the device (100) is designed to determine the one or more interfering objects in the foreground area of each GPR image of the plurality of first GPR images, lowering image information of the GPR image into a matrix ranks and into a sparse matrix.
18. Vorrichtung (100) nach Anspruch 17, wobei die schwach besetzte Matrix von dem Hintergrundbereich des GPR Bildes abhängt, und wobei die Matrix niederen Rangs von dem Vordergrundbereich des GPR Bildes und von den ein oder mehreren Störobjekten des GPR Bildes abhängt, 18. The apparatus (100) of claim 17, wherein the sparse matrix depends on the background area of the GPR image, and wherein the low-ranking matrix depends on the foreground area of the GPR image and on the one or more clutter objects of the GPR image.
19. Vorrichtung (100) nach einem der Ansprüche 8 bis 18, wobei die Vorrichtung (100) ausgebildet ist, die ein oder mehreren Störobjekte des Vordergrundbereichs in jedem GPR Bild der Mehrzahl der ersten GPR Bilder mittels einer Maske zu maskieren und zu extrapolieren. 19. Device (100) according to one of claims 8 to 18, wherein the device (100) is designed to mask and extrapolate the one or more interfering objects of the foreground area in each GPR image of the plurality of first GPR images by means of a mask.
20. Vorrichtung (100) nach einem der Ansprüche 19, wobei die Vorrichtung (100) einen Maskenselektor (240) aufweist, der ausgebildet ist, die Maske mitels eines Schwellwertdetektionsverfahrens und/oder mitels eines Kantendetektionsverfahrens zu bestimmen, 20. Device (100) according to any one of claims 19, wherein the device (100) has a mask selector (240) which is designed to determine the mask by means of a threshold value detection method and/or by means of an edge detection method,
21. Vorrichtung (100) nach Anspruch 19 oder 20, wobei die Vorrichtung (100) einen Daten Augmentator (250) aufweist, der ausgebildet ist, das Störobjekt unter Verwendung der Maske zu verschieben und/oder zu skalieren. 21. Device (100) according to claim 19 or 20, wherein the device (100) has a data augmentator (250) which is designed to move and/or scale the interfering object using the mask.
22, Vorrichtu )) nach einem der Ansprüche 18 bis 21 , . wobei die Vorrichtung (100) einen Berechnungs-Ergebnisbilderzeuger (260) aufweist, der ausgebildet ist, für jedes Bildpixel einer Mehrzahl von Bildpixeln in einem Bereich des Störobjekts in dem GPR Bild, der mittels der Maske maskiert ist, einen Mitelwert aus dem Vordergrundbild und/oder dem Hintergrundbild des GPR Bildes zu berechnen, um den Mitelwert als Pixelwert für eine Bildkoordinate eines der ein oder mehreren zweiten GPR Bilder zu bestimmen. 23. Vorrichtung (100) nach einem der Ansprüche 8 bis 22, wobei die Vorrichtung (100) einen Einsetz-Ergebnisbilderzeuger (260) aufweist, der ausgebildet ist, eines der ein oder mehreren Störobjekte eines GPR Bildes der Mehrzahl der ersten GPR Bilder in ein anderes GPR Bild der Mehrzahl der ersten GPR Bilder einzusetzen, um eines der ein oder mehreren zweiten GPR Bilder zu erzeugen, 24. Verfahren zur Erstellung von Trainingsdaten für zweidimensionale Scans eines Bodenradar-Systems, wobei das Verfahren umfasst: 22, device)) according to one of claims 18 to 21, . wherein the device (100) has a calculation result image generator (260) which is designed, for each image pixel of a plurality of image pixels in an area of the interfering object in the GPR image, which is masked by the mask, to calculate an average value from the foreground image and/or the background image of the GPR image in order to determine the average value as a pixel value for an image coordinate of one of the one or more second GPR images . 23. The device (100) according to any one of claims 8 to 22, wherein the device (100) has an insertion result image generator (260) which is designed to insert one of the one or more interference objects of a GPR image of the plurality of first GPR images into a use another GPR image of the plurality of first GPR images to generate one of the one or more second GPR images, 24. A method for creating training data for two-dimensional scans of a ground-penetrating radar system, the method comprising:
Für jedes GPR Bild von ein oder mehreren ersten GPR Bildern, Bestimmen eines Vordergrundbereichs und eines Hintergrundbereichs des GPR Bildes, und Bestimmen von ein oder mehreren Störobjekten in dem Vordergrundbereich des GPR Bildes, und For each GPR image from one or more first GPR images, determining a foreground area and a background area of the GPR image, and determining one or more clutter objects in the foreground area of the GPR image, and
Für jedes GPR Bild der ein oder mehreren ersten GPR Bilder, Erzeugen von ein oder mehreren zweiten GPR Bildern abhängig von wenigstens einem Störobjekt der ein oder mehreren Störobjekte des GPR Bildes zur Erzeugung der Trainingsdaten. 25. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 24, For each GPR image of the one or more first GPR images, generating one or more second GPR images depending on at least one clutter object of the one or more clutter objects of the GPR image to generate the training data. 25. Computer program with a program code for carrying out the method according to claim 24,
EP21782664.3A 2020-09-25 2021-09-20 Device and method for creating training data for two-dimensional scans of a ground-penetrating radar system Pending EP4217960A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020212081.1A DE102020212081A1 (en) 2020-09-25 2020-09-25 Device and method for creating training data for two-dimensional scans of a ground radar system
PCT/EP2021/075819 WO2022063727A1 (en) 2020-09-25 2021-09-20 Device and method for creating training data for two-dimensional scans of a ground-penetrating radar system

Publications (1)

Publication Number Publication Date
EP4217960A1 true EP4217960A1 (en) 2023-08-02

Family

ID=77998958

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21782664.3A Pending EP4217960A1 (en) 2020-09-25 2021-09-20 Device and method for creating training data for two-dimensional scans of a ground-penetrating radar system

Country Status (3)

Country Link
EP (1) EP4217960A1 (en)
DE (1) DE102020212081A1 (en)
WO (1) WO2022063727A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116256701B (en) * 2023-05-16 2023-08-01 中南大学 Ground penetrating radar mutual interference wave suppression method and system based on deep learning

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7173560B2 (en) 2003-08-28 2007-02-06 University Of Florida Research Foundation, Inc. Land mine detector

Also Published As

Publication number Publication date
DE102020212081A1 (en) 2022-03-31
WO2022063727A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
DE112015004721B4 (en) DEFECT DETECTION USING STRUCTURAL INFORMATION
DE202017102381U1 (en) Device for improving the robustness against "Adversarial Examples"
DE3937950C2 (en)
DE10000364A1 (en) Defect detection method for patterned substrates, intended for detection of defects in voltage contrast of semiconductor wafers obtained using electron microscopes
DE10037697A1 (en) Adaptive mask engineering for inspecting defects uses an algorithm to generate a two-dimensional scatter diagram by plotting grey grades of pixels from a test image in contrast to grey grades of pixels from a reference image.
DE10117478A1 (en) Method for chronostratigraphic interpretation of a seismic cross-section or block
EP1585059A2 (en) Method and apparatus for evaluation of motion vectors allocated to image regions
EP2791896B1 (en) Method for generating super-resolution images having improved image resolution and measuring device
DE112018004661T5 (en) Shadow detection method for a surveillance video image, system thereof, and shadow removal method
DE102016100134B4 (en) Method and device for examining an object using computer vision
DE102017219244B4 (en) INSPECTION CONDITIONING DEVICE, INSPECTION CONDITIONING PROCEDURE AND INSPECTION CONDITIONING PROGRAM
EP4217960A1 (en) Device and method for creating training data for two-dimensional scans of a ground-penetrating radar system
DE102018205561A1 (en) Device for classifying signals
DE102019204602B4 (en) Method and device for masking objects contained in an image
DE102018100738A1 (en) Selective feature extraction
WO2018224444A1 (en) Method and device for image correction
DE102018208481A1 (en) Estimate a course of a rail track
DE102021200821B3 (en) Generation of training data for two-dimensional scans of a ground radar system
DE102021114287A1 (en) Microscopy system and method for generating stylized contrast images
EP3316216B1 (en) Method for checking an object
DE68919205T2 (en) METHOD FOR SEGMENTING MOVING OBJECTS.
DE102009000810A1 (en) Device for segmenting an object in an image, video surveillance system, method and computer program
DE68927814T2 (en) Machine vision system
CN114494048B (en) Multi-stage progressive mixed distortion image restoration method based on supervised contrast learning
DE102022212818A1 (en) Method for generating additional training data for training a machine learning algorithm for detecting anomalies in image data

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230323

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)