DE102023201734A1 - Further processing of probability distributions using non-linear functions - Google Patents

Further processing of probability distributions using non-linear functions Download PDF

Info

Publication number
DE102023201734A1
DE102023201734A1 DE102023201734.2A DE102023201734A DE102023201734A1 DE 102023201734 A1 DE102023201734 A1 DE 102023201734A1 DE 102023201734 A DE102023201734 A DE 102023201734A DE 102023201734 A1 DE102023201734 A1 DE 102023201734A1
Authority
DE
Germany
Prior art keywords
further processing
probability distribution
computer
neural network
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102023201734.2A
Other languages
German (de)
Inventor
Moussa Kassem Sbeyti
Michelle Karg
Christian Wirth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Continental Automotive Technologies GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Continental Automotive Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH, Continental Automotive Technologies GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Priority to DE102023201734.2A priority Critical patent/DE102023201734A1/en
Publication of DE102023201734A1 publication Critical patent/DE102023201734A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Complex Calculations (AREA)

Abstract

Die Erfindung betrifft ein Verfahren, insbesondere computer-implementiertes Verfahren, zur Weiterverarbeitung einer Normalverteilung (ω) für eine vorgebbare Größe (x), welche Weiterverarbeitung zumindest einen Weiterverarbeitungsschritt unter Verwendung einer Transformationsfunktion (T) in Form einer exponentiellen Funktion oder einer Sigmoid-Funktion aufweist, ein Computerprogramm zur Ausführung des erfindungsgemäßen Verfahrens und ein computerlesbares Speichermedium. Das Verfahren umfasst die folgenden Verfahrensschritte:- Bereitstellen der Wahrscheinlichkeitsverteilung (ω(x)),- Berechnen einer transformierten Wahrscheinlichkeitsverteilung (ω(y)) in Form einer logarithmischen Normalverteilung, und- Ausgabe der transformierten Wahrscheinlichkeitsverteilung (ω(y)).The invention relates to a method, in particular a computer-implemented method, for further processing a normal distribution (ω) for a predeterminable variable (x), which further processing has at least one further processing step using a transformation function (T) in the form of an exponential function or a sigmoid function, a computer program for carrying out the method according to the invention and a computer-readable storage medium. The method comprises the following method steps: - providing the probability distribution (ω(x)), - calculating a transformed probability distribution (ω(y)) in the form of a logarithmic normal distribution, and - outputting the transformed probability distribution (ω(y)).

Description

Die vorliegende Erfindung betrifft ein Verfahren, insbesondere ein computer-implementiertes Verfahren, zur Weiterverarbeitung einer, insbesondere parametrischen, Wahrscheinlichkeitsverteilung für eine vorgebbare Größe, welche Weiterverarbeitung zumindest einen Weiterverarbeitungsschritt unter Verwendung einer nicht-linearen, invertierbaren und differenzierbaren Transformationsfunktion aufweist, ein Computerprogramm zur Ausführung des erfindungsgemäßen Verfahrens und ein computerlesbares Medium, auf welchem das Computerprogramm gespeichert ist.The present invention relates to a method, in particular a computer-implemented method, for further processing a, in particular parametric, probability distribution for a predeterminable variable, which further processing has at least one further processing step using a non-linear, invertible and differentiable transformation function, a computer program for carrying out the method according to the invention and a computer-readable medium on which the computer program is stored.

In vielen Fällen werden Eingangs- und/oder Ausgangsgrößen für Berechnungen nicht in Form von singulären Werten bereitgestellt. Vielmehr werden Wahrscheinlichkeitsverteilungen für die jeweiligen Größen herangezogen. Die mathematische Weiterverarbeitung von Wahrscheinlichkeitsverteilungen ist jedoch nicht auf einfache Art und Weise realisierbar, besonders wenn die jeweils benötigten Weiterverarbeitungsschritte die Verwendung von nicht-linearen Funktionen beinhalten.In many cases, input and/or output variables for calculations are not provided in the form of singular values. Instead, probability distributions are used for the respective variables. However, the mathematical processing of probability distributions is not easy to implement, especially if the required processing steps involve the use of non-linear functions.

Ein prominentes Beispiel für einen solchen Fall findet sich im Bereich von Objektdetektoren. Bei Objektdetektoren ist es häufig wünschenswert, eine Unsicherheit des Objektdetektors zu kennen bzw. zu ermitteln. Entsprechend werden detektierte Objekte nicht in Form von skalaren Werten angegeben, sondern anhand von Verteilungsfunktionen. Eine der Detektion nachgelagerte Berechnung des Orts bzw. der Koordinaten des detektierten Objekts erfolgt häufig, insbesondere im Falle von ankerbasierten Objektdetektoren, zumindest teilweise anhand nicht-linearer Funktionen, z. B. Exponentialfunktionen.A prominent example of such a case can be found in the area of object detectors. In object detectors, it is often desirable to know or determine an uncertainty of the object detector. Accordingly, detected objects are not specified in the form of scalar values, but rather using distribution functions. A calculation of the location or coordinates of the detected object downstream of the detection is often carried out, especially in the case of anchor-based object detectors, at least partially using non-linear functions, e.g. exponential functions.

Wenn eine Wahrscheinlichkeitsverteilung Ausgangspunkt für eine weitere Berechnung oder Analyse ist, werden häufig nur die Mittelwerte der Wahrscheinlichkeitsverteilungen für die jeweilige Berechnung herangezogen. Damit geht aber ein großer Teil der in der Verteilung enthaltenen Informationen verloren. Ebenso ist es bekannt geworden, Varianzen der Verteilung analog zu den Mittelwerten weiterzuverarbeiten. Ein solches Vorgehen ist aber mathematisch nicht korrekt und kann vielmehr zu falschen Ergebnissen führen. Beide Vorgehensweisen werden dennoch vielfach auch für Objektdetektoren angewendet. Außerdem werden häufig Wahrscheinlichkeitsverteilungen für bestimmte Größen, insbesondere Ausgangsgrößen, nur hinsichtlich bestimmter Teilaspekte berücksichtigt, beispielsweise im Rahmen des Trainings neuronaler Netze, welche zur Durchführung bestimmter Aufgaben ausgestaltet sind. Auch hier gehen wertvolle, der jeweiligen Verteilung innewohnende Informationen, verloren.If a probability distribution is the starting point for a further calculation or analysis, often only the mean values of the probability distributions are used for the respective calculation. However, this means that a large part of the information contained in the distribution is lost. It has also become known to further process variances of the distribution analogously to the mean values. However, this approach is not mathematically correct and can lead to incorrect results. Both approaches are nevertheless often used for object detectors. In addition, probability distributions for certain variables, in particular output variables, are often only taken into account with regard to certain partial aspects, for example in the context of training neural networks that are designed to carry out certain tasks. Here, too, valuable information inherent in the respective distribution is lost.

Aus dem Artikel "Uncertainty estimation for deep neural object detectors in safety-critical applications" von M. T. Le et al., erschienen 2018 in 21st International Conference on Intelligent Transportation Systems (ITSC), S. 2873-3878 (doi: 10.1109/ITSC.2018.8569637) ist eine Methode bekannt geworden, um Unsicherheiten im Rahmen von Objektdetektoren zu berücksichtigen. Anhand der Wahrscheinlichkeitsverteilung in Form einer Normalverteilung wird eine vorgebbare Menge an Werten für die jeweils betrachtete Größe ermittelt. Diese Werte werden mittels der nicht-linearen Funktion weiterverarbeitet und anschließend wird ein Mittelwert und eine Varianz für die weiterverarbeiteten Größen berechnet. Ein derartiges Vorgehen benötigt allerdings eine hohe Rechenkapazität aufgrund einer hohen Anzahl benötigter Werte für die jeweils betrachtete Größe. Wird die Anzahl an Werten für jeweils betrachtete Größe dagegen minimiert, so führt dies nachteilig zu einer geringen Reproduzierbarkeit sowie einer geringen Genauigkeit.From the article "Uncertainty estimation for deep neural object detectors in safety-critical applications" by MT Le et al., published 2018 in 21st International Conference on Intelligent Transportation Systems (ITSC), pp. 2873-3878 (doi: 10.1109/ITSC.2018.8569637) A method has become known for taking uncertainties into account in the context of object detectors. Using the probability distribution in the form of a normal distribution, a predeterminable set of values is determined for the respective size under consideration. These values are further processed using the non-linear function and then a mean and a variance are calculated for the further processed sizes. However, such an approach requires a high level of computing capacity due to the large number of values required for the respective size under consideration. If, on the other hand, the number of values for each size under consideration is minimized, this has the disadvantage of low reproducibility and low accuracy.

Entsprechend liegt der vorliegenden Erfindung die Aufgabe zugrunde, eine Möglichkeit bereitzustellen, die genannten Problemen bei der Weiterverarbeitung von Wahrscheinlichkeitsverteilungen zu lösen.Accordingly, the present invention is based on the object of providing a possibility to solve the above-mentioned problems in the further processing of probability distributions.

Diese Aufgabe wird gelöst durch das Verfahren nach Anspruch 1, das Computerprogramm nach Anspruch 9 und das computerlesbare Speichermedium nach Anspruch 10.This object is achieved by the method according to claim 1, the computer program according to claim 9 and the computer-readable storage medium according to claim 10.

Hinsichtlich des Verfahrens wird die der Erfindung zugrunde liegende Aufgabe gelöst durch ein Verfahren, insbesondere ein computer-implementiertes Verfahren, zur Weiterverarbeitung einer Normalverteilung für eine vorgebbare Größe, welche Weiterverarbeitung zumindest einen Weiterverarbeitungsschritt unter Verwendung einer Transformationsfunktion in Form einer exponentiellen Funktion oder einer Sigmoid-Funktion aufweist, wobei das Verfahren die folgenden Verfahrensschritte umfasst:

  • - Bereitstellen der Wahrscheinlichkeitsverteilung,
  • - Berechnen einer transformierten Wahrscheinlichkeitsverteilung in Form einer logarithmischen Normalverteilung, und
  • - Ausgabe der transformierten Wahrscheinlichkeitsverteilung.
With regard to the method, the object underlying the invention is achieved by a method, in particular a computer-implemented method, for further processing a normal distribution for a predeterminable variable, which further processing has at least one further processing step using a transformation function in the form of an exponential function or a sigmoid function, wherein the method comprises the following method steps:
  • - Providing the probability distribution,
  • - Calculating a transformed probability distribution in the form of a log-normal distribution, and
  • - Output of the transformed probability distribution.

Das erfindungsgemäße Verfahren ist immer dann einsetzbar, wenn eine Wahrscheinlichkeitsverteilung in Form einer Normalverteilung Ausgangspunkt einer Berechnung anhand einer nicht-linearen Funktion ist. Das Verfahren ermöglicht die mathematisch exakte Weitergabe der Wahrscheinlichkeitsverteilung durch eine Transformationsfunktion. Unter der Transformationsfunktion ist im Rahmen der vorliegenden Erfindung jegliche zur Weiterverarbeitung der vorgebbaren Größe geeignete Funktion zu verstehen, welche nicht-linear, invertierbar und differenzierbar ist. Die vorgeschlagene Methode erlaubt die Weiterverarbeitung der Wahrscheinlichkeitsverteilung auf einfache, exakte und effiziente Art und Weise. Auch bedarf es einer vergleichsweise geringen Rechenkapazität zu dessen Durchführung.The method according to the invention can be used whenever a probability distribution in the form of a normal distribution is the starting point for a calculation based on a non-linear function. The method enables the mathematically exact transmission of the probability distribution using a transformation function. The transformation function is defined as The invention is to be understood as any function suitable for further processing of the predeterminable quantity which is non-linear, invertible and differentiable. The proposed method allows further processing of the probability distribution in a simple, exact and efficient manner. It also requires a comparatively low computing capacity to carry it out.

Die transformierte Wahrscheinlichkeitsverteilung ergibt sich vorteilhaft in Form einer logarithmischen Normalverteilung. Das erfindungsgemäße Verfahren erlaubt somit eine besonders effiziente Weitergabe einer Normalverteilung durch eine exponentielle Funktion oder durch eine Sigmoid-Funktion.The transformed probability distribution advantageously results in the form of a logarithmic normal distribution. The method according to the invention thus allows a particularly efficient propagation of a normal distribution by means of an exponential function or a sigmoid function.

In einer vorteilhaften Ausgestaltung werden ein Mittelwert und eine Varianz der transformierten Wahrscheinlichkeitsverteilung berechnet.In an advantageous embodiment, a mean and a variance of the transformed probability distribution are calculated.

Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens handelt es sich bei der vorgebbaren Größe um eine geometrische Größe betreffend Koordinaten eines Objekts, beispielsweise in einem vorgebbaren Koordinatensystem im Raum oder in einem Bild, also die Position des Objekts, um Koordinaten eines optischen Flusses oder um Koordinaten einer räumlichen Tiefe. Es kann sich ebenso um eine Dichte handeln.According to an advantageous embodiment of the method according to the invention, the predeterminable quantity is a geometric quantity relating to coordinates of an object, for example in a predeterminable coordinate system in space or in an image, i.e. the position of the object, coordinates of an optical flow or coordinates of a spatial depth. It can also be a density.

Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird als vorgebbare Größe und/oder Wahrscheinlichkeitsverteilung für die vorgebbare Größe eine Ausgabe eines neuronalen Netzes verwendet. In diesem Falle geht es um eine Nachbearbeitung einer Ausgabe des neuronalen Netztes mittels einer nicht-linearen Funktion. Vorzugsweise ist das neuronale Netz zur Ausgabe der jeweiligen vorgebbaren Größe bzw. der Wahrscheinlichkeitsverteilung für die Größe ausgestaltet und entsprechend trainiert worden, beispielsweise durch einen überwachten, semi-überwachten, oder nichtüberwachten Lernprozess anhand geeigneter Trainingsdaten.According to a further preferred embodiment of the method according to the invention, an output of a neural network is used as the predefinable quantity and/or probability distribution for the predefinable quantity. In this case, it is a matter of post-processing an output of the neural network using a non-linear function. The neural network is preferably designed to output the respective predefinable quantity or the probability distribution for the quantity and has been trained accordingly, for example by means of a supervised, semi-supervised or unsupervised learning process using suitable training data.

Es ist von Vorteil, wenn es sich bei dem Netz um ein faltendes neuronales Netz (engl. convolutional neural network, CNN), ein Mixture-Density Netz, ein Transformer Netz, ein rekurrentes neuronales Netz (engl. recurrent neural network, RNN), ein mehrschichtiges Perzeptron (engl. multilayer perceptron, MLP) oder um ein generatives adversiales Netz (engl. generative adversial network, GAN) handelt.It is advantageous if the network is a convolutional neural network (CNN), a mixture-density network, a transformer network, a recurrent neural network (RNN), a multilayer perceptron (MLP) or a generative adversial network (GAN).

Das neuronale Netz ist vorzugsweise ein aus mehreren Schichten aufgebautes Netz, wobei die Ausgaben einzelner oder mehrerer Schichten Wahrscheinlichkeitsverteilungen repräsentieren.The neural network is preferably a network constructed from several layers, where the outputs of individual or multiple layers represent probability distributions.

Es ist ferner von Vorteil, wenn das neuronale Netz Teil eines Objektdetektors, insbesondere eines ankerbasierten Objektdetektors, ist. Ein Objektdetektor dient der Detektion und Lokalisation eines Objekts anhand geeigneter Eingangsdaten, beispielsweise anhand von Bilddaten, in denen das Objekt enthalten ist. Bei einem ankerbasierten Objektdetektor werden beispielsweise Offsets der Objektposition relativ zu einem oder mehreren vorgebbaren Ankern ermittelt und im Anschluss wird aus diesen Offsets und Koordinaten der Anker die Position des Objekts ermittelt. Insbesondere werden Koordinaten des Objekts ermittelt, beispielsweise Zentrumskoordinaten des Objekts sowie eine Höhe und Breite des Objekts.It is also advantageous if the neural network is part of an object detector, in particular an anchor-based object detector. An object detector is used to detect and localize an object using suitable input data, for example using image data in which the object is contained. In an anchor-based object detector, for example, offsets of the object position relative to one or more predefinable anchors are determined and the position of the object is then determined from these offsets and coordinates of the anchors. In particular, coordinates of the object are determined, for example center coordinates of the object as well as a height and width of the object.

Es ist ebenso von Vorteil, wenn zumindest ein Verarbeitungsschritt der Weiterverarbeitung Teil des Objektdetektors ist. Im Falle eines ankerbasierten Objektdetektors kann der zumindest eine Verarbeitungsschritt beispielsweise die Ermittlung der Koordinaten des Objekts anhand der Offsets und der Koordinaten der Anker beinhalten.It is also advantageous if at least one processing step of the further processing is part of the object detector. In the case of an anchor-based object detector, the at least one processing step can, for example, include determining the coordinates of the object based on the offsets and the coordinates of the anchors.

Das erfindungsgemäße Verfahren nach einer der beschriebenen Ausgestaltungen findet bevorzugt Verwendung zur Objektdetektion, insbesondere im Raum. Das erfindungsgemäße Verfahren ist generell aber in vielen verschiedenen Technologiefeldern anwendbar, beispielsweise im Bereich von Fahrerassistenzsystemen, im Bereich des autonomen Fahrens, in der Robotik, in der Computer Vision, und auch in der Bildverarbeitung in der Medizin.The method according to the invention according to one of the described embodiments is preferably used for object detection, in particular in space. The method according to the invention can generally be used in many different fields of technology, for example in the field of driver assistance systems, in the field of autonomous driving, in robotics, in computer vision, and also in image processing in medicine.

Die der Erfindung zugrunde liegende Aufgabe wird außerdem gelöst durch ein Computerprogramm umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren nach einer der beschriebenen Ausgestaltungen auszuführen. Es kann sich bei dem Computerprogramm sowohl um ein separates Computerprogramm betreffend das erfindungsgemäße Verfahren als auch um einen Teil eines größeren Computerprogramms, welches eine Weiterverarbeitung einer Wahrscheinlichkeitsverteilung mittels einer nicht-linearen Funktion, beispielsweise betreffend einen Objektdetektor, handeln.The object underlying the invention is also achieved by a computer program comprising instructions which, when the program is executed by a computer, cause the computer to carry out the method according to the invention according to one of the described embodiments. The computer program can be either a separate computer program relating to the method according to the invention or part of a larger computer program which further processes a probability distribution using a non-linear function, for example relating to an object detector.

Die der Erfindung zugrunde liegende Aufgabe wird ferner gelöst durch ein computerlesbares Medium, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.The object underlying the invention is further achieved by a computer-readable medium on which the computer program according to the invention is stored.

Die in Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen Ausgestaltungen sind mutatis mutandis auch auf das erfindungsgemäße Computerprogramm und auf das computerlesbare Speichermedium anwendbar.The embodiments described in connection with the method according to the invention are also applicable, mutatis mutandis, to the computer program according to the invention and to the computer-readable storage medium.

Die Erfindung sowie ihre vorteilhaften Ausgestaltungen werden anhand der nachfolgenden Figuren näher beschrieben. Es zeigt:

  • 1 ein Ablaufdiagramm für das erfindungsgemäße Verfahren;
  • 2 ein Ablaufdiagramm für das erfindungsgemäße Verfahren im Kontext eines ankerbasierten Objektdetektors.
The invention and its advantageous embodiments are described in more detail with reference to the following figures. It shows:
  • 1 a flow chart for the method according to the invention;
  • 2 a flow chart for the method according to the invention in the context of an anchor-based object detector.

Das erfindungsgemäße Verfahren bietet eine präzise und effiziente Lösung zur Weiterverarbeitung von Wahrscheinlichkeitsverteilungen mittels nicht-linearer Funktionen, wie anhand von 1 illustriert ist. Ausgangspunkt für das erfindungsgemäße Verfahren ist eine Normalverteilung ω(x) für eine Größe x, bei welcher es sich beispielsweise aber nicht notwendigerweise um die Koordinaten eines Objekts im Raum handeln kann. Die Wahrscheinlichkeitsverteilung ω(x) kann beispielsweise anhand eines Mittelwerts µx und einer Varianz σ x 2

Figure DE102023201734A1_0001
charakterisierbar sein.The method according to the invention offers a precise and efficient solution for further processing of probability distributions using non-linear functions, as shown by 1 The starting point for the method according to the invention is a normal distribution ω(x) for a size x, which can be, for example, but not necessarily, the coordinates of an object in space. The probability distribution ω(x) can be calculated, for example, using a mean value µ x and a variance σ x 2
Figure DE102023201734A1_0001
be characterizable.

Zur Weiterverarbeitung soll die Verteilungsfunktion ω(x) durch eine nicht-lineare, invertierbare und differenzierbare Transformationsfunktion T weitergegeben werden, bei welcher es sich um eine Exponentialfunktion oder um eine Sigmoid-Funktion handelt. Um diese nicht triviale Weiterverarbeitung mathematisch präzise ausführen zu können, wird eine transformierte Wahrscheinlichkeitsverteilung ω(y) Wahrscheinlichkeitsverteilung in Form einer logarithmischen Normalverteilung ausgehend von der Wahrscheinlichkeitsverteilung ω(x) berechnet. Für die transformierte Wahrscheinlichkeitsverteilung ω(y) können dann beispielsweise unmittelbar ein transformierter Mittelwert E und eine transformierte Varianz V berechnet werden. For further processing, the distribution function ω(x) is to be passed on by a non-linear, invertible and differentiable transformation function T, which is an exponential function or a sigmoid function. In order to be able to carry out this non-trivial further processing mathematically precisely, a transformed probability distribution ω(y) probability distribution in the form of a logarithmic normal distribution is calculated starting from the probability distribution ω(x). For the transformed probability distribution ω(y), for example, a transformed mean E and a transformed variance V can then be calculated directly.

Im Folgenden wird das erfindungsgemäße Verfahren ohne Beschränkung der Allgemeinheit mittels 2 am Beispiel eines ankerbasierten Objektdetektors OD zur Detektion von Objekten für ein Fahrerassistenzsystem näher erläutert. In diesem Fall handelt es sich bei der vorgebbaren Größe bzw. bei den vorgegebenen Größen beispielsweise um die Koordinaten eines Objekts, d.h. um die Position eines Objekts, beispielsweise im Raum, oder einer oder mehrerer mit der Position des Objekts zusammenhängende Größen.In the following, the method according to the invention is described without restriction of generality by means of 2 explained in more detail using the example of an anchor-based object detector OD for detecting objects for a driver assistance system. In this case, the predeterminable size or the predefined sizes are, for example, the coordinates of an object, ie the position of an object, for example in space, or one or more sizes related to the position of the object.

In Fahrerassistenzsystemen werden zur Objektdetektion mittels verschiedener Sensoren, beispielsweise Kameras, Ultraschall-, Radar, und/oder LIDAR-Sensoren, Daten zur Fahrzeugumgebung erfasst (Input). Die Qualität der erfassten Daten, insbesondere Bilddaten, hängt entscheidend von den Umgebungsbedingungen, insbesondere Wetterbedingungen, Lichtverhältnisse, Okklusion oder seltenen Szenarien, ab. Von diesen Umgebungsbedingungen hängt somit auch die Detektionsgenauigkeit des jeweiligen Detektors in entscheidendem Maße ab. Diese Ungenauigkeit hinsichtlich der Objektdetektion wird allgemein auch als aleatorische Unsicherheit bezeichnet und häufig anhand einer Verlustdämpfung und bei der Vorhersage der Position eines Objekts in den jeweiligen Detektor mit integriert. Aber auch andere Unsicherheiten hinsichtlich der Detektion der jeweiligen Position eines Objekts können berücksichtigt werden.In driver assistance systems, data on the vehicle environment is recorded (input) for object detection using various sensors, such as cameras, ultrasound, radar, and/or LIDAR sensors. The quality of the recorded data, especially image data, depends crucially on the environmental conditions, especially weather conditions, lighting conditions, occlusion or rare scenarios. The detection accuracy of the respective detector therefore also depends to a large extent on these environmental conditions. This inaccuracy with regard to object detection is generally also referred to as aleatoric uncertainty and is often integrated into the respective detector using loss attenuation and when predicting the position of an object. However, other uncertainties with regard to the detection of the respective position of an object can also be taken into account.

Ankerbasierte Objektdetektoren, wie beispielsweise EfficientDet Detektor, dem Single-Shot Detektor (SSD) und dem YOLO Detektor, sind an sich aus dem Stand der Technik bekannt. Der EfficientDet Detektor ist beispielsweise in „EfficientDet: Scalable and efficient object detection" von M. Tan et al., erschienen 2020 in Proceedings oft he IEEE/CVF conference on computer vision and pattern recognition, S. 10781-10790 (doi: https://doi.org/10.48550/arXiv.1911.09070) beschrieben worden. Der Single-Shot Detektor ist wiederum aus „Single shot multibox detector“ von W. Liu et al., erschienen 2016 in European conference on computer vision, S. 21-73, Springer (doi: https://doi.org/10.1007/978-3-319-46448-0_2) , und der YOLOv3 Detektor aus „Yolov3: An incremental improvement“ von J. Redmann und A. Farhadi, erschienen 2018 auf arXIv (doi: https://doi.org/10.48550/arXiv.1804.02767) beschrieben.Anchor-based object detectors, such as the EfficientDet detector, the Single-Shot Detector (SSD) and the YOLO detector, are known from the state of the art. The EfficientDet detector is, for example, in "EfficientDet: Scalable and efficient object detection" by M. Tan et al., published 2020 in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 10781-10790 (doi: https://doi.org/10.48550/arXiv.1911.09070) The single-shot detector is again made from “Single shot multibox detector” by W. Liu et al., published 2016 in European conference on computer vision, pp. 21-73, Springer (doi: https://doi.org/10.1007/978-3-319-46448-0_2) , and the YOLOv3 detector from “Yolov3: An incremental improvement” by J. Redmann and A. Farhadi, published 2018 on arXIv (doi: https://doi.org/10.48550/arXiv.1804.02767) described.

Bei ankerbasierten Objektdetektoren wird die Position eines Objekts Po typischerweise anhand von dessen Mittelpunktskoordinaten x, y, sowie einer Breite w und einer Höhe h ausgedrückt. Im Falle des EfficientDet Detektors wird beispielsweise zunächst eine Objektposition PO,det mittels des neuronalen Netzes NN vorhergesagt und Mittelwerte µ und Varianzen σ2 für die Mittelpunktskoordinaten x̂, ŷ, sowie eine Objektbreite ŵ und eine Objekthöhe ĥ des zu detektierenden Objekts relativ zu vorgebbaren Ankerkoordinaten xa, ya, wa, ha ermittelt. Diese werden anschließend mittels der Ankerkoordinaten xa, ya, wa, ha in die Objektkoordinaten x, y, w, h transformiert wie folgt: y = y ^ h a + y a

Figure DE102023201734A1_0002
x = x ^ w a + x a
Figure DE102023201734A1_0003
h = e x p ( h ^ ) h a
Figure DE102023201734A1_0004
w = e x p ( w ^ ) w a
Figure DE102023201734A1_0005
In anchor-based object detectors, the position of an object Po is typically expressed using its center coordinates x, y, as well as a width w and a height h. In the case of the EfficientDet detector, for example, an object position P O,det is first predicted using the neural network NN and mean values µ and variances σ 2 for the center coordinates x̂, ŷ, as well as an object width ŵ and an object height ĥ of the object to be detected are determined relative to predefined anchor coordinates x a , y a , w a , h a . These are then transformed into the object coordinates x, y , w , h using the anchor coordinates x a , y a , w a , h a as follows: y = y ^ h a + y a
Figure DE102023201734A1_0002
x = x ^ w a + x a
Figure DE102023201734A1_0003
h = e x p ( h ^ ) h a
Figure DE102023201734A1_0004
w = e x p ( w ^ ) w a
Figure DE102023201734A1_0005

Diese Transformationsvorschriften beinhalten zwei Exponentialfunktionen für die Höhe h und die Breite w des Objekts. Sofern beide Größen durch eine Normalverteilung mit Mittelwert µ und Varianz σ2 angegeben werden, handelt es sich bei der transformierten Wahrscheinlichkeitsverteilung um eine logarithmische Normalverteilung, für welche ein Mittelwert E und eine Varianz V anhand des Beispiels der Objekthöhe ĥ mit dem Mittelwert µ und der Varianz σ h ^ 2

Figure DE102023201734A1_0006
wie folgt berechnet werden können: E [ e x p ( h ^ ) ] = e x p ( μ h ^ + σ h ^ 2 2 )
Figure DE102023201734A1_0007
V [ e x p ( h ^ ) ] = [ e x p ( σ h ^ 2 ) 1 ] e x p ( μ h ^ + σ h ^ 2 )
Figure DE102023201734A1_0008
μ h = E [ e x p ( h ^ ) ] h a
Figure DE102023201734A1_0009
σ h 2 = V [ e x p ( h ^ ) ] h a 2
Figure DE102023201734A1_0010
These transformation rules contain two exponential functions for the height h and the width w of the object. If both quantities are given by a normal distribution with mean µ and variance σ 2 , the transformed probability distribution is a logarithmic normal distribution, for which a mean E and a variance V using the example of the object height ĥ with the mean µ ĥ and the variance σ h ^ 2
Figure DE102023201734A1_0006
can be calculated as follows: E [ e x p ( h ^ ) ] = e x p ( μ h ^ + σ h ^ 2 2 )
Figure DE102023201734A1_0007
V [ e x p ( h ^ ) ] = [ e x p ( σ h ^ 2 ) 1 ] e x p ( μ h ^ + σ h ^ 2 )
Figure DE102023201734A1_0008
μ h = E [ e x p ( h ^ ) ] h a
Figure DE102023201734A1_0009
σ h 2 = V [ e x p ( h ^ ) ] h a 2
Figure DE102023201734A1_0010

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

  • "Uncertainty estimation for deep neural object detectors in safety-critical applications" von M. T. Le et al., erschienen 2018 in 21st International Conference on Intelligent Transportation Systems (ITSC), S. 2873-3878 (doi: 10.1109/ITSC.2018.8569637) [0005]"Uncertainty estimation for deep neural object detectors in safety-critical applications" by MT Le et al., published in 2018 in 21st International Conference on Intelligent Transportation Systems (ITSC), pp. 2873-3878 (doi: 10.1109/ITSC.2018.8569637) [0005]
  • „EfficientDet: Scalable and efficient object detection" von M. Tan et al., erschienen 2020 in Proceedings oft he IEEE/CVF conference on computer vision and pattern recognition, S. 10781-10790 (doi: https://doi.org/10.48550/arXiv.1911.09070) [0027]"EfficientDet: Scalable and efficient object detection" by M. Tan et al., published 2020 in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 10781-10790 (doi: https://doi.org/ 10.48550/arXiv.1911.09070) [0027]
  • W. Liu et al., erschienen 2016 in European conference on computer vision, S. 21-73, Springer (doi: https://doi.org/10.1007/978-3-319-46448-0_2) [0027]W. Liu et al., published 2016 in European conference on computer vision, pp. 21-73, Springer (doi: https://doi.org/10.1007/978-3-319-46448-0_2) [0027]
  • J. Redmann und A. Farhadi, erschienen 2018 auf arXIv (doi: https://doi.org/10.48550/arXiv.1804.02767) [0027]J. Redmann and A. Farhadi, published 2018 on arXIv (doi: https://doi.org/10.48550/arXiv.1804.02767) [0027]

Claims (10)

Verfahren, insbesondere computer-implementiertes Verfahren, zur Weiterverarbeitung einer Normalverteilung (ω) für eine vorgebbare Größe (x), welche Weiterverarbeitung zumindest einen Weiterverarbeitungsschritt unter Verwendung einer Transformationsfunktion (T) in Form einer exponentiellen Funktion oder einer Sigmoid-Funktion aufweist, wobei das Verfahren die folgenden Verfahrensschritte umfasst: - Bereitstellen der Wahrscheinlichkeitsverteilung (ω(x)), - Berechnen einer transformierten Wahrscheinlichkeitsverteilung (ω(y)) in Form einer logarithmischen Normalverteilung, und - Ausgabe der transformierten Wahrscheinlichkeitsverteilung (ω(y)).Method, in particular a computer-implemented method, for further processing a normal distribution (ω) for a predefinable variable (x), which further processing has at least one further processing step using a transformation function (T) in the form of an exponential function or a sigmoid function, wherein the method comprises the following method steps: - providing the probability distribution (ω(x)), - calculating a transformed probability distribution (ω(y)) in the form of a logarithmic normal distribution, and - outputting the transformed probability distribution (ω(y)). Verfahren nach Anspruch 1, wobei ein Mittelwert (E) und eine Varianz (V) der transformierten Wahrscheinlichkeitsverteilung (ω(y)) berechnet werden.Procedure according to Claim 1 , where a mean (E) and a variance (V) of the transformed probability distribution (ω(y)) are calculated. Verfahren nach Anspruch 1 oder 2, wobei es sich bei der vorgebbaren Größe (x) um eine geometrische Größe betreffend Koordinaten eines Objekts, eines optischen Flusses oder einer räumlichen Tiefe handelt.Procedure according to Claim 1 or 2 , where the specified quantity (x) is a geometric quantity concerning coordinates of an object, an optical flow or a spatial depth. Verfahren nach einem der vorhergehenden Ansprüche, wobei als vorgebbare Größe (x) und/oder Wahrscheinlichkeitsverteilung für die vorgebbare Größe (ω(x)) eine Ausgabe eines neuronalen Netzes (NN) verwendet wird.Method according to one of the preceding claims, wherein an output of a neural network (NN) is used as the predefinable variable (x) and/or probability distribution for the predefinable variable (ω(x)). Verfahren nach Anspruch 4, wobei es sich bei dem neuronalen Netz (NN) um ein faltendes neuronales Netz, ein Mixture-Density Netz, ein Transformer Netz, ein rekurrentes neuronales Netz, ein mehrschichtiges Perzeptron oder um ein generatives, adversiales Netz handelt.Procedure according to Claim 4 , where the neural network (NN) is a convolutional neural network, a mixture-density network, a transformer network, a recurrent neural network, a multilayer perceptron or a generative adversary network. Verfahren nach Anspruch 4 oder 5, wobei das neuronale Netz (NN) Teil eines Objektdetektors (OD) ist, insbesondere eines ankerbasierten Objektdetektors.Procedure according to Claim 4 or 5 , where the neural network (NN) is part of an object detector (OD), in particular an anchor-based object detector. Verfahren nach Anspruch 6, wobei zumindest ein Verarbeitungsschritt der Weiterverarbeitung Teil des Objektdetektors (OD) ist.Procedure according to Claim 6 , wherein at least one processing step of the further processing is part of the object detector (OD). Verwendung eines Verfahrens nach einem der vorherigen Ansprüche zur Objektdetektion.Use of a method according to one of the preceding claims for object detection. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1-7 auszuführen.Computer program comprising instructions which, when executed by a computer, cause the computer to carry out the method according to one of the Claims 1 - 7 to execute. Computerlesbares Medium, auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.Computer-readable medium on which the computer program is Claim 9 is stored.
DE102023201734.2A 2023-02-27 2023-02-27 Further processing of probability distributions using non-linear functions Pending DE102023201734A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102023201734.2A DE102023201734A1 (en) 2023-02-27 2023-02-27 Further processing of probability distributions using non-linear functions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023201734.2A DE102023201734A1 (en) 2023-02-27 2023-02-27 Further processing of probability distributions using non-linear functions

Publications (1)

Publication Number Publication Date
DE102023201734A1 true DE102023201734A1 (en) 2024-08-29

Family

ID=92423006

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023201734.2A Pending DE102023201734A1 (en) 2023-02-27 2023-02-27 Further processing of probability distributions using non-linear functions

Country Status (1)

Country Link
DE (1) DE102023201734A1 (en)

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Uncertainty estimation for deep neural object detectors in safety-critical applications" von M. T. Le et al., erschienen 2018 in 21st International Conference on Intelligent Transportation Systems (ITSC), S. 2873-3878 (doi: 10.1109/ITSC.2018.8569637)
„EfficientDet: Scalable and efficient object detection" von M. Tan et al., erschienen 2020 in Proceedings oft he IEEE/CVF conference on computer vision and pattern recognition, S. 10781-10790 (doi: https://doi.org/10.48550/arXiv.1911.09070)
J. Redmann und A. Farhadi, erschienen 2018 auf arXIv (doi: https://doi.org/10.48550/arXiv.1804.02767)
KÖSSLER, W.: Transformation von Zufallsvariablen, In: Folien zur Vorlesung Stochastik für InformatikerInnen, Humboldt - Universität zu Berlin, Wintersemester 2007/2008, Foliensatz 15, S. 360 – 382. URL: https://www.informatik.hu-berlin.de/de/forschung/gebiete/algorithmenII/Lehre/ws07/stochastik [abgerufen am 25.10.2023]
Logarithmische Normalverteilung. In: Wikipedia, Die freie Enzyklopädie. Bearbeitungsstand: 8. Dezember 2022.URL: https://de.wikipedia.org/w/index.php?title=Logarithmische_Normalverteilung&oldid=228665954 [abgerufen am 25.10.2023]
W. Liu et al., erschienen 2016 in European conference on computer vision, S. 21-73, Springer (doi: https://doi.org/10.1007/978-3-319-46448-0_2)

Similar Documents

Publication Publication Date Title
DE102018200724A1 (en) Method and device for improving the robustness against "Adversarial Examples"
DE102017115028A1 (en) Method, apparatus and apparatus for generating target recognition information
DE102020110157A1 (en) Image recognition device
DE102016218080B3 (en) Method and device for determining a collision probability of a vehicle with an object
EP3746850B1 (en) Method for ascertaining a time characteristic of a measured variable, prediction system, actuator control system, method for training the actuator control system, training system, computer program and machine-readable storage medium
DE102017123842A1 (en) Lane detection method
DE102018213515A1 (en) Method and device for detecting a boundary in an environment of an object
DE102019210507A1 (en) Device and computer-implemented method for processing digital sensor data and training methods therefor
DE102019209463A1 (en) Method for determining the trust value of an object of a class
DE102016206631A1 (en) Device for data fusion of measured data for generating a spatial occupancy grid for a motor vehicle
DE102018211513A1 (en) Method and device for determining a collision probability of a vehicle with an object
DE102023201734A1 (en) Further processing of probability distributions using non-linear functions
DE102023201735A1 (en) Further processing of probability distributions using non-linear functions
EP3467722A1 (en) Configuration of a motor vehicle driver assisting device using a neural network in ongoing operation
DE102021133977A1 (en) Method and system for classifying virtual test scenarios and training methods
DE102020205962B3 (en) Device and method for operating a test bench
EP3673459B1 (en) Method and device for checking the plausibility of a flow vector hypothesis
DE102017201886B3 (en) Method for determining accuracy information of a position vector
DE102019220615A1 (en) Method and device for recognizing and classifying objects
DE112020005759T5 (en) Method and system for determining task compatibility in neural networks
DE102019207911A1 (en) Method, device and computer program for predicting a learning curve
DE202019103046U1 (en) Device for predicting a learning curve
DE102019214008A1 (en) Method and device for localizing a mobile agent in an environment with dynamic objects
DE102021124204A1 (en) Method and device for estimating the resource expenditure of a neural network
DE102020205964B3 (en) Device and method for operating a test bench

Legal Events

Date Code Title Description
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNERS: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE; CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, 85057 INGOLSTADT, DE

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE

Free format text: FORMER OWNERS: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE; CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, 85057 INGOLSTADT, DE