EP3938946A1 - Method for providing a training data set quantity, method for training a classifier, method for controlling a vehicle, computer-readable storage medium and vehicle - Google Patents

Method for providing a training data set quantity, method for training a classifier, method for controlling a vehicle, computer-readable storage medium and vehicle

Info

Publication number
EP3938946A1
EP3938946A1 EP20700599.2A EP20700599A EP3938946A1 EP 3938946 A1 EP3938946 A1 EP 3938946A1 EP 20700599 A EP20700599 A EP 20700599A EP 3938946 A1 EP3938946 A1 EP 3938946A1
Authority
EP
European Patent Office
Prior art keywords
training data
data set
vehicle
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20700599.2A
Other languages
German (de)
French (fr)
Inventor
Christopher Matheisen
Gabor Varga
Christian EFFERTZ
Dirk Wohlfeil
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saint Gobain Glass France SAS
Compagnie de Saint Gobain SA
Original Assignee
Saint Gobain Glass France SAS
Compagnie de Saint Gobain SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saint Gobain Glass France SAS, Compagnie de Saint Gobain SA filed Critical Saint Gobain Glass France SAS
Publication of EP3938946A1 publication Critical patent/EP3938946A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Definitions

  • Method for providing a set of training data sets a method for training a classifier, a method for controlling a vehicle, a computer-readable storage medium and a vehicle
  • the invention relates to a method for providing a set of training data sets, a method for training a classifier, a method for controlling a vehicle, a computer-readable storage medium and a vehicle.
  • an image sensor For a number of driver assistance functions it is common in modern vehicles for an image sensor to be arranged behind a windshield, for example as part of a camera. This image sensor records the vehicle environment, in particular in the area in front of and behind the vehicle.
  • the recorded image data are analyzed by a computing device in the vehicle and control functions are carried out based on this analysis. For example, if the analysis has determined that a stop sign is arranged in front of the vehicle, the vehicle can show the driver a warning that a vehicle stop should be carried out. In principle, however, it is also possible for the vehicle to independently carry out this stop.
  • Classifiers are usually used to analyze the image data, which determine for each pixel of an image to which object or to which class of objects this pixel belongs. Object recognition can thus be carried out as a pixel-based classification.
  • Artificial neural networks in particular “deep convolutional nets”, are often used as classifiers. These neural networks accept either a complete image or a section of an image as input parameters and specify the associated object class for each pixel.
  • Neural networks can achieve a very high level of accuracy with a high hit rate (precision, recall).
  • training data In order to train a classifier, it is necessary to provide annotated training data.
  • These annotated training data contain a large amount of Image data, with an identification or a so-called label being stored for each image and there each pixel, to which object or which object class the pixel belongs.
  • training data can contain an indication that a particular pixel belongs to a stop sign.
  • Training data are usually generated by first driving a vehicle or several vehicles along a large number of different routes and thereby recording a large amount of image data.
  • the image data is then annotated manually, i. H. performed by a human. This process is partially carried out automatically, but at least verified and corrected by a human. This is already necessary for legislative reasons.
  • Annotating the training data is therefore a very complex and expensive process.
  • a disadvantage of using the machine learning methods described is that a large amount of training data is required for this in order to be able to achieve the accuracy required for practical use. This is problematic because, as described, creating the training data is very complex and expensive.
  • US 2017/0236013 A1 describes the generation of synthetic training data for an artificial neural network using a graphics engine. Objects can be placed anywhere in a three-dimensional space using the graphics engine. In this way, rare situations can be created in a targeted manner that only very rarely occur when recording with cameras in real situations. In this respect, an artificial neural network to be trained can be trained in such a way that it delivers improved results in the trained situations.
  • the influence of the manufacturing tolerances reduces the accuracy of the classifier in the classification during operation. It is therefore the object of the invention to reduce the effort involved in generating training data. It is a particular object of the invention to reduce the influence of manufacturing tolerances on the classification. Another particular object of the invention is to increase the safety during the operation of a vehicle with assistance functions. The object is achieved by a method according to claim 1, a method according to claim 8, a method according to claim 9, a computer-readable storage medium according to claim 10 and a vehicle according to claim 11.
  • the object is achieved by a method for providing a set of training data sets, in particular for an artificial neural network, comprising the following steps:
  • Providing a training data set comprising the basic training data set and the initial training data set.
  • a core of the invention is that the basic training data set is processed using an optical filter.
  • the existing data is doubled. This allows a classifier to be trained better.
  • the resources to be used to create the training data are also significantly reduced.
  • Image data represent, in particular, a data structure in which individual images are stored in a chronologically ordered manner.
  • Using an optical filter means in particular that image data of a training data set are modified by using the optical filter.
  • the basic training data set is assigned properties of an optically transparent reference medium, in particular a reference windshield
  • the output training data set is assigned properties of an optically transparent training medium, in particular a training windshield.
  • optically transparent means in particular that the medium is permeable to visible light, in particular in the range from 400 nm to 800 nm.
  • the basic training data set is thus assigned to an optically transparent reference medium.
  • the training data can be recorded by an image sensor which is arranged behind a reference windshield.
  • the initial training data set is in turn assigned to the properties of an optically transparent training medium, for example a training windshield. This means that by providing the training dataset, two different transparent media are now taken into account. This improves the accuracy of a classification when used with another windshield. This also makes it possible to take manufacturing tolerances into account in the production of optical media.
  • the at least one optical filter can indicate an analytical mapping from the basic training data set to the initial training data set.
  • the optical filter indicates an analytical image. Because an analytical mapping is specified, the processing of the basic training data set is comprehensible or predictable. It is thus possible in particular to provide information about which pixel in an image of the basic training data set corresponds to which pixel in an image of the output training data set. Correspondingly, taking into account the analytical mapping, an identification of the pixels of image data of the initial training data set can be adapted in accordance with the identification of the pixels of image data of the basic training data set. A method is thus specified in which the identification of the initial training data set can be carried out particularly efficiently.
  • the image data can be stored as a set of pixels with assigned brightness values, preferably in each case for a multiplicity of color channels, wherein an assignment of image data to identifications can specify an associated object class for each pixel.
  • An identifier can be an indication of an object class. For example, an identification can indicate that a certain pixel of an image is assigned to the object class “stop sign”. Ultimately, such a designation makes it possible to segment an image, with each pixel storing the object class to which it belongs. In one embodiment it is possible for an identifier to be stored as a data structure in which a coordinate of the pixel is stored as a first property and the assigned object class is stored as a second property.
  • the optical filter can be determined by measuring properties of at least one optically transparent reference medium.
  • An optical filter can in particular be designed as a Gaussian blurring, as an offset filter or as a color filter.
  • the determination of the optical filter can be carried out efficiently by measuring properties of at least one optically transparent reference medium.
  • the variance in the production of optically transparent media, for example windshields can thus be simulated by optical filters.
  • the optical filter can be determined by determining a modulation transfer function. Determining a modulation transfer function is a particularly efficient implementation for determining the optical filter.
  • the optical filter is determined taking into account an installation position of the optically transparent reference medium with respect to an image sensor. In one embodiment it is also possible that the optical filter is determined taking into account geometric properties of the optically transparent reference medium, in particular using a ray tracing-based method.
  • Geometric properties can indicate a reflectivity, a thickness, a refractive power, a transmission and / or a polarization of an optically transparent medium.
  • an image sensor with respect to the optically transparent medium is also taken into account. This can be exploited in particular when using ray tracing-based methods. All in all, an optically transparent medium can be simulated very precisely by using ray tracing-based methods. This improves the accuracy of the optical filters.
  • the method can comprise the following steps:
  • Image sensors generally have a characteristic noise which can turn out differently depending on the image sensor used.
  • the noise can be measured, and optical filters can be designed to reduce the measured noise. It is therefore helpful to restore the noise ratio, which has been artificially changed by an optical filter, with a sensor-specific filter and to adapt it to the real conditions to be expected. Since the image data of the basic training data set and the initial training data set are recorded using the same image sensor, the same sensor filter can be used for all training data sets. It is of course also conceivable to use different sensor filters for the different training data sets. In particular, a sensor filter can be determined taking into account the image sensor used to record the image data of the corresponding training data sets.
  • the object is also achieved in particular by a method for training an artificial neural network, comprising the following steps:
  • the image sensor can be a CMOS or CCD sensor, for example.
  • the acquisition of the reference image data can be carried out, for example, using a test vehicle on which an image sensor is arranged.
  • the assignment of the identification to pixels can be carried out manually.
  • the object is also achieved in particular by a method for controlling a vehicle, comprising the following steps:
  • a control instruction can be, for example, an indication of a steering angle, an acceleration indication, a speed indication, a braking indication or a similar indication.
  • a control instruction can be, for example, an indication of a steering angle, an acceleration indication, a speed indication, a braking indication or a similar indication.
  • FIGS. 1 a and 1 b a schematic representation of a vehicle in a top view and a side view;
  • FIG. 2 a representation of image data
  • FIG. 3 a detailed view of an image section
  • FIG. 4 a schematic representation of an assignment of pixels to
  • FIG. 5 an illustration of the use of an optical filter
  • FIG. 6 is an illustration showing the generation of a set of training data sets
  • FIG. 7 an illustration of a light beam which is an optically transparent
  • FIG. 8 a flow chart showing the generation of a
  • FIG. 1A shows a vehicle 1.
  • a camera 3 is arranged in the driver's cab of vehicle 1.
  • the camera 3 supplies image data to a processing device 4, which is also arranged in the vehicle 1.
  • the camera 3 is arranged in the area of a rearview mirror 7 of the vehicle 1.
  • the camera 3 is arranged and aligned in such a way that the camera 3 can record the area in front of the vehicle 1.
  • the camera 3 has an image sensor which can be designed as a CMOS or CCD sensor, for example.
  • the driver 2 is shown symbolically in FIG. 1A and the steering wheel 5 in FIG. 1B.
  • Light rays that are recorded by the image sensor of the camera 3 first pass a windshield 6 and then a lens of the camera 3.
  • the effective passage area of the windshield 6 can have an area of 7 cm x 7 cm or preferably 40 cm x 20 cm .
  • the image data recorded by the image sensor are sent to the processing device 4 via a bus system.
  • the bus system can be, for example, an Ethernet-based communication system. It is also conceivable that a CAN bus or a similar data connection is used. In particular, it is conceivable that a wireless connection is used.
  • the processing device 4 is designed to generate control instructions based on the image data for the vehicle 1.
  • the processing device 4 can use an artificial neural network or another classifier.
  • the image data serve as input parameters for the classifier.
  • a classifier can be used that recognizes objects in the front area of vehicle 1.
  • FIG. 2 shows an image section 10 of image data at a specific point in time.
  • the classifier which is executed by the processing device 4 of the vehicle 1, is designed to determine the individual objects with pixel accuracy. This means that an object class can be specified for each pixel. Thereby it is possible, on the one hand, to segment the image detail 10 and, on the other hand, to determine which objects are in front of the vehicle 1.
  • a control instruction can then be derived by the processing device 4.
  • the position of objects 1 1, 12 can also be included as a parameter.
  • the processing device 4 can be designed to output a warning to the driver 2 of the vehicle 1 when a stop sign 11 is arranged in front of the vehicle 1.
  • a light in the vehicle interior can light up or a warning message can be projected into the field of view of the driver 2 by means of a head-up display.
  • FIG. 4 shows that a white pixel 14 is assigned the object class 16, ie. H. "Background” (bg). However, object class 16 ‘is assigned to pixel 14‘ by means of assignment 15 Zu whatsoever. The object class 16 ‘indicates that the pixel 14‘ is part of a “stop sign” (obj 1). Correspondingly, those pixels of the image section 10 are also assigned to the object class 16 ”that are part of an object“ tree ”(obj 3).
  • the camera 3 is arranged in the vehicle 1 behind a windshield 6.
  • the windshield 6 has an influence on the recording of the surroundings of the vehicle 1.
  • the windshield 6 can cause distortion.
  • This is particularly disadvantageous because manufacturing tolerances occur in the manufacture of windshields, so that the representation of the same scene with different windshields 6 leads to different image data. If a classifier is then trained with the data of only one windshield 6, the manufacturing tolerances or different vehicle models are not taken into account. This leads to unsatisfactory results in the classification as described in connection with FIGS. 1 and 2.
  • the effect that a windshield 6 has on the light which is transmitted from an object to the image sensor of the camera 3 can be approximated by means of optical filters.
  • Such an optical filter 19 is shown as an example in FIG. In the example of FIG. 5, an original image detail 17 is shown, which was recorded using a reference windshield. The optical filter 19 now defines an image for each pixel 14 ‘of the original image section 17 on pixel 14 ′′ of a processed image section 18.
  • FIG. 5 shows that the pixel 14 Pixel, which in the exemplary embodiment shown is arranged in the third line at the fourth position from the left, is arranged in the processed image section 18 in the fourth line at the third position from the left.
  • An offset is therefore defined for each pixel 14 ‘.
  • a number of other possible optical filters are of course conceivable. For example, different windshields can differ in their light transmission. As a result, the brightness values of the individual pixels have different strengths. This can be emulated with an optical filter. It is also conceivable that individual image areas are shown distorted by a slight curvature in the pane. Such a behavior can also be represented by an optical filter 19.
  • an optical filter 19 can include an analytical representation, so that it is possible to understand which pixels in the output image correspond to which pixels in the processed image. As a result, an identification or a label of corresponding pixels can also be transmitted.
  • FIG. 6 once again illustrates the advantage of the present invention.
  • FIG. 6 shows that a training data set 31, which contains image data and a corresponding identifier, can be processed with an optical filter so that a training data set 30 is generated which includes the original training data set 31 and the processed training data set 3T. The number of training data was thus doubled, with different windshields now being covered by the training data.
  • FIG. 7 shows how the properties of a pane 20 can be approximated with the aid of a ray tracing-based method.
  • a light source 21 emits a light beam linearly in the direction of the pane 20.
  • part of the light is reflected, so that a reflected light beam 22 is reflected away from the glass entry plane 24.
  • Another part of the light beam is refracted and passed through the pane 20.
  • the light beam is refracted again and directed in the direction of the camera 3. Before the light beam can strike an image sensor 23, it is refracted again by an objective 26 of the camera 3.
  • the parameters of the pane 20 therefore include, on the one hand, the thickness B of the pane 20, the reflectivity, the refractive power, the transmission and / or the polarization. These parameters can also represent parameters of an optical filter 19, so that different slices can be emulated by adjusting the parameters of the optical filter 19.
  • An optical filter 19 can be modeled by a large number of standard filters, for example a Gaussian blurring filter or a displacement filter.
  • FIG. 8 is a flow chart which once again describes the entire method 40.
  • image data 41 are recorded and the objects shown in the image data 41 are manually assigned to corresponding object classes in a labeling step 42.
  • Annotated or labeled image data 43 are now processed in a processing step 44 using an optical filter 19.
  • Different optical filters 19 are used in order to simulate a large number of different optically transparent media. For example, a large number of different windshields 6 can be simulated in this step.
  • the processing step 44 generates a training dataset set 45, which is provided to a training algorithm for a classifier 47 in a training step 46.
  • a training algorithm for a classifier 47 for example, it can be an artificial neural network, for example a convolutional neural network.
  • the trained classifier 47 is transferred to a processing device 4 for a vehicle 1 in a transfer step 48.
  • image data 50 are fed to the classifier during the operation of the vehicle 1, so that the classifier 47 classifies the objects stored in the image data 50.
  • the classified image data 52 ie data which contain information about the objects shown in the image data, are analyzed by the processing device 4 in a control step 53, corresponding control instructions for actuators of the vehicle 1 being derived. These control instructions are also implemented in control step 53, so that, for example, a warning is displayed for a user.
  • the detection step 51 and the control step 53 are carried out alternately until the vehicle 1 comes to a stop or is switched off.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Classification systems require a large quantity of training data representing different operating conditions. Creating said training data is complex and expensive. The invention relates to a method for providing a training data set quantity (30), in particular for an artificial neural network (32, 40), comprising the following steps: loading a base training data set (31), which specifies assignments (15, 15') of image data (14, 14') to characterizations (16, 16'); processing the base training data set (31) using at least one optical filter (19) and producing an output training data set (31'), which comprises the processed base training data set (31); providing a training data set quantity comprising the base training data set (31) and the output training data set (31'), the base training data set (31) being associated with properties of an optically transparent reference medium, in particular a reference windshield, and the output training data set (31') being associated with properties of an optically transparent training medium, in particular a training windshield, the optical filter (19) being defined in accordance with the installation position of the optically transparent reference medium (20) relative to an image sensor (23).

Description

Verfahren zum Bereitstellen einer Trainingsdatensatzmenge, ein Verfahren zum Trainieren eines Klassifikators, ein Verfahren zum Steuern eines Fahrzeugs, ein Computerlesbares Speichermedium und ein Fahrzeug Method for providing a set of training data sets, a method for training a classifier, a method for controlling a vehicle, a computer-readable storage medium and a vehicle
Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Trainingsdatensatzmenge, ein Verfahren zum Trainieren eines Klassifikators, ein Verfahren zum Steuern eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug. The invention relates to a method for providing a set of training data sets, a method for training a classifier, a method for controlling a vehicle, a computer-readable storage medium and a vehicle.
Für eine Reihe von Fahrerassistenzfunktionen ist es in modernen Fahrzeugen üblich, dass hinter einer Windschutzscheibe ein Bildsensor, zum Beispiel als Teil einer Kamera, angeordnet ist. Dieser Bildsensor zeichnet die Fahrzeugumgebung auf, insbesondere im Bereich vor und hinter dem Fahrzeug. For a number of driver assistance functions it is common in modern vehicles for an image sensor to be arranged behind a windshield, for example as part of a camera. This image sensor records the vehicle environment, in particular in the area in front of and behind the vehicle.
Dadurch ist es möglich, Funktionen wie eine automatische Spurerkennung, einen automatischen Bremsassistenten oder Funktionen des halbautonomen oder vollautonomen Fahrens zu ermöglichen. This makes it possible to enable functions such as automatic lane recognition, automatic brake assist or functions of semi-autonomous or fully autonomous driving.
Die aufgenommenen Bilddaten werden durch eine Recheneinrichtung im Fahrzeug analysiert und basierend auf dieser Analyse werden Steuerfunktionen ausgeführt. Beispielsweise kann, wenn die Analyse festgestellt hat, dass ein Stoppschild vor dem Fahrzeug angeordnet ist, das Fahrzeug dem Fahrer einen H inweis einblenden, dass ein Fahrzeughalt ausgeführt werden sollte. Es ist im Prinzip jedoch auch möglich, dass das Fahrzeug selbstständig dieses Halten ausführt. The recorded image data are analyzed by a computing device in the vehicle and control functions are carried out based on this analysis. For example, if the analysis has determined that a stop sign is arranged in front of the vehicle, the vehicle can show the driver a warning that a vehicle stop should be carried out. In principle, however, it is also possible for the vehicle to independently carry out this stop.
Zur Analyse der Bilddaten werden üblicherweise Klassifikatoren eingesetzt, die für jeden Pixel eines Bildes feststellen, zu welchen Objekt bzw. zu welcher Klasse von Objekten dieser Pixel gehört. Eine Objekterkennung kann somit als eine Klassifikation auf Pixelbasis ausgeführt werden. Classifiers are usually used to analyze the image data, which determine for each pixel of an image to which object or to which class of objects this pixel belongs. Object recognition can thus be carried out as a pixel-based classification.
Als Klassifikator werden häufig künstliche neuronale Netze eingesetzt, insbesondere „deep convolutional nets“. Diese neuronalen Netze nehmen als Eingabeparameter entweder ein vollständiges Bild oder einen Ausschnitt eines Bildes an und geben für jeden Pixel die zugehörige Objektklasse an. Artificial neural networks, in particular “deep convolutional nets”, are often used as classifiers. These neural networks accept either a complete image or a section of an image as input parameters and specify the associated object class for each pixel.
Neuronale Netze können eine sehr hohe Genauigkeit bei einer hohen Trefferquote (precision, recall) erreichen. Neural networks can achieve a very high level of accuracy with a high hit rate (precision, recall).
Um einen Klassifikator zu trainieren ist es notwendig, annotierte Trainingsdaten bereitzustellen. Diese annotierten Trainingsdaten enthalten eine große Menge an Bilddaten, wobei für jedes Bild und dort jeden Pixel eine Kennzeichnung bzw. ein sog. Label gespeichert ist, zu welchem Objekt bzw. welcher Objektklasse der Pixel gehört. Zum Beispiel können Trainingsdaten eine Angabe darüber enthalten, dass ein bestimmtes Pixel zu einem Stoppschild gehört. In order to train a classifier, it is necessary to provide annotated training data. These annotated training data contain a large amount of Image data, with an identification or a so-called label being stored for each image and there each pixel, to which object or which object class the pixel belongs. For example, training data can contain an indication that a particular pixel belongs to a stop sign.
Trainingsdaten werden üblicherweise dadurch generiert, dass zunächst ein Fahrzeug oder mehrere Fahrzeuge eine Vielzahl unterschiedlicher Strecken abfahren und dabei eine große Menge von Bilddaten aufzeichnen. Im Anschluss wird das Annotieren der Bilddaten manuell, d. h. durch einen Menschen ausgeführt. Teilweise wird dieser Prozess auch automatisch durchgeführt aber zumindest von einem Menschen verifiziert und korrigiert. Dies ist bereits aus gesetzgeberischen Gründen erforderlich. Training data are usually generated by first driving a vehicle or several vehicles along a large number of different routes and thereby recording a large amount of image data. The image data is then annotated manually, i. H. performed by a human. This process is partially carried out automatically, but at least verified and corrected by a human. This is already necessary for legislative reasons.
Das Annotieren der Trainingsdaten ist damit ein sehr aufwendiger und teurer Prozess. Annotating the training data is therefore a very complex and expensive process.
Ein Nachteil bei der Verwendung von den beschriebenen Verfahren des maschinellen Lernens ist, dass hierfür eine große Menge an Trainingsdaten notwendig ist, um die für einen Praxiseinsatz notwendigen Genauigkeiten erreichen zu können. Dies ist insofern problematisch, da, wie beschrieben, das Erstellen der Trainingsdaten sehr aufwendig und teuer ist. A disadvantage of using the machine learning methods described is that a large amount of training data is required for this in order to be able to achieve the accuracy required for practical use. This is problematic because, as described, creating the training data is very complex and expensive.
Aus dem Stand der Technik sind Verfahren bekannt, wie die Datenqualität verbessert werden kann. Die US 2016/0 300 333 A1 beschreibt ein Verfahren, um Verunreinigungen auf Scheiben derart aus Daten für ein künstliches neuronales Netz zu filtern, sodass diese keine negativen Einflüsse auf eine Klassifikation haben. So können z. B. auch Wassertropfen aus Trainings- bzw. N utzdaten herausgerechnet werden. Methods are known from the prior art as to how the data quality can be improved. US 2016/0 300 333 A1 describes a method for filtering contaminants on panes from data for an artificial neural network in such a way that they do not have any negative effects on a classification. So z. B. also water droplets can be calculated from training or usage data.
I m Stand der Technik sind auch eine Reihe von Verfahren beschrieben, wie die Anzahl der Trainingsdaten erhöht werden kann. So beschreibt die US 2017/0236013 A1 die Erzeugung synthetischer Trainingsdaten für ein künstliches neuronales Netz unter Verwendung einer Grafikengine. Mittels der Grafikengine können Objekte in einem dreidimensionalen Raum beliebig platziert werden. Somit können seltene Situationen gezielt erzeugt werden, die bei beim Aufnehmen mit Kameras in realen Situationen nur sehr selten auftreten. I nsofern kann ein zu trainierendes künstliches neuronales Netz derart trainiert werden, dass es in den trainierten Situationen verbesserte Ergebnisse liefert. In the prior art, a number of methods are also described how the number of training data can be increased. US 2017/0236013 A1 describes the generation of synthetic training data for an artificial neural network using a graphics engine. Objects can be placed anywhere in a three-dimensional space using the graphics engine. In this way, rare situations can be created in a targeted manner that only very rarely occur when recording with cameras in real situations. In this respect, an artificial neural network to be trained can be trained in such a way that it delivers improved results in the trained situations.
Ein weiterer Nachteil besteht jedoch darin, dass die Trainingsdaten mit einem bestimmten Fahrzeug aufgezeichnet werden. Das bedeutet, dass die Fertigungstoleranzen der dort verbauten Windschutzscheibe sowie des dort verwendeten Bildsensors Einfluss auf die Bilddaten haben. Another disadvantage, however, is that the training data is recorded with a specific vehicle. That means that the Manufacturing tolerances of the windshield installed there and the image sensor used there influence the image data.
Der Einfluss der Fertigungstoleranzen verringert die Genauigkeit des Klassifikators bei der Klassifikation während des Betriebs. Es ist daher Aufgabe der Erfindung, den Aufwand bei der Erzeugung von Trainingsdaten zu verringern. Es ist insbesondere Aufgabe der Erfindung, den Einfluss von Fertigungstoleranzen auf die Klassifikation zu verringern. Es ist weiter insbesondere Aufgabe der Erfindung, die Sicherheit während des Betriebs eines Fahrzeugs mit Assistenzfunktionen zu erhöhen. Die Aufgabe wird gelöst durch ein Verfahren nach Anspruch 1 , ein Verfahren nach Anspruch 8, ein Verfahren nach Anspruch 9, ein Computerlesbares Speichermedium nach Anspruch 10 und ein Fahrzeug nach Anspruch 11. The influence of the manufacturing tolerances reduces the accuracy of the classifier in the classification during operation. It is therefore the object of the invention to reduce the effort involved in generating training data. It is a particular object of the invention to reduce the influence of manufacturing tolerances on the classification. Another particular object of the invention is to increase the safety during the operation of a vehicle with assistance functions. The object is achieved by a method according to claim 1, a method according to claim 8, a method according to claim 9, a computer-readable storage medium according to claim 10 and a vehicle according to claim 11.
Insbesondere wird die Aufgabe gelöst durch Verfahren zum Bereitstellen einer Trainingsdatensatzmenge, insbesondere für ein künstliches neuronales Netz, umfassend die folgenden Schritte: In particular, the object is achieved by a method for providing a set of training data sets, in particular for an artificial neural network, comprising the following steps:
Laden eines Basis-Trainingsdatensatzes, der Zuordnungen von Bilddaten zu Kennzeichnungen angibt; Loading a basic training data set which indicates assignments of image data to identifications;
Verarbeiten des Basis-Trainingsdatensatzes unter Verwendung mindestens eines optischen Filters und Erzeugen eines Ausgangs-Trainingsdatensatzes, der den verarbeiteten Basis-Trainingsdatensatz umfasst; Processing the basic training data set using at least one optical filter and generating an output training data set comprising the processed basic training data set;
Bereitstellen einer Trainingsdatensatzmenge umfassend den Basis- Trainingsdatensatz und den Ausgangs-Trainingsdatensatz. Providing a training data set comprising the basic training data set and the initial training data set.
Ein Kern der Erfindung ist, dass unter Verwendung eines optischen Filters der Basis- Trainingsdatensatz verarbeitet wird. Durch die Verwendung des optischen Filters auf den Basis-Trainingsdatensatz werden die vorhandenen Daten verdoppelt. Dadurch kann ein Klassifikator besser trainiert werden. Auch werden die aufzubringenden Ressourcen für die Erstellung der Trainingsdaten deutlich reduziert. A core of the invention is that the basic training data set is processed using an optical filter. By using the optical filter on the basic training data set, the existing data is doubled. This allows a classifier to be trained better. The resources to be used to create the training data are also significantly reduced.
Bilddaten stellen insbesondere eine Datenstruktur dar, in der Einzelbilder zeitlich geordnet gespeichert sind. Das Anwenden eines optischen Filters bedeutet insbesondere, dass Bilddaten eines Trainingsdatensatzes durch die Anwendung des optischen Filters modifiziert werden. Image data represent, in particular, a data structure in which individual images are stored in a chronologically ordered manner. Using an optical filter means in particular that image data of a training data set are modified by using the optical filter.
Der Basis-Trainingsdatensatz ist Eigenschaften eines optisch transparenten Referenzmediums, insbesondere einer Referenz-Windschutzscheibe, und der Ausgangs-Trainingsdatensatzes Eigenschaften eines optisch transparenten Trainingsmediums, insbesondere einer Trainings-Windschutzscheibe, zugeordnet. The basic training data set is assigned properties of an optically transparent reference medium, in particular a reference windshield, and the output training data set is assigned properties of an optically transparent training medium, in particular a training windshield.
Optisch transparent bedeutet im Rahmen dieser Anmeldung insbesondere, dass das Medium durchlässig für sichtbares Licht ist, insbesondere im Bereich von 400 nm bis 800 nm. In the context of this application, optically transparent means in particular that the medium is permeable to visible light, in particular in the range from 400 nm to 800 nm.
Der Basis-Trainingsdatensatz ist somit einem optisch transparenten Referenzmedium zugeordnet. Beispielsweise können die Trainingsdaten von einem Bildsensor aufgenommen sein, der hinter einer Referenz-Windschutzscheibe angeordnet ist. Der Ausgangs-Trainingsdatensatz wiederum ist den Eigenschaften eines optisch transparenten Trainingsmediums, zum Beispiel einer Trainingswindschutzscheibe zugeordnet. Das bedeutet, dass durch das Bereitstellen der Trainingsdatensatzmenge nunmehr zwei unterschiedliche transparente Medien berücksichtigt werden. Dadurch wird die Genauigkeit einer Klassifikation beim Einsatz mit einer weiteren Windschutzscheibe verbessert. Auch wird es dadurch möglich gemachte, Fertigungstoleranzen in der Produktion von optischen Medien zu berücksichtigen. The basic training data set is thus assigned to an optically transparent reference medium. For example, the training data can be recorded by an image sensor which is arranged behind a reference windshield. The initial training data set is in turn assigned to the properties of an optically transparent training medium, for example a training windshield. This means that by providing the training dataset, two different transparent media are now taken into account. This improves the accuracy of a classification when used with another windshield. This also makes it possible to take manufacturing tolerances into account in the production of optical media.
I n einer Ausführungsform kann der mindestens eine optische Filter eine analytische Abbildung von dem Basis-Trainingsdatensatz auf den Ausgangs-Trainingsdatensatz angeben. In one embodiment, the at least one optical filter can indicate an analytical mapping from the basic training data set to the initial training data set.
Es ist besonders vorteilhaft, wenn der optische Filter eine analytische Abbildung angibt. Dadurch, dass eine analytische Abbildung angegeben wird, ist die Verarbeitung des Basis-Trainingsdatensatzes nachvollziehbar bzw. vorhersagbar. Somit ist es insbesondere möglich, eine Angabe darüber zu machen, welcher Pixel in einem Bild des Basis-Trainingsdatensatzes zu welchem Pixel in einem Bild des Ausgangs- Trainingsdatensatzes korrespondiert. Dementsprechend kann unter Berücksichtigung der analytischen Abbildung eine Kennzeichnung der Pixel von Bilddaten des Ausgangs- Trainingsdatensatzes entsprechend der Kennzeichnung der Pixel von Bilddaten des Basis-Trainingsdatensatzes angepasst werden. Es wird somit ein Verfahren angegeben, bei dem die Kennzeichnung des Ausgangs- Trainingsdatensatzes besonders effizient ausgeführt werden kann. It is particularly advantageous if the optical filter indicates an analytical image. Because an analytical mapping is specified, the processing of the basic training data set is comprehensible or predictable. It is thus possible in particular to provide information about which pixel in an image of the basic training data set corresponds to which pixel in an image of the output training data set. Correspondingly, taking into account the analytical mapping, an identification of the pixels of image data of the initial training data set can be adapted in accordance with the identification of the pixels of image data of the basic training data set. A method is thus specified in which the identification of the initial training data set can be carried out particularly efficiently.
I n einer Ausführungsform können die Bilddaten als eine Menge von Pixeln mit zugeordneten Helligkeitswerten, vorzugsweise jeweils für eine Vielzahl von Farbkanälen, gespeichert sein, wobei eine Zuordnung von Bilddaten zu Kennzeichnungen für jeden Pixel eine zugehörige Objektklasse angeben kann. In one embodiment, the image data can be stored as a set of pixels with assigned brightness values, preferably in each case for a multiplicity of color channels, wherein an assignment of image data to identifications can specify an associated object class for each pixel.
Es ist somit möglich, dass für ein Schwarzweißbild oder ein Farbbild pixelbasiert eine Zuordnung angegeben wird. Eine Kennzeichnung kann dabei eine Angabe zu einer Objektklasse sein. Beispielsweise kann eine Kennzeichnung angeben, dass ein bestimmter Pixel eines Bildes der Objektklasse „Stoppschild“ zugeordnet ist. Letztendlich ist es durch eine solche Kennzeichnung möglich, ein Bild zu segmentieren, wobei zu jedem Pixel gespeichert ist, zu welcher Objektklasse dieser gehört. I n einer Ausführungsform ist es möglich, dass eine Kennzeichnung als eine Datenstruktur gespeichert ist, bei der als eine erste Eigenschaft eine Koordinate des Pixels und als eine zweite Eigenschaft die zugeordnete Objektklasse gespeichert ist. It is thus possible for a pixel-based assignment to be specified for a black-and-white image or a color image. An identifier can be an indication of an object class. For example, an identification can indicate that a certain pixel of an image is assigned to the object class “stop sign”. Ultimately, such a designation makes it possible to segment an image, with each pixel storing the object class to which it belongs. In one embodiment it is possible for an identifier to be stored as a data structure in which a coordinate of the pixel is stored as a first property and the assigned object class is stored as a second property.
I n einer Ausführungsform kann das Bestimmen des optischen Filters durch ein Vermessen von Eigenschaften mindestens eines optisch transparenten Referenz mediums ausgeführt sein. In one embodiment, the optical filter can be determined by measuring properties of at least one optically transparent reference medium.
Ein optischer Filter kann insbesondere als ein Gaussian Blurring, als ein Versatzfilter oder als ein Farbfilter ausgebildet sein. An optical filter can in particular be designed as a Gaussian blurring, as an offset filter or as a color filter.
Das Bestimmen des optischen Filters kann effizient durch das Vermessen von Eigenschaften mindestens eines optisch transparenten Referenzmediums ausgeführt sein. Das bedeutet, dass der optische Filter die Eigenschaften des optisch transparenten Referenzmediums simuliert. Dadurch ist es möglich durch das Verändern von Parametern des optischen Filters, beliebige optische transparente Referenzmedien zu emulieren. So ist es möglich, eine Vielzahl von unterschiedlichen Medien zu vermessen und entsprechende optische Filter zu definieren. Beispielsweise kann somit die Varianz bei der Produktion von optisch transparenten Medien, zum Beispiel von Windschutzscheiben, durch optische Filter simuliert werden. Dadurch ist es möglich, durch das Erstellen eines einzigen Basis Trainingsdatensatzes, die vollständige Varianz über die Produktionstoleranzen zu simulieren. Beispielsweise können zumindest 30 optisch transparenten Medien vermessen werden, sodass 30 korrespondierende optische Filter erstellt werden. Dadurch können aus einem einzigen Basis- Trainingsdatensatz insgesamt 30 unterschiedliche Ausgangs-Trainingsdatensätze erstellt werden. I nsgesamt wird damit das Erstellen von Trainingsdaten zum Trainieren eines Klassifikators deutlich vereinfacht. The determination of the optical filter can be carried out efficiently by measuring properties of at least one optically transparent reference medium. This means that the optical filter simulates the properties of the optically transparent reference medium. This makes it possible to emulate any optical, transparent reference media by changing the parameters of the optical filter. This makes it possible to measure a large number of different media and to define appropriate optical filters. For example, the variance in the production of optically transparent media, for example windshields, can thus be simulated by optical filters. This makes it possible to simulate the complete variance across the production tolerances by creating a single basic training data set. For example, at least 30 optically transparent media can be measured so that 30 corresponding optical filters are created. This means that from a single basic Training data set a total of 30 different output training data sets can be created. All in all, the creation of training data for training a classifier is thus significantly simplified.
I n einer Ausführungsform kann der optische Filter durch ein Bestimmen einer Modulationstransferfunktion bestimmt sein. Das Bestimmen einer Modulationstransferfunktion ist eine besonders effiziente I mplementierung zur Bestimmung des optischen Filters. In one embodiment, the optical filter can be determined by determining a modulation transfer function. Determining a modulation transfer function is a particularly efficient implementation for determining the optical filter.
Der optische Filter wird unter Berücksichtigung einer Einbaulage des optisch transparenten Referenzmediums bezüglich eines Bildsensors bestimmt. I n einer Ausführungsform ist es weiter zusätzlich möglich, dass der optische Filter unter Berücksichtigung von geometrischen Eigenschaften des optisch transparenten Referenzmediums bestimmt ist, insbesondere unter Verwendung eines Raytracing- basierten Verfahrens. The optical filter is determined taking into account an installation position of the optically transparent reference medium with respect to an image sensor. In one embodiment it is also possible that the optical filter is determined taking into account geometric properties of the optically transparent reference medium, in particular using a ray tracing-based method.
Geometrische Eigenschaften können eine Reflexivität, eine Dicke, eine Brechtkraft, eine Transmission und/oder eine Polarisation eines optisch transparenten Mediums angeben. Geometric properties can indicate a reflectivity, a thickness, a refractive power, a transmission and / or a polarization of an optically transparent medium.
Besonders vorteilhaft ist, dass auch die Einbaulage eines Bildsensors bezüglich des optisch transparenten Mediums berücksichtigt wird. Dies kann insbesondere bei der Verwendung von Raytracing-basierten Verfahren ausgenutzt werden. I nsgesamt kann durch die Verwendung von Raytracing-basierten Verfahren ein optisch transparentes Medium sehr genau simuliert werden. Dadurch wird die Genauigkeit der optischen Filter verbessert. It is particularly advantageous that the installation position of an image sensor with respect to the optically transparent medium is also taken into account. This can be exploited in particular when using ray tracing-based methods. All in all, an optically transparent medium can be simulated very precisely by using ray tracing-based methods. This improves the accuracy of the optical filters.
I n einer Ausführungsform kann das Verfahren die folgenden Schritte umfassen: In one embodiment, the method can comprise the following steps:
Bestimmen eines Sensorfilters unter Berücksichtigung eines spezifischen Rauschens des Bildsensors; Determining a sensor filter taking into account a specific noise of the image sensor;
- Anwenden des Sensorfilters auf die Bilddaten der Trainingsdatensatzmenge. - Applying the sensor filter to the image data of the training data set.
Bildsensoren weisen in der Regel ein charakteristisches Rauschen auf, welches je nach verwendetem Bildsensor unterschiedlich ausfallen kann. Das Rauschen kann gemessen werden, wobei optische Filter dazu ausgebildet sein können, das gemessene Rauschen zu reduzieren. Es ist somit hilfreich, das künstlich durch einen optischen Filter veränderte Rauschverhältnis mit einem sensorspezifischen Filter wiederherzustellen und der zu erwartenden realen Bedingungen anzupassen. Da die Bilddaten des Basis-Trainingsdatensatzes und des Ausgangs- Trainingsdatensatzes unter Verwendung desselben Bildsensors aufgezeichnet sind, kann derselbe Sensorfilter für alle Trainingsdatensätze verwendet werden. Selbstverständlich ist es auch denkbar, unterschiedliche Sensorfilter für die unterschiedlichen Trainingsdatensätze zu verwenden. I nsbesondere kann ein Sensorfilter unter Berücksichtigung des zur Aufzeichnung der Bilddaten der entsprechenden Trainingsdatensätze verwendeten Bildsensors bestimmt werden. Image sensors generally have a characteristic noise which can turn out differently depending on the image sensor used. The noise can be measured, and optical filters can be designed to reduce the measured noise. It is therefore helpful to restore the noise ratio, which has been artificially changed by an optical filter, with a sensor-specific filter and to adapt it to the real conditions to be expected. Since the image data of the basic training data set and the initial training data set are recorded using the same image sensor, the same sensor filter can be used for all training data sets. It is of course also conceivable to use different sensor filters for the different training data sets. In particular, a sensor filter can be determined taking into account the image sensor used to record the image data of the corresponding training data sets.
I nsgesamt wird somit die Qualität des Trainingsdatensatzes bzw. der T rainingsdatensatzmenge verbessert. Overall, the quality of the training data set or the training data set set is thus improved.
Die Aufgabe wird ferner insbesondere gelöst durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, umfassend die folgenden Schritte: The object is also achieved in particular by a method for training an artificial neural network, comprising the following steps:
Erfassen von Referenz-Bilddaten, die eine Vielzahl an Bildern angeben, insbesondere unter Verwendung eines Bildsensors; Acquisition of reference image data indicating a plurality of images, in particular using an image sensor;
Zuordnen von Kennzeichnungen zu Pixeln der Vielzahl an Bildern zur Erzeugung eines Basis-Trainingsdatensatzes; Assigning identifiers to pixels of the plurality of images to generate a basic training data set;
Bereitstellen einer Trainingsdatensatzmenge, wie vorstehend beschrieben; Providing a training dataset as described above;
Trainieren eines Klassifikators, insbesondere eines künstlichen neuronalen Netzes, unter Verwendung der Trainingsdatensatzmenge. Training a classifier, in particular an artificial neural network, using the training data set.
Es ist möglich, ein künstliches neuronales Netz mit einer Trainingsdatensatzmenge zu trainieren, die wie vorstehend beschrieben bereitgestellt wurde. Somit wird ein Verfahren bereitgestellt, welches einen Klassifikator trainiert, der zur Klassifikation von Bilddaten eingesetzt werden kann. It is possible to train an artificial neural network with a training data set provided as described above. Thus, a method is provided which trains a classifier that can be used to classify image data.
Bei dem Bildsensor kann es sich beispielsweise um einen CMOS- oder CCD-Sensor handeln. Das Erfassen der Referenz-Bilddaten kann beispielsweise unter Verwendung eines Testfahrzeugs ausgeführt werden, an dem ein Bildsensor angeordnet ist. Die Zuordnung der Kennzeichnung zu Pixeln kann manuell ausgeführt werden. The image sensor can be a CMOS or CCD sensor, for example. The acquisition of the reference image data can be carried out, for example, using a test vehicle on which an image sensor is arranged. The assignment of the identification to pixels can be carried out manually.
Die Aufgabe wird ferner insbesondere gelöst durch ein Verfahren zum Steuern eines Fahrzeugs, umfassend die folgenden Schritte: The object is also achieved in particular by a method for controlling a vehicle, comprising the following steps:
Laden eines Klassifikators, der durch das vorstehend beschriebene Verfahren trainiert ist; Erfassen von Bilddaten, die eine Umgebung eines Fahrzeugs angeben; Loading a classifier trained by the method described above; Acquiring image data indicating surroundings of a vehicle;
Klassifizieren der Bilddaten unter Verwenden des Klassifikators; Classifying the image data using the classifier;
Erzeugen von Steueranweisungen für ein Steuergerät des Fahrzeugs unter Verwendung der klassifizierten Bilddaten; - Steuern mindestens eines Aktuators des Fahrzeugs durch das Steuergerät unterGenerating control instructions for a control device of the vehicle using the classified image data; - Controlling at least one actuator of the vehicle by the control unit under
Verwendung der Steueranweisungen. Use of the control instructions.
Mit dem beschriebenen Verfahren ist es also möglich, ein Fahrzeug zumindest teilweise zu steuern. I nsbesondere ist es mit dem Verfahren möglich, einen Aktuator zu steuern. Bei einer Steueranweisung kann es sich beispielsweise um eine Angabe für einen Lenkeinschlag, eine Beschleunigungsangabe, eine Geschwindigkeitsangabe, eine Bremsangabe oder eine ähnliche Angabe handeln. I nsgesamt wird durch die Verwendung eines Trainingsdatensatzes zum Trainieren eines Klassifikators, der bei dem Betrieb eines Fahrzeugs eingesetzt wird, die Verwendung des Fahrzeugs sicherer. With the method described, it is therefore possible to at least partially control a vehicle. In particular, the method makes it possible to control an actuator. A control instruction can be, for example, an indication of a steering angle, an acceleration indication, a speed indication, a braking indication or a similar indication. Overall, the use of a training data set for training a classifier which is used in the operation of a vehicle makes the vehicle safer to use.
Weitere Ausführungsform ergeben sich aus den Unteransprüchen . Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert, dabei zeigen: Further embodiments emerge from the subclaims. In the following, the invention is explained in more detail using exemplary embodiments, which show:
Figur 1 a und 1 b: eine schematische Darstellung eines Fahrzeugs in einer Draufsicht und einer Seitenansicht; FIGS. 1 a and 1 b: a schematic representation of a vehicle in a top view and a side view;
Figur 2: eine Darstellung von Bilddaten; Figur 3: eine Detailansicht eines Bildausschnitts; FIG. 2: a representation of image data; FIG. 3: a detailed view of an image section;
Figur 4: eine schematische Darstellung einer Zuordnung von Pixeln zu FIG. 4: a schematic representation of an assignment of pixels to
Kennzeichnungen; Markings;
Figur 5: eine Darstellung der Anwendung eines optischen Filters; FIG. 5: an illustration of the use of an optical filter;
Figur 6: eine Darstellung, die die Erzeugung einer Trainingsdatensatzmenge darstellt; FIG. 6 is an illustration showing the generation of a set of training data sets;
Figur 7: eine Darstellung eines Lichtstrahls, der ein optisch transparentes FIG. 7: an illustration of a light beam which is an optically transparent
Medium durchdringt und auf einen Bildsensor trifft; Figur 8: ein Flussdiagramm, das das Erzeugen einerMedium penetrates and hits an image sensor; FIG. 8: a flow chart showing the generation of a
Trainingsdatensatzmenge illustriert. Training dataset illustrated.
Die Figur 1A zeigt ein Fahrzeug 1. In der Fahrerkabine des Fahrzeugs 1 ist eine Kamera 3 angeordnet. Die Kamera 3 liefert Bilddaten an eine Verarbeitungseinrichtung 4, die ebenfalls im Fahrzeug 1 angeordnet ist. Die Kamera 3 ist, wie aus Figur 1 B hervorgeht, im Bereich eines Rückspiegels 7 des Fahrzeugs 1 angeordnet. Die Kamera 3 ist derart angeordnet und ausgerichtet, dass die Kamera 3 den Bereich vor dem Fahrzeug 1 aufnehmen kann. Die Kamera 3 weist dabei einen Bildsensor auf, der beispielsweise als CMOS- oder CCD-Sensor ausgebildet sein kann. Des Weiteren ist in Figur 1A der Fahrer 2 und in Figur 1 B das Lenkrad 5 symbolisch dargestellt. FIG. 1A shows a vehicle 1. A camera 3 is arranged in the driver's cab of vehicle 1. The camera 3 supplies image data to a processing device 4, which is also arranged in the vehicle 1. As can be seen from FIG. 1 B, the camera 3 is arranged in the area of a rearview mirror 7 of the vehicle 1. The camera 3 is arranged and aligned in such a way that the camera 3 can record the area in front of the vehicle 1. The camera 3 has an image sensor which can be designed as a CMOS or CCD sensor, for example. Furthermore, the driver 2 is shown symbolically in FIG. 1A and the steering wheel 5 in FIG. 1B.
Lichtstrahlen, die durch den Bildsensor der Kamera 3 aufgezeichnet werden, passieren zunächst eine Windschutzscheibe 6, und anschließend ein Objektiv der Kamera 3. Der effektive Durchtrittsbereich der Windschutzscheibe 6 kann dabei eine Fläche von 7 cm x 7 cm oder bevorzugt 40 cm x 20 cm aufweisen. Light rays that are recorded by the image sensor of the camera 3 first pass a windshield 6 and then a lens of the camera 3. The effective passage area of the windshield 6 can have an area of 7 cm x 7 cm or preferably 40 cm x 20 cm .
Die durch den Bildsensor aufgenommenen Bilddaten werden über ein Bussystem an die Verarbeitungseinrichtung 4 geleitet. Bei dem Bussystem kann es sich beispielsweise um ein Ethernet-basiertes Kommunikationssystem handeln. Es ist ebenfalls denkbar, dass ein CAN-Bus oder eine ähnliche Datenverbindung verwendet wird. Insbesondere ist es denkbar, dass eine drahtlose Verbindung verwendet wird. The image data recorded by the image sensor are sent to the processing device 4 via a bus system. The bus system can be, for example, an Ethernet-based communication system. It is also conceivable that a CAN bus or a similar data connection is used. In particular, it is conceivable that a wireless connection is used.
Die Verarbeitungseinrichtung 4 ist dazu ausgebildet, Steueranweisungen basierend auf den Bilddaten für das Fahrzeug 1 zu erzeugen. Beispielsweise kann durch die Verarbeitungseinrichtung 4 ein künstliches neuronales Netz oder ein anderer Klassifikator eingesetzt werden. Dabei dienen die Bilddaten als Eingabeparameter für den Klassifikator. Beispielsweise kann ein Klassifikator eingesetzt werden, der Objekte im vorderen Bereich des Fahrzeugs 1 erkennt. The processing device 4 is designed to generate control instructions based on the image data for the vehicle 1. For example, the processing device 4 can use an artificial neural network or another classifier. The image data serve as input parameters for the classifier. For example, a classifier can be used that recognizes objects in the front area of vehicle 1.
Ein solches Beispiel ist in Figur 2 gezeigt. Die Figur 2 zeigt einen Bildausschnitt 10 von Bilddaten zu einem bestimmten Zeitpunkt. Such an example is shown in FIG. FIG. 2 shows an image section 10 of image data at a specific point in time.
In dem Bildausschnitt 10 sind zwei Objekte angeordnet. Ein Stoppschild 1 1 und ein Baum 12. Der Klassifikator, der durch die Verarbeitungseinrichtung 4 des Fahrzeugs 1 ausgeführt wird, ist dazu ausgebildet, die einzelnen Objekte pixelgenau zu bestimmen. Das bedeutet, dass für jeden Pixel eine Objektklasse angegeben werden kann. Dadurch ist es möglich, den Bildausschnitt 10 einerseits zu segmentieren und andererseits festzustellen, welche Objekte sich vor dem Fahrzeug 1 befinden. Two objects are arranged in the image section 10. A stop sign 11 and a tree 12. The classifier, which is executed by the processing device 4 of the vehicle 1, is designed to determine the individual objects with pixel accuracy. This means that an object class can be specified for each pixel. Thereby it is possible, on the one hand, to segment the image detail 10 and, on the other hand, to determine which objects are in front of the vehicle 1.
Basierend auf den erkannten Objekten 1 1 , 12 kann im Anschluss durch die Verarbeitungseinrichtung 4 eine Steueranweisung abgeleitet werden. Dabei kann auch die Position der Objekte 1 1 , 12 als Parameter einbezogen werden. Beispielsweise kann die Verarbeitungseinrichtung 4 dazu ausgebildet sein, einen Warnhinweis an den Fahrer 2 des Fahrzeugs 1 auszugeben, wenn ein Stoppschild 1 1 vor dem Fahrzeug 1 angeordnet ist. Dazu kann beispielsweise eine Leuchte im Fahrzeuginnenraum aufleuchten oder eine Warnmeldung kann mittels eines Head-Up-Display in das Sichtfeld des Fahrers 2 projiziert werden. Based on the detected objects 11, 12, a control instruction can then be derived by the processing device 4. The position of objects 1 1, 12 can also be included as a parameter. For example, the processing device 4 can be designed to output a warning to the driver 2 of the vehicle 1 when a stop sign 11 is arranged in front of the vehicle 1. For this purpose, for example, a light in the vehicle interior can light up or a warning message can be projected into the field of view of the driver 2 by means of a head-up display.
Die Figuren 3 und 4 illustrieren das Zuordnen von einzelnen Pixeln zu Objektklassen. Dazu ist in Figur 3 ein Teilbildausschnitt 13 des Bildausschnitts 10 gezeigt. Der Teilbildausschnitt 13 umfasst eine Vielzahl von Pixeln 14, 14‘, denen jeweils Helligkeitswerte zugewiesen sind. Es ist jedoch auch möglich, für eine Farbwiedergabe die Helligkeitswerte unterschiedlicher Farbkanäle einzelnen Pixeln zuzuweisen. Der Klassifikator, der durch die Verarbeitungseinrichtung 4 ausgeführt wird, ist nun dazu ausgebildet, den einzelnen Pixeln 14, 14‘ eine Objektklasse zuzuordnen. Die Figur 4 zeigt dazu, dass einem weißen Pixel 14 unter Verwendung einer Zuordnung 15 die Objektklasse 16, d. h. „Hintergrund“ (bg), zugewiesen wird. Dem Pixel 14‘ jedoch wird mittels der Zuordnung 15‘ die Objektklasse 16‘ zugeordnet. Die Objektklasse 16‘ gibt an, dass es sich bei dem Pixel 14‘ um einen Teil eines „Stoppschildes“ (obj 1 ) handelt. Entsprechend werden auch jene Pixel des Bildausschnitt 10 der Objektklasse 16“ zugeordnet, die Teil eines Objekts„Baum“ (obj 3) sind. Figures 3 and 4 illustrate the assignment of individual pixels to object classes. For this purpose, a partial image detail 13 of the image detail 10 is shown in FIG. The partial image section 13 comprises a multiplicity of pixels 14, 14 ‘, each of which has brightness values assigned. However, it is also possible to assign the brightness values of different color channels to individual pixels for color reproduction. The classifier, which is executed by the processing device 4, is now designed to assign an object class to the individual pixels 14, 14 '. FIG. 4 shows that a white pixel 14 is assigned the object class 16, ie. H. "Background" (bg). However, object class 16 ‘is assigned to pixel 14‘ by means of assignment 15 Zuordnung. The object class 16 ‘indicates that the pixel 14‘ is part of a “stop sign” (obj 1). Correspondingly, those pixels of the image section 10 are also assigned to the object class 16 ”that are part of an object“ tree ”(obj 3).
Wie bereits im Zusammenhang mit der Figur 1 erwähnt, ist die Kamera 3 in dem Fahrzeug 1 hinter einer Windschutzscheibe 6 angeordnet. Das bedeutet, dass die Windschutzscheibe 6 einen Einfluss auf die Aufnahme der U mgebung des Fahrzeugs 1 hat. Beispielsweise kann es durch die Windschutzscheibe 6 zu Verzerrungen kommen. Dies ist besonders deshalb nachteilig, da bei der Herstellung von Windschutzscheiben Fertigungstoleranzen auftreten, sodass die Darstellung derselben Szene mit unterschiedlichen Windschutzscheiben 6 zu unterschiedlichen Bilddaten führt. Wenn dann ein Klassifikator mit den Daten nur einer Windschutzscheibe 6 trainiert wird, werden die Fertigungstoleranzen bzw. unterschiedlichen Fahrzeugmodelle nicht berücksichtigt. Dies führt zu ungenügenden Ergebnissen bei der Klassifikation wie sie im Zusammenhang mit den Figuren 1 und 2 beschrieben ist. Der Effekt, den eine Windschutzscheibe 6 auf das Licht hat, welches von einem Objekt zu dem Bildsensor der Kamera 3 übertragen wird, kann mittels optischer Filter angenähert werden. As already mentioned in connection with FIG. 1, the camera 3 is arranged in the vehicle 1 behind a windshield 6. This means that the windshield 6 has an influence on the recording of the surroundings of the vehicle 1. For example, the windshield 6 can cause distortion. This is particularly disadvantageous because manufacturing tolerances occur in the manufacture of windshields, so that the representation of the same scene with different windshields 6 leads to different image data. If a classifier is then trained with the data of only one windshield 6, the manufacturing tolerances or different vehicle models are not taken into account. This leads to unsatisfactory results in the classification as described in connection with FIGS. 1 and 2. The effect that a windshield 6 has on the light which is transmitted from an object to the image sensor of the camera 3 can be approximated by means of optical filters.
Ein solcher optischer Filter 19 ist exemplarisch in Figur 5 dargestellt. Bei dem Beispiel der Figur 5 ist ein Original-Bildausschnitt 17 dargestellt, der unter Verwendung einer Referenz-Windschutzscheibe aufgenommen ist. Der optische Filter 19 definiert nun eine Abbildung für jeden Pixel 14‘ des Original-Bildausschnitts 17 auf Pixel 14“ eines verarbeiteten Bildausschnitt 18. Such an optical filter 19 is shown as an example in FIG. In the example of FIG. 5, an original image detail 17 is shown, which was recorded using a reference windshield. The optical filter 19 now defines an image for each pixel 14 ‘of the original image section 17 on pixel 14 ″ of a processed image section 18.
Im Beispiel der Figur 5 ist gezeigt, dass der Pixel 14‘, der in dem gezeigten Ausführungsbeispiel in der dritten Zeile an vierter Position von links angeordnet ist, in dem verarbeiteten Bildausschnitt 18 in der vierten Zeile an dritter Position von links angeordnet ist. Es wird also für jeden Pixel 14‘ ein Versatz definiert. Selbstverständlich sind eine Reihe weiterer möglicher optischer Filter denkbar. Beispielsweise können unterschiedliche Windschutzscheiben sich in ihrer Lichttransmission unterscheiden. Dadurch sind die Helligkeitswerte der einzelnen Pixel unterschiedlich stark ausgebildet. Dies kann mit einem optischen Filter emuliert werden. Es ist ferner denkbar, dass einzelne Bildbereiche durch eine leichte Wölbung in der Scheibe verzerrt dargestellt sind. Auch ein solches Verhalten kann durch einen optischen Filter 19 dargestellt werden. I nsbesondere kann ein optischer Filter 19 eine analytische Darstellung umfassen, sodass nachvollziehbar ist, welche Pixel im Ausgangsbild welchen Pixel im verarbeiteten Bild entsprechen. Dadurch können auch eine Kennzeichnung bzw. ein Label entsprechender Pixel übertragen werden. The example in FIG. 5 shows that the pixel 14 Pixel, which in the exemplary embodiment shown is arranged in the third line at the fourth position from the left, is arranged in the processed image section 18 in the fourth line at the third position from the left. An offset is therefore defined for each pixel 14 ‘. A number of other possible optical filters are of course conceivable. For example, different windshields can differ in their light transmission. As a result, the brightness values of the individual pixels have different strengths. This can be emulated with an optical filter. It is also conceivable that individual image areas are shown distorted by a slight curvature in the pane. Such a behavior can also be represented by an optical filter 19. In particular, an optical filter 19 can include an analytical representation, so that it is possible to understand which pixels in the output image correspond to which pixels in the processed image. As a result, an identification or a label of corresponding pixels can also be transmitted.
Mit der Verwendung der unterschiedlichen optischen Filter 19 ist es daher möglich, unterschiedliche Windschutzscheiben zu approximieren. Dadurch können eine Vielzahl unterschiedlicher Trainingsdaten generiert werden, mit denen im Anschluss ein Klassifikator trainiert werden kann. Durch die erhöhte Variabilität der Trainingsdaten ist der Klassifikator im allgemeinen robuster gegen Störung. I nsbesondere kann der Klassifikator besser auf ungewöhnliche Situation reagieren. With the use of the different optical filters 19 it is therefore possible to approximate different windshields. As a result, a large number of different training data can be generated with which a classifier can then be trained. Due to the increased variability of the training data, the classifier is generally more robust against interference. In particular, the classifier can react better to unusual situations.
Die Figur 6 illustriert noch einmal den Vorteil der vorliegenden Erfindung. I n der Figur 6 ist gezeigt, dass ein Trainingsdatensatz 31 , der Bilddaten und eine entsprechende Kennzeichnung enthält, mit einem optischen Filter verarbeitet werden kann, sodass eine Trainingsdatensatzmenge 30 erzeugt wird, die den ursprünglichen Trainingsdatensatz 31 und den verarbeiteten Trainingsdatensatz 3T umfasst. Die Anzahl der Trainingsdaten wurde somit verdoppelt, wobei unterschiedliche Windschutzscheiben nunmehr von den Trainingsdaten abgedeckt werden. FIG. 6 once again illustrates the advantage of the present invention. FIG. 6 shows that a training data set 31, which contains image data and a corresponding identifier, can be processed with an optical filter so that a training data set 30 is generated which includes the original training data set 31 and the processed training data set 3T. The number of training data was thus doubled, with different windshields now being covered by the training data.
Die Figur 7 zeigt, wie mithilfe eines Raytracing-basierten Verfahrens, die Eigenschaften einer Scheibe 20 angenähert werden können. Dabei wird zu Nutze gemacht, dass eine Lichtquelle 21 ein Lichtstrahl in Richtung der Scheibe 20 linear aussendet. Beim Auftreffen auf eine äußere Glaseintrittsebene 24, die der Lichtquelle 21 zugewandt ist, wird ein Teil des Lichts reflektiert, sodass ein reflektierter Lichtstrahl 22 von der Glaseintrittsebene 24 wegreflektiert wird. Ein weiterer Teil des Lichtstrahls wird gebrochen und durch die Scheibe 20 geleitet. Beim Durchtreten einer Glasaustrittsebene 25, die auf der Kamera zugewandten Seite angeordnet ist, wird der Lichtstrahl erneut gebrochen und in Richtung der Kamera 3 geleitet. Bevor der Lichtstrahl auf einen Bildsensor 23 treffen kann, wird er erneut durch ein Objektiv 26 der Kamera 3 gebrochen. FIG. 7 shows how the properties of a pane 20 can be approximated with the aid of a ray tracing-based method. This makes use of the fact that a light source 21 emits a light beam linearly in the direction of the pane 20. When it hits an outer glass entry plane 24 facing the light source 21, part of the light is reflected, so that a reflected light beam 22 is reflected away from the glass entry plane 24. Another part of the light beam is refracted and passed through the pane 20. When passing through a glass exit plane 25, which is arranged on the side facing the camera, the light beam is refracted again and directed in the direction of the camera 3. Before the light beam can strike an image sensor 23, it is refracted again by an objective 26 of the camera 3.
Die Parameter der Scheibe 20 umfassen daher einerseits die Dicke B der Scheibe 20, die Reflexivität, die Brechkraft, die Transmission und/oder die Polarisation. Diese Parameter können ebenfalls Parameter eines optischen Filter 19 darstellen, sodass durch eine Anpassung der Parameter des optischen Filters 19 unterschiedliche Scheiben emuliert werden können. Ein optischer Filter 19 kann dabei durch eine Vielzahl von Standardfiltern modelliert werden, beispielsweise einen Gaussian-Blurring- oder einen Versatzfilter (displacement filter). The parameters of the pane 20 therefore include, on the one hand, the thickness B of the pane 20, the reflectivity, the refractive power, the transmission and / or the polarization. These parameters can also represent parameters of an optical filter 19, so that different slices can be emulated by adjusting the parameters of the optical filter 19. An optical filter 19 can be modeled by a large number of standard filters, for example a Gaussian blurring filter or a displacement filter.
Figur 8 ist ein Flussdiagramm , das noch einmal das komplette Verfahren 40 beschreibt. Zunächst werden Bilddaten 41 aufgenommen und die in den Bilddaten 41 gezeigten Objekte in einem Kennzeichnungsschritt 42 manuell entsprechenden Objektklassen zugeordnet. Annotierte, bzw. gekennzeichneten Bilddaten 43 werden nun in einem Verarbeitungsschritt 44 unter Verwendung eines optischen Filters 19 verarbeitet. Dabei werden unterschiedliche optische Filter 19 angewandt, um eine Vielzahl von unterschiedlichen optisch transparenten Medien zu simulieren. Beispielsweise können diesem Schritt eine Vielzahl unterschiedlicher Windschutzscheiben 6 simuliert werden. FIG. 8 is a flow chart which once again describes the entire method 40. First, image data 41 are recorded and the objects shown in the image data 41 are manually assigned to corresponding object classes in a labeling step 42. Annotated or labeled image data 43 are now processed in a processing step 44 using an optical filter 19. Different optical filters 19 are used in order to simulate a large number of different optically transparent media. For example, a large number of different windshields 6 can be simulated in this step.
Der Verarbeitungsschritt 44 erzeugt eine Trainingsdatensatzmenge 45, die in einem Trainingsschritt 46 einem Trainingsalgorithmus für einen Klassifikator 47 bereitgestellt wird. Beispielsweise kann es sich dabei um ein künstliches neuronales Netz, zum Beispiel ein Convolutional Neural Network, handeln. Der trainierte Klassifikator 47 wird in einem Übertragungsschritt 48 auf eine Verarbeitungseinrichtung 4 für ein Fahrzeug 1 übertragen. I n einem Detektionsschritt 51 werden dem Klassifikator Bilddaten 50 während des Betriebs des Fahrzeugs 1 zugeführt, sodass der Klassifikator 47 eine Klassifikation der in den Bilddaten 50 gespeicherten Objekte vornimmt. The processing step 44 generates a training dataset set 45, which is provided to a training algorithm for a classifier 47 in a training step 46. For example, it can be an artificial neural network, for example a convolutional neural network. The trained classifier 47 is transferred to a processing device 4 for a vehicle 1 in a transfer step 48. In a detection step 51, image data 50 are fed to the classifier during the operation of the vehicle 1, so that the classifier 47 classifies the objects stored in the image data 50.
Die klassifizierten Bilddaten 52, d. h. Daten, die I nformationen über die in den Bilddaten gezeigten Objekte enthalten, werden durch die Verarbeitungseinrichtung 4 in einem Steuerschritt 53 analysiert, wobei entsprechende Steueranweisung für Aktuatoren des Fahrzeugs 1 abgeleitet werden. Ebenfalls werden diese Steueranweisungen in dem Steuerschritt 53 umgesetzt, sodass beispielsweise ein Warnhinweis für einen Benutzer dargestellt wird. Der Detektionsschritt 51 und der Steuerschritt 53 werden so lange abwechselnd ausgeführt, bis das Fahrzeug 1 zum Halten kommt bzw. abgeschaltet wird. The classified image data 52, ie data which contain information about the objects shown in the image data, are analyzed by the processing device 4 in a control step 53, corresponding control instructions for actuators of the vehicle 1 being derived. These control instructions are also implemented in control step 53, so that, for example, a warning is displayed for a user. The detection step 51 and the control step 53 are carried out alternately until the vehicle 1 comes to a stop or is switched off.
BezugszeichenlisteList of reference symbols
1 Fahrzeug 1 vehicle
2 Fahrer 2 drivers
3 Kamera 3 camera
4 Verarbeitungseinrichtung 4 processing facility
5 Lenkrad 5 steering wheel
6 Windschutzscheibe 6 windshield
7 Rückspiegel 7 rearview mirrors
10 Kamerabild 10 camera image
1 1 Stoppschild 1 1 stop sign
12 Baum 12 tree
13 Bildausschnitt 13 Image detail
14, 14‘, 14“ Pixel 14, 14 ‘, 14" pixels
15, 15‘ Zuordnung 15, 15 ‘assignment
16, 16‘, 16“ Kennzeichnung/Label 16, 16 ‘, 16“ marking / label
17 Originalbildausschnitt 17 Original image section
18 verarbeiteter Bildausschnitt 18 processed image section
19 optischer Filter 19 optical filters
20 optisch transparentes Medium/Glasscheibe 21 Lichtquelle 20 optically transparent medium / glass pane 21 light source
22 Reflektierter Lichtstrahl 22 Reflected light beam
23 Bildsensor 23 image sensor
24 Glaseintrittsebene 24 glass entry level
25 Glasaustrittsebene 26 Objektiv 25 glass exit level 26 lens
30 Trainingsdatensatzmenge 30 set of training data
31 31 Trainingsdatensatz 31 31 Training data set
32 40 Convolutional Neural Network 32 40 Convolutional Neural Network
40 Verfahren 40 procedure
41 Bilddaten 41 image data
42 Kennzeichnungsschritt 42 labeling step
43 gekennzeichnete bzw. annotierte Bilddaten 43 labeled or annotated image data
44 Verarbeitungsschritt 44 Processing step
45 Trainingsdatensatzmenge 45 Training dataset set
46 Trainingsschritt 46 training step
47 Klassifikator 47 classifier
48 Übertragungsschritt 48 transfer step
50 Bilddaten 50 image data
51 Detektionsschritt 51 detection step
52 klassifizierte Bilddaten 52 classified image data
53 Steuerschritt 53 control step
B Breite B width

Claims

Patentansprüche Claims
1. Verfahren zum Bereitstellen einer Trainingsdatensatzmenge (30), insbesondere für ein künstliches neuronales Netz (32, 40), umfassend die folgenden Schritte: 1. A method for providing a set of training data sets (30), in particular for an artificial neural network (32, 40), comprising the following steps:
Laden eines Basis-Trainingsdatensatzes (31), der Zuordnungen (15, 15‘) von Bilddaten (14, 14‘) zu Kennzeichnungen (16, 16‘) angibt; Loading a basic training data set (31) which indicates assignments (15, 15) of image data (14, 14 ‘) to identifications (16, 16‘);
Verarbeiten des Basis-Trainingsdatensatzes (31) unter Verwendung mindestens eines optischen Filters (19) und Erzeugen eines Ausgangs- Trainingsdatensatzes (3T), der den verarbeiteten Basis-Trainingsdatensatz (31) umfasst; Processing the basic training data set (31) using at least one optical filter (19) and generating an output training data set (3T) which comprises the processed basic training data set (31);
Bereitstellen einer Trainingsdatensatzmenge umfassend den Basis- Trainingsdatensatz (31) und den Ausgangs-Trainingsdatensatz (3T) dadurch gekennzeichnet, dass Providing a set of training data sets comprising the basic training data set (31) and the initial training data set (3T), characterized in that
der Basis-Trainingsdatensatz (31) Eigenschaften eines optisch transparenten Referenzmediums, insbesondere einer Referenz-Windschutzscheibe, und der Ausgangs-Trainingsdatensatzes (3T) Eigenschaften eines optisch transparenten Trainingsmediums, insbesondere einer Trainings-Windschutzscheibe, zugeordnet ist, wobei the basic training data set (31) is assigned properties of an optically transparent reference medium, in particular a reference windshield, and the output training data set (3T) is assigned properties of an optically transparent training medium, in particular a training windshield, wherein
der optische Filter (19) unter Berücksichtigung einer Einbaulage des optisch transparenten Referenzmediums (20) bezüglich eines Bildsensors (23) bestimmt ist. the optical filter (19) is determined taking into account an installation position of the optically transparent reference medium (20) with respect to an image sensor (23).
2. Verfahren nach Anspruch 1, 2. The method according to claim 1,
dadurch gekennzeichnet, dass characterized in that
der mindestens eine optische Filter (19) eine analytische Abbildung von dem Basis-Trainingsdatensatz (31) auf den Ausgangs-Trainingsdatensatz (3T) angibt. the at least one optical filter (19) indicates an analytical mapping from the basic training data set (31) to the output training data set (3T).
3. Verfahren nach einem der vorhergehenden Ansprüche, 3. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass characterized in that
die Bilddaten (14, 14‘) als eine Menge von Pixeln (14, 14‘) mit zugeordneten Helligkeitswerten, vorzugsweise jeweils für eine Vielzahl von Farbkanälen, gespeichert sind, wobei eine Zuordnung (15, 15‘) von Bilddaten (14, 14‘) zu Kennzeichnungen (16, 16‘) für jeden Pixel (14, 14‘) eine zugehörige Objektklasse angibt. the image data (14, 14 ') are stored as a set of pixels (14, 14') with assigned brightness values, preferably each for a plurality of color channels, with an assignment (15, 15 ') of image data (14, 14') ) specifies an associated object class for identifications (16, 16 ') for each pixel (14, 14').
4. Verfahren nach einem der vorhergehenden Ansprüche, 4. The method according to any one of the preceding claims,
gekennzeichnet durch marked by
Bestimmen des optischen Filters (19) durch ein Vermessen von Eigenschaften mindestens eines optisch transparenten Referenz-mediums. Determining the optical filter (19) by measuring properties of at least one optically transparent reference medium.
5. Verfahren nach einem der vorhergehenden Ansprüche, insbesondere nach Anspruch 4, 5. The method according to any one of the preceding claims, in particular according to claim 4,
dadurch gekennzeichnet, dass characterized in that
der optische Filter (19) durch ein Bestimmen einer Modulationstransferfunktion bestimmt ist. the optical filter (19) is determined by determining a modulation transfer function.
6. Verfahren nach einem der vorhergehenden Ansprüche, insbesondere nach Anspruch 4, 6. The method according to any one of the preceding claims, in particular according to claim 4,
dadurch gekennzeichnet, dass characterized in that
der optische Filter (19) unter Berücksichtigung von geometrischen Eigenschaften (B) des optisch transparenten Referenzmediums (20) bestimmt ist, insbesondere unter Verwendung eines Raytracing-basierten Verfahrens. the optical filter (19) is determined taking into account geometric properties (B) of the optically transparent reference medium (20), in particular using a ray tracing-based method.
7. Verfahren nach einem der vorhergehenden Ansprüche, 7. The method according to any one of the preceding claims,
gekennzeichnet durch marked by
Bestimmen eines Sensorfilters unter Berücksichtigung eines spezifischen Rauschens des Bildsensors; Determining a sensor filter taking into account a specific noise of the image sensor;
- Anwenden des Sensorfilters auf die Bilddaten der Trainingsdatensatzmenge. - Applying the sensor filter to the image data of the training data set.
8. Verfahren zum Trainieren eines künstlichen neuronalen Netzes, umfassend die folgenden Schritte: 8. A method for training an artificial neural network, comprising the following steps:
Erfassen von Referenz-Bilddaten, die eine Vielzahl an Bildern angeben, insbesondere unter Verwendung eines Bildsensors (23); Acquisition of reference image data which indicate a plurality of images, in particular using an image sensor (23);
Zuordnen von Kennzeichnungen zu Pixeln der Vielzahl an Bildern zur Erzeugung eines Basis-Trainingsdatensatzes (31); Assigning identifiers to pixels of the plurality of images to generate a basic training data set (31);
Bereitstellen einerTrainingsdatensatzmenge nach einem der vorhergehenden Ansprüche; Providing a training dataset set according to one of the preceding claims;
Trainieren eines Klassifikators, insbesondere eines künstlichen neuronalen Netzes, unter Verwendung der Trainingsdatensatzmenge. Training a classifier, in particular an artificial neural network, using the training data set.
9. Verfahren zum Steuern eines Fahrzeugs (1), umfassend die folgenden Schritte:9. A method for controlling a vehicle (1), comprising the following steps:
Laden eines Klassifikators, der durch das Verfahren nach Anspruch 8 trainiert ist; Loading a classifier trained by the method of claim 8;
Erfassen von Bilddaten, die eine Umgebung eines Fahrzeugs (1) angeben; - Klassifizieren der Bilddaten unter Verwenden des Klassifikators; Acquisition of image data indicating the surroundings of a vehicle (1); Classifying the image data using the classifier;
Erzeugen von Steueranweisungen für ein Steuergerät des Fahrzeugs (1) unter Verwendung der klassifizierten Bilddaten; Generating control instructions for a control unit of the vehicle (1) using the classified image data;
Steuer mindestens eines Aktuators des Fahrzeugs (1) durch das Steuergerät unter Verwendung der Steueranweisungen. Control of at least one actuator of the vehicle (1) by the control device using the control instructions.
10. Computerlesbares Speichermedium das Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen ein Verfahren nach einem der vorhergehenden Ansprüche zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden. 10. Computer-readable storage medium containing instructions that cause at least one processor to implement a method according to any one of the preceding claims when the instructions are executed by the at least one processor.
11. Fahrzeug, umfassend: 11. Vehicle comprising:
eine Bilderfassungseinrichtung, die zum Erfassen von Bilddaten ausgebildet ist; an image acquisition device which is designed to acquire image data;
eine Speichermedium nach Anspruch 10; a storage medium according to claim 10;
- eine Verarbeitungseinrichtung, die dazu ausgebildet ist, ein Verfahren nach - A processing device which is designed to perform a method according to
Anspruch 9 auszuführen. Claim 9 to carry out.
EP20700599.2A 2019-02-14 2020-01-15 Method for providing a training data set quantity, method for training a classifier, method for controlling a vehicle, computer-readable storage medium and vehicle Pending EP3938946A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19157049 2019-02-14
PCT/EP2020/050913 WO2020164841A1 (en) 2019-02-14 2020-01-15 Method for providing a training data set quantity, method for training a classifier, method for controlling a vehicle, computer-readable storage medium and vehicle

Publications (1)

Publication Number Publication Date
EP3938946A1 true EP3938946A1 (en) 2022-01-19

Family

ID=65440803

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20700599.2A Pending EP3938946A1 (en) 2019-02-14 2020-01-15 Method for providing a training data set quantity, method for training a classifier, method for controlling a vehicle, computer-readable storage medium and vehicle

Country Status (4)

Country Link
EP (1) EP3938946A1 (en)
CN (1) CN111837125A (en)
MA (1) MA55272A (en)
WO (1) WO2020164841A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3982328A1 (en) 2020-10-08 2022-04-13 Saint-Gobain Glass France Method for simulating the effects of the optical distortions of a windshield on the image recording quality of a digital image recording device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373160B2 (en) 2013-12-18 2016-06-21 New York University System, method and computer-accessible medium for restoring an image taken through a window
US9996771B2 (en) 2016-02-15 2018-06-12 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle

Also Published As

Publication number Publication date
MA55272A (en) 2022-01-19
CN111837125A (en) 2020-10-27
WO2020164841A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
EP3291172B1 (en) Method for calculating final image data
WO2009127271A1 (en) Traffic object detection system, method for detecting a traffic object, and method for setting up a traffic object detection system
DE102017217072B4 (en) Method for detecting a weather condition in an area surrounding a motor vehicle, and control device and motor vehicle
WO2022128014A1 (en) Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination
EP3393875B1 (en) Method for the improved detection of objects by a driver assistance system
EP2402827A1 (en) Method and device for testing the functionality of an object recognition device of a motor vehicle
WO2022128013A1 (en) Correction of images from a camera in case of rain, incident light and contamination
DE102020208008A1 (en) Image classification and related training for security-related classification tasks
EP3938946A1 (en) Method for providing a training data set quantity, method for training a classifier, method for controlling a vehicle, computer-readable storage medium and vehicle
DE102019219734B4 (en) Method for operating an evaluation system for measurement data from multiple domains
EP3948649A1 (en) Masking of objects contained in an image
DE102006037600A1 (en) Method for resolution based representation of ambience of motor vehicle for use in parking system, involves capturing ambience information from ambience of motor vehicle by image sensor
DE102011121473A1 (en) A method for displaying images on a display device of a motor vehicle, driver assistance device, motor vehicle and computer program
DE102008057671A1 (en) Vehicle's e.g. commercial passenger car, surrounding area monitoring method, involves illuminating vehicle and/or surrounding area of vehicle depending on captured real illumination in overall image
DE102018201909A1 (en) Method and device for object recognition
DE102016119592A1 (en) Method for detecting objects in an environmental region of a motor vehicle taking into account sensor data in the infrared wavelength range, object recognition device, driver assistance system and motor vehicle
DE102020206990A1 (en) Device for processing sensor data and training methods
DE102009009904A1 (en) Object i.e. road sign, identifying method, involves adding images and classifiers, which contain stored samples and sequences, as another set of samples, if sequences correspond to another set of sequences
DE102019103192A1 (en) Method for generating training data for a digital, adaptive camera system
DE102018221625A1 (en) Transfer of additional information between camera systems
DE102020000490A1 (en) Device and method for object recognition in a vehicle environment
DE102019004586A1 (en) Process for the detection of disturbing light influences
DE102022212480A1 (en) Matrix light guidance for object detection for automated driving
WO2024013162A1 (en) Method for determining deficiencies in the detection of objects in data acquired by an environment sensor of a motor vehicle
DE102022205505A1 (en) Method for creating a data set

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210916

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
RAV Requested validation state of the european patent: fee paid

Extension state: MA

Effective date: 20210916

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20231108