DE102018126112A1 - Training method for a neural network for automatic adjustment of a camera - Google Patents

Training method for a neural network for automatic adjustment of a camera Download PDF

Info

Publication number
DE102018126112A1
DE102018126112A1 DE102018126112.8A DE102018126112A DE102018126112A1 DE 102018126112 A1 DE102018126112 A1 DE 102018126112A1 DE 102018126112 A DE102018126112 A DE 102018126112A DE 102018126112 A1 DE102018126112 A1 DE 102018126112A1
Authority
DE
Germany
Prior art keywords
neural network
camera
image
objects
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018126112.8A
Other languages
German (de)
Inventor
Robert Spangenberg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cariad SE
Original Assignee
Hella GmbH and Co KGaA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella GmbH and Co KGaA filed Critical Hella GmbH and Co KGaA
Priority to DE102018126112.8A priority Critical patent/DE102018126112A1/en
Publication of DE102018126112A1 publication Critical patent/DE102018126112A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Trainingsverfahren für ein neuronales Netz (1) für eine automatische Einstellung einer Kamera (2), wobei das neuronale Netz (1) mindestens einen Kameraeinstellungsparameter (3) ausgibt, umfassend zumindest folgende Schritte:a) Aufnehmen eines Bildes (4) mittels der Kamera (2),b) Bereitstellen von Bilddaten (5) des aufgenommenen Bildes (4) als Eingangsdaten (6) für das neuronale Netz (1),c) Analysieren von Bilddaten (5) des aufgenommenen Bildes (4), mit dem Ziel mindestens ein Objekt (7) in dem Bild (4) zu erkennen,d) Beeinflussen zumindest eines Teils des neuronalen Netzes (1) in Abhängigkeit davon, ob in Schritt c) mindestens ein Objekt erkannt wurde.The invention relates to a training method for a neural network (1) for the automatic setting of a camera (2), the neural network (1) outputting at least one camera setting parameter (3), comprising at least the following steps: a) taking an image (4) by means of the camera (2), b) providing image data (5) of the recorded image (4) as input data (6) for the neural network (1), c) analyzing image data (5) of the recorded image (4) with the goal of recognizing at least one object (7) in the image (4), d) influencing at least part of the neural network (1) depending on whether at least one object was detected in step c).

Description

Die Erfindung betrifft ein Trainingsverfahren für ein neuronales Netz für eine automatische Einstellung einer Kamera, ein Verfahren zur automatischen Einstellung einer Kamera mittels eines entsprechend trainierten neuronalen Netzes, ein Computerprogramm, ein maschinenlesbares Speichermedium sowie ein Fahrzeug.The invention relates to a training method for a neural network for automatically setting a camera, a method for automatically setting a camera by means of a suitably trained neural network, a computer program, a machine-readable storage medium and a vehicle.

Es ist bekannt, für Fahrerassistenzfunktionen, für Anzeigen der Szene um ein Fahrzeug und/oder für autonomes Fahren in oder an dem Fahrzeug angeordnete Kameras zu verwenden. Deren Bedeutung nimmt insbesondere mit dem Bestreben, bessere Fahrerassistenzsysteme bereitzustellen und/oder die Operationen des Fahrzeugs weiter zu automatisieren, immer weiter zu.It is known to use cameras arranged for driver assistance functions, for displaying the scene around a vehicle and / or for autonomous driving in or on the vehicle. In particular, their importance is increasing with the endeavor to provide better driver assistance systems and / or to further automate the operations of the vehicle.

Darüber hinaus ist es insbesondere für die genannten Anwendungsbereiche wichtig, dass mit den Kameras Bilder mit hoher Bildqualität bereitgestellt werden. In diesem Zusammenhang kann es erforderlich sein, Kameraeinstellungen an die Umgebungsbedingungen anzupassen. Hierzu können zusätzliche Umgebungssensoren, wie etwa Helligkeitssensoren verwendet werden, um die relevanten Umgebungsbedingungen zu erfassen. Zusätzliche Sensorik führt jedoch in der Regel zu einer höheren Systemkomplexität und höheren Kosten.In addition, it is particularly important for the application areas mentioned that the cameras are used to provide images with high image quality. In this context, it may be necessary to adapt camera settings to the ambient conditions. For this purpose, additional environmental sensors, such as brightness sensors, can be used to record the relevant environmental conditions. However, additional sensors usually lead to higher system complexity and higher costs.

Ferner ist es bekannt, für unterschiedliche Anwendungsgebiete neuronale Netze als ein Beispiel künstlicher Intelligenz einzusetzen und für deren Einsatz zu trainieren. Ein entsprechendes Training wird allgemein auch als maschinelles Lernen bezeichnet. Bekannte Trainingsmethoden basieren im Wesentlichen darauf, eine Ausgabe des neuronalen Netzes mit einer bekannten Referenz zu vergleichen und bei einer Differenz zwischen Ausgabe und Referenz eine entsprechende Änderung an dem neuronalen Netz vorzunehmen. Diese Methoden weisen jedoch den Nachteil auf, dass diese zum Trainieren des neuronalen Netzes zusätzliche Referenzdaten benötigen, deren Beschaffung in der Regel zeitaufwendig und kostenaufwändig ist.Furthermore, it is known to use neural networks as an example of artificial intelligence for different areas of application and to train for their use. Appropriate training is generally referred to as machine learning. Known training methods are essentially based on comparing an output of the neural network with a known reference and making a corresponding change to the neural network if there is a difference between the output and the reference. However, these methods have the disadvantage that they require additional reference data for training the neural network, the acquisition of which is generally time-consuming and costly.

Hiervon ausgehend ist es Aufgabe der vorliegenden Erfindung, die mit Bezug auf den Stand der Technik geschilderten Probleme zumindest teilweise zu lösen. Insbesondere sollen ein Trainingsverfahren für ein neuronales Netz für eine automatische Einstellung einer Kamera, ein Verfahren zur automatischen Einstellung einer Kamera mittels eines entsprechend trainierten neuronalen Netzes, ein Computerprogramm, ein maschinenlesbares Speichermedium sowie ein Fahrzeug angegeben werden, die keine zusätzlichen Referenzdaten zum Trainieren des neuronalen Netzes benötigen sowie eine möglichst geringe Systemkomplexität und geringe Kosten erlauben.Proceeding from this, it is an object of the present invention to at least partially solve the problems described with reference to the prior art. In particular, a training method for a neural network for automatically setting a camera, a method for automatically setting a camera by means of a suitably trained neural network, a computer program, a machine-readable storage medium and a vehicle are to be specified which do not contain any additional reference data for training the neural network need and allow the lowest possible system complexity and low costs.

Diese Aufgaben werden gelöst durch die Merkmale der unabhängigen Patentansprüche. Weitere vorteilhafte Ausgestaltungen der hier vorgeschlagenen Lösung sind in den abhängigen Patentansprüchen angegeben. Es ist darauf hinzuweisen, dass die in den abhängigen Patentansprüchen einzeln aufgeführten Merkmale in beliebiger, technologisch sinnvoller, Weise miteinander kombiniert werden können und weitere Ausgestaltungen der Erfindung definieren. Darüber hinaus werden die in den Patentansprüchen angegebenen Merkmale in der Beschreibung näher präzisiert und erläutert, wobei weitere bevorzugte Ausgestaltungen der Erfindung dargestellt werden.These objects are achieved by the features of the independent claims. Further advantageous refinements of the solution proposed here are specified in the dependent claims. It should be pointed out that the features listed individually in the dependent patent claims can be combined with one another in any desired, technologically sensible manner and define further refinements of the invention. In addition, the features specified in the patent claims are specified and explained in more detail in the description, further preferred embodiments of the invention being illustrated.

Hierzu trägt ein Trainingsverfahren für ein (künstliches) neuronales Netz für eine automatische Einstellung einer Kamera bei, wobei das neuronale Netz mindestens einen Kameraeinstellungsparameter ausgibt, umfassend zumindest folgende Schritte:

  1. a) Aufnehmen eines Bildes mittels der Kamera,
  2. b) Bereitstellen von Bilddaten des aufgenommenen Bildes als Eingangsdaten für das neuronale Netz,
  3. c) Analysieren von Bilddaten des aufgenommenen Bildes, mit dem Ziel mindestens ein Objekt in dem Bild zu erkennen,
  4. d) Beeinflussen zumindest eines Teils des neuronalen Netzes in Abhängigkeit davon, ob in Schritt c) mindestens ein Objekt erkannt wurde.
A training method for an (artificial) neural network for automatic camera setting contributes to this, the neural network outputting at least one camera setting parameter, comprising at least the following steps:
  1. a) taking a picture using the camera,
  2. b) providing image data of the recorded image as input data for the neural network,
  3. c) analyzing image data of the captured image with the aim of recognizing at least one object in the image,
  4. d) influencing at least a part of the neural network depending on whether at least one object was recognized in step c).

Das hier vorgestellte Verfahren dient insbesondere zum Trainieren bzw. maschinellen Lernen eines (künstlichen) neuronalen Netzes zur automatischen Einstellung einer Kamera. Die angegebene Reihenfolge der Schritte a), b), c) und d) ergibt sich in der Regel bei einem regulären Betriebsablauf. Insbesondere dient das Verfahren als Trainingsverfahren für ein neuronales Netz für eine automatische Einstellung der Belichtung einer Kamera.The method presented here is used in particular for training or machine learning of an (artificial) neural network for the automatic setting of a camera. The specified sequence of steps a), b), c) and d) is usually the result of a regular operating procedure. In particular, the method serves as a training method for a neural network for automatically setting the exposure of a camera.

Das Trainingsverfahren bzw. maschinelle Lernverfahren erlaub in vorteilhafter Weise ein Training des neuronalen Netzes ohne zusätzliche bzw. bekannte Referenzdaten. In besonders vorteilhafter Weise kommt stattdessen vielmehr ein natürliches Lernverhalten zur Anwendung, bei dem Fehler erkannt werden und aus den erkannten Fehlern gelernt wird. Dabei werden Fehler in der Wahl des Kameraeinstellungsparameters insbesondere dadurch erkannt, dass in einem mit dem Kameraeinstellungsparameter aufgenommenen Bild keine oder zu wenige Objekte erkannt werden können. Dies bedeutet mit anderen Worten insbesondere, dass hier aufgrund der Objekterkennung und des Kriteriums, ob (genug) Objekte erkennt werden konnten, vorteilhaft auf zusätzliche Referenzdaten verzichtet werden kann. Da in diesem Fall keine zusätzlichen Referenzdaten benötigt werden, kann auf zusätzliche Sensorik vorteilhaft verzichtet werden, wodurch die Systemkomplexität und Kosten reduziert werden können.The training method or machine learning method advantageously allows training of the neural network without additional or known reference data. Instead, in a particularly advantageous manner, a natural learning behavior is used instead, in which errors are recognized and is learned from the identified errors. Errors in the selection of the camera setting parameter are recognized in particular in that no or too few objects can be recognized in an image recorded with the camera setting parameter. In other words, this means in particular that based on the object recognition and the criterion whether (enough) Objects could be recognized, additional reference data can advantageously be dispensed with. Since no additional reference data is required in this case, additional sensor technology can advantageously be dispensed with, as a result of which the system complexity and costs can be reduced.

Bei der Kamera handelt es sich insbesondere um eine Kamera für ein Fahrzeug oder eine Kamera eines Fahrzeugs. Dies betrifft mit anderen Worten insbesondere eine in oder an einem Fahrzeug anzuordnende oder angeordnete Kamera. Beispielsweise kann die Kamera im Bereich einer Frontscheibe eines Fahrzeugs montiert sein. Darüber hinaus ist die Kamera in der Regel mit einem Steuergerät des Fahrzeugs verbunden.The camera is in particular a camera for a vehicle or a camera of a vehicle. In other words, this relates in particular to a camera to be arranged or arranged in or on a vehicle. For example, the camera can be mounted in the area of a front window of a vehicle. In addition, the camera is usually connected to a control unit of the vehicle.

Die Kamera ist vorzugsweise eine Monokamera. Dies trägt insbesondere dazu bei, Bauraum, Gewicht und Komponentenkosten zu reduzieren. Aufgrund des vergleichsweise geringen Platzbedarfs kann die Monokamera auch dazu beitragen, vergleichsweise komplexe Assistenzsysteme in einen Kompaktwagen zu integrieren.The camera is preferably a mono camera. In particular, this helps to reduce installation space, weight and component costs. Due to the comparatively small space requirement, the mono camera can also help to integrate comparatively complex assistance systems into a compact car.

Die Monokamera kann auch als ein monokulares System beschrieben werden. Die Monokamera umfasst in der Regel eine einzelne bzw. genau eine Kameralinse und einen einzelnen bzw. genau einen Bildsensor. Die Monokamera grenzt sich damit von einer Stereokamera ab, die üblicherweise zwei Kameralinsen sowie zwei Bildsensoren hat und aus zwei gleichzeitig aufgenommenen Bildern eine dreidimensionale Abbildung generieren kann, aus der Tiefeninformationen, wie beispielsweise Abstände, regelmäßig auch direkt entnommen werden können. Eine entsprechende Tiefeninformation fehlt üblicherweise in einer einzelnen Aufnahme mit einer Monokamera.The mono camera can also be described as a monocular system. The mono camera generally comprises a single or exactly one camera lens and a single or exactly one image sensor. The mono camera thus differs from a stereo camera, which usually has two camera lenses and two image sensors and can generate a three-dimensional image from two simultaneously recorded images, from which depth information, such as distances, can regularly also be taken directly. Corresponding depth information is usually missing in a single shot with a mono camera.

Das neuronale Netz gibt mindestens einen Kameraeinstellungsparameter aus. Dies bedeutet mit anderen Worten insbesondere, dass der mindestens eine Kameraeinstellungsparameter eine Ausgangsgröße des neuronalen Netzes ist. In diesem Zusammenhang kann auch vorgesehen sein, dass das neuronale Netz (gleichzeitig) mehrere Kameraeinstellungsparameter ausgibt.The neural network outputs at least one camera setting parameter. In other words, this means in particular that the at least one camera setting parameter is an output variable of the neural network. In this context it can also be provided that the neural network outputs (simultaneously) several camera setting parameters.

Als Kameraeinstellungsparameter kommen insbesondere Belichtungsparameter, wie etwa die Belichtungszeit (bzw. Belichtungsdauer), die Blendenzahl (bzw. Lichtstärke) und/oder die (Licht-/Sensor-)Empfindlichkeit in Frage. Die Belichtungszeit entspricht mit anderen Worten insbesondere der zeitlichen Dauer der Aufnahme. Die Blendenzahl beschreibt in der Regel das Verhältnis von (Blenden-)Öffnung zu Brennweite einer Kamera. Dabei entspricht eine weit geöffnete Blende einer kleinen Blendenzahl und eine eng geschlossene Blende einer großen Blendenzahl. Die Blendenzahl wird häufig auch genutzt um die Lichtstärke zu beschreiben.Exposure parameters such as the exposure time (or exposure duration), the f-number (or light intensity) and / or the (light / sensor) sensitivity are particularly suitable as camera setting parameters. In other words, the exposure time corresponds in particular to the duration of the exposure. The f-number usually describes the ratio of (aperture) opening to focal length of a camera. A wide-open aperture corresponds to a small f-number and a tightly-closed aperture corresponds to a large f-number. The f-number is often used to describe the light intensity.

Alternativ oder kumulativ kann der mindestens eine Kameraeinstellungsparameter auch eine Verstärkung, insbesondere die interne Verstärkung durch einen Ausleseverstärker bzw. die interne Ausleseverstärkung umfassen. Diese Verstärkung wird auch als sogenannter „Gain“ bezeichnet. Als weiterer Kameraeinstellungsparameter kommt auch eine Sensortemperatur des Bildsensors in Betracht.Alternatively or cumulatively, the at least one camera setting parameter can also include an amplification, in particular the internal amplification by a readout amplifier or the internal readout amplification. This amplification is also known as "gain". A sensor temperature of the image sensor can also be considered as a further camera setting parameter.

In Schritt a) erfolgt ein Aufnehmen eines (digitalen) Bildes mittels der Kamera. Vorzugsweise wird in (jedem) Schritt a) genau ein bzw. nur ein (einzelnes) Bild aufgenommen. Weiterhin bevorzugt wird in Schritt a) ein Bild von einer Umgebung um ein Fahrzeug aufgenommen. Besonders bevorzugt wird in Schritt a) ein Bild des vorderen Umfelds des Fahrzeugs aufgenommen. Für die (allgemein) erste Durchführung des Schritts a) und/oder für die erste Durchführung des Schritts a) in einem neuen Szenario kann für den mindestens einen Kameraeinstellungsparameter ein initialer Kameraeinstellungsparameter (Initialwert) gewählt werden und mit diesem das (erste) Bild aufgenommen werden.In step a), a (digital) image is recorded using the camera. Exactly one or only one (individual) image is preferably recorded in (each) step a). In step a), an image of an environment around a vehicle is furthermore preferably recorded. An image of the front surroundings of the vehicle is particularly preferably recorded in step a). For the (general) first implementation of step a) and / or for the first implementation of step a) in a new scenario, an initial camera setting parameter (initial value) can be selected for the at least one camera setting parameter and the (first) image can be recorded with it .

Insbesondere bestimmen die Ausgangsdaten (Ausgangsgröße) des neuronalen Netzes auch (bereits) während des Trainings den mindestens einen Kameraeinstellungsparameter mit dem das (nächste) Bild, etwa in einem nächsten Schritt a) aufgenommen wird. Dies bedeutet mit anderen Worten insbesondere, dass der mindestens eine Kameraeinstellungsparameter (stets) von dem neuronalen Netz vorgegeben wird. In diesem Zusammenhang kann auch vorgesehen sein, dass zu Beginn des Trainings und/oder in einem neuen Szenario ein Initialwert für die Ausgangsgröße des neuronalen Netzes vorgesehen wird.In particular, the output data (output variable) of the neural network also (already) determine during the training the at least one camera setting parameter with which the (next) image is recorded, for example in a next step a). In other words, this means in particular that the at least one camera setting parameter is (always) specified by the neural network. In this context it can also be provided that an initial value for the output variable of the neural network is provided at the beginning of the training and / or in a new scenario.

Die Kamera ist beispielsweise in oder an einem Fahrzeug montiert. Für das hier vorgestellte Verfahren wird insbesondere eine einzelne bzw. nur eine Kamera verwendet. Bei der Kamera handelt es sich in der Regel um eine digitale Kamera. Die Kamera weist insbesondere einen Bildsensor, wie etwa einen CCD-Sensor oder einen CMOS-Sensor auf. Weiterhin bevorzugt weist die Kamera einen einzelnen bzw. nur einen Bildsensor auf.The camera is mounted in or on a vehicle, for example. A single or only one camera is used in particular for the method presented here. The camera is usually a digital camera. The camera in particular has an image sensor, such as a CCD sensor or a CMOS sensor. Furthermore, the camera preferably has a single or only one image sensor.

In Schritt b) erfolgt ein Bereitstellen von Bilddaten des (in einem unmittelbar vorhergehenden Schritt a)) aufgenommenen Bildes als Eingangsdaten für das neuronale Netz. Dies bedeutet mit anderen Worten, dass das in Schritt a) aufgenommene Bild eine Eingangsgröße des neuronalen Netztes ist. Darüber hinaus kann mindestens ein Kameraeinstellungsparameter (ggf. der Initialwert), mit dem das Bild in Schritt a) aufgenommen wurde, eine weitere Eingangsgröße des neuronalen Netzes darstellen.In step b), image data of the image taken (in an immediately preceding step a)) is provided as input data for the neural network. In other words, this means that the image recorded in step a) is an input variable of the neural network. In addition, at least one camera setting parameter (possibly the initial value) with which the image was recorded in step a), represent a further input variable of the neural network.

Die in Schritt b) bereitgestellten Bilddaten können als ggf. vorverarbeitete Rohdaten und/oder als Informationen über Eigenschaften der Bilddaten bereitgestellt werden. Dies bedeutet mit anderen Worten insbesondere, dass die Bilddaten vorzugsweise ggf. vorverarbeitete Rohdaten (Bildpunkte) und/oder Informationen über Eigenschaften der Bilddaten umfassen. Bei den Eigenschaften kann es sich zum Beispiel um die Eigenschaften, wie etwa Helligkeit, Lichtverteilung und/oder Farbe der einzelnen Bildpunkte des aufgenommenen Bildes handeln.The image data provided in step b) can be provided as possibly preprocessed raw data and / or as information about properties of the image data. In other words, this means in particular that the image data preferably include possibly preprocessed raw data (image points) and / or information about properties of the image data. The properties can be, for example, the properties, such as brightness, light distribution and / or color of the individual pixels of the recorded image.

Weiterhin können die Bilddaten beispielsweise als Matrixdaten (einer zweidimensionalen Matrix) bereitgestellt werden. Die Matrixdaten können zum Beispiel eine (zweidimensionale) Matrix von Bildpunkten beschreiben. Eine entsprechende Matrix kann beispielsweise von einem digitalen Bildsensor (unmittelbar) bereitgestellt werden. Die Matrixdaten können alternativ oder kumulativ zum Beispiel eine (zweidimensionale) Matrix von Eigenschaften, wie etwa Helligkeit, Lichtverteilung und/oder Farbe der Bildpunkte beschreiben.Furthermore, the image data can be provided, for example, as matrix data (a two-dimensional matrix). The matrix data can, for example, describe a (two-dimensional) matrix of pixels. A corresponding matrix can be provided (directly) by a digital image sensor, for example. The matrix data can alternatively or cumulatively describe, for example, a (two-dimensional) matrix of properties such as brightness, light distribution and / or color of the pixels.

Alternativ oder kumulativ können die Bilddaten Informationen über das in dem Bild vorliegende Szenario bzw. über die in dem Bild vorliegenden Gegebenheiten umfassen. Dies betrifft mit anderen Worten insbesondere Informationen, die für das in dem Bild vorliegende Szenario bzw. die in dem Bild vorliegenden Gegebenheiten charakteristisch sind. Entsprechende Informationen können beispielsweise im Wege eine Vorverarbeitung von Bildrohdaten ermittelt werden.Alternatively or cumulatively, the image data can include information about the scenario present in the image or about the circumstances present in the image. In other words, this relates in particular to information which is characteristic of the scenario or the circumstances present in the image. Corresponding information can be determined, for example, by preprocessing raw image data.

Eine beispielhafte Information über das in dem Bild vorliegende Szenario bzw. über die in dem Bild vorliegenden Gegebenheiten kann zum Beispiel eine hohe Licht-Reflexion im unteren Teil des Bildes sein, die insbesondere für eine mit Wasser und/oder Schnee bedeckte Fahrbahn charakteristisch ist. In diesem Zusammenhang können zum Beispiel intensive, punktuelle Lichtquellen für eingeschaltete Scheinwerfer und/oder Straßenbeleuchtungen (Straßenlaternen) charakteristische Informationen darstellen.An example of information about the scenario in the picture or about the conditions in the picture can be, for example, a high light reflection in the lower part of the picture, which is particularly characteristic of a roadway covered with water and / or snow. In this context, for example, intensive, selective light sources for switched on headlights and / or street lights (street lamps) can represent characteristic information.

In Schritt c) erfolgt ein Analysieren von Bilddaten des (in einem unmittelbar vorhergehenden Schritt a)) aufgenommenen Bildes, mit dem Ziel mindestens ein Objekt in dem Bild zu erkennen. Insbesondere kann in den Bilddaten nach bekannten Konturen (z.B. anhand von Hell-Dunkel-Grenzen, Farbspots, etc.) gesucht werden, die für bekannte Objekte (die im Umfeld eines Fahrzeugs sichtbar sein können), wie etwa andere Fahrzeuge, Straßenlaternen, Ampeln, Häuser, Tunnel und dergleichen charakteristisch sind.In step c), image data of the image (taken in an immediately preceding step a)) is analyzed with the aim of recognizing at least one object in the image. In particular, the image data can be used to search for known contours (for example using light-dark borders, color spots, etc.) that are used for known objects (which may be visible in the vicinity of a vehicle), such as other vehicles, street lights, traffic lights, Houses, tunnels and the like are characteristic.

Bei den in Schritt c) analysierten Bilddaten kann es sich um die gleichen Bilddaten handeln, die in Schritt b) dem neuronalen Netz als Eingangsdaten zur Verfügung gestellt werden. Dies ist insbesondere dann der Fall, wenn das neuronale Netz selbst die Analyse der Bilddaten durchführen soll oder das neuronale Netz die Bilddaten zwecks Analyse an ein übergeordnetes neuronales Netz oder ein mit dem (hier beschriebenen) neuronalen Netz verknüpften neuronalen Netz weitergeben kann.The image data analyzed in step c) can be the same image data that is made available to the neural network as input data in step b). This is particularly the case when the neural network itself is to carry out the analysis of the image data or the neural network can forward the image data for analysis to a higher-level neural network or a neural network linked to the neural network (described here).

Es kann jedoch auch vorgesehen sein, dass alternativ oder kumulativ eine Analyse der Bilddaten gemäß Schritt c) außerhalb des (hier beschriebenen) neuronalen Netzes oder sogar ganz ohne neuronales Netz durchgeführt wird. Insbesondere in diesem Fall, können sich die Bilddaten auch unterscheiden, wobei vorzugsweise die zu analysierenden Bilddaten ggf. vorverarbeitete Bildrohdaten sind und die in Schritt b) bereitgestellten Daten auch (nur) Informationen über das in dem Bild vorliegende Szenario bzw. über die in dem Bild vorliegenden Gegebenheiten umfassen können.However, it can also be provided that, alternatively or cumulatively, an analysis of the image data according to step c) is carried out outside the neural network (described here) or even entirely without a neural network. In this case in particular, the image data can also differ, the image data to be analyzed preferably being possibly pre-processed raw image data and the data provided in step b) also (only) information about the scenario present in the image or about the one in the image present circumstances.

In Schritt d) erfolgt ein Beeinflussen zumindest eines Teils des neuronalen Netzes in Abhängigkeit davon, ob in (einem unmittelbar vorhergehenden) Schritt c) mindestens ein Objekt erkannt wurde. Dies bedeutet mit anderen Worten insbesondere, dass ein Beeinflussen zumindest eines Teils des neuronalen Netzes in Abhängigkeit davon erfolgt, wie viele Objekte in (einem unmittelbar vorhergehenden) Schritt c) (in dem Bild) erkannt wurden. Dabei kann die Intensität des Beeinflussens beispielsweise davon abhängen, wie groß die Anzahl der erkannten Objekte ist.In step d), at least a part of the neural network is influenced depending on whether at least one object was detected in (an immediately preceding) step c). In other words, this means in particular that at least a part of the neural network is influenced as a function of how many objects were recognized in (an immediately preceding) step c) (in the image). The intensity of the influencing can depend, for example, on the number of objects detected.

Das Beeinflussen des neuronalen Netzes kann ein Anpassen bzw. Ändern mindestens einer Komponente des neuronalen Netzes umfassen. Entsprechende Komponenten des neuronalen Netzes können beispielsweise Verbindungen, Gewichte, Schwellenwerte und/oder Neuronen sein. Vorzugsweise können in Schritt d) zum Beeinflussen des neuronalen Netzes oder aufgrund einer Beeinflussung gemäß Schritt d), wie etwa einer positiven oder negativen Belohnung ein oder mehrere der folgenden Vorgänge erfolgen:

  • • Entwicklung neuer Verbindungen,
  • • Löschen existierender Verbindungen,
  • • Ändern der Gewichtung bzw. der Gewichte, insbesondere der Gewichte von einem Neuron zu einem anderen Neuron,
  • • Anpassen der Schwellenwerte der Neuronen, sofern diese Schwellwerte besitzen,
  • • Hinzufügen oder Löschen von Neuronen,
  • • Modifikation mindestens einer Aktivierungsfunktion, Propagierungsfunktion und/oder Ausgabefunktion.
Influencing the neural network can include adapting or changing at least one component of the neural network. Corresponding components of the neural network can be, for example, connections, weights, threshold values and / or neurons. In step d), one or more of the following processes can preferably take place for influencing the neural network or due to an influencing according to step d), such as a positive or negative reward:
  • • development of new connections,
  • Delete existing connections,
  • Changing the weighting or the weights, in particular the weights, from one neuron to another neuron,
  • Adapting the threshold values of the neurons, if they have threshold values,
  • Adding or deleting neurons,
  • Modification of at least one activation function, propagation function and / or output function.

Nach einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass zumindest die Schritte a) bis c) zumindest so oft (insbesondere in der angegebenen Reihenfolge hintereinander) wiederholt werden, bis in Schritt c) mindestens eine (vor-)bestimmte Anzahl an Objekten in dem Bild erkannt wird. Dies bedeutet mit anderen Worten insbesondere, dass zumindest die Schritte a) bis c) zumindest so oft wiederholt werden, bis in Schritt c) eine bestimmte bzw. vorgebbare Mindestanzahl an Objekten in dem Bild erkannt wird.According to an advantageous embodiment, it is proposed that at least steps a) to c) are repeated at least as often (in particular in the order specified) in succession until at least a (predetermined) number of objects are recognized in the image in step c) . In other words, this means in particular that at least steps a) to c) are repeated at least as often until a certain or predeterminable minimum number of objects is recognized in the image in step c).

In der Regel werden in diesem Zusammenhang die Schritte a) bis d) zumindest so oft (in der angegebenen Reihenfolge hintereinander; d.h. für eine dreifache Wiederholung mit der Abfolge: abcd, abcd, abcd) wiederholt, bis in Schritt c) mindestens eine bestimmte Anzahl an Objekten in dem Bild erkannt wird. Dabei erfolgt in der Regel bei jeder Wiederholung der Schritte a) bis d) in Schritt d) eine Beeinflussung des neuronalen Netzes in Abhängigkeit davon, ob und/oder wie viele Objekte in (einem unmittelbar vorhergehenden) Schritt c) erkannt wurden.In this context, steps a) to d) are usually repeated at least as often (in the order given, one after the other, i.e. for a triple repetition with the sequence: abcd, abcd, abcd), until at least a certain number in step c) is recognized by objects in the image. As a rule, the repetition of steps a) to d) in step d) influences the neural network depending on whether and / or how many objects were detected in (an immediately preceding) step c).

Für den hier beschriebenen Schritt c) kann die bestimmte Mindestanzahl beispielhaft eins sein, sodass zumindest die Schritte a) bis c) (bzw. a) bis d)) erneut durchgeführt werden, wenn in Schritt c) kein Objekt in dem Bild erkannt wird. Darüber hinaus können auch Mindestanzahlen von beispielsweise zehn Objekten oder fünfzig Objekten vorgegeben werden.For step c) described here, the determined minimum number can be one, for example, so that at least steps a) to c) (or a) to d)) are carried out again if no object is recognized in step c) in the image. In addition, minimum numbers of, for example, ten objects or fifty objects can also be specified.

Die beschriebene Wiederholung zumindest der Schritte a) bis c) bzw. der Schritte a) bis d) sollte möglichst derart (schnell) erfolgen, dass sich das (Umgebungs)Szenario, in dem das Bild aufgenommen wird, nicht oder nur möglichst geringfügig ändert. Beispielsweise kann vorgesehen sein die Kamera so lange in einem bestimmten (Umgebungs-)Szenario zu belassen, bis in Schritt c) mindestens eine bestimmte Anzahl an Objekten in dem Bild erkannt wird.The described repetition of at least steps a) to c) or steps a) to d) should be carried out as quickly as possible in such a way that the (ambient) scenario in which the image is recorded does not change or changes only as little as possible. For example, it can be provided to leave the camera in a certain (environmental) scenario until at least a certain number of objects are recognized in the image in step c).

Darüber hinaus kann vorgesehen sein, die beschriebene Wiederholung zumindest der Schritte a) bis c) bzw. der Schritte a) bis d) für eine (vorbestimmte) Anzahl an Wiederholungen weiter durchzuführen, auch wenn in Schritt c) bereits die bestimmte Anzahl an Objekten in dem Bild erkannt wurde. Dies erlaubt in vorteilhafter Weise, dass der Kameraeinstellungsparameter noch weiter verbessert werden kann. In diesem Fall ist in der Regel eine Art Abbruchbedingung, beispielsweise in Form einer (vorbestimmten) maximalen Anzahl an Wiederholgen vorgesehen.In addition, it can be provided that the described repetition of at least steps a) to c) or steps a) to d) is continued for a (predetermined) number of repetitions, even if in step c) the specific number of objects in the image was recognized. This advantageously allows the camera setting parameter to be further improved. In this case, a type of termination condition is usually provided, for example in the form of a (predetermined) maximum number of repetitions.

Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass in Schritt d) zumindest ein Teil des neuronalen Netzes angepasst wird, wenn in (einem unmittelbar vorhergehenden) Schritt c) eine Anzahl an Objekten erkannt wurde, die unterhalb einer (vorbestimmten) Mindestanzahl an Objekten liegt. Dies erlaub in vorteilhafter Weise, das neuronale Netz und damit auch die Ausgabe des neuronalen Netzes, nämlich den mindestens einen Kameraeinstellungsparameter zu ändern, wenn die Qualität des mit dem vorherigen Kameraeinstellungsparameter aufgenommenen Bildes nicht ausreichend ist (insbesondere wenn das Bild zu dunkel, zu hell, und/oder zu unklar ist), um darin die Mindestanzahl an Objekten zu erkennen. Das Anpassen erfolgt insbesondere durch ändern mindestens einer Komponente des neuronalen Netzwerks, wie etwa mindestens eines Gewichts und/oder mindestens eines Schwellenwertes.According to a further advantageous embodiment, it is proposed that in step d) at least a part of the neural network is adapted if a number of objects was detected in (an immediately preceding) step c) which is below a (predetermined) minimum number of objects. This advantageously makes it possible to change the neural network and thus also the output of the neural network, namely the at least one camera setting parameter, if the quality of the picture taken with the previous camera setting parameter is not sufficient (especially if the picture is too dark, too bright, and / or is too unclear) to recognize the minimum number of objects. The adaptation takes place in particular by changing at least one component of the neural network, such as at least one weight and / or at least one threshold value.

Die hier im Zusammenhang mit der Anpassung des neuronalen Netzes in Schritt d) beschriebenen Mindestanzahl kann vorzugsweise der oben im Zusammenhang mit der Wiederholung zumindest der Schritte a) bis c) beschriebenen Mindestanzahl entsprechen. Es kann jedoch in einer bevorzugten Ausgestaltung auch vorgesehen sein, dass die hier im Zusammenhang mit der Anpassung des neuronalen Netzes in Schritt d) beschriebene Mindestanzahl kleiner oder größer ist als die oben im Zusammenhang mit der Wiederholung zumindest der Schritte a) bis c) beschriebene Mindestanzahl.The minimum number described here in connection with the adaptation of the neural network in step d) can preferably correspond to the minimum number described above in connection with the repetition of at least steps a) to c). However, it can also be provided in a preferred embodiment that the minimum number described here in connection with the adaptation of the neural network in step d) is smaller or larger than the minimum number described above in connection with the repetition of at least steps a) to c) .

Besonders bevorzugt werden bei dem hier vorgeschlagenen Trainingsverfahren diejenigen Methoden des maschinellen Lernens angewendet, die als „bestärkendes Lernen“ oder „verstärkendes Lernen“ (englisch: „reinforcement learning“) bezeichnet werden. Dies bedeutet mit anderen Worten insbesondere, dass sich das hier beschriebene Trainingsverfahren vorzugsweise dadurch auszeichnet, dass ein bestärkendes Lernen erfolgt bzw. eine bestärkende (maschinelle) Lernmethode durchgeführt wird. Mit noch anderen Worten ausgedrückt bedeutet dies insbesondere, dass das Training des neuronalen Netzes hier vorzugsweise als Reinforcement-Learning erfolgt.Those methods of machine learning that are referred to as “reinforcement learning” or “reinforcement learning” (English: “reinforcement learning”) are particularly preferred in the training method proposed here. In other words, this means in particular that the training method described here is preferably distinguished by the fact that reinforcing learning takes place or that a reinforcing (machine) learning method is carried out. In other words, this means in particular that the training of the neural network is preferably carried out here as reinforcement learning.

Beim bestärkenden Lernen geht es üblicherweise darum, selbstständig eine Strategie zu erlernen, um erhaltene Belohnungen zu maximieren. Dies kann mit anderen Worten insbesondere auch so beschrieben werden, dass eine Strategie durch Interaktionen mit dem Umfeld (statt durch Vergleiche mit Referenzdaten) erlernt wird. Dabei wird in der Regel für jeden Zustand des Umfelds eine Aktion gewählt. Die Aktionen sind dabei in der Regel mit einer bestimmten Belohnung vorgesehen. Die Strategie besteht in diesem Zusammenhang insbesondere darin, die Aktionen für jeden Zustand so zu wählen, dass die Belohnung maximiert werden kann.Empowering learning is usually about learning a strategy independently to maximize the rewards you get. In other words, this can in particular also be described in such a way that a strategy is learned through interactions with the environment (instead of by comparison with reference data). As a rule, an action is selected for each state of the environment. The actions are usually provided with a certain reward. In this context, the strategy consists in particular of: Choose actions for each state so that the reward can be maximized.

Zum Erlernen der Strategie gibt es verschiedene Algorithmen. Sehr erfolgreich dabei sind „Monte-Carlo“-Methoden und „Temporal Difference Learning“. Bei diesen handelt es sich um eine Reihe von Algorithmen, bei denen eine Nutzenfunktion einen bestimmten Zustand oder eine bestimmte Aktion in einem Zustand bewertet. Bei kleinen Zustands- oder Aktionsräumen kann dies eine Tabelle sein, deren Felder anhand der erhaltenen Belohnung aktualisiert werden. Bei großen Zustandsräumen (die im Zusammenhang mit der Anwendung der hier beschriebenen Lösung zu erwarten sind) muss die Funktion jedoch approximiert werden. Dazu kann das hier beschriebene neuronale Netz genutzt werden.There are various algorithms for learning the strategy. “Monte Carlo” methods and “Temporal Difference Learning” are very successful. These are a series of algorithms in which a utility function evaluates a specific state or a specific action in a state. For small status or action spaces, this can be a table, the fields of which are updated based on the reward received. In the case of large state spaces (which can be expected in connection with the application of the solution described here), the function must be approximated. The neural network described here can be used for this.

Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass das neuronale Netz zumindest eine positive Belohnung erhält, wenn in Schritt c) eine Anzahl an Objekten erkannt wurde, die größer oder gleich einer (vorbestimmten) Mindestanzahl an Objekten ist oder eine negative Belohnung erhält, wenn in Schritt c) eine Anzahl an Objekten erkannt wurde, die kleiner als die Mindestanzahl an Objekten ist. Dies beschreibt mit anderen Worten insbesondere eine mögliche Variante, wie das bestärkende Lernen hier angewendet werden kann.According to a further advantageous embodiment, it is proposed that the neural network receives at least a positive reward if a number of objects was identified in step c) that is greater than or equal to a (predetermined) minimum number of objects or receives a negative reward if in Step c) a number of objects was recognized that is smaller than the minimum number of objects. In other words, this describes in particular a possible variant of how reinforcing learning can be applied here.

In diesem Zusammenhang ist es bevorzugt, wenn eine Intensität zumindest der positiven Belohnung oder der negativen Belohnung von der Anzahl erkannter Objekte abhängig ist. Dies kann in vorteilhafter Weise zu einer effizienteren Durchführung des Trainingsverfahrens beitragen.In this context, it is preferred if an intensity of at least the positive reward or the negative reward is dependent on the number of detected objects. This can advantageously contribute to a more efficient implementation of the training process.

Bevorzugt ist die Intensität der positiven Belohnung um so größer, je mehr Objekte, insbesondere oberhalb der Mindestanzahl an Objekten erkannt wurden. Dementsprechend kann auch vorgesehen sein, dass die Intensität der negativen Belohnung um so größer ist, je weniger Objekte, insbesondere unterhalb der Mindestanzahl erkannt wurden.The intensity of the positive reward is preferably greater, the more objects, in particular above the minimum number of objects, have been recognized. Accordingly, it can also be provided that the intensity of the negative reward is greater, the fewer objects, in particular below the minimum number, have been recognized.

Die hier im Zusammenhang mit den Belohnungen beschriebene Mindestanzahl entspricht in der Regel der oben im Zusammenhang mit der Anpassung des neuronalen Netztes in Schritt d) beschriebenen Mindestanzahl.The minimum number described here in connection with the rewards generally corresponds to the minimum number described above in connection with the adaptation of the neural network in step d).

Insbesondere werden in dem gleichen bzw. einem möglichst unveränderten (Umgebungs-)Szenario, in dem sich die Kamera befindet, mehrere Wiederholungen der Schritte a) bis d) (in der angegebenen Reihenfolge hintereinander) durchgeführt, wobei nach jeder Wiederholung zumindest einer der Kameraeinstellungsparameter verändert wird. Hierzu können beispielsweise Komponenten, wie etwa Gewichte und/oder Schwellenwerte des neuronalen Netzes geändert werden. Beispielsweise können verschieden lange Belichtungen (z. B. für vier Wiederholungen: 1 ms, 2 ms, 4 ms, 8 ms [ms = Millisekunde]) und/oder andere Kameraeinstellungsparameter alterniert werden, um insbesondere für möglichst viele Szenarien eine möglichst gute Belichtung zu finden.In particular, several repetitions of steps a) to d) (in the order given) are carried out in the same or as unchanged as possible (environmental) scenario in which the camera is located, with at least one of the camera setting parameters being changed after each repetition becomes. For this purpose, components such as weights and / or threshold values of the neural network can be changed, for example. For example, exposures of different lengths (e.g. for four repetitions: 1 ms, 2 ms, 4 ms, 8 ms [ms = millisecond]) and / or other camera setting parameters can be alternated in order to achieve the best possible exposure, in particular for as many scenarios as possible Find.

Über diese Wiederholungen können insbesondere bezüglich eines im Wesentlichen gleichen Szenarios positive und/oder negative Belohnungen gesammelt werden, die das neuronale Netz mit den (vorherigen) Einstellungen seiner Komponenten, den zuvor vorgenommen Änderungen an seinen Komponenten und/oder den Eingangsdaten (Bilddaten) verknüpfen kann. Dadurch kann das neuronale Netzwerk beispielsweise eine Nutzenfunktion approximieren. Dies bedeutet mit anderen Worten insbesondere, dass das neuronale Netz anhand der positiven und/oder negativen Belohnungen eine Nutzenfunktion approximiert, die insbesondere beschreibt, welchen Wert ein bestimmter Zustand oder eine bestimmte Aktion hat.These repetitions can be used to collect positive and / or negative rewards, in particular with respect to an essentially identical scenario, which the neural network can link to the (previous) settings of its components, the changes made to its components and / or the input data (image data) previously made . This allows the neural network to approximate a utility function, for example. In other words, this means in particular that the neural network approximates a utility function based on the positive and / or negative rewards, which in particular describes the value of a specific state or a specific action.

Wenn das neuronale Netz eine positive Belohnung erhalten hat, kann es grundsätzlich unverändert bleiben, insbesondere zumindest bis ein neues Bild in einem neuen (neu zu lernenden) Szenario erstellt wird. Es kann jedoch vorgesehen sein, dass (auch) im Falle einer positiven Belohnung das neuronale Netz zumindest eine seiner Komponenten, wie etwa mindestens ein Gewicht und/oder mindestens einen Schwellenwert ändert, insbesondere mit dem Ziel bei einer weiteren Aufnahme (des Szenarios) mit einem entsprechend geänderten Kameraeinstellungsparameter eine weitere, ggf. größere positive Belohnung (weil mehr Objekte erkannt wurden) zu erhalten. Dies kann auch als ein Bestreben beschrieben werden, den zukünftig erwarteten Gewinn zu maximieren.If the neural network has received a positive reward, it can basically remain unchanged, in particular at least until a new image is created in a new (new learning) scenario. However, it can be provided that (also) in the event of a positive reward, the neural network changes at least one of its components, such as at least one weight and / or at least one threshold value, in particular with the aim of a further recording (of the scenario) with one to receive a further, possibly larger positive reward (because more objects were recognized) in accordance with changed camera setting parameters. This can also be described as an effort to maximize future expected profit.

Wenn das neuronale Netz eine negative Belohnung erhalten hat, wird es in der Regel mindestens eine seiner Komponenten ändern, insbesondere mit dem Ziel bei einer weiteren Aufnahme (des Szenarios) mit einem entsprechend geänderten Kameraeinstellungsparameter eine positive Belohnung zu erhalten.If the neural network has received a negative reward, it will generally change at least one of its components, in particular with the aim of receiving a positive reward with a correspondingly changed camera setting parameter when the picture is taken again (of the scenario).

Ein bevorzugtes Ziel des hier beschriebenen Trainingsverfahrens ist die Bereitstellung eines (trainierten) neuronalen Netzes, welches auf Basis eines aufgenommenen Bildes automatisch eine Kameraeinstellung, insbesondere eine Belichtung für die Kamera ausgibt, die vorzugsweise in den relevanten Bereichen weder zu dunkel (Bereiche des Bildes ohne Signal), noch zu hell (Bereiche des Bildes in Sättigung) ist. Darüber hinaus soll die Kameraeinstellung (Belichtung) möglichst viele Bereiche mit einem geringen Signal-Rausch-Verhältnis ermöglichen und insbesondere gleichwohl möglichst wenig „Motion“, „Blur“ bzw. Bewegungsunschärfe enthalten. Die Bewegungsunschärfe kann beispielsweise durch die Bewegung eines Fahrzeugs verursacht, in oder an dem die Kamera montiert ist. Die im fertig trainierten Betrieb mittels der Kamera aufgenommenen Bilder sollen insbesondere für eine Fahrerassistenzfunktion, eine Anzeige der Szene um ein Fahrzeug und/oder für autonomes Fahren verwendet werden.A preferred aim of the training method described here is to provide a (trained) neural network which, based on a recorded image, automatically outputs a camera setting, in particular an exposure for the camera, which is preferably neither too dark in the relevant areas (areas of the image without a signal ), is still too bright (areas of the image are saturated). In addition, the camera setting (exposure) should enable as many areas as possible with a low signal-to-noise ratio and, in particular, nevertheless as little as possible. Motion "," Blur "or motion blur included. The motion blur can be caused, for example, by the movement of a vehicle in or on which the camera is mounted. The images recorded by the camera in the fully trained mode are to be used in particular for a driver assistance function, a display of the scene around a vehicle and / or for autonomous driving.

Insbesondere zur Erreichung zumindest eines Teils dieser Ziele wird das neuronale Netz hier vorzugsweise so trainiert, dass dieses (funktionale) Zusammenhänge enthält und/oder in sich, beispielsweise durch seine Neuronen, Verknüpfungen, Schwellenwerte und/oder Gewichte, (funktionale) Zusammenhänge bildet, die es dem (trainierten) neuronalen Netz erlauben unter Verwendung von Bilddaten eines aufgenommenen (ersten) Bildes als Eingangsdaten für das (trainierte) neuronale Netz mindestens einen Kameraeinstellungsparameter zu ermitteln und auszugeben, mit welchem ein (zweites) Bild (der gleichen Szene) mit (im Vergleich zum ersten Bild) besserer Bildqualität aufgenommen werden kann.In particular, in order to achieve at least some of these goals, the neural network is preferably trained here so that it contains (functional) relationships and / or forms (functional) relationships, for example through its neurons, links, threshold values and / or weights, which allow the (trained) neural network to determine and output at least one camera setting parameter using image data of a recorded (first) image as input data for the (trained) neural network, with which a (second) image (of the same scene) with (im Compared to the first image) better image quality can be recorded.

Beispielsweise kann das neuronale Netz dazu eingerichtet sein, während des Trainings ein Muster in einem in Schritt a) aufgenommene Bild zu erfassen bzw. zu erkennen. Das Muster kann dabei beispielsweise in einer (zweidimensionalen) Matrix von Bildpunkten erfasst bzw. erkannt werden. Weiterhin kann das neuronale Netz über die Suche nach Objekten in dem Bild und dem Kriterium, ob ein Objekt bzw. genügend Objekte in dem Bild erkannt werden konnten feststellen, ob der Kameraeinstellungsparameter für das erfasste bzw. erkannte Muster gut ist oder nicht.For example, the neural network can be set up to detect or recognize a pattern in an image recorded in step a) during the training. The pattern can be detected or recognized, for example, in a (two-dimensional) matrix of pixels. Furthermore, the neural network can use the search for objects in the image and the criterion whether an object or enough objects could be recognized in the image to determine whether or not the camera setting parameter is good for the detected or recognized pattern.

In diesem Zusammenhang kann das neuronale Netz beispielsweise bestärkend, insbesondere durch Rückmeldung positiver oder negativer Belohnungen lernen, ob der Kameraeinstellungsparameter für das erfasste bzw. erkannte Muster gut ist oder nicht. Im Falle einer negativen Rückmeldung kann das neuronale Netz sich derart ändern, dass es einen anderen Kameraeinstellungsparameter ausgibt, vorzugsweise einen solchen, von dem es sich eine bessere Bildqualität für das betreffende Muster erhofft.In this context, the neural network can learn, for example, in an encouraging manner, in particular by returning positive or negative rewards, whether or not the camera setting parameter is good for the detected or recognized pattern. In the event of negative feedback, the neural network can change such that it outputs a different camera setting parameter, preferably one from which it hopes to obtain a better image quality for the pattern in question.

Im Falle einer positiven Rückmeldung kann das neuronale Netz grundsätzlich so bleiben wie es ist, insbesondere solange bis ein neues Bild (von einem neuen Szenario) aufgenommen wurde. Es ist im Falle einer positiven Rückmeldung jedoch auch möglich, dass durch weitere Variierung auch guter Kameraeinstellungsparameter und durch entsprechende Rückmeldung weiterer positiver oder ggf. negativer Belohnungen noch weiter verbesserte Kameraeinstellungsparameter für das betreffende Muster erlernt werden können.In the case of positive feedback, the neural network can basically remain as it is, in particular until a new picture (of a new scenario) has been taken. In the case of positive feedback, it is also possible, however, that further camera setting parameters for the pattern in question can be learned by further variation of good camera setting parameters and by corresponding feedback of further positive or possibly negative rewards.

Die Muster können beispielsweise für bestimmte Szenarien charakteristisch sein. So können z. B. hohe Licht-Reflexionen im unteren Teil des Bildes, die in der Regel zu einer sehr hohen Helligkeit der Bildpunkte im unteren Teil des Musters führen, insbesondere für eine mit Wasser und/oder Schnee bedeckte Fahrbahn charakteristisch sein. Weiterhin können zum Beispiel intensive, punktuelle Lichtquellen, die in dem Muster in der Regel als helle Kreise zu erkennen sind, für eingeschaltete Scheinwerfer und/oder Straßenbeleuchtungen (Straßenlaternen) charakteristisch sein.The patterns can, for example, be characteristic of certain scenarios. So z. B. high light reflections in the lower part of the image, which usually lead to a very high brightness of the pixels in the lower part of the pattern, in particular for a roadway covered with water and / or snow. Furthermore, for example, intense, punctual light sources, which are usually recognizable in the pattern as bright circles, can be characteristic of switched-on headlights and / or street lights (street lamps).

Entsprechende Zusammenhänge zwischen Muster und Szenario müssen jedoch nicht, insbesondere nicht immer gegeben sein. Darüber hinaus ist es in der Regel auch nicht erforderlich, dass das neuronale Netz diese Zusammenhänge erfasst und/oder verarbeitet. Diese Zusammenhänge können jedoch für das Verständnis der hier vorgeschlagenen Lösung und/oder ggf. für Ansätze zum Aufbau eines zu trainierenden bzw. initialen Netzes hilfreich sein.Corresponding relationships between the pattern and the scenario do not have to exist, in particular, not always. In addition, it is generally not necessary for the neural network to record and / or process these relationships. However, these relationships can be helpful for understanding the solution proposed here and / or possibly for approaches to establishing a network to be trained or initialized.

Im Einsatz des trainierten neuronalen Netzes kann dieses beispielsweise in einem (ersten) aufgenommenen Bild ein Muster erfassen bzw. erkennen, welches einem Muster ähnlich ist, welches es im Training erfasst bzw. erkannt hat. Die insbesondere in Form von Gewichten und/oder Schwellenwerten geschaffenen (funktionalen) Zusammenhänge in dem trainierten neuronalen Netz führen dann zur Ausgabe eines Kameraeinstellungsparameters, mit welchem ein (zweites) Bild (der Szene) mit besserer Bildqualität aufgenommen werden kann.When using the trained neural network, it can, for example, detect or recognize a pattern in a (first) recorded image that is similar to a pattern that it has detected or recognized in training. The (functional) relationships created in the form of weights and / or threshold values in the trained neural network then lead to the output of a camera setting parameter with which a (second) image (of the scene) can be recorded with better image quality.

Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass Bilder in verschiedenen Szenarien aus einem vorbestimmten Szenarien-Katalog aufgenommen werden. Dies erlaubt in vorteilhafter Weise, dass eine genügend große Varianz der Eingabedaten sichergestellt werden kann.According to a further advantageous embodiment, it is proposed that images be taken in different scenarios from a predetermined scenario catalog. This advantageously allows a sufficiently large variance of the input data to be ensured.

Der Szenarien-Katalog umfasst in der Regel (vorbestimmte) (Umgebungs-)Szenarien, wie etwa Tag, Nacht, Regen, Schnee, Tunnel, schlechtes Wetter, Landstraße, Autobahn und/oder Stadt. Der Szenarien-Katalog wird vorzugsweise von einem Testfahrzeug abgefahren, in oder an dem die Kamera angeordnet ist. Hierzu kann einem Fahrer des Testfahrzeugs der Szenarien-Katalog angezeigt werden, um die darin enthaltenen Szenarien gezielt anzufahren. Bevorzugt wird der Szenarien-Katalog dabei vollständig abgefahren.The scenario catalog usually includes (predetermined) (environmental) scenarios, such as day, night, rain, snow, tunnel, bad weather, country road, highway and / or city. The scenario catalog is preferably driven by a test vehicle in or on which the camera is arranged. For this purpose, the scenario catalog can be displayed to a driver of the test vehicle in order to specifically approach the scenarios contained therein. The scenario catalog is preferably run through completely.

Die hier vorgestellte Lösung erlaubt mit anderen Worten in besonders vorteilhafter Weise (auch), eine automatische Anpassung einer Assistenzfunktion an einen neuen Sensor/Optik (Kamera), da im Wesentlichen nur ein gewisser Szenenkatalog abgefahren werden muss, um eine Belichtungssteuerung der Kamera anzulernen.In other words, the solution presented here allows an automatic adaptation of an assistance function to a new sensor / optics (camera) in a particularly advantageous manner, since essentially only a certain scene catalog must be followed to teach an exposure control of the camera.

Das hier beschriebene neuronale Netz (welches zum automatischen Einstellen der Kamera trainiert wird), kann beispielsweise ein Bestandteil eines übergeordneten neuronalen Netzes sein, welches (auch) zum Analysieren eines Bildes, insbesondere mit dem Ziel mindestens ein Objekt in dem Bild zu erkennen, vorgesehen und eingerichtet ist. Darüber hinaus kann beispielsweise vorgesehen sein, dass das hier beschriebene neuronale Netz (welches zum automatischen Einstellen der Kamera trainiert wird), mit einem anderen neuronalen Netzes, welches (auch) zum Analysieren eines Bildes, insbesondere mit dem Ziel mindestens ein Objekt in dem Bild zu erkennen, vorgesehen und eingerichtet ist, verbunden und/oder verknüpft ist.The neural network described here (which is trained for the automatic setting of the camera) can, for example, be a component of a higher-level neural network which (also) is provided for analyzing an image, in particular with the aim of recognizing at least one object in the image is set up. In addition, it can be provided, for example, that the neural network described here (which is trained for automatically adjusting the camera) connects with another neural network which (also) for analyzing an image, in particular with the aim of at least one object in the image recognize, is provided and set up, connected and / or linked.

Nach Abschluss des Trainings kann die Ausgabe des (trainierten) neuronalen Netzes vorteilhaft genutzt werden, um insbesondere die Belichtung der Kamera zu steuern. Ein Verfahren, das hierzu besonders vorteilhaft beitragen kann, wird im Folgenden beschrieben.After completion of the training, the output of the (trained) neural network can be used advantageously, in particular to control the exposure of the camera. A method that can contribute particularly advantageously to this is described below.

Nach einem weiteren Aspekt wird ein Verfahren zur automatischen Einstellung einer Kamera (eines Fahrzeugs) mittels eines neuronalen Netzes vorgeschlagen, welches mit einem hier vorgestellten Trainingsverfahren trainiert wurde. Insbesondere gibt das trainierte neuronale Netz mindestens einen Kameraeinstellungsparameter (als Ausgangsgröße) aus.According to a further aspect, a method for automatically setting a camera (of a vehicle) by means of a neural network is proposed, which was trained using a training method presented here. In particular, the trained neural network outputs at least one camera setting parameter (as an output variable).

Dieses Verfahren zur automatischen Einstellung der Kamera kann beispielsweise folgende Schritte umfassen:

  1. i) Aufnehmen eines ersten Bildes mittels der Kamera,
  2. ii) Bereitstellen von Bilddaten des aufgenommenen ersten Bildes als Eingangsdaten für das (trainierte) neuronale Netz,
  3. iii) Ausgeben mindestens eines Kameraeinstellungsparameters als Ausgangsdaten des (trainierten) neuronalen Netzes.
This method for automatically setting the camera can include the following steps, for example:
  1. i) taking a first image using the camera,
  2. ii) providing image data of the recorded first image as input data for the (trained) neural network,
  3. iii) Output of at least one camera setting parameter as output data of the (trained) neural network.

Hieran kann sich als Schritt iv) ein Aufnehmen eines zweiten Bildes mittels der Kamera, wobei das zweite Bild mit dem in Schritt iii) ausgegebenen Kameraeinstellungsparameter aufgenommen wird, anschließen. Mit dem Schritt iv) kann das Verfahren auch als Verfahren zum Aufnehmen eines Bildes mittels einer (automatisch eingestellten) Kamera bezeichnet werden.This can be followed as step iv) by taking a second image by means of the camera, the second image being taken with the camera setting parameter output in step iii). With step iv), the method can also be referred to as a method for taking an image using an (automatically set) camera.

Das zweite Bild kann dann einem Fahrerassistenzsystem, einem Steuergerät des Fahrzeugs für das autonome Fahren oder einem übergeordneten oder verknüpften neuronalen Netz zur Verfügung gestellt werden. Das zweite Bild weist hierbei in der Regel eine deutlich bessere Bildqualität auf als das erste Bild. Dies lässt sich insbesondere dadurch erklären, dass das neuronale Netz den mindesten einen Kameraeinstellungsparameter automatisch an Gegebenheiten des ersten Bildes anpasst.The second image can then be made available to a driver assistance system, a control device of the vehicle for autonomous driving or a higher-level or linked neural network. The second image generally has a significantly better image quality than the first image. This can be explained in particular by the fact that the neural network automatically adjusts the at least one camera setting parameter to the conditions of the first image.

Insbesondere wird das trainierte neuronale Netz, welches in dem Verfahren zur automatischen Einstellung der Kamera zur Anwendung kommt, insbesondere während der Durchführung dieses Verfahrens und/oder eines regulären Betriebs nicht (weiter) trainiert. Dies bedeutet mit anderen Worten insbesondere, dass die Gewichte des trainierten neuronalen Netzes zur Durchführung des Verfahrens zur automatischen Einstellung der Kamera fest sind und ggf. erst wieder in einer erneuten Trainingsphase geändert werden.In particular, the trained neural network, which is used in the method for automatically adjusting the camera, is not (further) trained, in particular during the implementation of this method and / or regular operation. In other words, this means in particular that the weights of the trained neural network for carrying out the method for automatically setting the camera are fixed and may not be changed until a new training phase.

Nach einem weiteren Aspekt wird auch ein Computerprogramm vorgeschlagen, welches zur Durchführung eines hier vorgestellten Verfahrens eingerichtet ist. Dies betrifft mit anderen Worten insbesondere ein Computerprogramm(-produkt), umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein hier beschriebenes Verfahren auszuführen.According to a further aspect, a computer program is also proposed which is set up to carry out a method presented here. In other words, this relates in particular to a computer program (product) comprising instructions which, when the program is executed by a computer, cause the computer to carry out a method described here.

Nach einem weiteren Aspekt wird auch ein maschinenlesbares Speichermedium vorgeschlagen, auf dem das Computerprogramm gespeichert ist. Regelmäßig handelt es sich bei dem maschinenlesbaren Speichermedium um einen computerlesbaren Datenträger.According to a further aspect, a machine-readable storage medium on which the computer program is stored is also proposed. The machine-readable storage medium is usually a computer-readable data carrier.

Nach einem weiteren Aspekt wird auch ein Fahrzeug mit einem System vorgeschlagen, welches zur Durchführung eines hier vorgestellten Verfahrens eingerichtet ist. Bei dem Fahrzeug handelt es sich vorzugsweise um ein Fahrzeug, das für einen automatischen bzw. autonomen Betrieb eingerichtet ist. Insbesondere ist das Fahrzeug ein autonomes Automobil.According to a further aspect, a vehicle is also proposed with a system which is set up to carry out a method presented here. The vehicle is preferably a vehicle that is set up for automatic or autonomous operation. In particular, the vehicle is an autonomous automobile.

Das System kann eine Steuerung umfassen, die zur Durchführung eines hier vorgestellten Verfahrens vorgesehen und eingerichtet ist. Die Steuerung kann beispielsweise Bestandteil eines Steuergeräts für ein Fahrzeug sein. Bevorzugt ist die Steuerung Bestandteil eines Fahrzeugsteuergeräts für das automatisierte bzw. autonome Fahren. Das System kann darüber hinaus auch ein Fahrerassistenzsystem bilden oder umfassen.The system can include a controller which is provided and set up to carry out a method presented here. The controller can be part of a control device for a vehicle, for example. The control is preferably part of a vehicle control unit for automated or autonomous driving. The system can also form or include a driver assistance system.

Die im Zusammenhang mit dem Trainingsverfahren erörterten Details, Merkmale und vorteilhaften Ausgestaltungen können entsprechend auch bei dem hier vorgestellten Verfahren zur automatischen Einstellung einer Kamera, dem Computerprogramm, dem Speichermedium und/oder dem Fahrzeug auftreten und umgekehrt. Insoweit wird auf die dortigen Ausführungen zur näheren Charakterisierung der Merkmale vollumfänglich Bezug genommen.The details, features and advantageous configurations discussed in connection with the training method can accordingly also be used in the method for automatic adjustment of a camera presented here, the Computer program, the storage medium and / or the vehicle occur and vice versa. In this respect, full reference is made to the explanations given there for the more detailed characterization of the features.

Die hier vorgestellte Lösung sowie deren technisches Umfeld werden nachfolgend anhand der Figuren näher erläutert. Es ist darauf hinzuweisen, dass die Erfindung durch die gezeigten Ausführungsbeispiele nicht beschränkt werden soll. Insbesondere ist es, soweit nicht explizit anders dargestellt, auch möglich, Teilaspekte der in den Figuren erläuterten Sachverhalte zu extrahieren und mit anderen Bestandteilen und/oder Erkenntnissen aus anderen Figuren und/oder der vorliegenden Beschreibung zu kombinieren. Es zeigen schematisch:

  • 1: einen Ablauf eines hier vorgeschlagenen Trainingsverfahrens,
  • 2: eine beispielhafte Veranschaulichung eines möglichen Einsatzes eines hier vorgeschlagenen Verfahrens,
  • 3: eine beispielhafte Veranschaulichung eines neuronalen Netzes, und
  • 4: ein hier vorgeschlagenes Fahrzeug.
The solution presented here and its technical environment are explained in more detail below with reference to the figures. It should be pointed out that the invention is not intended to be limited by the exemplary embodiments shown. In particular, unless explicitly stated otherwise, it is also possible to extract partial aspects of the facts explained in the figures and to combine them with other components and / or knowledge from other figures and / or the present description. They show schematically:
  • 1 : a sequence of a training procedure proposed here,
  • 2nd : an exemplary illustration of a possible use of a method proposed here,
  • 3rd : an exemplary illustration of a neural network, and
  • 4th : a vehicle proposed here.

1 zeigt schematisch einen Ablauf eines hier vorgeschlagenen Trainingsverfahrens. 1. Das Trainingsverfahren dient zum Trainieren eines neuronalen Netzes 1 für eine automatische Einstellung einer Kamera 2. Das neuronale Netz 1 gibt mindestens einen Kameraeinstellungsparameter 3 aus. Die mit den Blöcken 110, 120, 130 und 140 dargestellte Reihenfolge der Schritte a), b), c) und d) ergibt sich in der Regel bei einem regulären Betriebsablauf. 1 shows schematically a sequence of a training method proposed here. 1 . The training procedure is used to train a neural network 1 for automatic camera adjustment 2nd . The neural network 1 gives at least one camera setting parameter 3rd out. The one with the blocks 110 , 120 , 130 and 140 The sequence of steps a), b), c) and d) shown is generally the result of a regular operating procedure.

In Block 110 erfolgt ein Aufnehmen eines Bildes 4 mittels der Kamera 2. In Block 120 erfolgt ein Bereitstellen von Bilddaten 5 des aufgenommenen Bildes 4 als Eingangsdaten 6 für das neuronale Netz 1. In Block 130 erfolgt ein Analysieren von Bilddaten 5 des aufgenommenen Bildes 4, mit dem Ziel mindestens ein Objekt 7 in dem Bild 4 zu erkennen. In Block 140 erfolgt ein Beeinflussen zumindest eines Teils des neuronalen Netzes 1 in Abhängigkeit davon, ob in Schritt c) mindestens ein Objekt erkannt wurde.In block 110 a picture is taken 4th using the camera 2nd . In block 120 image data is provided 5 of the captured image 4th as input data 6 for the neural network 1 . In block 130 image data is analyzed 5 of the captured image 4th , aiming at least one object 7 in the picture 4th to recognize. In block 140 there is an influencing of at least part of the neural network 1 depending on whether at least one object was recognized in step c).

2 zeigt schematisch eine beispielhafte Veranschaulichung eines möglichen Einsatzes eines hier vorgeschlagenen Verfahrens. Die Bezugszeichen werden einheitlich verwendet, sodass auf die vorangehenden Ausführungen zur 1 vollumfänglich Bezug genommen werden kann. 2nd schematically shows an exemplary illustration of a possible use of a method proposed here. The reference symbols are used uniformly, so that reference is made to the preceding explanations 1 full reference can be made.

Es ist ein Fahrzeug 8 mit einer Kamera 2 gezeigt. Die Kamera 2 hat ein Bild 4 aufgenommen. In dem Bild 4 konnten sieben Objekte 7, nämlich eine Straßenlaterne, drei weitere Fahrzeuge und drei Ampeln erkannt werden.It is a vehicle 8th with a camera 2nd shown. The camera 2nd has a picture 4th added. In the picture 4th could seven objects 7 , namely a street lamp, three other vehicles and three traffic lights are recognized.

Ein in diesem Zusammenhang möglicher Einsatz eines hier vorgeschlagenen Verfahrens kann mit anderen Worten insbesondere auch so beschreiben werden, dass ein Bild 4 von der Kamera 2 mit einer (ersten) Einstellung, insbesondere einem (ersten) Belichtungssetting aufgenommen wird. Die Einstellung (Belichtung) der Kamera 2 wird dabei durch das neuronale Netz 1 (vgl. 3) gesteuert, welches vorzugsweise ein (erstes) Bild 4 bzw. „Input-Bild“ analysiert und die Ausgabe des Netzes 1 ist mindestens ein Kameraeinstellungsparameter 3, insbesondere Belichtungsparameter der Kamera 2 für ein weiters (zweites) Bild 4 mit möglichst verbesserter Bildqualität.In other words, a possible use of a method proposed here in this context can in particular also be described as an image 4th from the camera 2nd with a (first) setting, in particular a (first) exposure setting. The setting (exposure) of the camera 2nd is through the neural network 1 (see. 3rd ) controlled, which is preferably a (first) image 4th or "input image" analyzed and the output of the network 1 is at least one camera setting parameter 3rd , especially exposure parameters of the camera 2nd for another (second) picture 4th with the best possible image quality.

3 zeigt schematisch eine beispielhafte Veranschaulichung eines neuronalen Netzes 1. Die Bezugszeichen werden einheitlich verwendet, sodass auf die vorangehenden Ausführungen zu den 1 und 2 vollumfänglich Bezug genommen werden kann. 3rd schematically shows an exemplary illustration of a neural network 1 . The reference symbols are used uniformly, so that reference is made to the preceding explanations relating to the 1 and 2nd full reference can be made.

Das (künstliche) neuronale Netz 1 gibt mindestens einen Kameraeinstellungsparameter 3 aus. Dabei kann es sich beispielsweise um eine Belichtungszeit handeln. Dem neuronalen Netz 1 werden Bilddaten 5 eines aufgenommenen Bildes als Eingangsdaten 6 zur Verfügung gestellt. Das neuronale Netz 1 umfasst hier beispielhaft fünf Gewichte 10, die während des Trainings verändert werden können.The (artificial) neural network 1 gives at least one camera setting parameter 3rd out. This can be an exposure time, for example. The neural network 1 become image data 5 a captured image as input data 6 made available. The neural network 1 includes five weights as an example 10th that can be changed during training.

4 zeigt schematisch ein hier vorgeschlagenes Fahrzeug 8. Das Fahrzeug weist ein System 9 auf, welches zur Durchführung eines hier vorgestellten Verfahrens eingerichtet ist. Das System 9 umfasst hier auch eine Kamera 2. 4th schematically shows a vehicle proposed here 8th . The vehicle has a system 9 which is set up to carry out a method presented here. The system 9 also includes a camera here 2nd .

Hier werden somit ein Trainingsverfahren für ein neuronales Netz für eine automatische Einstellung einer Kamera, ein Verfahren zur automatischen Einstellung einer Kamera mittels eines entsprechend trainierten neuronalen Netzes, ein Computerprogramm, ein maschinenlesbares Speichermedium sowie ein Fahrzeug angegeben, welche die mit Bezug auf den Stand der Technik geschilderten Probleme zumindest teilweise lösen. Insbesondere werden ein Trainingsverfahren für ein neuronales Netz für eine automatische Einstellung einer Kamera, ein Verfahren zur automatischen Einstellung einer Kamera mittels eines entsprechend trainierten neuronalen Netzes, ein Computerprogramm, ein maschinenlesbares Speichermedium sowie ein Fahrzeug angegeben werden, die keine zusätzlichen Referenzdaten zum Trainieren des neuronalen Netzes benötigen sowie eine möglichst geringe Systemkomplexität und geringe Kosten erlauben.A training method for a neural network for automatically setting a camera, a method for automatically setting a camera by means of a suitably trained neural network, a computer program, a machine-readable storage medium and a vehicle are thus specified here, which are those which relate to the prior art solve the problems described at least partially. In particular, a training method for a neural network for automatically setting a camera, a method for automatically setting a camera by means of a suitably trained neural network, a computer program, a machine-readable storage medium and a vehicle are specified which do not contain any additional reference data for training the neural network need and allow the lowest possible system complexity and low costs.

BezugszeichenlisteReference list

11
Neuronales NetzNeural network
22nd
Kameracamera
33rd
KameraeinstellungsparameterCamera setting parameters
44th
Bildpicture
55
BilddatenImage data
66
EingangsdatenInput data
77
Objektobject
88th
Fahrzeugvehicle
99
Systemsystem
1010th
GewichtWeight

Claims (10)

Trainingsverfahren für ein neuronales Netz (1) für eine automatische Einstellung einer Kamera (2), wobei das neuronale Netz (1) mindestens einen Kameraeinstellungsparameter (3) ausgibt, umfassend zumindest folgende Schritte: a) Aufnehmen eines Bildes (4) mittels der Kamera (2), b) Bereitstellen von Bilddaten (5) des aufgenommenen Bildes (4) als Eingangsdaten (6) für das neuronale Netz (1), c) Analysieren von Bilddaten (5) des aufgenommenen Bildes (4), mit dem Ziel mindestens ein Objekt (7) in dem Bild (4) zu erkennen, d) Beeinflussen zumindest eines Teils des neuronalen Netzes (1) in Abhängigkeit davon, ob in Schritt c) mindestens ein Objekt erkannt wurde.Training method for a neural network (1) for automatic setting of a camera (2), the neural network (1) outputting at least one camera setting parameter (3), comprising at least the following steps: a) taking an image (4) by means of the camera (2), b) providing image data (5) of the recorded image (4) as input data (6) for the neural network (1), c) analyzing image data (5) of the recorded image (4) with the aim of recognizing at least one object (7) in the image (4), d) influencing at least part of the neural network (1) depending on whether at least one object was detected in step c). Trainingsverfahren nach Anspruch 1, wobei zumindest die Schritte a) bis c) zumindest so oft wiederholt werden, bis in Schritt c) mindestens eine bestimmte Anzahl an Objekten (7) in dem Bild (4) erkannt wird.Training procedure after Claim 1 , wherein at least steps a) to c) are repeated at least as often until at least a certain number of objects (7) are recognized in the image (4) in step c). Trainingsverfahren nach Anspruch 1 oder 2, wobei in Schritt d) zumindest ein Teil des neuronalen Netzes (1) angepasst wird, wenn in Schritt c) eine Anzahl an Objekten (7) erkannt wurde, die unterhalb einer Mindestanzahl an Objekten (7) liegt.Training procedure after Claim 1 or 2nd , wherein in step d) at least part of the neural network (1) is adapted if a number of objects (7) was detected in step c) which is below a minimum number of objects (7). Trainingsverfahren nach einem der vorhergehenden Ansprüche, wobei das neuronale Netz (1) zumindest eine positive Belohnung erhält, wenn in Schritt c) eine Anzahl an Objekten (7) erkannt wurde, die größer oder gleich einer Mindestanzahl an Objekten (7) ist oder eine negative Belohnung erhält, wenn in Schritt c) eine Anzahl an Objekten (7) erkannt wurde, die kleiner als die Mindestanzahl an Objekten (7) ist.Training method according to one of the preceding claims, wherein the neural network (1) receives at least a positive reward if a number of objects (7) was detected in step c) that is greater than or equal to a minimum number of objects (7) or a negative one Reward is given if a number of objects (7) was detected in step c) that is smaller than the minimum number of objects (7). Trainingsverfahren nach Anspruch 4, wobei eine Intensität zumindest der positiven Belohnung oder der negativen Belohnung von der Anzahl erkannter Objekte (7) abhängig ist.Training procedure after Claim 4 , wherein an intensity of at least the positive reward or the negative reward depends on the number of detected objects (7). Trainingsverfahren nach einem der vorhergehenden Ansprüche, wobei Bilder (4) in verschiedenen Szenarien aus einem vorbestimmten Szenarien-Katalog aufgenommen werden.Training method according to one of the preceding claims, wherein images (4) are recorded in different scenarios from a predetermined scenario catalog. Verfahren zur automatischen Einstellung einer Kamera (2) mittels eines neuronalen Netzes (1), welches mit einem Trainingsverfahren nach einem der vorhergehenden Ansprüche trainiert wurde.Method for automatically setting a camera (2) by means of a neural network (1) which has been trained using a training method according to one of the preceding claims. Computerprogramm, welches zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.Computer program which is set up to carry out a method according to one of the preceding claims. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 8 gespeichert ist.Machine-readable storage medium on which the computer program according Claim 8 is saved. Fahrzeug (8) mit einem System (9), welches zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 7 eingerichtet ist.Vehicle (8) with a system (9) which is used to carry out a method according to one of the Claims 1 to 7 is set up.
DE102018126112.8A 2018-10-19 2018-10-19 Training method for a neural network for automatic adjustment of a camera Pending DE102018126112A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018126112.8A DE102018126112A1 (en) 2018-10-19 2018-10-19 Training method for a neural network for automatic adjustment of a camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018126112.8A DE102018126112A1 (en) 2018-10-19 2018-10-19 Training method for a neural network for automatic adjustment of a camera

Publications (1)

Publication Number Publication Date
DE102018126112A1 true DE102018126112A1 (en) 2020-04-23

Family

ID=70468329

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018126112.8A Pending DE102018126112A1 (en) 2018-10-19 2018-10-19 Training method for a neural network for automatic adjustment of a camera

Country Status (1)

Country Link
DE (1) DE102018126112A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084925A (en) * 2020-09-03 2020-12-15 厦门利德集团有限公司 Intelligent electric power safety monitoring method and system
CN112911139A (en) * 2021-01-15 2021-06-04 广州富港生活智能科技有限公司 Article shooting method and device, electronic equipment and storage medium
EP3945452A1 (en) * 2020-07-27 2022-02-02 Deutsche Telekom AG Method for optimisng sensor parameters

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8525728B2 (en) * 2008-06-25 2013-09-03 Autoliv Development Ab Method of detecting object in the vicinity of a vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8525728B2 (en) * 2008-06-25 2013-09-03 Autoliv Development Ab Method of detecting object in the vicinity of a vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG, H. [et al.] Personalized Exposure Control Using Adaptive Metering and Reinforcement Learning., IEEE Transactions on Visualization and Computer Graphics (Early Access), 15 August 2018, pp. 1-1, IEEE Xplore [online], DOI: 10.1109/TVCG.2018.2865555 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3945452A1 (en) * 2020-07-27 2022-02-02 Deutsche Telekom AG Method for optimisng sensor parameters
CN112084925A (en) * 2020-09-03 2020-12-15 厦门利德集团有限公司 Intelligent electric power safety monitoring method and system
CN112911139A (en) * 2021-01-15 2021-06-04 广州富港生活智能科技有限公司 Article shooting method and device, electronic equipment and storage medium

Similar Documents

Publication Publication Date Title
DE102009036844B4 (en) Exposure determining device and image processing device
DE102007034657B4 (en) Image processing device
DE102018126112A1 (en) Training method for a neural network for automatic adjustment of a camera
DE102018206805B3 (en) A method, apparatus and computer program for predicting a future movement of an object
EP3291172B1 (en) Method for calculating final image data
DE102014002134A1 (en) Device for detecting a lighting environment of a vehicle and control method thereof
DE102009049665A1 (en) A light source discrimination device, a light source discrimination program, a vehicle recognition device and a light control device
DE102012210157A1 (en) Method and device for operating a headlamp for a motor vehicle
EP3644239A1 (en) Device and method for abstracting a dataset
DE102019220171A1 (en) Conversion of input image data from a plurality of vehicle cameras of an all-round vision system into optimized output image data
DE102019214200A1 (en) Translation of training data between observation modalities
DE102008026876A1 (en) Stereo camera system and method for determining at least one calibration error of a stereo camera system
EP3253045A1 (en) Method for detecting and correcting image errors and image processing unit and computer programme for same
EP3748454B1 (en) Method and device for automatically executing a control function of a vehicle
DE102012214637A1 (en) Method for adjusting light emitting characteristic of headlamp to illuminate environment of vehicle, involves determining luminance characteristic of headlamp based on light distribution and default value for light distribution
DE102017210415B4 (en) A method for providing an image mask for the delineation of a region of interest in a camera image of an environment camera of a motor vehicle and control device, environment camera and motor vehicle
EP2539851B1 (en) Method and apparatus for analysing an image from an image capture device for a vehicle
DE102018132627A1 (en) Method for capturing an environment of a motor vehicle by means of temporal fusion of images through an artificial neural network; Control unit, driver assistance system; Computer program product
DE102021200643B3 (en) Method for environment recognition for semi-autonomous or autonomous driving functions of a motor vehicle using a neural network
DE102014107195A1 (en) Lighting system for a vehicle and method for controlling a headlamp assembly of such a lighting system
DE102015216362A1 (en) Communicating headlights of several vehicles
DE10318499A1 (en) Adjustment of an illumination parameter of an image sensor, e.g. a camera in a motor vehicle, whereby the brightness distribution in at least a selected image section is used a characteristic value for making the adjustment
EP3985565A1 (en) Method and device for checking an ai-based information processing system used in partially automated or fully automated control of a vehicle
DE102018124015B4 (en) System and method for capturing images
DE102021117615A1 (en) METHOD OF OPERATING A PARKING ASSISTANCE SYSTEM, COMPUTER PROGRAM PRODUCT, PARKING ASSISTANCE SYSTEM AND VEHICLE

Legal Events

Date Code Title Description
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: CARIAD SE, DE

Free format text: FORMER OWNER: HELLA GMBH & CO. KGAA, 59557 LIPPSTADT, DE

Owner name: CAR.SOFTWARE ESTONIA AS, EE

Free format text: FORMER OWNER: HELLA GMBH & CO. KGAA, 59557 LIPPSTADT, DE

R082 Change of representative
R081 Change of applicant/patentee

Owner name: CARIAD SE, DE

Free format text: FORMER OWNER: CAR.SOFTWARE ESTONIA AS, TALLINN, EE