DE102019121919A1

DE102019121919A1 - Identification of soiling on a roadway

Info

Publication number: DE102019121919A1
Application number: DE102019121919.1A
Authority: DE
Inventors: Brian Finan; Michael Buckley
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2019-08-14
Filing date: 2019-08-14
Publication date: 2021-02-18

Abstract

Ein Verfahren zum Identifizieren von Verschmutzungen (14) auf einer Fahrbahn ist angegeben, wobei ein erster Bilddatensatz mithilfe eines Kamerasystems (6) generiert wird, der ein erstes Bild (4) einer Oberfläche der Fahrbahn darstellt. Der erste Bilddatensatz wird durch ein Klassifizierungsmodul (13) mithilfe eines trainierten künstlichen neuronalen Netzes analysiert. Eine positive Klasse wird dem ersten Bilddatensatz durch das Klassifizierungsmodul (13) zugewiesen, wenn festgestellt wird, dass eine Verschmutzung (14) auf der Oberfläche der Fahrbahn vorhanden ist. Ein erstes Warnsignal wird generiert, wenn die positive Klasse dem ersten Bilddatensatz zugewiesen wurde.A method for identifying soiling (14) on a roadway is specified, a first image data set being generated with the aid of a camera system (6) which represents a first image (4) of a surface of the roadway. The first image data set is analyzed by a classification module (13) with the aid of a trained artificial neural network. A positive class is assigned to the first image data set by the classification module (13) if it is determined that soiling (14) is present on the surface of the roadway. A first warning signal is generated when the positive class has been assigned to the first image data set.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Identifizieren von Verschmutzungen auf einer Fahrbahn sowie ein entsprechendes Sicherheitssystem für ein Kraftfahrzeug, ein Computerprogramm und ein computerlesbares Speichermedium.The present invention relates to a method for identifying soiling on a roadway and to a corresponding safety system for a motor vehicle, a computer program and a computer-readable storage medium.

Verschmutzungen auf Fahrbahnoberflächen können potentielle Risiken für ein Kraftfahrzeug darstellen. Insbesondere, wenn das Kraftfahrzeug über die Verschmutzung fährt und gleichzeitig ein Lenk- oder Bremsmanöver durchgeführt wird, kann das Kraftfahrzeug ins Schlittern oder Schleudern kommen.Soiling on road surfaces can represent potential risks for a motor vehicle. In particular, when the motor vehicle drives over the dirt and a steering or braking maneuver is carried out at the same time, the motor vehicle can slide or skid.

Um eine angemessene Reaktion auf derartige Verschmutzungen auf der Fahrbahnoberfläche zu ermöglichen, ist es wünschenswert, die Verschmutzungen auf automatisierte Weise zu identifizieren.In order to enable an adequate response to such contamination on the road surface, it is desirable to identify the contamination in an automated manner.

Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zum Identifizieren von Verschmutzungen auf einer Fahrbahn anzugeben, um die Sicherheit im Straßenverkehr zu erhöhen.Against this background, it is an object of the present invention to provide an improved concept for identifying soiling on a roadway in order to increase safety in road traffic.

Gemäß der vorliegenden Erfindung wird diese Aufgabe durch ein Verfahren und ein Sicherheitssystem sowie ein Computerprogramm gemäß den unabhängigen Ansprüchen gelöst. Weitere Ausführungsformen und vorteilhafte Weiterentwicklungen sind Gegenstand der Unteransprüche.According to the present invention, this object is achieved by a method and a security system and a computer program according to the independent claims. Further embodiments and advantageous developments are the subject of the subclaims.

Das verbesserte Konzept basiert auf der Idee, ein Kamerabild der Fahrbahn mithilfe eines künstlichen neuronalen Netzes zu analysieren und ein Warnsignal zu generieren, wenn durch die Analyse festgestellt wird, dass eine Verschmutzung auf der Oberfläche der Fahrbahn vorhanden ist.The improved concept is based on the idea of analyzing a camera image of the road with the help of an artificial neural network and generating a warning signal if the analysis determines that there is contamination on the surface of the road.

Gemäß einem ersten unabhängigen Aspekt des verbesserten Konzepts ist ein Verfahren zum Identifizieren von Verschmutzungen auf einer Fahrbahn angegeben. Dabei wird ein erster Bilddatensatz mithilfe eines Kamerasystems eines Kraftfahrzeugs generiert, der ein erstes Bild einer Oberfläche der Fahrbahn darstellt. Der erste Bilddatensatz wird durch ein Klassifizierungsmodul, insbesondere eines Computersystems des Kraftfahrzeugs, mithilfe eines trainierten künstlichen neuronalen Netzes, insbesondere des Klassifizierungsmoduls, analysiert. Eine von einer oder mehreren positiven Klassen wird dem ersten Bilddatensatz durch das Klassifizierungsmodul zugewiesen, wenn durch die Analyse festgestellt wird, dass eine Verschmutzung auf der Oberfläche der Fahrbahn vorhanden ist. Ein erstes Warnsignal wird mithilfe eines Computersystems des Kraftfahrzeugs generiert, insbesondere generiert und ausgegeben, wenn dem ersten Bilddatensatz eine der positiven Klassen zugewiesen wurde.According to a first independent aspect of the improved concept, a method for identifying soiling on a roadway is specified. A first image data set is generated with the aid of a camera system of a motor vehicle, which represents a first image of a surface of the roadway. The first image data set is analyzed by a classification module, in particular a computer system of the motor vehicle, with the aid of a trained artificial neural network, in particular the classification module. One of one or more positive classes is assigned to the first image data set by the classification module if the analysis determines that there is contamination on the surface of the roadway. A first warning signal is generated, in particular generated and output, with the aid of a computer system of the motor vehicle, when one of the positive classes has been assigned to the first image data set.

Insbesondere kann das Computersystem eine oder mehrere Hardwarekomponenten und eine oder mehrere Softwarekomponenten umfassen.In particular, the computer system can comprise one or more hardware components and one or more software components.

Das Klassifizierungsmodul ist insbesondere ein Softwaremodul, das in dem Computersystem beinhaltet ist, und das insbesondere für eine Bildanalyse ausgelegt oder programmiert und/oder trainiert ist.The classification module is in particular a software module which is contained in the computer system and which is designed or programmed and / or trained in particular for image analysis.

Das trainierte künstliche neuronale Netz ist insbesondere ein Bestandteil des Klassifizierungsmoduls, d. h. ebenfalls ein Softwaremodul, insbesondere ein Softwareteilmodul des Klassifizierungsmoduls.The trained artificial neural network is in particular a component of the classification module, i. H. also a software module, in particular a software sub-module of the classification module.

Die Analyse des ersten Bilddatensatzes mithilfe des neuronalen Netzes umfasst insbesondere die Anwendung eines Klassifizierungsalgorithmus auf den ersten Bilddatensatz.The analysis of the first image data set with the aid of the neural network includes, in particular, the application of a classification algorithm to the first image data set.

Dass durch die Analyse festgestellt wird, dass die Verschmutzung auf der Oberfläche der Fahrbahn vorhanden ist, kann beispielsweise derart verstanden sein, dass eine der positiven Klassen als eine Klasse, die dem ersten Bilddatensatz entspricht, mit einem vordefinierten Mindestkonfidenzwert oder mit einer vordefinierten Mindestwahrscheinlichkeit basierend auf dem Klassifizierungsalgorithmus identifiziert wurde.The fact that the analysis determines that the contamination is present on the surface of the roadway can be understood, for example, in such a way that one of the positive classes is considered to be a class that corresponds to the first image data set, with a predefined minimum confidence value or with a predefined minimum probability based on the classification algorithm was identified.

Gemäß der Analyse des ersten Bilddatensatzes oder basierend auf dem Klassifizierungsalgorithmus kann der erste Bilddatensatz grundsätzlich einer von mehreren Klassen zugewiesen werden. Die Klassen des Klassifizierungsalgorithmus umfassen die eine oder die mehreren positiven Klassen sowie beispielsweise eine negative Klasse und beispielsweise eine Unentscheidbarkeitsklasse.According to the analysis of the first image data set or based on the classification algorithm, the first image data set can in principle be assigned to one of several classes. The classes of the classification algorithm include the one or more positive classes and, for example, a negative class and, for example, an undecidable class.

Zum Beispiel können die Klassen genau eine positive Klasse und genau eine negative Klasse beinhalten. In diesem Fall wird dem ersten Bilddatensatz beispielsweise die positive Klasse zugewiesen, wenn eine Verschmutzung auf der Oberfläche vorhanden ist, und die negative Klasse wird zugewiesen, wenn keine Verschmutzung auf der Oberfläche vorhanden ist.For example, the classes can contain exactly one positive class and exactly one negative class. In this case, the first image data set is assigned the positive class, for example, if there is dirt on the surface, and the negative class is assigned if there is no pollution on the surface.

Alternativ können die Klassen mehrere positive Klassen beinhalten. Wenn festgestellt wird, dass eine Verschmutzung auf der Oberfläche vorhanden ist, wird dem ersten Bilddatensatz eine der positiven Klassen zugewiesen, wobei eine entsprechende der positiven Klassen anhand weiterer Kriterien ausgewählt wird, beispielsweise anhand von Eigenschaften der Verschmutzung.Alternatively, the classes can contain several positive classes. If it is determined that there is dirt on the surface, one of the positive classes is assigned to the first image data set, a corresponding one of the positive classes being selected on the basis of further criteria, for example on the basis of properties of the pollution.

Wenn die Klassen eine Unentscheidbarkeitsklasse beinhalten, kann die Unentscheidbarkeitsklasse zum Beispiel dem ersten Bilddatensatz zugewiesen werden, wenn weder das Vorhandensein einer Verschmutzung auf der Oberfläche mit einer ausreichenden Wahrscheinlichkeit angenommen werden kann, noch dass keine Verschmutzung vorhanden ist.If the classes contain an undecidability class, the undecidability class can be assigned to the first image data set, for example, if neither the presence of pollution on the surface can be assumed with a sufficient probability, nor that no pollution is present.

Hier und im Folgenden kann die Verschmutzung beispielsweise als eine vordefinierte Verschmutzung, d. h. eine Verschmutzung einer vordefinierten Art und/oder mit vordefinierten Eigenschaften, verstanden sein. Zum Beispiel kann eine Verschmutzung Öl bzw. Kraftstoff, Öl- bzw. Kraftstoffrückstände oder Öl- bzw. Kraftstoffspuren auf der Fahrbahn sein.Here and in the following, the pollution can be, for example, a predefined pollution, i.e. H. a pollution of a predefined type and / or with predefined properties. For example, contamination can be oil or fuel, oil or fuel residues or oil or fuel traces on the roadway.

Dies bedeutet insbesondere, dass dem ersten Bilddatensatz keine der positiven Klassen zugewiesen wird, wenn festgestellt wird, dass eine andere Verschmutzung auf der Fahrbahnoberfläche vorhanden ist, die nicht von der vordefinierten Art ist. Für eine entsprechende Definition davon, was als Verschmutzung der vordefinierten Art betrachtet werden soll und was nicht, kann das neuronale Netz insbesondere entsprechend trainiert werden, beispielsweise auf eine überwachte Weise trainiert werden.This means, in particular, that none of the positive classes is assigned to the first image data set if it is determined that there is other contamination on the road surface that is not of the predefined type. For a corresponding definition of what is to be regarded as pollution of the predefined type and what is not, the neural network can in particular be trained accordingly, for example trained in a monitored manner.

Gemäß einem Verfahren gemäß dem verbesserten Konzept wird eine zuverlässige und effiziente Identifizierung von Verschmutzungen ermöglicht. Zum Beispiel hat sich herausgestellt, dass Öl- oder Kraftstoffrückstände mit einem Konfidenzwert von über 90 Prozent bezogen auf ein trainiertes künstliches neuronales Netz gemäß dem verbesserten Konzept identifiziert werden können. Außerdem ist eine relativ niedrige Abtastrate der Umgebung des Kraftfahrzeugs, d. h. eine Rate, mit der der erste Bilddatensatz generiert wird, ausreichend, da Verschmutzungen statische Objekte sind. Zum Beispiel kann eine Rate von einer oder einigen wenigen Abtastungen pro Sekunde ausreichend sein.According to a method according to the improved concept, a reliable and efficient identification of contamination is made possible. For example, it has been found that oil or fuel residues can be identified with a confidence value of over 90 percent based on a trained artificial neural network according to the improved concept. In addition, a relatively low sampling rate of the surroundings of the motor vehicle, i. H. a rate at which the first image data set is generated is sufficient, since soiling is static objects. For example, a rate of one or a few samples per second may be sufficient.

Durch die zuverlässige Identifizierung von Verschmutzungen auf der Oberfläche der Fahrbahn kann eine angemessene Warnung oder optional eine Reaktion durch das Kraftfahrzeug, durch weitere Kraftfahrzeuge oder durch andere Verkehrsteilnehmer bewirkt werden, was schließlich zu einer erhöhten Sicherheit im Straßenverkehr beiträgt.The reliable identification of soiling on the surface of the roadway enables an appropriate warning or, optionally, a reaction to be brought about by the motor vehicle, by other motor vehicles or by other road users, which ultimately contributes to increased road safety.

Gemäß mindestens einer Ausführungsform des Verfahrens gemäß dem verbesserten Konzept umfassen die Klassen mindestens zwei positive Klassen und das erste Warnsignal wird in Abhängigkeit davon generiert, welche der positiven Klassen dem ersten Bilddatensatz zugewiesen wurde. Dies bedeutet insbesondere, dass ein Inhalt des ersten Warnsignals unterschiedlich sein kann, je nachdem, welche positive Klasse zugewiesen wurde.According to at least one embodiment of the method according to the improved concept, the classes comprise at least two positive classes and the first warning signal is generated as a function of which of the positive classes was assigned to the first image data set. This means in particular that a content of the first warning signal can be different depending on which positive class was assigned.

Gemäß mindestens einer Ausführungsform werden die Schritte Generieren des ersten Bilddatensatzes und Analysieren des ersten Bilddatensatzes wiederholt durchgeführt. Zum Beispiel wird durch das Klassifizierungsmodul nur dann festgestellt, dass eine Verschmutzung auf der Oberfläche der Fahrbahn vorhanden ist, wenn sich dies aus den jeweiligen Analyseschritten einer vordefinierten Mindestanzahl von aufeinanderfolgenden Wiederholungen ergibt.According to at least one embodiment, the steps of generating the first image data set and analyzing the first image data set are carried out repeatedly. For example, the classification module only determines that contamination is present on the surface of the roadway if this results from the respective analysis steps of a predefined minimum number of successive repetitions.

Gemäß mindestens einer Ausführungsform wird ein Warnhinweis mithilfe einer Benutzerschnittstelle des Kraftfahrzeugs in Abhängigkeit von dem ersten Warnsignal, insbesondere ein Warnhinweis für einen Fahrer oder Benutzer des Kraftfahrzeugs, ausgegeben.According to at least one embodiment, a warning is output with the aid of a user interface of the motor vehicle as a function of the first warning signal, in particular a warning for a driver or user of the motor vehicle.

Der Warnhinweis kann beispielsweise ein akustisches Signal, ein optisches oder visuelles Signal und/oder ein haptisches Signal umfassen.The warning can for example include an acoustic signal, an optical or visual signal and / or a haptic signal.

Anhand des Warnhinweises kann der Fahrer des Kraftfahrzeugs beispielsweise angemessen auf die Verschmutzung auf der Fahrbahnoberfläche reagieren. Zum Beispiel kann eine angemessene Reaktion ein moderates Bremsen, ein Unterlassen einer Beschleunigung oder einer übermäßigen Lenkaktion oder ein Erhöhen eines Abstands des Kraftfahrzeugs zu einem weiteren Kraftfahrzeug umfassen. Dadurch kann die Sicherheit im Straßenverkehr weiter erhöht werden.On the basis of the warning, the driver of the motor vehicle can, for example, react appropriately to the contamination on the road surface. For example, an appropriate response may include moderate braking, failure to accelerate or excessive steering action, or increasing a distance between the motor vehicle and another motor vehicle. This can further increase road safety.

Gemäß mindestens einer Ausführungsform umfasst die Benutzerschnittstelle eine Bildanzeigeeinheit, beispielsweise eine Anzeige, welche ausgelegt ist, das erste Bild der Oberfläche der Fahrbahn darzustellen. Dabei kann beispielsweise der Warnhinweis ein Markieren der Verschmutzung in der Darstellung umfassen. Zum Beispiel kann ein Rahmen der Verschmutzung überlagert oder um die Verschmutzung angezeigt werden.According to at least one embodiment, the user interface comprises an image display unit, for example a display, which is designed to show the first image of the surface of the roadway. For example, the warning notice can include a marking of the contamination in the display. For example, a frame of the pollution can be overlaid or displayed around the pollution.

Gemäß mindestens einer Ausführungsform wird ein automatisierter Eingriff in eine Steuerung des Kraftfahrzeugs in Abhängigkeit von dem ersten Warnsignal mithilfe eines elektronischen Fahrzeugführungssystems des Kraftfahrzeugs eingeleitet.According to at least one embodiment, an automated intervention in a control of the motor vehicle is initiated as a function of the first warning signal with the aid of an electronic vehicle guidance system of the motor vehicle.

Hier und im Folgenden kann ein elektronisches System, das ausgelegt ist, ein Kraftfahrzeug vollautomatisch oder vollständig autonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist, als ein elektronisches Fahrzeugführungssystem verstanden sein. Dabei führt das Kraftfahrzeug nach Bedarf erforderliche Lenk-, Brems- und/oder Beschleunigungsmanöver autonom und vollautomatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem zum Implementieren eines vollautomatischen oder vollständig autonomen Fahrmodus des Kraftfahrzeugs gemäß Stufe 5 der Klassifizierung nach SAE J3016 dienen. Ein fortschrittliches Fahrerassistenzsystem (ADAS, Advanced Driver Assistance System), das einen Fahrer bei einem teilweise automatisierten oder teilweise autonomen Fahren eines Kraftfahrzeugs unterstützt, kann ebenfalls als ein elektronisches Fahrzeugführungssystem verstanden sein. Insbesondere kann das elektronische Fahrzeugführungssystem zum Implementieren eines teilweise automatisierten oder teilweise autonomen Fahrmodus des Kraftfahrzeugs gemäß den Stufen 1 bis 4 der Klassifizierung nach SAE J3016 dienen. Hier und im Folgenden bezeichnet SAE J3016 den jeweiligen Standard datierend Juni 2018.Here and below, an electronic system that is designed to drive a motor vehicle fully automatically or fully autonomously, in particular without the need for a driver to intervene in a controller, can be understood as an electronic vehicle guidance system. The motor vehicle carries out required steering, braking and / or acceleration maneuvers autonomously and fully automatically as required. In particular, the electronic vehicle guidance system can implement a fully automatic or fully autonomous driving mode of the motor vehicle according to level 5 serve the classification according to SAE J3016. An advanced driver assistance system (ADAS, Advanced Driver Assistance System) that supports a driver in partially automated or partially autonomous driving of a motor vehicle can likewise be understood as an electronic vehicle guidance system. In particular, the electronic vehicle guidance system can be used to implement a partially automated or partially autonomous driving mode of the motor vehicle according to the stages 1 to 4th serve the classification according to SAE J3016. Here and in the following, SAE J3016 refers to the respective standard dated June 2018.

Der Eingriff in die Steuerung des Kraftfahrzeugs kann beispielsweise einen Eingriff in ein Lenksystem des Kraftfahrzeugs und/oder einen Eingriff in ein Bremssystem des Kraftfahrzeugs umfassen.The intervention in the control of the motor vehicle can for example include an intervention in a steering system of the motor vehicle and / or an intervention in a braking system of the motor vehicle.

Der automatisierte Eingriff kann insbesondere ein Bremsmanöver umfassen. Der automatisierte Eingriff kann auch ein Begrenzen einer Beschleunigung oder von Lenkaktionen oder ein Erhöhen des Abstands des Kraftfahrzeugs zu dem weiteren Fahrzeug umfassen.The automated intervention can in particular include a braking maneuver. The automated intervention can also include limiting acceleration or steering actions or increasing the distance between the motor vehicle and the further vehicle.

Dementsprechend kann das verbesserte Konzept auch vorteilhaft bei teilweise automatisierten oder vollständig automatisierten Kraftfahrzeugen eingesetzt werden.Accordingly, the improved concept can also be used advantageously in partially automated or fully automated motor vehicles.

Gemäß mindestens einer Ausführungsform wird ein Informationssignal mithilfe einer Kommunikationsschnittstelle des Kraftfahrzeugs in Abhängigkeit von dem ersten Warnsignal ausgegeben.According to at least one embodiment, an information signal is output with the aid of a communication interface of the motor vehicle as a function of the first warning signal.

Die Kommunikationsschnittstelle ist insbesondere für eine Fahrzeug-zu-Fahrzeug-Kommunikation (auch „Car-to-Car“, C2C) und/oder für eine Fahrzeug-zu-Umgebungs-Kommunikation („Vehicle-to Environment“ oder auch „Carto-X“, C2X) ausgelegt.The communication interface is in particular for vehicle-to-vehicle communication (also “Car-to-Car”, C2C) and / or for vehicle-to-environment communication (“Vehicle-to-Environment” or also “Carto-X”) ", C2X).

Zum Beispiel kann das Informationssignal zu weiteren Kraftfahrzeugen innerhalb einer Umgebung des Kraftfahrzeugs, insbesondere innerhalb eines vordefinierten tatsächlichen Aktionsradius des Kraftfahrzeugs, kommuniziert werden, um die weiteren Kraftfahrzeuge oder die Fahrer davon zu warnen oder um sie auf die Verschmutzung aufmerksam zu machen. Alternativ oder zusätzlich kann das Informationssignal auch an eine Infrastrukturvorrichtung, zum Beispiel eine Behörde, kommuniziert werden. Basierend darauf kann eine entsprechende Aktion zum Sichern der Verschmutzungsstelle oder zum Beseitigen der Verschmutzung eingeleitet werden.For example, the information signal can be communicated to other motor vehicles within the surroundings of the motor vehicle, in particular within a predefined actual radius of action of the motor vehicle, in order to warn the other motor vehicles or the drivers thereof or to make them aware of the pollution. Alternatively or additionally, the information signal can also be communicated to an infrastructure device, for example an authority. Based on this, a corresponding action can be initiated to secure the point of contamination or to remove the contamination.

Zum Beispiel kann das Informationssignal Positionsdaten, zum Beispiel GNSS-Positionskoordinaten, der Verschmutzung umfassen.For example, the information signal can include position data, for example GNSS position coordinates, of the pollution.

Die Positionsdaten können dann beispielsweise durch das weitere Kraftfahrzeug über eine Benutzerschnittstelle des weiteren Kraftfahrzeugs angezeigt werden.The position data can then, for example, be displayed by the further motor vehicle via a user interface of the further motor vehicle.

Gemäß mindestens einer Ausführungsform wird ein Farbspektrum des ersten Bilddatensatzes mithilfe des trainierten künstlichen neuronalen Netzes, insbesondere mithilfe einer entsprechenden Schicht des neuronalen Netzes, zur Analyse des ersten Bilddatensatzes analysiert.According to at least one embodiment, a color spectrum of the first image data set is analyzed with the aid of the trained artificial neural network, in particular with the aid of a corresponding layer of the neural network, in order to analyze the first image data set.

Gemäß mindestens einer Ausführungsform wird eine Oberflächenstruktur der Oberfläche der Fahrbahn mithilfe des trainierten künstlichen neuronalen Netzes, insbesondere mithilfe einer entsprechenden Schicht des neuronalen Netzes, zur Analyse des ersten Bilddatensatzes analysiert.According to at least one embodiment, a surface structure of the surface of the roadway is analyzed with the aid of the trained artificial neural network, in particular with the aid of a corresponding layer of the neural network, in order to analyze the first image data set.

Gemäß mindestens einer Ausführungsform wird ein Kontrastgehalt des ersten Bilddatensatzes mithilfe des trainierten künstlichen neuronalen Netzes, insbesondere mithilfe einer entsprechenden Schicht des neuronalen Netzes, zur Analyse des ersten Bilddatensatzes analysiert.According to at least one embodiment, a contrast content of the first image data set is analyzed with the aid of the trained artificial neural network, in particular with the aid of a corresponding layer of the neural network, in order to analyze the first image data set.

Gemäß mindestens einer Ausführungsform wird eine Helligkeitsinformation des ersten Bilddatensatzes mithilfe des trainierten künstlichen neuronalen Netzes, insbesondere mithilfe einer entsprechenden Schicht des neuronalen Netzes, zur Analyse des ersten Bilddatensatzes analysiert.According to at least one embodiment, brightness information of the first image data set is analyzed with the aid of the trained artificial neural network, in particular with the aid of a corresponding layer of the neural network, in order to analyze the first image data set.

Gemäß mindestens einer Ausführungsform werden Reflexionseigenschaften der Oberfläche der Fahrbahn mithilfe des trainierten künstlichen neuronalen Netzes, insbesondere mithilfe einer entsprechenden Schicht des neuronalen Netzes, zur Analyse des ersten Bilddatensatzes analysiert.According to at least one embodiment, reflection properties of the surface of the roadway are analyzed with the aid of the trained artificial neural network, in particular with the aid of a corresponding layer of the neural network, in order to analyze the first image data set.

Die genannten Parameter zur Analyse des ersten Bilddatensatzes sind, einzeln oder in Kombination miteinander, geeignet, um die Verschmutzung, insbesondere das Öl oder den Kraftstoff, auf der Fahrbahnoberfläche zu identifizieren.The parameters mentioned for analyzing the first image data set, individually or in combination with one another, are suitable for identifying the contamination, in particular the oil or the fuel, on the road surface.

Gemäß mindestens einer Ausführungsform wird die negative Klasse dem ersten Bilddatensatz mithilfe des Klassifizierungsmoduls zugewiesen, wenn, insbesondere wenn und nur wenn, durch die Analyse festgestellt wird, dass keine Verschmutzung auf der Oberfläche der Fahrbahn vorhanden ist.According to at least one embodiment, the negative class is assigned to the first image data set with the aid of the classification module if, in particular if and only if, it is determined by the analysis that there is no soiling on the surface of the roadway.

Wie oben erläutert, bedeutet, dass keine Verschmutzung auf der Fahrbahnoberfläche vorhanden ist, insbesondere, dass keine vordefinierte Verschmutzung auf der Fahrbahnoberfläche, insbesondere kein Öl oder Kraftstoff, vorhanden ist.As explained above, means that there is no pollution on the road surface, in particular that there is no predefined There is pollution on the road surface, especially no oil or fuel.

Gemäß mindestens einer Ausführungsform werden die beschriebenen Schritte des Verfahrens, insbesondere das Generieren und das Analysieren des ersten Bilddatensatzes, wiederholt durchgeführt, wobei das erste Warnsignal nicht generiert wird, solange dem ersten Bilddatensatz die negative Klasse zugewiesen ist, und das erste Warnsignal generiert wird, sobald dem ersten Bilddatensatz die positive Klasse oder die eine positive Klasse der einen oder mehreren positiven Klassen zugewiesen wird.According to at least one embodiment, the described steps of the method, in particular the generation and analysis of the first image data set, are carried out repeatedly, the first warning signal not being generated as long as the negative class is assigned to the first image data set and the first warning signal is generated as soon as the positive class or the one positive class of the one or more positive classes is assigned to the first image data set.

Gemäß mindestens einer Ausführungsform wird die eine positive Klasse der einen oder mehreren positiven Klassen dem ersten Bilddatensatz mithilfe des Klassifizierungsmoduls in Abhängigkeit von einer Position und/oder Form und/oder Größe der Verschmutzung zugewiesen.According to at least one embodiment, the one positive class of the one or more positive classes is assigned to the first image data set with the aid of the classification module as a function of a position and / or shape and / or size of the contamination.

Die Position der Verschmutzung kann insbesondere eine Position innerhalb oder in Bezug auf ein Sichtfeld (FOV, Field of View) des Kamerasystems oder eine Position der Verschmutzung in Bezug auf eine Fahrbahnmarkierung oder Fahrbahnbegrenzung sein.The position of the pollution can in particular be a position within or in relation to a field of view (FOV, Field of View) of the camera system or a position of the pollution in relation to a lane marking or lane boundary.

Insbesondere umfassen in derartigen Ausführungsformen die eine oder mehreren positiven Klassen mindestens zwei positiven Klassen. Welche der mindestens zwei positiven Klassen dem ersten Bilddatensatz zugewiesen wird, hängt dann von der Position, der Form und/oder der Größe der Verschmutzung ab.In particular, in such embodiments, the one or more positive classes comprise at least two positive classes. Which of the at least two positive classes is assigned to the first image data set then depends on the position, shape and / or size of the soiling.

Insbesondere kann das erste Warnsignal, beispielsweise ein Inhalt des ersten Warnsignals, in Abhängigkeit davon generiert werden, welche positive Klasse dem ersten Bilddatensatz zugewiesen wurde.In particular, the first warning signal, for example a content of the first warning signal, can be generated as a function of which positive class was assigned to the first image data record.

Dadurch kann eine besonders abgestufte Reaktion auf das Vorhandensein der Verschmutzung durch die spezielle Generierung des ersten Warnsignals bewirkt werden.As a result, a particularly graduated response to the presence of contamination can be brought about by the special generation of the first warning signal.

Gemäß mindestens einer Ausführungsform werden die eine oder mehreren positiven Klassen dem ersten Bilddatensatz mithilfe des Klassifizierungsmoduls in Abhängigkeit davon zugewiesen, ob die Verschmutzung eine Verschmutzung auf einer nassen oder einer trockenen Oberfläche der Fahrbahn ist.According to at least one embodiment, the one or more positive classes are assigned to the first image data set with the aid of the classification module, depending on whether the pollution is pollution on a wet or a dry surface of the roadway.

Gemäß mindestens einer Ausführungsform wird ein anfängliches künstliches neuronales Netz mithilfe eines Trainingsmoduls basierend auf einem überwachten Lernverfahren trainiert, um das trainierte neuronale Netz zu erhalten.According to at least one embodiment, an initial artificial neural network is trained with the aid of a training module based on a monitored learning method in order to obtain the trained neural network.

Dabei kann das anfängliche künstliche neuronale Netz beispielsweise ein untrainiertes neuronales Netz oder ein teilweise trainiertes oder vortrainiertes neuronales Netz sein.The initial artificial neural network can be, for example, an untrained neural network or a partially trained or pre-trained neural network.

Das Trainingsmodul kann beispielsweise ein Teil des Klassifizierungsmoduls oder des Computersystems oder Teil eines externen Trainingssystems sein, das heißt, das nicht zu dem Kraftfahrzeug gehört.The training module can for example be part of the classification module or the computer system or part of an external training system, that is to say that does not belong to the motor vehicle.

Im Rahmen des überwachten Lernverfahrens können Referenzbilder oder Referenzbilddatensätze, auf denen vordefinierte Verschmutzungen jeweils sichtbar sind, beispielsweise dem anfänglichen neuronalen Netz zur Verfügung gestellt werden. Gewichtungsfaktoren des neuronalen Netzes können dann trainiert werden, um die Verschmutzungen zuverlässig klassifizieren zu können. Dabei kann das neuronale Netz insbesondere ein Farbspektrum der Trainingsbilddatensätze oder einen Farbgehalt der Trainingsbilddatensätze der Fahrbahn, einen Kontrastgehalt des Trainingsbilddatensatzes, eine Helligkeitsinformation des Trainingsbilddatensatzes und/oder Reflexionseigenschaften der Oberfläche der Fahrbahn analysieren.As part of the monitored learning process, reference images or reference image data sets, on which predefined soiling are respectively visible, can be made available, for example, to the initial neural network. Weighting factors of the neural network can then be trained in order to be able to classify the contamination reliably. The neural network can in particular analyze a color spectrum of the training image data sets or a color content of the training image data sets of the road, a contrast content of the training image data set, brightness information of the training image data set and / or reflection properties of the surface of the roadway.

Gemäß mindestens einer Ausführungsform kann das überwachte Lernverfahren auch ein Prüfverfahren umfassen, bei dem die Klassifizierung anhand vordefinierter Prüfdatensätze geprüft wird.According to at least one embodiment, the monitored learning method can also include a test method in which the classification is checked using predefined test data records.

Gemäß mindestens einer Ausführungsform wird die eine der einen oder mehreren positiven Klassen dem ersten Bilddatensatz durch das Klassifizierungsmodul zugewiesen, wenn durch die Analyse festgestellt wird, dass Öl oder Kraftstoff auf der Oberfläche der Fahrbahn vorhanden ist.According to at least one embodiment, the one of the one or more positive classes is assigned to the first image data set by the classification module if the analysis determines that oil or fuel is present on the surface of the roadway.

Also handelt es sich bei der Verschmutzung, insbesondere der vordefinierten Verschmutzung, insbesondere um Öl- oder Kraftstoffflecken, -spuren oder -rückstände. Insbesondere werden andere Verschmutzungen nicht als Verschmutzungen im Rahmen derartiger Ausführungsformen verstanden bzw. berücksichtigt.So the pollution, in particular the predefined pollution, is in particular oil or fuel stains, traces or residues. In particular, other types of soiling are not understood or taken into account as soiling in the context of such embodiments.

Öl- oder Kraftstoffrückstände auf der Fahrbahn sind besonders relevante Verschmutzungsarten, da sie leicht zu Schlittern oder Schleudern eines Kraftfahrzeugs führen können.Oil or fuel residues on the road are particularly relevant types of pollution, as they can easily lead to a motor vehicle slipping or skidding.

Gemäß mindestens einer Ausführungsform wird der erste Bilddatensatz mithilfe einer Fahrzeugfrontkamera des Kamerasystems generiert und ein zweiter Bilddatensatz, der ein zweites Bild der Oberfläche der Fahrbahn darstellt, wird mithilfe einer Fahrzeugheckkamera des Kamerasystems generiert. Der zweite Bilddatensatz wird durch das Klassifizierungsmodul mithilfe des trainierten künstlichen neuronalen Netzes analysiert. Eine der einen oder mehreren positiven Klassen wird dem zweiten Bilddatensatz durch das Klassifizierungsmodul zugewiesen, wenn durch die Analyse des zweiten Bilddatensatzes festgestellt wird, dass eine Verschmutzung auf der Oberfläche der Fahrbahn vorhanden ist.According to at least one embodiment, the first image data set is generated with the aid of a vehicle front camera of the camera system and a second image data set, which represents a second image of the surface of the roadway, is generated with the aid of a vehicle rear camera of the camera system. The second image data set is generated by the classification module with the aid of the trained artificial neural Network analyzed. One of the one or more positive classes is assigned to the second image data set by the classification module if the analysis of the second image data set determines that there is contamination on the surface of the roadway.

Insbesondere weist die Frontkamera ein Sichtfeld auf, das in Bezug auf die normale Fahrtrichtung des Fahrzeugs vor diesem liegt, während die Heckkamera ein Sichtfeld aufweist, das hinter dem Kraftfahrzeug liegt. Somit kann, wenn das Kraftfahrzeug vorwärts fährt, die Frontkamera einen bestimmten Teil der Oberfläche der Fahrbahn abbilden, bevor die Heckkamera denselben Teil der Oberfläche abbilden kann.In particular, the front camera has a field of view that lies in front of the vehicle in relation to the normal direction of travel, while the rear camera has a field of view that lies behind the motor vehicle. Thus, when the motor vehicle is moving forward, the front camera can image a certain part of the surface of the roadway before the rear camera can image the same part of the surface.

Die Kombination aus Heck- und Frontkamera kann daher verwendet werden, um Verschmutzungen auf der Fahrbahn zu identifizieren, die erzeugt werden, während das Kraftfahrzeug den jeweiligen Punkt auf der Fahrbahn passiert, und die daher sehr wahrscheinlich durch das Kraftfahrzeug selbst erzeugt werden.The combination of rear and front cameras can therefore be used to identify dirt on the road surface that is generated while the motor vehicle is passing the respective point on the road surface and that is therefore very likely generated by the motor vehicle itself.

Gemäß mindestens einer Ausführungsform wird die negative Klasse dem zweiten Bilddatensatz mithilfe des Klassifizierungsmoduls zugewiesen, wenn, insbesondere wenn und nur wenn, durch die Analyse des zweiten Bilddatensatzes festgestellt wird, dass keine Verschmutzung auf der Oberfläche der Fahrbahn vorhanden ist.According to at least one embodiment, the negative class is assigned to the second image data set with the aid of the classification module if, in particular if and only if, the analysis of the second image data set determines that there is no contamination on the surface of the roadway.

Gemäß mindestens einer Ausführungsform wird ein zweites Warnsignal mithilfe des Computersystems generiert, wenn durch die Analyse des ersten Bilddatensatzes festgestellt wird, dass keine Verschmutzung auf der Oberfläche der Fahrbahn vorhanden ist, insbesondere, wenn die negative Klasse dem ersten Bilddatensatz zugewiesen wurde und eine der positiven Klassen dem zweiten Bilddatensatz zugewiesen wurde.According to at least one embodiment, a second warning signal is generated with the aid of the computer system if the analysis of the first image data set determines that there is no soiling on the surface of the roadway, in particular if the negative class was assigned to the first image data set and one of the positive classes assigned to the second image data set.

In derartigen Situationen ist die Wahrscheinlichkeit hoch, dass die Verschmutzung durch das Kraftfahrzeug verursacht wurde, beispielsweise aufgrund eines Öl- und/oder Kraftstoffverlustes. Anhand des zweiten Warnsignals kann der Fahrer oder Benutzer des Kraftfahrzeugs darauf aufmerksam gemacht werden, dass das Kraftfahrzeug Öl oder Kraftstoff verlieren könnte, und geeignete Maßnahmen können ergriffen werden, beispielsweise um den Öl- und/oder Kraftstoffverlust zu minimieren.In such situations, there is a high probability that the pollution was caused by the motor vehicle, for example due to a loss of oil and / or fuel. On the basis of the second warning signal, the driver or user of the motor vehicle can be made aware that the motor vehicle could lose oil or fuel, and suitable measures can be taken, for example to minimize the oil and / or fuel loss.

Gemäß mindestens einer Ausführungsform wird ein dritter Bilddatensatz, der ein drittes Bild der Oberfläche der Fahrbahn darstellt, mithilfe einer Heckkamera eines gezogenen Fahrzeugs generiert, wobei das gezogene Fahrzeug insbesondere durch das Kraftfahrzeug gezogen wird und zusammen mit dem Kraftfahrzeug ein Gespann bildet. Der dritte Bilddatensatz wird durch das Klassifizierungsmodul mithilfe des trainierten künstlichen neuronalen Netzes analysiert. Eine der einen oder mehreren positiven Klassen wird dem dritten Bilddatensatz durch das Klassifizierungsmodul zugewiesen, wenn durch die Analyse des dritten Bilddatensatzes festgestellt wird, dass eine Verschmutzung auf der Oberfläche der Fahrbahn vorhanden ist. Ein drittes Warnsignal wird mithilfe des Computersystems generiert, wenn durch die Analyse des zweiten Bilddatensatzes festgestellt wird, dass keine Verschmutzung auf der Oberfläche der Fahrbahn vorhanden ist, insbesondere, wenn die negative Klasse dem zweiten Bilddatensatz zugewiesen wurde und eine der positiven Klassen dem dritten Bilddatensatz zugewiesen wurde. Das gezogene Fahrzeug kann zum Beispiel ein durch das Kraftfahrzeug gezogener Anhänger sein.According to at least one embodiment, a third image data set, which represents a third image of the surface of the roadway, is generated with the aid of a rear camera of a towed vehicle, the towed vehicle in particular being pulled by the motor vehicle and forming a combination with the motor vehicle. The third image data set is analyzed by the classification module using the trained artificial neural network. One of the one or more positive classes is assigned to the third image data set by the classification module if the analysis of the third image data set determines that there is contamination on the surface of the roadway. A third warning signal is generated with the aid of the computer system when the analysis of the second image data set determines that there is no soiling on the surface of the road, in particular if the negative class was assigned to the second image data set and one of the positive classes was assigned to the third image data set has been. The towed vehicle can be, for example, a trailer towed by the motor vehicle.

In derartigen Situationen ist die Wahrscheinlichkeit hoch, dass die Verschmutzung durch das gezogene Fahrzeug verursacht wurde, beispielsweise aufgrund eines Öl- und/oder Kraftstoffverlustes. Anhand des dritten Warnsignals kann der Fahrer oder Benutzer des Kraftfahrzeugs darauf aufmerksam gemacht werden, dass das gezogene Fahrzeug oder eine Ladung des gezogenen Fahrzeugs Öl oder Kraftstoff verlieren könnte.In such situations, there is a high probability that the pollution was caused by the towed vehicle, for example due to a loss of oil and / or fuel. On the basis of the third warning signal, the driver or user of the motor vehicle can be made aware that the towed vehicle or a load of the towed vehicle could lose oil or fuel.

Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts ist ein Sicherheitssystem für ein Kraftfahrzeug angegeben, wobei das Sicherheitssystem zum Identifizieren von Verschmutzungen auf einer Fahrbahn dient. Das Sicherheitssystem umfasst ein Kamerasystem und ein Computersystem mit einem Klassifizierungsmodul. Das Kamerasystem ist ausgelegt, einen ersten Bilddatensatz zu generieren, der ein erstes Bild einer Oberfläche der Fahrbahn darstellt. Das Klassifizierungsmodul ist ausgelegt, den ersten Bilddatensatz mithilfe eines trainierten künstlichen neuronalen Netzes zu analysieren und dem ersten Bilddatensatz eine von einer oder mehreren positiven Klassen zuzuweisen, wenn durch die Analyse festgestellt wird, dass eine Verschmutzung auf der Fahrbahn vorhanden ist. Das Computersystem ist ferner ausgelegt, ein erstes Warnsignal zu generieren, wenn eine der positiven Klassen dem ersten Bilddatensatz zugewiesen wurde.According to a further independent aspect of the improved concept, a safety system for a motor vehicle is specified, the safety system serving to identify soiling on a roadway. The security system comprises a camera system and a computer system with a classification module. The camera system is designed to generate a first image data set that represents a first image of a surface of the roadway. The classification module is designed to analyze the first image data set with the aid of a trained artificial neural network and to assign one of one or more positive classes to the first image data set if the analysis determines that there is contamination on the roadway. The computer system is also designed to generate a first warning signal when one of the positive classes has been assigned to the first image data set.

Gemäß mindestens einer Ausführungsform umfasst das Computersystem ein Ein-Chip-System (SoC, System-On-A-Chip), das das Klassifizierungsmodul umfasst oder auf dem das Klassifizierungsmodul gespeichert ist.According to at least one embodiment, the computer system comprises a one-chip system (SoC, System-On-A-Chip), which comprises the classification module or on which the classification module is stored.

Gemäß mindestens einer Ausführungsform umfasst das Computersystem eine Mikrosteuerung zum Generieren des ersten Warnsignals.According to at least one embodiment, the computer system comprises a microcontroller for generating the first warning signal.

Gemäß mindestens einer Ausführungsform ist das Computersystem als eine elektronische Steuerungsvorrichtung oder als ein Teil einer elektronischen Steuerungsvorrichtung des Kraftfahrzeugs ausgebildet.According to at least one embodiment, the computer system is designed as an electronic control device or as part of an electronic control device of the motor vehicle.

Gemäß mindestens einer Ausführungsform ist das trainierte künstliche neuronale Netz als ein neuronales Faltungsnetz („Convolutional Neuronal Network“, CNN) ausgelegt.According to at least one embodiment, the trained artificial neural network is designed as a neural convolutional network (“convolutional neural network”, CNN).

Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts ist ein Kraftfahrzeug mit einem Sicherheitssystem gemäß dem verbesserten Konzept angegeben.According to a further independent aspect of the improved concept, a motor vehicle with a safety system according to the improved concept is specified.

Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts ist ein Computerprogramm angegeben, das Befehle umfasst, die, bei Ausführung des Computerprogramms durch ein Sicherheitssystem gemäß dem verbesserten Konzept, das Sicherheitssystem veranlassen, ein Verfahren gemäß dem verbesserten Konzept durchzuführen.According to a further independent aspect of the improved concept, a computer program is specified which comprises instructions which, when the computer program is executed by a security system in accordance with the improved concept, cause the security system to carry out a method in accordance with the improved concept.

Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts ist ein computerlesbares Speichermedium angegeben, auf dem ein Computerprogramm gemäß dem verbesserten Konzept gespeichert ist.According to a further independent aspect of the improved concept, a computer-readable storage medium is specified on which a computer program according to the improved concept is stored.

Weitere Ausführungsformen des Sicherheitssystems ergeben sich unmittelbar aus den verschiedenen Auslegungen des Verfahrens gemäß dem verbesserten Konzept und umgekehrt. Insbesondere kann ein Sicherheitssystem gemäß dem verbesserten Konzept ausgelegt oder programmiert sein, ein Verfahren gemäß dem verbesserten Konzept durchzuführen. Beispielsweise führt ein Sicherheitssystem gemäß dem verbesserten Konzept ein Verfahren gemäß dem verbesserten Konzept durch.Further embodiments of the security system result directly from the various designs of the method according to the improved concept and vice versa. In particular, a security system according to the improved concept can be designed or programmed to carry out a method according to the improved concept. For example, a security system according to the improved concept carries out a method according to the improved concept.

Weitere Merkmale der Erfindung sind aus den Ansprüchen, den Figuren und der Beschreibung der Figuren offensichtlich. Die oben in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die unten in der Beschreibung der Figuren genannten und/oder nur in den Figuren gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils spezifizierten Kombination, sondern auch in anderen Kombinationen, einsetzbar, ohne vom Schutzumfang der Erfindung abzuweichen. Somit sind auch Implementierungen als in der Erfindung beinhaltet und durch diese offenbart anzusehen, die nicht ausdrücklich in den Figuren gezeigt und erläutert sind, die sich jedoch aus getrennten Merkmalskombinationen aus den erläuterten Implementierungen ergeben und daraus abgeleitet werden können. Somit sind auch Implementierungen und Merkmalskombinationen als offenbart zu betrachten, die nicht alle der Merkmale gemäß dem ursprünglichen Wortlaut eines unabhängigen Anspruchs umfassen. Darüber hinaus sind auch Implementierungen und Merkmalskombinationen, insbesondere durch die oben ausgeführten Implementierungen, als offenbart zu betrachten, die über die in den Aufzählungen der Ansprüche ausgeführten Merkmalskombinationen hinausgehen oder von diesen abweichen.Further features of the invention are evident from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description and the features and combinations of features mentioned below in the description of the figures and / or shown only in the figures can be used not only in the respectively specified combination, but also in other combinations, without affecting the scope of protection of Invention deviate. Implementations that are not expressly shown and explained in the figures, but which, however, result from separate combinations of features from the explained implementations and can be derived therefrom are also to be regarded as included in the invention and disclosed thereby. Implementations and combinations of features are thus also to be regarded as disclosed which do not include all of the features according to the original wording of an independent claim. In addition, implementations and combinations of features, in particular by the implementations set out above, are to be regarded as disclosed which go beyond the combinations of features set out in the lists of the claims or differ from them.

Im Folgenden wird die Erfindung anhand von speziellen Ausführungsformen und zugehörigen schematischen Zeichnungen in größerem Detail beschrieben. In den Figuren sind identische oder in ihrer Funktion identische Elemente mit identischen Bezugszeichen versehen. Die Beschreibung identischer oder in ihrer Funktion identischer Elemente wird gegebenenfalls nicht notwendigerweise in den einzelnen Figuren wiederholt.In the following, the invention is described in greater detail with reference to specific embodiments and associated schematic drawings. In the figures, elements that are identical or that are identical in function are provided with identical reference symbols. The description of identical elements or elements that are identical in their function may not necessarily be repeated in the individual figures.

In den Figuren zeigt:

1 ein Kraftfahrzeug mit einer beispielhaften Ausführungsform eines Sicherheitssystems gemäß dem verbesserten Konzept;
2 eine schematische Darstellung einer beispielhaften Ausführungsform eines Verfahrens gemäß dem verbesserten Konzept;
3a eine schematische Darstellung eines Beispiels für eine Verschmutzung;
3b eine schematische Darstellung eines weiteren Beispiels für eine Verschmutzung;
4a eine schematische Darstellung einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß dem verbesserten Konzept;
4b eine schematische Darstellung einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß dem verbesserten Konzept;
5a eine schematische Darstellung einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß dem verbesserten Konzept;
5b eine schematische Darstellung einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß dem verbesserten Konzept;
6a eine schematische Darstellung einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß dem verbesserten Konzept; und
6b eine schematische Darstellung einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß dem verbesserten Konzept.

In the figures shows:

1 a motor vehicle with an exemplary embodiment of a security system according to the improved concept;
2 a schematic representation of an exemplary embodiment of a method according to the improved concept;
3a a schematic representation of an example of a pollution;
3b a schematic representation of a further example of pollution;
4a a schematic representation of a further exemplary embodiment of a method according to the improved concept;
4b a schematic representation of a further exemplary embodiment of a method according to the improved concept;
5a a schematic representation of a further exemplary embodiment of a method according to the improved concept;
5b a schematic representation of a further exemplary embodiment of a method according to the improved concept;
6a a schematic representation of a further exemplary embodiment of a method according to the improved concept; and
6b a schematic representation of a further exemplary embodiment of a method according to the improved concept.

In 1 ist ein Kraftfahrzeug 5 gemäß dem verbesserten Konzept gezeigt, insbesondere ein Kraftfahrzeug 5, das ein Sicherheitssystem 15 gemäß dem verbesserten Konzept umfasst.In 1 is a motor vehicle 5 shown according to the improved concept, in particular a motor vehicle 5 having a security system 15th according to the improved concept.

Das Sicherheitssystem 15 umfasst ein Kamerasystem 6 mit einer Frontkamera 6a und optional mit einer Heckkamera 6b, mithilfe derer eine Umgebung des Kraftfahrzeugs 5 überwacht oder abgebildet werden kann.The security system 15th includes a camera system 6th with a front camera 6a and optionally with a rear camera 6b , by means of which an environment of the motor vehicle 5 can be monitored or mapped.

Zudem umfasst das Sicherheitssystem 15 ein Computersystem 7, das beispielsweise als eine elektronische Steuereinheit des Kraftfahrzeugs 5 ausgelegt sein kann. Das Computersystem 7 ist mit dem Kamerasystem 6 derart gekoppelt, dass das Computersystem 7 Kameradaten, insbesondere Bilddaten, von den Kameras 6a, 6b des Kamerasystems 6 abgreifen kann.The security system also includes 15th a computer system 7th , for example as an electronic control unit of the motor vehicle 5 can be designed. The computer system 7th is with the camera system 6th coupled in such a way that the computer system 7th Camera data, in particular image data, from the cameras 6a , 6b of the camera system 6th can tap.

Optional kann das Computersystem 7 eine erste Recheneinheit 8, beispielsweise ein SOC, sowie eine zweite Recheneinheit 9, beispielsweise eine Mikrosteuerung, umfassen. Alternativ kann das Computersystem 7 die Funktionen der Recheneinheiten 8, 9 in einer allgemeinen Recheneinheit vereinen.Optionally, the computer system 7th a first computing unit 8th , for example a SOC, and a second processing unit 9 , for example a microcontroller. Alternatively, the computer system 7th the functions of the arithmetic units 8th , 9 unite in a general arithmetic unit.

Das Computersystem 7, insbesondere die erste Recheneinheit 8, speichert Softwarekomponenten, die ein Klassifizierungsmodul 13 umfassen. Das Klassifizierungsmodul 13 umfasst insbesondere ein trainiertes künstliches neuronales Netz. Das neuronale Netz ist insbesondere für eine Bildanalyse und Identifizierung von vordefinierten Verschmutzungen, beispielsweise Öl- bzw. Kraftstoffrückständen, in Bilddatensätzen trainiert.The computer system 7th , in particular the first arithmetic unit 8th , stores software components that make up a classification module 13 include. The classification module 13 includes in particular a trained artificial neural network. The neural network is trained in particular for image analysis and identification of predefined contamination, for example oil or fuel residues, in image data sets.

Das Sicherheitssystem 15 kann optional eine Benutzerschnittstelle 10 umfassen, die mit dem Computersystem 7, insbesondere der zweite Recheneinheit 9, verbunden ist. Die Benutzerschnittstelle 10 kann beispielsweise eine Anzeigeeinheit oder eine Lautsprechereinheit oder einen haptischen Aktuator zum Ausgeben von optischen, akustischen bzw. haptischen Ausgangssignalen an einen Benutzer oder Fahrer des Kraftfahrzeugs 5 aufweisen.The security system 15th can optionally have a user interface 10 Include that with the computer system 7th , in particular the second processing unit 9 , connected is. The user interface 10 For example, a display unit or a loudspeaker unit or a haptic actuator for outputting optical, acoustic or haptic output signals to a user or driver of the motor vehicle 5 exhibit.

Optional kann das Kraftfahrzeug 5 oder das Sicherheitssystem 15 ein elektronisches Fahrzeugführungssystem 12 umfassen, das mit dem Computersystem 7, insbesondere der zweite Recheneinheit 9, verbunden ist. Gesteuert durch das Computersystem 7 kann das elektronische Fahrzeugführungssystem 12 insbesondere in eine Steuerung des Kraftfahrzeugs 5, beispielsweise ein Lenksystem oder ein Bremssystem des Kraftfahrzeugs 5, eingreifen, insbesondere auf automatisierte Weise eingreifen.Optionally, the motor vehicle 5 or the security system 15th an electronic vehicle guidance system 12 include that with the computer system 7th , in particular the second processing unit 9 , connected is. Controlled by the computer system 7th can do the electronic vehicle guidance system 12 in particular in a control of the motor vehicle 5 , for example a steering system or a braking system of the motor vehicle 5 , intervene, in particular intervene in an automated manner.

Optional kann das Kraftfahrzeug 5 oder das Sicherheitssystem 15 eine C2C- und/oder eine C2X-Kommunikationsschnittstelle 12 umfassen, die mit dem Computersystem 7, insbesondere der zweite Recheneinheit 9, verbunden ist. Die Kommunikationsschnittstelle 12 ist ausgelegt, Information von dem Computersystem 7 zu weiteren Kraftfahrzeugen und/oder zu Infrastrukturvorrichtungen innerhalb einer Umgebung des Kraftfahrzeugs 5 mithilfe von C2C und/oder C2X zu übertragen.Optionally, the motor vehicle 5 or the security system 15th a C2C and / or a C2X communication interface 12 that communicates with the computer system 7th , in particular the second processing unit 9 , connected is. The communication interface 12 is designed to take information from the computer system 7th to further motor vehicles and / or to infrastructure devices within an environment of the motor vehicle 5 transferred using C2C and / or C2X.

Im Folgenden sind die Funktionen des Sicherheitssystems 15 in Bezug auf eine beispielhafte Form von Auslegung eines Verfahrens gemäß dem verbesserten Konzept, wie es in 2 gezeigt ist, sowie unter Bezugnahme auf 3 in größerem Detail erläutert.The following are the functions of the security system 15th with respect to an exemplary form of design of a method according to the improved concept as set out in FIG 2 and with reference to FIG 3 explained in greater detail.

In 2 ist ein schematisches Flussdiagramm einer beispielhaften Ausführungsform eines Verfahrens zum Identifizieren einer Verschmutzung 14 auf einer Fahrbahn veranschaulicht.In 2 Figure 3 is a schematic flow diagram of an exemplary embodiment of a method for identifying a contamination 14th illustrated on a roadway.

In Schritt 1 des Verfahrens wird ein Bild der Fahrbahnoberfläche durch die Frontkamera 6a generiert, es wird also ein entsprechendes Frontkamerabild 4 erfasst. Anhand des Frontkamerabilds 4 wird ein erster Bilddatensatz generiert und an das Computersystem 7, insbesondere das Klassifizierungsmodul 13, kommuniziert. In Schritt 2 analysiert das Klassifizierungsmodul 13 den ersten Bilddatensatz basierend auf dem trainierten künstlichen neuronalen Netz.In step 1 During the process, an image of the road surface is provided by the front camera 6a generated, so a corresponding front camera image is generated 4th detected. Based on the front camera image 4th a first image data set is generated and sent to the computer system 7th , especially the classification module 13 , communicates. In step 2 analyzes the classification module 13 the first image data set based on the trained artificial neural network.

Insbesondere wurde das künstliche neuronale Netz vorab basierend auf einem Trainingskatalog von Beispieldatensätzen derart trainiert, dass es verschiedene Öl- oder Kraftstoffverschmutzungen auf der Fahrbahn identifizieren, erkennen und/oder klassifizieren kann.In particular, the artificial neural network was trained in advance based on a training catalog of example data sets in such a way that it can identify, recognize and / or classify various types of oil or fuel contamination on the roadway.

In dem Bild 4 der 2 ist beispielhaft eine Ölspur 14 als die Verschmutzung der Fahrbahnoberfläche dargestellt. Ein ähnlicher Ölfleck 14 ist auch in 3b gezeigt. Die Verschmutzungen 14 von 2 und von 3b stellen zum Beispiel Ölflecken auf einer trockenen Fahrbahnoberfläche dar. Sie sind durch eine dunkle, einheitliche Verfärbung der Fahrbahnoberfläche gekennzeichnet. Ein weiteres Beispiel für eine Verschmutzung ist schematisch in 3a gezeigt. Hierbei handelt es sich insbesondere um einen Ölfleck auf einer nassen Fahrbahnoberfläche. Dementsprechend bilden sich Schlieren mit unterschiedlicher Färbung, sodass der Ölfleck 14 hier ein charakteristisches Farbmuster aufweist, das in 3a durch unterschiedliche Schraffierungen dargestellt ist.In the picture 4th of the 2 is an example of an oil trail 14th shown as the pollution of the road surface. A similar oil stain 14th is also in 3b shown. The pollution 14th from 2 and from 3b represent, for example, oil stains on a dry road surface. They are characterized by a dark, uniform discoloration of the road surface. Another example of pollution is shown schematically in 3a shown. In particular, this is an oil stain on a wet road surface. Accordingly, streaks with different colors form, so that the oil stain 14th here has a characteristic color pattern, which in 3a is represented by different hatching.

Anhand spezifischer Eigenschaften von Öl- oder Kraftstoffrückständen auf Fahrbahnoberflächen, beispielsweise von Farbmustern, Oberflächenstrukturen der Fahrbahn, Kontrasten, Helligkeitswerten oder Reflexionseigenschaften der Fahrbahnoberfläche, kann das künstliche neuronale Netz so trainiert werden, dass es Kraftstoff- oder Ölflecken auf der Fahrbahnoberfläche mit sehr guter Genauigkeit und Zuverlässigkeit identifiziert.Based on specific properties of oil or fuel residues on road surfaces, for example color patterns, surface structures of the road, contrasts, brightness values or reflective properties of the road surface, the artificial neural network can be trained in such a way that there are fuel or oil stains on the road surface with very good accuracy and Identified reliability.

Wenn anhand der Analyse des ersten Bilddatensatzes in Schritt 2 des Verfahrens festgestellt wird, dass Öl oder Kraftstoff auf der Fahrbahnoberfläche vorhanden ist, wird also der entsprechende erste Bilddatensatz einer positiven Klasse zugewiesen. Optional können verschiedene positive Klassen vordefiniert sein, wobei eine der positiven Klassen anhand der Größe, der Position oder der Art der Verschmutzung zugewiesen wird. Alternativ kann eine einzelne positive Klasse vorgesehen sein, die dem ersten Bilddatensatz immer zugewiesen wird, wenn ein Öl- oder Kraftstoffrückstand auf der Fahrbahnoberfläche mit ausreichender Wahrscheinlichkeit identifiziert werden konnte.If based on the analysis of the first image data set in step 2 During the process it is determined that oil or fuel is present on the road surface, that is to say the corresponding first image data set is assigned to a positive class. Various positive classes can optionally be predefined, with one of the positive classes being assigned based on the size, position or type of contamination. Alternatively, a single positive class can be provided which is always assigned to the first image data set if an oil or fuel residue on the road surface could be identified with sufficient probability.

In Schritt 3 des Verfahrens generiert das Computersystem 7, insbesondere die zweite Recheneinheit 9, ein Warnsignal, wenn in Schritt 2 festgestellt wurde, zum Beispiel wiederholt in aufeinanderfolgenden Wiederholungen der Überwachung der Fahrbahnoberfläche festgestellt wurde, dass Öl oder Kraftstoff auf der Fahrbahnoberfläche vorhanden ist.In step 3 of the process is generated by the computer system 7th , in particular the second processing unit 9 , a warning sign when stepping in 2 has been determined, for example, it has been repeatedly determined in successive repetitions of the monitoring of the road surface that oil or fuel is present on the road surface.

Dabei kann das Computersystem 7 das Warnsignal insbesondere an die Benutzerschnittstelle 10, das elektronische Fahrzeugführungssystem 11 und/oder die Kommunikationsschnittstelle 12 kommunizieren.The computer system 7th the warning signal in particular to the user interface 10 , the electronic vehicle guidance system 11 and / or the communication interface 12 communicate.

Mithilfe der Benutzerschnittstelle 10 kann ein optischer, akustischer oder haptischer Warnhinweis an den Fahrer oder Benutzer des Kraftfahrzeugs 5 ausgegeben werden, durch den er auf die Verschmutzung 14 durch Öl oder Kraftstoff auf der Fahrbahnoberfläche aufmerksam gemacht wird, sodass er entsprechende Maßnahmen zum Erhöhen der Sicherheit ergreifen kann, beispielsweise moderates Verringern der Geschwindigkeit des Kraftfahrzeugs 5.Using the user interface 10 can be an optical, acoustic or haptic warning to the driver or user of the motor vehicle 5 be issued due to which he is on pollution 14th is made aware of by oil or fuel on the road surface, so that he can take appropriate measures to increase safety, for example moderately reducing the speed of the motor vehicle 5 .

Alternativ oder zusätzlich kann das elektronische Fahrzeugführungssystem 12 je nach Warnsignal eine automatisierte Lenk- oder Bremsaktion einleiten, um ein Schlittern oder Schleudern aufgrund des Öl- oder Kraftstoffrückstands zu verhindern.Alternatively or additionally, the electronic vehicle guidance system 12 depending on the warning signal, initiate an automated steering or braking action in order to prevent slipping or skidding due to the oil or fuel residue.

Alternativ oder zusätzlich kann die Kommunikationsschnittstelle 12 weitere Kraftfahrzeuge in der Umgebung des Kraftfahrzeugs 5 und/oder Infrastrukturvorrichtungen über die Verschmutzung durch Öl oder Kraftstoff informieren, indem sie ein Informationssignal generiert und kommuniziert.Alternatively or additionally, the communication interface 12 other motor vehicles in the vicinity of the motor vehicle 5 and / or inform infrastructure devices of the oil or fuel pollution by generating and communicating an information signal.

4a und 4b stellen eine Situation gemäß einer weiteren beispielhaften Ausführungsform des Verfahrens gemäß dem verbesserten Konzept dar, wobei das Kamerasystem 6 die Frontkamera 6a und die Heckkamera 6b umfasst. 4a and 4b represent a situation according to a further exemplary embodiment of the method according to the improved concept, wherein the camera system 6th the front camera 6a and the rear view camera 6b includes.

Zu einem Zeitpunkt t₁ wird, gemäß 4a, die Verschmutzung 14 anhand des ersten Bilddatensatzes wie oben beschrieben detektiert, während das Kraftfahrzeug 5 fährt. Ferner wird ein weiteres Bild der Fahrbahnoberfläche durch die Heckkamera 6b generiert, um ein entsprechendes Heckkamerabild zu erfassen. Anhand des Heckkamerabilds wird ein zweiter Bilddatensatz generiert und an das Computersystem 7, insbesondere das Klassifizierungsmodul 13, kommuniziert. Das Klassifizierungsmodul 13 analysiert den zweiten Bilddatensatz basierend auf dem trainierten künstlichen neuronalen Netz wie oben unter Bezugnahme auf den ersten Bilddatensatz beschrieben.At a time t ₁ , according to 4a , pollution 14th detected using the first image data set as described above while the motor vehicle 5 moves. The rear camera also provides a further image of the road surface 6b generated to capture a corresponding rear view camera image. A second image data set is generated based on the rear camera image and sent to the computer system 7th , especially the classification module 13 , communicates. The classification module 13 analyzes the second image data set based on the trained artificial neural network as described above with reference to the first image data set.

Zu einem Zeitpunkt t₂ nach t₁ wird, anhand der Analyse des zweiten Bilddatensatzes festgestellt, dass die Verschmutzung 14 vorhanden ist, während das Kraftfahrzeug 5 fährt, wodurch die auf dem ersten Bilddatensatz basierende Feststellung bestätigt wird.At a point in time t ₂ after t ₁ , based on the analysis of the second image data set, it is determined that the contamination 14th is present while the motor vehicle 5 drives, thereby confirming the determination based on the first image data set.

In 4b wird zu einem Zeitpunkt t₁ basierend auf der Analyse des ersten Bilddatensatzes festgestellt, dass keine Verschmutzung vorhanden ist, es wird jedoch zu einem Zeitpunkt t₂ anhand der Analyse des zweiten Bilddatensatzes festgestellt, dass eine Verschmutzung 14, insbesondere ein Öl- oder Kraftstofffleck, auf der Fahrbahn vorhanden ist.In 4b it is determined at a point in time t ₁ based on the analysis of the first image data set that there is no contamination, but it is determined at a point in time t ₂ based on the analysis of the second image data set that contamination is present 14th , especially an oil or fuel stain, is present on the road surface.

Daher kann mit einer hohen Wahrscheinlichkeit darauf geschlossen werden, dass das Fahrzeug 5 selbst die Verschmutzung 14 erzeugt hat, beispielsweise aufgrund eines Öl- oder Kraftstoffverlustes. Das Computersystem 7 kann daher ein weiteres Warnsignal generieren, um beispielsweise dem Fahrer einen weiteren Warnhinweis bereitzustellen.Therefore, it can be concluded with a high probability that the vehicle 5 even the pollution 14th has generated, for example due to a loss of oil or fuel. The computer system 7th can therefore generate a further warning signal, for example to provide the driver with a further warning.

5a und 5b stellen eine Situation gemäß einer weiteren beispielhaften Ausführungsform des Verfahrens gemäß dem verbesserten Konzept dar, wobei das Kamerasystem 6 die Heckkamera 6b umfasst. Das Kraftfahrzeug 5 zieht einen Anhänger 16, beispielsweise einen Tankwagen. Der Anhänger 17 weist eine Heckkamera 6c auf, die mit dem Computersystem 7 gekoppelt ist. 5a and 5b represent a situation according to a further exemplary embodiment of the method according to the improved concept, wherein the camera system 6th the rear camera 6b includes. The car 5 pulls a trailer 16 , for example a tank truck. The trailer 17th has a rear view camera 6c on that with the computer system 7th is coupled.

Ein weiteres Bild der Fahrbahnoberfläche wird durch die Heckkamera 6c des Anhängers 17 generiert, um ein entsprechendes weiteres Heckkamerabild zu erfassen. Anhand des weiteren Heckkamerabilds wird ein dritter Bilddatensatz generiert und an das Computersystem 7, insbesondere das Klassifizierungsmodul 13, kommuniziert. Das Klassifizierungsmodul 13 analysiert den dritten Bilddatensatz basierend auf dem trainierten künstlichen neuronalen Netz wie oben unter Bezugnahme auf den ersten Bilddatensatz beschrieben.Another image of the road surface is provided by the rear camera 6c of the trailer 17th generated in order to capture a corresponding additional rear camera image. On the basis of the further rear camera image, a third image data set is generated and sent to the computer system 7th , especially the classification module 13 , communicates. The classification module 13 analyzes the third image data set based on the trained artificial neural network as described above with reference to the first image data set.

Gemäß 5a wird beispielsweise anhand der Analyse des zweiten bzw. des dritten Bilddatensatzes festgestellt, dass keine Verschmutzung auf der Fahrbahn vorhanden ist, während das Gespann des Kraftfahrzeugs 5 und des Anhängers 16 fährt.According to 5a For example, based on the analysis of the second or the third image data set, it is determined that there is no soiling on the roadway while the vehicle combination is in operation 5 and the trailer 16 moves.

Gemäß 5b wird beispielsweise anhand der Analyse des zweiten Bilddatensatzes festgestellt, dass keine Verschmutzung auf der Fahrbahn vorhanden ist, jedoch wird anhand der Analyse des dritten Bilddatensatzes festgestellt, dass eine Verschmutzung 14 auf der Fahrbahn vorhanden ist.According to 5b For example, it is determined on the basis of the analysis of the second image data set that there is no soiling on the roadway, but it is determined on the basis of the analysis of the third image data set that there is soiling 14th is present on the roadway.

Daher kann mit einer hohen Wahrscheinlichkeit darauf geschlossen werden, dass der Anhänger 16 die Verschmutzung 14 erzeugt hat, beispielsweise aufgrund eines Öl- oder Kraftstoffverlustes. Das Computersystem 7 kann daher ein weiteres Warnsignal generieren, um beispielsweise dem Fahrer einen weiteren Warnhinweis bereitzustellen. Therefore, it can be concluded with a high probability that the trailer 16 pollution 14th has generated, for example due to a loss of oil or fuel. The computer system 7th can therefore generate a further warning signal, for example to provide the driver with a further warning.

6a bzw. 6b zeigen ähnliche Situationen wie 5a bzw. 5b, wobei in 6a und 6b der Anhänger 16 eine Ladung 17, zum Beispiel ein Auto, trägt. Somit kann gemäß 6b die Verschmutzung 14 beispielsweise durch die Ladung 17 verursacht sein. 6a or. 6b show situations similar to 5a or. 5b , where in 6a and 6b the trailer 16 a load 17th , for example a car. Thus, according to 6b pollution 14th for example through the cargo 17th be caused.

Gemäß dem verbesserten Konzept können Verschmutzungen, insbesondere Öl- oder Kraftstoffrückstände, auf einer Fahrbahnoberfläche zuverlässig und effizient identifiziert werden, um dadurch die Sicherheit im Straßenverkehr zu verbessern. Wenn eine derartige Verschmutzung identifiziert wurde, kann einerseits der Fahrer des Kraftfahrzeugs während eines Fahr- oder Einparkszenarios gewarnt werden, dass gefährliche Substanzen auf der Fahrbahnoberfläche vorhanden sind. Eine weitere Möglichkeit ist ein Verwenden einer Fahrzeug-zu-Fahrzeug-Kommunikation, um weitere Verkehrsteilnehmer in der Umgebung des Kraftfahrzeugs bzw. der Verschmutzung zu warnen. Zum Beispiel kann die Position der Verschmutzung als eine Markierung auf einem Navigationssystem der weiteren Kraftfahrzeuge basierend auf GPS-Information der Verschmutzungen dargestellt werden.According to the improved concept, contamination, in particular oil or fuel residues, on a road surface can be identified reliably and efficiently in order to improve road safety. If such contamination has been identified, on the one hand the driver of the motor vehicle can be warned during a driving or parking scenario that dangerous substances are present on the road surface. Another possibility is to use vehicle-to-vehicle communication in order to warn other road users in the vicinity of the motor vehicle or of the pollution. For example, the position of the pollution can be displayed as a marker on a navigation system of the other motor vehicles based on GPS information of the pollution.

Schließlich können zuständige Behörden über die Verschmutzung informiert werden, damit beispielsweise eine Beseitigung der Verschmutzung oder dergleichen bewirkt werden kann.Finally, the competent authorities can be informed about the pollution so that, for example, the pollution or the like can be removed.

Künstliche neuronale Netze sind besonders gut geeignet, um Öl- oder Kraftstoffrückstände auf nassen Fahrbahnoberflächen zu identifizieren, da diese charakteristische Schlieren und Farbmuster verursachen. Kraftstoff oder Öl kann auf trockenen Fahrbahnoberflächen aufgrund seiner sehr dunklen Farbe und entsprechend hoher Kontraste im entsprechenden Kamerabild identifiziert werden.Artificial neural networks are particularly well suited to identify oil or fuel residues on wet road surfaces, as these cause characteristic streaks and color patterns. Fuel or oil can be identified on dry road surfaces due to their very dark color and correspondingly high contrasts in the corresponding camera image.

Dank des verbesserten Konzepts kann die Fahrsicherheit erhöht und ein entsprechendes Unfallrisiko kann gesenkt werden. Nicht identifizierte Öl- oder Kraftstoffrückstände können dazu führen, dass ein Fahrzeug außer Kontrolle gerät und dadurch schwere Unfälle verursacht. Zudem haben Öl- oder Kraftstoffrückstände negative Auswirkungen auf die Umwelt, wenn sie in Kontakt mit Grundwasser oder mit Pflanzen kommen.Thanks to the improved concept, driving safety can be increased and a corresponding risk of accidents can be reduced. Unidentified oil or fuel residue can cause a vehicle to spin out of control and cause serious accidents. In addition, oil or fuel residues have negative effects on the environment if they come into contact with groundwater or plants.

Gemäß einigen Ausführungsformen werden Szenen von unterschiedlichen Kameras eines Fahrzeugs oder Gespanns verglichen, während dieses sich bewegt. Eine Sicherheitswarnung oder ein Feedback kann dem Benutzer anhand der detektierten Unterschiede bereitgestellt werden. Folglich kann der Fahrer beispielsweise das Fahrzeug anhalten, um ein Risiko für andere Straßenbenutzer zu verringern. Durch eine frühzeitige Detektion können Reinigungskosten und eine Auswirkung auf die Umwelt verringert werden.According to some embodiments, scenes from different cameras of a vehicle or trailer combination are compared while it is moving. A security warning or feedback can be provided to the user based on the detected differences. As a result, the driver can, for example, stop the vehicle in order to reduce a risk to other road users. Early detection can reduce cleaning costs and the impact on the environment.

Claims

A method for identifying soiling (14) on a roadway, characterized in that - a first image data set, which represents a first image (4) of a surface of the roadway, is generated with the aid of a camera system (6) of a motor vehicle (5); - The first image data set is analyzed by a classification module (13) with the aid of a trained artificial neural network; - One of one or more positive classes is assigned to the first image data set by the classification module (13) if it is determined by the analysis of the first image data set that contamination (14) is present on the surface of the roadway; and - a first warning signal is generated with the aid of a computer system (7) of the motor vehicle (5) if one of the positive classes has been assigned to the first image data set.

Procedure according to Claim 1 , characterized in that a warning is output with the aid of a user interface (10) of the motor vehicle (7) as a function of the first warning signal.

Method according to one of the Claims 1 or 2 , characterized in that an automatic intervention in a control of the motor vehicle (7) with the aid of an electronic vehicle guidance system (11) of the motor vehicle (7) is initiated as a function of the first warning signal.

Method according to one of the Claims 1 to 3 , characterized in that an information signal is output with the aid of a communication interface (12) of the motor vehicle (7) as a function of the first warning signal.

Method according to one of the Claims 1 to 4th , characterized in that for the analysis of the first image data set - a color spectrum of the first image data set is analyzed with the aid of the trained artificial neural network; and / or a surface structure of the surface of the roadway is analyzed with the aid of the trained artificial neural network; and / or a contrast content of the first image data set is analyzed with the aid of the trained artificial neural network; and / or brightness information of the first image data set is analyzed with the aid of the trained artificial neural network; and / or - reflection properties of the surface of the roadway are analyzed with the aid of the trained artificial neural network.

Method according to one of the Claims 1 to 5 , characterized in that a negative class is assigned to the first image data set with the aid of the classification module (13) if it is determined by the analysis that there is no soiling (14) on the surface of the roadway.

Method according to one of the Claims 1 to 6th , characterized in that the positive class is assigned to the first image data set with the aid of the classification module as a function of a position and / or shape and / or size of the contamination (14).

Method according to one of the Claims 1 to 7th , characterized in that an initial artificial neural network is trained with the aid of a training module based on a monitored learning method in order to obtain the trained neural network.

Method according to one of the Claims 1 to 8th , characterized in that the positive class is assigned to the first image data set by the classification module (13) if the analysis determines that oil or fuel (14) is present on the surface of the roadway.

Method according to one of the Claims 1 to 9 , characterized in that - the first image data set is generated with the aid of a vehicle front camera (6a) of the camera system (6); - A second image data set, which represents a second image of the surface of the roadway, is generated with the aid of a vehicle rear camera (6b) of the camera system (6); - The second image data set is analyzed by the classification module (13) with the aid of the trained artificial neural network; and - one of the one or more positive classes is assigned to the second image data set by the classification module (13) if it is determined by the analysis of the second image data set that contamination (14) is present on the surface of the roadway.

Procedure according to Claim 10 , characterized in that a second warning signal is generated with the aid of the computer system (7) if it is determined by the analysis of the first image data set that there is no soiling (14) on the surface of the roadway, and one of the positive classes is assigned to the second image data set has been.

Method according to one of the Claims 10 or 11 characterized in that - a third image data set, which represents a third image of the surface of the roadway, is generated with the aid of a rear-view camera (6c) of a towed vehicle (16); - The third image data set is analyzed by the classification module (13) with the aid of the trained artificial neural network; - One of the one or more positive classes is assigned to the third image data set by the classification module (13) if it is determined by the analysis of the third image data set that contamination (14) is present on the surface of the roadway; and - a third warning signal is generated with the aid of the computer system (7) if the analysis of the second image data set determines that there is no soiling (14) on the surface of the roadway and one of the positive classes has been assigned to the third image data set.

Safety system for a motor vehicle (5) for identifying soiling (14) on a roadway, characterized in that - the safety system comprises a camera system (6) which is designed to generate a first image data set containing a first image (4) of a Represents the surface of the roadway; - The security system comprises a computer system (7) with a classification module (13), the classification module (13) being designed for the following: - Analyzing the first image data set with the aid of a trained artificial neural network; and - assigning one of one or more positive classes to the first image data set if it is determined by the analysis that contamination (14) is present on the roadway; and - the computer system (7) is designed to generate a warning signal when one of the positive classes has been assigned to the first image data set.

Security system according to Claim 13 , characterized in that the computer system comprises a one-chip system (8) comprising the classification module (13); and / or the computer system (7) comprises a microcontroller (9) for generating the warning signal.

Computer program with instructions which, when the computer program is executed by a security system (15), according to one of the Claims 13 or 14th , the security system (15) cause a method according to one of the Claims 1 to 12 perform.