DE102017008678A1

DE102017008678A1 - Method for adapting an object recognition by a vehicle

Info

Publication number: DE102017008678A1
Application number: DE102017008678.8A
Authority: DE
Inventors: Alexander Brunker
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2017-09-14
Filing date: 2017-09-14
Publication date: 2018-03-01

Abstract

Die Erfindung betrifft ein Verfahren zur Adaption einer Objekterkennung durch ein Fahrzeug, bei welchem die Objekterkennung durch eine Klassifizierung von einzelnen Bildpunkten eines von einer Kamera aufgenommenen Bildes erfolgt, wobei mindestens ein mittels Trainingsdaten eingelernter Klassifikator verwendet wird. Bei einem Verfahren, bei welchem auch bei Nacht eine zuverlässige Objekterkennung möglich ist, werden die Trainingsdaten mithilfe künstlichen Lichtes beleuchtungsabhängig generiert, wobei das künstliche Licht von wenigstens einem Pixelscheinwerfer des die Objekterkennung durchführenden Fahrzeuges erzeugt wird.The invention relates to a method for adapting an object recognition by a vehicle, in which the object recognition is carried out by a classification of individual pixels of an image captured by a camera, wherein at least one classifier trained by means of training data is used. In a method in which reliable object recognition is also possible at night, the training data are generated in an illumination-dependent manner using artificial light, the artificial light being generated by at least one pixel headlight of the vehicle performing the object recognition.

Description

Die Erfindung betrifft ein Verfahren zur Adaption einer Objekterkennung durch ein Fahrzeug, bei welchem die Objekterkennung durch eine Klassifizierung von einzelnen Bildpunkten eines von einer Kamera aufgenommenen Bildes erfolgt, wobei wenigstens ein mittels Trainingsdaten eingelernter Klassifikator verwendet wird.The invention relates to a method for adapting an object recognition by a vehicle, in which the object recognition is carried out by a classification of individual pixels of an image captured by a camera, wherein at least one classifier trained by means of training data is used.

Aus der DE 10 2015 200 434 A1 ist ein Verfahren zur Verbesserung der Objekterkennung bei unterschiedlichen Beleuchtungssituationen bekannt. Bei diesem Verfahren wird ein in einem Bild dargestelltes Objekt detektiert. Das Bild umfasst eine Vielzahl von Bildpunkten, wobei eine Beleuchtungssituation des Bildes auf Basis der Vielzahl von Bildpunkten ermittelt wird. Bei der Bestimmung, ob ein Bildausschnitt des Bildes ein zu detektierendes Objekt anzeigt, wird das Klassifizieren des Bildausschnittes mittels eines Objekt-Klassifikators durchgeführt. Das Bild wird dabei von einer Kamera des Fahrzeuges erfasst, die so eingerichtet sein kann, dass ein Umfeld vor dem Fahrzeug ebenfalls mit erfasst wird. Der Beleuchtungsklassifikator wird anhand von Trainingsdaten angelernt.From the DE 10 2015 200 434 A1 For example, a method for improving object recognition in different lighting situations is known. In this method, an object shown in an image is detected. The image includes a plurality of pixels, wherein an illumination situation of the image is determined based on the plurality of pixels. In determining whether an image section of the image indicates an object to be detected, the classification of the image section is performed by means of an object classifier. The image is captured by a camera of the vehicle, which can be set up so that an environment in front of the vehicle is also detected. The lighting classifier is trained on the basis of training data.

Bei gleichbleibenden Lichtverhältnissen wird mittels dieses Verfahrens eine gute Performance erreicht. Ändern sich bei Dunkelheit die Lichtverhältnisse, kann sich aber auch die erreichte Performance der Objekterkennung verändern.At constant light conditions a good performance is achieved by this method. If the lighting conditions change in the dark, the achieved performance of the object recognition can also change.

Aufgabe der Erfindung ist es, ein Verfahren zur Adaption einer Objekterkennung für ein Fahrzeug anzugeben, welches bei allen Lichtverhältnissen eine gleich gute Performance erreicht.The object of the invention is to provide a method for adapting an object recognition for a vehicle, which achieves the same good performance in all lighting conditions.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung sowie der Erläuterung von Ausführungsbeispielen der Erfindung.The invention results from the features of the independent claims. Advantageous developments and refinements are the subject of the dependent claims. Other features, applications and advantages of the invention will become apparent from the following description and the explanation of embodiments of the invention.

Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass die Trainingsdaten mithilfe künstlichen Lichtes beleuchtungsabhängig generiert werden, wobei das künstliche Licht von wenigstens einem Pixelscheinwerfer des die Objekterkennung durchführenden Fahrzeuges erzeugt wird. Dies hat den Vorteil, dass in Unabhängigkeit davon, zu welchen Tages- bzw. Nachtzeitpunkten die Objekterkennung durch das Fahrzeug realisiert werden soll, immer eine zuverlässige Qualität der Objekterkennung gegeben ist.The object is achieved with a method in that the training data are generated depending on the illumination using artificial light, the artificial light being generated by at least one pixel headlight of the vehicle performing the object recognition. This has the advantage that independent of which day or night points the object recognition is to be realized by the vehicle, there is always a reliable quality of the object recognition.

Vorteilhafterweise werden im Rahmen der Objekterkennung die von dem mit einem das Bild auswertenden Kamerasystem gekoppelten Pixelscheinwerfer erzeugten beleuchtungsabhängigen Trainingsdaten zur Klassifizierung eines Objektes durch das Kamerasystem eingesetzt. Dies unterstützt das Kamerasystem insbesondere in der Nacht bei einer Objekterkennung, wo das Umfeld des die Objekterkennung ausführenden Fahrzeuges beispielsweise durch ein anderes Fahrzeug beleuchtet wird.Advantageously, in the context of object recognition, the illumination-dependent training data generated by the pixel spotlight coupled to the image-evaluating camera system is used to classify an object by the camera system. This supports the camera system, in particular during the night in the case of object recognition, where the environment of the vehicle executing the object recognition is illuminated, for example, by another vehicle.

In einer Ausgestaltung überträgt der Pixelscheinwerfer eine Information über einen von ihm ausgeleuchteten Bereich an das Kamerasystem zur Objekterkennung. Da der Pixelscheinwerfer weiß, welchen Bereich der Umwelt er ausleuchtet, ist diese Information eine Unterstützung für das Kamerasystem, entsprechende Klassifikatoren herauszusuchen und bei der Objekterkennung zu benutzen.In one embodiment, the pixel headlight transmits information about an area illuminated by it to the camera system for object recognition. Since the pixel spotlight knows which area of the environment it illuminates, this information is a support to the camera system to pick out appropriate classifiers and to use in object recognition.

In einer Variante greift das Kamerasystem zur Auswertung des von dem Pixelscheinwerfer gelieferten Bereiches auf weitere Klassifikatoren zurück. Diese zusätzlichen Klassifikatoren unterstützen eine deutliche Objekterkennung und erhöhen somit die Zuverlässigkeit des Verfahrens.In a variant, the camera system accesses further classifiers for evaluating the area supplied by the pixel headlight. These additional classifiers support significant object recognition and thus increase the reliability of the method.

In einer Weiterbildung werden die aus den jeweiligen beleuchtungsabhängigen Trainingsdaten ermittelten Klassifikatoren in dem Kamerasystem gespeichert. Solche gespeicherten Klassifikatoren stehen somit für die Auswertung der Bildpunkte des von der Kamera aufgenommenen Bildes jederzeit zur Verfügung und können beleuchtungsabhängig eingesetzt werden.In a further development, the classifiers determined from the respective illumination-dependent training data are stored in the camera system. Such stored classifiers are thus available for the evaluation of the pixels of the image taken by the camera at any time and can be used depending on the lighting.

In einer Ausführungsform werden die beleuchtungsabhängigen Trainingsdaten über ein neuronales Netzwerk eingelernt. Die Verwendung eines neuronalen Netzwerkes erlaubt eine zuverlässige Bestimmung der Klassifikatoren aus den beleuchtungsabhängigen Trainingsdaten.In one embodiment, the illumination-dependent training data is learned via a neural network. The use of a neural network allows a reliable determination of the classifiers from the illumination-dependent training data.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein.Further advantages, features and details will become apparent from the following description in which at least one embodiment is described in detail. Described features may form the subject of the invention, or independently of the claims, either alone or in any meaningful combination, and may in particular additionally be the subject of one or more separate applications.

Um eine Umweltsituation von einem sich im Verkehr bewegenden Fahrzeug zu ermitteln, sind Fahrzeuge mit Kamerasystemen ausgestattet, die Bilder erzeugen, die von dem Kamerasystem ausgewertet werden, um festzustellen, ob sich in der Umgebung des Fahrzeuges Personen oder Objekte befinden, die den Fahrbetrieb des Fahrzeuges beeinträchtigen können. Für diese Objekterkennung werden Objekt-Klassifikatoren genutzt, die auf die Bildpunkte des von dem Kamerasystem aufgenommenen Bildes angewendet werden, um Objekte vor dem Fahrzeug zu erkennen. Diese Objekt-Klassifikatoren werden anhand von Trainingsdaten bei unterschiedlichen Beleuchtungen angelernt.In order to detect an environmental situation of a vehicle moving in traffic, vehicles are equipped with camera systems that generate images that are evaluated by the camera system to determine whether there are persons or objects in the vicinity of the vehicle, the driving operation of the vehicle can affect. For this object recognition Object classifiers are used, which are applied to the pixels of the image captured by the camera system to detect objects in front of the vehicle. These object classifiers are trained based on training data at different illuminations.

Um sicherzustellen, dass auch bei Nacht eine ausreichende Objekterkennung möglich ist, werden diese Trainingsdaten mithilfe eines künstlichen Lichtes ermittelt, wobei das künstliche Licht von einem Pixelscheinwerfer des Fahrzeuges, das die Objekterkennung durchführt, ausgegeben wird. Der Pixelscheinwerfer ist dabei mit dem Kamerasystem verbunden und übermittelt an das Kamerasystem, welchen Bereich der Fahrzeug er gerade ausleuchtet. Bei unterschiedlichen Beleuchtungsverhältnissen werden dabei die auf das künstliche Licht zurückgeführten Bildpunkte ausgewertet und somit verschiedene Objekt-Klassifikatoren ermittelt, die in dem Kamerasystem oder ein in einem mit dem Kamerasystem verbundenen Steuergerät abgespeichert werden.In order to ensure that sufficient object recognition is possible even at night, this training data is determined by means of an artificial light, wherein the artificial light is emitted by a pixel headlight of the vehicle, which performs the object recognition. The pixel headlight is connected to the camera system and transmits to the camera system which area of the vehicle it is currently illuminating. In the case of different illumination conditions, the pixels attributed to the artificial light are evaluated and thus different object classifiers are determined, which are stored in the camera system or in a control unit connected to the camera system.

Das von dem Pixelscheinwerfer abgegebene Pixellicht umfasst dabei 1080 Pixel. Bei der Objekterkennung greift das Kamerasystem neben diesen Objekt-Klassifikatoren auf zusätzliche andere Klassifikatoren zurück, die es erlauben, eine genauere Objekterkennung durchzuführen. Im Rahmen der Objekterkennung finden die beleuchtungsabhängigen Trainingsdaten bzw. die aus diesen Trainingsdaten abgeleiteten Eigenschaften der Klassifikatoren Einsatz, so dass eine bessere Performance von kamerabasierten Objekterkennungen bei Dunkelheit in Kombination mit dem Pixellicht erfolgt.The pixel light emitted by the pixel headlamp covers 1080 pixels. In object recognition, the camera system uses, in addition to these object classifiers, additional additional classifiers that allow more accurate object recognition. In the context of object recognition, the illumination-dependent training data or the properties of the classifiers derived from these training data are used, so that a better performance of camera-based object recognition in the dark takes place in combination with the pixel light.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.While the invention has been described in detail by way of preferred embodiments, the invention is not limited by the disclosed examples, and other variations can be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a multitude of possible variations exists. It is also to be understood that exemplified embodiments are really only examples that are not to be construed in any way as limiting the scope, applicability, or configuration of the invention. Rather, the foregoing description will enable those skilled in the art to practice the exemplary embodiments, and those of skill in the knowledge of the disclosed inventive concept may make various changes, for example, to the function or arrangement of particular elements recited in an exemplary embodiment without departing from the scope which is defined by the claims and their legal equivalents, such as further explanation in the description.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102015200434 A1 [0002]

Claims

Method for adapting an object recognition by a vehicle, in which the object recognition is carried out by a classification of individual pixels of an image taken by a camera, wherein at least one classifier trained by means of training data is used, characterized in that the training data are generated in an illumination-dependent manner by means of artificial light, wherein the artificial light is generated by at least one pixel headlight of the vehicle recognizing the object.

A method according to claim 1, characterized in that within the scope of the object recognition the illumination-dependent training data generated by the pixel spotlight coupled to the image-evaluating camera system are used for classifying an object by the camera system.

A method according to claim 1 or 2, characterized in that the pixel spotlight transmits information about an area illuminated by it to the camera system for object recognition.

A method according to claim 1, 2 or 3, characterized in that the camera system for evaluating the area supplied by the pixel spotlight area for object recognition relies on further classifiers.

Method according to at least one of the preceding claims, characterized in that the classifiers determined from the respective illumination-dependent training data are stored in the camera system.

Method according to at least one of the preceding claims, characterized in that the illumination-dependent training data is learned via a neural network.