DE102020105821A1

DE102020105821A1 - Method and system for driving a vehicle

Info

Publication number: DE102020105821A1
Application number: DE102020105821.7A
Authority: DE
Inventors: Jonathan Horgan; Ciaran Hughes; Senthil Kumar Yogamani
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2020-03-04
Filing date: 2020-03-04
Publication date: 2021-09-09

Abstract

Gemäß einem Verfahren zum Führen eines Fahrzeugs (1) werden Bilddaten, die eine Umgebung des Fahrzeugs (1) repräsentieren, von einem Umgebungssensorsystem (3a, 3b) des Fahrzeugs (1) erzeugt und eine Recheneinheit (4) des Fahrzeugs (1) wird dazu benutzt, ein Objekt (5) in der Umgebung abhängig von den Bilddaten zu detektieren. Die Recheneinheit (4) wird auch dazu benutzt, das Objekt (5) in eine der mindestens zwei Schwere-Klassen gemäß einer Schwere einer hypothetischen Kollision des Fahrzeugs (1) mit dem Objekt zu klassifizieren und das Fahrzeug (1) abhängig von einem Ergebnis der Klassifikation wenigstens teilweise automatisch zu führen.According to a method for driving a vehicle (1), image data representing an environment of the vehicle (1) are generated by an environment sensor system (3a, 3b) of the vehicle (1) and a processing unit (4) of the vehicle (1) is used for this purpose used to detect an object (5) in the vicinity depending on the image data. The computing unit (4) is also used to classify the object (5) in one of the at least two severity classes according to the severity of a hypothetical collision of the vehicle (1) with the object and to classify the vehicle (1) depending on a result of the To lead classification at least partially automatically.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs, wobei Bilddaten, die eine Umgebung des Fahrzeugs darstellen, unter Verwendung eines Umgebungssensorsystems des Fahrzeugs erzeugt werden und eine Recheneinheit des Fahrzeugs dazu benutzt wird, ein Objekt in der Umgebung abhängig von den Bilddaten zu detektieren. Die Erfindung betrifft des Weiteren ein Verfahren zum Trainieren eines Objektklassifizierungsalgorithmus zum Führen eines Fahrzeugs, ein elektronisches Fahrzeugführungssystem, ein Computerprogramm und ein computerlesbares Speichermedium.The present invention relates to a method for at least partially automatic driving of a vehicle, image data representing an environment of the vehicle being generated using an environment sensor system of the vehicle and a computing unit of the vehicle being used to determine an object in the environment as a function of the image data to detect. The invention also relates to a method for training an object classification algorithm for driving a vehicle, an electronic vehicle guidance system, a computer program and a computer-readable storage medium.

Für teilautomatische oder vollautomatische Fahr- oder Parkmanöver eines Fahrzeugs können Objektdetektionsalgorithmen verwendet werden, zum Beispiel zur Pfadplanung entsprechend dem Vorhandensein und/oder der Position von Objekten in der Umgebung des Fahrzeugs. Wenn ein Objekt identifiziert wird, wird ein potenziell zu einer Kollision des Fahrzeugs mit dem Objekt führender Pfad nicht geplant oder vorgeschlagen und Parkplätze, auf denen sich Teile des Objekts befinden, werden nicht ausgewählt oder vorgeschlagen.Object detection algorithms can be used for partially automatic or fully automatic driving or parking maneuvers of a vehicle, for example for path planning according to the presence and / or the position of objects in the vicinity of the vehicle. When an object is identified, a path leading to a potential collision of the vehicle with the object is not planned or suggested, and parking spaces on which parts of the object are located are not selected or suggested.

Andererseits würde der Fahrer im Falle eines vollständig manuellen Fahrens des Fahrzeugs manche Arten von Objekten ignorieren, da eine Kollision des Objekts mit dem Fahrzeug eigentlich nicht zu einem Schaden des Fahrzeugs führen würde. Dies kann insbesondere der Fall sein für lockeres Gebüsch, Gras oder andere leichte Vegetation in der Umgebung.On the other hand, in the case of completely manual driving of the vehicle, the driver would ignore some types of objects, since a collision of the object with the vehicle would not actually result in damage to the vehicle. This can be the case in particular for loose shrubbery, grass or other light vegetation in the area.

Folglich kann das teilautomatische oder vollautomatische Fahren zu unerwartetem Verhalten bezüglich der Pfadplanung oder der Führung des Fahrzeugs oder hinsichtlich der Auswahl von Parkplätzen führen. Beispielsweise können unerwartete oder nicht intuitive automatische Bremsmanöver oder dergleichen vorkommen. Des Weiteren sind die Möglichkeiten für durch das automatische Fahrsystem zu planende oder vorzuschlagende Pfade unnötig eingeschränkt. Diese Aspekte reduzieren ein Komfortniveau für einen Benutzer des Fahrzeugs.As a result, the semi-automatic or fully automatic driving can lead to unexpected behavior with regard to path planning or the guidance of the vehicle or with regard to the selection of parking spaces. For example, unexpected or non-intuitive automatic braking maneuvers or the like can occur. Furthermore, the options for paths to be planned or suggested by the automatic driving system are unnecessarily restricted. These aspects reduce a level of comfort for a user of the vehicle.

Druckschrift WO 2018/068919 A1 beschreibt eine Vorgehensweise zur Klassifizierung eines Objekts in der Umgebung eines Fahrzeugs als ein statisches oder dynamisches Objekt abhängig von Sensordaten. Es kann dann bestimmt werden, ob das Objekt eine Pflanze ist oder nicht.Pamphlet WO 2018/068919 A1 describes a procedure for classifying an object in the vicinity of a vehicle as a static or dynamic object depending on sensor data. It can then be determined whether the object is a plant or not.

Es ist daher Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zum wenigstens teilweise automatischen Führen eines Fahrzeugs bereitzustellen, welches das Komfortniveau für einen Benutzer des Fahrzeugs steigert, ohne die Sicherheit zu reduzieren.It is therefore the object of the present invention to provide an improved concept for at least partially automatic driving of a vehicle which increases the level of comfort for a user of the vehicle without reducing safety.

Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Bevorzugte Ausführungsformen und weitere Ausführungen sind Gegenstand der abhängigen Ansprüche.This object is achieved by the respective subject matter of the independent claims. Preferred embodiments and further designs are the subject of the dependent claims.

Das verbesserte Konzept beruht auf dem Gedanken, ein Objekt in einer Umgebung des Fahrzeugs in Schwere-Klassen gemäß einer erwarteten Schwere einer hypothetischen Kollision des Fahrzeugs mit dem Objekt abhängig von Bilddaten zu klassifizieren. Das Fahrzeug wird dann abhängig von dem Ergebnis der Klassifizierung geführt.The improved concept is based on the idea of classifying an object in the surroundings of the vehicle in severity classes according to an expected severity of a hypothetical collision of the vehicle with the object as a function of image data. The vehicle is then guided depending on the result of the classification.

Gemäß dem verbesserten Konzept wird ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs bereitgestellt. Dabei werden Bilddaten, die eine Umgebung des Fahrzeugs darstellen, unter Verwendung eines Umgebungssensorsystems des Fahrzeugs erzeugt. Eine Recheneinheit des Fahrzeugs wird dazu benutzt, ein Objekt in der Umgebung abhängig von den Bilddaten zu detektieren. Die Recheneinheit wird des Weiteren dazu benutzt, das Objekt automatisch in eine von mindestens zwei Schwere-Klassen entsprechend einer erwarteten Schwere einer hypothetischen Kollision des Fahrzeugs mit dem Objekt abhängig von den Bilddaten zu klassifizieren. Die Recheneinheit wird dazu benutzt, das Fahrzeug abhängig von einem Ergebnis der Klassifizierung wenigstens teilweise automatisch zu führen.According to the improved concept, a method for at least partially automatic driving of a vehicle is provided. In this case, image data that represent the surroundings of the vehicle are generated using an environmental sensor system of the vehicle. A computer unit in the vehicle is used to detect an object in the vicinity as a function of the image data. The computing unit is also used to automatically classify the object into one of at least two severity classes according to an expected severity of a hypothetical collision of the vehicle with the object as a function of the image data. The computing unit is used to at least partially automatically guide the vehicle as a function of a result of the classification.

Das Detektieren des Objekts kann beispielsweise derart verstanden werden, dass es das Bestimmen des Vorhandenseins des Objekts in der Umgebung des Fahrzeugs und optional das Bestimmen seiner Position und/oder Größe und/oder Orientierung beinhaltet.The detection of the object can be understood, for example, to include determining the presence of the object in the vicinity of the vehicle and optionally determining its position and / or size and / or orientation.

Die Klassifizierung des Objekts wird erreicht durch Anwenden eines Klassifizierungsalgorithmus, insbesondere eines trainierten Klassifizierungsalgorithmus, auf die Bilddaten oder auf von den Bilddaten abhängige Eingabedaten.The classification of the object is achieved by applying a classification algorithm, in particular a trained classification algorithm, to the image data or to input data that is dependent on the image data.

Der Klassifizierungsalgorithmus kann zum Beispiel einen Merkmalsextraktoralgorithmus, eine Support-Vektor-Maschine, SVM, einen semantischen Klassifikator und/oder ein künstliches neuronales Netz, zum Beispiel ein faltendes neuronales Netzwerk, CNN, beinhalten.The classification algorithm can include, for example, a feature extractor algorithm, a support vector machine, SVM, a semantic classifier and / or an artificial neural network, for example a convolutional neural network, CNN.

Die Schwere der hypothetischen Kollision kann zum Beispiel aufgrund einer scheinbaren Widerstandskraft des Objekts geschätzt werden. Mit anderen Worten kann die Schwere aufgrund einer erwarteten Kraft geschätzt werden, die durch das Objekt auf das Fahrzeug einwirkt, falls die Kollision stattfindet.The severity of the hypothetical collision can, for example, be estimated based on an apparent resistance force of the object. In other words, the severity can be estimated based on an expected force generated by the Object acts on the vehicle if the collision occurs.

Mit anderen Worten können die Schwere-Klassen auch als Widerstandskraftklassen betrachtet werden, um das Objekt gemäß seiner Widerstandskraft oder entsprechend der erwarteten Kraft, mit der es im Falle einer Kollision auf das Fahrzeug einwirkt, zu klassifizieren.In other words, the severity classes can also be viewed as resistance classes in order to classify the object according to its resistance or according to the expected force with which it acts on the vehicle in the event of a collision.

Das Ergebnis der Klassifizierung kann insbesondere Informationen darüber enthalten, in welche Schwere-Klasse der zwei oder mehr Schwere-Klassen das Objekt klassifiziert wurde.The result of the classification can in particular contain information about which severity class of the two or more severity classes the object was classified into.

Das wenigstens teilweise automatische Führen des Fahrzeugs kann es zum Beispiel beinhalten, dem Fahrer durch Vorschlagen einer Trajektorie oder eines Pfades oder durch Vorschlagen eines Fahrmanövers oder Parkmanövers oder durch Vorschlagen eines Zielparkplatzes zu assistieren.The at least partially automatic guidance of the vehicle can include, for example, assisting the driver by suggesting a trajectory or a path or by suggesting a driving maneuver or parking maneuver or by suggesting a target parking space.

Das Führen des Fahrzeugs kann auch das Bereitstellen von Informationen betreffend eine Steuerung oder eine vorgeschlagene Steuerung des Fahrzeugs und/oder Informationen betreffend die Widerstandskraft des Objekts beinhalten. Zum Beispiel kann ein Bild auf einem Bildschirm angezeigt werden, wobei das Objekt abhängig von der Schwere-Klasse, in die es klassifiziert worden ist, hervorgehoben ist.The driving of the vehicle can also include the provision of information relating to a control or a proposed control of the vehicle and / or information relating to the resistance of the object. For example, an image can be displayed on a screen with the object highlighted depending on the severity into which it has been classified.

Das Führen des Fahrzeugs kann auch das Initiieren oder Ausführen eines automatischen oder teilautomatischen Fahrmanövers oder Parkmanövers des Fahrzeugs beinhalten. Mit anderen Worten kann das Führen des Fahrzeugs autonomes Fahren, Parken oder Steuern des Fahrzeugs beinhalten.Driving the vehicle can also include initiating or executing an automatic or semi-automatic driving maneuver or parking maneuver of the vehicle. In other words, driving the vehicle can include autonomous driving, parking, or controlling the vehicle.

Insbesondere kann das Verfahren gemäß dem verbesserten Konzept von einem elektronischen Fahrzeugführungssystem ausgeführt werden.In particular, the method according to the improved concept can be carried out by an electronic vehicle guidance system.

Ein elektronisches Fahrzeugführungssystem kann als ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom, insbesondere ohne dass ein manuelles Eingreifen oder Steuern durch einen Fahrer oder Benutzer des Fahrzeugs notwendig wäre, zu führen. Das Fahrzeug führt erforderliche Lenkmanöver, Bremsmanöver und/oder Beschleunigungsmanöver und so weiter automatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus gemäß Stufe 5 der SAE J3016 Klassifikation implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als ein Fahrerassistenzsystem, ADAS, implementiert sein, welches einen Fahrer beim teilautomatischen oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilautomatischen oder teilautonomen Fahrmodus gemäß den Stufen 1 bis 4 der SAE J3016 Klassifikation implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den entsprechenden Standard mit Datum vom Juni 2018.An electronic vehicle guidance system can be understood as an electronic system which is set up to guide a vehicle fully automatically or fully autonomously, in particular without manual intervention or control by a driver or user of the vehicle being necessary. The vehicle automatically carries out required steering maneuvers, braking maneuvers and / or acceleration maneuvers and so on. In particular, the electronic vehicle guidance system can implement a fully automatic or fully autonomous driving mode according to level 5 of the SAE J3016 classification. An electronic vehicle guidance system can also be implemented as a driver assistance system, ADAS, which supports a driver in semi-automatic or semi-autonomous driving. In particular, the electronic vehicle guidance system can implement a partially automatic or partially autonomous driving mode according to levels 1 to 4 of the SAE J3016 classification. Here and in the following, SAE J3016 refers to the corresponding standard dated June 2018.

Durch Berücksichtigung des Ergebnisses der Klassifizierung des Objekts in die zwei oder mehr Schwere-Klassen und daher die Schwere einer potenziellen Kollision zwischen dem Objekt und dem Fahrzeug zum wenigstens teilweise automatischen Führen des Fahrzeugs, kann es vermieden werden, dass potenzielle Pfade oder Parkplätze davon ausgeschlossen werden, geplant oder vorgeschlagen zu werden, obgleich es ohne wesentliches Risiko möglich ist, diesen Pfaden zu folgen oder diese Parkplätze zu benutzen.By taking into account the result of the classification of the object into the two or more severity classes and therefore the severity of a potential collision between the object and the vehicle for at least partially automatic driving of the vehicle, it can be avoided that potential paths or parking spaces are excluded therefrom to be planned or proposed, although it is possible to follow these paths or use these parking spaces without substantial risk.

Mit anderen Worten kann das Komfortniveau für den Benutzer des Fahrzeugs erhöht werden, ohne das Sicherheitsniveau für das Fahrzeug oder den Benutzer zu reduzieren. Das Komfortniveau wird insbesondere dadurch erhöht, dass unerwartetes Verhalten oder unerwartete automatische Bremsmanövern vermieden und die Möglichkeiten für zu planende oder vorzuschlagende Pfade oder für auszuwählende oder vorzuschlagende Parkplätze erweitert werden.In other words, the level of comfort for the user of the vehicle can be increased without reducing the level of safety for the vehicle or the user. The level of comfort is increased in particular in that unexpected behavior or unexpected automatic braking maneuvers are avoided and the options for paths to be planned or proposed or for parking spaces to be selected or proposed are expanded.

Gemäß einigen Ausführungen des Verfahrens wird ein Konfidenzwert der Klassifizierung durch die Recheneinheit bestimmt. Das Fahrzeug wird wenigstens teilweise automatisch unter Verwendung der Recheneinheit abhängig von dem Konfidenzwert geführt.According to some embodiments of the method, a confidence value of the classification is determined by the computing unit. The vehicle is at least partially guided automatically using the computing unit as a function of the confidence value.

Der Konfidenzwert kann beispielsweise einen Konfidenzwert für die eine der mindestens zwei Schwere-Klassen, in die das Objekt klassifiziert worden ist, beinhalten, insbesondere dafür, dass die Klassifizierung korrekt ist.The confidence value can contain, for example, a confidence value for one of the at least two severity classes into which the object has been classified, in particular for the fact that the classification is correct.

Bei derartigen Implementierungen können Pfade ausgeschlossen werden, die potenziell zu einer Kollision mit dem Objekt führen, falls der Konfidenzwert geringer ist als eine vordefinierte Mindestkonfidenz. Auf diese Weise wird die Sicherheit weiter erhöht.In such implementations, paths can be excluded that potentially lead to a collision with the object if the confidence value is less than a predefined minimum confidence. In this way, security is further increased.

Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, das Objekt abhängig von den Bilddaten in einem ersten Klassifizierungsschritt automatisch als Vegetation zu klassifizieren. Die Recheneinheit wird dazu benutzt, das Objekt abhängig von den Bilddaten in einem zweiten Klassifizierungsschritt nach dem ersten Klassifizierungsschritt in die eine der mindestens zwei Schwere-Klassen zu klassifizieren.According to some embodiments, the computing unit is used to automatically classify the object as vegetation in a first classification step as a function of the image data. The computing unit is used to classify the object into one of the at least two severity classes in a second classification step after the first classification step, depending on the image data.

Hier und im Folgenden kann Vegetation als eine Pflanze oder eines oder mehrere Teile einer oder mehrerer Pflanzen betrachtet werden.Here and in the following, vegetation can be viewed as a plant or one or more parts of one or more plants.

Der zweite Klassifizierungsschritt kann zum Beispiel als eine Regression des ersten Klassifizierungsschritts erachtet werden. Zum Beispiel kann der zweite Klassifizierungsschritt Bestimmen der Widerstandskraft oder scheinbaren Widerstandskraft der in dem ersten Klassifizierungsschritt als solche identifizierten Vegetation beinhalten.The second classification step can be viewed as a regression of the first classification step, for example. For example, the second classification step may include determining the resistance or apparent resistance of the vegetation identified as such in the first classification step.

Alternativ kann die Klassifizierung in die eine der mindestens zwei Schwere-Klassen in einem einzigen gemeinsamen Klassifizierungsschritt ausgeführt werden.Alternatively, the classification into one of the at least two severity classes can be carried out in a single common classification step.

Unterschiedliche Pflanzentypen oder unterschiedliche Teile von Pflanzen können eine besonders große Bandbreite von Widerstandskraft aufweisen. Beispielsweise können einzelne oder wenige Blätter oder Gras eine sehr geringe Widerstandskraft aufweisen, während die Widerstandskraft von dünnen Zweigen oder lockerem Gebüsch größer sein kann. Die Widerstandskraft von dichtem Gebüsch oder starken Ästen kann noch größer sein und die Stärke von Baumstämmen oder dergleichen kann maximal sein.Different types of plants or different parts of plants can exhibit a particularly wide range of resistance. For example, single or a few leaves or grass can have a very low resistance, while the resistance of thin branches or loose bushes can be greater. The resistance of dense bushes or strong branches can be even greater and the strength of tree trunks or the like can be maximum.

Daher ist das verbesserte Konzept besonders nützlich, wenn das Objekt einer Vegetation entspricht.Therefore, the improved concept is particularly useful when the object corresponds to vegetation.

Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, eine Trajektorie für das Fahrzeug abhängig von dem Ergebnis der Klassifizierung des Objekts in die eine der mindestens zwei Schwere-Klassen zu planen.According to some embodiments, the computing unit is used to plan a trajectory for the vehicle as a function of the result of the classification of the object into one of the at least two severity classes.

Das Planen der Trajektorie, die auch als Pfad bezeichnet werden kann, kann als Führen des Fahrzeugs betrachtet werden.Planning the trajectory, which can also be referred to as a path, can be viewed as guiding the vehicle.

Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, ein Fahrmanöver und/oder ein Parkmanöver des Fahrzeugs abhängig von dem Ergebnis der Klassifizierung des Objekts in die eine der mindestens zwei Schwere-Klassen wenigstens teilweise automatisch zu initiieren.According to some embodiments, the computing unit is used to at least partially automatically initiate a driving maneuver and / or a parking maneuver of the vehicle depending on the result of the classification of the object into one of the at least two severity classes.

Das Initiieren des Fahrmanövers und/oder Parkmanövers kann als Führen des Fahrzeugs betrachtet werden. Das Initiieren eines Manövers kann beispielsweise ein Ausführen des Manövers gesteuert von der Recheneinheit und/oder von weiteren Recheneinheiten, wie elektronischen Steuereinheiten des Fahrzeugs, und/oder ein Ansteuern jeweiliger Aktoren des Fahrzeugs beinhalten.The initiation of the driving maneuver and / or parking maneuver can be viewed as driving the vehicle. The initiation of a maneuver can include, for example, executing the maneuver controlled by the computing unit and / or by further computing units, such as electronic control units of the vehicle, and / or triggering respective actuators of the vehicle.

Gemäß einigen Ausführungen werden die Bilddaten unter Verwendung eines Kamerasystems des Umgebungssensorsystems erzeugt.According to some implementations, the image data is generated using a camera system of the environment sensor system.

Kameradaten sind besonders geeignet als Bilddaten für Klassifizierungszwecke. Zum Beispiel haben sich neuronale Netze, wie CNNs, als leistungsstarke Werkzeuge zur Objektklassifizierung basierend auf Kameradaten erwiesen.Camera data are particularly suitable as image data for classification purposes. For example, neural networks such as CNNs have proven to be powerful tools for classifying objects based on camera data.

Gemäß einigen Ausführungen werden weitere Sensordaten betreffend das Objekt unter Verwendung des Umgebungssensorsystems erzeugt und das Fahrzeug wird abhängig von den weiteren Sensordaten wenigstens teilweise automatisch geführt.According to some embodiments, further sensor data relating to the object are generated using the environment sensor system and the vehicle is at least partially automatically guided as a function of the further sensor data.

Dass die weiteren Sensordaten das Objekt betreffen, kann zum Beispiel derart verstanden werden, dass sie das Objekt direkt oder indirekt, vollständig oder teilweise darstellen oder abbilden.The fact that the further sensor data relate to the object can be understood, for example, to mean that they represent or map the object directly or indirectly, completely or partially.

Unter Verwendung des Ergebnisses der Klassifizierung und zusätzlich unter Verwendung der weiteren Sensordaten, um das Fahrzeug wenigstens teilweise automatisch zu führen, kann der Konfidenzwert der Klassifizierung erhöht und/oder das Sicherheitsniveau oder die Effizienz des Verfahrens gesteigert werden.Using the result of the classification and additionally using the further sensor data in order to at least partially automatically guide the vehicle, the confidence value of the classification can be increased and / or the safety level or the efficiency of the method can be increased.

Die weiteren Sensordaten können zum Beispiel unter Verwendung eines weiteren Kamerasystems des Umgebungssensorsystems, eines Lidar-Systems des Umgebungssensorsystems, eines Radar-Systems des Umgebungssensorsystems und/oder eines Ultraschallsensorsystems des Umgebungssensorsystems erzeugt werden.The further sensor data can be generated, for example, using a further camera system of the environment sensor system, a lidar system of the environment sensor system, a radar system of the environment sensor system and / or an ultrasound sensor system of the environment sensor system.

Gemäß einigen Ausführungen wird der Konfidenzwert durch die Recheneinheit abhängig von den weiteren Sensordaten angepasst.According to some embodiments, the confidence value is adapted by the computing unit as a function of the further sensor data.

Gemäß einigen Ausführungen werden die Bilddaten unter Verwendung einer oder mehrerer farbempfindlicher Kameras, zum Beispiel RGB-Kameras, insbesondere des Umgebungssensorsystems oder des Kamerasystems erzeugt.According to some embodiments, the image data are generated using one or more color-sensitive cameras, for example RGB cameras, in particular the environment sensor system or the camera system.

Gemäß einigen Ausführungen werden die Bilddaten unter Verwendung einer oder mehrerer Multispektralkameras eines Umgebungssensorsystems oder des Kamerasystems erzeugt.According to some embodiments, the image data are generated using one or more multispectral cameras of an environment sensor system or the camera system.

Gemäß einigen Ausführungen werden die Bilddaten unter Verwendung einer oder mehrerer Hyperspektralkameras des Umgebungssensorsystems oder des Kamerasystems erzeugt.According to some embodiments, the image data are generated using one or more hyperspectral cameras of the environment sensor system or the camera system.

Spektrale Eigenschaften des Objekts, wie Farbe, dominante sichtbare oder unsichtbare Spektralbereiche des Objekts oder dergleichen können dazu verwendet werden, Pflanzen oder Vegetation zuverlässig als solche zu identifizieren und können sogar ein Identifizieren des Typs oder der Art von Pflanzen oder Vegetation erlauben.Spectral properties of the object, such as color, dominant visible or invisible Spectral ranges of the object or the like can be used to reliably identify plants or vegetation as such and can even allow the type or type of plants or vegetation to be identified.

Entsprechend können die jeweiligen Informationen dazu verwendet werden, die Schwere auf besonders zuverlässige Weise einzuschätzen und daher die Zuverlässigkeit des Verfahrens steigern.Correspondingly, the respective information can be used to assess the severity in a particularly reliable manner and therefore increase the reliability of the method.

Gemäß einigen Ausführungen werden die Schritte des Erzeugens der Bilddaten, des Detektierens des Objekts und des Klassifizierens des Objekts in die eine der mindestens zwei Schwere-Klassen mindestens einmal wiederholt. Jeweilige Ergebnisse der wiederholten Klassifizierungen werden unter Verwendung der Recheneinheit zeitlich gefiltert und das Fahrzeug wird von einer Recheneinheit abhängig von dem Ergebnis des zeitlichen Filterns wenigstens teilweise automatisch geführt.According to some embodiments, the steps of generating the image data, detecting the object and classifying the object into the one of the at least two severity classes are repeated at least once. The respective results of the repeated classifications are time-filtered using the processing unit and the vehicle is at least partially automatically guided by a processing unit as a function of the result of the time-based filtering.

Das zeitliche Filtern kann zum Beispiel Berechnen eines Mittelwertes oder einer oder mehrerer weiterer statistischer Werte des Ergebnisses der Klassifizierung beinhalten.The temporal filtering can include, for example, calculating a mean value or one or more further statistical values of the result of the classification.

Folglich kann der Konfidenzwert durch Berücksichtigen mehrerer Bilddatensätze so erhöht werden, dass Sicherheit und Effektivität weiter gesteigert werden können, so dass Sicherheit und Effektivität des Verfahrens ebenfalls gesteigert werden.As a result, the confidence value can be increased by taking into account a plurality of image data sets in such a way that security and effectiveness can be further increased, so that the security and effectiveness of the method are also increased.

Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, einen trainierten Algorithmus, insbesondere einen trainierten Objektklassifizierungsalgorithmus, insbesondere ein trainiertes künstliches neuronales Netz, auf die Bilddaten anzuwenden, um das Objekt in die eine der mindestens zwei Schwere-Klassen zu klassifizieren. In den jeweiligen Ausführungen wird der trainierte Algorithmus auch auf die Bilddaten angewendet, um das Objekt als Vegetation zu klassifizieren.According to some embodiments, the processing unit is used to apply a trained algorithm, in particular a trained object classification algorithm, in particular a trained artificial neural network, to the image data in order to classify the object into one of the at least two severity classes. In the respective versions, the trained algorithm is also applied to the image data in order to classify the object as vegetation.

Der trainierte Algorithmus kann als ein Algorithmus betrachtet oder bezeichnet werden, der auf maschinellem Lernen und/oder maschinellem Sehen basiert.The trained algorithm can be viewed or referred to as an algorithm based on machine learning and / or machine vision.

Der trainierte Algorithmus ist insbesondere derart trainiert, dass er mindestens die zwei Schwere-Klassen, insbesondere für Vegetation, unterscheiden kann. Auf diese Weise kann eine zuverlässige und effektive Klassifizierung erreicht werden.The trained algorithm is in particular trained in such a way that it can distinguish at least the two severity classes, in particular for vegetation. In this way a reliable and effective classification can be achieved.

Insbesondere beinhaltet der trainierte Algorithmus ein künstliches neuronales Netz, beispielsweise ein CNN.In particular, the trained algorithm contains an artificial neural network, for example a CNN.

Insbesondere kann das Trainieren des Algorithmus außerhalb des Fahrzeugs während einer Trainingsphase erfolgen. Dies kann Rechenanforderungen oder Rechenaufwand während der Betriebsphase reduzieren, was das Verfahren besonders geeignet für eingebettete Rechensysteme von Fahrzeugen macht.In particular, the algorithm can be trained outside the vehicle during a training phase. This can reduce computing requirements or computing effort during the operating phase, which makes the method particularly suitable for embedded computing systems of vehicles.

Gemäß dem verbesserten Konzept wird auch ein Verfahren zum Trainieren eines Objektklassifizierungsalgorithmus zum wenigstens teilweise automatischen Führen eines Fahrzeugs bereitgestellt. Dabei wird eine Vielzahl von Bildern bereitgestellt, wobei jedes Bild ein jeweiliges Objekt darstellt. Trainingsbilddaten werden durch Annotieren jedes der Vielzahl von Bildern mit einem Label entsprechend einer von mindestens zwei Schwere-Klassen gemäß einer Schwere einer hypothetischen Kollision des Fahrzeugs mit dem jeweiligen Objekt erzeugt. Ein Trainingsrechensystem, welches insbesondere unterschiedlich zu der Recheneinheit ist und beispielsweise extern zu dem Fahrzeug sein kann, wird dazu benutzt, den Objektklassifizierungsalgorithmus, insbesondere den Algorithmus in einem untrainierten oder teilweise trainierten Status, auf die Trainingsbilddaten anzuwenden, um Ausgabedaten zu erzeugen. Der Objektklassifizierungsalgorithmus wird angepasst, insbesondere automatisch, unter Verwendung des Trainingscomputersystems, abhängig von den Ausgabedaten, um den Objektklassifizierungsalgorithmus zu trainieren.According to the improved concept, a method for training an object classification algorithm for at least partially automatic driving of a vehicle is also provided. A large number of images are provided, with each image representing a respective object. Training image data are generated by annotating each of the plurality of images with a label corresponding to one of at least two severity classes according to a severity of a hypothetical collision of the vehicle with the respective object. A training computing system, which is in particular different from the computing unit and can be external to the vehicle, for example, is used to apply the object classification algorithm, in particular the algorithm in an untrained or partially trained status, to the training image data in order to generate output data. The object classification algorithm is adapted, in particular automatically, using the training computer system, depending on the output data, in order to train the object classification algorithm.

Der Schritt des Annotierens der Bilder kann von einem oder mehreren Menschen ausgeführt werden oder kann wenigstens teilweise automatisch von dem Trainingsrechensystem gemäß einem vordefinierten Satz von Annotationsregeln ausgeführt werden. Jede der mindestens zwei Schwere-Klassen kann als durch das jeweilige Label repräsentiert betrachtet werden.The step of annotating the images can be carried out by one or more people or can at least partially be carried out automatically by the training computing system according to a predefined set of annotation rules. Each of the at least two severity classes can be viewed as being represented by the respective label.

Anwenden des Algorithmus auf die Trainingsbilddaten kann als eine Vorwärts-Propagation der Trainingsbilddaten betrachtet werden. Auf der anderen Seite kann das Anpassen des Objektklassifizierungsalgorithmus als eine Rück-Propagation der Ausgabedaten betrachtet werden, zum Beispiel um jeweilige Gewichtungen eines neuronalen Netzes des Objektklassifizierungsalgorithmus anzupassen.Applying the algorithm to the training image data can be viewed as a forward propagation of the training image data. On the other hand, the adaptation of the object classification algorithm can be viewed as a back propagation of the output data, for example in order to adapt the respective weightings of a neural network of the object classification algorithm.

Die Ausgabe kann der geschätzten Schwere der hypothetischen Kollision direkt oder indirekt entsprechen.The output can be directly or indirectly related to the estimated severity of the hypothetical collision.

Die Anpassung des Objektklassifizierungsalgorithmus wird insbesondere abhängig von einem Ergebnis eines Vergleichs der Ausgabedaten mit dem annotierten Label durchgeführt. Insbesondere kann eine Verlustfunktion oder Fehlerfunktion berechnet und für die Rück-Propagation verwendet werden.The adaptation of the object classification algorithm is carried out in particular as a function of a result of a comparison of the output data with the annotated label. In particular, a loss function or error function can be calculated and used for the back propagation.

Gemäß einigen Ausführungen des Verfahrens zum Trainieren eines Objektklassifizierungsalgorithmus sind die Objekte Vegetation.According to some implementations of the method for training an object classification algorithm, the objects are vegetation.

Gemäß einigen Ausführungen des Verfahrens zum Trainieren eines Objektklassifizierungsalgorithmus entsprechen die mindestens zwei Schwere-Klassen unterschiedlichen Stärken der Vegetation.According to some embodiments of the method for training an object classification algorithm, the at least two severity classes correspond to different thicknesses of the vegetation.

Gemäß einigen Ausführungen des Verfahrens zum wenigstens teilweise automatischen Führen eines Fahrzeugs gemäß dem verbesserten Konzept, wird oder wurde der von der Recheneinheit auf die Bilddaten angewendete trainierte Algorithmus, um das Objekt in die eine der mindestens zwei Schwere-Klassen zu klassifizieren, gemäß einem Verfahren zum Trainieren eines Objektklassifizierungsalgorithmus gemäß dem verbesserten Konzept trainiert.According to some embodiments of the method for at least partially automatic driving of a vehicle according to the improved concept, the trained algorithm applied by the computing unit to the image data to classify the object into one of the at least two severity classes is or has been, according to a method for Train an Object Classification Algorithm According to the Improved Concept.

Gemäß dem verbesserten Konzept wird auch ein elektronisches Fahrzeugführungssystem zum wenigstens teilweise automatischen Führen eines Fahrzeugs bereitgestellt. Das Fahrzeugführungssystem beinhaltet ein Umgebungssensorsystem, welches dazu eingerichtet ist, Bilddaten zu erzeugen, die eine Umgebung des Fahrzeugs darstellen. Das Fahrzeugführungssystem beinhaltet eine Recheneinheit, die dazu eingerichtet ist, ein Objekt in der Umgebung abhängig von den Bilddaten zu detektieren und das Objekt automatisch in eine von mindestens zwei Schwere-Klassen entsprechend einer erwarteten Schwere einer hypothetischen Kollision des Fahrzeugs mit dem Objekt abhängig von den Bilddaten zu klassifizieren. Die Recheneinheit ist dazu eingerichtet, das Fahrzeug abhängig von dem Ergebnis der Klassifizierung wenigstens teilweise automatisch zu führen.According to the improved concept, an electronic vehicle guidance system for at least partially automatic guidance of a vehicle is also provided. The vehicle guidance system includes an environment sensor system which is configured to generate image data that represent an environment of the vehicle. The vehicle guidance system includes a computing unit which is set up to detect an object in the environment depending on the image data and automatically classify the object in one of at least two severity classes according to an expected severity of a hypothetical collision of the vehicle with the object depending on the image data to classify. The computing unit is set up to at least partially automatically guide the vehicle as a function of the result of the classification.

Gemäß einigen Ausführungen des elektronischen Fahrzeugführungssystems umfasst das Umgebungssensorsystem ein Kamerasystem, insbesondere eine oder mehrere farbempfindliche Kameras und/oder eine oder mehrere Multispektralkameras und/oder eine oder mehrere Hyperspektralkameras, die jeweils dazu eingerichtet sind, die Bilddaten zu erzeugen.According to some embodiments of the electronic vehicle control system, the environment sensor system includes a camera system, in particular one or more color-sensitive cameras and / or one or more multispectral cameras and / or one or more hyperspectral cameras, each of which is set up to generate the image data.

Gemäß einigen Ausführungen ist das Umgebungssensorsystem dazu eingerichtet, weitere Sensordaten betreffend das Objekt zu erzeugen und die Recheneinheit ist dazu eingerichtet, das Fahrzeug abhängig von den weiteren Sensordaten wenigstens teilweise automatisch zu führen.According to some embodiments, the environment sensor system is set up to generate further sensor data relating to the object and the computing unit is set up to at least partially automatically guide the vehicle as a function of the further sensor data.

Gemäß einigen Ausführungen weist das Umgebungssensorsystem ein weiteres Kamerasystem und/oder ein Lidar-System und/oder ein Radar-System und/oder ein Ultraschallsensorsystem auf, die jeweils dazu eingerichtet sind, die weiteren Sensordaten zu erzeugen.According to some embodiments, the environment sensor system has a further camera system and / or a lidar system and / or a radar system and / or an ultrasonic sensor system, each of which is set up to generate the further sensor data.

Gemäß einigen Ausführungen des elektronischen Fahrzeugführungssystems, wird die Recheneinheit dazu verwendet, einen trainierten Algorithmus auf die Bilddaten anzuwenden, um das Objekt zu klassifizieren.According to some embodiments of the electronic vehicle guidance system, the computing unit is used to apply a trained algorithm to the image data in order to classify the object.

Gemäß einigen Ausführungen wird der trainierte Algorithmus gemäß einem Verfahren zum Trainieren eines Objektklassifizierungsalgorithmus gemäß dem verbesserten Konzept trainiert.In some implementations, the trained algorithm is trained according to a method for training an object classification algorithm according to the improved concept.

Gemäß dem verbesserten Konzept wird auch ein Fahrzeug bereitgestellt, insbesondere ein Kraftfahrzeug, zum Beispiel ein Fahrzeug, welches wenigstens teilweise automatisch fahrbar ist. Das Fahrzeug weist ein elektronisches Fahrzeugführungssystem gemäß dem verbesserten Konzept auf.According to the improved concept, a vehicle is also provided, in particular a motor vehicle, for example a vehicle, which can be driven at least partially automatically. The vehicle has an electronic vehicle guidance system according to the improved concept.

Gemäß dem verbesserten Konzept wird auch ein Befehle beinhaltendes Computerprogramm bereitgestellt. Wenn das Computerprogramm oder die Befehle von einem elektronischen Fahrzeugführungssystem gemäß dem verbesserten Konzept ausgeführt werden, veranlassen die Befehle das Fahrzeugführungssystem dazu, ein Verfahren zum Führen eines Fahrzeugs gemäß dem verbesserten Konzept auszuführen.According to the improved concept, a computer program containing instructions is also provided. When the computer program or the commands are executed by an electronic vehicle guidance system in accordance with the improved concept, the commands cause the vehicle guidance system to carry out a method for driving a vehicle in accordance with the improved concept.

Gemäß dem verbesserten Konzept wird auch ein computerlesbares Speichermedium bereitgestellt, welches ein Computerprogramm gemäß dem verbesserten Konzept speichert.According to the improved concept, a computer-readable storage medium is also provided which stores a computer program according to the improved concept.

Gemäß dem verbesserten Konzept wird ein weiteres computerlesbares Speichermedium bereitgestellt, wobei das weitere computerlesbare Speichermedium einen Objektklassifizierungsalgorithmus speichert, der gemäß einem Verfahren zum Trainieren eines Objektklassifizierungsalgorithmus gemäß dem verbesserten Konzept trainiert ist.According to the improved concept, a further computer-readable storage medium is provided, the further computer-readable storage medium storing an object classification algorithm which is trained according to a method for training an object classification algorithm according to the improved concept.

Gemäß einem weiteren Aspekt des verbesserten Konzepts, wird das Speichermedium, welches das Computerprogramm gemäß dem verbesserten Konzept speichert, dazu benutzt, ein Fahrzeug wenigstens teilweise automatisch zu führen.According to a further aspect of the improved concept, the storage medium which stores the computer program according to the improved concept is used to at least partially automatically guide a vehicle.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the specified combination, but also in other combinations without departing from the scope of the invention . There are thus also embodiments of the invention to be considered as encompassed and disclosed, which are not explicitly shown and explained in the figures, but emerge and can be generated from the explained embodiments by means of separate combinations of features. Designs and combinations of features are also to be regarded as disclosed, which therefore do not have all the features of an originally formulated independent claim. In addition, designs and combinations of features, in particular through the statements set out above, are to be regarded as disclosed that go beyond the combinations of features set forth in the back-references of the claims or differ from them.

In den Figuren zeigen:

1 schematisch ein Fahrzeug mit einer beispielhaften Ausführung eines elektronischen Fahrzeugführungssystems gemäß dem verbesserten Konzept;
2 ein Ablaufdiagramm einer beispielhaften Ausführung eines Verfahrens zum Führen eines Fahrzeugs gemäß dem verbesserten Konzept und ein Verfahren zum Trainieren eines Objektklassifizierungsalgorithmus gemäß dem verbesserten Konzept;
3 ein beispielhaftes Szenario für eine Anwendung des verbesserten Konzepts;
4 ein weiteres beispielhaftes Szenario für eine Anwendung des verbesserten Konzepts;
5 ein weiteres beispielhaftes Szenario für eine Anwendung für das verbesserte Konzept; und
6 ein weiteres beispielhaftes Szenario für eine Anwendung des verbesserten Konzepts.

In the figures show:

1 schematically a vehicle with an exemplary embodiment of an electronic vehicle guidance system according to the improved concept;
2 a flowchart of an exemplary embodiment of a method for driving a vehicle according to the improved concept and a method for training an object classification algorithm according to the improved concept;
3 an exemplary scenario for an application of the improved concept;
4th another exemplary scenario for an application of the improved concept;
5 another exemplary scenario for an application for the improved concept; and
6th another exemplary scenario for an application of the improved concept.

1 zeigt schematisch ein Fahrzeug 1 mit einer beispielhaften Ausführung eines elektronischen Fahrzeugführungssystems 2 gemäß dem verbesserten Konzept. 1 shows schematically a vehicle 1 with an exemplary implementation of an electronic vehicle guidance system 2 according to the improved concept.

Das Fahrzeugführungssystem 2 umfasst ein Umgebungssensorsystem, welches ein Kamerasystem 3a umfasst. Das Kamerasystem 3a kann zum Beispiel eine oder mehrere RGB-Kameras, Multispektralkameras und/oder Hyperspektralkameras umfassen.The vehicle guidance system 2 comprises an environment sensor system, which is a camera system 3a includes. The camera system 3a may include, for example, one or more RGB cameras, multispectral cameras, and / or hyperspectral cameras.

Das Fahrzeugführungssystem 2 umfasst des Weiteren eine Recheneinheit 4, die zum Beispiel ein elektronisches Steuergerät, ECU, des Fahrzeugs 1 beinhalten kann oder von diesem beinhaltet sein kann.The vehicle guidance system 2 furthermore comprises a computing unit 4th For example, an electronic control unit, ECU, of the vehicle 1 may include or may be included by this.

Optional beinhaltet das Umgebungssensorsystem ein weiteres Sensorsystem 3b. Das weitere Sensorsystem 3b kann beispielsweise einen oder mehrere aktive Sensoren, wie ein Lidar-System und/oder ein Radar-System und/oder ein Ultraschallsensorsystem umfassen. Alternativ kann das weitere Sensorsystem 3b ein weiteres Kamerasystem umfassen.The environmental sensor system optionally includes a further sensor system 3b . The further sensor system 3b can for example comprise one or more active sensors, such as a lidar system and / or a radar system and / or an ultrasonic sensor system. Alternatively, the further sensor system 3b include another camera system.

1 zeigt des Weiteren ein Objekt 5 in einer Umgebung des Fahrzeugs 1, insbesondere innerhalb eines Sichtfeldes oder teilweise innerhalb eines Sichtfeldes des Kamerasystems 3a und gegebenenfalls des weiteren Sensorsystems 3b. 1 also shows an object 5 in an environment of the vehicle 1 , in particular within a field of view or partially within a field of view of the camera system 3a and optionally the further sensor system 3b .

Die Funktionalität des Fahrzeugführungssystems 2 wird im Folgenden genauer mit Bezug auf beispielhafte Ausführungen von Verfahren gemäß dem verbesserten Konzept und anhand von 2 bis 6 erläutert.The functionality of the vehicle guidance system 2 will be explained in more detail below with reference to exemplary embodiments of methods according to the improved concept and on the basis of FIG 2 until 6th explained.

2 zeigt ein schematisches Ablaufdiagramm beispielhafter Ausführungen von Verfahren gemäß dem verbesserten Konzept. Dabei stellen Verfahrensschritte S1 bis S4 eine beispielhafte Ausführung eines Verfahrens zum Führen eines Fahrzeugs gemäß dem verbesserten Konzept dar und Verfahrensschritte T1 bis T3 stellen eine beispielhafte Ausführung eines Verfahrens zum Trainieren eines Objektklassifizierungsalgorithmus zum Führen eines Fahrzeugs gemäß dem verbesserten Konzept dar. Insbesondere können Schritte T1 bis T3 von einem Trainingscomputersystem (nicht dargestellt) ausgeführt werden, welches außerhalb des Fahrzeugs 1 angeordnet ist, während Verfahrensschritte S1 bis S4 von dem Fahrzeugführungssystem 2 des Fahrzeugs 1 ausgeführt werden können. 2 shows a schematic flow diagram of exemplary embodiments of methods according to the improved concept. Thereby represent procedural steps S1 until S4 illustrates an exemplary embodiment of a method for driving a vehicle according to the improved concept and method steps T1 until T3 illustrate an exemplary embodiment of a method for training an object classification algorithm for driving a vehicle according to the improved concept. In particular, steps T1 until T3 by a training computer system (not shown) which is external to the vehicle 1 is arranged during process steps S1 until S4 from the vehicle guidance system 2 of the vehicle 1 can be executed.

In Schritt T1 wird eine Vielzahl von Bildern oder entsprechenden Bilddatensätzen bereitgestellt. Jedes Bild stellt ein entsprechendes Objekt dar. Die durch die Bilder dargestellten Objekte können beispielsweise Vegetation beinhalten, mit anderen Worten Pflanzen oder Teile von Pflanzen unterschiedlicher Art und unterschiedlicher Stärke.In step T1 a large number of images or corresponding image data sets are provided. Each image represents a corresponding object. The objects represented by the images can for example contain vegetation, in other words plants or parts of plants of different types and different strengths.

3 zeigt schematisch das Fahrzeug 1 sowie ein potenzielles Objekt 5 in der Umgebung des Fahrzeugs 1, wobei das Objekt 5 mehrere hohe Grashalme aufweist, was besonders leichter Vegetation entspricht. Mit anderen Worten kann erwartet werden, dass die Schwere einer potenziellen Kollision des Objekts 5 mit dem Fahrzeug 1 sehr gering ist. 3 shows schematically the vehicle 1 as well as a potential object 5 in the vicinity of the vehicle 1 , with the object 5 has several high blades of grass, which corresponds to particularly light vegetation. In other words, the severity of a potential collision of the object can be expected 5 with the vehicle 1 is very low.

4 zeigt eine Draufsicht einer ähnlichen Situation, wobei auch in 4 das Objekt 5 hohen Grashalmen in der Umgebung des Fahrzeugs 1 entsprechen kann. 4th FIG. 11 shows a plan view of a similar situation, with FIG 4th the object 5 tall blades of grass in the vicinity of the vehicle 1 can correspond.

5 zeigt ein weiteres Szenario zum Anwenden des Verfahrens gemäß dem verbesserten Konzept. Dabei wird ein Parkplatzgelände abgebildet, auf welchem Parkplätze in der unmittelbaren Umgebung von mehreren Bäumen angeordnet sind. 5 shows a further scenario for applying the method according to the improved concept. This is a parking lot shows the parking spaces in the immediate vicinity of several trees.

Ein bestimmter Parkplatz 6 ist gezeigt, auf welchem Blätter und Zweige des Baums ein erstes Objekt 5 darstellen können und der Stamm des Baumes ein zweites Objekt 5' darstellen kann. Während die Blätter und Zweige des Baumes zum Beispiel als Vegetation leichter oder mittlerer Widerstandskraft betrachtet werden können, kann der Stamm als Vegetation mit sehr großer Widerstandskraft angesehen werden.A specific parking lot 6th is shown on which leaves and branches of the tree a first object 5 can represent and the trunk of the tree a second object 5 ' can represent. For example, while the leaves and branches of the tree can be viewed as vegetation of light or medium resistance, the trunk can be viewed as vegetation with very high resistance.

Eine weitere Situation für die Anwendung des verbesserten Konzepts wird schematisch in 6 dargestellt, wobei das Fahrzeug 1 dabei gezeigt wird, wie es eine kurvige Straße mit einem Objekt 5, zum Beispiel leichte Zweige eines Gebüschs, die teilweise über die Fahrspur hängen, entlang fährt. Auch in diesem Fall kann das Objekt 5 als Vegetation geringer oder mittlerer Widerstandskraft betrachtet werden.Another situation for the application of the improved concept is shown schematically in 6th shown, the vehicle 1 it shows how there is a winding road with an object 5 , for example light branches of a bush, which partly hang over the lane, drives along. In this case, too, the object can 5 considered as vegetation of low or medium resistance.

Zurückkommend auf 2 wird zusätzlich zu der Vielzahl von Bildern auch ein Satz vordefinierter Annotationsregeln bereitgestellt. Die Annotationsregeln können zum Beispiel definieren, welche Art von Vegetation jeweils als geringe beziehungsweise große Stärke aufweisend erachtet wird. Insbesondere können gemäß den Annotationsregeln mindestens zwei Schwere-Klassen vorgegeben werden, wobei Schwere-Klassen einer Schwere einer hypothetischen Kollision des Fahrzeugs 1 mit dem jeweiligen Objekt entsprechen.Coming back to 2 In addition to the large number of images, a set of predefined annotation rules is also provided. The annotation rules can define, for example, which type of vegetation is considered to have low or high thickness in each case. In particular, according to the annotation rules, at least two severity classes can be specified, with severity classes representing the severity of a hypothetical collision of the vehicle 1 correspond with the respective object.

Des Weiteren werden in Schritt T1 Trainingsbilddaten durch Annotieren jedes der Vielzahl von Bildern mit einem Label entsprechend einer der mindestens zwei Schwere-Klassen erzeugt. Dabei definiert jedes Label die jeweilige Schwere-Klasse, mit der das jeweilige Bild beziehungsweise Objekt auf dem Bild annotiert wurde. Der Annotierungsschritt kann automatisch oder teilweise automatisch durch Menschen ausgeführt werden.Furthermore, in step T1 Training image data generated by annotating each of the plurality of images with a label corresponding to one of the at least two severity classes. Each label defines the respective severity class with which the respective image or object was annotated on the image. The annotation step can be performed automatically or partially automatically by humans.

In Schritt T2 wird das Trainingscomputersystem dazu benutzt, den untrainierten oder teilweise trainierten Objektklassifizierungsalgorithmus auf die Trainingsbilddaten anzuwenden, um Ausgabedaten zu erzeugen.In step T2 the training computer system is used to apply the untrained or partially trained object classification algorithm to the training image data to generate output data.

Der Objektklassifizierungsalgorithmus wird in Schritt T3 abhängig von den Ausgabedaten angepasst.The object classification algorithm is in step T3 adjusted depending on the output data.

Je höher die Anzahl an Bildern in der Vielzahl von Bildern, desto besser werden die Trainingsergebnisse sein, mit anderen Worten desto höher wird die Zuverlässigkeit des Algorithmus in einer operativen Phase sein.The higher the number of images in the multiplicity of images, the better the training results will be, in other words the higher the reliability of the algorithm in an operational phase.

Die Annotationsregeln basieren beispielsweise auf dem Grad der Widerstandskraft der Vegetation beziehungsweise der Schwere. Es kann beispielsweise drei bis fünf Schwere-Klassen geben. Andere Schemata sind ebenfalls möglich. Beispielsweise kann auch ein binäres Schema mit genau zwei Schwere-Klassen, eine für das fahrbare Objekt und eine für das nicht fahrbare Objekt, angewendet werden.The annotation rules are based, for example, on the degree of resistance of the vegetation or the severity. For example, there can be three to five severity classes. Other schemes are also possible. For example, a binary scheme with exactly two severity classes, one for the drivable object and one for the non-drivable object, can also be used.

Während des Annotationsschritts kann Rauschen eingeführt werden, in dem Sinne, dass die Vegetationsstärke oder Schwere subjektive Interpretationen zulassen und nicht ganz eindeutig sein kann, falls die Annotation von einem Menschen oder insbesondere von mehreren Menschen durchgeführt wird. Jedoch kann durch Wählen geeigneter Algorithmus-Architekturen, beispielsweise durch die Benutzung eines CNN als Objektklassifizierungsalgorithmus, diese Art von Rauschen aufgrund der Eigenschaften des Algorithmus als sehr starker Interpolator marginalisiert werden.Noise can be introduced during the annotation step, in the sense that the vegetation thickness or severity allow subjective interpretations and cannot be entirely unambiguous if the annotation is carried out by one person or, in particular, by several people. However, by choosing suitable algorithm architectures, for example by using a CNN as the object classification algorithm, this type of noise can be marginalized due to the properties of the algorithm as a very strong interpolator.

Am Ende von Schritt T3 wird der trainierte Algorithmus der Recheneinheit 4 des Fahrzeugs bereitgestellt.At the end of the step T3 becomes the trained algorithm of the computing unit 4th of the vehicle provided.

In Schritt S1 erzeugt das Kamerasystem 3a Bilddaten, die die Umgebung des Fahrzeugs darstellen und insbesondere das Objekt 5 abbilden.In step S1 generates the camera system 3a Image data that represent the surroundings of the vehicle and in particular the object 5 depict.

In Schritt S2 wird die Recheneinheit 4 dazu benutzt, das Objekt 5 in der Umgebung abhängig von den Bilddaten zu detektieren.In step S2 becomes the arithmetic unit 4th used the object 5 to be detected in the environment depending on the image data.

In Schritt S3a wird der trainierte Algorithmus auf die Bilddaten angewendet oder mit anderen Worten die Bilddaten werden dem trainierten Algorithmus als Eingabedaten zugeführt. In einem ersten Klassifizierungsschritt klassifiziert die Recheneinheit 4 das Objekt 5 zum Beispiel als Vegetation abhängig von den Bilddaten.In step S3a the trained algorithm is applied to the image data or, in other words, the image data is fed to the trained algorithm as input data. In a first classification step, the computing unit classifies 4th the object 5 for example as vegetation depending on the image data.

In einem zweiten Klassifizierungsschritt, der durch Schritt S3b repräsentiert wird, kann der trainierte Algorithmus dazu benutzt werden, das Objekt 5 abhängig von der Schwere einer hypothetischen Kollision des Fahrzeugs 1 mit dem Objekt 5 in die eine der Schwere-Klassen zu klassifizieren.In a second classification step, which is followed by step S3b is represented, the trained algorithm can be used to determine the object 5 depending on the severity of a hypothetical collision of the vehicle 1 with the object 5 to be classified into one of the severity classes.

In alternativen Ausführungen können die Klassifizierungsschritte gemäß S3a und S3b in einem gemeinsamen Klassifizierungsschritt S3c kombiniert werden. In diesem Fall wird das Objekt 5 direkt als Vegetation mit einer jeweiligen Schwere gemäß einer der mindestens zwei Schwere-Klassen klassifiziert.In alternative embodiments, the classification steps according to S3a and S3b can be combined in a common classification step S3c. In this case the object will 5 directly classified as vegetation with a respective severity according to one of the at least two severity classes.

In Schritt S4 wird ein Ergebnis der Klassifizierung von der Recheneinheit 4 berücksichtigt, um das Fahrzeug 1 wenigstens teilweise automatisch zu führen, beispielsweise um ein automatisiertes oder assistiertes Fahr- oder Parkmanöver auszuführen.In step S4 becomes a result of the classification by the arithmetic unit 4th taken into account to the vehicle 1 at least partially automatically lead, for example to carry out an automated or assisted driving or parking maneuver.

Wie erläutert, kann gemäß dem verbesserten Konzept das Komfortniveau für einen Benutzer des Fahrzeugs verbessert werden, indem unnötige oder nicht intuitive Fahrmanöver oder Bremsmanöver aufgrund von in der Umgebung des Fahrzeugs identifizierten Objekten, die eigentlich ohne das Risiko eines ernsthaften Schadens überfahren werden können, vermieden werden.As explained, according to the improved concept, the level of comfort for a user of the vehicle can be improved by avoiding unnecessary or non-intuitive driving maneuvers or braking maneuvers based on objects identified in the vicinity of the vehicle which can actually be run over without the risk of serious damage .

Durch Klassifizieren der Widerstandskraft der Vegetation gemäß den Schwere-Klassen, beispielsweise unter Berücksichtigung der Dicke oder Unnachgiebigkeit der Teile der Vegetation, um die Wahrscheinlichkeit zu erkennen, mit der die Vegetation das Fahrzeug beschädigen kann, kann teilautomatisches oder vollautomatisches Fahrzeugverhalten intuitiver gemacht oder optimiert werden. Falls ein Busch in der Umgebung des Fahrzeugs identifiziert wird, kann das Fahrzeug beispielsweise nicht automatisch bremsen, falls festgestellt wird, dass die Schwere-Klasse ein zu vernachlässigendes Risiko anzeigt. Des Weiteren wird vermieden, dass bestimmte Parkplätze aufgrund des Vorhandenseins leichter Vegetation auf dem Parkplatz automatisch nicht ausgewählt oder automatisch nicht vorgeschlagen werden.By classifying the resistance of the vegetation according to the severity classes, for example taking into account the thickness or intransigence of the parts of the vegetation in order to recognize the probability with which the vegetation can damage the vehicle, semi-automatic or fully automatic vehicle behavior can be made more intuitive or optimized. If a bush is identified in the vicinity of the vehicle, the vehicle cannot, for example, brake automatically if it is determined that the severity class indicates a negligible risk. Furthermore, it is avoided that certain parking spaces are automatically not selected or automatically not suggested due to the presence of light vegetation in the parking lot.

Gemäß einigen Ausführungen des verbesserten Konzepts können RGB-Kameras, Multispektral-Kameras oder Hyperspektral-Kameras oder Kombinationen aus diesen dazu benutzt werden, das Objekt als Vegetation zu klassifizieren und auch die jeweilige Widerstandskraft der Vegetation zu klassifizieren, um die Höhe des Schadens zu beschreiben, den die Vegetation an dem Fahrzeug verursachen könnte, wenn es zu einer Berührung käme. Zum Beispiel können mehrere Schwere-Klassen verwendet werden von Null (verursacht keinen Schaden) beispielsweise im Falle von Gras, bis Vier (verursacht erheblichen Schaden), beispielsweise im Falle eines Baumstamms. Mit dieser Information kann das Fahrzeug besser fundierte und intuitivere Entscheidungen bezüglich seiner Reaktion basierend auf der vorliegenden Vegetation treffen. Beispielsweise könnte das System erkennen, dass die Vegetation mit dem Fahrzeug in Berührung geraten kann, ohne zu riskieren, dass das Fahrzeug Schaden nimmt.According to some versions of the improved concept, RGB cameras, multispectral cameras or hyperspectral cameras or combinations of these can be used to classify the object as vegetation and also to classify the respective resistance of the vegetation in order to describe the amount of damage, vegetation on the vehicle could cause if it came into contact. For example, several severity classes can be used from zero (causes no damage), for example in the case of grass, to four (causes considerable damage), for example in the case of a tree trunk. With this information, the vehicle can make better-informed and more intuitive decisions regarding its reaction based on the vegetation present. For example, the system could detect that the vegetation can come into contact with the vehicle without risking the vehicle being damaged.

Eine Kombination weiterer aktiver und/oder passiver Sensoren kann zusätzlich zu dem Kamerasystem benutzt werden und die Kameraausgabe kann fusioniert werden, um die Leistungsfähigkeit des Verfahrens zu verbessern. In manchen Ausführungen wird ein neuronales Netz auf der Basis von Kameradaten von einem Kamerasystem, wie einem Rundumsichtkamerasystem eines Fahrzeugs, trainiert, um das Objekt als Vegetation zu klassifizieren und auch die Widerstandskraft der Vegetation zu klassifizieren. Diese Information wird dann von dem System als einzige Quelle oder fusioniert mit anderen Kamera- oder Sensordaten benutzt, um besser fundierte Entscheidungen bei der Planung von Trajektorien zu treffen. Das Klassifizierungslabel oder die Schwere-Klasse könnten zeitlich gefiltert werden und/oder Beobachtungen von mehreren Kameras beinhalten, um die Klassifizierungsleistung zu verbessern. Schließlich wird die Klassifizierung der Widerstandskraft der Vegetation in der Umgebung des Fahrzeugs zu einem intuitiveren Fahrerlebnis, weniger Frustration und einem sichereren Fahren führen.A combination of other active and / or passive sensors can be used in addition to the camera system and the camera output can be merged in order to improve the performance of the method. In some embodiments, a neural network is trained on the basis of camera data from a camera system, such as an all-round view camera system of a vehicle, in order to classify the object as vegetation and also to classify the resistance of the vegetation. This information is then used by the system as the sole source or merged with other camera or sensor data in order to make more informed decisions when planning trajectories. The classification label or severity class could be time filtered and / or include observations from multiple cameras to improve classification performance. Ultimately, classifying the resilience of the vegetation surrounding the vehicle will result in a more intuitive driving experience, less frustration and safer driving.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

WO 2018/068919 A1 [0005]

Claims

A method for at least partially automatic driving of a vehicle (1), wherein - image data representing an environment of the vehicle (1) are generated using an environment sensor system (3a, 3b) of the vehicle (1); - A computing unit (4) of the vehicle (1) is used to detect an object (5) in the vicinity as a function of the image data; characterized in that the computing unit (4) is used to - classify the object (5) depending on the image data into one of at least two severity classes according to the severity of a hypothetical collision of the vehicle (1) with the object (5) ; and - to drive the vehicle (1) at least partially automatically as a function of a result of the classification.

Procedure according to Claim 1 , characterized in that the computing unit (4) is used to - classify the object (5) as vegetation in a first classification step as a function of the image data; and - depending on the image data, to classify the object (5) into one of the at least two severity classes in a second classification step after the first classification step.

Method according to one of the preceding claims, characterized in that - the computing unit (4) is used to assign a trajectory for the vehicle (1) depending on the result of the classification of the object (5) into one of the at least two severity classes to plan; and / or - the computing unit (4) is used to at least partially automatically initiate a driving maneuver or a parking maneuver of the vehicle (1) depending on the result of the classification of the object (5) into one of the at least two severity classes.

Method according to one of the preceding claims, characterized in that - the image data are generated using a camera system (3a) of the environment sensor system (3a, 3b); and / or - further sensor data relating to the object (5) are generated using the environment sensor system (3a, 3b) and the vehicle (1) is at least partially automatically guided depending on the further sensor data.

Method according to one of the preceding claims, characterized in that the image data are generated using one or more color-sensitive cameras and / or one or more multispectral cameras and / or one or more hyperspectral cameras of the environmental sensor system.

Method according to one of the preceding claims, characterized in that - the steps of generating the image data and classifying the object (5) into one of the at least two severity classes are repeated at least once; - The respective results of the repeated classifications are time-filtered using the computing unit (4); and - the vehicle (1) is guided at least partially automatically as a function of a result of the time filtering.

A method for training an object classification algorithm for at least partially automatic driving of a vehicle (1), a plurality of images being provided, each image representing a respective object, characterized in that - training image data by annotating each of the plurality of images with a label corresponding to a are generated from at least two severity classes according to a severity of a hypothetical collision of the vehicle (1) with the respective object; a training computing system is used to apply the object classification algorithm to the training image data in order to generate output data; and the object classification algorithm is adapted as a function of the output data.

Method for driving a vehicle (1) according to one of the Claims 1 until 6th characterized in that the computing unit (4) is used to apply a trained algorithm, in particular a trained artificial neural network, to the image data in order to classify the object (5) into one of the at least two severity classes.

Procedure according to Claim 8 , characterized in that the trained algorithm according to a method for training an object classification algorithm Claim 7 is trained.

Electronic vehicle guidance system for at least partially automatic guidance of a vehicle (1), wherein the vehicle guidance system (2) comprises an environment sensor system (3a, 3b) which is set up to generate image data which represent an environment of the vehicle (1); - comprises a computing unit (4) which is set up to detect an object (5) in the vicinity as a function of the image data; characterized in that the computing unit (4) is set up to - classifying the object (5) as a function of the image data into one of the at least two severity classes according to the severity of a hypothetical collision of the vehicle (1) with the object (5); and - to drive the vehicle (1) at least partially automatically as a function of a result of the classification.

Electronic vehicle guidance system according to Claim 10 , characterized in that the environment sensor system (3a, 3b) has a camera system (3a) which is set up to generate the image data, in particular one or more color-sensitive cameras and / or one or more multispectral cameras and / or one or more hyperspectral cameras.

Electronic vehicle guidance system according to one of the Claims 10 or 11 , characterized in that - the environment sensor system (3a, 3b) is set up to generate further sensor data relating to the object (5); and - the computing unit (4) is set up to at least partially automatically guide the vehicle (1) as a function of the further sensor data.

Electronic vehicle guidance system according to Claim 12 , characterized in that the environment sensor system (3a, 3b) comprises a further camera system and / or a lidar system and / or a radar system and / or an ultrasonic sensor system in order to generate the further sensor data.

Computer program which contains commands which, if they are sent by an electronic vehicle control system (2) according to one of the Claims 10 until 13th are executed, cause the vehicle guidance system (2) to implement a method for driving a vehicle (1) according to one of the Claims 1 until 6th , 8th or 9 perform.

Computer-readable storage medium which a computer program according to Claim 14 stores and / or stores an object classification algorithm that according to a method according to Claim 7 is trained.