DE102019201690A1

DE102019201690A1 - Procedure and assistance system for monitoring the surroundings of an ego vehicle

Info

Publication number: DE102019201690A1
Application number: DE102019201690.1A
Authority: DE
Inventors: Michael Amann; Marcus Hiemer
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-02-11
Filing date: 2019-02-11
Publication date: 2020-08-13

Abstract

Die Erfindung betrifft ein Verfahren zur Umfeldüberwachung eines Ego-Fahrzeugs (1), wobei mittels einer Sensorik (2) eines Assistenzsystems (3) mindestens ein Objekt (4a, 4b, 4c) im Umfeld (5) des Ego-Fahrzeugs (1) erkannt wird, wobei nachfolgend eine semantische Klassifizierung, eine Lokalisierung und/oder eine Bewegungseinschätzung des mindestens einen Objektes (4a, 4b, 4c) erfolgt, wobei anhand von Daten, welche die Klassifizierung, die Lokalisierung und/oder die Bewegungseinschätzung charakterisieren, eine Objektklassifizierung des mindestens einen Objektes (4a, 4b, 4c) in eine von zumindest zwei unterschiedlichen Mobilitätsklassen durchgeführt wird, anhand derer eine Kollisionsvermeidungsstrategie ausgewählt wird, die mittels des Assistenzsystems (3) ausgeführt wird, um eine Kollision mit dem jeweiligen Objekt (4a, 4b, 4c) zu verhindern. Ferner betrifft die Erfindung ein Assistenzsystem (3) zur Umfeldüberwachung des Ego-Fahrzeugs (1). Zudem betrifft die Erfindung ein Computerprogrammprodukt.The invention relates to a method for monitoring the surroundings of an ego vehicle (1), at least one object (4a, 4b, 4c) being detected in the surroundings (5) of the ego vehicle (1) by means of a sensor system (2) of an assistance system (3) is followed by a semantic classification, a localization and / or a movement assessment of the at least one object (4a, 4b, 4c), using data that characterize the classification, the localization and / or the movement assessment, an object classification of the at least an object (4a, 4b, 4c) is carried out in one of at least two different mobility classes, based on which a collision avoidance strategy is selected, which is carried out by means of the assistance system (3) in order to avoid a collision with the respective object (4a, 4b, 4c) to prevent. The invention also relates to an assistance system (3) for monitoring the surroundings of the ego vehicle (1). The invention also relates to a computer program product.

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie ein Assistenzsystem zur Umfeldüberwachung eines Ego-Fahrzeugs. Ferner betrifft die Erfindung ein Computerprogrammprodukt.The present invention relates to a method and an assistance system for monitoring the surroundings of an ego vehicle. The invention also relates to a computer program product.

Aus der WO 2017/106 478 A1 geht ein System, umfassend eine mobile Maschine und eine Rechenvorrichtung hervor, wobei die mobile Maschine eine Positionsbestimmungsvorrichtung umfasst und die Rechenvorrichtung mit der Positionsbestimmungsvorrichtung gekoppelt ist. Die Rechenvorrichtung ist zum Bewirken des Betriebs der mobilen Maschine gemäß einem Streckenplan konfiguriert, wobei der Streckenplan Informationen über Feldhindernisse umfasst. Die Rechenvorrichtung empfängt Standortinformationen von der Positionsbestimmungsvorrichtung. Darüber hinaus vergleicht die Rechenvorrichtung die Ortsinformationen mit den Informationen über die Feldhindernisse, wobei die Informationen über die Feldhindernisse entsprechende Feldkoordinaten der Feldhindernisse und Identifizierungsinformationen für jedes der Feldhindernisse aufweisen. Daraus wird automatisch bestimmt, ob eine Änderung des Betriebs der mobilen Maschine innerhalb einer vorbestimmten Entfernung von einer der Feldkoordinaten auf der Grundlage des Vergleichs bewirkt werden soll oder nicht.From the WO 2017/106 478 A1 discloses a system comprising a mobile machine and a computing device, wherein the mobile machine comprises a position determining device and the computing device is coupled to the position determining device. The computing device is configured to effect operation of the mobile machine according to a route map, the route map including information about field obstacles. The computing device receives location information from the position determining device. In addition, the computing device compares the location information with the information about the field obstacles, the information about the field obstacles having corresponding field coordinates of the field obstacles and identification information for each of the field obstacles. From this, it is automatically determined whether or not a change in the operation of the mobile machine is to be effected within a predetermined distance from one of the field coordinates on the basis of the comparison.

Der vorliegenden Erfindung liegt ausgehend vom Stand der Technik die Aufgabe zu Grunde, ein Verfahren und ein Assistenzsystem zur Umfeldüberwachung eines Ego-Fahrzeugs bereitzustellen, mit deren Hilfe eine Kollisionsvermeidung optimiert wird. Die Aufgabe wird gelöst durch den Gegenstand der Patentansprüche 1 und 8. Weitere vorteilhafte Ausführungsformen sind den abhängigen Ansprüchen zu entnehmen.Based on the prior art, the present invention is based on the object of providing a method and an assistance system for monitoring the surroundings of an ego vehicle, with the aid of which collision avoidance is optimized. The object is achieved by the subject matter of claims 1 and 8. Further advantageous embodiments can be found in the dependent claims.

Nach einem erfindungsgemäßen Verfahren zur Umfeldüberwachung eines Ego-Fahrzeugs wird mittels einer Sensorik eines Assistenzsystems mindestens ein Objekt im Umfeld des Ego-Fahrzeugs erkannt, wobei nachfolgend eine semantische Klassifizierung, eine Lokalisierung und/oder eine Bewegungseinschätzung des mindestens einen Objektes erfolgt, wobei anhand von Daten, welche die Klassifizierung, die Lokalisierung und/oder die Bewegungseinschätzung charakterisieren, eine Objektklassifizierung des mindestens einen Objektes in eine von zumindest zwei unterschiedlichen Mobilitätsklassen durchgeführt wird, anhand derer eine Kollisionsvermeidungsstrategie ausgewählt wird, die mittels des Assistenzsystems ausgeführt wird, um eine Kollision mit dem jeweiligen Objekt zu verhindern.According to a method according to the invention for monitoring the surroundings of an ego vehicle, at least one object in the surroundings of the ego vehicle is recognized by means of a sensor system of an assistance system, with a semantic classification, localization and / or movement assessment of the at least one object subsequently taking place, with the aid of data , which characterize the classification, the localization and / or the movement assessment, an object classification of the at least one object into one of at least two different mobility classes is carried out, on the basis of which a collision avoidance strategy is selected, which is carried out by means of the assistance system to avoid a collision with the respective Object to prevent.

Unter Ego-Fahrzeugen sind vorzugsweise landwirtschaftliche Nutzfahrzeuge bzw. Maschinen (Landtechnik) zu verstehen, die zumindest teilweise autonom betrieben werden, um einen Fahrer oder Betreiber des Ego-Fahrzeugs zu entlasten und damit die Landwirtschaft zumindest teilweise zu automatisieren. Diese Ego-Fahrzeuge arbeiten in einem Off-Road-Umfeld.Ego vehicles are preferably to be understood as agricultural utility vehicles or machines (agricultural engineering) which are operated at least partially autonomously in order to relieve a driver or operator of the ego vehicle and thus at least partially automate agriculture. These ego vehicles operate in an off-road environment.

Erkennt das Assistenzsystem eines oder mehrere Objekte im Umfeld des Ego-Fahrzeugs, werden die semantische Klassifizierung, die Lokalisierung und die Bewegungseinschätzung des jeweiligen Objekts durchgeführt, wobei die Reihenfolge dieser Aufgaben beliebig wählbar oder gleichzeitig durchführbar ist. Unter einer semantischen Klassifizierung ist ein Abgleich der über das Objekt erfassten Messdaten mit gelernten oder definierten Eigenschaften und Attributen zu verstehen, welche im Assistenzsystem hinterlegt sind. Bei der Lokalisierung werden Positionsdaten des jeweiligen Objektes erfasst. Sofern es sich um ein sich bewegendes Objekt handelt, wie beispielsweise ein Tier, eine Person oder ein Fahrzeug, werden im Rahmen der Bewegungseinschätzung eine Geschwindigkeit, eine Beschleunigung und/oder eine Bewegungsrichtung des jeweiligen, dynamischen Objektes bestimmt.If the assistance system detects one or more objects in the environment of the ego vehicle, the semantic classification, localization and movement assessment of the respective object are carried out, with the sequence of these tasks being selectable or being carried out simultaneously. A semantic classification is to be understood as a comparison of the measurement data recorded via the object with learned or defined properties and attributes that are stored in the assistance system. Position data of the respective object are recorded during localization. If it is a moving object, such as an animal, a person or a vehicle, a speed, an acceleration and / or a direction of movement of the respective dynamic object are determined as part of the movement assessment.

Vorzugsweise umfasst das Assistenzsystem eine Navigationseinheit zur Bereitstellung und Bearbeitung von Karteninformation. Anders gesagt werden mittels der Navigationseinheit des Assistenzsystems bevorzugt Karteninformationen bereitgestellt und bearbeitet. Unter einer Bearbeitung der Karteninformationen ist zu verstehen, dass zusätzlich die Positionsdaten und weitere Informationen, wie Art und Größe des jeweiligen Objekts, in den Karteninformationen aufgenommen werden oder bereits hinterlegte Objekte oder Informationen aus den Karteninformationen entfernt bzw. gelöscht oder überschrieben werden. Diese Daten und Informationen werden anschließend zur weiteren Klassifizierung in Datensätzen zusammengefasst und abrufbar im Assistenzsystem hinterlegt.The assistance system preferably comprises a navigation unit for providing and processing map information. In other words, map information is preferably provided and processed by means of the navigation unit of the assistance system. Processing of the map information is understood to mean that the position data and further information, such as the type and size of the respective object, are also included in the map information or that objects or information that have already been stored are removed, deleted or overwritten from the map information. These data and information are then summarized in data records for further classification and stored in the assistance system so they can be called up.

In der Navigationseinheit ist z.B. eine Karte hinterlegt, die den Arbeitsbereich des Ego-Fahrzeugs umfasst. Auf dieser Karte können die Grenzen des Arbeitsbereichs definiert sein. Es können ferner Objekte und Bereiche innerhalb des Arbeitsbereichs definiert werden, die von dem Ego-Fahrzeug umfahren werden sollen.In the navigation unit e.g. A map is stored that includes the work area of the ego vehicle. The boundaries of the work area can be defined on this map. Objects and areas can also be defined within the work area which the ego vehicle is to drive around.

Vorzugsweise werden durch die Sensorik zumindest ein bekanntes unbewegliches, zumindest ein unbekanntes unbewegliches und/oder zumindest ein unbekanntes bewegliches Objekt erkannt. Im Assistenzsystem sind bevorzugt drei Mobilitätsklassen definiert, die die erfassten Objekte im Bezug auf ihre Art und Beweglichkeit vorab kategorisiert, um eine Kollisionsvermeidungsstrategie zu optimieren, wobei die Objekte dabei hinsichtlich ihrer Bekanntheit und ihrer Mobilität eingestuft bzw. kategorisiert werden.At least one known immovable, at least one unknown immovable and / or at least one unknown moveable object is preferably recognized by the sensor system. In the assistance system, three mobility classes are preferably defined, which categorize the detected objects in terms of their type and mobility in advance in order to optimize a collision avoidance strategy, the objects being classified or categorized with regard to their familiarity and mobility.

Die erste Mobilitätsklasse umfasst bevorzugt bekannte unbewegliche Objekte. Dabei handelt es sich um statische, nicht bewegbare Objekte, deren Art und Position jedoch im Assistenzsystem, insbesondere in den Karteninformationen der Navigationseinheit hinterlegt sind. Darunter fallen beispielsweise Masten, Pfosten, Zäune oder Gräben innerhalb des Arbeitsbereichs des Ego-Fahrzeugs. Bevorzugt umfassen die Karteninformationen Positionsdaten des zumindest einen bekannten unbeweglichen Objekts. Anders gesagt ist die genaue Position des jeweiligen Objektes bereits vorab im Assistenzsystem hinterlegt bzw. in den Karteninformationen gespeichert. Die Positionsdaten umfassen zum Beispiel GPS-Koordinaten oder Koordinaten eines explizit für den Arbeitsbereich definierten Koordinatensystems. The first mobility class preferably comprises known immovable objects. These are static, immovable objects, the type and position of which, however, are stored in the assistance system, in particular in the map information of the navigation unit. This includes, for example, masts, posts, fences or trenches within the work area of the ego vehicle. The map information preferably includes position data of the at least one known immovable object. In other words, the exact position of the respective object is already stored in advance in the assistance system or is stored in the map information. The position data include, for example, GPS coordinates or coordinates of a coordinate system explicitly defined for the work area.

Die zweite Mobilitätsklasse umfasst ferner bevorzugt unbekannte unbewegliche Objekte. Damit sind Objekte erfasst, die sich nicht bewegen, somit statisch sind, und im Assistenzsystem, insbesondere in den Karteninformationen der Navigationseinheit nicht hinterlegt sind. Dies können beispielsweise mobile Jagdhochsitze, abgestellte Zugmaschinen oder Anhänger, sowie größere Steine sein.The second mobility class also preferably includes unknown immovable objects. This means that objects are recorded that do not move, and are therefore static, and are not stored in the assistance system, in particular in the map information of the navigation unit. These can be, for example, mobile hunting high seats, parked tractors or trailers, as well as larger stones.

Die dritte Mobilitätsklasse umfasst des Weiteren bevorzugt unbekannte bewegliche Objekte. Dabei handelt es sich um bewegte oder sich selbstständig bewegende Objekte mit einer Geschwindigkeit größer als 0, welche im Umfeld des Ego-Fahrzeugs detektiert werden. Solche Objekte können beispielsweise andere fahrende Landmaschinen, Menschen oder Tiere, insbesondere Wildtiere wie Hasen oder Rehe, sein. Insbesondere bei Tieren, wie beispielsweise Rehkitzen, kann jedoch der Fall auftreten, dass sie zunächst regungslos am Boden liegen und erst spät oder gar nicht aus dem Gefahrenbereich bzw. dem Kollisionsbereich fliehen. Daher ist die semantische Klassifizierung derart ausgebildet, dass eine genaue Identifizierung des jeweiligen Objektes, in diesem Fall des Rehkitzes, als unbekanntes bewegliches Objekt und nicht als unbekanntes unbewegliches Objekt möglich ist.The third mobility class furthermore preferably includes unknown moving objects. These are moving or independently moving objects with a speed greater than 0, which are detected in the environment of the ego vehicle. Such objects can, for example, be other moving agricultural machines, people or animals, in particular wild animals such as rabbits or deer. In the case of animals in particular, such as fawns for example, however, the case may arise that they initially lie motionless on the ground and only flee from the danger area or the collision area late or not at all. Therefore, the semantic classification is designed in such a way that an exact identification of the respective object, in this case the fawn, is possible as an unknown moving object and not as an unknown immovable object.

Mittels der im Rahmen der semantischen Klassifizierung, der Lokalisierung und der Bewegungseinschätzung generierten Daten und Informationen wird das jeweilige Objekt in genau eine der drei Mobilitätsklassen eingestuft, sodass das Assistenzsystem eine für die jeweilige Mobilitätsklasse geeignete, optimale Kollisionsvermeidungsstrategie auswählen kann. Anhand der Kollisionsvermeidungsstrategie steuert das Assistenzsystem das Ego-Fahrzeug derart, dass eine Kollision zwischen dem Ego-Fahrzeug und dem jeweiligen Objekt verhindert wird, ohne den allgemeinen Betrieb nachteilig zu beeinflussen. Eine solche Kollisionsvermeidungsstrategie kann beispielsweise ein Not-Halt bzw. Not-Aus, ein Ausweichen bzw. Umfahren, ein Abbremsen oder ein Beschleunigen des Ego-Fahrzeugs sein. Ferner ist denkbar bei kleinen unbekannten unbeweglichen Objekten, die durch die Objektklassifizierung beispielsweise als kleiner Stein erkannt wurden, als Kollisionsvermeidungsstrategie ein Überfahren des Objekts auszuwählen. Selbstverständlich ist es fernerhin möglich, in Abhängigkeit der jeweiligen Anwendung auch vier oder mehrere Mobilitätsklassen zu definieren.Using the data and information generated as part of the semantic classification, localization and movement assessment, the respective object is classified in exactly one of the three mobility classes, so that the assistance system can select an optimal collision avoidance strategy that is suitable for the respective mobility class. Using the collision avoidance strategy, the assistance system controls the ego vehicle in such a way that a collision between the ego vehicle and the respective object is prevented without adversely affecting general operation. Such a collision avoidance strategy can be, for example, an emergency stop or emergency stop, evasive action or driving around, braking or acceleration of the ego vehicle. Furthermore, in the case of small, unknown immovable objects, which have been recognized by the object classification as a small stone, for example, it is conceivable to select driving over the object as a collision avoidance strategy. Of course, it is also possible to define four or more mobility classes depending on the respective application.

Bevorzugt werden die Positionsdaten des zumindest einen bekannten unbeweglichen Objekts plausibilisiert. Unter eine Plausibilisierung der Positionsdaten ist insbesondere eine Überprüfung der Korrektheit oder ein Plausibilitätskontrolle der Positionsdaten des zumindest einen bekannten unbeweglichen Objekts zu verstehen. Dabei wird überprüft, ob das bekannte unbewegliche Objekt noch an der genauen Position ist, die in den Karteninformationen des Navigationssystems hinterlegt ist. Schlägt die Plausibilitätsprüfung fehl, ist das Assistenzsystem dazu ausgebildet, die Positionsdaten des Objekts bzw. die Informationen des Objekts aus den Karteninformationen zu löschen zu ändern oder zu überschreiben. Wird das Objekt noch an der entsprechenden Position aufgefunden, kann durch die Plausibilisierung außerdem eine noch genauere Positionierung des jeweiligen Objektes erfolgen und dies in den Karteninformationen gespeichert werden.The position data of the at least one known immovable object are preferably checked for plausibility. A plausibility check of the position data is to be understood, in particular, as a check of the correctness or a plausibility check of the position data of the at least one known immovable object. It is checked whether the known immovable object is still in the exact position that is stored in the map information of the navigation system. If the plausibility check fails, the assistance system is designed to change or overwrite the position data of the object or the information of the object from the map information to be deleted. If the object is still found at the corresponding position, the plausibility check can also result in an even more precise positioning of the respective object and this can be stored in the map information.

Ferner bevorzugt werden Positionsdaten der unbekannten unbeweglichen Objekte zu den Karteninformationen hinzugefügt. Sobald ein unbekanntes unbewegliches Objekt insbesondere in die jeweilige Mobilitätsklasse klassifiziert wurde, ist es möglich, dass es zu einem bekannten unbeweglichen Objekt umgewandelt wird. Die notwendigen Informationen dazu, beispielsweise die Positionsdaten, können vorteilhafterweise im Assistenzsystem und insbesondere in den Karteninformationen der Navigationseinheit abgelegt werden. Mit anderen Worten erfolgt ein permanentes Update der Karteninformationen, was den Betrieb des Ego-Fahrzeugs vorteilhaft beeinflusst.Position data of the unknown immovable objects are also preferably added to the map information. As soon as an unknown immovable object has been classified, in particular in the respective mobility class, it is possible that it is converted into a known immovable object. The necessary information for this, for example the position data, can advantageously be stored in the assistance system and in particular in the map information of the navigation unit. In other words, the map information is updated permanently, which advantageously influences the operation of the ego vehicle.

Vorzugsweise werden die Karteninformationen zu einer Planung und/oder Optimierung einer Route des Ego-Fahrzeugs eingesetzt. Die Navigationseinheit ist somit bevorzugt dazu ausgebildet, eine Routenplanung und/oder -optimierung für das Ego-Fahrzeug durchzuführen. Bereits hinterlegte bekannte unbewegliche Objekte sowie neu hinzugefügte bekannte unbewegliche Objekte, die beispielsweise manuell ergänzt oder aus unbekannten unbeweglichen Objekten umgewandelt wurden, sind von Vorteil, um eine optimale Route für das Ego-Fahrzeug zu planen bzw. eine bestehende Route zu optimieren. Es ist auch denkbar, dass Positionsdaten zu Objekten manuell in das Assistenzsystem eingespielt werden.The map information is preferably used to plan and / or optimize a route for the ego vehicle. The navigation unit is thus preferably designed to carry out route planning and / or optimization for the ego vehicle. Known immovable objects already stored as well as newly added known immovable objects that have been added manually or converted from unknown immovable objects, for example, are advantageous for planning an optimal route for the ego vehicle or optimizing an existing route. It is also conceivable that position data on objects are manually imported into the assistance system.

In einem erfindungsgemäßen System zur Umfeldüberwachung eines Ego-Fahrzeugs ist mittels einer Sensorik eines Assistenzsystems mindestens ein Objekt im Umfeld des Ego-Fahrzeugs erkennbar, wobei das mindestens eine Objekt semantisch klassifizierbar, lokalisierbar und/oder eine Bewegung des mindestens eine Objektes einschätzbar ist, wobei anhand von Daten, welche die Klassifizierung, die Lokalisierung und/oder die Bewegungseinschätzung charakterisieren, eine Objektklassifizierung des mindestens einen Objektes in eine von zumindest zwei unterschiedlichen Mobilitätsklassen durchführbar ist, anhand derer eine Kollisionsvermeidungsstrategie auswählbar ist, die mittels des Assistenzsystems ausführbar ist, um eine Kollision mit dem jeweiligen Objekt zu verhindern. In a system according to the invention for monitoring the surroundings of an ego vehicle, at least one object in the surroundings of the ego vehicle can be recognized by means of a sensor system of an assistance system, the at least one object being semantically classifiable, localizable and / or a movement of the at least one object being able to be assessed, with the aid of From data that characterize the classification, the localization and / or the movement assessment, an object classification of the at least one object into one of at least two different mobility classes can be carried out, on the basis of which a collision avoidance strategy can be selected that can be carried out by means of the assistance system to avoid a collision with to prevent the respective object.

Das Assistenzsystem oder Fahrerassistenzsystem weist eine Sensorik auf, die eine Vielzahl unterschiedlicher Sensoreinheiten und/oder -elementen vorsieht, welche zur Umfeldüberwachung des Ego-Fahrzeugs von Vorteil sind. Vorzugsweise umfasst die Sensorik zumindest einen Radarsensor oder eine Kamera. Damit wird das Umfeld des Ego-Fahrzeugs überwacht und, im Falle eines in den sensierbaren Bereich der Sensorik tretendes Objekt, wird ein entsprechendes Signal an das Assistenzsystem übermittelt. Auch Lidar-Sensoren sind denkbar, um im Umfeld des Ego-Fahrzeugs liegende oder auftretende Objekte zu erkennen.The assistance system or driver assistance system has a sensor system which provides a large number of different sensor units and / or elements which are advantageous for monitoring the surroundings of the ego vehicle. The sensor system preferably comprises at least one radar sensor or a camera. The surroundings of the ego vehicle are thus monitored and, in the case of an object entering the sensible area of the sensor system, a corresponding signal is transmitted to the assistance system. Lidar sensors are also conceivable in order to detect objects lying or occurring in the vicinity of the ego vehicle.

Das Assistenzsystem ist bevorzugt als Steuergerät ausgebildet, welches die Messdaten der Sensorik auswertet, um im Fall eines in Fahrtrichtung des Ego-Fahrzeugs liegenden Objektes eine Kollisionsvermeidungsstrategie zu initiieren. Mit anderen Worten ist das Assistenzsystem dazu ausgebildet, den Fahrbetrieb des Ego-Fahrzeugs zu überwachen, zu optimieren und dementsprechend zu steuern.The assistance system is preferably designed as a control device which evaluates the measurement data from the sensor system in order to initiate a collision avoidance strategy in the case of an object lying in the direction of travel of the ego vehicle. In other words, the assistance system is designed to monitor, optimize and control the driving operation of the ego vehicle.

Das Verfahren gemäß der Erfindung kann insbesondere von einem Computer beziehungsweise von einem Steuergerät ausgeführt werden. Somit kann das Verfahren in Software implementiert sein. Die entsprechende Software ist insofern ein eigenständig verkaufsfähiges Produkt. Daher bezieht sich die Erfindung auch auf ein Computerprogrammprodukt mit maschinenlesbaren Anweisungen, die, wenn sie auf einem Computer beziehungsweise auf einem Steuergerät ausgeführt werden, den Computer und/oder das Steuergerät zu einer Bedienungslogik des Systems zur Umfeldüberwachung eines Ego-Fahrzeugs aufwerten beziehungsweise dazu veranlassen, ein Verfahren gemäß der Erfindung auszuführen.The method according to the invention can in particular be carried out by a computer or by a control device. The method can thus be implemented in software. In this respect, the corresponding software is an independently salable product. The invention therefore also relates to a computer program product with machine-readable instructions which, when executed on a computer or on a control device, upgrade the computer and / or the control device to an operating logic of the system for monitoring the surroundings of an ego vehicle or cause it to to carry out a method according to the invention.

Im Folgenden wird ein bevorzugtes Ausführungsbeispiel der Erfindung anhand der Figuren näher erläutert. Hierbei zeigt

1 eine stark vereinfachte schematische Ansicht eines Ego-Fahrzeugs mit einem erfindungsgemäßen Assistenzsystem zur Umfeldüberwachung, und
2 eine schematische Darstellung eines Ausführungsbeispiels des Verfahrens gemäß der Erfindung.

A preferred exemplary embodiment of the invention is explained in more detail below with reference to the figures. Here shows

1 a greatly simplified schematic view of an ego vehicle with an assistance system according to the invention for monitoring the surroundings, and
2 a schematic representation of an embodiment of the method according to the invention.

Gemäß 1 weist ein Ego-Fahrzeug 1 ein erfindungsgemäßes Assistenzsystem 3 zur Umfeldüberwachung des Ego-Fahrzeugs 1 auf. Eine Sensorik 2 des Assistenzsystems 3, umfassend einen Radarsensor 7, ist vorgesehen mindestens ein Objekt 4a, 4b, 4c im Umfeld 5 des Ego-Fahrzeugs 1 zu erkennen. Ferner umfasst das Assistenzsystem 3 eine Navigationseinheit 6 zur Bereitstellung und Bearbeitung von Karteninformation, wobei die Navigationseinheit 6 dazu ausgebildet ist, eine Routenplanung und -optimierung für das Ego-Fahrzeug 1 durchzuführen.According to 1 assigns an ego vehicle 1 an assistance system according to the invention 3 for monitoring the surroundings of the ego vehicle 1 on. A sensor system 2 of the assistance system 3 , comprising a radar sensor 7th , at least one object is provided 4a , 4b , 4c in the environment 5 of the ego vehicle 1 to recognize. The assistance system also includes 3 a navigation unit 6 for the provision and processing of map information, the navigation unit 6 is designed to do a route planning and optimization for the ego vehicle 1 perform.

Das Assistenzsystem 3 ist vorliegend dazu ausgebildet, die erkannten Objekte 4a, 4b, 4c anhand der durch die Sensorik 2 bereitgestellten Messdaten in eine von drei Mobilitätsklassen einzuordnen. Exemplarisch entspricht das erste Objekt 4a einem bekannten unbeweglichen Objekt, das zweite Objekt 4b einem unbekannten unbeweglichen Objekt und das dritte Objekt 4c einem unbekannten beweglichen Objekt. Das bekannte unbewegliche Objekt 4a sei ferner ein Freileitungsmast, das unbekannte unbewegliche Objekt sei ein mobiler Jagdhochsitz und das unbekannte bewegliche Objekt 4c sei eine mit einer konstanten Geschwindigkeit entgegenkommende Landmaschine, wobei die Bewegungsrichtung des unbekannten beweglichen Objekts 4c sowie des Ego-Fahrzeugs 1 durch einen jeweiligen Pfeil symbolisiert ist.The assistance system 3 is presently designed to recognize the objects 4a , 4b , 4c based on the sensors 2 to classify the measurement data provided in one of three mobility classes. The first object corresponds as an example 4a a known immovable object, the second object 4b an unknown immovable object and the third object 4c an unknown moving object. The familiar immovable object 4a be an overhead line mast, the unknown immovable object is a mobile hunting high seat and the unknown movable object 4c be an agricultural machine approaching at a constant speed, with the direction of movement of the unknown moving object 4c as well as the ego vehicle 1 is symbolized by a respective arrow.

2 verdeutlicht den Ablauf eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zur Umfeldüberwachung des Ego-Fahrzeugs 1 nach 1. In einem Schritt 101 wird das Umfeld 5 des Ego-Fahrzeugs 1 mittels der Sensorik 2 beobachtet bzw. abgetastet und die entsprechenden Messdaten vom Assistenzsystem 3 zur Objektklassifizierung ausgewertet. Wird vom Assistenzsystem 3 mindestens eines der Objekte 4a, 4b, 4c im Umfeld 5 des Ego-Fahrzeugs 1 erkannt, erfolgt in einem Schritt 102 eine semantische Klassifizierung des jeweiligen Objekts 4a, 4b, 4c, die charakteristische Merkmale des jeweiligen Objektes 4a, 4b, 4c, wie Art, Größe, etc. erkennt. In einem Schritt 103 erfolgt eine genaue Lokalisierung des jeweiligen Objektes 4a, 4b, 4c und in einem Schritt 104 wird eine Bewegung des erkannten Objektes 4a, 4b, 4c erfasst, und zwar insbesondere die Bewegungsrichtung, die Beschleunigung und/oder die Bewegungsgeschwindigkeit. Die Schritte 102, 103, 104 erfolgen in einer beliebigen Reihenfolge oder werden gleichzeitig ausgeführt. 2 illustrates the sequence of an exemplary embodiment of the method according to the invention for monitoring the surroundings of the ego vehicle 1 to 1 . In one step 101 becomes the environment 5 of the ego vehicle 1 by means of the sensors 2 observed or scanned and the corresponding measurement data from the assistance system 3 evaluated for object classification. Used by the assistance system 3 at least one of the objects 4a , 4b , 4c in the environment 5 of the ego vehicle 1 recognized, takes place in one step 102 a semantic classification of the respective object 4a , 4b , 4c , the characteristic features of the respective object 4a , 4b , 4c such as type, size, etc. recognizes. In one step 103 an exact localization of the respective object takes place 4a , 4b , 4c and in one step 104 becomes a movement of the recognized object 4a , 4b , 4c detected, in particular the direction of movement, the acceleration and / or the speed of movement. The steps 102 , 103 , 104 occur in any order or run simultaneously.

Anhand dieser erfassten Daten erfolgt in einem Schritt 105 eine Objektklassifizierung des jeweiligen Objektes 4a, 4b, 4c in eine von drei unterschiedlichen Mobilitätsklassen. Die bekannten unbeweglichen Objekte 4a werden der ersten Mobilitätsklasse, die unbekannten unbeweglichen Objekte 4b werden der zweiten Mobilitätsklasse und die unbekannten beweglichen Objekte 4c werden der dritten Mobilitätsklasse zugeordnet. Ausgehend von der Objektklassifizierung lässt sich vom Assistenzsystem 3 in einem Schritt 106 für jedes Objekt 4a, 4b, 4c eine entsprechende Kollisionsvermeidungsstrategie auswählen, die in einem Schritt 107 als Befehl in die Fahrzeugsteuerung übertragen wird, um eine Kollision mit dem jeweiligen Objekt 4a, 4b, 4c zu verhindern. Für den genannten Freileitungsmast oder den mobilen Jagdhochsitz kann eine solche Kollisionsvermeidungsstrategie beispielsweise ein Umfahren mit konstanter Geschwindigkeit sein. Für ein im Gras sitzendes Rehkitz kann ein Bremsen des Ego-Fahrzeugs 1 mit anschließendem Umfahren eine geeignete Kollisionsvermeidungsstrategie sein. Für eine kreuzende Landmaschine kann situationsabhängig wiederum ein Not-Halt die geeignete Kollisionsvermeidungsstrategie sein. Die Einordnung der Objekte 4a, 4b, 4c in jeweilige Mobilitätsklassen vereinfacht dabei die Auswahl der Kollisionsvermeidungsstrategie. This recorded data is used in one step 105 an object classification of the respective object 4a , 4b , 4c in one of three different mobility classes. The familiar immovable objects 4a become the first mobility class, the unknown immovable objects 4b become the second mobility class and the unknown moving objects 4c are assigned to the third mobility class. Based on the object classification, the assistance system 3 in one step 106 for every object 4a , 4b , 4c Select an appropriate collision avoidance strategy in one step 107 is transmitted as a command to the vehicle control to avoid a collision with the respective object 4a , 4b , 4c to prevent. For the aforementioned overhead line mast or the mobile hunting high seat, such a collision avoidance strategy can be, for example, driving around at constant speed. For a fawn sitting in the grass, braking the ego vehicle can 1 be a suitable collision avoidance strategy with subsequent bypassing. Depending on the situation, an emergency stop can again be the suitable collision avoidance strategy for an agricultural machine that is crossing. The classification of the objects 4a , 4b , 4c In the respective mobility classes, the selection of the collision avoidance strategy simplifies.

Die von der Navigationseinheit 6 bereitgestellten Karteninformationen umfassen Positionsdaten des jeweiligen bekannten unbeweglichen Objekte 4a. Die Karteninformationen werden genutzt, um die Route des Ego-Fahrzeugs 1 zu planen. Anders gesagt werden die bekannten unbeweglichen Objekts 4a, seien es Zäune, Masten, Felsen oder ein dauerhaft abgestellte Landmaschine, vom Ego-Fahrzeug 1 direkt umfahren, da sie dem System bereits bekannt sind. Die Positionsdaten des jeweiligen bekannten unbeweglichen Objekts 4a werden in einem Schritt 108 ferner plausibilisiert. Dabei wird überprüft, ob sich das Objekt 4a noch an gleicher Stelle befindet, oder ob es bereits entfernt wurde. Dabei können die Positionsdaten des bekannten unbeweglichen Objekts 4a angepasst oder entfernt werden, sodass die Karteninformationen selbstständig aktualisiert werden.The one from the navigation unit 6 The map information provided includes position data of the respective known immovable objects 4a . The map information is used to determine the route of the ego vehicle 1 to plan. In other words, they are known to be immovable 4a , be it fences, masts, rocks or a permanently parked agricultural machine, from the ego vehicle 1 drive around directly as they are already known to the system. The position data of the respective known immovable object 4a be in one step 108 also checked for plausibility. It is checked whether the object 4a is still in the same place, or whether it has already been removed. The position data of the known immovable object 4a adjusted or removed so that the map information is updated automatically.

Werden unbekannte unbewegliche Objekte 4b erfasst und gemäß Schritt 105 in die entsprechende zweite Mobilitätsklasse klassifiziert, können entsprechende Positionsdaten des jeweiligen unbekannten unbeweglichen Objekts 4b zu den Karteninformationen hinzugefügt werden. Dabei wird das jeweilige unbekannte unbewegliche Objekt 4b bei einer späteren Umfeldüberwachung des Ego-Fahrzeugs 1 als bekanntes unbewegliches Objekt 4a erkannt und damit in die erste Mobilitätsklasse eingestuft.Become unknown immovable objects 4b recorded and according to step 105 Classified into the corresponding second mobility class, corresponding position data of the respective unknown immovable object can be found 4b can be added to the card information. Thereby the respective unknown immovable object becomes 4b when monitoring the environment of the ego vehicle later 1 as a known immovable object 4a recognized and thus classified in the first mobility class.

BezugszeichenlisteList of reference symbols

11: Ego-FahrzeugEgo vehicle
22: SensorikSensors
33: AssistenzsystemAssistance system
4a4a: Bekanntes unbewegliches ObjektKnown immovable object
4b4b: Unbekanntes unbewegliches ObjektUnknown immovable object
4c4c: Unbekanntes bewegliches ObjektUnknown moving object
55: Umfeld des Ego-FahrzeugsEnvironment of the ego vehicle
66: NavigationseinheitNavigation unit
77th: Radarsensor Radar sensor
101101: VerfahrensschrittProcess step
102102: VerfahrensschrittProcess step
103103: VerfahrensschrittProcess step
104104: VerfahrensschrittProcess step
105105: VerfahrensschrittProcess step
106106: VerfahrensschrittProcess step
107107: VerfahrensschrittProcess step
108108: VerfahrensschrittProcess step

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

WO 2017/106478 A1 [0002]

Claims

Method for monitoring the surroundings of an ego vehicle (1), with at least one object (4a, 4b, 4c) being detected in the surroundings (5) of the ego vehicle (1) by means of a sensor system (2) of an assistance system (3) a semantic classification, a localization and / or a movement assessment of the at least one object (4a, 4b, 4c) takes place, with the aid of data that characterize the classification, the localization and / or the movement assessment, an object classification of the at least one object (4a , 4b, 4c) is carried out in one of at least two different mobility classes, on the basis of which a collision avoidance strategy is selected, which is carried out by means of the assistance system (3) in order to prevent a collision with the respective object (4a, 4b, 4c).

Procedure according to Claim 1 , characterized in that the sensor system (2) detects at least one known immobile, at least one unknown immobile and / or at least one unknown movable object (4a, 4b, 4c).

Method according to one of the preceding claims, characterized in that map information is provided and processed by means of a navigation unit (6) of the assistance system (3).

Procedure according to Claim 3 combined with Claim 2 , characterized in that the map information includes position data of the at least one known immovable object (4a).

Procedure according to Claim 4 , characterized in that the position data of the at least one known immovable object (4a) are checked for plausibility.

Procedure according to Claim 3 combined with Claim 2 , characterized in that position data of the unknown immovable objects (4b) is added to the map information.

Method according to one of the Claims 4 to 6 , characterized in that the map information is used to plan and / or optimize a route for the ego vehicle (1).

Assistance system (3) for monitoring the surroundings of an ego vehicle (1), at least one object (4a, 4b, 4c) being recognizable in the surroundings (5) of the ego vehicle (1) by means of a sensor system (2), the at least one being Object (4a, 4b, 4c) can be semantically classified, localized and / or a movement of the at least one object (4a, 4b, 4c) can be assessed, with the aid of data that characterize the classification, the localization and / or the movement assessment Object classification of the at least one object (4a, 4b, 4c) into one of at least two different mobility classes can be carried out, on the basis of which a collision avoidance strategy can be selected, which can be carried out by means of the assistance system (3) in order to avoid a collision with the respective object (4a, 4b , 4c).

Assistance system (3) Claim 8 , characterized in that a navigation unit (6) is provided for providing and processing map information.

Assistance system (3) Claim 9 , characterized in that the navigation unit (6) is designed to carry out route planning and / or optimization for the ego vehicle (1).

Assistance system (3) according to one of the Claims 8 to 10 , characterized in that the sensor system (2) comprises at least one radar sensor (7) or a camera.

Computer program product containing machine-readable instructions which, when executed on a computer and / or on a control unit, convert this to an operating logic of the assistance system for monitoring the surroundings of an ego vehicle (1) according to the Claims 8 to 11 upgrade, and / or induce a method according to one of the Claims 1 to 7th execute.