DE102021004191A1

DE102021004191A1 - Method for recognizing an intention to overtake and / or predicting vehicle maneuvers in front of an ego vehicle

Info

Publication number: DE102021004191A1
Application number: DE102021004191.7A
Authority: DE
Inventors: Alexander Hanuschkin
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-08-17
Filing date: 2021-08-17
Publication date: 2021-11-04

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung einer Überholabsicht und/oder Vorhersage von Einschermanövern von Fahrzeugen (10, 11) vor einem Ego-Fahrzeug (1), wobei mittels einer Umgebungssensorik (4) des Ego-Fahrzeugs (1) und eines Bildauswerteverfahrens dem Ego-Fahrzeug (1) vorausfahrende Fahrzeuge (10, 11) erkannt und einer Fahrspur zugeordnet werden. Erfindungsgemäß werden vorausfahrende Fahrzeuge (10, 11) klassifiziert und Abstands- und Geschwindigkeitswerte der vorausfahrenden Fahrzeuge (10, 11) ermittelt. Aus der Klassifizierung sowie den Abstands- und Geschwindigkeitswerten gewonnener Information und aus Information über das Ego-Fahrzeug (1) und/oder über einen Fahrer (F) des Fahrzeugs (1) werden gemeinsame Merkmalswerte (MW) gebildet, welche zum Trainieren von Modellen mit Methoden des maschinellen Lernens verwendet werden. Mittels des Trainings werden als Zielgrößen Kennwerte von Regelungseingriffen für Fahrerassistenzsysteme (6) und/oder Regelungseingriffe des Fahrers (F) eingestellt, wobei während eines Fahrbetriebs des Ego-Fahrzeugs (1) und/oder anderer Fahrzeuge (3.1 bis 3.n) basierend auf dann erfassten gemeinsamen Merkmalswerten (MW) mittels der Modelle Muster erkannt werden, anhand welcher Überholmanöver und/oder Einschermanöver prädiziert werden.The invention relates to a method for recognizing an intention to overtake and / or predicting cut-in maneuvers by vehicles (10, 11) in front of an ego vehicle (1), whereby the ego -Vehicle (1) vehicles (10, 11) traveling ahead are recognized and assigned to a lane. According to the invention, preceding vehicles (10, 11) are classified and distance and speed values of the preceding vehicles (10, 11) are determined. From the classification as well as the distance and speed values obtained information and from information about the ego vehicle (1) and / or about a driver (F) of the vehicle (1) common feature values (MW) are formed which are used to train models with Machine learning methods are used. By means of the training, characteristic values of control interventions for driver assistance systems (6) and / or control interventions by the driver (F) are set as target variables, with the ego vehicle (1) and / or other vehicles (3.1 to 3.n) based on then detected common feature values (MW) are recognized by means of the models patterns, on the basis of which overtaking maneuvers and / or cutting-in maneuvers are predicted.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung einer Überholabsicht und/oder Vorhersage von Einschermanövern von Fahrzeugen vor einem Ego-Fahrzeug gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a method for recognizing an intention to overtake and / or predicting vehicle maneuvers in front of an ego vehicle according to the preamble of claim 1.

Aus der DE 10 2007 029 483 A1 ist eine Abstandsregelvorrichtung für Kraftfahrzeuge mit einem Ortungssystem zur Ortung von vorausfahrenden Fahrzeugen auf einer eigenen Spur und auf Nebenspuren bekannt. Die Abstandsregelvorrichtung umfasst weiterhin einen Regler zur Regelung einer Geschwindigkeit des eigenen Fahrzeugs in Abhängigkeit vom Abstand zu einem auf der eigenen Spur vorausfahrenden Fahrzeug und ein Bewertungsmodul zur Bewertung einer Einscherwahrscheinlichkeit für auf einer Nebenspur geortete Fahrzeuge. Zusätzlich ist ein Reaktionsmodul zur Auslösung einer abgestuften Reaktion des Reglers in Abhängigkeit von der Einscherwahrscheinlichkeit vorgesehen.From the DE 10 2007 029 483 A1 a distance control device for motor vehicles with a location system for locating vehicles traveling ahead in its own lane and in adjacent lanes is known. The distance regulating device further comprises a controller for regulating a speed of one's own vehicle as a function of the distance to a vehicle driving ahead in one's own lane and an evaluation module for evaluating a cut-in probability for vehicles located in an adjacent lane. In addition, a reaction module is provided for triggering a graded reaction of the controller depending on the cut-in probability.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Erkennung einer Überholabsicht und/oder Vorhersage von Einschermanövern von Fahrzeugen vor einem Ego-Fahrzeug anzugeben.The invention is based on the object of specifying a novel method for recognizing an intention to overtake and / or predicting vehicle maneuvers in front of an ego vehicle.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.The object is achieved according to the invention by a method which has the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous refinements of the invention are the subject matter of the subclaims.

In einem Verfahren zur Erkennung einer Überholabsicht und/oder Vorhersage von Einschermanövern von Fahrzeugen vor einem Ego-Fahrzeug werden mittels einer Umgebungssensorik des Ego-Fahrzeugs und eines Bildauswerteverfahrens dem Ego-Fahrzeug vorausfahrende Fahrzeuge erkannt und einer Fahrspur zugeordnet.In a method for recognizing an intention to overtake and / or predicting vehicle maneuvers in front of an ego vehicle, vehicles driving ahead of the ego vehicle are recognized and assigned to a lane by means of an environment sensor system of the ego vehicle and an image evaluation method.

Erfindungsgemäß werden vorausfahrende Fahrzeuge klassifiziert sowie Abstands- und Geschwindigkeitswerte der vorausfahrenden Fahrzeuge ermittelt. Aus der Klassifizierung sowie den Abstands- und Geschwindigkeitswerten gewonnener Information und aus Information über das Ego-Fahrzeug und/oder über einen Fahrer des Fahrzeugs werden gemeinsame Merkmalswerte gebildet, welche zum Trainieren von Modellen mit Methoden des maschinellen Lernens verwendet werden. Mittels des Trainings werden als Zielgrößen Kennwerte von Regelungseingriffen für Fahrerassistenzsysteme und/oder Regelungseingriffen des Fahrers, beispielsweise manueller Bremseingriffe des Fahrers, eingestellt, wobei während eines Fahrbetriebs des Ego-Fahrzeugs und/oder anderer Fahrzeuge basierend auf dann erfassten gemeinsamen Merkmalswerten mittels der Modelle Muster erkannt werden, anhand welcher Überholmanöver und/oder Einschermanöver prädiziert werden.According to the invention, preceding vehicles are classified and distance and speed values of the preceding vehicles are determined. From the classification as well as the distance and speed values obtained information and from information about the ego vehicle and / or about a driver of the vehicle, common feature values are formed which are used to train models with machine learning methods. By means of the training, characteristic values of control interventions for driver assistance systems and / or control interventions by the driver, for example manual braking interventions by the driver, are set as target variables, with patterns being recognized during driving of the ego vehicle and / or other vehicles based on then recorded common feature values using the models which overtaking maneuvers and / or cutting-in maneuvers are predicted.

Fahrerassistenzsysteme, wie beispielsweise adaptive Abstandsregelsysteme oder Notbremsassistenten, reagieren auf relative Abstands- und Geschwindigkeitsänderungen zwischen einem Ego-Fahrzeug und weiteren Verkehrsteilnehmern. Ein Einscheren eines weiteren Fahrzeugs in einen Fahrstreifen und vor das Ego-Fahrzeug erzeugt eine plötzliche und große relative Abstands- und Geschwindigkeitsänderung zum direkt vorausfahrenden Fahrzeug, welche starke Regeleingriffe der Fahrerassistenzsysteme erfordern und dadurch zu einem verringerten Komfort führen können.Driver assistance systems, such as adaptive distance control systems or emergency brake assistants, react to relative changes in distance and speed between an ego vehicle and other road users. Another vehicle cutting into a lane and in front of the ego vehicle generates a sudden and large change in distance and speed relative to the vehicle directly in front, which requires strong control interventions by the driver assistance systems and can thus lead to reduced comfort.

Mittels des vorliegenden Verfahrens ist es möglich, eine Überholabsicht eines Verkehrsteilnehmers und/oder Vorhersage von Einschermanövern vorausfahrender Fahrzeuge zu erkennen, auch wenn kein Fahrtrichtungsanzeiger aktiviert wurde und eine Fremdfahrzeugtrajektorie noch keinen Rückschluss auf das Überholmanöver und/oder das Einscheren zulässt.By means of the present method, it is possible to recognize an intention of a road user to overtake and / or a prediction of vehicles driving ahead, even if no direction indicator has been activated and a third-party vehicle trajectory does not yet allow any conclusions to be drawn about the overtaking maneuver and / or the cutting in.

Mittels des Verfahrens kann somit eine Sicherheit im Straßenverkehr erhöht werden, indem plötzliche Einschervorgänge vor dem Egofahrzeug vorhergesagt werden können und somit ein Fahrer des Ego-Fahrzeugs frühzeitig vor diesen gewarnt und/oder mittels eines vorausschauenden Regeleingriffs eines Fahrerassistenzsystems eine Gefährlichkeit der entsprechenden Verkehrssituation entschärft werden kann.Using the method, road traffic safety can be increased by predicting sudden cuts in front of the ego vehicle and thus warning a driver of the ego vehicle early and / or mitigating the danger of the corresponding traffic situation by means of a predictive control intervention of a driver assistance system .

Auch wird die Sicherheit im Straßenverkehr dadurch erhöht, dass Fahrerassistenzsysteme seltener zugunsten eines Komfortgewinns deaktiviert werden. Auch kann mittels des Verfahrens eine Erhöhung des Komforts im Fahrzeug, insbesondere einer so genannten Digital Luxury, erreicht werden, da das vorausschauende Erkennen einer Überholabsicht eine Anzahl und Stärke von Regeleingriffen der Fahrerassistenzsysteme reduziert.Road safety is also increased by the fact that driver assistance systems are deactivated less often in order to increase comfort. The method can also be used to increase comfort in the vehicle, in particular what is known as digital luxury, since the predictive recognition of an intention to overtake reduces the number and strength of control interventions by the driver assistance systems.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

1 schematisch ein Fahrzeug, eine Recheneinheit und eine Fahrzeugflotte,
2 schematisch eine Verkehrssituation mit mehreren Fahrzeugen und
3 schematisch einen Ablauf eines Verfahrens zum Betrieb eines Fahrzeugs.

Show:

1 schematically a vehicle, a computing unit and a vehicle fleet,
2 schematically a traffic situation with several vehicles and
3 schematically a sequence of a method for operating a vehicle.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference symbols in all figures.

In 1 sind ein Fahrzeug, im Folgenden als Ego-Fahrzeug 1 bezeichnet, eine fahrzeugexterne Recheneinheit 2 und eine Fahrzeugflotte 3 mit mehreren Fahrzeugen 3.1 bis 3.n dargestellt. 2 zeigt eine Verkehrssituation mit dem Ego-Fahrzeug 1 und weiteren Fahrzeugen 10 bis 16, wobei sich das Ego-Fahrzeug 1 und die weiteren Fahrzeuge 10 bis 16 auf einer mehrspurigen Straße bewegen und die Fahrzeuge 10, 11 dem Ego-Fahrzeug 1 auf einer unmittelbar benachbarten rechten Fahrspur vorausfahren.In 1 are a vehicle, hereinafter referred to as an ego vehicle 1 denotes a processing unit external to the vehicle 2 and a fleet of vehicles 3 with multiple vehicles 3.1 until 3.n shown. 2 shows a traffic situation with the ego vehicle 1 and other vehicles 10 until 16 , being the ego vehicle 1 and the other vehicles 10 until 16 move on a multi-lane road and the vehicles 10 , 11 the ego vehicle 1 Drive ahead in an immediately adjacent right-hand lane.

Das Ego-Fahrzeug 1 weist eine Umgebungssensorik 4 zur Erfassung einer Fahrzeugumgebung, ein Steuergerät 5, zumindest ein Fahrerassistenzsystem 6, eine Ausgabeeinheit 7 und eine Kommunikationsvorrichtung 8 zur Kommunikation mit der Recheneinheit 2 auf.The ego vehicle 1 has an environmental sensor system 4th for recording a vehicle environment, a control unit 5 , at least one driver assistance system 6th , an output unit 7th and a communication device 8th for communication with the computing unit 2 on.

Die Recheneinheit 2 weist eine Kommunikationsvorrichtung 9 zur Kommunikation mit der Fahrzeugflotte 3 auf. Das Ego-Fahrzeug 1 kann Bestandteil der Fahrzeugflotte 3 sein. The arithmetic unit 2 has a communication device 9 for communication with the vehicle fleet 3 on. The ego vehicle 1 can be part of the vehicle fleet 3 be.

Mittels der Umgebungssensorik 4 des Ego-Fahrzeugs 1, beispielsweise mittels zumindest einer Kamera, eines Radars, Lidars, Ultraschall etc. wird die Fahrzeugumgebung erfasst. Anhand von mittels der Umgebungssensorik 4 erfassten Daten werden gemeinsam mit so genannten Computer-Vision-Methoden, beispielsweise einer semantischen Segmentation, Objekterkennung und Lokalisierung, vorausfahrende Fahrzeuge 10, 11 auf verschiedenen Fahrspuren erkannt und klassifiziert, das heißt einer bekannten Objektklasse zugeordnet. Weiterhin werden anhand dieser Daten relative Abstands- und Geschwindigkeitswerte der vorausfahrenden Fahrzeuge 10, 11 ermittelt.Using the environmental sensors 4th of the ego vehicle 1 , for example by means of at least one camera, radar, lidar, ultrasound, etc., the vehicle environment is recorded. Based on by means of the environmental sensors 4th Acquired data are used together with so-called computer vision methods, for example semantic segmentation, object recognition and localization, vehicles driving ahead 10 , 11 recognized and classified in different lanes, i.e. assigned to a known object class. Furthermore, based on this data, relative distance and speed values of the vehicles driving ahead are determined 10 , 11 determined.

Eine Anzahl von Objektklassen bestimmt eine Granularität der Objekterkennung. Das heißt, mit mehr Objektklassendefinitionen, können die Objekte, vorliegend die Fahrzeuge 10 bis 16 feiner unterschieden werden. So ist es beispielsweise möglich, Objektklassen für verschiedene Lastkraftwagen-Typen sowie verschiedene Lastkraftwagen-Anhänger zu definieren und mit Methoden des maschinellen Lernens, beispielsweise mittels tiefer gefalteter neuronaler Netzwerke zur Objektklassifikation oder zur semantischen Segmentation, Modelle zu trainieren, welche verschiedene Lastkraftwagen-Typen sowie verschiedene Lastkraftwagen-Anhänger unterscheiden können. Zusätzlich kann bei bestimmten, insbesondere offenen Lastkraftwagen-Anhängerarten, wie beispielsweise offenen Pritschenanhängern, Tiefladeanhängern etc. erkannt werden, ob ein jeweiliger Anhänger beladen ist.A number of object classes determine a granularity of the object recognition. That means, with more object class definitions, the objects, in this case the vehicles 10 until 16 can be distinguished more finely. For example, it is possible to define object classes for different types of trucks and different truck trailers and to use machine learning methods, for example by means of deeply convoluted neural networks for object classification or semantic segmentation, to train models which different truck types and different Be able to differentiate between truck trailers. In addition, with certain, in particular open truck trailer types, such as open flatbed trailers, low-bed trailers, etc., it can be recognized whether a particular trailer is loaded.

Die relativen Abstands- und Geschwindigkeitswerte sowie eine detaillierte Objektklassifikation, wie beispielsweise „Tanklastzug oder Zugmaschine mit leerem Pritschenauflieger“, von Fahrzeugen 10 bis 16, insbesondere der Fahrzeuge 10, 11 auf der äußersten rechten Spur einer mehrspurigen Straße, insbesondere Lastkraftwagen, werden zusammen mit Information über das Ego-Fahrzeug 1 sowie Verkehrsleitinformationen als Merkmalswerte MW (Feature-Werte) zum Trainieren eines individuellen Modells mit Methoden des maschinellen Lernens verwendet. Die Information über das Ego-Fahrzeug 1 umfasst beispielsweise eine Geoposition, eine Fahrtrichtung, Steigungswerte, eine Geschwindigkeit, eine Beschleunigung und Fahrspur. Die Verkehrsleitinformationen werden beispielsweise mittels einer Verkehrsschildererkennung und Daten eines Navigationssystems gewonnen. Als Zielgröße des Trainings, auch als Label bezeichnet, werden Kennwerte von Regelungseingriffen für das Fahrerassistenzsystem 6 eingestellt.The relative distance and speed values as well as a detailed object classification, such as "tanker truck or tractor with empty flatbed trailer", of vehicles 10 until 16 , especially the vehicles 10 , 11 in the far right lane of a multi-lane road, particularly trucks, are displayed along with information about the ego vehicle 1 and traffic control information is used as feature values MW (feature values) for training an individual model using machine learning methods. The information about the ego vehicle 1 includes, for example, a geoposition, a direction of travel, gradient values, a speed, an acceleration and a lane. The traffic control information is obtained, for example, by means of traffic sign recognition and data from a navigation system. Characteristic values of control interventions for the driver assistance system are used as the target variable of the training, also referred to as a label 6th set.

Wird zu einem Zeitpunkt t0 ein starkes Eingreifen zumindest eines Fahrerassistenzsystems 6 erfasst, bei dem ein Regelungseingriff einen vorgegebenen Schwellwert überschreitet, beispielsweise ein starker Bremseingriff, so wird aus einem Vergleich von Objektpositionen der Fahrzeuge 10, 11 zum Zeitpunkt t < t0 und Objektpositionen der Fahrzeuge 10, 11 zum Zeitpunkt t0 erkannt, ob das Eingreifen aufgrund eines plötzlichen Einschervorgangs erfolgte. In diesem Fall werden die Merkmalswerte MW zu den Zeitpunkte t ≤ t0 als Trainingsbeispiele für einen plötzlichen Fahrspurwechsel verwendet, um mit Methoden des maschinellen Lernens, beispielsweise tiefen neuronalen Netzwerken, Entscheidungsbäumen etc. ein Modell zu trainieren, welches auf Basis von Merkmalswerten MW sowie Merkmalswerteänderungen über die Zeit einen wahrscheinlichen Einschervorgang mit einer gewissen Wahrscheinlichkeit vorhersagen kann.If at a point in time t0 there is strong intervention of at least one driver assistance system 6th detected, in which a control intervention exceeds a predetermined threshold value, for example a strong braking intervention, then a comparison of object positions of the vehicles becomes 10 , 11 at time t <t0 and object positions of the vehicles 10 , 11 recognized at time t0 whether the intervention was due to a sudden reeving process. In this case, the feature values MW at the times t ≤ t0 are used as training examples for a sudden lane change in order to use machine learning methods, for example deep neural networks, decision trees, etc. to train a model that is based on feature values MW and feature value changes time can predict a probable reeving process with a certain probability.

Das heißt, mit Methoden des maschinellen Lernens werden Modelle trainiert, welche Muster in den Merkmalswerten MW erkennen, welche prädiktiv für ein zukünftiges Überholmanöver sind.In other words, using machine learning methods, models are trained which recognize patterns in the feature values MW, which are predictive of a future overtaking maneuver.

Beispielsweise wird ein solches Modell während einer Entwicklung trainiert bzw. vortrainiert und mit Flottendaten, welche aus der Fahrzeugflotte 3 an die Recheneinheit 2 übermittelt werden, weitertrainiert. Weitertrainierte und somit verbesserte Modelle werden von der Recheneinheit 2 an die Fahrzeuge 3.1 bis 3.n der Fahrzeugflotte 3 verteilt.For example, such a model is trained or pre-trained during development and with fleet data from the vehicle fleet 3 to the computing unit 2 are transmitted, trained further. Further trained and thus improved models are made by the computing unit 2 to the vehicles 3.1 until 3.n the vehicle fleet 3 distributed.

In einer weiteren möglichen Ausgestaltung wird das Modell individuell im Steuergerät 5 des Ego-Fahrzeugs 1 trainiert bzw. weitertrainiert. Hierdurch bildet das Modell ein Überholverhalten und/oder Einscheren von vorausfahrenden Fahrzeugen 10, 11 in Abhängigkeit eines Fahrers F des Ego-Fahrzeugs 1, welcher über vielfältige Methoden im Ego-Fahrzeug 1 eindeutig identifiziert werden kann, sowie in Abhängigkeit des Ego-Fahrzeugs 1 selbst, beispielsweise in Abhängigkeit eines Fahrzeugtyps, einer Farbe, von Umbauten etc. ab. Beispielsweise wird ein Fahrer F, welcher das Ego-Fahrzeug 1 gewohnheitsmäßig mit sehr großen Abständen zum vorausfahrenden Fahrzeug 10, 11 bewegt und mit konstanter Geschwindigkeit auf einer mittleren Fahrspur fährt, häufiger durch plötzliche Einschermanöver eines vorausfahrenden Fahrzeugs 10, 11 auf die eigene Fahrspur konfrontiert sein, als beispielsweise ein Fahrer, welcher häufig einen Sicherheitsabstand unterschreitet und oft die Fahrspuren wechselt.In a further possible embodiment, the model is customized in the control unit 5 of the ego vehicle 1 trained or continued training. As a result, the model forms an overtaking behavior and / or cutting in by vehicles driving ahead 10 , 11 in Dependency of a driver F of the ego vehicle 1 , which uses a variety of methods in the ego vehicle 1 can be clearly identified, as well as depending on the ego vehicle 1 itself, for example depending on a vehicle type, a color, conversions, etc. For example, a driver F who is the ego vehicle 1 habitually with very large distances to the vehicle in front 10 , 11 moves and drives at a constant speed in a central lane, more often due to sudden maneuvers of a vehicle ahead 10 , 11 be confronted in one's own lane, for example, as a driver who often falls below a safe distance and often changes lanes.

Das Modell ist ausreichend trainiert bzw. weitertrainiert, sobald eine Vorhersagegenauigkeit über einem vordefinierten Schwellwert liegt. Wird auf Basis aktueller und vergangener Merkmalswerte MW ein Überholmanöver durch das Modell vorhergesagt, so werden vorbereitende Regeleingriffes des zumindest einen Fahrerassistenzsystems 6 vorgenommen. Beispielsweise wird ein Sicherheitsabstand, zum Beispiel durch Leistungsreduktion einer Antriebseinheit des Ego-Fahrzeugs 1 oder durch Bremseingriff, vergrößert, wenn ein plötzliches Einschermanöver eines vorausfahrenden Fahrzeugs 10, 11 auf die eigene Fahrspur von dem Modell als wahrscheinlich berechnet wird. Weitere Regeleingriffe kann ein vorausschauendes Wechseln der eigenen Fahrspur durch das Ego-Fahrzeug 1 sein, um das Einscheren eines vorausfahrenden Fahrzeuges 10, 11 auf die ehemalige eigene Fahrspur zu ermöglichen.The model is sufficiently trained or further trained as soon as a prediction accuracy is above a predefined threshold value. If an overtaking maneuver is predicted by the model on the basis of current and past feature values MW, preparatory control interventions by the at least one driver assistance system are carried out 6th performed. For example, a safety distance, for example by reducing the power of a drive unit of the ego vehicle 1 or through braking intervention, increased if a vehicle in front suddenly cuts in 10 , 11 is calculated as likely by the model in its own lane. Further control interventions can be anticipated by changing one's own lane with the ego vehicle 1 be to avoid the cutting in of a vehicle in front 10 , 11 to enable the former own lane.

Alternativ oder zusätzlich kann der Fahrer F akustisch, haptisch und/oder visuell mittels der Ausgabeeinheit 7 über ein vorhergesagtes Einschermanöver informiert bzw. vor diesem gewarnt werden. Weiterhin kann ein vorausfahrendes Fahrzeug 10, 11, welches den Einschervorgang wahrscheinlich ausführen wird, visuell hervorgehoben werden. Dies kann beispielsweise mittels Virtual Reality und/oder Augmented Reality erfolgen. Hierdurch erhält der Fahrer F die Möglichkeit, auf das vorhergesagte Einschermanöver zu reagieren, beispielsweise die Leistung der Antriebseinheit zu verringern, das Ego-Fahrzeug 1 abzubremsen und/oder die Fahrspur zu wechseln, um das Einscheren eines vorausfahrenden Fahrzeugs 10, 11 zu ermöglichen.Alternatively or additionally, the driver F can acoustically, haptically and / or visually by means of the output unit 7th be informed about a predicted cut-in maneuver or be warned of it. A vehicle in front can also 10 , 11 which is likely to perform the reeving process should be visually highlighted. This can be done, for example, by means of virtual reality and / or augmented reality. This gives the driver F the opportunity to react to the predicted cut-in maneuver, for example to reduce the power of the drive unit, the ego vehicle 1 brake and / or change lanes in order to cut in a vehicle ahead 10 , 11 to enable.

In einem möglichen Ausführungsbeispiel ist beispielsweise ein allgemeines Modell ausreichend trainiert und warnt den Fahrer F vor einem wahrscheinlichen Ausscheren eines Sattelschleppers mit leerem Sattelauflieger. Hypothetischerweise erkennt das Modell hierbei anhand der Merkmalswerte MW „Geoposition“, „Fahrtrichtung“ und „lokaler Steigung“, dass es sich um einen Fahrstreckenabschnitt mit einer erhöhten Wahrscheinlichkeit eines Spurwechsels durch auf der rechten Fahrspur fahrende Lastkraftwagen handelt, sowie auf Basis von Lastkraftwagen-Arten und Lastkraftwagen-Anhängertypen (Sattelschlepper mit leerem Sattelauflieger) und einem geringen relativen Abstand des Sattelschleppers zu einem vorausfahrenden Lastkraftwagen und einem geringem lateralen Abstand zu einer Fahrspurmarkierung, dass eine Wahrscheinlichkeit des Einscherens des Lastkraftwagens auf die eigene Fahrspur hoch ist.In one possible exemplary embodiment, for example, a general model is sufficiently trained and warns the driver F of a probable pull-out of a semi-trailer with an empty semi-trailer. Hypothetically, the model recognizes on the basis of the characteristic values MW "geoposition", "direction of travel" and "local slope" that it is a route section with an increased probability of a lane change by trucks in the right lane, as well as on the basis of truck types and truck trailer types (semi-trailer with empty semi-trailer) and a small relative distance of the semi-trailer to a truck driving ahead and a small lateral distance to a lane marking that the probability of the truck cutting into its own lane is high.

Somit kann, bezogen auf die in 2 dargestellte Verkehrssituation, in einem Ego-Fahrzeug 1 auf einer Fahrbahn einer Autobahn eine Absicht des vorausfahrenden Fahrzeugs 10, das wiederum diesem vorausfahrende Fahrzeug 11 zu überholen und somit in eine Fahrspur des Ego-Fahrzeugs 1 einzuscheren, als wahrscheinlich erkannt werden, noch bevor das Fahrzeug 10 seinen Fahrtrichtungsanzeiger aktiviert.Thus, based on the in 2 Depicted traffic situation in an ego vehicle 1 on a highway lane, an intention of the preceding vehicle 10 , which in turn is the vehicle in front of it 11 to overtake and thus in a lane of the ego vehicle 1 cut in than likely to be detected even before the vehicle 10 activated its direction indicator.

Das heißt, während eines Fahrbetriebs des Ego-Fahrzeugs 1 und/oder anderer Fahrzeuge 3.1 bis 3.n der Fahrzeugflotte 3, welchen ebenfalls die trainierten Modelle zur Verfügung stehen, werden basierend auf dann erfassten gemeinsamen Merkmalswerten MW mittels der Modelle Muster erkannt, anhand welcher Überholmanöver und/oder Einschermanöver anderer Fahrzeuge 10 bis 16 prädiziert werden.That is, while the ego vehicle is in motion 1 and / or other vehicles 3.1 until 3.n the vehicle fleet 3 to which the trained models are also available, patterns are recognized by means of the models based on then recorded common feature values MW, based on which overtaking maneuvers and / or cutting-in maneuvers of other vehicles 10 until 16 be predicted.

In 3 ist ein Ablauf eines möglichen Verfahrens zum Betrieb eines Fahrzeugs, beispielsweise des Ego-Fahrzeugs 1 gemäß den 1 und 2, dargestellt.In 3 is a sequence of a possible method for operating a vehicle, for example the ego vehicle 1 according to the 1 and 2 , shown.

In einem Verfahrensschritt S1 werden mittels der Umgebungssensorik 4 erfasste Daten und/oder weitere interne und/oder externe Fahrzeugdaten ausgewertet.In one process step S1 are by means of the environmental sensors 4th recorded data and / or other internal and / or external vehicle data is evaluated.

In einem Verfahrensschritt S4 erfolgt eine Identifizierung des Fahrers F des Ego-Fahrzeugs 1 für den Fall, dass das Modell individuell für einen oder mehrere Fahrer F trainiert werden soll.In one process step S4 the driver F of the ego vehicle is identified 1 in the event that the model is to be trained individually for one or more drivers F.

In einer ersten Verzweigung V1 wird geprüft, ob das Modell zur Prädiktion von Überholmanövern und/oder Einschermanövern anderer Fahrzeuge 10, 11 bereits ausreichend gut trainiert ist.In a first branch V1 it is checked whether the model is used to predict overtaking maneuvers and / or maneuvers of other vehicles 10 , 11 is already sufficiently well trained.

Ist dies der Fall, dargestellt durch einen Ja-Zweig J1, wird in einer zweiten Verzweigung V2 geprüft, ob eine Verkehrssituation mit mehreren Fahrzeugen 10, 11 auf einer ausgehend vom Ego-Fahrzeug 1 rechts gelegenen Fahrspur vorliegt. Ist dies nicht der Fall, dargestellt durch einen Nein-Zweig N1, wird das Verfahren gestoppt. Ist dies jedoch der Fall, dargestellt durch einen Ja-Zweig J2, wird in einer dritten Verzweigung V3 geprüft, ob ein Einscheren eines der Fahrzeuge 10, 11 auf eine Fahrspur des Ego-Fahrzeugs 1 vom Modell vorhergesagt wird.If this is the case, represented by a yes branch J1 , is in a second branch V2 checked whether a traffic situation with several vehicles 10 , 11 on one based on the ego vehicle 1 right lane is present. If this is not the case, represented by a no branch N1 , the process is stopped. If this is the case, however, represented by a yes branch J2 , is in a third branch V3 checked whether a reeving one of the vehicles 10 , 11 on a lane of the ego vehicle 1 is predicted by the model.

Ist dies nicht der Fall, dargestellt durch einen Nein-Zweig N2, wird das Verfahren gestoppt. Wird dagegen ein Einscheren eines der Fahrzeuge 10, 11 auf eine Fahrspur des Ego-Fahrzeugs 1 vom Modell vorhergesagt, dargestellt durch einen Ja-Zweig J3, erfolgt in einem weiteren Verfahrensschritt S2 ein Eingreifen bzw. eine Anpassung mittels des zumindest einen Fahrerassistenzsystems 6. Zusätzlich erfolgt in einem weiteren Verfahrensschritt S3 eine Ausgabe einer entsprechenden Warnung bzw. Information an den Fahrer F des Ego-Fahrzeugs 1.If this is not the case, represented by a no branch N2 , the process is stopped. If, on the other hand, one of the vehicles cuts in 10 , 11 on a lane of the ego vehicle 1 predicted by the model, represented by a yes branch J3 , takes place in a further process step S2 intervention or adaptation by means of the at least one driver assistance system 6th . In addition, it takes place in a further process step S3 an output of a corresponding warning or information to the driver F of the ego vehicle 1 .

Wird in der ersten Verzweigung V1 ermittelt, dass das Modell zur Prädiktion von Überholmanövern und/oder Einschermanövern anderer Fahrzeuge 10, 11 noch nicht ausreichend gut trainiert ist, dargestellt durch einen Nein-Zweig N3, erfolgt in einer weiteren Verzweigung V4 eine Prüfung, ob zu einem Zeitpunkt t0 ein starker Eingriff des zumindest einen Fahrerassistenzsystems 6 aufgrund eines plötzlichen Einscherens eines der Fahrzeuge 10, 11 erkannt wurde.Used in the first branch V1 determines that the model is used to predict overtaking maneuvers and / or maneuvers of other vehicles 10 , 11 is not yet sufficiently well trained, represented by a no branch N3 , takes place in a further branch V4 a check as to whether a strong intervention by the at least one driver assistance system at a point in time t0 6th due to a sudden cut in by one of the vehicles 10 , 11 was recognized.

Wird in der weiteren Verzweigung V4 ermittelt, dass zu einem Zeitpunkt t0 ein starker Eingriff des zumindest einen Fahrerassistenzsystems 6 aufgrund eines plötzlichen Einscherens eines der Fahrzeuge 10, 11 erkannt wurde, dargestellt durch einen Ja-Zweig J4, erfolgt in einem Verfahrensschritt S5 ein Training bzw. Weitertrainieren des Modells mit Merkmalswerten MW zum Zeitpunkt t < t0 und Zielgrößen (Label) zum Zeitpunkt t0. Wird in der weiteren Verzeigung V4 jedoch ermittelt, dass zum Zeitpunkt t0 kein starker Eingriff des zumindest einen Fahrerassistenzsystems 6 aufgrund eines plötzlichen Einscherens eines der Fahrzeuge 10, 11 erkannt wurde, dargestellt durch einen Nein-Zweig N4, wird das Verfahren gestoppt.Is used in the further branch V4 determines that a strong intervention of the at least one driver assistance system at a point in time t0 6th due to a sudden cut in by one of the vehicles 10 , 11 was recognized, represented by a yes branch J4 , takes place in one process step S5 training or further training of the model with feature values MW at time t <t0 and target variables (label) at time t0. Will be in the further branch V4 however, it is determined that at time t0 there is no strong intervention by the at least one driver assistance system 6th due to a sudden cut in by one of the vehicles 10 , 11 was recognized, represented by a no branch N4 , the process is stopped.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102007029483 A1 [0002]

Claims

Method for recognizing an intention to overtake and / or predicting vehicle maneuvers (10, 11) in front of an ego vehicle (1), whereby the ego vehicle (1 ) vehicles (10, 11) ahead are recognized and assigned to a lane, characterized in that - vehicles (10, 11) ahead are classified, - distance and speed values of vehicles (10, 11) ahead are determined, - from the classification and information obtained from the distance and speed values and from information about the ego vehicle (1) and / or about a driver (F) of the vehicle (1) common feature values (MW) are formed, the common feature values (MW) for training can be used by models with methods of machine learning, - by means of the training, characteristic values of control interventions for driver assistance systems (6) and / or control as target variables interventions by the driver (F) can be set and - during driving operation of the ego vehicle (1) and / or other vehicles (3.1 to 3.n) based on then recorded common feature values (MW) by means of the models, patterns are recognized by means of which Overtaking maneuvers and / or cutting-in maneuvers are predicted.

Procedure according to Claim 1 , characterized in that the common feature values (MW) are then formed and used to train the models when a control intervention by a driver assistance system (6) exceeds a predetermined threshold value.

Procedure according to Claim 1 or 2 , characterized in that the training of the models is carried out in at least one control device (5) of the ego vehicle (1)

Method according to one of the preceding claims, characterized in that the training of the models is carried out by means of at least one computer unit (2) external to the vehicle.

Method according to one of the preceding claims, characterized in that data from trained models are transmitted to further vehicles (3.1 to 3.n).