DE102020117811A1

DE102020117811A1 - Method for providing a device for determining regions of interest for an automated vehicle function and assistance device for a motor vehicle

Info

Publication number: DE102020117811A1
Application number: DE102020117811.5A
Authority: DE
Inventors: Christopher Kuhn; Goran Petrovic; Markus Hofbauer; Eckehard Steinbach
Original assignee: Bayerische Motoren Werke AG; Technische Universitaet Muenchen
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-07-07
Filing date: 2020-07-07
Publication date: 2022-01-13

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Einrichtung zum Ermitteln von Interessenregionen für eine automatisierte Fahrzeugfunktion sowie eine entsprechende Assistenzeinrichtung für ein Kraftfahrzeug zum Identifizieren von Interessenregionen in Umgebungsdaten. Bei dem Verfahren werden ein Ausgangsmodell und Trainingsdaten, die Fahrzeugumgebungen in unterschiedlichen Blickwinkelbereichen abbilden, bereitgestellt. Aus dem Ausgangsmodell werden mehrere richtungsspezifische Modelle für jeweils einen anderen der unterschiedlichen Blickwinkelbereiche erzeugt. Dazu wird das Ausgangsmodell jeweils unter Priorisierung von solchen der bereitgestellten Trainingsdaten, welche die Fahrzeugumgebungen in einem bestimmten Blickwinkelbereich abbilden, nachtrainiert. Die so erzeugten mehreren richtungsspezifischen Modelle werden dann als Teile der Assistenzeinrichtung bereitgestellt.The invention relates to a method for providing a device for determining regions of interest for an automated vehicle function and a corresponding assistance device for a motor vehicle for identifying regions of interest in environmental data. In the method, an initial model and training data that depict vehicle surroundings in different perspective ranges are provided. A number of direction-specific models are generated from the starting model, each for a different one of the different viewing angle ranges. For this purpose, the initial model is retrained in each case with prioritization of those of the provided training data that depict the vehicle surroundings in a specific viewing angle range. The several direction-specific models generated in this way are then made available as parts of the assistance device.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen einer Einrichtung zum Ermitteln von Interessenregionen für eine automatisierte Fahrzeug- oder Fahrfunktion sowie eine entsprechende Assistenzeinrichtung für ein Kraftfahrzeug.The present invention relates to a method for providing a device for determining regions of interest for an automated vehicle or driving function and a corresponding assistance device for a motor vehicle.

Im Fahrzeug- und Verkehrsbereich wird eine zunehmende Unterstützung von menschlichen Fahrern beim Ausführen einer Fahraufgabe bzw. eine zunehmende Automatisierung von Fahrzeug- oder Fahraufgaben angestrebt. Als Grundlage dafür dienen Sensordaten, die eine jeweilige Fahrzeugumgebung abbilden. Eine korrekte Interpretation und Verarbeitung solcher Sensordaten stellt jedoch weiterhin eine technische Herausforderung dar. Ein Ansatz hierfür besteht in der Bestimmung von sogenannten Interessenregionen (englisch: Rol, Regions of Interest), also Bereichen, die zum Ausführen der jeweiligen Unterstützungs- oder Fahrzeugfunktion von besonderer Relevanz sind. Grundsätzlich gibt es bereits entsprechende technische Ansätze, wie beispielsweise eine automatische Objekterkennung oder eine automatische Bestimmung von Aufmerksamkeitskarten (englisch: Attention Maps) für künstliche neuronale Netze als Grundlage für die weitere Datenverarbeitung bzw. die jeweilige Funktionsausübung. Weitere Verbesserungen sind hier jedoch stets wünschenswert, da diese unmittelbar zu einer verbesserten Sicherheit im Verkehrsgeschehen beitragen können.In the vehicle and traffic sector, increasing support for human drivers when performing a driving task or increasing automation of vehicle or driving tasks is sought. The basis for this is sensor data that depicts the respective vehicle environment. However, correct interpretation and processing of such sensor data continues to pose a technical challenge. One approach to this is the determination of so-called regions of interest (Rol, regions of interest), i.e. areas that are particularly relevant for the execution of the respective support or vehicle function are. In principle, there are already corresponding technical approaches, such as automatic object recognition or automatic determination of attention maps (English: attention maps) for artificial neural networks as a basis for further data processing or the respective function exercise. However, further improvements are always desirable here, since they can contribute directly to improved safety in traffic.

Als einen Ansatz für den Bereich des computerbasierten Sehens (Computer Vision) beschreibt die DE 10 2017 120 112 A1 eine Tiefenkartenschätzung mit Stereobildern. As an approach to the field of computer-based vision (computer vision) describes the DE 10 2017 120 112 A1 a depth map estimate with stereo images.

Dabei werden erste und zweite stereoskopische Bilder auf verschiedene Weisen durch Schichten eines tiefen neuronalen Netzes verarbeitet, um eine oder mehrere Tiefenkarten zu ermitteln. Basierend darauf wird dann ein Fahrzeug gesteuert. Dabei kann das tiefe neuronale Netz dazu trainiert werden, eine Stereodisparität und dadurch Tiefenkarten durch das Vergleichen von Tiefenkarten mit einer Ground Truth zu vergleichen. Als Ausgangsdaten dienen darin aus unterschiedlichen aber einander überlappenden Blickwinkeln aufgenommene Stereokamerabilder. Es hat sich jedoch gezeigt, dass hier noch weiteres Verbesserungspotenzial besteht.Therein, first and second stereoscopic images are processed in various ways by layers of a deep neural network to determine one or more depth maps. A vehicle is then controlled based on this. In doing so, the deep neural network can be trained to compare stereo disparity and thus depth maps by comparing depth maps with a ground truth. Stereo camera images taken from different but overlapping perspectives serve as the starting data. However, it has been shown that there is still further potential for improvement.

Ein Ansatz zur Verbesserung der Sicherheit im Verkehrsgeschehen ist aus der US 2011 / 0 298 603 A1 bekannt. Dort ist ein System zum Vorhersagen einer Kollision an einer Kreuzung von wenigstens zwei Fahrspuren beschrieben. Das System umfasst in einer ersten Gruppe und einer zweiten Gruppe vor der Kreuzung angeordnete Sensorknoten zur Fahrzeugdetektion auf den beiden Fahrspuren. Die Gruppen von Sensorknoten umfassen dabei jeweils wenigstens drei in bekannten Abständen in einem Bewegungspfad jeweiliger Fahrzeuge angeordnete Sensorknoten. Von diesen werden Zeit- und Positionsdaten jeweiliger Fahrzeuge an eine Basisstation übermittelt. Diese bestimmt daraus eine Wahrscheinlichkeit dafür, dass die sich auf den beiden Fahrspuren bewegenden Fahrzeuge miteinander kollidieren und erzeugt gegebenenfalls ein entsprechendes Warnsignal. Dieses Warnsignal wird von einer vor der Kreuzung positionierten Warnsignalvorrichtung empfangen, um einen Fahrer eines der Fahrzeuge vor der bevorstehenden Kollision zu warnen.An approach to improving safety in traffic is known from US 2011/0 298 603 A1. There, a system for predicting a collision at an intersection of at least two lanes is described. The system comprises a first group and a second group of sensor nodes arranged in front of the intersection for vehicle detection in the two lanes. The groups of sensor nodes each include at least three sensor nodes arranged at known distances in a movement path of respective vehicles. From these, time and position data of the respective vehicles are transmitted to a base station. From this, the latter determines the probability that the vehicles moving in the two lanes will collide with one another and, if necessary, generates a corresponding warning signal. This warning signal is received by a warning signal device positioned in front of the intersection to warn a driver of one of the vehicles of the impending collision.

Aufgabe der vorliegenden Erfindung ist es, eine verbesserte Erkennung von Interessenregionen in Umgebungsdaten für eine automatisierte Fahrzeugfunktion zu ermöglichen, insbesondere um dadurch letztlich eine Sicherheit im Verkehrsgeschehen zu erhöhen.The object of the present invention is to enable improved detection of regions of interest in environmental data for an automated vehicle function, in particular in order ultimately to increase safety in traffic events.

Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Zeichnungen angegeben.According to the invention, this object is achieved by the subject matter of the independent patent claims. Advantageous refinements and developments of the present invention are specified in the dependent patent claims, in the description and in the drawings.

Ein erfindungsgemäßes Verfahren dient zum Bereitstellen oder Erzeugen einer Einrichtung zum Ermitteln von Interessenregionen für eine automatisierte Fahrzeug- oder Fahrfunktion eines Kraftfahrzeugs in Umgebungsdaten, die eine Fahrzeugumgebung abbilden. Die Umgebungsdaten können von einer Umgebungssensorik, insbesondere einer Umgebungssensorik des Kraftfahrzeugs, erfasste oder bereitgestellte Sensordaten sein oder umfassen oder aus solchen Sensordaten erzeugt sein. Bevorzugt können die Umgebungsdaten die Fahrzeugumgebung optisch abbilden, also beispielsweise Kameradaten oder Kamerabilder sein oder umfassen. Ebenso können in die Umgebungsdaten jedoch andere Arten von Daten, beispielsweise Lidardaten oder dergleichen sein oder umfassen.A method according to the invention is used to provide or generate a device for determining regions of interest for an automated vehicle or driving function of a motor vehicle in environmental data that depicts a vehicle environment. The environmental data can be or include sensor data recorded or provided by an environmental sensor system, in particular an environmental sensor system of the motor vehicle, or be generated from such sensor data. The environmental data can preferably represent the vehicle environment optically, that is, for example, be or include camera data or camera images. However, the environmental data can also be or include other types of data, for example lidar data or the like.

Bei dem erfindungsgemäßen Verfahren wird ein zum Bestimmen von solchen Interessenregionen trainiertes oder zumindest vortrainiertes Ausgangsmodell, also ein entsprechendes Basis- oder Startmodell bereitgestellt. Ein Modell kann im Sinne der vorliegenden Erfindung insbesondere ein entsprechend eingerichtetes, also beispielsweise trainiertes oder vortrainiertes, künstliches neuronales Netz sein oder umfassen. Ebenso kann ein Modell im Sinne der vorliegenden Erfindung aber grundsätzlich ein entsprechendes Computer- oder Berechnungsmodell, das mittels Trainingsdaten trainierbarer oder anfassbar ist, sein oder umfassen.In the method according to the invention, an initial model that is trained or at least pre-trained to determine such regions of interest, ie a corresponding base or starting model, is provided. In the context of the present invention, a model can in particular be or include a correspondingly set up, ie, for example, trained or pre-trained, artificial neural network. Likewise, a model within the meaning of the present invention can basically be or include a corresponding computer or calculation model that can be trained or touched using training data.

Weiter werden bei dem erfindungsgemäßen Verfahren Trainingsdaten bereitgestellt, die Fahrzeugumgebungen in bezogen auf eine Fahrzeugrichtung unterschiedlichen Blickwinkelbereichen abbilden. Diese Blickwinkelbereiche können dabei insbesondere in einer Horizontal- oder Azimutebene, in der sich das jeweilige Fahrzeug bewegt oder die sich beispielsweise zumindest im Wesentlichen parallel zu einem von dem jeweiligen Fahrzeug befahrenen Untergrund erstreckt, definiert sein. Jeder der Blickwinkelbereiche ist dabei kleiner als 360°, bevorzugt kleiner gleich 180°. Die unterschiedlichen Blickwinkelbereiche stellen also von dem jeweiligen Fahrzeug aus unterschiedlich ausgerichtete oder orientierte Sichtkegel oder Blickrichtungen dar, sind von dem Fahrzeug aus also in unterschiedliche Richtungen gerichtet.Furthermore, in the method according to the invention, training data are provided which depict vehicle surroundings in relation to a vehicle direction in different viewing angle ranges. These viewing angle ranges can be defined in particular in a horizontal or azimuth plane in which the respective vehicle is moving or which, for example, extends at least essentially parallel to a subsurface on which the respective vehicle is driving. Each of the viewing angle ranges is less than 360°, preferably less than or equal to 180°. The different viewing angle ranges therefore represent differently aligned or oriented viewing cones or viewing directions from the respective vehicle, ie are directed in different directions from the vehicle.

Die Fahrzeugrichtung kann dabei beispielsweise eine jeweilige Fahrzeuglängsrichtung oder Fahrzeugquerrichtung sein, die als Referenzrichtung zum Unterscheiden der Blickwinkelbereiche bzw. der unterschiedlichen Ausrichtung oder Orientierungen der Blickwinkelbereiche vorgegeben sein kann. Die Trainingsdaten bilden also gemäß ihren unterschiedlichen Blickwinkelbereichen von dem jeweiligen Fahrzeug aus betrachtet unterschiedliche Bereiche oder Teile der jeweiligen Fahrzeugumgebung oder unterschiedlicher Fahrzeugumgebungen ab. Die Trainingsdaten zu unterschiedlichen Blickwinkelbereichen können dabei zu den gleichen oder zu unterschiedlichen Zeitpunkten sowie an den gleichen oder unterschiedlichen Positionen aufgenommen oder erzeugt sein. Unterschiedliche Blickwinkelbereiche oder Blickrichtungen, also unterschiedliche Aufnahme- oder Abbildungsbereiche der Trainingsdaten können in diesem Sinne beispielsweise durch eine Vorwärtsrichtung, eine Rückwärtsrichtung oder eine Seitenrichtung oder seitliche Richtung - jeweils von dem oder einem Fahrzeug aus betrachtet - gegeben oder bestimmt sein.The vehicle direction can be, for example, a respective vehicle longitudinal direction or vehicle transverse direction, which can be specified as a reference direction for differentiating the viewing angle areas or the different alignment or orientations of the viewing angle areas. The training data therefore depict different areas or parts of the respective vehicle environment or different vehicle environments as viewed from the respective vehicle according to their different viewing angle ranges. The training data for different viewing angle areas can be recorded or generated at the same or different points in time and at the same or different positions. Different viewing angle areas or viewing directions, i.e. different recording or imaging areas of the training data can be given or determined in this sense, for example by a forward direction, a backward direction or a side direction or side direction - each viewed from the vehicle or a vehicle.

Die bereitgestellten Trainingsdaten können u.a. durch Kennzeichnung oder Annotation von Interessenregionen in Umgebungsdaten, also entsprechendes Labeln von Umgebungsdaten, erzeugt sein. Dazu können reale, also in einer realen Umgebung aufgenommene, und/oder simulierte, also künstlich erzeugte, Umgebungsdaten verwendet werden.The training data provided can be generated, among other things, by marking or annotating regions of interest in environmental data, i.e. appropriate labeling of environmental data. Real environment data, ie recorded in a real environment, and/or simulated, ie artificially generated, can be used for this purpose.

Erfindungsgemäß werden aus dem bereitgestellten Ausgangsmodell mehrere richtungsspezifische Modelle für jeweils einen anderen der unterschiedlichen Blickwinkelbereiche erzeugt. Dazu wird jeweils das Ausgangsmodell unter Priorisierung von solchen der bereitgestellten Trainingsdaten, welche die Fahrzeugumgebung oder Fahrzeugumgebungen in einem bestimmten der unterschiedlichen Blickwinkelbereiche abbilden, nachtrainiert. Es werden mit anderen Worten also für das jeweilige Nachtrainieren zum Erzeugen eines der richtungsspezifischen Modelle Trainingsdaten mit einem Blickwinkelbereichs- oder Blickrichtungsbias, also einem bevorzugten oder überrepräsentierten Blickwinkelbereich, verwendet. Dabei werden zum Erzeugen unterschiedlicher, also für unterschiedliche Blickwinkelbereiche spezifischerer Modelle Trainingsdaten mit entsprechend unterschiedlichem Bias bzw. solche der Trainingsdaten verwendet, welche die Fahrzeugumgebung oder Fahrzeugumgebungen bevorzugt oder überproportional häufig - gegebenenfalls sogar ausschließlich - in einem bestimmten der unterschiedlichen Blickwinkelbereiche abbilden im Vergleich zu den übrigen der unterschiedlichen Blickwinkelbereiche. Zum Erzeugen jedes der richtungsspezifischen Modelle wird dabei jeweils von dem Ausgangsmodell, insbesondere einer Kopie oder neuen Instanz des Ausgangsmodells ausgegangen. Ein derartiges Nachtrainieren wird fachüblich auch als Tuning oder Feintuning, also als Anpassung oder Adaptierung des jeweiligen Ausgangsmodells bezeichnet. Die richtungsspezifischen Modelle sind erfindungsgemäß also für unterschiedliche Blickwinkelbereiche getuned oder angepasst. According to the invention, a number of direction-specific models are generated from the initial model provided, each for a different one of the different viewing angle ranges. For this purpose, the initial model is retrained in each case with prioritization of those of the provided training data which depict the vehicle environment or vehicle environments in a specific one of the different viewing angle ranges. In other words, training data with a viewing angle range or viewing direction bias, ie a preferred or over-represented viewing angle range, are used for the respective retraining to generate one of the direction-specific models. In order to generate different models, i.e. models that are more specific for different viewing angle areas, training data with a correspondingly different bias or those of the training data are used which preferably or disproportionately frequently - possibly even exclusively - map the vehicle environment or vehicle surroundings in one specific of the different viewing angle areas compared to the others the different perspectives. To generate each of the direction-specific models, the starting model, in particular a copy or a new instance of the starting model, is used as a basis. Such retraining is also known in the art as tuning or fine-tuning, ie as adjustment or adaptation of the respective starting model. According to the invention, the direction-specific models are therefore tuned or adapted for different viewing angle ranges.

Das Erzeugen der richtungsspezifischen Modelle ausgehend von dem bereitgestellten Ausgangsmodell, also das jeweilige Nachtrainieren des Ausgangsmodells, kann vorteilhaft mit einem vergleichsweise geringen Zeit- und Rechenaufwand sowie einer vergleichsweise kleinen Menge von Trainingsdaten realisiert werden im Vergleich zum Erzeugen oder Trainieren eines jeweiligen neuen richtungsspezifischen Modells von Grund auf. Dadurch kann also der Aufwand zum Erzeugen der mehreren richtungsspezifischen Modelle praktikabel gering gehalten werden.The generation of the direction-specific models based on the initial model provided, i.e. the respective retraining of the initial model, can advantageously be implemented with a comparatively small amount of time and computing effort and a comparatively small amount of training data compared to the generation or training of a respective new direction-specific model from scratch on. As a result, the outlay for generating the multiple direction-specific models can be kept practically low.

Die so erzeugten mehreren richtungsspezifischen Modelle werden dann als Teile der Einrichtung zum Ermitteln der Interessenregionen bereitgestellt.The multiple direction-specific models thus generated are then provided as parts of the region-of-interest determination facility.

Durch die vorliegende Erfindung kann eine verbesserte Ermittlung oder Vorhersage von Interessenregionen, also beispielsweise Bereichen oder Teilen einer jeweiligen Umgebung, die für die jeweilige automatisierte Fahrzeugfunktion besonders relevant sind und/oder beispielsweise auch von einem menschlichen Fahrer des Kraftfahrzeugs besonders oder bevorzugt beachtet würden, ermöglicht werden. Dies ist insbesondere im Gegensatz zu bisherigen Ansätzen zu sehen, die nur für einen einzigen Blickwinkelbereich, beispielsweise nur für in einer Vorwärtsrichtung oder einem nach vorne gerichteten Blickwinkelbereich oder Sichtkegel aufgenommenen oder erzeugte Trainingsdaten verwenden. In heutigen Kraftfahrzeugen stehen typischerweise mehrere Umgebungssensoren zur Verfügung, die unterschiedliche Blickwinkelbereiche abdecken. Die vorliegende Erfindung beruht auf der Erkenntnis, dass durch Verwendung entsprechender richtungs- oder blickwinkelbereichsspezifischer Modelle die jeweiligen relevanten Interessenregionen mit verbesserter Genauigkeit und Zuverlässigkeit ermittelt werden können im Vergleich zur Verwendung eines einzigen Modells für alle unterschiedlichen Blickwinkelbereiche.The present invention enables an improved determination or prediction of regions of interest, for example areas or parts of a respective environment that are particularly relevant for the respective automated vehicle function and/or, for example, would also be given special or preferential attention by a human driver of the motor vehicle . This is to be seen in particular in contrast to previous approaches which only use training data recorded or generated for a single viewing angle range, for example only in a forward direction or a forward viewing angle range or cone of vision. In today's motor vehicles, there are typically several environmental sensors available that cover different viewing angle ranges. the before The present invention is based on the knowledge that by using appropriate models specific to direction or viewing angle, the respective relevant regions of interest can be determined with improved accuracy and reliability compared to using a single model for all different viewing angles.

Beispielsweise können zwar bezüglich einer Kollisionsvermeidung sich dem jeweiligen Kraftfahrzeug nähernde Fremdobjekte unabhängig von ihrer Annäherungsrichtung, also unabhängig von dem Blickwinkelbereich relevant sein, also eine entsprechende Interessenregionen darstellen. Für einen sicheren Betrieb des Kraftfahrzeugs in Vorwärtsfahrtrichtung entlang einer gegebenen Straße kann jedoch beispielsweise eine in Vorwärtsfahrtrichtung dem Kraftfahrzeug vorausliegende Lichtsignalanlage oder ein in Fahrtrichtung voraus angeordnetes Verkehrszeichen oder dergleichen von wesentlich größerer Bedeutung sein als die gleiche Lichtsignalanlage oder das gleiche Verkehrszeichen, wenn diese bzw. dieses sich entgegengesetzt der Fahrtrichtung des Kraftfahrzeugs hinter diesem befindet. Somit kann für die Lichtsignalanlage oder das Verkehrszeichen in ersterem Fall die Ermittlung einer entsprechenden Interessenregion in einem die Lichtsignalanlage oder das Verkehrszeichen erfassenden vorwärts gerichteten Blickwinkelbereich korrekt sein, in letzterem Fall hingegen inkorrekt, wenn sich die Lichtsignalanlage oder das Verkehrszeichen in einem nach hinten gerichteten Rückwärtsblickwinkelbereich befindet. Analog kann es in dem rückwärtigen, also entgegen der Fahrtrichtung nach hinten gerichteten Blickwinkelbereich andere Interessenregionen oder andere Merkmale, die Interessenregionen darstellen oder charakterisieren, geben, die für den sicheren Betrieb des Kraftfahrzeugs relevant sein können, jedoch in dem in Fahrtrichtung, also nach vorne gerichteten Blickwinkelbereich keine Interessenregionen für den sicheren Betrieb des Kraftfahrzeugs darstellen oder charakterisieren würden.For example, with regard to collision avoidance, foreign objects approaching the respective motor vehicle can be relevant, ie represent a corresponding region of interest, independently of their direction of approach, ie independently of the viewing angle range. However, for safe operation of the motor vehicle in the forward direction of travel along a given road, for example, a traffic light or traffic sign arranged in front of the motor vehicle in the forward direction of travel or the like can be of significantly greater importance than the same traffic signal or traffic sign if these opposite to the direction of travel of the motor vehicle behind it. Thus, for the traffic signal or traffic sign, the determination of a corresponding region of interest in a forward viewing angle area detecting the traffic signal or traffic sign may be correct in the former case, but incorrect in the latter case if the traffic signal or traffic sign is in a rearward viewing angle area . Similarly, there may be other regions of interest or other features that represent or characterize regions of interest that may be relevant to the safe operation of the motor vehicle in the viewing angle area to the rear, i.e. rearward in the opposite direction to the direction of travel, but in the area in the direction of travel, i.e. to the front Perspective range would not represent or characterize regions of interest for the safe operation of the motor vehicle.

Insgesamt können durch die vorliegende Erfindung also richtungsspezifisch oder richtungsabhängig relevante Interessenregionen als Datengrundlage oder Basis für unterschiedliche automatisierte Fahrzeugfunktionen mit verbesserter Genauigkeit bestimmt werden. Dadurch kann letztendlich eine verbesserte Sicherheit im Verkehrsgeschehen erreicht werden.Overall, the present invention can thus be used to determine regions of interest that are relevant in a direction-specific or direction-dependent manner as a data basis or basis for different automated vehicle functions with improved accuracy. As a result, improved safety in traffic can ultimately be achieved.

Die mittels des erfindungsgemäßen Verfahrens bereitgestellte oder erzeugte Einrichtung kann insbesondere dazu eingerichtet sein, Umgebungsdaten für unterschiedliche Blickwinkelbereiche zu erfassen und automatisch dem korrespondierenden richtungsspezifischen Modell zur Verarbeitung zuzuführen. Weiter kann die Einrichtung dazu eingerichtet sein, von den richtungsspezifischen Modellen erzeugte Ausgangsdaten, welche die jeweiligen ermittelten Interessenregionen angeben oder kennzeichnen, auszugeben oder bereitzustellen, beispielsweise über eine entsprechende Ausgangsschnittstelle. Diese Ausgangsdaten können dann beispielsweise an eine weitere Einrichtung oder Funktionalität des Kraftfahrzeugs übermittelt bzw. durch diese zum Ausüben der automatisierten Fahrzeugfunktion auf Basis der Ausgangsdaten verarbeitet werden.The device provided or created by means of the method according to the invention can in particular be set up to capture environmental data for different viewing angle ranges and automatically feed them to the corresponding direction-specific model for processing. Furthermore, the device can be set up to output or provide output data generated by the direction-specific models, which specify or characterize the respective determined regions of interest, for example via a corresponding output interface. This output data can then, for example, be transmitted to a further device or functionality of the motor vehicle or processed by it to carry out the automated vehicle function on the basis of the output data.

In vorteilhafter Ausgestaltung der vorliegenden Erfindung werden als unterschiedliche Blickwinkelbereiche wenigstens ein bezogen auf eine Fahrzeuglängsrichtung nach vorne gerichteter Vorwärtsblickwinkelbereich und ein bezogen auf die Fahrzeuglängsrichtung nach hinten gerichteter Rückwärtsblickwinkelbereich verwendet. Durch die Verwendung oder Unterscheidung dieser einander entgegengesetzten Blickwinkelbereiche, die insbesondere überlappungsfrei sein können, kann eine besonders klare und vorteilhafte Spezialisierung der entsprechenden richtungsspezifischen Modelle erreicht werden. Dies kann letztlich zu einer besonders großen Verbesserung der Genauigkeit oder Zuverlässigkeit beim Ermitteln der jeweiligen Interessenregionen beitragen. Die Vorwärts- und Rückwärtsblickwinkelbereiche können bevorzugt um die Fahrzeuglängsrichtung bzw. eine Fahrzeugmittellängsachse zentriert sein. Bevorzugt können die Vorwärts- und Rückwärtsblickwinkelbereiche zudem vollständig auf einer jeweiligen Seite einer Fahrzeugmittelquerachse des Kraftfahrzeugs liegen. Der Vorwärtsblickwinkelbereich kann sich also vollständig in einer vorderen Fahrzeughälfte oder von einer vorderen Fahrzeughälfte ausgehend von dem Kraftfahrzeug weg erstrecken, während sich der Rückwärtsblickwinkelbereich sollständig in einer hinteren Fahrzeughälfte oder von einer hinteren Fahrzeughälfte ausgehend von dem Kraftfahrzeug weg erstrecken kann.In an advantageous embodiment of the present invention, at least one forward viewing angle area directed forward in relation to a longitudinal direction of the vehicle and a rearward viewing angle area directed backward in relation to the longitudinal direction of the vehicle are used as different viewing angle areas. A particularly clear and advantageous specialization of the corresponding direction-specific models can be achieved by using or distinguishing between these mutually opposing viewing angle ranges, which in particular can be free of overlap. Ultimately, this can contribute to a particularly large improvement in the accuracy or reliability when determining the respective regions of interest. The forward and backward viewing angle ranges can preferably be centered around the longitudinal direction of the vehicle or a central longitudinal axis of the vehicle. In addition, the forward and backward viewing angle ranges can preferably lie entirely on a respective side of a vehicle central transverse axis of the motor vehicle. The forward viewing angle range can therefore extend completely in a front half of the vehicle or from a front half of the vehicle away from the motor vehicle, while the rearward viewing angle range can extend continuously in a rear half of the vehicle or from a rear half of the vehicle away from the motor vehicle.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird als einer der unterschiedlichen Blickwinkelbereiche eine Kombination von bezogen auf die Fahrzeuglängsrichtung nach links und nach rechts gerichteten oder ausgerichteten Seitenblickwinkelbereichen verwendet. Diese Seitenblickwinkelbereiche können beispielsweise um eine zumindest im Wesentlichen senkrecht zu der Fahrzeuglängsrichtung verlaufende Fahrzeugquerrichtung zentriert sein. Es hat sich gezeigt, dass sich in dem nach links ausgerichteten Seitenblickwinkelbereich und in dem nach rechts ausgerichteten Seitenblickwinkelbereich aufgenommene Umgebungsdaten hinsichtlich ihrer Interessenregionen nicht fundamental unterscheiden. Durch die Kombination dieser Seitenblickwinkelbereiche, also der Erzeugung eines gemeinsamen richtungsspezifischen Modells für die beiden entgegengesetzten oder einander gegenüberliegenden Seitenblickwinkelbereiche, kann somit ohne signifikanten Genauigkeits- oder Sicherheitsverlust vorteilhaft Datenverarbeitungsaufwand eingespart werden im Vergleich zur Erzeugung individueller richtungsspezifischer Modelle für den nach links ausgerichteten Seitenblickwinkelbereich und den nach rechts ausgerichteten Seitenblickwinkelbereich.In a further advantageous embodiment of the present invention, a combination of lateral viewing angle areas directed or aligned to the left and to the right in relation to the longitudinal direction of the vehicle is used as one of the different viewing angle areas. These lateral viewing angle ranges can, for example, be centered around a vehicle transverse direction that runs at least essentially perpendicularly to the vehicle longitudinal direction. It has been shown that environmental data recorded in the side viewing angle area oriented to the left and in the side viewing angle area oriented to the right do not differ fundamentally with regard to their regions of interest. By combining these side viewing angle ranges, that is the generation of a common direction-specific model for the two opposite or opposite side viewing angle areas, data processing effort can thus be advantageously saved without significant loss of accuracy or security compared to the generation of individual direction-specific models for the left-facing side viewing angle area and the right-facing side viewing angle area.

Der Vorwärtsblickwinkelbereich, der Rückwärtsblickwinkelbereich, der nach links gerichtete Seitenblickwinkelbereich und/oder der nach rechts gerichtete Seitenblickwinkelbereich kann durch jeweils einen entsprechend ausgerichteten Sensor des Kraftfahrzeugs erfasst oder abgedeckt werden. Ebenso können einer oder mehrere dieser Blickwinkelbereiche aus mehreren Teilbereichen zusammengesetzt sein, die mittels verschiedener Sensoren erfasst oder abgedeckt werden. Dabei können sich die Teilbereiche jeweils eines Blickwinkelbereiche - ohne Einschränkungen - überlappen, wodurch beispielsweise eine Zuverlässigkeit oder Redundanz erhöht werden kann.The forward viewing angle range, the backward viewing angle range, the side viewing angle range directed to the left and/or the side viewing angle range directed to the right can each be detected or covered by a correspondingly aligned sensor of the motor vehicle. Likewise, one or more of these viewing angle areas can be composed of several sub-areas that are detected or covered by different sensors. In this case, the sub-areas of a respective viewing angle area can overlap—without restrictions—so that, for example, reliability or redundancy can be increased.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung weisen die unterschiedlichen Blickwinkelbereiche eine Überlappung, also einen räumlichen Überlapp oder eine Überdeckung, von höchstens 20 % oder höchstens 20°, bevorzugt von höchstens 10 % oder höchstens 10°, auf. Besonders bevorzugt können einige oder alle der unterschiedlichen Blickwinkelbereiche zumindest im Wesentlichen überlappungsfrei sein. Durch diese Anordnung oder Aufteilung der unterschiedlichen Blickwinkelbereiche können entsprechend gute Spezialisierungen die richtungsspezifischen Modelle erreicht und somit die dadurch ermöglichten Genauigkeitsvorteile besonders effektiv realisiert werden. Weist das Kraftfahrzeug beispielsweise mehrere Sensoren auf, deren Blickwinkelbereiche, also deren Erfassungswinkel oder Sichtkegel, sich stärker, also in einem größeren Maße überlappen, können diese zu einem einzigen Blickwinkelbereich im Sinne der vorliegenden Erfindung zusammengefasst werden, für den dann also ein einziges richtungsspezifisches Modell trainiert, also erzeugt werden kann. Dadurch kann die vorliegende Erfindung letztlich besonders effektiv und hinsichtlich eines benötigten Aufwands besonders effizient realisiert, also angewendet werden. Eine größere Überlappung der Blickwinkelbereiche als hier vorgeschlagen ist ebenso möglich. Dadurch kann sich aber gegebenenfalls eine verringerte Effizienz ergeben, da zum einen entsprechend mehr Sensoren oder Kameras benötigt werden und zum anderen eine größere Überlappung eine schlechtere Spezialisierung der richtungsspezifischen Modelle bedeuten kann. Andererseits kann eine größere Überlappung eine verbesserte Redundanz, also Ausfallsicherheit bedeuten.In a further advantageous embodiment of the present invention, the different viewing angle areas have an overlap, ie a spatial overlap or a covering, of at most 20% or at most 20°, preferably at most 10% or at most 10°. Particularly preferably, some or all of the different viewing angle ranges can be at least essentially free of overlap. This arrangement or division of the different viewing angle ranges allows correspondingly good specializations to be achieved in the direction-specific models, and the accuracy advantages made possible thereby can be realized particularly effectively. If the motor vehicle has, for example, several sensors whose viewing angle ranges, i.e. their detection angle or cone of vision, overlap more, i.e. to a greater extent, these can be combined into a single viewing angle range within the meaning of the present invention, for which a single direction-specific model is then trained , so can be generated. As a result, the present invention can ultimately be implemented particularly effectively and particularly efficiently with regard to the effort required, ie it can be used. A greater overlap of the viewing angle ranges than suggested here is also possible. However, this can result in reduced efficiency, since on the one hand correspondingly more sensors or cameras are required and on the other hand a greater overlap can mean poorer specialization of the direction-specific models. On the other hand, a larger overlap can mean improved redundancy, i.e. failsafety.

Es gibt mehrere Möglichkeiten, um die richtungsspezifischen Modelle aus dem Ausgangsmodell zu erzeugen. Dazu kann das bereitgestellte Ausgangsmodell jeweils mittels Ausgangstrainingsdaten trainiert oder erzeugt sein, die Fahrzeugumgebungen bezogen auf die Fahrzeugrichtung zumindest im Wesentlichen in nur einem Blickwinkelbereich abbilden. Darauf basierend wird das bereitgestellte Ausgangsmodell in einer ersten vorteilhaften Variante der vorliegenden Erfindung zunächst mit den bereitgestellten Trainingsdaten, welche die Fahrzeugumgebungen in unterschiedlichen Blickwinkelbereichen abbilden, nachtrainiert. Damit wird also ein nachtrainiertes Ausgangsmodell erzeugt, das während seines Trainings also Umgebungsdaten bzw. Trainingsdaten für unterschiedliche Blickwinkelbereiche gesehen, also verarbeitet hat. Danach wird das so für die mehreren Blickwinkelbereiche nachtrainierte Ausgangsmodell bzw. eine jeweilige Kopie oder Instanz des so nachtrainierten Ausgangsmodells zum Erzeugen der mehreren richtungsspezifischen Modelle jeweils nochmals mit einer jeweiligen Auswahl oder Teilmenge der Trainingsdaten, welche die Fahrzeugumgebungen in nur einem der unterschiedlichen Blickwinkel abbildet, nachtrainiert. Mit anderen Worten werden die Trainingsdaten also in unterschiedliche Gruppen oder Teilmengen aufgeteilt, die jeweils nur Trainingsdaten für genau einen einzigen Blickwinkelbereich umfassen. Zum Erzeugen eines jeden der richtungsspezifischen Modelle wird dann eine jeweilige Instanz des nachtrainierten Ausgangsmodells mit nur den Trainingsdaten einer dieser Teilmengen oder Gruppen nachtrainiert. Zum Erzeugen der richtungsspezifischen Modelle werden in dieser Variante der vorliegenden Erfindung also nacheinander mindestens zwei Nachtrainings oder Nachtrainingsvorgänge oder -schritte durchlaufen, also durchgeführt. Es hat sich gezeigt, dass auf diese Weise insbesondere für einen Blickwinkelbereich, der dem für das Training des ursprünglichen Ausgangsmodells verwendeten Blickwinkelbereich entgegengesetzt ist, eine besonders große Verbesserung der Genauigkeit oder Qualität beim Ermitteln der Interessenregionen durch die richtungsspezifischen Modelle im Vergleich zu dem Ausgangsmodell erzielt werden kann.There are several ways to generate the direction-specific models from the initial model. For this purpose, the initial model provided can be trained or generated by means of initial training data, which map the vehicle surroundings in relation to the vehicle direction at least essentially in just one viewing angle area. Based on this, in a first advantageous variant of the present invention, the initial model provided is initially post-trained with the training data provided, which depict the vehicle surroundings in different viewing angle ranges. A post-trained initial model is thus generated which, during its training, has seen, ie processed, environmental data or training data for different viewing angle ranges. Thereafter, the initial model retrained in this way for the multiple viewing angle ranges or a respective copy or instance of the initial model retrained in this way to generate the multiple direction-specific models is retrained again with a respective selection or subset of the training data, which depicts the vehicle surroundings in only one of the different viewing angles . In other words, the training data is divided into different groups or subsets, each of which only includes training data for exactly a single viewing angle range. To generate each of the direction-specific models, a respective instance of the post-trained initial model is then post-trained with only the training data of one of these subsets or groups. In this variant of the present invention, in order to generate the direction-specific models, at least two post-training or post-training processes or steps are run through, ie carried out, one after the other. It has been shown that in this way, especially for a viewing angle range that is opposite to the viewing angle range used for training the original starting model, a particularly large improvement in the accuracy or quality when determining the regions of interest by the direction-specific models compared to the starting model can be achieved can.

Eine zweite vorteilhafte Variante der vorliegenden Erfindung geht ebenfalls von dem nur für einen Blickwinkelbereich trainierten Ausgangsmodell aus. In dieser zweiten Variante wird das Ausgangsmodell zum Erzeugen der mehreren richtungsspezifischen Modelle jeweils mit Nachtrainingsdaten nachtrainiert, die zumindest im Wesentlichen alle der bereitgestellten Trainingsdaten umfassen, die Fahrzeugumgebungen also in mehreren Blickwinkelbereichen abbilden. Dabei werden zum Erzeugen der richtungsspezifischen Modelle jedoch unterschiedliche Sätze von Nachtrainingsdaten bzw. unterschiedliche Variationen der Nachtrainingsdaten verwendet. Für jeden zum Erzeugen eines der richtungsspezifischen Modelle verwendeten Satz von Nachtrainingsdaten wird dabei eine vorgegebene Übergewichtung von Trainingsdaten für einen der unterschiedlichen Blickwinkelbereiche verwendet. Bevorzugt kann in jedem dieser Sätze von Nachtrainingsdaten ein bestimmter der unterschiedlichen Blickwinkelbereiche zumindest zweifach übergewichtet sein im Vergleich zu den jeweiligen übrigen der unterschiedlichen Blickwinkelbereiche. In einem bestimmten Satz von Nachtrainingsdaten, der zum Erzeugen eines entsprechenden der richtungsspezifischen Modelle aus dem bereitgestellten Ausgangsmodell vorgesehen ist, also verwendet wird, können also beispielsweise für einen bestimmten Blickwinkelbereich eine entsprechend größere Anzahl von Trainingsdaten, beispielsweise von entsprechenden Trainingsbildern, enthalten sein. Zusätzlich oder alternativ können die Trainingsdaten für einen der unterschiedlichen Blickwinkelbereiche dem Ausgangsmodell beim Erzeugen des entsprechenden richtungsspezifischen Modells mit einer entsprechend größeren Häufigkeit zugeführt, also als Eingangsdaten bereitgestellt werden. Bei dieser Variante der vorliegenden Erfindung ist es möglich, dass zum Erzeugen der richtungsspezifischen Modelle ausgehend von dem ursprünglichen bereitgestellten Ausgangsmodell nur ein Nachtraining oder Nachtrainingsschritt durchlaufen oder durchgeführt wird. Dadurch kann gegebenenfalls entsprechender Datenverarbeitungsaufwand eingespart werden. Es hat sich gezeigt, dass mit den durch diese Variante erzeugten richtungsspezifischen Modellen insbesondere für den auch zum Trainieren oder Erzeugen des ursprünglichen Ausgangsmodells verwendeten Blickwinkelbereich eine besonders große Verbesserung der Genauigkeit oder Qualität beim Ermitteln der Interessenregionen erreicht werden kann.A second advantageous variant of the present invention is also based on the starting model that was only trained for one viewing angle range. In this second variant, the initial model for generating the multiple direction-specific models is retrained in each case with post-training data that at least essentially includes all of the training data provided, that is, that depict the vehicle surroundings in multiple viewing angle ranges. In doing so, to generate However, the direction-specific models use different sets of post-training data or different variations of the post-training data. A predetermined overweighting of training data for one of the different viewing angle ranges is used for each set of post-training data used to generate one of the direction-specific models. In each of these sets of post-training data, a specific one of the different viewing angle ranges can preferably be overweighted at least twice compared to the respective remaining different viewing angle ranges. A specific set of post-training data, which is intended to generate a corresponding one of the direction-specific models from the initial model provided, i.e. is used, can therefore contain a correspondingly larger number of training data, for example corresponding training images, for a specific viewing angle range. In addition or as an alternative, the training data for one of the different viewing angle ranges can be supplied to the output model with a correspondingly greater frequency when the corresponding direction-specific model is generated, ie can be provided as input data. In this variant of the present invention, it is possible for only one post-training or post-training step to be run through or carried out in order to generate the direction-specific models starting from the original provided starting model. As a result, the corresponding data processing effort can be saved if necessary. It has been shown that with the direction-specific models generated by this variant, a particularly large improvement in accuracy or quality can be achieved when determining the regions of interest, in particular for the viewing angle range also used for training or generating the original starting model.

In den beiden hier beschriebenen Varianten kann letztlich die gewünschte Spezialisierung oder Anpassung der richtungsspezifischen Modelle für einen bestimmten Blickwinkelbereich und somit die damit einhergehende Verbesserung beim Ermitteln der Interessenregionen erreicht werden. Darüber hinaus kann es weitere Arten und Weisen zum Erzeugen der richtungsspezifischen Modelle aus dem Ausgangsmodell geben, die ebenfalls Teil der vorliegenden Erfindung sein können.In the two variants described here, the desired specialization or adaptation of the direction-specific models for a specific viewing angle range and thus the associated improvement in determining the regions of interest can ultimately be achieved. In addition, there can be other ways of generating the direction-specific models from the initial model, which can also be part of the present invention.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden die bereitgestellten Trainingsdaten und/oder zum Erzeugen des Ausgangsmodells verwendete Ausgangstrainingsdaten erzeugt, indem auf für das jeweilige Training bereitgestellte Umgebungsdaten eine automatische Objekterkennung angewendet wird. Zudem wird für die Umgebungsdaten eine automatische Erkennung von durch wenigstens einen menschlichen Betrachter bevorzugt betrachteten Aufmerksamkeitsregionen der Umgebungsdaten oder in den Umgebungsdaten durchgeführt. Mit anderen Worten wird hier also automatisch detektiert, welchen Teilen oder Bereichen der Umgebungsdaten der menschliche Betrachter die meiste Aufmerksamkeit zukommen lässt. Basierend auf den so ermittelten Aufmerksamkeitsregionen und den automatisch in den Umgebungsdaten erkannten Objekten werden dann die Interessenregionen festgelegt. Mit diesen Interessenregionen werden die Umgebungsdaten dann annotiert oder gelabelt, um die jeweiligen Trainingsdaten zu erzeugen. Auf diese Weise können nicht nur für das Ausüben der jeweiligen Fahrzeugfunktion relevante Objekte, sondern beispielsweise auch freie Bereiche oder Freiräume, in die sich das Kraftfahrzeug sicher bewegen kann oder die beispielsweise als Ausweichbereich für das Kraftfahrzeug dienen können, besonders zuverlässig als Interessenregionen erkannt bzw. gekennzeichnet werden. Besonders bevorzugt können die Aufmerksamkeitsregionen dabei Mittelwerte von für mehrere unterschiedliche menschliche Betrachter erkannten individuellen Aufmerksamkeitsregionen sein. Dadurch können die Aufmerksamkeitsregionen und somit die Interessenregionen besonders zuverlässig bestimmt werden.In a further advantageous embodiment of the present invention, the training data provided and/or the initial training data used to generate the initial model are generated by automatic object recognition being applied to environmental data provided for the respective training. In addition, for the environmental data, an automatic detection of attention regions of the environmental data or in the environmental data that are preferably viewed by at least one human observer is carried out. In other words, here it is automatically detected which parts or areas of the environmental data the human observer pays the most attention to. The regions of interest are then determined on the basis of the regions of attention determined in this way and the objects automatically recognized in the environmental data. The environmental data is then annotated or labeled with these regions of interest to generate the respective training data. In this way, not only objects relevant for the performance of the respective vehicle function, but also, for example, free areas or free spaces into which the motor vehicle can move safely or which can serve, for example, as an avoidance area for the motor vehicle, can be particularly reliably recognized or marked as regions of interest will. The regions of attention can particularly preferably be mean values of individual regions of attention recognized for a number of different human viewers. As a result, the regions of attention and thus the regions of interest can be determined particularly reliably.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden als die bereitgestellten Trainingsdaten manuell mit Interessenregionen annotierte oder gelabelte Umgebungsdaten verwendet, in denen jeweils alle Interessenregionen gekennzeichnet sin, die für wenigstens eines von mehreren in der jeweils abgebildeten Fahrzeugumgebung für das jeweilige Fahrzeug möglichen Fahrmanövern relevant sind, also eine Interessenregion darstellen. Mit anderen Worten wird also für das Bestimmen oder Kennzeichnen der Interessenregionen nicht vorab festgelegt oder berücksichtigt, welches von mehreren möglichen Fahrmanövern das jeweilige Fahrzeug in der jeweils abgebildeten Fahrzeugumgebung ausführt oder ausführen soll. Stellt eine abgebildete Fahrzeugumgebung beispielsweise eine in Fahrtrichtung vorausliegende Kreuzung dar, so könnten mögliche Fahrmanöver ein Geradeausfahren, ein Abbiegen nach links oder ein Abbiegen nach rechts sein oder umfassen. Indem die Interessenregionen für alle diese möglichen unterschiedlichen Fahrmanöver in den Trainingsdaten berücksichtigt werden, kann vorteilhaft letztlich eine besonders genaue, vollständige und zuverlässige Ermittlung von Interessenregionen durch die richtungsspezifischen Modelle erreicht werden. Die entsprechenden Annotationen oder Labels der Trainingsdaten können dabei automatisch erstellt werden, ausgehend davon manuell ergänzt oder korrigiert werden oder vollständig manuell erzeugt werden. Dies kann beispielsweise abhängig sein von einem im jeweiligen Einzelfall praktikablen Aufwand.In a further advantageous embodiment of the present invention, the provided training data uses environment data that is manually annotated or labeled with regions of interest, in which all regions of interest are identified that are relevant for at least one of several possible driving maneuvers in the vehicle environment that is shown for the respective vehicle, i.e represent an area of interest. In other words, when determining or identifying the regions of interest, it is not specified or taken into account in advance which of a plurality of possible driving maneuvers the respective vehicle executes or should execute in the vehicle environment that is depicted in each case. For example, if an imaged vehicle environment represents an intersection ahead in the direction of travel, possible driving maneuvers could be or include driving straight ahead, turning left or turning right. By taking into account the regions of interest for all of these possible different driving maneuvers in the training data, a particularly precise, complete and reliable determination of regions of interest by the direction-specific models can advantageously ultimately be achieved. The corresponding annotations or labels of the training data can be created automatically, supplemented or corrected manually on the basis of this, or generated completely manually. This can for example, be dependent on an effort that is practicable in each individual case.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung umfasst das bereitgestellte Ausgangsmodell wenigstens ein LSTM-Modul (englisch, fachsprachlich: long short-term memory, langes Kurzzeitgedächtnis). Das bereitgestellte Ausgangsmodell ist oder wird dabei mit Sequenzen von vorgegebenen Ausgangstrainingsdaten trainiert, die eine Übergewichtung von sicherheitskritischen Fahrsituationen aufweisen. Sicherheitskritische Fahrsituationen sind in diesem Sinne Fahrsituationen, also Verkehrs- oder Umgebungssituationen, die in den Trainingsdaten abgebildet sind, in denen es statistisch zu besonders vielen Unfällen oder zu einem gehäuften Versagen von automatisierten Fahrfunktionen oder Fahrassistenzsystemen von Kraftfahrzeugen kommt oder in der Vergangenheit gekommen ist. Dies können beispielsweise Abbiegesituationen, insbesondere in innerstädtischen Umgebungen, oder beispielsweise Überholsituationen, beispielsweise auf Landstraßen oder Autobahnen, sein. Durch die Übergewichtung solcher sicherheitskritischer Fahrsituationen können die richtungsspezifischen Modelle letztlich darauf trainiert sein oder werden, insbesondere bezüglich der Sicherheit besonders relevante Interessenregionen mit verbesserter Genauigkeit oder Zuverlässigkeit zu ermitteln. Damit kann letztlich die Sicherheit im Verkehrsgeschehen bei Nutzung oder Anwendung der vorliegenden Erfindung weiter verbessert werden.In a further advantageous embodiment of the present invention, the initial model provided comprises at least one LSTM module (English, technical jargon: long short-term memory). The initial model provided is or will be trained with sequences of predetermined initial training data, which have an overweighting of safety-critical driving situations. In this sense, safety-critical driving situations are driving situations, i.e. traffic or environmental situations that are mapped in the training data, in which statistically a particularly large number of accidents or frequent failures of automated driving functions or driver assistance systems of motor vehicles occur or have occurred in the past. This can be, for example, turning situations, in particular in inner-city surroundings, or, for example, overtaking situations, for example on country roads or freeways. By overweighting such safety-critical driving situations, the direction-specific models can ultimately be or will be trained to determine regions of interest that are particularly relevant with regard to safety with improved accuracy or reliability. Ultimately, safety in traffic can thus be further improved when using or applying the present invention.

Ein weiterer Aspekt der vorliegenden Erfindung ist eine Assistenzeinrichtung für ein Kraftfahrzeug zum automatischen Identifizieren, also zum automatischen Erkennen oder Vorhersagen, von Interessenregionen in - beispielsweise von einer Umgebungssensorik des Kraftfahrzeugs - bereitgestellten Umgebungsdaten. Die erfindungsgemäße Assistenzeinrichtung ist dabei mittels eines erfindungsgemäßen Verfahrens erzeugt oder bereitgestellt. Die erfindungsgemäße Assistenzeinrichtung kann also insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Einrichtung zum Ermitteln von Interessenregionen sein und dementsprechend einige oder alle der in diesem Zusammenhang genannten Eigenschaften und/oder Merkmale aufweisen. Die erfindungsgemäße Assistenzeinrichtung kann beispielsweise eine Eingangsschnittstelle zum Erfassen von Sensor- oder Umgebungsdaten, eine damit verbundene Datenverarbeitungseinrichtung und eine mit dieser verbundene Ausgangsschnittstelle zum Ausgeben von Ausgangsdaten aufweisen. Diese Ausgangsdaten können insbesondere durch die Datenverarbeitungseinrichtung automatisch ermittelte Interessenregionen oder die mit solchen automatisch ermittelten Interessenregionen markierten oder gekennzeichneten zuvor erfassten Sensor- oder Umgebungsdaten sein oder umfassen. Die Datenverarbeitungseinrichtung kann dazu insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen mehreren richtungsspezifischen Modelle umfassen oder enthalten. Insbesondere kann die Datenverarbeitungseinrichtung einen computerlesbaren Datenspeicher aufweisen, in dem diese richtungsspezifischen Modelle gespeichert oder hinterlegt sind. Zudem kann die Datenverarbeitungseinrichtung eine mit dem Datenspeicher verbundene Prozessoreinrichtung zum Ausführen der richtungsspezifischen Modelle oder eines diese umfassenden oder referenzierenden Programmcodes oder Computerprogramms aufweisen. Ein solches Computerprogramm und/oder ein solcher computerlesbarer Datenspeicher können ihrerseits eigene Aspekte der vorliegenden Erfindung sein.A further aspect of the present invention is an assistance device for a motor vehicle for automatically identifying, ie for automatically recognizing or predicting, regions of interest in environmental data provided—for example by an environmental sensor system of the motor vehicle. The assistance device according to the invention is generated or provided by means of a method according to the invention. The assistance device according to the invention can therefore in particular be the device for determining regions of interest mentioned in connection with the method according to the invention and accordingly have some or all of the properties and/or features mentioned in this connection. The assistance device according to the invention can have, for example, an input interface for acquiring sensor or environmental data, a data processing device connected thereto and an output interface connected thereto for outputting output data. This output data can in particular be or include regions of interest automatically determined by the data processing device or previously recorded sensor or environmental data marked or identified with such automatically determined regions of interest. For this purpose, the data processing device can in particular include or contain the plurality of direction-specific models described in connection with the method according to the invention. In particular, the data processing device can have a computer-readable data memory in which these direction-specific models are stored or stored. In addition, the data processing device can have a processor device connected to the data memory for executing the direction-specific models or a program code or computer program that includes or references them. Such a computer program and/or such a computer-readable data storage device can in turn be aspects of the present invention in their own right.

Ein weiterer Aspekt der vorliegenden Erfindung kann ein Kraftfahrzeug sein, das eine Umgebungssensorik zum Abbilden oder Erfassen einer jeweiligen Fahrzeugumgebung des Kraftfahrzeugs aus oder in unterschiedlichen Blickwinkeln oder Blickwinkelbereichen sowie eine mit dieser Umgebungssensorik verbundene erfindungsgemäße Assistenzeinrichtung aufweist. Dieses Kraftfahrzeug kann also insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Assistenzeinrichtung genannte Kraftfahrzeug sein.A further aspect of the present invention can be a motor vehicle that has an environment sensor system for mapping or detecting a respective vehicle environment of the motor vehicle from or in different viewing angles or viewing angle ranges and an inventive assistance device connected to this environment sensor system. This motor vehicle can therefore in particular be the motor vehicle mentioned in connection with the method according to the invention and/or in connection with the assistance device according to the invention.

Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further features of the invention can result from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description and the features and feature combinations shown below in the description of the figures and/or in the figures alone can be used not only in the combination specified in each case, but also in other combinations or on their own, without going beyond the scope of the invention to leave.

Die Zeichnungen zeigen in:

1 eine schematische Darstellung eines Kraftfahrzeugs mit einer Assistenzeinrichtung; und
2 einen beispielhaften schematischen Ablaufplan für ein Verfahren zum Bereitstellen einer entsprechenden Assistenzeinrichtung.

The drawings show in:

1 a schematic representation of a motor vehicle with an assistance device; and
2 an exemplary schematic flowchart for a method for providing a corresponding assistance device.

Zumindest teilweise autonomes Fahren erhält derzeit viel Aufmerksamkeit sowohl in der Grundlagenforschung als auch in industriellen Anwendungen. Viele Ansätze verwenden sichtbasierte Algorithmen und Modelle zum Wahrnehmen einer Fahrzeugumgebung. Eine Erkenntnis ist hier, dass es vorteilhaft sein kann, vorherzusagen oder abzuschätzen, wohin ein menschlicher Fahrer in einer jeweiligen Situation gucken würde, da die menschliche visuelle Wahrnehmung und Interpretation der Umgebung oftmals als Referenzwahrheit (englisch: Ground Truth) angesehen werden kann. Vorliegend kann also die Idee verfolgt werden, vorherzusagen oder abzuschätzen, was ein menschlicher Fahrer in einer bestimmten Situation als interessant, relevant oder wichtig zum erfolgreichen und sicheren Führen eines Fahrzeugs oder zum entsprechenden Ausüben einer Fahrzeugfunktion oder Fahraufgabe einstufen würde. Dies kann durch sogenannte Interessenregionen (englisch: Regions Of Interest, Rols) angegeben werden. Das Vorhersagen jeweiliger aktueller Interessenregionen kann es vorteilhaft beispielsweise erlauben, besser zu bestimmen oder zu unterscheiden, ob ein Analysefehler in einem bestimmten Teil jeweiliger Umgebungsdaten, beispielsweise in einem bestimmten Teil eines Umgebungsbildes, wichtig für eine aktuelle Fahrzeugfunktion oder Fahraufgabe ist oder nicht. Beispielsweise kann ein Fehler oder Versagen beim Detektieren eines Fußgängers unmittelbar vor einem Fahrzeug kritischer sein als ein Fehler bei der korrekten Erkennung von Gebäuden oder Bäumen oder dergleichen im Hintergrund. Zum Ausüben der Fahraufgabe sollten dabei nicht alle hervorstechenden oder auffallenden Teile oder Regionen berücksichtigt, also als wichtig eingestuft werden. Beispielsweise können Bildbereiche, in denen eine Werbetafel oder dergleichen dargestellt ist, Aufmerksamkeit auf sich ziehen, was jedoch für das sichere Führen des jeweiligen Fahrzeugs irrelevant oder sogar nachteilig sein kann.At least partially autonomous driving is currently receiving a lot of attention both in basic research and in industrial applications. Many approaches use vision-based algorithms and models to perceive a vehicle's surroundings. One takeaway here is that it can be beneficial to predict or estimate where a human driver is going in a particular situation, since human visual perception and interpretation of the environment can often be viewed as ground truth. In the present case, the idea can therefore be pursued of predicting or estimating what a human driver would classify as interesting, relevant or important in a specific situation for successfully and safely driving a vehicle or for performing a vehicle function or driving task accordingly. This can be indicated by so-called regions of interest (rols). Predicting respective current regions of interest can advantageously allow, for example, to better determine or distinguish whether an analysis error in a specific part of respective environmental data, for example in a specific part of an image of the surroundings, is important for a current vehicle function or driving task or not. For example, an error or failure to detect a pedestrian immediately ahead of a vehicle may be more critical than an error in correctly detecting buildings or trees or the like in the background. In order to carry out the driving task, not all prominent or conspicuous parts or regions should be taken into account, i.e. classified as important. For example, areas of the image in which an advertising panel or the like is shown can attract attention, but this can be irrelevant or even disadvantageous for the safe driving of the respective vehicle.

Nicht nur das vollständig autonome Verfahren, sondern auch Fahraufgaben mit menschlicher Beteiligung (englisch: Human-in-the-Loop Tasks), wie etwa Tele-Fahren, also ein ferngesteuertes Führen eines Fahrzeugs, können von einer Anwendung der Vorhersage von Interessenregionen profitieren, beispielsweise als Maß für ein Situationsbewusstsein. Ansätze zum Modellieren eines menschlichen Situationsbewusstseins können ein Wissen über alle Elemente in einer jeweiligen Situation oder Umgebung erfordern, die der jeweilige Mensch im Idealfall wahrgenommen haben sollte. Diese Elemente oder Objekte können als optimale Situationselemente (OSEs, Optimal Situation Elements) bezeichnet werden. Diese OSEs können situationsabhängig unterschiedlich sein. Beim Führen eines Flugzeugs können die OSEs beispielsweise hauptsächlich jeweilige Cockpitinstrumente und daher statisch sein. Beim Führen eines Kraftwagens im Straßenverkehr können zumindest einige der OSEs außerhalb des Kraftwagens sein und sich während der Fahrt dynamisch ändern. Ein möglicher Lösungsansatz zum Bestimmen oder Erkennen solcher dynamisch wechselnder OSEs kann in der Vorhersage von Interessenregionen, also die Rol-Vorhersage liegen.Not only the fully autonomous method, but also driving tasks with human participation (English: Human-in-the-Loop Tasks), such as tele-driving, i.e. remote-controlled driving of a vehicle, can benefit from an application of the prediction of regions of interest, for example as a measure of situational awareness. Approaches to modeling human situational awareness may require knowledge of all elements in a particular situation or environment that the particular human should ideally have perceived. These elements or objects may be referred to as Optimal Situation Elements (OSEs). These OSEs can vary depending on the situation. For example, when operating an aircraft, the OSEs may be primarily respective cockpit instruments and therefore static. When driving a motor vehicle on the road, at least some of the OSEs may be external to the motor vehicle and change dynamically while driving. A possible solution for determining or recognizing such dynamically changing OSEs can be the prediction of regions of interest, i.e. the Rol prediction.

Bisherige Modelle und Umgebungsdatensätze für die Rol-Vorhersage, wie beispielsweise Dr(EYE)ve oder Berkeley Deep Drive Attention (BDD-A) basieren typischerweise auf Umgebungsdaten, die mittels einer einzigen, bezogen auf eine Fahrzeuglängsrichtung nach vorne gerichteten, Kamera aufgenommen wurden. Eine vorliegende Erkenntnis ist, dass ein solches herkömmliches, für eine Vorwärtsblickrichtung trainiertes Modell typischerweise nicht die gleiche Vorhersagegüte oder Vorhersagegenauigkeit für andere Blickrichtungen, beispielsweise eine Rückwärtsblickrichtung, erreichen wird. Dies hängt damit zusammen, dass gemäß einer weiteren vorliegenden Erkenntnis unterschiedliche Blickrichtungen zu unterschiedlichen Interessenregionen führen, also unterschiedliche Rols aufweisen oder enthalten können. Dies kann berücksichtigt werden, da heutige Fahrzeuge oftmals eine Vielzahl von Sensoren aufweisen, die unterschiedliche Blickrichtungen abdecken, also erfassen.Previous models and environmental data sets for roll prediction, such as Dr(EYE)ve or Berkeley Deep Drive Attention (BDD-A), are typically based on environmental data recorded by a single camera pointing forward in relation to a vehicle longitudinal direction. One finding is that such a conventional model trained for a forward gaze direction will typically not achieve the same prediction quality or prediction accuracy for other gaze directions, for example a backward gaze direction. This is related to the fact that, according to a further finding, different viewing directions lead to different regions of interest, ie they can have or contain different roles. This can be taken into account since today's vehicles often have a large number of sensors that cover different viewing directions, ie record them.

1 zeigt dazu eine schematische Darstellung eines entsprechenden Kraftfahrzeugs 10, das eine mehrteilige Umgebungssensorik 12 aufweist. Die Umgebungssensorik 12 umfasst hier schematisch in verschiedene Richtungen gerichtete Sensoren, insbesondere optische Kameras. Diese sind hier beispielhaft verteilt an verschiedenen Positionen des Kraftfahrzeugs 10 angeordnet, etwa an jeder Seite des Kraftfahrzeugs 10. 1 1 shows a schematic representation of a corresponding motor vehicle 10 which has a multi-part environment sensor system 12. Here, the environment sensor system 12 comprises sensors, in particular optical cameras, which are directed in different directions. These are distributed here, for example, at different positions of motor vehicle 10, for example on each side of motor vehicle 10.

Das Kraftfahrzeug 10 umfasst weiter eine Assistenzeinrichtung 14 zum Identifizieren von Interessenregionen in Umgebungsdaten. Dies können insbesondere Umgebungsdaten sein, die mittels der Umgebungssensorik 12 aufgenommen werden und eine jeweilige Fahrzeugumgebung des Kraftfahrzeugs 10 abbilden. Dazu sind die Umgebungssensorik 12 und die Assistenzeinrichtung 14 vorliegend über ein Bordnetz 16 des Kraftfahrzeugs 10 miteinander gekoppelt. Über dieses Bordnetz 16 können entsprechende Daten sowie gegebenenfalls in Reaktion auf diese erzeugte Steuersignale übertragen werden.The motor vehicle 10 also includes an assistance device 14 for identifying regions of interest in environmental data. In particular, this can be environmental data that is recorded by means of environmental sensors 12 and depicts a respective vehicle environment of motor vehicle 10 . For this purpose, the environment sensor system 12 and the assistance device 14 are coupled to one another via an on-board network 16 of the motor vehicle 10 . Corresponding data and possibly control signals generated in response to these can be transmitted via this vehicle electrical system 16 .

Schematisch sind hier mehrere unterschiedliche Blickwinkelbereiche 18 angedeutet, die von verschiedenen Sensoren der Umgebungssensorik 12 abgedeckt, also abgebildet oder erfasst werden und unterschiedliche Teile oder Bereiche der jeweiligen Fahrzeugumgebung des Kraftfahrzeugs 10 umfassen oder darstellen. Die unterschiedlichen Ausrichtungen oder Orientierungen der Blickwinkelbereiche 18 können hier in Bezug auf eine in Fahrzeuglängsrichtung des Kraftfahrzeugs 10 nach vorne gerichtete Vorwärtsrichtung 20 definiert oder angegeben sein. Beispielhaft sind hier als Blickwinkelbereiche 18 ein in der Vorwärtsrichtung 20 nach vorne gerichteter Vorwärtsblickwinkelbereich 22, ein entgegen der Vorwärtsrichtung 20 nach hinten gerichteter Rückwärtsblickwinkelbereich 24 und ein quer zu der Vorwärtsrichtung 20 gerichteter Seitenblickwinkelbereich 26 angedeutet. Der Seitenblickwinkelbereich 26 kombiniert hier nach links und nach rechts, also zu beiden Seiten des Kraftfahrzeugs 10 gerichtete Teilbereiche. Ebenso können mehr und/oder anders geformte Blickwinkelbereiche 18 vorgesehen sein, die sich teilweise überlappen können und/oder jeweils aus mehreren aneinandergrenzenden oder teilweise überlappenden Teilbereichen zusammengesetzt sein können.A number of different viewing angle areas 18 are indicated here schematically, which are covered by different sensors of the surroundings sensor system 12, ie are imaged or detected and include or represent different parts or areas of the respective vehicle surroundings of the motor vehicle 10. The different alignments or orientations of the viewing angle regions 18 can be defined or specified here in relation to a forward direction 20 directed forward in the vehicle longitudinal direction of the motor vehicle 10 . Examples of viewing angle areas 18 here are a forward viewing angle area 22 directed forward in the forward direction 20, a counter to the Forward direction 20 to the rear rear viewing angle area 24 and a transverse to the forward direction 20 side viewing angle area 26 indicated. Here, the lateral viewing angle area 26 combines partial areas directed to the left and to the right, that is to say on both sides of the motor vehicle 10 . Likewise, more and/or differently shaped viewing angle areas 18 can be provided, which can partially overlap and/or can each be composed of several adjoining or partially overlapping partial areas.

Die für die verschiedenen Blickwinkelbereiche 18 mittels der Umgebungssensorik 12 erfassten Umgebungsdaten werden von der Assistenzeinrichtung 14 über eine Datenschnittstelle 28 empfangen. Die empfangenen Umgebungsdaten können dann mittels eines Prozessors 30 der Assistenzeinrichtung 14 verarbeitet und dabei beispielsweise in einem Datenspeicher 32 der Assistenzeinrichtung 14 abgelegt oder zwischengespeichert werden. Ebenso können die Umgebungsdaten abhängig von dem Blickwinkelbereich 18, den sie abbilden, entsprechenden richtungsspezifischen Modellen 34, die hier beispielsweise in dem Datenspeicher 32 hinterlegt sind, als jeweilige Eingangsdaten zugeführt werden. Vorliegend können also beispielsweise in dem oder für den Vorwärtsblickwinkelbereich 22 erfasste Umgebungsdaten einem dafür richtungsspezifischen Vorwärtsmodell 36 zur Verarbeitung zugeführt werden. Analog können für den Rückwärtsblickwinkelbereich 24 erfasste Umgebungsdaten einem entsprechenden richtungsspezifischen Rückwärtsmodell 38 und für den Seitenblickwinkelbereich 26 erfasste Umgebungsdaten einem für dafür richtungsspezifischen Seitenmodell 40 zugeführt werden.The environmental data recorded for the different viewing angle areas 18 by means of the environmental sensor system 12 are received by the assistance device 14 via a data interface 28 . The received environmental data can then be processed by means of a processor 30 of the assistance device 14 and, for example, stored or buffered in a data memory 32 of the assistance device 14 . Likewise, depending on the viewing angle area 18 that they depict, the environmental data can be supplied as respective input data to corresponding direction-specific models 34 that are stored here, for example, in the data memory 32 . In the present case, for example, environmental data recorded in or for the forward viewing angle range 22 can be fed to a direction-specific forward model 36 for processing. Analogously, environmental data recorded for the rearward viewing angle area 24 can be fed to a corresponding direction-specific rearward model 38 and environmental data recorded for the side viewing angle area 26 can be fed to a side model 40 that is specific for this direction.

Die richtungsspezifischen Modelle 34 sind darauf trainiert, in entsprechend richtungsspezifischen Umgebungsdaten automatisch für wenigstens eine zumindest teilweise automatisierte Fahrzeugfunktion des Kraftfahrzeugs 10 relevante Interessenregionen zu identifizieren. Dazu können die richtungsspezifischen Modelle 34 beispielsweise ein jeweiliges entsprechend trainiertes tiefes neuronales Netz, beispielsweise ein tiefes faltendes neuronales Netz (CNN), sein oder umfassen.The direction-specific models 34 are trained to automatically identify relevant regions of interest for at least one at least partially automated vehicle function of the motor vehicle 10 in corresponding direction-specific environmental data. For this purpose, the direction-specific models 34 can be or include, for example, a correspondingly trained deep neural network, for example a deep convolutional neural network (CNN).

2 zeigt dazu einen beispielhaften schematischen Ablaufplan 42 für ein Verfahren zum Bereitstellen der Assistenzeinrichtung 14 bzw. der richtungsspezifischen Modelle 34. 2 shows an exemplary schematic flowchart 42 for a method for providing the assistance device 14 or the direction-specific models 34.

In einem Verfahrensschritt S1 werden Ausgangstrainingsdaten bereitgestellt oder erzeugt. Diese Ausgangstrainingsdaten können beispielsweise mittels einer einzigen Kamera, also für einen einzigen Blickwinkel oder Blickwinkelbereich 18 aufgenommene und mit jeweiligen Interessenregionen annotierte Umgebungsdaten sein oder umfassen. Derartige Umgebungsdaten, die verschiedene Fahrzeugumgebungen in oder aus einer Blickrichtung, also einem Blickwinkelbereich 18 abbilden, sind vorteilhaft frei und in relativ großem Umfang verfügbar. Die Annotationen oder Labels, die hier also als Basis- oder Referenzwahrheit (Ground Truth) dienen, können automatisch generiert werden. Dazu kann beispielsweise eine Kombination von automatischer Objekterkennung und einer Blick- oder Aufmerksamkeitsdetektion menschlicher Betrachter angewendet werden. Für Letzteres können beispielsweise aufgenommene Umgebungsdaten nachträglich menschlichen Betrachtern vorgeführt werden unter automatischer Nachverfolgung der Betrachtungsrichtungen der Betrachter oder der bevorzugten Betrachtungsbereiche in den Umgebungsdaten. Bevorzugt können dabei Umgebungsdaten verwendet werden, die eine höhere Gewichtung sicherheitskritischer Verkehrssituationen oder Szenarien aufweisen. Ebenso können dabei in jeweils einem Kamera- oder Umgebungsbild der Umgebungsdaten gleichzeitig mehrere Interessenregionen gekennzeichnet werden.Initial training data are provided or generated in a method step S1. This initial training data can, for example, be or include environmental data recorded by means of a single camera, ie for a single viewing angle or viewing angle range 18 and annotated with respective regions of interest. Such environmental data, which depict different vehicle environments in or from a viewing direction, ie a viewing angle area 18, are advantageously freely available and available to a relatively large extent. The annotations or labels, which serve as basic or reference truth (ground truth), can be generated automatically. For this purpose, for example, a combination of automatic object recognition and a gaze or attention detection of human viewers can be used. For the latter, for example, recorded environmental data can be subsequently presented to human observers with automatic tracking of the viewing directions of the observers or the preferred viewing areas in the environmental data. In this case, environmental data can preferably be used which have a higher weighting of safety-critical traffic situations or scenarios. Likewise, multiple regions of interest can be marked simultaneously in one camera or environmental image of the environmental data.

In einem Verfahrensschritt S2 wird mit den Ausgangstrainingsdaten ein Ausgangsmodell zum Identifizieren von Interessenregionen in Umgebungsdaten, insbesondere eines einzigen Blickwinkelbereichs 18, trainiert. Damit ergibt sich ein relativ robustes Ausgangsmodell, also ein Modell, das hier als Ausgangspunkt oder Basis zur letztendlichen Erzeugung der richtungsspezifischen Modelle 34 dient. Als dieses oder ein solches Ausgangsmodell kann beispielsweise BDD-A verwendet werden.In a method step S2, an initial model for identifying regions of interest in environmental data, in particular a single viewing angle area 18, is trained with the initial training data. This results in a relatively robust starting model, that is to say a model which is used here as a starting point or basis for ultimately generating the direction-specific models 34 . BDD-A, for example, can be used as this or such a starting model.

Wie anhand des Kraftfahrzeugs 10 beschrieben, können heutige Fahrzeuge ihre jeweilige Fahrzeugumgebung in mehreren verschiedenen Blickwinkelbereichen 18 erfassen. Beispielsweise können heutige Fahrzeuge sechs oder mehr verschiedenen ausgerichtete Kameras aufweisen. Zudem ist zu beachten, dass basierend auf der automatischen Objekterkennung in den Umgebungsdaten nicht immer alle tatsächlich wichtigen oder relevanten Interessenregionen, insbesondere nicht an spezifische Objekte gebundene Interessenregionen, automatisch erkannt werden. Diesen Problemen soll vorliegend durch Bereitstellung weiterer Trainingsdaten und Erweiterung des Ausgangsmodells für die Rol-Vorhersage für mehrere unterschiedliche Blickwinkelbereiche 18 begegnet werden.As described with reference to motor vehicle 10, today's vehicles can capture their respective vehicle surroundings in a number of different viewing angle ranges 18. For example, today's vehicles may have six or more differently oriented cameras. It should also be noted that, based on the automatic object recognition in the environmental data, not all actually important or relevant regions of interest, in particular regions of interest that are not linked to specific objects, are automatically recognized. In the present case, these problems are to be countered by providing further training data and expanding the initial model for the rol prediction for a number of different viewing angle ranges 18 .

Wie bereits angedeutet sind im Kontext des Verfahrens oder Verkehrsgeschehens Interessenregionen nicht immer nur durch Vordergrundobjekte bestimmt. Vielmehr kann beispielsweise auch ein bestimmter leerer oder freier Raumbereich eine Interessenregion sein, beispielsweise ein freier oder leerer Abschnitt eines angrenzenden Fahrstreifens für ein Manöver, das einen Fahrstreifenwechsel umfasst. Derartige Interessenregionen werden typischerweise nicht von einem auf automatischer Objekterkennung basierenden Modell erkannt. Daher können manuell gekennzeichnete oder annotierte Interessenregionen die Fahrzeugumgebungen oder Situationen, also die Umgebungsdaten besser oder vollständiger beschreiben und daher zu einer verbesserten Basis- oder Referenzwahrheit, also verlässlicheren Trainingsdaten führen. Durch manuelle Annotierung der Umgebungsdaten mit den Interessenregionen können also sowohl die Herausforderung von durch freie Räume gebildeten Interessenregionen als auch die Blickrichtungsabhängigkeit der Interessenregionen adressiert oder gelöst werden.As already indicated, in the context of the procedure or traffic events, regions of interest are not always determined only by foreground objects. Rather, for example, a specific empty or free spatial area can also be a region of interest, for example a free or empty section of an adjacent lane for a maneuver that includes a lane change. Such regions of interest are typically not recognized by a model based on automatic object recognition. Therefore, manually marked or annotated regions of interest can describe the vehicle surroundings or situations, i.e. the surroundings data, better or more completely and therefore lead to an improved base or reference truth, i.e. more reliable training data. By manually annotating the environmental data with the regions of interest, both the challenge of regions of interest formed by free spaces and the dependence of the regions of interest on the viewing direction can be addressed or solved.

Dementsprechend werden in einem Verfahrensschritt S3 Trainingsdaten bereitgestellt, die Fahrzeugumgebungen in unterschiedlichen Blickwinkelbereichen 18 abbilden. Diese Trainingsdaten können bevorzugt zumindest teilweise manuell annotiert sein.Accordingly, in a method step S3, training data are provided that depict vehicle surroundings in different viewing angle ranges 18 . This training data can preferably be annotated manually, at least in part.

Beispielsweise können automatisch Pseudo-Label durch ein Modell generiert werden, das mit einem manuell annotierten Datensatz trainiert oder getuned wurde. Anstatt dann aber im Folgenden diese Pseudo-Label zu verwenden, können diese manuell überarbeitet oder korrigiert werden, um auf besonders effiziente Weise eine besonders genaue und verlässliche Basis- oder Referenzwahrheit, also entsprechend genauer und zuverlässig annotierte Trainingsdaten zu generieren.For example, pseudo-labels can be automatically generated by a model that has been trained or tuned with a manually annotated data set. However, instead of using these pseudo-labels in the following, they can be manually revised or corrected in order to generate a particularly accurate and reliable base or reference truth, i.e. training data that is correspondingly more precisely and reliably annotated, in a particularly efficient manner.

Vorliegend können dafür Umgebungsdaten für unterschiedliche Blickwinkelbereiche 18 beispielsweise künstlich erzeugt werden. Dafür können entsprechende Multi-Blickwinkel-Umgebungsdaten für verschiedene Fahrsituationen in einer entsprechenden Simulation, beispielsweise mittels des CARLA Simulators, generiert und erfasst werden. Diese Umgebungsdaten können ebenso - zumindest initial - ohne automatisch generierte Annotationen oder Vorschläge rein manuell annotiert werden, um ein Bias zu vermeiden. Der Einfachheit halber können beispielsweise runde, also kreisförmige oder scheibenförmige, Markierungen als Annotationen oder Label für die Interessenregionen verwendet werden.In the present case, environmental data for different viewing angle areas 18 can be artificially generated for this purpose, for example. For this purpose, corresponding multi-perspective environmental data for different driving situations can be generated and recorded in a corresponding simulation, for example using the CARLA simulator. This environmental data can also - at least initially - be annotated purely manually without automatically generated annotations or suggestions in order to avoid bias. For the sake of simplicity, for example, round, ie circular or disk-shaped, markings can be used as annotations or labels for the regions of interest.

Da ein späteres Modell typischerweise nicht im Vorhinein wissen wird, welches Fahrmanöver als nächstes ausgeführt werden wird, kann es sicherer sein, mehr Interessenregionen vorherzusagen oder zu kennzeichnen als minimal nötig anstatt eine tatsächliche Interessenregionen in fehlerhafter Weise nicht zu kennzeichnen. Daher können vorliegend alle Interessenregionen als solche gekennzeichnet werden, die für eine oder mehrere Fahrsituationen, Verkehrsszenarien oder Fahrmanöver in der jeweiligen Fahrzeugumgebung benötigt werden oder relevant sind.Because a later model will typically not know in advance what maneuver will be performed next, it may be safer to predict or designate more regions of interest than are minimally necessary, rather than erroneously not designating an actual region of interest. Therefore, in the present case, all regions of interest can be identified as those that are required or relevant for one or more driving situations, traffic scenarios or driving maneuvers in the respective vehicle environment.

Ausgehend von den im Verfahrensschritt S3 bereitgestellten Trainingsdaten können die richtungsspezifischen Modelle 34 auf unterschiedliche Arten und Weisen aus dem Ausgangsmodell generiert werden. In dem Ablaufplan 42 sind dafür zwei mögliche Varianten durch parallele Zweige repräsentiert.Based on the training data provided in method step S3, the direction-specific models 34 can be generated from the starting model in different ways. In the flowchart 42, two possible variants are represented by parallel branches.

Für die erste Variante wird in einem Verfahrensschritt S4a das Ausgangsmodell zunächst mit den im Verfahrensschritt S3 bereitgestellten Trainingsdaten für mehrere unterschiedliche Blickwinkelbereiche 18 nachtrainiert, also getuned oder feingetuned. Hier kann also beispielsweise das BDD-A Modell als Basis verwendet und dann angepasst werden mit manuell annotierten Umgebungsdaten für unterschiedliche Blickwinkelbereiche 18.For the first variant, in a method step S4a, the initial model is initially post-trained with the training data provided in method step S3 for a number of different viewing angle areas 18, that is to say tuned or fine-tuned. Here, for example, the BDD-A model can be used as a basis and then adapted with manually annotated environmental data for different viewing angles 18.

Für eine Testanwendung wurden als Umgebungs- bzw. Trainingsdaten beispielhaft zehn Fahrsequenzen verwendet, die unterschiedliche Verkehrssituationen abbilden. Jede dieser Fahrersequenzen wurde dabei mit sechs unterschiedlichen Kamerasichtfeldern mit einer Bildfrequenz von 10 Hz aufgenommen. Die sechs Kamerasichtfelder können dabei beispielsweise den Vorwärtsblickwinkelbereich 22 und den Rückwärtsblickwinkelbereich 24 mit jeweils drei Teilbereichen abbilden oder abdecken, also bilden. Für die Testanwendung wurden neun der Fahrsequenzen für das Nachtrainieren des Ausgangsmodells und eine Fahrsequenz zum Testen verwendet. Das im Verfahrensschritt S4a erzeugte nachtrainierte Ausgangsmodell kann beispielsweise als Rol-Single bezeichnet werden. Dieses Modell Rol-Single ist also mit verlässlichen Trainingsdaten getuned, berücksichtigt aber noch nicht unterschiedliche Arten, Strukturen oder Eigenschaften von Interessenregionen in den unterschiedlichen Blickwinkelbereichen 18, beispielsweise dem Vorwärtsblickwinkelbereich 22 im Gegensatz zu dem Rückwärtsblickwinkelbereich 24. Der Rückwärtsblickwinkelbereich 24 kann - zumindest bei einer Fahrt des Kraftfahrzeugs 10 in der Vorwärtsrichtung 20 - typischerweise weniger Interessenregionen enthalten als der Vorwärtsblickwinkelbereich 22. Dies kann gerade in urbanen Umgebungen beispielsweise daran liegen, dass Lichtsignalanlagen in dem Vorwärtsblickwinkelbereich 22 eine relevante Rol darstellen, in dem Rückwärtsblickwinkelbereich 24 jedoch nicht mehr relevant oder von Interesse sind, da das Kraftfahrzeug 10 dort auftauchende oder abgebildete Lichtsignalanlagen bereits passiert hat.For a test application, ten driving sequences that depict different traffic situations were used as environment or training data. Each of these driver sequences was recorded with six different camera fields of view with an image frequency of 10 Hz. The six camera fields of view can, for example, map or cover, ie form, the forward viewing angle area 22 and the rear viewing angle area 24 each with three partial areas. For the test application, nine of the driving sequences were used to retrain the initial model and one driving sequence was used for testing. The post-trained initial model generated in method step S4a can be referred to as a rol-single, for example. This model Rol-Single is thus tuned with reliable training data, but does not yet take into account different types, structures or properties of regions of interest in the different viewing angle areas 18, for example the forward viewing angle area 22 in contrast to the rearward viewing angle area 24. The rearward viewing angle area 24 can - at least during a journey of the motor vehicle 10 in the forward direction 20 - typically contain fewer regions of interest than the forward viewing angle area 22. This can be due, for example, to the fact that traffic lights in the forward viewing angle area 22 represent a relevant role in the forward viewing angle area 24, but are no longer relevant or of interest in the rear viewing angle area 24 , since the motor vehicle 10 has already passed traffic signals that appear or are shown there.

Daher werden in einem Verfahrensschritt S5a die bereitgestellten Trainingsdaten nach Blickwinkeln oder Blickwinkelbereichen 18 sortiert oder aufgeteilt. Es werden aus den bereitgestellten Trainingsdaten, die Fahrzeugumgebungen aus oder in mehreren Blickrichtungen oder Blickwinkelbereichen 18 abbilden, also mehrere richtungsspezifische Trainingsdatensätze erzeugt, die jeweils nur Trainingsdaten für einen einzigen Blickwinkelbereich 18 enthalten.Therefore, in a method step S5a, the training data provided is sorted or divided according to viewing angles or viewing angle ranges 18 . It will be from the provided Trai ning data that depicts vehicle surroundings from or in a plurality of viewing directions or viewing angle ranges 18, that is to say a plurality of direction-specific training data records are generated, each of which only contains training data for a single viewing angle range 18.

In einem Verfahrensschritt S6a werden dann mehrere Instanzen des im Verfahrensschritt S4a erzeugten nachtrainierten Ausgangsmodells mit jeweils einem dieser richtungsspezifischen Trainingsdatensätze nachtrainiert, um die richtungsspezifischen Modelle 34 zu erzeugen. Beispielsweise können also die in den Vorwärtsblickwinkelbereich 22 abbildenden richtungsspezifischen Trainingsdaten verwendet werden, um aus dem nachtrainierten Ausgangsmodell das Vorwärtsmodell 36 zu erzeugen. Ebenso können die richtungsspezifischen Trainingsdaten für den Rückwärtsblickwinkelbereich 24 als Trainings- oder Feintuning-Daten zum Erzeugen des Rückwärtsmodell 38 aus dem nachtrainierten Ausgangsmodell verwendet werden.In a method step S6a, a number of instances of the post-trained initial model generated in method step S4a are then post-trained, each with one of these direction-specific training data sets, in order to generate the direction-specific models 34. For example, the direction-specific training data imaging in the forward viewing angle range 22 can thus be used to generate the forward model 36 from the post-trained initial model. Likewise, the direction-specific training data for the backward viewing angle range 24 can be used as training or fine-tuning data for generating the backward model 38 from the post-trained starting model.

In der anderen Variante des Verfahrens werden in einem Verfahrensschritt S4b aus den im Verfahrensschritt S3 bereitgestellten Trainingsdaten mehrere Trainingsdatensätze mit unterschiedlichen Übergewichtungen jeweils eines Blickwinkelbereichs 18 erzeugt. Diese für einen Blickwinkelbereich 18 übergewichteten Trainingsdatensätze enthalten dabei aber weiterhin Trainingsdaten für mehrere oder alle unterschiedliche Blickwinkelbereiche 18.In the other variant of the method, in a method step S4b, a plurality of training data records with different overweightings of a respective viewing angle range 18 are generated from the training data provided in method step S3. However, these training data sets, which are overweighted for a viewing angle range 18, still contain training data for several or all different viewing angle ranges 18.

In einem Verfahrensschritt S5b werden mehrere Instanzen des im Verfahrensschritt S2 bereitgestellten Ausgangsmodells mit jeweils einem der für einen der Blickwinkelbereiche 18 übergewichteten Trainingsdatensätze nachtrainiert oder getuned, um auf diese Weise die richtungsspezifischen Modelle 34 zu erzeugen. Die in dieser Variante erzeugten richtungsspezifischen Modelle 34 sind also mit allen Trainingsdaten trainiert, jedoch mit unterschiedlichen Gewichtungen der verschiedenen Blickwinkelbereiche 18. Beispielsweise können beim Erzeugen des Vorwärtsmodell 36 solche Teile oder Bilder der Trainingsdaten, die den Vorwärtsblickwinkelbereich 22 abbilden, häufiger, beispielsweise zweimal so häufig, als Trainingsdaten verwendet werden wie solche Teile oder Bilder der Trainingsdaten, die den Rückwärtsblickwinkelbereich 24 abbilden. Entsprechendes gilt für die übrigen richtungsspezifischen Modelle 34 und die entsprechenden anderen Blickwinkelbereiche 18.In a method step S5b, multiple instances of the initial model provided in method step S2 are each retrained or tuned with one of the training data sets overweighted for one of the viewing angle regions 18 in order to generate the direction-specific models 34 in this way. The direction-specific models 34 generated in this variant are therefore trained with all training data, but with different weightings of the different viewing angle areas 18. For example, when generating the forward model 36, such parts or images of the training data that map the forward viewing angle area 22 more frequently, for example twice as often , are used as training data such as those parts or images of the training data that map the rear view angle area 24 . The same applies to the other direction-specific models 34 and the corresponding other viewing angle areas 18.

Unabhängig davon wie die richtungsspezifischen Modelle 34 erzeugt wurden, können diese dann aus jeweiligen richtungsspezifischen Umgebungsdaten, die also jeweils den entsprechenden der Blickwinkelbereiche 18 abbilden, Interessenregionen vorhersagen. Experimentell hat sich gezeigt, dass in der beschriebenen Weise erzeugte richtungsspezifische Modelle 34 eine um beispielsweise bis zu 4,9% gegenüber dem Standard-BDD-A Modell verbesserte Genauigkeit beim Identifizieren von Interessenregionen erreichen können. Die so erzeugten Rol-Vorhersagen können auch zum Erzeugen von Annotationen oder Labels neuer Umgebungsdaten verwendet werden, um die Erzeugung neuer Trainingsdaten zu beschleunigen.Irrespective of how the direction-specific models 34 were generated, they can then predict regions of interest from the respective direction-specific surroundings data, which therefore each depict the corresponding viewing angle areas 18 . It has been shown experimentally that direction-specific models 34 generated in the manner described can achieve an improved accuracy of, for example, up to 4.9% compared to the standard BDD-A model when identifying regions of interest. The rol predictions generated in this way can also be used to generate annotations or labels of new environment data in order to speed up the generation of new training data.

Die erzeugten mehreren richtungsspezifischen Modelle 34 können dann in dem Datenspeicher 32 abgelegt werden, um die Assistenzeinrichtung 14 zu erzeugen.The several direction-specific models 34 that are generated can then be stored in the data memory 32 in order to generate the assistance device 14 .

Insgesamt zeigen die beschriebenen Beispiele wie eine Multi-View Rol-Vorhersage unter Verwendung eines halb-beaufsichtigten Annotierungssystems (englisch: semi-supervised annotation framework) beispielsweise als Basis für autonome Fahrfunktionen realisiert werden kann.Overall, the examples described show how a multi-view roll prediction can be implemented using a semi-supervised annotation framework, for example as a basis for autonomous driving functions.

BezugszeichenlisteReference List

1010: Kraftfahrzeugmotor vehicle
1212: Umgebungssensorikenvironmental sensors
1414: Assistenzeinrichtungassistance facility
1616: Bordnetzelectrical system
1818: Blickwinkelbereicheviewing angle ranges
2020: Vorwärtsrichtungforward direction
2222: Vorwärtsblickwinkelbereichforward viewing angle range
2424: Rückwärtsblickwinkelbereichrear viewing angle range
2626: Seitenblickwinkelbereichside viewing angle range
2828: Datenschnittstelledata interface
3030: Prozessorprocessor
3232: Datenspeicherdata storage
3434: richtungsspezifische Modelledirection-specific models
3636: Vorwärtsmodellforward model
3838: Rückwärtsmodellreverse model
4040: Seitenmodellpage model
4242: Ablaufplanschedule
S1 - S7S1 - S7: Verfahrensschritteprocess steps

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102017120112 A1 [0003]

Claims

Method (42) for providing a device (14) for determining regions of interest for an automated vehicle function of a motor vehicle (10) in environmental data which depict a vehicle environment, wherein - an initial model trained to determine such regions of interest is provided, - Training data are provided which depict vehicle surroundings in relation to a vehicle direction (20) in different viewing angle areas (18), - Several direction-specific models (34) are generated from the initial model for a different one of the different viewing angle areas (18), in that the initial model is retrained prioritizing those of the training data provided, which depict the vehicle surroundings in a specific viewing angle area (18), and - The multiple direction-specific models (34) generated in this way are provided as parts (34, 36, 38, 40) of the device (14).

Method (42) according to claim 1 , characterized in that a forward viewing angle area (22) directed forward in relation to a vehicle longitudinal direction (20) and a rearward viewing angle area (24) directed rearward in relation to the vehicle longitudinal direction (20) are used as different viewing angle areas (18).

Method (42) according to one of the preceding claims, characterized in that a combination of lateral viewing angle areas (26) directed to the left and to the right in relation to a longitudinal direction (20) of the vehicle is used as one of the different viewing angle areas (18).

Method (42) according to one of the preceding claims, characterized in that the different viewing angle areas (18) have an overlap of at most 20% or at most 20°, preferably without overlapping.

Method (42) according to one of the preceding claims, characterized in that - the initial model provided is trained by means of initial training data which depict the vehicle surroundings in relation to the vehicle direction (20) in only one viewing angle area (18), - the initial model initially with the training data provided, which depict the vehicle surroundings in different viewing angle areas (18), is post-trained, and then - the initial model retrained in this way for the multiple viewing angle areas (18) for generating the multiple direction-specific models, each again with a respective selection of the training data, which shows the vehicle surroundings in only one of the depicts different perspectives (18), is retrained.

Method (42) according to any one of Claims 1 until 4 characterized in that - the initial model provided is trained using initial training data which depict the vehicle surroundings in relation to the vehicle direction (20) in only one viewing angle area (18), and - the initial model for generating the plurality of direction-specific models (34) is in each case post-trained with post-training data, comprising at least essentially all of the training data provided, but having a predetermined overweighting of training data for one of the different viewing angle areas (18), preferably at least a two-fold overweighting.

Method (42) according to one of the preceding claims, characterized in that the training data provided and/or the initial training data used to generate the initial model are generated by using environmental data for automatic object recognition and recognition of regions of attention that are preferably viewed by at least one human observer in order to define Annotations identifying regions of interest are applied.

Method (42) according to one of the preceding claims, characterized in that as the training data provided, environmental data manually annotated with regions of interest are used, in which all regions of interest relevant to at least one of a plurality of possible driving maneuvers possible for the respective vehicle in the respective mapped vehicle environment are identified .

Method (42) according to one of the preceding claims, characterized in that the initial model provided comprises at least one LSTM module and is trained with sequences of initial training data which have an overweighting of safety-critical driving situations.

Assistance device (14) for a motor vehicle (10) for identifying regions of interest in environmental data, the assistance device (14) being generated using a method (42) according to one of the preceding claims.