DE102021100054A1

DE102021100054A1 - Method for determining an event in an area surrounding a motor vehicle using an assistance system, and assistance system

Info

Publication number: DE102021100054A1
Application number: DE102021100054.8A
Authority: DE
Inventors: Senthil Kumar Yogamani; Arindam Das; Sankaralingam Madasamy
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2021-01-05
Filing date: 2021-01-05
Publication date: 2022-07-07

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Ereignisses (3) in einer Umgebung (4) eines Kraftfahrzeugs (1) mittels eines Assistenzsystems (2), mit den Schritten:- Erfassen eines Bilds (6) der Umgebung (4) mittels einer Erfassungseinrichtung (5) des Assistenzsystems (2);- Auswerten des Bilds (6) mittels eines Ereignisdetektormoduls (8) des Assistenzsystems (2) und Detektieren (9) eines Ereignisses (3) im Bild (6) mittels des Ereignisdetektormoduls (8);- Analysieren des Bilds (6) mittels eines Ereignisanalysiermoduls (10) des Assistenzsystems (2) bei einem erfassten Ereignis (3) und Bestimmen von zumindest einem potentiellen für das Ereignis (3) repräsentatives Objekt (11) mittels des Ereignisanalysiermodul (10);- Bestimmen eines klassifizierten Ereignisses (12) mittels eines Ereignisklassifiziermoduls (13) des Assistenzsystems (2) in Abhängigkeit von dem detektierten repräsentativen Objekt (11) oder Bestimmen eines nichtklassifizierten Ereignisses (14) mittels des Ereignisklassifiziermoduls (13).Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem (2).The invention relates to a method for determining an event (3) in an environment (4) of a motor vehicle (1) using an assistance system (2), with the steps:- acquiring an image (6) of the environment (4) using an acquisition device ( 5) of the assistance system (2);- evaluating the image (6) using an event detector module (8) of the assistance system (2) and detecting (9) an event (3) in the image (6) using the event detector module (8);- analyzing of the image (6) by means of an event analysis module (10) of the assistance system (2) when an event (3) is detected and determination of at least one potential for the event (3) representative object (11) by means of the event analysis module (10); - determination of a classified event (12) by means of an event classification module (13) of the assistance system (2) depending on the detected representative object (11) or determining a non-classified event (14) by means of the event k classification module (13). The invention also relates to a computer program product, a computer-readable storage medium and an assistance system (2).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Ereignisses in einer Umgebung eines Kraftfahrzeugs mittels eines Assistenzsystems des Kraftfahrzeugs. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem.The invention relates to a method for determining an event in the surroundings of a motor vehicle using an assistance system of the motor vehicle. Furthermore, the invention relates to a computer program product, a computer-readable storage medium and an assistance system.

Aus dem Kraftfahrzeugbau sind bereits Assistenzsysteme bekannt, welche zur Erfassung der Umgebung ausgebildet sind. Hierzu können diese beispielsweise eine Kamera aufweisen und entsprechend Bilder von der Umgebung aufnehmen, und es kann dann über diverse Algorithmen eine Auswertung des Bilds durchgeführt werden. Insbesondere für den zumindest teilweise autonomen Betrieb, insbesondere für den vollautonomen Betrieb des Kraftfahrzeugs, ist eine zuverlässige und genaue Auswertung der Umgebung notwendig.Assistance systems that are designed to detect the environment are already known from motor vehicle construction. For this purpose, they can have a camera, for example, and take corresponding pictures of the surroundings, and an evaluation of the picture can then be carried out using various algorithms. A reliable and precise evaluation of the environment is necessary in particular for the at least partially autonomous operation, in particular for the fully autonomous operation of the motor vehicle.

Insbesondere die Auswertung von sogenannten anormalen Straßenereignissen ist jedoch eine große Herausforderung in der Auswertung der Umgebung. Beispielsweise sind als anormale Ereignisse ein hohes Verkehrsaufkommen, Baustellen, Straßensperrungen oder dergleichen anzusehen. Ferner können auch Unfälle oder weitere Ereignisse in der Umgebung als anormal bezeichnet werden. Insbesondere hat dies den Hintergrund darin, dass diese Szenarien unstrukturiert und nicht definiert sind. Somit ist es für das Assistenzsystem beziehungsweise ein neuronales Netzwerk innerhalb des Assistenzsystems schwierig, dieses auf solche Szenarien zu trainieren, insbesondere bei einem sogenannten überwachten Lernen.In particular, however, the evaluation of so-called abnormal road events is a major challenge in evaluating the environment. For example, a high volume of traffic, construction sites, road closures or the like are to be regarded as abnormal events. Furthermore, accidents or other events in the environment can also be designated as abnormal. In particular, this is because these scenarios are unstructured and undefined. It is therefore difficult for the assistance system or a neural network within the assistance system to train it for such scenarios, particularly in the case of so-called supervised learning.

Das Dokument US 2017 242 436 A1 beschreibt ein System und ein Verfahren zur Steuerung eines Fahrzeugs. In einer Ausführungsform umfasst das Verfahren zur Erfassung von Straßenbauarbeiten das Empfangen von Sensordaten, die sich auf eine mit einem Fahrzeug verbundene Umgebung beziehen, das Bestimmen, dass sich innerhalb der Umgebung konstruktionsbedingte Objekte auf der Grundlage der Sensordaten befinden und das Bestimmen, ob sich innerhalb der Umgebung eine reisebeeinflussende Bauzone befindet, auf der Grundlage der Anwesenheit der konstruktionsbedingten Objekte in der Umgebung.The document U.S. 2017 242 436 A1 describes a system and method for controlling a vehicle. In one embodiment, the roadworks detection method includes receiving sensor data relating to an environment associated with a vehicle, determining that there are construction objects within the environment based on the sensor data, and determining whether there are within the There is a travel-affecting construction zone in the vicinity, based on the presence of construction-related objects in the vicinity.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem zu schaffen, mittels welchen eine zuverlässige Erfassung eines anormalen Ereignisses in der Umgebung realisiert werden kann.The object of the present invention is to create a method, a computer program product, a computer-readable storage medium and an assistance system, by means of which an abnormal event in the environment can be reliably detected.

Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie durch ein Assistenzsystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.This object is achieved by a method, a computer program product, a computer-readable storage medium and an assistance system according to the independent patent claims. Advantageous embodiments are specified in the dependent claims.

Ein Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen eines Ereignisses in einer Umgebung eines Kraftfahrzeugs mittels eines Assistenzsystems des Kraftfahrzeugs. Es wird ein Bild der Umgebung mittels einer Erfassungseinrichtung des Assistenzsystems erfasst. Es erfolgt ein Auswerten des Bilds mittels eines Ereignisdetektormoduls des Assistenzsystems, und es erfolgt ein Detektieren eines Ereignisses im Bild mittels des Ereignisdetektormoduls in Abhängigkeit von zumindest einem das Ereignis charakterisierenden Kriterium. Das Bild wird mittels eines Ereignisanalysiermoduls des Assistenzsystems analysiert, wobei dies lediglich bei einem erfassten Ereignis durchgeführt wird, und es erfolgt ein Bestimmen von zumindest einem potentiellen für das Ereignis repräsentativen Objekt mittels des Ereignisanalysiermoduls. Es wird ein klassifiziertes Ereignis mittels eines Ereignisklassifiziermoduls des Assistenzsystems in Abhängigkeit von dem bestimmten repräsentativen Objekts bestimmt, oder es erfolgt ein Bestimmen eines nichtklassifizierten Ereignisses bei keiner Bestimmung eines repräsentativen Objekts mittels des Ereignisklassifiziermoduls.One aspect of the invention relates to a method for determining an event in the surroundings of a motor vehicle using an assistance system of the motor vehicle. An image of the surroundings is captured by a capture device of the assistance system. The image is evaluated by an event detector module of the assistance system, and an event in the image is detected by the event detector module as a function of at least one criterion characterizing the event. The image is analyzed using an event analysis module of the assistance system, this only being carried out when an event is detected, and at least one potential object representative of the event is determined using the event analysis module. A classified event is determined using an event classification module of the assistance system as a function of the specific representative object, or a non-classified event is determined when no representative object is determined using the event classification module.

Insbesondere kann somit zuverlässig ein anormales Ereignis in der Umgebung bestimmt werden. Unter einem anormalen Ereignis kann beispielsweise eine Baustelle, eine Straßensperre, eine hohes Verkehrsaufkommen oder ein Unfall angesehen werden. Insbesondere können somit solche Ereignisse, welche nicht vortrainiert werden können, da diese viele undefinierte Merkmale aufweisen, ebenfalls zuverlässig bestimmt werden. Auf Basis des bestimmten Ereignisses, welches sowohl vortrainiert sein kann als auch nicht vortrainiert sein kann, kann dann festgestellt werden, dass es sich in der jetzigen Situation um eine anormale Situation handelt. Dies wiederum kann dazu genutzt werden, um beispielsweise dem Assistenzsystem beziehungsweise einem Nutzer des Kraftfahrzeugs eine Warnnachricht auszugeben. Sollte beispielsweise das Kraftfahrzeug in einem zumindest teilweise autonomen Betrieb sein, so kann der Fahrer des Kraftfahrzeugs aufgefordert werden, die Steuerung des Kraftfahrzeugs bei Erkennen des Ereignisses zu übernehmen.In particular, an abnormal event in the area can thus be reliably determined. An abnormal event can be considered to be, for example, a construction site, a roadblock, heavy traffic or an accident. In particular, such events that cannot be pre-trained because they have many undefined features can also be reliably determined. On the basis of the specific event, which can both be pre-trained and not pre-trained, it can then be determined that the current situation is an abnormal situation. This in turn can be used, for example, to issue a warning message to the assistance system or to a user of the motor vehicle. If, for example, the motor vehicle is in at least partially autonomous operation, the driver of the motor vehicle can be requested to take over control of the motor vehicle when the event is recognized.

Sollte also ein repräsentatives Objekt im Bild bestimmt beziehungsweise detektiert werden, so kann dies zur Klassifizierung des Ereignisses genutzt werden. Sollte beispielsweise kein repräsentatives Objekt erkannt werden, jedoch liegt das Ereignis vor, so kann von einem nichtklassifizierten Ereignis gesprochen werden. Es ist somit keine Bestimmung eines repräsentativen Objekts notwendig, um dennoch ein nichtklassifiziertes Ereignis bestimmen zu können.If a representative object is determined or detected in the image, this can be used to classify the event. If, for example, no representative object is detected, but the event is present, one can speak of a non-classified event. So it isn't Determination of a representative object is necessary in order to still be able to determine a non-classified event.

Es können auch beispielsweise ein oder mehrere repräsentative Objekte detektiert wird und auf Basis dessen eine Klassifizierung des Ereignisses durchgeführt werden. Ferner kann auch bei einem oder mehreren detektierten repräsentativen Objekten es vorkommen, dass eine Klassifizierung des Ereignisses nicht durchgeführt werden kann, da beispielsweise die unterschiedlichen detektierten repräsentativen Objekte nicht zu einem gemeinsamen Ereignis korreliert werden können, und somit ein nichtklassifiziertes Ereignis ausgegeben wird.One or more representative objects can also be detected, for example, and on the basis of this a classification of the event can be carried out. Furthermore, with one or more detected representative objects, it can also happen that the event cannot be classified because, for example, the different detected representative objects cannot be correlated to form a common event, and a non-classified event is therefore output.

Insbesondere weist somit das vorliegende Assistenzsystem drei Module auf, welche zum Detektieren, Analysieren und Klassifizieren des Ereignisses auf der Straße ausgebildet sind. Das Assistenzsystem kann dabei sowohl für nicht erkannten und ungelernten anormalen Ereignissen als auch bereits angelernten und erkannten Ereignissen genutzt werden. Insbesondere kann somit eine intuitive Erkennung dieser anormalen Ereignisse durchgeführt werden, welche vorher nicht definiert sein können.In particular, the present assistance system thus has three modules which are designed to detect, analyze and classify the event on the road. The assistance system can be used both for unrecognized and unlearned abnormal events as well as for already learned and recognized events. In particular, an intuitive recognition of these abnormal events can thus be carried out, which cannot be previously defined.

Insbesondere handelt es sich bei dem vorliegenden Assistenzsystem um ein pseudo halbüberwachtes Lernen, um das Detektieren beziehungsweise Bestimmen von anormalen Straßenereignissen durchzuführen. Dies kann sowohl angelernt als auch unangelernt durchgeführt werden. Insbesondere ist somit das pseudo halbüberwachte Assistenzsystem vorgeschlagen, dass die Anwesenheit eines anormalen Straßenereignisses in Abhängigkeit des erfassten Bilds bestimmen kann. Das Assistenzsystem muss dabei nicht über alle Ereignisse bereits vorangelernt sein, um dennoch zuverlässig ein anormales Ereignis bestimmen zu können.In particular, the present assistance system is a pseudo semi-supervised learning in order to detect or determine abnormal road events. This can be done both trained and unskilled. In particular, the pseudo semi-monitored assistance system is thus proposed that can determine the presence of an abnormal road event depending on the captured image. The assistance system does not have to be pre-taught about all events in order to be able to reliably determine an abnormal event.

Gemäß einer vorteilhaften Ausgestaltungsform wird mittels eines linearen künstlichen neuronalen Netzwerks des Ereignisdetektormoduls das Ereignis im Bild detektiert. Insbesondere handelt es sich bei dem linearen künstlichen neuronalen Netzwerk um ein sogenanntes „Linear Artificial Neural Network“ (ANN). Bei dem Ereignisdetektormodul wird insbesondere das Eingangsbild, welches insbesondere das anormale Ereignis aufweist, ausgewertet. Das lineare künstliche neuronale Netzwerk hat eine bestimmte Anzahl von Eingangsknoten. Die Anzahl der Eingangsknoten hängt von den Merkmalen ab, die in das Netzwerk eingegeben werden, um die unterschiedlichen anormalen Ereignisse unterscheiden zu können. Die Merkmale sind insbesondere Deskriptoren, wie zum Beispiel SIFT, SURF, Hough-Transformation oder lokale Binärmuster. Insbesondere bilden diese Deskriptoren die einzigartigen Merkmale ab, welche spezifische Fälle aufweisen. Das lineare künstliche neuronale Netzwerk kann dabei eine oder mehrere versteckte Schichten und einige hundert bis tausend Neuronen aufweisen. Diese Anzahl ist insbesondere von der Komplexität des Problems abhängig, so dass beispielsweise einer signifikanten höheren Anzahl von anormalen Ereignissen für das Training darum eine höhere Anzahl von versteckten Schichten und Neuronen benötigt wird. Das Ausgangssignal des linearen künstlichen neuronalen Netzwerks ist insbesondere binär und sagt aus, ob ein Ereignis detektiert wurde oder nicht. Bei einer positiven Detektion wird dann wiederum das Ereignisanalysiermodul hinzugeschaltet.According to an advantageous embodiment, the event in the image is detected by means of a linear artificial neural network of the event detector module. In particular, the linear artificial neural network is a so-called “Linear Artificial Neural Network” (ANN). In the case of the event detector module, in particular the input image, which in particular has the abnormal event, is evaluated. The linear artificial neural network has a certain number of input nodes. The number of input nodes depends on the characteristics that are input into the network to be able to distinguish the different abnormal events. The features are in particular descriptors such as SIFT, SURF, Hough transform or local binary patterns. In particular, these descriptors map the unique characteristics that specific cases exhibit. The linear artificial neural network can have one or more hidden layers and a few hundred to a thousand neurons. This number depends in particular on the complexity of the problem, so that, for example, a significantly higher number of abnormal events requires a higher number of hidden layers and neurons for training. In particular, the output signal of the linear artificial neural network is binary and states whether an event was detected or not. In the event of a positive detection, the event analysis module is then switched on again.

Insbesondere wird in einer vorteilhaften Ausgestaltungsform zum Detektieren des Ereignisses das erfasste Bild mit vorgegebenen Bildern mittels des Ereignisdetektormoduls verglichen. Insbesondere handelt es sich bei dem Ereignisdetektormodul um ein neuronales Netzwerk, welches auf Basis der vorgegebenen Bilder trainiert wurde. Beispielsweise können normale Straßenumgebungen als vorgegebene Bilder vorgegeben werden, und dann können wiederum diese normalen Straßenumgebungen mit dem aktuellen Bild verglichen werden. Sollte beispielsweise festgestellt werden, dass eine Abweichung vorliegt, so kann das anormale Ereignis detektiert werden. Insbesondere handelt es sich somit bei diesem Vergleich um das charakterisierende Kriterium. Beispielsweise kann eine Vielzahl von unterschiedlichen Brückenbildern als vorgegebene Bilder vorgegeben werden. Sollte dann beispielsweise ein Brückeneinsturz im erfassten Bild detektiert werden, so kann die eingestürzte Brücke mit den vorgegebenen Brücken verglichen werden und auf Basis dessen das anormale Ereignis detektiert werden, da ein Bild einer eingestürzten Brücke nur wenig Gemeinsamkeiten mit einem Bild einer nicht eingestürzten Brücke aufweist. Insbesondere ist somit als charakterisierendes Kriterium anzusehen, dass ein Unterschied zwischen dem erfassten Bild und den vorgegebenen Bildern, insbesondere ein signifikanter Unterschied zwischen dem erfassten Bild und den vorgegebenen Bildern, zu verzeichnen ist.In particular, in an advantageous embodiment for detecting the event, the recorded image is compared with predefined images by means of the event detector module. In particular, the event detector module is a neural network that has been trained on the basis of the specified images. For example, normal street environments can be given as default images, and then in turn these normal street environments can be compared to the current image. If, for example, it is determined that there is a deviation, the abnormal event can be detected. In particular, this comparison is therefore the characterizing criterion. For example, a large number of different bridge images can be specified as predefined images. If, for example, a bridge collapse is then detected in the captured image, the collapsed bridge can be compared with the specified bridges and the abnormal event can be detected on the basis of this, since an image of a collapsed bridge has little in common with an image of a non-collapsed bridge. In particular, it is therefore to be regarded as a characterizing criterion that there is a difference between the captured image and the specified images, in particular a significant difference between the captured image and the specified images.

Ebenfalls vorteilhaft ist, wenn das erfasste Bild mittels eines Merkmalskodieremoduls kodiert wird und das kodiert Bild von dem Ereignisanalysiermodul analysiert wird. Bei dem Merkmalskodieremodul handelt es sich insbesondere um einen sogenannten Encoder, der insbesondere die Dimensionen des Merkmalsraums verkleinert, aber gleichzeitig die Anzahl der Merkmale vergrößert. Bei dem Merkmalskodieremodul kann es sich um beispielsweise ein VGG (Visual Geometry Group)-Netzwerk oder dergleichen handeln.It is also advantageous if the captured image is coded using a feature coding module and the coded image is analyzed by the event analysis module. The feature coding module is in particular a so-called encoder, which in particular reduces the dimensions of the feature space, but at the same time increases the number of features. The feature coding module can be, for example, a VGG (Visual Geometry Group) network or the like.

Ebenfalls vorteilhaft ist, wenn das kodierte Bild mittels eines Objektdetektors des Ereignisanalysiermoduls mit zumindest einem Regionenvorschlagsnetzwerks bezüglich zumindest eines Regionenvorschlags analysiert wird. Bei dem Regionenvorschlagsnetzwerk handelt es sich insbesondere um ein sogenanntes Region Proposal Network (RPN). Insbesondere werden die kodierten Merkmalskarten an den Objektdetektor gegeben, welcher beispielsweise einem schnellen RCNN (Fast Region Convolutional Network) entspricht, welches dann wiederum unterschiedliche Regionenvorschläge mittels des Regionenvorschlagsnetzwerks erzeugt.It is also advantageous if the coded image is analyzed with at least one region proposal network with respect to at least one region proposal by means of an object detector of the event analysis module. The region proposal network is in particular a so-called Region Proposal Network (RPN). In particular, the encoded feature maps are given to the object detector, which corresponds, for example, to a fast RCNN (Fast Region Convolutional Network), which in turn generates different region suggestions using the region suggestion network.

In einer weiteren vorteilhaften Ausgestaltungsform wird das kodierte Bild bezüglich vorgegebener Objekte mittels des Objektdetektors analysiert, und in Abhängigkeit davon wird das repräsentative Objekt bestimmt. Insbesondere kann der Objektdetektor auf Basis von vorgegebenen, insbesondere sogenannten trainierten Objekten, das kodierte Bild durchsuchen und dadurch das repräsentative Objekt innerhalb des Regionenvorschlags erfassen. Dies wiederum kann später dazu genutzt werden, um eine Klassifizierung des Ereignisses auf Basis des repräsentativen Objekts durchzuführen.In a further advantageous embodiment, the coded image is analyzed with regard to specified objects using the object detector, and the representative object is determined as a function of this. In particular, the object detector can search through the coded image on the basis of predefined, in particular so-called trained objects, and thereby detect the representative object within the suggested region. This in turn can later be used to classify the event based on the representative object.

Ferner hat es sich als vorteilhaft erwiesen, wenn das repräsentative Objekt auf Basis einer Begrenzungsrahmen-Regression in dem Regionenvorschlag bestimmt wird. Insbesondere handelt es sich bei der Begrenzungsrahmen -Regression um eine sogenannte Boundingbox Regression. Mit anderen Worten wird um das erkannte Objekt ein Begrenzungsrahmen gelegt, welcher dann wiederum entsprechend ausgewertet werden kann. Auf Basis des Begrenzungsrahmens kann dann wiederum die Auswertung durchgeführt werden und das repräsentative Objekt innerhalb des Begrenzungsrahmens identifiziert und klassifiziert werden. Auf Basis dieser Identifizierung und Klassifizierung wiederum kann eine Klassifizierung des Ereignisses durchgeführt werden.Furthermore, it has proven to be advantageous if the representative object is determined on the basis of a bounding box regression in the suggested region. In particular, the bounding box regression is a so-called bounding box regression. In other words, a bounding box is placed around the detected object, which in turn can then be evaluated accordingly. The evaluation can then in turn be carried out on the basis of the bounding box and the representative object can be identified and classified within the bounding box. On the basis of this identification and classification, the event can in turn be classified.

Weiterhin vorteilhaft ist, wenn der Regionenvorschlag mittels eines Global Average Pooling des Ereignisanalysiermoduls diskriminiert wird. Insbesondere sollten die Regionenvorschläge reich an Informationen sein. Hierbei ist ein „Selfattention“-Algorithmus vorgeschlagen, um das Ereignis des Regionenvorschlagnetzwerks zu diskriminieren. Insbesondere wird hierzu das Global Average Pooling (GAP) auf den Ausgang des Regionenvorschlagsnetzwerks angewendet und mit dem eindimensionalen Vektor multipliziert. Diese Regionenvorschläge, die mit dem Selfattention-Algorithmus versehen sind, werden wiederum an das Ereignisklassifiziermodul weitergereicht.It is also advantageous if the region proposal is discriminated using a global average pooling of the event analysis module. In particular, the regional proposals should be rich in information. Here, a "self-attention" algorithm is proposed to discriminate the event of the region suggestion network. In particular, the Global Average Pooling (GAP) is applied to the output of the region proposal network and multiplied by the one-dimensional vector. These region suggestions, which are provided with the self-attention algorithm, are in turn passed on to the event classification module.

Gemäß einer vorteilhaften Ausgestaltungsform wird aus dem Regionenvorschlag zumindest ein Deskriptor mittels des Ereignisklassifiziermoduls extrahiert. Insbesondere wird eine Vielzahl von unterschiedlichen Deskriptoren, wie beispielsweise SIFT- oder SURF-Deskriptoren oder andere unterscheidbare Merkmale innerhalb des Regionenvorschlags extrahiert. Diese Deskriptoren werden dann wiederum insbesondere in einem weiteren neuronalen Netzwerk innerhalb des Ereignisklassifiziermoduls weitergegeben.According to an advantageous embodiment, at least one descriptor is extracted from the suggested region by means of the event classification module. In particular, a large number of different descriptors such as SIFT or SURF descriptors or other distinguishable features are extracted within the proposed region. These descriptors are then in turn passed on in particular in a further neural network within the event classification module.

Ferner hat es sich als vorteilhaft erwiesen, wenn das Ereignisklassifiziermodul als lineares künstliches neuronales Netzwerk bereitgestellt wird. Insbesondere kann das Ereignisklassifiziermodul als lineares Artificial Neural Network (ANN) bereitgestellt werden. Hierbei ist die Anzahl der Eingangsknoten abhängig von der Anzahl der Merkmale, wobei bevorzugt wiederum die Anzahl der Ausgangsknoten gleich der Anzahl der Eingangsknoten des gesamten Assistenzsystems ist. Die Anzahl der versteckten Schichten und Neuronen kann in Abhängigkeit einer Größe des Eingangsmerkmalsraums ermittelt werden.Furthermore, it has proven to be advantageous if the event classification module is provided as a linear artificial neural network. In particular, the event classification module can be provided as a linear Artificial Neural Network (ANN). The number of input nodes depends on the number of features, with the number of output nodes preferably being equal to the number of input nodes of the entire assistance system. The number of hidden layers and neurons can be determined depending on a size of the input feature space.

Ebenfalls vorteilhaft, wenn nach dem Bestimmen eines klassifizierten Ereignisses oder eines unklassifizierten Ereignisses eine Warnnachricht für das Assistenzsystem erzeugt wird. Sollte beispielsweise ein klassifiziertes Ereignis vorliegen, kann sowohl die Warnnachricht als auch das Ergebnis der Klassifizierung ausgegeben werden. Sollte es sich lediglich um ein unklassifiziertes Ereignis handeln, so kann lediglich ausgegeben werden, dass ein Ereignis erkannt wurde, jedoch nicht klassifiziert werden konnte. Ebenfalls kann beispielsweise dann vorgesehen sein, dass bei einem beispielsweise teilweise autonomen Betrieb des Kraftfahrzeugs die Warnnachricht derart ausgegeben wird, dass ein Nutzer beziehungsweise Fahrer des Kraftfahrzeugs die Fahraufgabe im Anschluss daran übernehmen soll, da das Assistenzsystem das Ereignis nicht sicher klassifizieren konnte und dadurch beispielsweise die Fahraufgabe nicht in vollem Umfang durchführen kann.It is also advantageous if a warning message for the assistance system is generated after a classified event or an unclassified event has been determined. If, for example, there is a classified event, both the warning message and the result of the classification can be output. If it is only an unclassified event, it can only be output that an event was recognized but could not be classified. Provision can also be made, for example, for the warning message to be issued in the event of, for example, partially autonomous operation of the motor vehicle in such a way that a user or driver of the motor vehicle should then take over the driving task, since the assistance system was unable to reliably classify the event and thus, for example, driving task cannot be carried out to the full extent.

In einer weiteren vorteilhaften Ausgestaltungsform wird mittels einer halbüberwachten Lernmethode das Assistenzsystem zum Bestimmen des Ereignisses angelernt. Insbesondere handelt es sich dabei um eine pseudo halbüberwachte Lernmethode des Assistenzsystems. Mit anderen Worten können sowohl gelernte als auch ungelernte Ereignisse mittels des Assistenzsystems erkannt werden. Somit ist dies hochflexibel im Straßenverkehr einsetzbar.In a further advantageous embodiment, the assistance system for determining the event is trained using a semi-supervised learning method. In particular, this is a pseudo semi-supervised learning method of the assistance system. In other words, both learned and unlearned events can be recognized by the assistance system. This means that it can be used highly flexibly in road traffic.

Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Hierzu betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Bestimmen eines Ereignisses nach dem vorhergehenden Aspekt durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung abgearbeitet wird.The method presented is in particular a computer-implemented method. This relates to another aspect of Invention, a computer program product with program code means, which are stored in a computer-readable medium, to carry out the method for determining an event according to the preceding aspect, when the computer program product is processed on a processor of an electronic computing device.

Ein nochmals weiterer Aspekt der Erfindung betrifft ein computerlesbares Speichermedium mit einem Computerprogrammprodukt, insbesondere eine elektronische Recheneinrichtung mit einem Computerprogrammprodukt, nach dem vorhergehenden Aspekt.Yet another aspect of the invention relates to a computer-readable storage medium with a computer program product, in particular an electronic computing device with a computer program product, according to the preceding aspect.

Ein weiterer Aspekt der Erfindung betrifft ein Assistenzsystem für ein Kraftfahrzeug, mit zumindest einer Erfassungseinrichtung, einem Ereignisdetektormodul, einem Ereignisanalysiermodul und mit einem Ereignisklassifiziermodul, wobei das Assistenzsystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Assistenzsystems durchgeführt.A further aspect of the invention relates to an assistance system for a motor vehicle, having at least one detection device, an event detector module, an event analysis module and an event classification module, the assistance system being designed to carry out a method according to the preceding aspect. In particular, the method is carried out using the assistance system.

Unter Modul ist vorliegend insbesondere eine elektronische Recheneinrichtung zu verstehen, welche unterschiedliche Prozessoren und Schaltkreise, insbesondere integrierte Schaltkreise, und weitere elektronische Bauteile aufweisen kann, um beispielsweise Computerbefehle entsprechend auszuführen, um das Verfahren durchführen zu können.In the present case, a module is to be understood in particular as an electronic computing device which can have different processors and circuits, in particular integrated circuits, and other electronic components in order, for example, to execute computer commands accordingly in order to be able to carry out the method.

Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Assistenzsystem nach dem vorhergehenden Aspekt. Das Kraftfahrzeug ist insbesondere zumindest teilweise autonom, insbesondere vollautonom, ausgebildet.Yet another aspect of the invention relates to a motor vehicle with an assistance system according to the preceding aspect. In particular, the motor vehicle is at least partially autonomous, in particular fully autonomous.

Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts, des computerlesbaren Speichermediums, des Assistenzsystems sowie des Kraftfahrzeugs anzusehen. Das Assistenzsystem sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.Advantageous configurations of the method are to be regarded as advantageous configurations of the computer program product, the computer-readable storage medium, the assistance system and the motor vehicle. For this purpose, the assistance system and the motor vehicle have specific features which enable the method to be carried out or an advantageous embodiment thereof.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.Further features of the invention result from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and/or shown alone in the figures, can be used not only in the combination specified in each case, but also in other combinations, without going beyond the scope of the invention leaving. The invention is therefore also to be considered to include and disclose embodiments that are not explicitly shown and explained in the figures, but that result from the explained embodiments and can be generated by separate combinations of features. Versions and combinations of features are also to be regarded as disclosed which therefore do not have all the features of an originally formulated independent claim. Furthermore, embodiments and combinations of features, in particular through the embodiments presented above, are to be regarded as disclosed which go beyond or deviate from the combinations of features presented in the back references of the claims.

Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.The invention will now be explained in more detail using preferred exemplary embodiments and with reference to the accompanying drawings.

Dabei zeigen:

1 eine schematische Draufsicht auf eine Ausführungsform eines Kraftfahrzeugs mit einer Ausführungsform eines Assistenzsystems; und
2 ein schematisches Blockschaltbild einer Ausführungsform des Assistenzsystems.

show:

1 a schematic plan view of an embodiment of a motor vehicle with an embodiment of an assistance system; and
2 a schematic block diagram of an embodiment of the assistance system.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.Elements that are the same or have the same function are provided with the same reference symbols in the figures.

1 zeigt in einer schematischen Draufsicht eine Ausführungsform eines Kraftfahrzeugs 1 mit einer Ausführungsform eines Assistenzsystems 2. Das Assistenzsystem 2 ist zum Bestimmen eines Ereignisses 3 in einer Umgebung 4 des Kraftfahrzeugs 1 ausgebildet. Als Ereignis 3 sind vorliegend insbesondere sogenannte anormale Ereignisse 3 anzusehen. Bei den anormalen Ereignissen 3 handelt es sich beispielsweise um Ereignisse auf der Straße, auf welcher sich das Kraftfahrzeug 1 befindet, welche durch ein hohes Verkehrsaufkommen, eine Baustelle, eine Straßenblockade oder einen Unfall gekennzeichnet sein können. 1 1 shows, in a schematic plan view, an embodiment of a motor vehicle 1 with an embodiment of an assistance system 2. The assistance system 2 is designed to determine an event 3 in an environment 4 of the motor vehicle 1. In the present case, so-called abnormal events 3 in particular are to be regarded as event 3 . The abnormal events 3 are, for example, events on the road on which the motor vehicle 1 is located, which can be characterized by a high volume of traffic, a construction site, a road block or an accident.

Das Assistenzsystem 2 weist hierzu insbesondere eine Erfassungseinrichtung 5 auf, welche insbesondere als Kamera ausgebildet ist. Mit anderen Worten kann mittels der Erfassungseinrichtung 5 insbesondere ein Bild 6 (2) der Umgebung 4 erzeugt werden. Das Ereignis 3 ist vorliegend beispielsweise durch ein Baustellenschild dargestellt.For this purpose, the assistance system 2 has, in particular, a detection device 5, which is designed in particular as a camera. In other words, an image 6 ( 2 ) of the environment 4 are generated. Event 3 is represented here by a construction site sign, for example.

Das Assistenzsystem 2 weist ferner eine elektronische Recheneinrichtung 7 auf. Die elektronische Recheneinrichtung 7 kann insbesondere integrierte Schaltkreise und Prozessoren sowie weitere elektronische Bauteile aufweisen, um Computerprogrammbefehle gemäß einem erfindungsgemäßen Computer Programmprodukts auszuführen. Ferner kann die elektronische Recheneinrichtung ein Computerlesbares Speichermedium aufweisen, welches das entsprechende Computerprogrammprodukt aufweisen kann.The assistance system 2 also has an electronic computing device 7 . The electronic computing device 7 can in particular have integrated circuits and processors as well as other electronic components to Compu execute terprogramms instructions according to a computer program product according to the invention. Furthermore, the electronic computing device can have a computer-readable storage medium, which can have the corresponding computer program product.

2 zeigt ein schematisches Blockschaltbild einer Ausführungsform des Assistenzsystems 2. Bei dem Verfahren zum Bestimmen des Ereignisses 3 in der Umgebung 4 des Kraftfahrzeugs 1 mittels des Assistenzsystems 2 des Kraftfahrzeugs 1 erfolgt das Erfassen des Bilds 6 der Umgebung 4 mittels der Erfassungseinrichtung 5 des Assistenzsystems 2. Es wird das Bild 6 mittels eines Ereignisdetektormoduls 8 des Assistenzsystems 2 ausgewertet. Es erfolgt ein Detektieren 9 des Ereignisses 3 im Bild 6 mittels des Ereignisdetektormoduls 8 in Abhängigkeit von zumindest einem das Ereignis 3 charakterisierenden Kriterium. Das Bild 6 wird ferner mittels eines Ereignisanalysiermoduls 10 des Assistenzsystems 2 bei einem erfassten beziehungsweise detektierten Ereignis 3 analysiert, und es erfolgt ein Bestimmen von zumindest einem potentiellen für das Ereignis 3 repräsentativen Objekt 11 mittels des Ereignisanalysiermoduls 10. Es erfolgt ein Bestimmen eines klassifizierten Ereignisses 12 mittels eines Ereignisklassifiziermoduls 13 des Assistenzsystems 2 in Abhängigkeit von dem detektierten repräsentativen Objekts 11 oder ein Bestimmen eines nichtklassifizierten Ereignisses 14 bei keinem bestimmten repräsentativen Objekts 11 mittels des Ereignisklassifiziermoduls 13. Insbesondere, sollte beispielsweise kein repräsentatives Objekt 11 bestimmt beziehungsweise detektiert werden, wird ein unklassifiziertes beziehungsweise nichtklassifiziertes Ereignis 14 angenommen. 2 shows a schematic block diagram of an embodiment of the assistance system 2. In the method for determining the event 3 in the area 4 of the motor vehicle 1 by means of the assistance system 2 of the motor vehicle 1, the image 6 of the area 4 is captured by means of the detection device 5 of the assistance system 2. Es the image 6 is evaluated by an event detector module 8 of the assistance system 2 . The event 3 in the image 6 is detected 9 by the event detector module 8 as a function of at least one criterion characterizing the event 3 . The image 6 is also analyzed by an event analysis module 10 of the assistance system 2 when an event 3 is recorded or detected, and at least one potential object 11 that is representative of the event 3 is determined by the event analysis module 10. A classified event 12 is determined by means of an event classification module 13 of the assistance system 2 depending on the detected representative object 11 or a determination of an unclassified event 14 for no specific representative object 11 by means of the event classification module 13. In particular, if, for example, no representative object 11 is determined or detected, an unclassified or unclassified event 14 accepted.

Es können auch beispielsweise ein oder mehrere repräsentative Objekte 11 detektiert wird und auf Basis dessen eine Klassifizierung des Ereignisses 3 durchgeführt werden. Ferner kann auch bei einem oder mehreren detektierten repräsentativen Objekten 11 es vorkommen, dass eine Klassifizierung des Ereignisses 3 nicht durchgeführt werden kann, da beispielsweise die unterschiedlichen detektierten repräsentativen Objekte 11 nicht zu einem gemeinsamen Ereignis 3 korreliert werden können, und somit ein nichtklassifiziertes Ereignis 14 ausgegeben wird.One or more representative objects 11 can also be detected, for example, and the event 3 can be classified on the basis thereof. Furthermore, with one or more detected representative objects 11, it may also happen that the event 3 cannot be classified because, for example, the different detected representative objects 11 cannot be correlated to form a common event 3, and an unclassified event 14 is therefore output becomes.

Insbesondere ist somit das Assistenzsystem 2 vorgeschlagen, welches zumindest das Ereignisdetektormodul 8, das Ereignisanalysiermodul 10 und das Ereignisklassifiziermodul 13 aufweist. Das Ereignisdetektormodul 8 detektiert in dem aufgenommenen Bild 6 das Ereignis 3, welches insbesondere ein anormales Ereignis 3 ist. Das Ereignisdetektormodul 8 kann insbesondere als lineares künstliches neuronales Netzwerk 15 ausgebildet sein. Das lineare künstliche neuronale Netzwerk 15 weist eine vorgegebene Anzahl an Eingangsknoten 16 auf. Die Anzahl ist abhängig von der Anzahl von Eingangsmerkmalen für das lineare künstliche neuronale Netzwerk 15, um die unterschiedlichen Ereignisse 3 unterscheiden zu können. Die Merkmale sind insbesondere sogenannte Deskriptoren, wie SIFT, SURF oder Hough-Transformation, die auf einzige Art und Weise unterschiedliche Ereignisse 3 repräsentieren. Dieses lineare künstliche neuronale Netzwerk 15 kann ein oder mehrere versteckte Schichten und mehrere hundert oder tausend Neuronen aufweisen. Die Anzahl wiederum ist insbesondere abhängig von der Komplexität des Problems, wobei insbesondere bei einer höheren Anzahl von Ereignissen 3 für das Training des linearen künstlichen neuronalen Netzwerks 15 eine höhere Anzahl von versteckten Schichten und Neuronen benötigt wird. Der Ausgang des Ereignisdetektormoduls 8 ist insbesondere binär, so dass lediglich auf die Anwesenheit oder auf die Abwesenheit eines anormalen Ereignisses 3 geschlossen werden kann. Sollte ein positives Detektieren 9 des Ereignisses 3 stattgefunden haben, so wird die Analyse insbesondere im Ereignisanalysiermodul 10 fortgesetzt.In particular, the assistance system 2 is therefore proposed, which has at least the event detector module 8 , the event analysis module 10 and the event classification module 13 . The event detector module 8 detects the event 3 in the recorded image 6, which is in particular an abnormal event 3. The event detector module 8 can be designed in particular as a linear artificial neural network 15 . The linear artificial neural network 15 has a predetermined number of input nodes 16 . The number depends on the number of input features for the linear artificial neural network 15 in order to be able to distinguish between the different events 3 . The characteristics are in particular what are known as descriptors, such as SIFT, SURF or Hough transformation, which represent different events 3 in a unique way. This linear artificial neural network 15 can have one or more hidden layers and several hundred or thousands of neurons. The number in turn depends in particular on the complexity of the problem, with a higher number of hidden layers and neurons being required in particular for the training of the linear artificial neural network 15 given a higher number of events 3 . The output of the event detector module 8 is in particular binary, so that only the presence or absence of an abnormal event 3 can be inferred. If a positive detection 9 of the event 3 has taken place, the analysis is continued in the event analysis module 10 in particular.

Das Ereignisanalysiermodul 10 analysiert insbesondere die Umgebung 4 und detektiert dabei zumindest ein, insbesondere eine Vielzahl von repräsentativen Objekten 11 für das Ereignis 3. Zunächst wird jedoch das erfasste Bild 6 mittels eines Merkmalskodiermoduls 17 kodiert und das kodiert Bild von dem Ereignisanalysiermodul 10 weiter analysiert. Insbesondere können mittels des Merkmalskodiermoduls, was auch als Encoder bezeichnet werden kann, die Dimensionen des Merkmalsraums reduziert werden, jedoch wird gleichzeitig die Anzahl der Merkmale erhöht. Der Encoder kann dabei ein Standardencoder, wie VGG oder Inception-V2 sein. Das kodierte Bild wird dann weiter bezüglich vorgegebener Objekte mittels eines Objektdetektors 18 analysiert, und in Abhängigkeit davon kann dann ein repräsentatives Objekt 11 bestimmt werden. Insbesondere kann hierbei der Objektdetektor 18 ein schnelles RCNN (Fast Region Convolutional Network) sein, das wiederum eine Vielzahl von Regionenvorschlägen 19 auf Basis eines Regionenvorschlagsnetzwerks 20 erzeugt. Der Objektdetektor 18 detektiert insbesondere Objekte, welche während der Trainingszeit angelernt wurden. Diese repräsentativen Objekte 11 wiederum helfen dann dem Ereignisklassifiziermodul 13, ein vorbestimmtes Ereignis 3 klassifizieren zu können. Insbesondere muss jedoch der Regionenvorschlag 19 bereichert werden. Hierbei ist insbesondere ein sogenannter Selfattention-Algorithmus vorgesehen, um das Ausgangssignal des Regionenvorschlagsnetzwerks 20 zu diskriminieren. Hierzu wird insbesondere ein sogenanntes Global Average Pooling 21 auf das Ausgangsignal des Regionenvorschlagsnetzwerks 20 angewendet und mit dem eindimensionalen Vektor multipliziert. Diese Regionenvorschläge 19, welche mit dem Selfattention-Algorithmus erweitert wurden, werden dann insbesondere wiederum in das Ereignisklassifiziermodul 13 übergeben.The event analysis module 10 analyzes in particular the environment 4 and in doing so detects at least one, in particular a large number of, representative objects 11 for the event 3. First, however, the captured image 6 is coded by means of a feature coding module 17 and the coded image is further analyzed by the event analysis module 10. In particular, the dimensions of the feature space can be reduced by means of the feature coding module, which can also be referred to as an encoder, but at the same time the number of features is increased. The encoder can be a standard encoder such as VGG or Inception-V2. The coded image is then further analyzed with respect to predetermined objects by means of an object detector 18, and depending on this a representative object 11 can then be determined. In particular, the object detector 18 can be a fast RCNN (Fast Region Convolutional Network), which in turn generates a large number of region suggestions 19 on the basis of a region suggestion network 20 . In particular, the object detector 18 detects objects that were learned during the training period. These representative objects 11 in turn then help the event classification module 13 to be able to classify a predetermined event 3 . In particular, however, the region proposal 19 needs to be enriched. A so-called self-attention algorithm is provided here in particular in order to discriminate the output signal of the region suggestion network 20 . For this purpose, a so-called global average pooling 21 is applied to the output signal of the region suggestion network 20 in particular and multiplied by the one-dimensional vector. These region proposals 19, which have been expanded with the self-attention algorithm, are then in particular in turn transferred to the event classification module 13.

Innerhalb des Ereignisklassifiziermoduls 13 erfolgt wiederum die Extraktion verschiedener Deskriptoren, wie zum Beispiel SIFT, SURF oder weiterer unterscheidbarer Merkmale von den Regionenvorschlägen 19. Diese Deskriptoren werden dann wiederum an ein weiteres lineares künstliches neuronales Netzwerk 22 des Ereignisklassifiziermoduls 13 übergeben. Die Anzahl der Eingangsknoten 23 ist wiederum abhängig von der Anzahl von Merkmalen, wobei bevorzugt die Anzahl der Ausgangsknoten gleich der Einzahl von Ereignissen 3 für das gesamte System ist. Wie bereits erwähnt, ist die Anzahl von versteckten Schichten und Neuronen abhängig von einer Größe der Eingangsmerkmalsräume.Within the event classification module 13, various descriptors such as SIFT, SURF or other distinguishable features are extracted from the region suggestions 19. These descriptors are then in turn passed on to another linear artificial neural network 22 of the event classification module 13. The number of input nodes 23 is in turn dependent on the number of features, with the number of output nodes preferably being equal to the singular number of events 3 for the entire system. As already mentioned, the number of hidden layers and neurons depends on a size of the input feature spaces.

Beispielhaft für ein ungesehenes und umgelerntes Ereignis 3 ist der Zusammenbruch einer Brücke. Sollten beispielsweise bereits viele Brücken durch das Assistenzsystem 2 erfasst beziehungsweise gelernt worden sein, so kann der Einsturz einer Brücke als anormales Ereignis 3 erfasst werden. Das Ereignisdetektormodul 8 kennt dabei Brücken, jedoch nicht eingestürzte Brücken. Die Merkmale der eingestürzten Brücke in dem Bild 6 werden extrahiert, wobei diese eine geringe Korrelation mit der normalen Brücke aufweisen. Das Ereignisdetektormodul 8 erzeugt eine hohe Wahrscheinlichkeit für die Anwesenheit des anormalen Ereignisses 3 in dieser Umgebung 4. Zusätzlich wird das lineare künstliche neuronale Netzwerk 15 weiter trainiert, wodurch es robuster gegenüber anormalen Ereignissen 3 in der Umgebung 4 wird. Das Ereignisanalysiermodul 10 kann wiederum nicht viele repräsentative Objekte 11 detektieren. Das Ereignisanalysiermodul 10 erhält die Eingänge von dem Regionenvorschlagsnetzwerk 20, wobei die korrespondierenden Merkmale sehr unterschiedlich sind. Wenn beispielsweise der Latenzraum erzeugt wird, so werden die extrahierten Merkmale eine große Distanz von den Merkmalen haben, welche im Training genutzt wurden. Der Ausgang des Ereignisklassifiziermoduls 13, da insbesondere alle Knoten einen geringen Wert aufweisen, wird ein nicht klassifiziertes Ereignis 3 mit einem hohen Konfidenzwert sein. Insbesondere, obwohl das Assistenzsystem 2 nicht das Ereignis 3 klassifizieren konnte, so wird dennoch ein unklassifiziertes Ereignis 3 ausgegeben. Somit können auch unbekannte und ungelernte anormale Ereignisse 3 detektiert werden.An example of an unseen and unlearned event 3 is the collapse of a bridge. If, for example, many bridges have already been detected or learned by the assistance system 2 , the collapse of a bridge can be detected as an abnormal event 3 . The event detector module 8 knows bridges, but not collapsed bridges. The features of the collapsed bridge in image 6 are extracted, which have little correlation with the normal bridge. The event detector module 8 generates a high probability of the presence of the abnormal event 3 in this environment 4. In addition, the linear artificial neural network 15 is further trained, making it more robust to abnormal events 3 in the environment 4. Again, the event analysis module 10 cannot detect many representative objects 11 . The event analysis module 10 receives the inputs from the region suggestion network 20, the corresponding characteristics of which are very different. For example, when the latency space is generated, the extracted features will have a large distance from the features used in the training. The output of the event classifier module 13, in particular since all nodes have a low value, will be an unclassified event 3 with a high confidence value. In particular, although the assistance system 2 was not able to classify the event 3, an unclassified event 3 is still output. Unknown and unlearned abnormal events 3 can thus also be detected.

Insbesondere ist es somit vorgeschlagen, dass es sich bei dem Assistenzsystem 2 um ein pseudo-halbüberwachtes Assistenzsystem 2 handelt. Mit dem Assistenzsystem 2 können somit anormale Ereignisse 3 auf der Straße, welche sowohl gelernt als auch ungelernt sein können, abgebildet werden.In particular, it is therefore proposed that the assistance system 2 is a pseudo-semi-monitored assistance system 2 . Abnormal events 3 on the road, which can be both learned and unlearned, can thus be mapped with the assistance system 2 .

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US2017242436A1[0004]

Claims

Method for determining an event (3) in an environment (4) of a motor vehicle (1) using an assistance system (2) of the motor vehicle (1), with the steps: - Capturing an image (6) of the surroundings (4) by means of a capturing device (5) of the assistance system (2); - Evaluation of the image (6) by means of an event detector module (8) of the assistance system (2) and detection (9) of an event (3) in the image (6) by means of the event detector module (8) depending on at least one characterizing the event (3). criteria; - Analyzing the image (6) by means of an event analysis module (10) of the assistance system (2) when an event (3) is detected and determining at least one potential for the event (3) representative object (11) by means of the event analysis module (10); - Determination of a classified event (12) by means of an event classification module (13) of the assistance system (2) depending on the specific representative object (11) or determination of a non-classified event (14) by means of the event classification module (13) for no specific representative object (11 ).

procedure after claim 1 , characterized in that the event (3) in the image (6) is detected by means of a linear artificial neural network (15) of the event detector module (8).

procedure after claim 1 or 2 , characterized in that for the detection (9) of the event (3) the captured image (6) is compared with predetermined images by means of the event detector module (8).

Method according to one of the preceding claims, characterized in that the captured image (6) is encoded by means of a feature encoding module (17) and the encoded image is analyzed by the event analysis module (10).

procedure after claim 4 , characterized in that the coded image is analyzed by means of an object detector (18) of the event analysis module (10) with at least one region proposal network (20) with regard to at least one region proposal (19).

procedure after claim 5 , characterized in that the coded image is analyzed with respect to given objects by means of the object detector (18) and the representative object (11) is determined as a function thereof.

Procedure according to one of Claims 5 or 6 , characterized in that the representative object (11) is determined on the basis of a bounding box regression (24) in the region proposal (19).

Procedure according to one of Claims 5 or 7 , characterized in that the region suggestion (19) is discriminated by means of a global average pooling (21) of the event analysis module (10).

Procedure according to one of Claims 5 until 8th , characterized in that at least one descriptor is extracted from the suggested region (19) by means of the event classification module (13).

Method according to one of the preceding claims, characterized in that the event classification module (13) is provided as a linear artificial neural network (22).

Method according to one of the preceding claims, characterized in that after a classified event (12) or an unclassified event (14) has been determined, a warning message is generated for the assistance system (2).

Method according to one of the preceding claims, characterized in that the assistance system (2) for determining the event (3) is trained by means of a semi-monitored learning method.

Computer program product with program code means, which are stored in a computer-readable storage medium, for the method according to one of the preceding Claims 1 until 12 carried out when the computer program product is processed on a processor of an electronic computing device (7).

Computer-readable storage medium containing a computer program product Claim 13 .

Assistance system (2) for a motor vehicle (1) for determining an event (3) in an environment (4) of the motor vehicle (1), with at least one detection device (5), an event detector module (8), an event analysis module (10) and with an event classification module (13), wherein the assistance system (2) for performing a method according to one of Claims 1 until 12 is trained.