DE102018114229A1

DE102018114229A1 - Verfahren zum Bestimmen eines Bewegungszustands eines Objekts in Abhängigkeit einer erzeugten Bewegungsmaske und eines erzeugten Begrenzungsrahmens, Fahrerassistenzsystem sowie Kraftfahrzeug

Info

Publication number: DE102018114229A1
Application number: DE102018114229.3A
Authority: DE
Inventors: Mennatullah Siam; Senthil Kumar Yogamani; Ahmad El-Sallab; Heba Mahgoub
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2018-06-14
Filing date: 2018-06-14
Publication date: 2019-12-19

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Bewegungszustands eines Objekts (OB) in einer Umgebung (8) eines Kraftfahrzeugs (1) mittels eines Fahrerassistenzsystems (2), mit den Schritten:- Erfassen der Umgebung (8) des Kraftfahrzeugs (1) mit dem Objekt (OB) mittels einer Erfassungseinrichtung des Fahrerassistenzsystems (2);- Erzeugen eines Bilds (11) aus der erfassten Umgebung (8) und Erzeugen eines optischen Flusses (13) aus der erfassten Umgebung (8) mittels einer elektronischen Recheneinrichtung (12) des Fahrerassistenzsystems (2);- Auswerten des Bilds (11) bezüglich einer äußeren Form des Objekts (OB) mittels eines ersten neuronalen Netzes (9) und Auswerten des optischen Flusses (12) bezüglich einer relativen Bewegung des Objekts (OB) zur Erfassungseinrichtung mittels eines zweiten neuronalen Netzes; mit den Schritten:- Erzeugen einer Bewegungsmaske (14) des Objekts (OB) und/oder Erzeugen eines Begrenzungsrahmens (16) des Objekts (OB) zur Bestimmung des Bewegungszustands in Abhängigkeit der Auswertungen. Ferner betrifft die Erfindung ein Fahrerassistenzsystem (2) sowie ein Kraftfahrzeug (1).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Bewegungszustands eines Objekts in einer Umgebung eines Kraftfahrzeugs mittels eines Fahrerassistenzsystems. Es wird die Umgebung des Kraftfahrzeugs mit dem Objekt mittels einer Erfassungseinrichtung des Fahrerassistenzsystems erfasst. Es wird ein Bild aus der erfassten Umgebung mittels einer elektronischen Recheneinrichtung des Fahrerassistenzsystems erzeugt. Es wird das Bild bezüglich einer äußeren Form des Objekts mittels eines ersten neuronalen Netzes des Fahrerassistenzsystems ausgewertet. Es wird ein optischer Fluss aus der erfassten Umgebung mittels der elektronischen Recheneinrichtung erzeugt. Es wird der optische Fluss bezüglich einer relativen Bewegung des Objekts zur Erfassungseinrichtung mittels eines zweiten neuronalen Netzes des Fahrerassistenzsystems ausgewertet. Ferner betrifft die Erfindung ein Fahrerassistenzsystem sowie eine Kraftfahrzeug.
Die Objekterkennung hat in letzter Zeit große Fortschritte gemacht. Im Wesentlichen sind zwei Kategorien bei der Objektdetektion entstanden. Insbesondere haben sich regionsbasierte Detektoren und Einzelschussdetektoren als die zwei Kategorien herausgestellt. Klassische Ansätze in der Bewegungserkennung konzentrieren sich auf rein geometrische Ansätze bei der Objekterkennung. Ein wesentlicher Trend für die Einbeziehung des Lernens für die Bewegungsabschätzung ergab sich durch eine Methode zur Segmentierung bewegter Objekte durch Nutzung einer separaten Vorhersagegenerationsmethode. Hierzu wurde eine Methode zur Verschmelzung von Erscheinung und Bewegung vorgestellt. Die Methode konzentrierte sich auf generische Objektseg mentieru ng.
Weitere bekannte Methoden aus dem Stand der Technik sind zur Bewegungssegmentierung ein gefaltetes neuronales Netz mit einem optischen Fluss als Eingang zu nutzen um den Bewegungstyp abzuschätzen. Beispielsweise ist dies in der Veröffentlichung „Motion and Appearance Based Multi-Task Learning Network for autonomous Driving“ von Mennatullah Siam et al. Beschrieben.
Die meisten Objekterkennungsalgorithmen sind rahmenbasiert und es kann beispielsweise ein zeitliches Verfolgen auf den Objekterkennungsalgorithmus, insbesondere zur Objektidentifikation, folgen. Allerdings spielt das Erkennen von Bewegungszuständen, insbesondere im automobilen Bereich, insbesondere im Bereich des autonomen Fahrens, eine große Rolle gegenüber der reinen Objektidentifikation. Des Weiteren gibt es immer noch Fälle für „unsichtbare“ Objekte, die nicht im Trainingsset für die optische Erkennung enthalten sind, wie zum Beispiel seltene Tiere, wie beispielsweise Kängurus oder seltsame Baufahrzeuge. Daher ist es sinnvoll, die Erkennung von Objekten in erster Linie auf Basis der Bewegungserkennung zu setzen, wobei diese vorher nicht trainiert werden müssen. Zusätzlich werden bewegte Objekte immer wichtiger, um diese zu erkennen. Insbesondere werden heutzutage statische Objekte durch HD-Maps (High Definition-Maps, hochauflösende Karten) abgedeckt.
Die klassischen Ansätze in der Bewegungserkennung konzentrieren sich auf häufig rein geometrische Ansätze. Allerdings sind diese allein-geometriebasierten Ansätze fehlerbehaftet unter Kamerabewegungen und benötigten in der Regel einige heuristischer Methoden zur Auswertung. Neuere Methoden beziehen beim Lernen eine Bewegungsschätzung mit ein. Diese Methode konzentriert sich jedoch auf eine pixelweise Bewegungssegmentierung. Eine klassische geometrische Annäherung schätzt den Szenefluss und Objektbewegungsmasken ab. Allerdings ist hierzu der Ansatz mit einer Laufzeit von 50 Minuten pro Frame (Rahmen) rechenintensiv. Dies macht es unpraktisch für insbesondere einen autonomen Fahrbetrieb eines Kraftfahrzeugs.
Eines der größten Probleme im Stand der Technik ist, dass die Segmentierungsansätze pixelweise vorklassifiziert werden. Dies ist insbesondere bei einer Bewegungszustandserkennung auf der Objektebene nicht explizit erforderlich.
Aufgabe der vorliegenden Erfindung ist es, ein verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug zu schaffen, mittels welchen eine effizientere Bestimmung eines Bewegungszustands eines Objekts in einer Umgebung eines Kraftfahrzeugs realisiert werden kann.
Diese Aufgabe wird durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug gemäß den unabhängigen Patentansprüchen gelöst.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen eines Bewegungszustands eines Objekts in einer Umgebung eines Kraftfahrzeugs mittels eines Fahrerassistenzsystems. Es wird die Umgebung des Kraftfahrzeugs mit dem Objekt mittels einer Erfassungseinrichtung des Fahrerassistenzsystems erfasst. Es wird ein Bild aus der erfassten Umgebung mittels einer elektronischen Recheneinrichtung des Fahrerassistenzsystems erzeugt. Es wird das Bild bezüglich einer äußeren Form des Objekts mittels eines ersten neuronalen Netzes des Fahrerassistenzsystems ausgewertet. Es wird ein optischer Fluss aus der erfassten Umgebung mittels der elektronischen Recheneinrichtung erzeugt. Es wird der optische Fluss bezüglich einer relativen Bewegung des Objekts zur Erfassungseinrichtung mittels eines zweiten neuronalen Netzes des Fahrerassistenzsystems ausgewertet.
Gemäß einer ersten Ausführungsform ist vorgesehen, dass eine Bewegungsmaske des Objekts zur Bestimmung des Bewegungszustands in Abhängigkeit der Auswertung der äußeren Form des Objekts und in Abhängigkeit der Auswertung der relativen Bewegung des Objekts mittels der elektronischen Recheneinrichtung erzeugt wird.
Alternativ oder ergänzend ist gemäß einer zweiten Ausführungsform vorgesehen, dass ein Begrenzungsrahmen des Objekts zur Bestimmung des Bewegungszustands in Abhängigkeit der Auswertung der äußeren Form des Objekts und in Abhängigkeit der Auswertung der relativen Bewegung des Objekts mittels der elektronischen Recheneinrichtung erzeugt wird.
Dadurch kann auf eine pixelweise Segmentierung verzichtet werden, sodass die Bestimmung des Bewegungszustands des Objekts effizienter durchgeführt werden kann. Des Weiteren kann durch die erfindungsgemäße Lösung eine direkte Voraussage für den Bewegungsrahmen des bewegten Objekts durchgeführt werden. Auch hierzu ist keine pixelweise Segmentierung erforderlich, sodass die Bestimmung des Bewegungszustands effizient durchgeführt werden kann.
Insbesondere kann vorgesehen sein, dass die Darstellung der pixelweisen Bewegungsmaske durch eine Segmentierung erfolgt. Insbesondere kann eine Encoder-Decoder (Kodierer, Dekodierer) Architektur verwendet werden für die Bewegungssegmentierung. Beispielsweise kann hierzu ein VGG16-Netzwerk in ein entsprechendes neuronales Netzwerk umgewandelt werden. Insbesondere können so genannte Skip-Verbindungen verwendet werden, um von den hochauflösenden Funktionen zu profitieren. Insbesondere können dadurch Bewegung und Erscheinungsbild kombiniert werden. Der Erscheinungsbildstrom des ersten neuronalen Netzes hilft bei der Segmentierung der Fahrzeuggrenze, während der Bewegungsstrom des zweiten neuronalen Netzes dynamische Fahrzeuge identifiziert. Insbesondere werden zwei verschiedene Eingänge für den Bewegungsstrom berücksichtigt. Der optische Fluss wird als erste Option zur Eingabe in den Bewegungsstrom verwendet. Eine weitere Möglichkeit ist die Verwendung des Bilds. Für diese Segmentierung wird der pixelweise Kreuzentropieverlust verwendet.
Insbesondere beim autonomen Fahrbetrieb ist die Klassifikation in die statisch/dynamische Zustandsklassifikation auf Objektebene relevanter als eine entsprechende Klassifikation auf Pixelebene. Das erfindungsgemäße Verfahren kann sowohl die Kraftfahrzeuge in der Umgebung erfassen während es gleichzeitig die dynamischen Objekte erfasst. Sowohl die Bewegungsmaske als auch der Begrenzungsrahmen wird mittels des optischen Flusses und des Bilds erzeugt.
Bei dem Bewegungszustand handelt es sich insbesondere um einen Zustand des Objekts bezüglich einer Eigenbewegung des Objekts. Da insbesondere die Erfassungseinrichtung, welche insbesondere als Kamera ausgebildet sein kann, an dem Kraftfahrzeug angeordnet sein kann und sich das Kraftfahrzeug bewegen kann, kann somit eine Bewegung des Objekts relativ zum Kraftfahrzeug detektiert werden, obwohl sich das Objekt statisch verhält. Insbesondere liegt das daran, dass sich das Objekt beim Bewegen des Kraftfahrzeugs beziehungsweise der Erfassungseinrichtung relativ zur Erfassungseinrichtung bewegt.
Insbesondere bei der Objekterkennung wird das Objekt anhand der äußeren Form des Objekts erkannt. Insbesondere können hierzu in einer Speichereinrichtung des Fahrerassistenzsystems verschiedene äußere Formen zu Objekten abgespeichert sein. Diese können dann mittels des ersten neuronalen Netzes mit dem im Bild erfassten Objekt verglichen werden und dadurch eine Objektidentifikation des Objekts durchgeführt werden. Insbesondere kann es aber dazu kommen, dass auch nicht gespeicherte Objekte in der Umgebung des Kraftfahrzeugs vorhanden sind, wodurch eine Erkennung erschwert ist.
Insbesondere kann dann gleichzeitig der optische Fluss der erfassten Umgebung erzeugt werden, um auch diese Objekte entsprechend erfassen zu können. Beim optischen Fluss handelt es sich insbesondere um ein Vektorfeld, das in die Bildebene projizierte Geschwindigkeiten von sichtbaren Punkten des Objektraums im Bezugssystem der Abbildungsoptik darstellt. Mit anderen Worten ist der optische Fluss eine Repräsentation von Bewegungsinformationen in der Bildverarbeitung. Insbesondere ist durch den optischen Fluss die Segmentierung nach Farben und Texturen vereinfacht, sowie die Zuordnung von Punkten zu Objekten. Insbesondere kann der lokale optische Fluss aus Mustern im Bild in einer mehr oder weniger großen Umgebung eines betrachteten Bildpunkts geschätzt werden. Insbesondere kann dann aus dem lokalen Gradienten nur die zum Gradienten parallele Komponente des Flussvektors bestimmt werden. Dieses grundsätzliche Problem bezeichnet man als Aperturproblem.
Die Bewegungsmaske wird insbesondere auch Motion Mask genannt. Die Motion Mask wiederum wird zur Bewegungssegmentierung verwendet.
Der Begrenzungsrahmen wird insbesondere auch als Bounding Box bezeichnet. Es handelt sich somit um einen virtuellen Rahmen, der insbesondere um das bewegt Objekt gelegt wird. Dadurch kann das bewegte Objekt besser durch einen Nutzer erkannt werden. Insbesondere kann vorgesehen sein, dass weitere Informationen an dem Begrenzungsrahmen angefügt sind, wobei die Informationen dann ebenfalls sichtbar für den Nutzer beispielsweise über eine Anzeigeeinrichtung des Fahrerassistenzsystems angezeigt werden können.
Gemäß einer vorteilhaften Ausgestaltungsform kann das erste neuronale Netz und/oder das zweite neuronale Netz als gefaltetes neuronales Netz bereitgestellt werden. Das gefaltete neuronale Netz wird insbesondere als Convolutional Neural Network (CNN) bezeichnet. Insbesondere kann es sich bei dem ersten neuronalen Netz und/oder bei dem zweiten neuronalen Netz um ein VGG16-Netz handeln. Insbesondere das gefaltete neuronale Netz hat sich als sehr nützlich erwiesen, um im komplexen Straßenverkehr eine relative Bewegung und/oder eine äußere Form des Objekts zu erfassen. Insbesondere das gefaltete neuronale Netz kann somit vor dem Einsatz im Kraftfahrzeug angelernt werden. Mittels der Verwendung des neuronalen Netzes als gefaltetes neuronales Netz kann somit insbesondere eine zuverlässige Auswertung der äußeren Form des Objekts sowie eine zuverlässige Auswertung der relativen Bewegung des Objekts zur Erfassungseinrichtung durchgeführt werden. Insbesondere durch die Ausgestaltungsform des ersten neuronalen Netzes und des zweiten neuronalen Netzes als VGG16-Netz kann ein einfaches und etabliertes gefaltetes neuronales Netz verwendet werden. Somit kann einfach der Bewegungszustand des Objekts in der Umgebung des Kraftfahrzeugs bestimmt werden.
Ebenfalls vorteilhaft ist, wenn das erste neuronale Netz mit dem gleichen Gewichtungsvektor gewichtet wird, wie das zweite neuronale Netz. Mit anderen Worten werden das erste neuronale Netz und das zweite neuronale Netz gleich gewichtet. Dies hat den Vorteil, dass bei der Auswertung der äußeren Form des Objekts und bei der Auswertung der relativen Bewegung des Objekts weniger Parameter angepasst werden müssen. Dadurch kann eine schnellere Konvergenz zu einem Minimum innerhalb der neuronalen Netze erreicht werden. Dadurch kann eine effizientere Bestimmung des Bewegungszustands aufgrund einer geringeren Komplexität der neuronalen Netze erreicht werden.
Ferner hat es sich als vorteilhaft erwiesen, wenn die Bewegungsmaske der ersten Ausführungsform durch eine transponierte Faltung erzeugt wird. Die transponierte Faltung wird auch als Dekonvolution bezeichnet. Es handelt sich somit um die Umkehrung der Faltungsoperation des ersten und des zweiten neuronalen Netzes. Dadurch ist es ermöglicht, dass die Faltung und somit die Kodierung der neuronalen Netze wieder dekodiert werden. Insbesondere können drei Dekonvolutionsebenen genutzt werden, um die Faltung der neuronalen Netze wieder zu dekodieren. Dadurch können zuverlässig und mit einer hohen Effizienz die Bewegungsmaske und dadurch der Bewegungszustand bestimmt werden.
In einer weiteren vorteilhaften Ausführungsform kann die Bewegungsmaske der ersten Ausführungsform durch eine pixelweise Klassifizierung erzeugt werden. Dadurch ist eine zuverlässige Bestimmung der Bewegungsmaske realisiert.
Ferner kann bevorzugt vorgesehen sein, dass zur Erzeugung der Bewegungsmaske der ersten Ausführungsform ein Vergleich des Bilds mit dem optischen Fluss durchgeführt wird. Dadurch kann eine Redundanz zur Auswertung geschaffen werden, sodass die Ergebnisse der Bewegungsmaske mit dem optischen Fluss verglichen werden können. Somit kann zuverlässig die Bewegungsmaske erzeugt und validiert werden. Dadurch ist eine zuverlässige Bestimmung des Bewegungszustands realisiert.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn zur Erzeugung des Begrenzungsrahmens gemäß der zweiten Ausführungsform das Bild in eine Vielzahl von Netzzellen eingeteilt wird, so dass der Begrenzungsrahmen in einer jeweiligen Netzzelle der Vielzahl der Netzzellen vorhergesagt wird. Bei der Vorhersage handelt es sich insbesondere um eine Regression, wodurch die entsprechenden Begrenzungsrahmen direkt vorhergesagt werden kann. Dadurch kann eine effiziente Abschätzung des Bewegungszustands und des Fahrzeugtyps durchgeführt werden.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn der Begrenzungsrahmen bezüglich der Lage und der Größe des Begrenzungsrahmens vorhergesagt wird. Mittels dieser Vorhersage kann der Begrenzungsrahmen zuverlässig um das Objekt gesetzt werden, wodurch zuverlässig die Bestimmung des Bewegungszustands durchgeführt werden kann.
In einer weiteren vorteilhaften Ausgestaltungsform kann ein Kraftfahrzeug, welches sich innerhalb des Begrenzungsrahmens befindet, bezüglich einer Kraftfahrzeugart klassifiziert wird. Insbesondere kann es sich bei der Kraftfahrzeugart beispielsweise um eine Klassifizierung in Personenkraftwagen oder Lastkraftwagen handeln. Ferner kann auch ein Kraftrad beziehungsweise ein Fahrrad als Kraftfahrzeugart klassifiziert werden. Insbesondere kann vorgesehen sein, dass die Kraftfahrzeugart als Information optisch an den Begrenzungsrahmen auf einer Anzeigeeinrichtung des Fahrerassistenzsystems angehängt wird. Dadurch kann dem Fahrer zuverlässig die Kraftfahrzeugart bereitgestellt werden, sodass dieser zuverlässig einen zukünftigen Bewegungszustand abschätzen kann.
Ebenfalls vorteilhaft ist, wenn der Begrenzungsrahmen bezüglich des Bewegungszustands des Objekts klassifiziert wird. Insbesondere kann dann der Begrenzungsrahmen optisch auf einer Anzeigeeinrichtung den jeweiligen Bewegungszustand als Information angehängt bekommen. Dadurch kann dem Nutzer des Fahrerassistenzsystems zuverlässig der Bewegungszustand angezeigt werden. Insbesondere wird dann der Bewegungszustand direkt dem Objekt zugeordnet, sodass keine Fehlinterpretation durch den Nutzer des Fahrerassistenzsystems realisiert ist. Dies trägt zur Sicherheit im Straßenverkehr bei.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform kann als Bewegungszustand ein statischer oder ein dynamischer Bewegungszustand bestimmt wird. Insbesondere die Einteilung in dynamisch und statisch bietet eine Unterstützung für den Nutzer des Fahrerassistenzsystems. Dieser kann dann abschätzen, welchen Bewegungszustand das Kraftfahrzeug bezüglich dem eigenen Kraftfahrzeug aufweist. Beispielsweise kann dann durch den Nutzer abgeschätzt werden, welche Kraftfahrzeuge von höherer beziehungsweise niedriger Relevanz für die Eigenbewegung des Kraftfahrzeugs sind. Dies trägt zur Sicherheit im Straßenverkehr bei.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn eine Eigenbewegung der als Kamera ausgebildeten Erfassungseinrichtung, insbesondere des Kraftfahrzeugs, bei der Bestimmung des Bewegungszustands berücksichtigt wird. Insbesondere ist es dadurch ermöglicht, dass zwischen tatsächlich realen statischen und dynamischen Objekten zuverlässig unterschieden werden kann. Dies trägt zu einer verbesserten Bestimmung des Bewegungszustands bei. Beispielsweise kann die Eigenbewegung aufgrund eines Geschwindigkeitssignals des Kraftfahrzeugs mit einbezogen werden. Ebenfalls möglich ist, dass das Fahrerassistenzsystem eine Positionserfassungseinrichtung aufweist und auf Basis der Positionserfassungseinrichtung eine Geschwindigkeit als Geschwindigkeitssignal mit berücksichtigt wird. Ferner kann auch über eine optische Auswertung der Kamera eine Geschwindigkeitserfassung durchgeführt werden, welche dann wiederum bei der Bestimmung des Bewegungszustands berücksichtigt wird. Somit kann zuverlässig der Bewegungszustand bestimmt werden.
Ebenfalls vorteilhaft ist, wenn zur Bestimmung des Bewegungsrahmens ein drittes neuronales Netz, insbesondere ein 1x1 gefaltetes neuronales Netz, genutzt wird. Dadurch kann einfach und dennoch zuverlässig der Bewegungszustand des Objekts ermittelt werden.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem mit einer Erfassungseinrichtung, mit einer elektronischen Recheneinrichtung, mit zumindest einem ersten neuronalen Netz und mit zumindest einem zweiten neuronalen Netz. Das Fahrerassistenzsystem ist dazu ausgebildet, ein Verfahren nach dem vorherigen Aspekt durchzuführen.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Fahrerassistenzsystems sowie des Kraftfahrzeugs anzusehen. Das Fahrerassistenzsystem sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren nach dem vorherigen Aspekt durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung abgearbeitet wird.
Ferner betrifft die Erfindung eine elektronische Recheneinrichtung, welche zum Durchführen des Verfahrens ausgebildet ist.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur der jeweils angegebenen Kombination sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch aus den separierten Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungsformen als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
Dabei zeigen:

1 eine schematische Draufsicht auf eine Ausführungsform eines Kraftfahrzeugs;
2 eine schematische Ansicht einer Ausführungsform eines Fahrerassistenzsystems; und
3 eine weitere schematische Ansicht einer weiteren Ausführungsform des F ah rerassistenzsystems.

In den Fig. werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist in dem vorliegenden Fall als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 weist ein Fahrerassistenzsystem 2 auf. Das Fahrerassistenzsystem 2 weist wiederum zumindest eine Bilderverarbeitungseinrichtung 3 auf, die beispielsweise durch ein elektronisches Steuergerät des Kraftfahrzeugs 1 gebildet sein kann. Darüber hinaus weist das Fahrerassistenzsystem 2 zumindest eine Kamera 4 als Erfassungseinrichtung des Fahrerassistenzsystems 2 auf. In dem vorliegenden Ausführungsbeispiel weist das Fahrerassistenzsystem 2 beispielsweise vier Kameras 4 auf, die verteilt an dem Kraftfahrzeug 1 angeordnet sind. Es können aber beispielsweise auch nur zwei Kameras 4 oder drei Kameras 4 oder auch mehr als vier Kameras 4 vorgesehen sein. Vorliegend ist eine der Kameras 4 in einem Heckbereich 5 angeordnet, eine der Kameras 4 ist in einem Frontbereich 7 des Kraftfahrzeugs 1 angeordnet und die übrigen zwei Kameras 4 sind in einem jeweiligen Seitenbereich 6, insbesondere in einem Bereich der Seitenspiegel, angeordnet. Die Anzahl und Anordnung der Kameras 4 des Kamerasystems 2 ist vorliegend rein beispielhaft zu verstehen.
Mit den Kameras 4 kann ein Objekt OB in einer Umgebung 8 des Kraftfahrzeugs 1 erfasst werden. Die vier Kameras 4 sind bevorzugt baugleich ausgebildet. Insbesondere kann eine Sequenz von Bildern mit den Kameras 4 bereitgestellt werden, welche die Umgebung 8 beschreiben. Diese Bilder können von den Kameras 4 an die Bilderverarbeitungseinrichtung 3 übertragen werden. Das Fahrerassistenzsystem 2 dient somit zum Unterstützen des Fahrers des Kraftfahrzeugs 1 beim Führen des Kraftfahrzeugs 1. Das Fahrerassistenzsystem 2 kann beispielsweise ein sogenannter elektronischer Rückspiegel sein (dann weist es vorzugsweise zwei Kameras 4 an den Seitenbereichen 6 auf) oder ein ACC-System (Adaptive Cruise Control-System) oder ein Parkassistenzsystem oder ein sonstiges System sein.
2 zeigt eine schematische Ansicht einer Ausführungsform des Fahrerassistenzsystems 2. Das Fahrerassistenzsystem 2 weist ein erstes neuronales Netz 9 und ein zweites neuronales Netz 10 auf. Mittels der als Kamera 4 ausgebildeten Erfassungseinrichtung wird ein Bild 11 erzeugt, wobei das Bild 11 insbesondere mittels einer elektronischen Recheneinrichtung 12 des Fahrerassistenzsystems 2 bezüglich einer äußeren Form des Objekts OB mittels des ersten neuronalen Netzes 9 ausgewertet wird.
Mittels der elektronischen Recheneinrichtung 12 wird ferner ein optischer Fluss 13 erzeugt, wobei der optische Fluss 13 bezüglich einer relativen Bewegung des Objekts OB zur Erfassungseinrichtung, insbesondere zur Kamera 4, mittels des zweiten neuronalen Netzes 10 ausgewertet wird.
Insbesondere zeigt 2 die Bestimmung des Bewegungszustands gemäß dem Schritt f1. Es wird gemäß 2 eine Bewegungsmaske 14 des Objekts OB zur Bestimmung des Bewegungszustands in Abhängigkeit der Auswertung der äußeren Form des Objekts OB und in Abhängigkeit der Auswertung der Relativbewegung des Objekts OB mittels der elektronischen Recheneinrichtung 12 erzeugt.
Bei dem ersten neuronalen Netz 9 und/oder bei dem zweiten neuronalen Netz 10 handelt es sich insbesondere um ein gefaltetes neuronales Netz. Das gefaltete neuronale Netz wird auch als Convolutional Neural Network (CNN) bezeichnet. Insbesondere kann vorgesehen sein, dass als jeweils gefaltetes neuronales Netz ein VGG16-Netz benutzt wird. Insbesondere ist dieses derart transformiert, dass es voll gefaltet ist. Insbesondere findet durch die Faltung des neuronalen Netzes 9, 10 eine entsprechende Bewegungssegmentierung statt.
Insbesondere kann vorgesehen sein, dass das erste neuronale Netz 9 und das zweite neuronale Netz 10 mit einem gleichen Gewichtungsvektor gewichtet werden. Mit anderen Worten findet eine gleiche Gewichtung innerhalb des ersten neuronalen Netzes 9 und des zweiten neuronalen Netzes 10 statt. Insbesondere werden die segmentierten Informationen in einem Dekodierer 15 (Decoder) eingebracht, welcher eine transponierte Faltung beziehungsweise eine Entfaltung (Deconvolution) durchführt. Mit anderen Worten wird die Bewegungsmaske 14 durch eine transponierte Faltung erzeugt.
Insbesondere kann dann vorgesehen sein, dass eine pixelweise Klassifikation zur Erzeugung der Bewegungsmaske 14, welche auch als Motion Mask bezeichnet wird, genutzt wird. Ferner kann vorgesehen sein, dass der optische Fluss 13 und das Bild 11 miteinander verglichen werden, sodass die Bewegungsmaske 14 zuverlässig erzeugt werden kann. Insbesondere ist der optische Fluss 13 gegenüber dem Bild 11 einfacher zu Dekodieren.
Insbesondere kann vorgesehen sein, dass die Darstellung der pixelweisen Bewegungsmaske 14 durch eine Segmentierung erfolgt. Insbesondere kann eine Encoder-Decoder (Kodierer, Dekodierer) Architektur verwendet werden für die Bewegungssegmentierung. Beispielsweise kann hierzu ein VGG16-Netzwerk in ein entsprechendes neuronales Netzwerk 9, 10 umgewandelt werden. Insbesondere können so genannte Skip-Verbindungen verwendet werden, um von den hochauflösenden Funktionen zu profitieren. Insbesondere können dadurch Bewegung und Erscheinungsbild kombiniert werden. Der Erscheinungsbildstrom des ersten neuronalen Netzes 9 hilft bei der Segmentierung der Fahrzeuggrenze, während der Bewegungsstrom des zweiten neuronalen Netzes 10 dynamische Fahrzeuge identifiziert. Insbesondere werden zwei verschiedene Eingänge für den Bewegungsstrom berücksichtigt. Der optische Fluss 13 wird als erste Option zur Eingabe in den Bewegungsstrom verwendet. Eine weitere Möglichkeit ist die Verwendung des Bilds 11. Für diese Segmentierung wird der pixelweise Kreuzentropieverlust verwendet.
Insbesondere bei der Objekterkennung wird das Objekt OB anhand der äußeren Form des Objekts OB erkannt. Insbesondere können hierzu in einer Speichereinrichtung des Fahrerassistenzsystems 2 verschiedene äußere Formen zu Objekten OB abgespeichert sein. Diese können dann mittels des ersten neuronalen Netzes 9 mit dem im Bild 11 erfassten Objekt OB verglichen werden und dadurch eine Objektidentifikation des Objekts OB durchgeführt werden. Insbesondere kann es aber dazu kommen, dass auch nicht gespeicherte Objekte OB in der Umgebung 8 des Kraftfahrzeugs 1 vorhanden sind, wodurch eine Erkennung erschwert ist.
Insbesondere kann dann gleichzeitig der optische Fluss 13 der erfassten Umgebung 8 erzeugt werden, um auch diese Objekte OB entsprechend erfassen zu können. Beim optischen Fluss 13 handelt es sich insbesondere um ein Vektorfeld, das in die Bildebene projizierte Geschwindigkeiten von sichtbaren Punkten des Objektraums im Bezugssystem der Abbildungsoptik darstellt. Mit anderen Worten ist der optische Fluss 13 eine Repräsentation von Bewegungsinformationen in der Bildverarbeitung. Insbesondere ist durch den optischen Fluss 13 die Segmentierung nach Farben und Texturen vereinfacht, sowie die Zuordnung von Punkten zu Objekten OB. Insbesondere kann der lokale optische Fluss 13 aus Mustern im Bild 11 in einer mehr oder weniger großen Umgebung 8 eines betrachteten Bildpunkts geschätzt werden. Insbesondere kann dann aus dem lokalen Gradienten nur die zum Gradienten parallele Komponente des Flussvektors bestimmt werden. Dieses grundsätzliche Problem bezeichnet man als Aperturproblem.
Die Bewegungsmaske 14 wird insbesondere auch Motion Mask genannt. Die Motion Mask wiederum wird zur Bewegungssegmentierung verwendet.
Der Begrenzungsrahmen 16 wird insbesondere auch als Bounding Box bezeichnet. Es handelt sich somit um einen virtuellen Rahmen, der insbesondere um das bewegt Objekt OB gelegt wird. Dadurch kann das bewegte Objekt OB besser durch einen Nutzer erkannt werden. Insbesondere kann vorgesehen sein, dass weitere Informationen an dem Begrenzungsrahmen 16 angefügt sind, wobei die Informationen dann ebenfalls sichtbar für den Nutzer beispielsweise über eine Anzeigeeinrichtung des Fahrerassistenzsystems 2 angezeigt werden können.
3 zeigt eine schematische Ansicht einer Ausführungsform des Fahrerassistenzsystems 2. Insbesondere ist in 3 eine Kraftfahrzeug- und Dynamik Objektdetektion gezeigt. Insbesondere zeigt 3, wie ein Begrenzungsrahmen 16 des Objekts OB erzeugt wird. Dies entspricht insbesondere dem Schritt f2. Der Begrenzungsrahmen 16 des Objekts OB zur Bestimmung des Bewegungszustands wird in Abhängigkeit der Auswertung der äußeren Form des Objekts OB und in Abhängigkeit der Auswertung der relativen Bewegung des Objekts OB mittels der elektronischen Recheneinrichtung 12 durchgeführt. Insbesondere ist es vorgesehen, dass zur Erzeugung des Begrenzungsrahmens 16 das Bild 11 in eine Vielzahl von Netzzellen 17 eingeteilt wird, sodass der Begrenzungsrahmen 16 in einer jeweiligen Netzzelle 17 der Vielzahl der Netzzellen 17 vorhergesagt, insbesondere regrediert, wird. Insbesondere wird die Vorhersage durch eine Regression 18 durchgeführt.
Ferner kann insbesondere vorgesehen sein, dass der Begrenzungsrahmen 16 bezüglich der Lage und der Größe des Begrenzungsrahmens 16 vorhergesagt wird.
Ferner kann insbesondere vorgesehen sein, dass ein Kraftfahrzeug, beziehungsweise das Objekt OB, welches sich innerhalb des Begrenzungsrahmens 16 befindet, bezüglich einer Kraftfahrzeugart klassifiziert wird. Mit anderen Worten findet eine Klassifikation 19 bezüglich der Kraftfahrzeugart statt.
Ferner kann vorgesehen sein, dass der Begrenzungsrahmen 16 bezüglich des Bewegungszustands des Objekts OB klassifiziert wird. Insbesondere wird der Bewegungszustand durch Einteilung in einen statischen oder einen dynamischen Bewegungszustand durchgeführt. Insbesondere findet dies in einer weiteren Klassifikation 20 statt.
Ferner kann vorgesehen sein, dass zur Bestimmung des Begrenzungsrahmens 16 ein drittes neuronales Netz 21 genutzt wird, wobei das dritte neuronale Netz 21 insbesondere ein 1×1 gefaltetes neuronales Netz ist.
Ferner kann vorgesehen sein, dass eine Eigenbewegung der als Kamera 4 ausgebildeten Erfassungseinrichtung, insbesondere des Kraftfahrzeugs 1, bei der Bestimmung des Bewegungszustands berücksichtigt wird.
Insbesondere zeigt die 3 eine Methode, mit der direkt der Begrenzungsrahmen 16 der Objekte OB vorhergesagt werden kann, wobei gleichzeitig die Klassifikation 19 und die weitere Klassifikation 20 für das Objekt OB abgeschätzt werden kann. Es wird hierzu das Bild 11 in die Netzzellen 17 eingeteilt, wobei die Vorhersage des Begrenzungsrahmens 16 jeder Netzzellen 17 durchgeführt wird. Mittels des dritten neuronalen Netzes 21 finden drei Ausgaben statt. Die erste Ausgabe ist die Vorhersage des Begrenzungsrahmens 16 bezüglich der Koordinaten und der Größe, was insbesondere während der Regression 18 durchgeführt wird. Die zweite Ausgabe ist die Klassifikation 19 bezüglich des Kraftfahrzeugtyps. Die dritte Ausgabe ist die weitere Klassifikation 20 bezüglich einer statischen oder dynamischen Bewegungseigenschaft des Objekts OB. Als Eingangsparameter wird das Bild 11 und der optische Fluss 13 für die jeweiligen neuronalen Netzwerke 9, 10 für die Segmentierung benutzt.
Ergänzend kann vorgesehen sein, dass ein Bildpaar 11 genutzt wird, mittels welchem die äußere Form des Objekts OB und der optische Fluss bestimmt werden kann. Insbesondere kann dies über ein gefaltetes Lang-Kurz-Zeit-Gedächtnis-Netzwerk durchgeführt werden (Convolutional LSTM). Dadurch kann eine Multiframe-Bewegungsdetektion durchgeführt werden, welche insbesondere für bewegte Objekte vorteilhaft ist.
Nachfolgend wird das erfindungsgemäße Verfahren anhand eines Testverfahrens näher erläutert und beispielhaft aufgezeigt. Es ist selbstverständlich, dass auch andere Rahmenbedingungen für das erfindungsgemäße Verfahren verwendet werden können, ohne den Rahmen der Erfindung zu verlassen. Die nachfolgende Ausführung ist also rein beispielhaft und keinesfalls abschließend zu sehen.
Das Training von Faltungsnetzen erfordert große Mengen an Trainingsdaten. Es kann eine Pipeline verwendet werden, um automatisch eine statische/dynamische Klassifikation 20 für Objekte OB zu erzeugen. Das Verfahren verwendet die Odometrieinformationen und klassifiziert entsprechend die Kraftfahrzeuge. Die Odometrieinformation liefert eine Methode zur Berechnung der Geschwindigkeit der Kamera. Die 3D-Begrenzungskästchen der klassifizierten Kraftfahrzeuge werden auf 2D-Bilder projiziert und zwischen aufeinanderfolgenden Bildern verbunden. Anhand der geschätzten Fahrzeuggeschwindigkeiten werden dann die statischen/dynamischen Kraftfahrzeuge identifiziert. Die dynamischen Objekte OB, die auf mehreren Frames (Rahmen) konsistent als dynamisch gekennzeichnet sind, bleiben erhalten. Dieses Verfahren wird auf sechs Sequenzen aus den Rohdaten angewendet, um insgesamt 1750 Bilder zu erzeugen. Zusätzlich zu diesen Frames werden 200 Frames von einem KITTI Szenenfluss verwendet, damit insgesamt 1950 Frames zur Verfügung gestellt sind. Dieser Datensatz wird vorliegend als KITTI MOD bezeichnet.
Nachfolgend werden die experimentellen Ergebnisse aufgezeigt, bei denen zwei Gruppen von Experimenten durchgeführt werden im Kleinen und im Großen. Die kleinen Experimente arbeiten am KITTI-Szenenfluss aufgeteilt in 75% Training und 25% als Durchhalte-Testset. Für die Großversuche sind die KITTI MOD Daten auf 80% für das Training und 20% als Durchhalte-Testset aufgeteilt. In dieser Ausführungsform wurde ein Adam Optimizer verwendet. Datenaugmentationstechniken wie Scaling und Cropping werden auch zur Berücksichtigung unterschiedlicher Objekt-Skalen genutzt. Die Bewegungssegmentierung wird zunächst mit den KITTI Szenefluss Daten ausgewertet. Dann wird Bewegungserkennung auf dem KITTI MOD Datensatz trainiert und ausgewertet.
Die in der Segmentierung verwendeten Bewertungsmetriken sind Precision, Recall, F-Score und intersection over union (loU). Tab.1 vergleicht die quantitative Bewertung der Zwei-Strom-Bewegungssegmentierung gemäß dem erfindungsgemäßen Gedanken gegenüber einer Ein-Strom-Bewegungssegmentierung. Die Zwei-Strom-Bewegungssegmentierung mit dem Bild 11 und dem optischem Fluss 13 als Eingang (RGB+OF) wird mit einem Zwei-Strom-Bewegungssegmentierungsverfahren mit einem Bildpaareingang verglichen. Die Zwei-Strom-Bewegungssegmentierung (RGB+OF) zeigt einen 10%igen Anstieg der durchschnittlichen loU gegenüber der Ein-Strom-Bewegungssegmentierung. Die Zwei-Strom-Bewegungssegmentierung mit dem Bildpaar weist gegenüber der erfindungsgemäßen Zwei-Strom-Bewegungssegmentierung mit dem Bild 11 und dem optischen Fluss 13 einem Rückgang der Genauigkeit um 30% auf. Dies wird erwartet, da mittels des optischen Flusses 13 eine bessere Bewegung detektiert werden kann. Tabelle 1: Quantitative Auswertung des Szeneflusses

Precision Recall F-Source IoU

Ein-Strom 70,4 45,66 38,31 50,

Zwei-Strom (Bildpaar) 44,34 69,84 54,25 37,22

Zwei-Strom (RGB + OF) 74,07 76,38 75,2 60,27
Da KITTI MOD mit Bounding-Boxes für die statische/dynamische Klassifikation 20 versehen ist, wird die Zwei-Strom-Bewegungssegmentierung verwendet, um die Bewegungsmasken 14 bereitzustellen. Diese werden dann mit einer FastBox-Erkennungen kombiniert. Die statische/dynamische Klassifizierung 20 der Ausgangsfahrzeuge wird mittels KITTI MOD-Daten ausgewertet. Die für die Detektion verwendete Bewertungsmetrik ist die average preciosn-Methode (AP) für statische/dynamische Klassen und die mean average precision-Methode (mAP).
Insbesondere ist vorgesehen, dass die statische/dynamische Klassifikation 21 derart durchgeführt wird, dass keine Fehler aus der Erkennung selbst berücksichtigt sind. Die verwendete durchschnittliche Genauigkeit wird auf den erkannten Begrenzungsrahmen 16 berechnet, die tatsächlich auf Basis von Feldversuchen mit der Begrenzungslinie übereinstimmen. Die Auswertung erfolgt somit nur für die statische/dynamische Klassifikation 21 ohne Berücksichtigung von Fehlern durch die FastBox-Erkennung.
Tab.2 zeigt die Ergebnisse der gleichzeitigen Detektion und Bewegungssegmentierung. Die Zwei-Strom-Bewegungssegmentierung mit dem optischem Fluss 13 und dem Bild 11 zeigt die beste mAP auf großen Datenmengen. Dies wird mit einer der modernsten Methoden, dem MPNet, verglichen. MPNet mit optischem Durchflusseingang wird im KITTI MOD ausgewertet und wird kombiniert mit Vorschlägen, wie sie in der Methode erwähnt werden. Das erfindungsgemäße Verfahren übertrifft MPNet mit 20% in mAP. Dies zeigt, dass autonome Fahrszenarien andere Herausforderungen aufweisen als generische Objekt-Segmentierung. Dies ist auf die kontinuierliche Kamerabewegung und das Vorhandensein mehrerer Objekte OB in der Umgebung 8 zurückzuführen. Die erhöhte rechnerische Effizienz der Zwei-Strom-Bildsegmentierung gemäß dem erfindungsgemäßen Verfahren führt zu einer deutlich geringeren Laufzeit als andere Methoden im Stand der Technik. Das erfindungsgemäße Verfahren bietet eine effizientere Lösung für die Bewegungserkennung beim autonomen Fahren. Zum Vergleich mit dem Stand der Technik wird in der Segmentierung das Verfahren auf DAVIS geschult und die Daten werden auf dem Validierungsset ausgewertet. Tabelle 2: Quantitative Auswertung des KITTI MOD

AP Statisch AP Dynamisch mAP

MPNet 50,23 31,84 41,03

Zwei-Strom (Bildpaar) 60,7 44,29 52,5

Zwei-Strom (RGB + OF) 65,28 56,86 6107
Erfindungsgemäß ist ein Verfahren für die Erkennung von bewegten Objekten OB aufgezeigt. Es schätzt gemeinsam eine Bewegungsmaske 14 und eine Objekterkennung ab. Das Segmentierungsnetzwerk, das Bewegungsmasken 14 erzeugt, kombiniert Erscheinung und Bewegung. Es ist gezeigt, dass das kombinierte Erscheinungsbild und die Bewegungsabläufe im Standalone-Betrieb den Stand der Technik übertreffen.

Claims

Verfahren zum Bestimmen eines Bewegungszustands eines Objekts (OB) in einer Umgebung (8) eines Kraftfahrzeugs (1) mittels eines Fahrerassistenzsystems (2), mit den Schritten: a) Erfassen der Umgebung (8) des Kraftfahrzeugs (1) mit dem Objekt (OB) mittels einer Erfassungseinrichtung des Fahrerassistenzsystems (2); b) Erzeugen eines Bilds (11) aus der erfassten Umgebung (8) mittels einer elektronischen Recheneinrichtung (12) des Fahrerassistenzsystems (2); c) Auswerten des Bilds (11) bezüglich einer äußeren Form des Objekts (OB) mittels eines ersten neuronalen Netzes (9) des Fahrerassistenzsystems (2); d) Erzeugen eines optischen Flusses (13) aus der erfassten Umgebung (8) mittels der elektronischen Recheneinrichtung (12); e) Auswerten des optischen Flusses (12) bezüglich einer relativen Bewegung des Objekts (OB) zur Erfassungseinrichtung mittels eines zweiten neuronalen Netzes (10) des Fahrerassistenzsystems (2); gekennzeichnet durch die Schritte: f1) Erzeugen einer Bewegungsmaske (14) des Objekts (OB) zur Bestimmung des Bewegungszustands in Abhängigkeit der Auswertung der äußeren Form des Objekts (OB) und in Abhängigkeit der Auswertung der relativen Bewegung des Objekts (OB) mittels der elektronischen Recheneinrichtung (12); und/oder f2) Erzeugen eines Begrenzungsrahmens (16) des Objekts (OB) zur Bestimmung des Bewegungszustands in Abhängigkeit der Auswertung der äußeren Form des Objekts (OB) und in Abhängigkeit der Auswertung der relativen Bewegung des Objekts (OB) mittels der elektronischen Recheneinrichtung (12).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das erste neuronale Netz (9) und/oder das zweite neuronale Netz (10) als gefaltetes neuronales Netz bereitgestellt wird/werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das erste neuronale Netz (9) mit dem gleichen Gewichtungsvektor gewichtet wird, wie das zweite neuronale Netz (10).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegungsmaske (14) in Schritt f1) durch eine transponierte Faltung erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegungsmaske (14) in Schritt f1) durch eine pixelweise Klassifizierung erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erzeugung der Bewegungsmaske (14) in Schritt f1) ein Vergleich des Bilds (11) mit dem optischen Fluss (13) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erzeugung des Begrenzungsrahmens (16) in Schritt f2) das Bild (11) in eine Vielzahl von Netzzellen (17) eingeteilt wird, so dass der Begrenzungsrahmen (16) in einer jeweiligen Netzzelle (17) der Vielzahl der Netzzellen (17) vorhergesagt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Begrenzungsrahmen (16) bezüglich der Lage und der Größe des Begrenzungsrahmens (16) vorhergesagt wird. (18)
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Kraftfahrzeug, welches sich innerhalb des Begrenzungsrahmens (16) befindet, bezüglich einer Kraftfahrzeugart klassifiziert wird. (19)
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Begrenzungsrahmen (16) bezüglich des Bewegungszustands des Objekts (OB) klassifiziert wird. (20)
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bewegungszustand ein statischer oder ein dynamischer Bewegungszustand bestimmt wird. (20)
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Eigenbewegung der als Kamera (4) ausgebildeten Erfassungseinrichtung, insbesondere des Kraftfahrzeugs (1), bei der Bestimmung des Bewegungszustands berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung des Bewegungsrahmens (16) ein drittes neuronales Netz (21), insbesondere ein 1x1 gefaltetes neuronales Netz, genutzt wird.
Fahrerassistenzsystem (2) mit einer Erfassungseinrichtung, mit einer elektronischen Recheneinrichtung (12), mit zumindest einem ersten neuronalen Netz (9) und mit zumindest einem zweiten neuronalen Netz (10), wobei das Fahrerassistenzsystem (2) dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 14 durchzuführen.
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 14.