DE102020121061A1

DE102020121061A1 - Verfahren zum Betreiben eines Assistenzsystems zur Bestimmung einer Länge eines Objekts, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem

Info

Publication number: DE102020121061A1
Application number: DE102020121061.2A
Authority: DE
Inventors: Muhammad Nassef Abdelkader Hassaan; Jean-Francois Bariant
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2020-08-11
Filing date: 2020-08-11
Publication date: 2022-02-17
Also published as: EP4196903A1; US20230267633A1; CN116097317A; WO2022033905A1; JP2023537987A

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems (2), bei welchem ein Objekt (9) erfasst wird und das Objekt (9) zur weiteren Auswertung mittels einer elektronischen Recheneinrichtung (5) klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge (L) des Objekts (9) vorgegeben wird, und wobei zusätzlich das Objekt (9) mittels einer Kamera (4) erfasst, ausgewertet und klassifiziert wird und eine zweite Länge (L) des Objekts (9) bestimmt wird und die Klassifizierung und die zweite Länge (L) an die elektronische Recheneinrichtung (5) übertragen werden, wobei die vorgegebene erste Länge (L) in Abhängigkeit von zweiten Länge (L) zu einer aktuellen Länge (L) angepasst wird und mittels eines beschränkten Kalman-Filters (7) die aktuelle Länge (L) aktualisiert wird, wobei die Beschränkung des Kalman-Filters (7) durch die mittels der Kamera (4) bestimmte Klassifizierung vorgegeben ist. ferner betrifft die Erfindung ein Computer Programmprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem (2).

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs, bei welchem ein Objekt in einer Umgebung des Kraftfahrzeugs mittels einer Erfassungseinrichtung des Assistenzsystems erfasst wird und das Objekt mittels einer elektronischen Recheneinrichtung des Assistenzsystems zur weiteren Auswertung mittels der elektronischen Recheneinrichtung klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge des Objekts für die weitere Auswertung mittels der elektronischen Recheneinrichtung vorgegeben wird, und wobei zusätzlich das Objekt mittels einer Kamera des Assistenzsystems erfasst und ausgewertet und mittels der Kamera klassifiziert wird und eine zweite Länge des Objekts bestimmt wird und die Klassifizierung und die zweite Länge an die elektronische Recheneinrichtung zur weiteren Auswertung übertragen werden. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem.
Es ist bekannt, dass Kameras in Kraftfahrzeugen, beispielsweise eine Frontkamera im Kraftfahrzeug, keine Länge eines dynamischen Objekts messen können. Die Kamera klassifiziert das Objekt und in Abhängigkeit von dieser Klassifizierung wird dann eine vorgegebene Länge zu diesem Objekt bestimmt. Insbesondere ist die Klassifizierung der Kamera nicht sehr stabil, da diese beispielsweise mehrfach die Klasse ändert, beispielsweise von einem Personenkraftwagen zu einem Lastkraftwagen. Sollte dann die vorgegebene Länge von der Kamera zu einer Aktualisierung einer Objektinformation, beispielsweise bei einem Objekt-Tracking, durchgeführt werden, so kann eine Änderung der Länge, beispielsweise auf Basis eines anderen Sensors, nicht durchgeführt werden. Beispielsweise kann von der Kamera vorgegeben werden, dass ein Objekt 2,5 m lang ist, während beispielsweise eine Lidarsensor-Einrichtung eine Information gibt, dass das Objekt 5 m lang ist. Dies führt bei einem Tracking-Algorithmus zu Konflikten, so dass nur schwer die entsprechende Länge bestimmt und genutzt werden kann.
Die US 2013/0245929 A1 offenbart ein Filterverfahren für Sensordaten, die von einem Sensorsystem zur Erfassung von Objekten gebildet werden. Es erfolgen ein Messen eines Skalierungswerts aus den Sensordaten, wobei der Skalierungswert einer Änderung der Größe eines Objektes aus den Sensordaten über ein Zeitintervall entspricht, sowie ein Bestimmen eines Messfehlerparameters des Skalierungswerts und ein Ausführen einer Kalman-Filterung, die unmittelbar auf dem gemessenen Skalierungswert, dem Zeitintervall und dem Messfehlerparameter basiert, um mindestens einen normierten Bewegungsparameter des Objekts relativ zum Sensorsystem abzuschätzen.
Die CN105631414 A bezieht sich auf eine Fahrzeug-getragene Vorrichtung und Methode zur Klassifizierung von mehreren Hindernissen auf der Grundlage eines Bayes-Klassifikators. Die Klassifizierungsvorrichtung besteht aus einer Kamera und einem PC, der mit Kamera verbunden ist, einem Kalman-Filter-Modul zur Durchführung der Kalman-Filterung an dem von einer Kamera aufgenommenen Videobild der Fahrzeugfront und zur Erkennung eines Hindernisses, einem Merkmalsextraktionsmodul, das zur Durchführung der Merkmalsextraktion an dem erkannten Hindernis verwendet wird, und einem Bayes-Klassifizierungsmodul, das für die Verwendung eines Bayes-Klassifikators verwendet wird, um die Klassifizierung des Hindernisziels gemäß den Merkmalen des Hindernisziels zu erhalten, wobei die Merkmale ein Symmetriemerkmal, ein Merkmal der horizontalen Kantengeradheit und ein Merkmal des Längen- und Breitenverhältnisses umfassen und die Klassifizierung einen Radfahrer/Motorradfahrer, eine Fahrzeugseitenfläche, eine Fahrzeugvorderseite und Fußgänger umfasst.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem zu schaffen, mittels welchem eine verbesserte Objektverfolgung für ein Kraftfahrzeug durchgeführt werden kann.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs, bei welchem ein Objekt in einer Umgebung des Kraftfahrzeugs mittels einer Erfassungseinrichtung des Assistenzsystems erfasst wird und das Objekt mittels einer elektronischen Recheneinrichtung des Assistenzsystems zur weiteren Auswertung mittels der elektronischen Recheneinrichtung klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge des Objekts für die weitere Auswertung mittels der elektronischen Recheneinrichtung vorgegeben wird und wobei zusätzlich das Objekt mittels einer Kamera des Assistenzsystems erfasst und ausgewertet wird und mittels der Kamera klassifiziert wird und eine zweite Länge des Objekts bestimmt wird und die Klassifizierung und die zweite Länge an die elektronische Recheneinrichtung zur weiteren Auswertung übertragen werden.
Es ist vorgesehen, dass die vorgegebene erste Länge in Abhängigkeit von der mittels der Kamera bestimmten zweiten Länge zu einer aktuellen Länge mittels der elektronischen Recheneinrichtung angepasst wird und mittels eines beschränkten Kalman-Filters der elektronischen Recheneinrichtung die aktuelle Länge aktualisiert wird, wobei die Beschränkung des Kalman-Filters durch die mittels der Kamera bestimmten Klassifizierung vorgegeben ist.
Dadurch ist es ermöglicht, dass eine verbesserte Objektverfolgung, welche auch als Objekt-Tracking bezeichnet werden kann, durchgeführt werden kann. Insbesondere können somit beispielsweise aktuelle Längeninformationen über das Objekt angepasst werden. Insbesondere löst somit die Erfindung das Problem, dass mittels anderer Sensoren die mittels der Kamera bestimmte Länge aktualisiert werden kann, ohne dass Konflikte zwischen weiteren Informationen über die Länge mit den anderen Sensoren entstehen.
Mit anderen Worten ist ein Verfahren zum Verarbeiten der Daten einer Fahrzeugkamera, insbesondere einer Frontkamera, vorgeschlagen beziehungsweise zum Tracken von Objekten in der Fahrzeugumgebung mittels einer Karte, wobei eine Länge eines Objekts, zum Beispiel ein anderes Fahrzeug oder ein Lastwagen, bestimmt werden kann und diese Länge nun weiterbearbeitet wird, wobei hierzu insbesondere der Beschränkung Kalman-Filter genutzt wird. Der beschränkte Kalman-Filter kann auch als Constrained-Kalman-Filter bezeichnet werden.
Es kann also abhängig von der mittels der Kamera bestimmten Klasse dann beispielsweise eine minimale Länge, beispielsweise 2,5 m für Personenkraftwagen oder 5 m für Lastkraftwagen vorgegeben werden oder eine maximale Länge, beispielsweise 5 m für Personenkraftwagen, wobei diese Vorgabe dann wiederum als Beschränkung dem Kalman-Filter zur Bestimmung der Länge vorgegeben wird, so dass diese in diesen Minimal- und Maximalwerten liegen.
Insbesondere wird somit die Klassifizierung des Objekts durchgeführt, um eine Länge des Objekts abzuschätzen. Der Kalman-Filter filtert insbesondere über die Zeit, wobei eine Wahrscheinlichkeit, insbesondere durch empirische Versuche, vorgegeben wird. Durch die entsprechende Klassifizierung des Objekts in einer Objektklasse kann insbesondere eine Mindestlänge und/oder eine Maximallänge für das Objekt vorgegeben werden. Der Kalman-Filter arbeitet dann wiederum unter einer Bedingung beziehungsweise Beschränkung, wobei diese Beschränkung für den Kalman-Filter die bestimmte Klasse der Kamera ist.
Insbesondere kann mittels der nachfolgenden Formel unter der Bedingung D*x=d die Filterung mittels des beschränkten Kalman-Filters durchgeführt werden: $λ = {(D P_{n} D^{T})}^{- 1} D (\hat{x_{n}} - \tilde{x}) = {(D P_{n} D^{T})}^{- 1} (D \hat{x_{n}} - d)$
Hierdurch entsteht die Beschränkung als Schätzung: $\begin{matrix} P_{n}^{- 1} (\tilde{x} - \hat{x_{n}}) + D^{T} λ = 0 \Leftrightarrow \tilde{x} - \hat{x_{n}} + P_{n} D^{T} λ = 0 \\ \Leftrightarrow \tilde{x} = \hat{x_{n}} - P_{n} D^{T} λ = \hat{x_{n}} - P_{n} D^{T} {(D P_{n} D^{T})}^{- 1} (D \hat{x_{n}} - d) \end{matrix}$
, wobei λ dem Langrage-Multiplikator entspricht und wird typischerweise verwendet, um die Lösung eines Least-Square-Problems mit einer Nebenbedingung zu finden. 2 beschreibt die neue Schätzung unter Berücksichtigung der Beschränkung. $\hat{x_{n}}$
entspricht der Erwartung der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. P_n ist die Kovarianzmatrix der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. D ist die Matrix, die die lineare Beschränkung auf den Zustand angibt, beispielsweise wenn nur ein bestimmter Wert des Zustands an einen festen Wert gebunden werden soll, D=[0,0,0,1], wenn dies der vierte Wert des Zustands ist. D kann auch verwendet werden, um eine Beschränkung auf eine lineare Kombination der Zustandsparameter zu spezifizieren, beispielsweise wird D=[1 ,0,0,0,0.5] eine Beschränkung auf die erste Komponente des Zustands plus die Hälfte der letzten Komponente spezifizieren. Es können mehrere lineare Beschränkungen gleichzeitig angegeben werden, dann hat D mehrere Zeilen, wie beispielsweise D=[0,0,0,1 ; 1,0,0,0,0] gibt zwei Beschränkungen an, eine auf den ersten Wert, eine auf den letzten Wert des Zustands. d ist der Wert der gewünschten Beschränkung(en). Die Anzahl der Zeilen von d ist die gleiche wie D.
Gemäß einer vorteilhaften Ausgestaltungsform wird mittels eines Bayes-Filters der Kamera das Objekt in der Kamera klassifiziert. Insbesondere kann mittels des Bayes-Filters eine einfache und dennoch zuverlässige Methode bereitgestellt werden, mittels welcher die Klassifizierung der Kamera durchgeführt werden kann. Insbesondere nutzt das Bayes-Filter entsprechende Wahrscheinlichkeiten und kann unter gegebenen Bedingungen entscheiden, ob ein Klassenwechsel stattgefunden hat. Insbesondere wird somit das Bayes-Filter zwischen die Klassifizierung der Kamera und der elektronischen Recheneinrichtung geschaltet, so dass ein sporadischer Klassenwechsel der Kamera mittels des Bayes-Filters herausgefiltert werden kann. Somit kann ein kurzfristiger Klassensprung bei der Auswertung der Kamera vernachlässigt werden, so dass eine zuverlässigere Klassifizierung durchgeführt werden kann. Die Klassifizierung des Bayes-Filters wird dann wiederum an die elektronische Recheneinrichtung zur weiteren Auswertung übertragen.
Weiterhin vorteilhaft ist, wenn als Objektklassen der Kamera und/oder elektronischen Recheneinrichtung ein Personenkraftwagen und ein Lastkraftwagen und ein Fußgänger und ein Fahrrad und ein Motorrad zum Klassifizieren vorgegeben werden. Somit können unterschiedliche Objektklassen vorgegeben werden, wobei dann das Objekt in einer dieser Klassen eingeteilt werden kann. Insbesondere sind somit mögliche Verkehrsteilnehmer klassifizierbar, wodurch eine robuste Objektverfolgung ermöglicht ist.
Weiterhin vorteilhaft ist, wenn jedem der Objektklassen der Kamera bei Beginn einer Klassifizierung eine gleiche Wahrscheinlichkeit im Bayes-Filter zugewiesen wird. Sollten beispielsweise fünf Klassen vorgegeben werden, so würde die Wahrscheinlichkeit im Bayes-Filter zu Beginn der Objektklassifizierung insbesondere 0,2 sein. Somit wird bei einer Initialisierung der Objektverfolgung den jeweiligen Wahrscheinlichkeiten für die Objektklassen der gleiche Wert zugewiesen.
Ferner hat es sich als vorteilhaft erwiesen, wenn die Wahrscheinlichkeit im Bayes-Filter aufaddiert einen Wert von 1 ergeben. Somit können unterschiedliche Objektklassen berücksichtigt werden, wobei mittels des Bayes-Filters eine robuste Objektverfolgung, welche insbesondere dem sporadischen Objektklassenwechsel durch die Kamera entgegentritt, durchgeführt wird.
In einer weiteren vorteilhaften Ausgestaltungsform wird mittels einer weiteren elektronischen Recheneinrichtung der Kamera eine Objektklasse bestimmt und diese an das Bayes-Filter übertragen und eine jeweilige Wahrscheinlichkeit einer Objektklasse im Bayes-Filter nach einer jeweiligen Objektklassenbestimmung durch die weitere elektronische Recheneinrichtung der Kamera erhöht. Insbesondere kann somit von der Kamera eine Objektklasse bestimmt werden, welche dann wiederum dem Bayes-Filter übertragen wird. Sollte dann beispielsweise die Kamera einen Personenkraftwagen als Objektklasse bestimmen, so erhöht das Bayes-Filter die Wahrscheinlichkeit für die Objektklasse Personenkraftwagen, während die anderen Wahrscheinlichkeiten für die anderen Klassen sinken. Beispielsweise, wenn die Kamera mittels der weiteren elektronischen Recheneinrichtung bestimmt, dass das Objekt der Objektklasse einem Personenkraftwagen zugeordnet werden kann, so wird die Wahrscheinlichkeit im Bayes-Filter beispielsweise auf 0,7 gesetzt. Die weiteren Wahrscheinlichkeiten für die weiteren Objektklassen sinken dementsprechend. Somit kann die Klassifizierung der Kamera gefiltert werden, wodurch eine robustere Objektverfolgung durchgeführt werden kann.
Ferner hat es sich als vorteilhaft erwiesen, wenn beim Erreichen eines Wahrscheinlichkeitsschwellwerts für eine der Objektklassen durch das Bayes-Filter die Klassifizierung des Objekts mittels der Kamera durchgeführt wird und diese an die elektronische Recheneinrichtung übertragen wird. Insbesondere kann beispielsweise vorgesehen sein, sollte die Wahrscheinlichkeit im Bayes-Filter höher als 0,6 liegen, so wird vom Bayes-Filter eine entsprechende Klassifizierung durchgeführt. Sollte dann ein Wechsel durch die Kamera durchgeführt werden, wobei die Kamera dann wiederum dem Bayes-Filter eine andere Objektklasse übergibt, so wird das Bayes-Filter diese Information zurückweisen, da die Wahrscheinlichkeit noch zu hoch ist, um einen Objektklassenwechsel durchzuführen. Damit ein Objektklassenwechsel durch die Informationen der Kamera durchgeführt wird, sollte die Kamera den Bayes-Filter über eine vorgegeben Zeit mitteilen, dass eine entsprechende Klassenänderung durchzuführen ist.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn bei einem Wert von 0,6 als Wahrscheinlichkeitsschwellwert eine Klassifizierung des Objekts mittels des Bayes-Filters durchgeführt wird. Somit kann eine robuste Objektverfolgung durchgeführt werden, da erst bei einem Überschreiten von 0,6 als Wahrscheinlichkeit eine entsprechende Klassifizierung durchgeführt wird. Dadurch können sporadische Klassenwechsel durch die Kamera unberücksichtigt bleiben.
Ebenfalls vorteilhaft ist, wenn die Beschränkung des Kalman-Filters als lineare Beschränkung vorgegeben wird. Insbesondere kann beispielsweise vorgesehen sein, dass der beschränkte Kalman-Filter von einer Schätzung des Kalman-Filters nach einer Messungsaktualisierung (Update) x_n und eine weitere Abschätzung x durchführt, so dass die lineare Beschränkung $D * x = d$
erfüllt. Dadurch kann eine zuverlässige Objektverfolgung durchgeführt werden.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird, wenn die mittels der Kamera bestimmte zweite Länge des Objekts größer ist als die vorgegebene erste Länge, dann die aktuelle Länge mittels des beschränkten Kalman-Filters an die mittels der Kamera bestimmten zweite Länge angepasst. Somit ist eine zuverlässige Längenaktualisierung ermöglicht.
Ferner wird, wenn die mittels der Kamera bestimmte zweite Länge des Objekts kleiner ist als die vorgegebene erste Länge, dann die aktuelle Länge mittels des Kalman-Filters an die vorgegebene erste Länge angepasst. Dadurch kann eine zuverlässige und robuste Längenaktualisierung durchgeführt werden.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn mittels einer Ultraschallsensor-Einrichtung und/oder mittels einer Radarsensor-Einrichtung und/oder mittels einer Lidarsensor-Einrichtung als Erfassungseinrichtung das Objekt in der Umgebung erfasst wird. Bevorzugt kann das Objekt mittels der Radarsensor-Einrichtung und/oder mittels der Lidarsensor-Einrichtung erfasst werden, da diese insbesondere eine große Reichweite und eine große Auflösung aufweisen. Des Weiteren kann mittels der Radarsensor-Einrichtung und/oder mittels der Lidarsensor-Einrichtung zuverlässig eine Länge des Objekts bestimmt werden.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Betreiben des Assistenzsystems nach dem vorhergehenden Aspekt durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung abgearbeitet wird.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein computerlesbares Speichermedium mit einem Computerprogrammprodukt nach dem vorhergehenden Aspekt. Das Computerlesbare Speichermedium kann insbesondere als Teil einer elektronischen Recheneinrichtung ausgebildet sein.
Ein weiterer Aspekt der Erfindung betrifft ein Assistenzsystem für ein Kraftfahrzeug mit zumindest einer Erfassungseinrichtung, mit einer Kamera und mit einer elektronischen Recheneinrichtung, welche zumindest einen beschränkten Kalman-Filter aufweist, wobei das Assistenzsystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Assistenzsystems durchgeführt.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Assistenzsystem gemäß dem vorhergehenden Aspekt. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Das Kraftfahrzeug kann insbesondere als zumindest teilweise autonomes Kraftfahrzeug beziehungsweise als vollautonomes Kraftfahrzeug betrieben werden.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts, des computerlesbaren Speichermediums, des Assistenzsystems sowie des Kraftfahrzeugs anzusehen. Das Assistenzsystems sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Dabei zeigen:

1 eine schematische Draufsicht auf ein Kraftfahrzeug mit einer Ausführungsform eines Assistenzsystems; und
2 ein schematisches Ablaufdiagramm gemäß einer Ausführungsform des Verfahrens.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
1 zeigt eine schematische Draufsicht auf ein Kraftfahrzeug 1 mit einer Ausführungsform eines Assistenzsystems 2. Das Assistenzsystem 2 weist zumindest eine Erfassungseinrichtung 3 sowie eine Kamera 4 auf. Ferner weist das Assistenzsystem 2 eine elektronische Recheneinrichtung 5 auf. Die Kamera 4 weist insbesondere ferner eine weitere elektronische Recheneinrichtung 6 auf. Die elektronische Recheneinrichtung 5 weist insbesondere ferner einen beschränkten Kalman-Filter 7 auf. Die Erfassungseinrichtung 3 kann insbesondere als Ultraschallsensor-Einrichtung und/oder als Radarsensor-Einrichtung und/oder als Lidarsensor-Einrichtung ausgebildet sein.
Ferner zeigt die 1, dass in einer Umgebung 8 des Kraftfahrzeugs 1 ein Objekt 9 erfasst werden kann. Das Objekt 9 kann beispielsweise ein Personenkraftwagen, ein Lastkraftwagen, ein Fußgänger, ein Fahrrad oder ein Motorrad sein. Vorliegend ist insbesondere das Objekt 9 als Lastkraftwagen dargestellt.
2 zeigt in einer schematischen Ansicht ein Ablaufdiagramm des Verfahrens. Bei dem Verfahren zum Betreiben des Assistenzsystems 2 des Kraftfahrzeugs 1 wird das Objekt 9 in der Umgebung 8 des Kraftfahrzeugs 1 mittels der Erfassungseinrichtung 3 des Assistenzsystems 2 erfasst, und das Objekt 9 wird mittels der elektronischen Recheneinrichtung 5 des Assistenzsystems 2 zur weiteren Auswertung mittels der elektronischen Recheneinrichtung 5 klassifiziert, wobei in Abhängigkeit von der Klassifizierung eine erste Länge L des Objekts 9 für die weitere Auswertung mittels der elektronischen Recheneinrichtung 5 vorgegeben wird, und wobei zusätzlich das Objekt 9 mittels der Kamera 4 des Assistenzsystems 2 erfasst und ausgewertet wird und mittels der Kamera 4 klassifiziert wird und eine zweite Länge L des Objekts 9 bestimmt wird und die Klassifizierung und die zweite Länge L an die elektronische Recheneinrichtung 5 zur weiteren Auswertung übertragen werden.
Es ist vorgesehen, dass die vorgegebene erste Länge L in Abhängigkeit von der mittels der Kamera 4 bestimmten zweiten Länge L zu einer aktuellen Länge L mittels der elektronischen Recheneinrichtung 5 angepasst wird und mittels des beschränkten Kalman-Filters 7 der elektronischen Recheneinrichtung 5 die Länge L aktualisiert wird, wobei die Beschränkung des Kalman-Filters 7 durch die mittels der Kamera 4 bestimmte Klassifizierung vorgegeben ist.
Insbesondere kann vorgesehen sein, dass mittels eines Bayes-Filters 10 der Kamera 4 das Objekt 9 in der Kamera 4 klassifiziert wird. Als Objektklassen der Kamera 4 und/oder der elektronischen Recheneinrichtung 5 kann beispielsweise ein Personenkraftwagen und ein Lastkraftwagen und ein Fußgänger und ein Fahrrad und ein Motorrad zum Klassifizieren vorgegeben werden.
Insbesondere wird in einem ersten Schritt S1 des Verfahrens jedem der Objektklassen der Kamera 4 bei Beginn einer Klassifizierung eine gleiche Wahrscheinlichkeit im Bayes-Filter 10 zugewiesen. Die Wahrscheinlichkeiten im Bayes-Filter 10 ergeben aufaddiert insbesondere den Wert von 1.
In einem zweiten Schritt S2 des Verfahrens ist insbesondere vorgesehen, dass mittels der weiteren elektronischen Recheneinrichtung 6 der Kamera 4 eine Objektklasse bestimmt wird und diese an das Bayes-Filter 10 übertragen wird und eine jeweilige Wahrscheinlichkeit einer Objektklasse im Bayes-Filter 10 nach einer jeweiligen Objektklassenbestimmung durch die weitere elektronische Recheneinrichtung 6 der Kamera 4 erhöht wird. Mit anderen Worten kann insbesondere vorgesehen sein, wenn die Klassifizierung durch die Kamera 4 durchgeführt wurde, wird diese dem Bayes-Filter 10 übertragen, wobei die Wahrscheinlichkeiten beispielsweise derart definiert sind, dass eine Wahrscheinlichkeit angibt, dass die Kamera 4 beispielsweise vorgibt, dass das Objekt 9 ein Kraftfahrzeug ist, wobei das Objekt 9 auch ein Kraftfahrzeug ist. Somit kann eine True-Positive-Rate für das Kraftfahrzeug beziehungsweise den Personenkraftwagen vorgegeben werden. Ferner benötigt der Bayes-Filter auch die Wahrscheinlichkeiten für den Fall, dass die Kamera 4 wiedergibt, dass es sich nicht um einen Personenkraftwagen handelt, obwohl es sich um einen Personenkraftwagen handelt. In der Summe sind alle Wahrscheinlichkeiten 1. Insbesondere wird erst bei einem Erreichen eines Wahrscheinlichkeitsschwellwerts für eine der Objektklassen durch das Bayes-Filter 10 die Klassifizierung des Objekts 9 mittels der Kamera 4 durchgeführt und diese an die elektronische Recheneinrichtung 5 übertragen, wobei der Wahrscheinlichkeitsschwellwert beispielsweise bei 0,6 liegen kann.
In einem dritten Schritt S3 erfolgt dann die Bestimmung der Länge L mittels des beschränkten Kalman-Filters 7, wobei die Beschränkung insbesondere eine lineare Beschränkung ist. Beispielsweise kann von dem Bayes-Filter 10 eine Klasse mit der höchsten Wahrscheinlichkeit ausgewählt werden. Abhängig von dieser Klasse kann dann beispielsweise eine minimale Länge, beispielsweise 2,5 m für Personenkraftwagen oder 5 m für Lastkraftwagen vorgegeben werden oder eine maximale Länge, beispielsweise 5 m für Personenkraftwagen, wobei diese Vorgabe dann wiederum als Beschränkung dem Kalman-Filter 7 zur Bestimmung der Länge L vorgegeben wird, so dass die bestimmte Länge L in diesen Minimal- und Maximalwertebereichen liegen. Ferner kann im dritten Schritt S3 insbesondere vorgesehen sein, dass, wenn die mittels der Kamera 4 bestimmte Länge L des Objekts 9 größer ist als die vorgegebene erste Länge L, dann die aktuelle Länge L mittels des beschränkten Kalman-Filters 7 an die mittels der Kamera 4 bestimmte zweite Länge L angepasst wird. Alternativ, wenn die mittels der Kamera 4 bestimmte Länge L des Objekts 9 kleiner ist als die vorgegebene erste Länge L, dann wird die aktuelle Länge L mittels des beschränkten Kalman-Filters 7 an die vorgegebene erste Länge L angepasst.
Insbesondere kann die Beschränkung der Kalman-Filterung beispielsweise mit einer Kalman-Filter-Schätzung nach dem ersten Erfassungs-Update x_n und einer weiteren Schätzung x durchgeführt werden, wobei diese dann die lineare Beschränkung erfüllt $D * x = d$
Insbesondere kann mittels der nachfolgenden Formel unter der Bedingung D*x=d die Filterung mittels des beschränkten Kalman-Filters durchgeführt werden: $λ = {(D P_{n} D^{T})}^{- 1} D (\hat{x_{n}} - \tilde{x}) = {(D P_{n} D^{T})}^{- 1} (D \hat{x_{n}} - d)$
Hierdurch entsteht die Beschränkung als Schätzung: $\begin{matrix} P_{n}^{- 1} (\tilde{x} - \hat{x_{n}}) + D^{T} λ = 0 \Leftrightarrow \tilde{x} - \hat{x_{n}} + P_{n} D^{T} λ = 0 \\ \Leftrightarrow \tilde{x} = \hat{x_{n}} - P_{n} D^{T} λ = \hat{x_{n}} - P_{n} D^{T} {(D P_{n} D^{T})}^{- 1} (D \hat{x_{n}} - d) \end{matrix}$
, wobei λ dem Langrage-Multiplikator entspricht und wird typischerweise verwendet, um die Lösung eines Least-Square-Problems mit einer Nebenbedingung zu finden. x̃ beschreibt die neue Schätzung unter Berücksichtigung der Beschränkung. $\hat{x_{n}}$
entspricht der Erwartung der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. P_n ist die Kovarianzmatrix der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. D ist die Matrix, die die lineare Beschränkung auf den Zustand angibt, beispielsweise wenn nur ein bestimmter Wert des Zustands an einen festen Wert gebunden werden soll, D=[0,0,0,1], wenn dies der vierte Wert des Zustands ist. D kann auch verwendet werden, um eine Beschränkung auf eine lineare Kombination der Zustandsparameter zu spezifizieren, beispielsweise wird D=[1,0,0,0,0.5] eine Beschränkung auf die erste Komponente des Zustands plus die Hälfte der letzten Komponente spezifizieren. Es können mehrere lineare Beschränkungen gleichzeitig angegeben werden, dann hat D mehrere Zeilen, wie beispielsweise D=[0,0,0,1 ; 1,0,0,0,0] gibt zwei Beschränkungen an, eine auf den ersten Wert, eine auf den letzten Wert des Zustands. d ist der Wert der gewünschten Beschränkung(en). Die Anzahl der Zeilen von d ist die gleiche wie D.
Insgesamt zeigt die Figur eine Bestimmung der Länge mittels einer Kamera 4 basierend auf einer gefilterten Klasse.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2013/0245929 A1 [0003]
CN 105631414 A [0004]

Claims

Verfahren zum Betreiben eines Assistenzsystems (2) eines Kraftfahrzeugs (1), bei welchem ein Objekt (9) in einer Umgebung (8) des Kraftfahrzeugs (1) mittels einer Erfassungseinrichtung (3) des Assistenzsystems (2) erfasst wird und das Objekt (9) mittels einer elektronischen Recheneinrichtung (5) des Assistenzsystem (2) zur weiteren Auswertung mittels der elektronischen Recheneinrichtung (5) klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge (L) des Objekts (9) für die weitere Auswertung mittels der elektronischen Recheneinrichtung (5) vorgegeben wird, und wobei zusätzlich das Objekt (9) mittels einer Kamera (4) des Assistenzsystems (2) erfasst und ausgewertet wird und mittels der Kamera (4) klassifiziert wird und eine zweite Länge (L) des Objekts (9) bestimmt wird und die Klassifizierung und die zweite Länge (L) an die elektronische Recheneinrichtung (5) zur weiteren Auswertung übertragen werden, dadurch gekennzeichnet, dass die vorgegebene erste Länge (L) in Abhängigkeit von der mittels der Kamera (4) bestimmten zweiten Länge (L) zu einer aktuellen Länge (L) mittels der elektronischen Recheneinrichtung (5) angepasst wird und mittels eines beschränkten Kalman-Filters (7) der elektronischen Recheneinrichtung (5) die aktuelle Länge (L) aktualisiert wird, wobei die Beschränkung des Kalman-Filters (7) durch die mittels der Kamera (4) bestimmte Klassifizierung vorgegeben ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mittels eines Bayes-Filters (10) der Kamera (4) das Objekt (9) in der Kamera (4) klassifiziert wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Objektklassen der Kamera (4) und/oder der elektronischen Recheneinrichtung (5) ein Personenkraftwagen und ein Lastkraftwagen und ein Fußgänger und ein Fahrrad und ein Motorrad zum Klassifizieren vorgegeben werden.
Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass jedem der Objektklassen der Kamera (4) bei Beginn einer Klassifizierung eine gleiche Wahrscheinlichkeit im Bayes-Filter (10) zugewiesen wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Wahrscheinlichkeiten im Bayes-Filter (10) aufaddiert einen Wert von 1 ergeben.
Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass mittels einer weiteren elektronischen Recheneinrichtung (6) der Kamera (4) eine Objektklasse bestimmt wird und diese an das Bayes-Filter (10) übertragen wird und eine jeweilige Wahrscheinlichkeit einer Objektklasse im Bayes-Filter (10) nach einer jeweiligen Objektklassenbestimmung durch die weitere elektronische Recheneinrichtung (6) der Kamera (4) erhöht wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass bei einem Erreichen eines Wahrscheinlichkeitsschwellwerts für eine der Objektklassen durch das Bayes-Filter (10) die Klassifizierung des Objekts (9) mittels der Kamera (4) durchgeführt wird und diese an die elektronische Recheneinrichtung (5) übertragen wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass bei einem Wert von 0,6 als Wahrscheinlichkeitsschwellwert eine Klassifizierung des Objekts (9) mittels des Bayes-Filters (10) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Beschränkung des Kalman-Filters (7) als lineare Beschränkung vorgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenn die mittels der Kamera (4) bestimmte zweite Länge (L) des Objekts (9) größer ist als die vorgegebene erste Länge (L), dann wird die aktuelle Länge (L) mittels des beschränkten Kalman-Filters (7) an die mittels der Kamera (4) bestimmten zweiten Länge (L) angepasst.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass wenn die mittels der Kamera (4) bestimmte zweite Länge (L) des Objekts (9) kleiner ist als die vorgegebene erste Länge (L), dann wird die aktuelle Länge (L) mittels des beschränkten Kalman-Filters (7) an die vorgegebene erste Länge (L) angepasst.
Verfahren ach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer Ultraschallsensoreinrichtung und/oder mittels einer Radarsensoreinrichtung und/oder mittels einer Lidarsensoreinrichtung als Erfassungseinrichtung (3) das Objekt (9) in der Umgebung (8) erfasst wird.
Computerprogrammprodukt mit Programmcodemitteln mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren nach einem der vorhergehenden Ansprüche 1 bis 12 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung (5) abgearbeitet wird.
Computerlesbares Speichermedium mit einem Computerprogrammprodukt nach Anspruch 13.
Assistenzsystem (2) für ein Kraftfahrzeug (1) mit zumindest einer Erfassungseinrichtung (3), mit einer Kamera (4) und mit einer elektronischen Recheneinrichtung (5), welche zumindest einen beschränkten Kalman-Filter (7) aufweist, wobei das Assistenzsystem (2) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 ausgebildet ist.