-
Die Erfindung betrifft ein Verfahren zum Klassifizieren eines Objekts in einem Umfeld eines Kraftfahrzeugs. Es wird das Objekt mit einem Umfeldsensor des Kraftfahrzeugs erfasst und es wird zumindest ein Merkmal des Objekts bestimmt. Das Merkmal wird mit zumindest einem Referenzmerkmal verglichen und anhand des Vergleichs wird ein Ähnlichkeitswert bestimmt. Das Objekt wird einer das Referenzmerkmal aufweisenden vorbestimmten Objektklasse zugeordnet, falls der Ähnlichkeitswert größer als ein Ähnlichkeitsgrenzwert ist. Des Weiteren betrifft die Erfindung auch ein Fahrerassistenzsystem für ein Kraftfahrzeug, welches dazu ausgebildet ist, ein dementsprechendes Verfahren auszuführen.
-
Verfahren zum Klassifizieren eines Objekts in einem Umfeld eines Kraftfahrzeugs sind aus dem Stand der Technik bekannt. Vorliegend wird das Klassifizieren mit maschinellem Lernen durchgeführt. Beim maschinellen Lernen steht am Anfang eine Trainingsphase. Dabei werden zunächst einige definierte Fälle, deren Resultat bekannt ist, dem Verfahren als Trainingsbeispiele zugeführt und es werden Merkmale aus den Trainingsdaten extrahiert. Normalerweise sind dafür mehrere Objekte als Trainingsbeispiele notwendig, um eine Klasse erstellen zu können, damit das Verfahren einen Bereich von Merkmalen extrahieren kann.
-
Ein Beispiel ist das Einordnen bzw. Klassifizieren von Verkehrsteilnehmern. Verkehrsteilnehmer werden entsprechend ihrer Beschaffenheit und des Verhaltens in die Klassen Personenkraftwagen, Lastkraftwagen und Fußgänger eingeordnet. Beim Anlernen werden dem Programm die Trainingsdaten, das heißt Verkehrsteilnehmer, deren Objektklasse bekannt ist, gezeigt und das Programm extrahiert die Merkmale aus den Trainingsdaten. Anhand der extrahierten Daten werden alle weiteren Verkehrsteilnehmer klassifiziert.
-
Ein Problem ergibt sich, falls Objekte erfasst werden, denen keine Klasse zugeordnet werden kann. Diese Objekte werden bisher sämtlich der Klasse Sonstige zugeordnet.
-
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zu schaffen, bei welchem bisher unbekannte Objekte genauer klassifiziert werden können. Dadurch kann die Sicherheit des Kraftfahrzeugs erhöht werden.
-
Diese Aufgabe wird durch ein Verfahren und ein Fahrerassistenzsystem gemäß den unabhängigen Ansprüchen gelöst.
-
Bei dem erfindungsgemäßen Verfahren zum Klassifizieren eines Objekts in einem Umfeld eines Kraftfahrzeugs wird das Objekt mit einem Umfeldsensor des Kraftfahrzeugs erfasst. Es wird zumindest ein Merkmal des Objekts bestimmt und das Merkmal wird mit zumindest einem Referenzmerkmal verglichen. Anhand des Vergleichs wird ein Ähnlichkeitswert bestimmt und das Objekt wird einer das Referenzmerkmal aufweisenden vorbestimmten Objektklasse zugeordnet, falls der Ähnlichkeitswert größer als ein Ähnlichkeitsgrenzwert ist. Ein wesentlicher Gedanke der Erfindung ist darin zu sehen, dass eine von der vorbestimmten Objektklasse unterschiedliche neue Objektklasse anhand des Merkmals erzeugt wird und das Objekt der neuen Objektklasse zugeordnet wird, falls der Ähnlichkeitswert kleiner als der Ähnlichkeitsgrenzwert ist.
-
Dadurch kann das Objekt detaillierter klassifiziert werden und das Kraftfahrzeug wird sicherer betrieben.
-
Der Erfindung liegt die Erkenntnis zugrunde, dass mit dem durch die Sensordaten bereitgestellten Wissen über das Objekt eine neue, bisher unbekannte Klasse geschaffen bzw. erzeugt werden kann. Bei bekannten Verfahren zum Klassifizieren des Objekts wurde das Objekt beispielsweise einer Klasse Sonstiges zugeordnet. In der Klasse Sonstiges befinden sich dann sämtliche Objekte, welche keiner der vorbestimmten Objektkassen zugeordnet werden konnten, da der jeweilige Ähnlichkeitswert nicht größer als der Ähnlichkeitsgrenzwert ist.
-
Das Objekt wird mit dem Umfeldsensor, welcher beispielsweise als Kamera und/oder Ultraschallsensor und/oder Laserscanner und/oder LIDAR und/oder Radarsensor ausgebildet ist. In den durch die Erfassung des Objekts bereitgestellten Sensordaten wird dann das Merkmal bestimmt. Das Merkmal kann beispielsweise ein Intensitätswert eines Bildkanals sein. Grundsätzlich können vielfältige Arten von Merkmalen genutzt werden. Vorzugsweise ist es jedoch vorgesehen, dass das Merkmal derart ausgewählt wird, dass es für die vorliegenden Sensordaten geeignet ist.
-
Das Merkmal wird mit zumindest einem Referenzmerkmal verglichen und anhand des Vergleichs wird ein Ähnlichkeitswert bestimmt. Der Ähnlichkeitswert gibt Auskunft darüber wie ähnlich sich das Merkmal und das Referenzmerkmal sind. Vorliegend wird vorzugsweise davon ausgegangen, dass bei einem kleineren Ähnlichkeitswert eine geringere Ähnlichkeit vorliegt und bei einem größeren Ähnlichkeitswert eine größere Ähnlichkeit vorliegt. Zur Bestimmung des Ähnlichkeitswerts können vielfältige Ähnlichkeitsbestimmungsverfahren genutzt werden, wie zum Beispiel die Bhattacharyya Distanz.
-
Die vorbestimmte Objektklasse ist ursprünglich, also insbesondere schon vor dem Erfassen des Objekts vorhanden gewesen. Die neue Objektklasse hingegen wird insbesondere erst nach dem Erfassen des Objekts und insbesondere erst dem Versuch der Zuordnung zur vorbestimmten Objektklasse erzeugt. Die neue Objektklasse liegt also nicht ursprünglich vor und unterscheidet sich von der vorbestimmten Objektklasse. Die vorbestimmte Objektklasse ist von einer Klasse Sonstige verschieden. Insbesondere ist der Merkmalsraum durch die vorbestimmten Klassen also nicht vollständig abgedeckt, so dass ein Freiraum im Merkmalsraum für die neue Klasse und/oder die Klasse Sonstiges bleibt.
-
Vorzugsweise ist es vorgesehen, dass ein Bezugspunkt, insbesondere ein Schwerpunkt, der neuen Objektklasse bestimmt wird und jeweils ein Abstand von dem Bezugspunkt der neuen Objektklasse zu Bezugspunkten der vorbestimmten Objektklassen bestimmt wird, wobei die vorbestimmte Objektklasse mit dem kleinsten Abstand als nächstliegende Objektklasse der neuen Objektklasse bestimmt wird und zumindest eine Eigenschaft der nächstliegenden Objektklasse als eine Eigenschaft der neuen Objektklasse auch der neuen Objektklasse zugewiesen wird. Durch den Bezugspunkt können die Abstände zu den vorbestimmten Objektklassen bestimmt werden. Als Bezugspunkt eignet sich insbesondere ein Schwerpunkt der jeweiligen Objektklasse. Der Schwerpunkt liegt dort, wo es sich durch die geometrische Position der Merkmale im Merkmalsraum ergibt. Als Bezugspunkt kann jedoch ein beliebig anderer Punkt innerhalb oder außerhalb der jeweiligen Objektklasse gewählt werden. So kann beispielsweise auch ein Mittelpunkt einer gedachten geometrischen Begrenzung der jeweiligen Objektklasse gewählt werden. Vorteilhaft ist, dass der neuen Objektklasse dadurch die Eigenschaft der nächstliegenden Objektklasse ebenfalls zugewiesen werden kann. Somit können bei der neuen Objektklasse, insbesondere auch ohne Kenntnisse über die Beschaffenheit des Objekts, Eigenschaften zugewiesen werden. Die Eigenschaft der neuen Objektklasse gibt beispielsweise Auskunft darüber, wie sich das Objekt im Straßenverkehr verhält, beispielsweise ob es sich bewegt oder statisch ist. Es können vielfältige Eigenschaften vorliegen, jedoch sind die Eigenschaften insbesondere durch Eigenschaften von vorbestimmten Objektklassen vorgegeben. Durch die Eigenschaften wird die durch die neue Objektklasse bereitgestellte Information erweitert und das Kraftfahrzeug kann sicherer betrieben werden.
-
Weiterhin ist es vorzugsweise vorgesehen, dass ein Wert der Eigenschaft der neuen Objektklasse anhand dem erfassten Objekt bestimmt wird, und ein Wertunterschied von dem Wert der Eigenschaft der neuen Objektklasse und einem Wert der Eigenschaft der nächstliegenden Objektklasse bestimmt wird, wobei anhand des Wertunterschieds eine Beziehungseigenschaft zwischen der neuen Objektklasse und der nächstliegenden Objektklasse erzeugt wird. Durch die Beziehungseigenschaft wird ein Verhältnis zwischen der nächstliegenden Objektklasse und der neuen Objektklasse beschrieben. So kann die Eigenschaft beispielsweise als Geschwindigkeit vorliegen. Der Wert der Eigenschaft der neuen Objektklasse ist dann ein Geschwindigkeitswert, welcher von einem Geschwindigkeitswert der nächstliegenden Objektklasse abgezogen wird. Falls beispielsweise der Geschwindigkeitswert der neuen Objektklasse kleiner ist als der Geschwindigkeitswert der nächstliegenden Objektklasse, wird die Beziehungseigenschaft auf „langsamer als“ gesetzt. Das Erzeugen der Beziehungseigenschaft ist vorteilhaft, da dadurch eine genauere Beschreibung der durch die neue Objektklasse umfassten Objekte erfolgt. Das Kraftfahrzeug kann dadurch wiederum sicherer betrieben werden. Bestimmt wird der Wert der jeweiligen Eigenschaft anhand dem erfassten Objekt, das heißt anhand der im Zuge der Erfassung bereitgestellten Sensordaten. So können die Sensordaten beispielsweise dazu genutzt werden, eine Position des jeweiligen Objekts und/oder eine Geschwindigkeit des jeweiligen Objekts zu bestimmen. Zusätzlich zu den Sensordaten können dann beispielsweise weitere Daten, welche beispielsweise als Vorwissen einfließen, genutzt werden. So kann beispielsweise Kartenmaterial genutzt werden, um die Position des Objekts genauer einzuordnen. So kann die Position beispielsweise auf der Straße oder neben der Straße liegen. Ergänzend können auch weiter Sensoren oder Empfänger eines satellitengestützten Informationssystems genutzt werden.
-
Vorzugsweise ist es vorgesehen, dass die Eigenschaft der nächstliegenden Objektklasse als eine Geschwindigkeit und/oder eine Objektgröße und/oder ein minimaler Kurvenradius vorgegeben wird. So kann beispielsweise anhand der Sensordaten, welche durch das Erfassen des Objekts mit dem Umfeldsensor bereitgestellt werden, die Geschwindigkeit des Objekts bestimmt werden. Weiterhin kann beispielsweise die Objektgröße, also beispielsweise ein Objektvolumen oder eine von dem Umfeldsensor aus sichtbare Oberfläche des Objekts. Ergänzend oder alternativ kann die Eigenschaft des Objekts als minimaler Kurvenradius des Objekts vorgegeben werden. Der minimale Kurvenradius ist dabei insbesondere der kleinstmögliche Kurvenradius zu welchem das Objekt während einer Kurvenfahrt fähig ist. Es können auch mehrere Eigenschaften des Objekts zu einer komplexen Eigenschaft des Objekts verknüpft werden. Vorteilhaft ist wiederum, dass die neue Objektklasse durch die Eigenschaften genauer beschrieben werden kann. Dadurch wiederum kann das Objekt zuverlässiger beurteilt werden. So kann das Objekt in der neuen Objektklasse beispielsweise ein Hindernis für das Kraftfahrzeug darstellen oder aber für eine sichere Fahrt des Kraftfahrzeugs unerheblich sein.
-
Vorzugsweise ist es vorgesehen, dass zumindest ein angepasstes Merkmal durch arithmetisches Kombinieren des Merkmals des Objekts mit zumindest einem Anpassungswert erzeugt wird und die neue Objektklasse anhand des Merkmals und des angepassten Merkmals erzeugt wird. Vorzugsweise ist es also vorgesehen, ein angepasstes Merkmal durch Kombinieren des Merkmals mit dem Anpassungswert zu erzeugen. Der Anpassungswert kann dabei mittels einer Liste vorgegeben werden oder aber spontan bzw. zufällig bereitgestellt werden. Der Anpassungswert kann beispielsweise als prozentualer Anteil des Merkmals vorgegeben werden. Das Erzeugen des angepassten Merkmals dient dazu, um zusätzliche Trainingsdaten für das Erzeugen bzw. das Trainieren der neuen Objektklasse bereitzustellen. So kann das angepasste Merkmal dann beispielsweise durch stochastisches Variieren des Merkmals erzeugt werden. Vorzugsweise werden mehrere angepasste Merkmale anhand des Merkmals erzeugt. Die neue Objektklasse wird nach dem Erzeugen des angepassten Merkmals dann anhand des Merkmals und anhand des angepassten Merkmals erzeugt. Vorteilhaft ist, dass dadurch eine Generalisierung der neuen Objekte erfolgt. Es können somit auch neue Objekte, welche sich nur unwesentlich von dem Objekt unterscheiden von der neuen Objektklasse zugeordnet werden.
-
Vorzugsweise ist es vorgesehen, dass das Referenzmerkmal durch eine fahrzeugseitige Referenzmerkmalsammlung bereitgestellt wird, und falls der Ähnlichkeitswert kleiner als der Ähnlichkeitsgrenzwert ist, das Merkmal mit zumindest einem weiteren Referenzmerkmal aus einer fahrzeugexternen Referenzmerkmalsammlung verglichen wird und der Ähnlichkeitswert anhand des Vergleichs mit dem weiteren Referenzmerkmal bestimmt wird. Die jeweilige Referenzmerkmalsammlung ist dabei insbesondere als Datenbank ausgebildet. Die fahrzeugseitige Referenzmerkmalsammlung ist an einem beliebigen Ort innerhalb des Kraftfahrzeugs angeordnet. Die fahrzeugexterne Referenzmerkmalsammlung ist hingegen auf einem Server an einem beliebigen Ort außerhalb des Kraftfahrzeugs angeordnet. Insbesondere ist das Kraftfahrzeug mit der fahrzeugexternen Referenzmerkmalsammlung gekoppelt. Die Kopplung kann dabei beispielsweise über Funk erfolgen. Vorteilhaft ist, dass durch die fahrzeugexterne Referenzmerkmalsammlung weitere vorbestimmte Objektklassen bereitgestellt werden können. So kann beispielsweise eine weitere vorbestimmte Objektklasse durch die fahrzeugexterne Referenzmerkmalsammlung bereitgestellt werden, welche so in der fahrzeugseitigen Referenzmerkmalsammlung bisher noch nicht enthalten ist.
-
Weiterhin ist es vorzugsweise vorgesehen, dass das Merkmal der neuen Objektklasse an eine fahrzeugexterne Referenzklasse übertragen wird. Durch das Übertragen der neuen Objektklasse wird die fahrzeugexterne Referenzmerkmalsammlung quasi erweitert. Die erweiterte fahrzeugexterne Referenzmerkmalsammlung kann dann beispielsweise auch von weiteren Kraftfahrzeugen benutzt werden. So kann die neue Objektklasse nach einmaligem Erzeugen auch von weiteren Kraftfahrzeugen genutzt werden, falls diese auch die fahrzeugexterne Referenzmerkmalsammlung zugreifen. Es ist dann also nicht mehr nötig, dass jedes weitere Kraftfahrzeug eine neue Objektklasse selbst erzeugt.
-
Weiterhin ist es vorzugsweise vorgesehen, dass eine fahrzeugseitige Referenzmerkmalsammlung mit einer fahrzeugexternen Referenzmerkmalsammlung zum mindestens einen Abgleichzeitpunkt, insbesondere einem Startzeitpunkt des Kraftfahrzeugs und/oder einem Abschaltzeitpunkt des Kraftfahrzeugs, abgeglichen wird und anhand des Abgleichs ein Merkmal aus der fahrzeugexternen Referenzmerkmalsammlung an die fahrzeugseitige Referenzmerkmalsammlung übertragen wird und/oder ein Merkmal aus der fahrzeugseitigen Referenzmerkmalsammlung an die fahrzeugexterne Referenzmerkmalsammlung übertragen wird. Durch den Abgleich werden die fahrzeugseitige Referenzmerkmalsammlung und die fahrzeugexterne Referenzmerkmalsammlung vorzugsweise synchronisiert. So kann es beispielsweise vorkommen, dass das Kraftfahrzeug eine bestimmte Zeit lang nicht genutzt wurde, und die fahrzeugexterne Referenzmerkmalsammlung während dieser Zeit aktualisiert wurde. Nach dem Aktualisieren findet sich dann beispielsweise in der fahrzeugexternen Referenzmerkmalsammlung eine neue Objektklasse, welche sich noch nicht in der fahrzeugseitigen Referenzmerkmalsammlung befindet. Nach dem erfolgten Abgleich kann das Fahrerassistenzsystem bzw. das Kraftfahrzeug dann auf die neue Objektklasse in der fahrzeugseitigen Referenzmerkmalsammlung zurückgreifen und muss nicht mehr den Umweg über die fahrzeugexterne Referenzmerkmalsammlung beschreiten. Vorteilhaft ist, dass auf die fahrzeugseitige Referenzmerkmalsammlung selbst dann zugegriffen werden kann, wenn die Kopplung des Kraftfahrzeugs mit der fahrzeugexternen Referenzmerkmalsammlung gestört oder unterbrochen ist.
-
Vorzugsweise vorgesehen ist der Abgleich zum Abgleichzeitpunkt. Der Abgleichzeitpunkt kann beispielsweise in vorbestimmten Intervallen vorgegeben werden oder aber jedes Mal dann, wenn entweder der fahrzeugseitigen Referenzmerkmalsammlung oder aber in der fahrzeugexternen Referenzmerkmalsammlung eine neue Objektklasse hinzugekommen ist. Der Abgleichzeitpunkt kann aber auch als ein Startzeitpunkt des Kraftfahrzeugs oder ein Abschaltzeitpunkt des Kraftfahrzeugs vorgegeben werden. Ergänzend oder alternativ kann der Abgleichzeitpunkt auch abhängig von der Datenverbindung mit der fahrzeugexternen Merkmalsammlung vorgegeben werden. So kann der Abgleich beispielsweise dann erfolgen, wenn ein Datendurchsatzgrenzwert überschritten wird.
-
Weiterhin ist es vorzugsweise vorgesehen, dass zumindest eine weitere neue Objektklasse durch zumindest ein weiteres Kraftfahrzeug erzeugt wird und zumindest ein Merkmal der weiteren neuen Objektklasse an eine fahrzeugexterne Referenzmerkmalsammlung übertragen wird. Somit wird die fahrzeugexterne Referenzmerkmalsammlung von mehreren Kraftfahrzeugen erweitert. Das Kraftfahrzeug kann dann über die fahrzeugexterne Referenzmerkmalsammlung auf die von weiteren Kraftfahrzeugen erzeugten neuen Objektklassen zugreifen und diese bei der Klassifizierung von neuen Objekten berücksichtigen.
-
In einer weiteren Ausführungsform kann eine weitere neue Objektklasse beispielsweise auch direkt von einem weiteren Kraftfahrzeug an das Kraftfahrzeug übertragen werden.
-
Des Weiteren betrifft die Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug, welches dazu ausgebildet ist, ein erfindungsgemäßes Verfahren auszuführen. Das Fahrerassistenzsystem umfasst den Umfeldsensor und/oder eine Speichereinheit mit zumindest einer vorbestimmten Objektklasse und/oder einer Auswerteeinheit.
-
Vorzugsweise umfasst das Fahrerassistenzsystem eine Funkschnittstelle mit der eine Verbindung zur fahrzeugexternen Referenzmerkmalsammlung hergestellt werden kann.
-
Der Umfeldsensor ist vorzugsweise als Radarsensor, Kamera, Laserscanner, LIDAR und/oder Ultraschallsensor ausgebildet. Der Umfeldsensor kann auch mehrere Arten von Sensortypen umfassen, welche dann beispielsweise im Wege einer Sensordatenfusion miteinander verschmolzen werden.
-
Vorteilhafte Ausführungen des erfindungsgemäßen Verfahrens sind als vorteilhafte Ausführungen des Fahrerassistenzsystems anzusehen. Die gegenständlichen Komponenten des Fahrerassistenzsystems sind jeweils dazu ausgebildet, die jeweiligen Verfahrensschritte durchzuführen.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
-
Es zeigen:
- 1 eine schematische Draufsicht auf ein Kraftfahrzeug mit einem Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems;
- 2 eine diagrammartige Darstellung mit einer vorbestimmten Objektklasse und einer neuen Objektklasse, welche mit einer Beziehungseigenschaft verbunden sind;
- 3 eine weitere diagrammartige Darstellung von mehreren vorbestimmten Objektklassen und der neuen Objektklasse;
- 4 ein Ablaufdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
- 5 ein weiteres Ablaufdiagramm eines weiteren Ausführungsbeispiels des Verfahrens; und
- 6 nochmals ein weiteres Ablaufdiagramm mit nochmals einem weiteren Ausführungsbeispiel des Verfahrens.
-
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt eine schematische Draufsichtdarstellung eines Kraftfahrzeugs 1 mit einem Fahrerassistenzsystem 2. Das Fahrerassistenzsystem 2 kann beispielsweise als ein Parkassistenzsystem oder ein Hinderniswarnassistenzsystem ausgebildet sein. Das Kraftfahrzeug 1 kann beispielsweise semiautonom oder autonom betrieben werden.
-
Das Fahrerassistenzsystem 2 umfasst einen Umfeldsensor 3, eine Speichereinheit 4, eine Funkschnittstelle 5 und eine Auswerteeinheit 6. Der Umfeldsensor 3 ist im Ausführungsbeispiel an einer Front 7 des Kraftfahrzeugs 1 angeordnet. Die Anordnung des Umfeldsensors 3 an dem Kraftfahrzeug 1 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass ein Umfeld 8 des Kraftfahrzeugs 1 zumindest teilweise erfasst werden kann. Der Umfeldsensor 3 kann beispielsweise als Kamera, Radar- oder Ultraschallsensor ausgebildet sein. Das Fahrerassistenzsystem 2 kann auch mehrere Umfeldsensoren 3 umfassen. So kann die Kamera beispielsweise als Stereokamera oder als 3D-Kamera ausgebildet sein.
-
Die Speichereinheit 4 weist gemäß dem Ausführungsbeispiel eine fahrzeugseitige Referenzmerkmalsammlung 9 auf. Dabei kann die Speichereinheit 4 als beliebiges Speichermedium zum Speichern einer Datenbank ausgebildet sein.
-
Die Funkschnittstelle 5 ist gemäß dem Ausführungsbeispiel dazu ausgebildet, eine Funkverbindung mit einer fahrzeugexternen Referenzmerkmalsammlung 10 herzustellen. Die fahrzeugexterne Referenzmerkmalsammlung 10 ist dabei beispielsweise in einem von dem Kraftfahrzeug 1 beabstandeten Server hinterlegt. Die Kopplung zwischen der fahrzeugexternen Referenzmerkmalsammlung 10 und dem Kraftfahrzeug 1 kann dabei auf vielfältige Weise erfolgen, vorzugsweise über eine Datenverbindung, insbesondere gemäß einem Mobilfunkstandard.
-
Die Auswerteeinheit 6 umfasst einen Prozessor und ist insbesondere zum Klassifizieren eines Objekts 11 in dem Umfeld 8 des Kraftfahrzeugs 1 ausgebildet.
-
Der Umfeldsensor 3, die Speichereinheit 4, die Funkschnittstelle 5 und die Auswerteeinheit 6 können beispielsweise in einem gemeinsamen Gehäuse oder aber als separate Einheiten in dem Kraftfahrzeug 1 angeordnet sein.
-
Das Objekt 11 kann als beliebiges Objekt im Umfeld 8 des Kraftfahrzeugs 1 ausgebildet sein. So kann das Objekt 11 beispielsweise ein Verkehrsteilnehmer, ein Lebewesen oder ein Bauwerk sein.
-
2 zeigt eine schematische Darstellung einer vorbestimmten Objektklasse 12 und einer neuen Objektklasse 13. Die vorbestimmte Objektklasse 12 und die neue Objektklasse 13 sind mit einer Beziehungseigenschaft 14 verbunden. Durch die Beziehungseigenschaft 14 wird ein Verhältnis der vorbestimmten Objektklasse 12 und der neuen Objektklasse 13 beschrieben.
-
Bei einem Verfahren ist es vorgesehen, dass das Objekt 11 mit dem Umfeldsensor 3 erfasst und klassifiziert wird. Beim Klassifizieren wird das Objekt 11 zunächst versucht der vorbestimmten Objektklasse 12 zuzuordnen. Falls das nicht möglich ist, wird die neue Objektklasse 13 erzeugt und das Objekt 11 wird der neuen Objektklasse 13 zugeordnet. 2 zeigt eine einfache Ontologie. Eine Ontologie ist dabei insbesondere eine sprachlich gefasste und formal geordnete Darstellung einer Menge von Begrifflichkeiten und der zwischen ihnen bestehenden Beziehungen in einem bestimmten Gegenstandsbereich.
-
3 zeigt mehrere vorbestimmte Objektklassen 12 und die neue Objektklasse 13. Weiterhin sind die vorbestimmten Objektklassen 12 und die neue Objektklasse 13 über mehrere Beziehungseigenschaften 14 verbunden. Die Beziehungseigenschaft 14 kann beispielsweise eine Relativgeschwindigkeit oder eine Untergruppierung sein. So kann die Objektklasse 13 beispielsweise ein Verkehrsteilnehmer, ein Personenkraftwagen, eine Fahrspur, eine Straße, ein Verkehrszeichen oder eine Gefahrenstelle sein. Die Beziehungseigenschaft 14 kann dann beispielsweise als eine Objektklasse 13 „folgt“ einer anderen Objektklasse 13 ausgedrückt werden, oder dementsprechend als „befährt“, „beinhaltet“, „verhält sich“. 3 zeigt eine komplexe Ontologie.
-
4 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens zum Klassifizieren des Objekts 11. In einem Schritt S1 gerät das Objekt 11 in einem Erfassungsbereich des Umfeldsensors 3. In einem Schritt S2 erfolgt die Erfassung des Objekts 11 mit dem Umfeldsensor 3. In einem Schritt S3 werden Sensordaten des Umfeldsensors 3 bei Notwendigkeit gegebenenfalls fusioniert. Die Fusion kann beispielsweise bei multimodalen Umfeldsensoren 3 nötig sein. Weiterhin wird im Schritt S3 zumindest ein Merkmal 15 des Objekts 11 bestimmt. Das Merkmal 15 kann dabei in vielfältiger Weise extrahiert werden. So kann das Merkmal 15 beispielsweise als ein Intensitätswert eines durch die Sensordaten des Umfeldsensors 3 bereitgestellten Bilds vorliegen oder aber als vorzugsweise als unterscheidungskräftige Information vorliegen, um das Objekt 11 in den Sensordaten von den übrigen Objekten in den Sensordaten unterscheiden zu können. In dem Schritt S3 kann beispielsweise eine Vielzahl von Merkmalen 15 extrahiert werden.
-
In einem Schritt S4 wird das Merkmal 15 dann mit zumindest einem Referenzmerkmal 16 verglichen. Anhand des Vergleichs wird ein Ähnlichkeitswert bestimmt. Der Ähnlichkeitswert kann dabei beispielsweise einfach die Differenz des Merkmals 15 und des Referenzmerkmals 16 sein. Es kann aber beispielsweise auch ein Ähnlichkeitsmaß wie die euklidische Distanz oder die Bhattacharyya Distanz gewählt werden. Durch den Vergleich wird also festgestellt wie ähnlich sich das Merkmal 15 und das Referenzmerkmal 16 sind. Das Referenzmerkmal 16 ist der vorbestimmten Objektklasse 12 zugeordnet. Sind sich das Merkmal 15 und das Referenzmerkmal 16 ausreichend ähnlich, so wird das Merkmal 15 und somit das Objekt 11 der vorbestimmten Objektklasse 12 zugewiesen bzw. zugeordnet. Ob sich das Merkmal 15 und das Referenzmerkmal 16 ausreichend ähnlich sind bemisst sich danach, ob der Ähnlichkeitswert größer als ein Ähnlichkeitsgrenzwert ist.
-
Der Vergleich des Ähnlichkeitswerts mit dem Ähnlichkeitsgrenzwert erfolgt in einem Schritt S5. Gemäß dem Ausführungsbeispiel spricht ein großer Ähnlichkeitswert, beispielsweise 0,8 für eine hohe Ähnlichkeit des Merkmals 15 und des Referenzmerkmals 16, während ein kleiner Ähnlichkeitswert, beispielsweise -0,7 von einer geringen Ähnlichkeit zeugt. Der Ähnlichkeitswert kann beispielsweise in einem Wertebereich mit reellen Zahlen von -1 bis +1 bestimmt werden. Falls der Ähnlichkeitswert also größer als der Ähnlichkeitsgrenzwert, welcher beispielsweise auf 0,3 festgesetzt wird, ist, folgt auf den Schritt S5 ein Schritt S6. Im Schritt S6 wird das Merkmal 15 und somit das Objekt 11 der vorbestimmten Objektklasse 12 zugeordnet. Es folgt dann die Speicherung des Objekts 11 beispielsweise in einer Datenbank, in welcher sich die vorbestimmte Objektklasse 12 befindet.
-
Ist der Ähnlichkeitswert im Schritt S5 jedoch kleiner als der Ähnlichkeitsgrenzwert, so folgt ein Schritt S7. Im Schritt S7 wird die neue Objektklasse 13 erzeugt. Die neue Objektklasse 13 weist insbesondere keine Schnittmenge mit der vorbestimmten Objektklasse 12 auf. Für den Fall, dass mehrere vorbestimmte Objektklassen 12 vorhanden sind weist die neue Objektklasse 13 insbesondere mit keiner der vorbestimmten Objektklassen 12 eine Schnittmenge auf. Nach dem Erzeugen der neuen Objektklasse 13, wird die neue Objektklasse 13 dann im darauffolgenden Schritt S4 als Objektklasse betrachtet, welche einer vorbestimmten Objektklasse 12 entspricht. Es können nun neue Objekte 11 auch der neuen Objektklasse 13 zugeordnet werden.
-
Nach dem Schritt S6 folgt ein Schritt S8. Im Schritt S8 wird überprüft, ob die neue Objektklasse 13 erzeugt wurde bzw. ob eine neue Objektklasse hinzugekommen ist. Für den Fall, dass die neue Objektklasse 13 erzeugt wurde, wird der neuen Objektklasse 13 eine Eigenschaft 17 zugewiesen. Dabei wird insbesondere folgendermaßen vorgegangen: Es wird ein Bezugspunkt, beispielsweise ein Schwerpunkt, der neuen Objektklasse 13 bestimmt. Von diesem Bezugspunkt wird ein Abstand zu jeweiligen Bezugspunkten der vorbestimmten Objektklassen 12 bestimmt. Diejenige vorbestimmte Objektklasse 12 mit dem kleinsten Abstand zu der neuen Objektklasse 13 wird als nächstliegende Objektklasse bestimmt. Eine Eigenschaft 18 der nächstliegenden Objektklasse wird dann der neuen Objektklasse 13 zugewiesen. Dadurch erhält die neue Objektklasse 13 die Eigenschaft 18 oder die Eigenschaften 18, welche auch schon die nächstliegende Objektklasse aufweist.
-
Anhand dem erfassten Objekt 11 bzw. den dadurch vorliegenden Sensordaten wird ein Wert der Eigenschaft 17 der neuen Objektklasse 13 bestimmt. Die Eigenschaft 17 kann dabei als eine Geschwindigkeit des Objekts 11, eine Objektgröße des Objekts 11, oder ein minimal ausführbarer Kurvenradius des Objekts 11 vorgegeben werden. Die Eigenschaft 17 kann aber beispielsweise auch Auskunft über ein Fahrverhalten oder eine vorzugsweise genutzte Fahrbahn des Objekts 11 sein. Durch die Sensordaten und gegebenenfalls Daten von weiteren Sensoren des Kraftfahrzeugs 1 wird dann der Wert der Eigenschaft 17 der neuen Objektklasse 13 bestimmt. So kann dem Objekt 11 beispielsweise ein Geschwindigkeitswert zugewiesen werden. Es wird ein Wertunterschied bestimmt zwischen dem so bestimmten Wert der Eigenschaft 17 der neuen Objektklasse 13 und einem Wert der Eigenschaft 18 der nächstliegenden Objektklasse.
-
Durch den Wertunterschied kann dann beispielsweise eine Aussage über ein Verhältnis der Eigenschaften 17, 18 der neuen Objektklasse 13 und der nächstliegenden Objektklasse bzw. der vorbestimmten Objektklasse 12 getroffen werden. Ist der Geschwindigkeitswert der neuen Objektklasse 13 beispielsweise geringer als der Geschwindigkeitswert der vorbestimmten Objektklasse 12 so wird gemäß dem Ausführungsbeispiel die Beziehungseigenschaft 14 zwischen der neuen Objektklasse 13 und der vorbestimmten Objektklasse 12 derart bestimmt, dass sich die neue Objektklasse 13 langsamer bewegt als die vorbestimmte Objektklasse 12.
-
Es folgt ein Ausführungsbeispiel des Verfahrens. Die vorbestimmte Objektklasse 12 kann beispielsweise als Personenkraftwagen, Lastkraftwagen und Fußgänger vorliegen. Das erfasste Objekt 11 ist beispielsweise ein Traktor. Der Traktor kann in dem Schritt S5 beispielsweise keiner der vorbestimmten Objektklassen 12 zugeordnet werden. Folglich wird die neue Objektklasse 13 erzeugt. Als nächstliegende Objektklasse der vorbestimmten Objektklassen 12 wird beispielsweise die Klasse Lastkraftwagen bestimmt. Die Beziehungseigenschaft 14 zwischen der Klasse Lastkraftwagen und der Klasse Traktor offenbart dann beispielsweise bezüglich der Eigenschaft Geschwindigkeit, dass Objekte in der Klasse Traktor langsamer fahren als Objekte in der Klasse Lastkraftwagen.
-
5 zeigt ein Ablaufdiagramm analog zu dem Ablaufdiagramm von 4, jedoch mit einer Erweiterung. So folgt nach dem Schritt S5 ein Schritt S9, in welchem das Merkmal 15 mit einem weiteren Referenzmerkmal 19 aus der fahrzeugexternen Referenzmerkmalsammlung 10 verglichen wird. In einem Schritt S10 wird überprüft, ob das Merkmal 15 ausreichend ähnlich mit den weiteren Referenzmerkmalen 19 ist. Bei ausreichender Ähnlichkeit des Merkmals 15 mit dem weiteren Referenzmerkmal 19 folgt ein Schritt S11. In dem Schritt S11 wird eine durch das weitere Referenzmerkmal 19 charakterisierte vorbestimmte Objektklasse 12 aus der fahrzeugexternen Referenzmerkmalsammlung 10 in die fahrzeugseitige Referenzmerkmalsammlung 9 übertragen. Das Merkmal 15 bzw. das Objekt 11 kann dadurch einer der vorbestimmten Objektklassen 12 zugeordnet werden.
-
Stellt sich im Schritt S10 heraus, dass die Ähnlichkeit des Merkmals 15 mit dem weiteren Referenzmerkmal 19 zu gering ist, also der Ähnlichkeitswert kleiner als der Ähnlichkeitsgrenzwert ist, so folgt ein Schritt S12. Im Schritt S12 wird dann die neue Objektklasse 13 erzeugt. Vorzugsweise erfolgt das Erzeugen der Objektklasse 13 im Schritt S12 außerhalb des Kraftfahrzeugs 1, beispielsweise durch einen die fahrzeugexterne Referenzmerkmalsammlung 9 bereitstellenden Server. Ist dies der Fall, so wird die im Server erzeugte neue Objektklasse 13 in einem Schritt S13 in die fahrzeugseitige Referenzmerkmalsammlung 9 übertragen bzw. zum Kraftfahrzeug 1 übertragen. Nach erfolgter Übertragung steht die neue Objektklasse 13 dann auch in der fahrzeugseitigen Referenzmerkmalsammlung 9 zur Verfügung.
-
Ergänzend oder alternativ ist es vorzugsweise vorgesehen, dass die fahrzeugseitige Referenzmerkmalsammlung 9 mit der fahrzeugexternen Referenzmerkmalsammlung 10 zu mindestens einem Abgleichzeitpunkt abgeglichen wird. Durch den Abgleich wird dann beispielsweise erkannt, dass in der fahrzeugexternen Referenzmerkmalsammlung 10 mehr Objektklassen vorhanden sind als in der fahrzeugseitigen Referenzmerkmalsammlung 9. Es können dann die Objektklassen, welche bisher lediglich in der fahrzeugexternen Referenzmerkmalsammlung 10 vorhanden, sind in die fahrzeugseitige Referenzmerkmalsammlung 9 übertragen werden.
-
Als der Abgleichzeitpunkt wird beispielsweise ein Startzeitpunkt des Kraftfahrzeugs 1 und/oder ein Abschaltzeitpunkt des Kraftfahrzeugs 1 vorgegeben. Der Abgleichzeitpunkt kann aber auch in vorgegebenen Intervallen erfolgen oder abhängig von einer bestimmten Uhrzeit vorgegeben werden oder erzwungen werden. Die fahrzeugseitige Referenzmerkmalsammlung 9 kann auch aufgrund des Abgleichs bereinigt werden. So kann beispielsweise aus der fahrzeugexternen Referenzmerkmalsammlung 10 eine Objektklasse entfernt werden, welche in der Folge des Abgleichs auch aus der fahrzeugseitigen Referenzmerkmalsammlung 9 entfernt wird.
-
An die fahrzeugseitige externe Referenzmerkmalsammlung 10 kann zumindest eine weitere neue Objektklasse durch ein weiteres Kraftfahrzeug übertragen werden. Als Folge wird die fahrzeugexterne Referenzmerkmalsammlung 10 durch mehrere Beteiligte, insbesondere mehrere Kraftfahrzeuge, gepflegt.
-
6 zeigt ein Ablaufdiagramm zur Erstellung der neuen Objektklasse 13. In einem Schritt S14 wird das Erstellen bzw. Erzeugen der neuen Objektklasse 13 angestoßen. Es folgt ein Schritt S15, in welchem vorgegeben wird, wie viele Trainingsdaten gewünscht werden. Bisher liegt nur das Objekt 11 als Trainingsbeispiel zur Erzeugung der neuen Objektklasse 13 vor. Insbesondere wird die neue Objektklasse 13 mit Techniken des maschinellen Lernens erzeugt und demnach kann es für eine ausreichend generalisierte neue Objektklasse sinnvoll sein, die Trainingsdaten zu erweitern, beispielsweise indem weitere Trainingsbeispiele erzeugt werden. Mit dieser Absicht wird in einem Schritt S15 vorgegeben, wie viele Trainingsdaten benötigt werden, um diese für ein Training des Klassifikators zu nutzen.
-
In einem Schritt S16 wird das Verfahren für das Merkmal 15 und vorzugsweise für weitere Merkmale des Objekts 11 durchgeführt. Es folgt ein Schritt S17, in welchem ein Anpassungswert bestimmt wird. Der Anpassungswert kann beispielsweise eine Zufallszahl sein, die aus einem Intervall zufällig erzeugt wird, das sowohl negative als auch positive Zahlen umfasst.
-
In einem Schritt S18 wird das Merkmal 15 dann durch arithmetisches Kombinieren, also beispielsweise Addieren, des Anpassungswerts angepasst und somit ein angepasstes Merkmal 20 erzeugt. Das angepasste Merkmal 20 weicht von den Merkmalen 15 dann im Rahmen des Anpassungswerts ab und stellt ein weiteres Trainingsbeispiel für die Erzeugung der neuen Objektklasse 13 dar.
-
In einem Schritt S19 wird überprüft, ob für den Fall von mehreren Merkmalen 15 alle diese Merkmale 15 mit dem Anpassungswert angepasst wurden und somit weitere angepasste Merkmale erzeugt wurden. Ist dies noch nicht der Fall gewesen, so folgt ein Schritt S20, in welchem das nächste Merkmal 15 gewählt wird und es folgt wieder der Schritt S17. Wird hingegen in dem Schritt S19 festgestellt, dass bereits alle Merkmale 15 mit dem Anpassungswert angepasst wurden, so folgt ein Schritt S21 und die neue Objektklasse 13 wird anhand des Merkmals 15 und des angepassten Merkmals 20 erzeugt.
-
Das Anpassen des Merkmals 15 kann auch als stochastisches Variieren des Merkmals 15 bezeichnet werden.
-
Bei einem weiteren Ausführungsbeispiel kann die vorbestimmte Objektklasse 12 beispielsweise als Fußgänger vorliegen. Die neue Objektklasse 13 wird dann beispielsweise zu einem Zeitpunkt erzeugt, wenn ein Kostümierungsanlass gegeben ist und Fußgänger mit Verkleidung im Straßenbild zu sehen sind. Die neue Objektklasse 13 ist dann beispielsweise die Klasse verkleideter Fußgänger. Die Eigenschaft 17 kann dann beispielsweise eingeschränktes Sichtfeld sein. So gibt es beispielsweise bei der vorbestimmten Objektklasse 12 die Eigenschaft Sichtfeld.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Fahrerassistenzsystem
- 3
- Umfeldsensor
- 4
- Speichereinheit
- 5
- Funkschnittstelle
- 6
- Auswerteeinheit
- 7
- Front des Kraftfahrzeugs
- 8
- Umfeld
- 9
- fahrzeugseitige Referenzmerkmalsammlung
- 10
- fahrzeugexterne Referenzmerkmalsammlung
- 11
- Objekt
- 12
- vorbestimmte Objektklasse
- 13
- neue Objektklasse
- 14
- Beziehungseigenschaft
- 15
- Merkmal
- 16
- Referenzmerkmal
- 17
- Eigenschaft der neuen Objektklasse
- 18
- Eigenschaft der nächstliegenden Objektklasse
- 19
- weiteres Referenzmerkmal
- 20
- angepasstes Merkmal
