-
Die Erfindung betrifft ein Verfahren zum Bestimmen einer Relevanz eines Objekts in einer Umgebung eines Kraftfahrzeugs für das Kraftfahrzeug mittels eines Fahrerassistenzsystems des Kraftfahrzeugs gemäß dem Oberbegriff von Patentanspruch 1. Ferner betrifft die Erfindung ein Fahrerassistenzsystem.
-
In der Situationsbewertung eines Fahrerassistenzsystems, welches insbesondere als Fahr- und Sicherheitssystem ausgebildet sein kann, müssen aus einer Vielzahl von Objekten die relevanten extrahiert werden. Es ist bekannt, dass der Mensch beim Führen des Kraftfahrzeugs aus einer Vielzahl der Objekte unter anderem die Objekte fokussiert, die zur Ausführung der Fahraufgabe von entsprechender Relevanz sind. Das intuitive menschliche Wissen zur Objektrelevanz kann aber nicht direkt auf ein Softwaresystem übertragen werden. Das aus dem Stand der Technik bekannte Labeling, welches die Objekte kennzeichnet, von Objektdaten für automatisierte Fahr- und Sicherheitssysteme im Kraftfahrzeug ist sehr aufwendig und kostenintensiv und muss oftmals in Handarbeit durchgeführt werden.
-
Des Weiteren beschreibt die
DE 101 10 275 A1 ein Verfahren zur Kennzeichnung von Mustern, die als gespeicherte Informationen vorliegen. Für das Muster wird automatisch ein Kennzeichnungsvorschlag erzeugt. Die Erzeugung dieses Vorschlags kann separat vom eigentlichen Kennzeichnungsvorgang erfolgen, beispielsweise dann, wenn das Verfahren zur Erzeugung des Vorschlags sehr zeitaufwendig ist. Möglich ist aber auch eine Erzeugung des Vorschlags während des Kennzeichnungsvorgangs, beispielsweise dann, wenn das Verfahren in der Lage ist, die Vorschläge in Echtzeit oder beinahe in Echtzeit zu erzeugen. Dadurch werden die Kennzeichnungsvorschläge für den Beobachter schnell generiert, und eine repräsentative Objekterkennung wird ermöglicht.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren sowie ein Fahrerassistenzsystem zu schaffen, mittels welchen die Relevanz eines Objekts in der Umgebung eines Kraftfahrzeugs verbessert bestimmt werden kann.
-
Diese Aufgabe wird durch ein Verfahren sowie durch ein Fahrerassistenzsystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen einer Relevanz eines Objekts in einer Umgebung eines Kraftfahrzeugs für das Kraftfahrzeug mittels eines Fahrerassistenzsystems des Kraftfahrzeugs, bei welchem das mit einer Erfassungseinrichtung des Fahrerassistenzsystems erfasste Objekt in der Umgebung des Kraftfahrzeugs mit einem in einer Speichereinrichtung des Fahrerassistenzsystems abgespeicherten Objekt mittels einer elektronischen Recheneinrichtung des Fahrerassistenzsystems verglichen wird und in Abhängigkeit des Vergleichs das Objekt mittels der elektronischen Recheneinrichtung gekennzeichnet wird.
-
Es ist vorgesehen, dass mittels einer Blickrichtungserfassungseinrichtung des Fahrerassistenzsystems eine Blickrichtung eines Fahrers eines Kraftfahrzeugs erfasst wird und in Abhängigkeit der erfassten Blickrichtung die Relevanz für das gekennzeichnete Objekt bestimmt wird.
-
Insbesondere ist vorgesehen, dass beispielsweise in einem Entwicklungs- oder in einem Kundenfahrzeug das Fahrerassistenzsystem mit der Blickrichtungserfassungseinrichtung verbaut ist. Im Kraftfahrzeug befinden sich zusätzlich gängige Erfassungseinrichtungen für beispielsweise das zumindest teilweise autonome Fahren, wie beispielsweise eine Radareinrichtung, eine Lidareinrichtung, eine Kameraeinrichtung oder eine Ultraschalleinrichtung. Im Kraftfahrzeug wird dann das Fahrerassistenzsystem mit der Speichereinrichtung verbaut, die insbesondere Fahrzeugdaten, Blickrichtungsdaten und Objektdaten der Erfassungseinrichtung aufzeichnet. Diese Daten können beispielsweise über eine Mobilfunkeinrichtung an einen zentralen Server zu einer weiteren Auswertung übertragen werden.
-
In einem Pre-Processingschritt werden die Objekte in Blickrichtung als relevant gelabelt. Objekte in Blickrichtung des Fahrers bekommen dabei eine hohe Relevanz. Objekte mit hoher Relevanz werden mit einer hohen Priorität dazu verwendet, Fahrzeugreaktionen, wie beispielsweise Warnungen, Bremsungen, Ausweichmanöver der Fahr- und Sicherheitssysteme, auszulösen.
-
Dadurch ist es ermöglicht, dass eine Objektrelevanz auf Basis des Fahrerassistenzsystems realisiert werden kann. Des Weiteren können die Daten automatisch gelabelt, also gekennzeichnet werden und mit der elektronischen Recheneinrichtung verarbeitet werden. Insbesondere trägt somit die Erfindung dazu bei, gängige Fahr- und Sicherheitssysteme mit realen Daten zu verbessern.
-
Gemäß einer vorteilhaften Ausgestaltungsform wird mittels maschinellen Lernens die elektronische Recheneinrichtung zum Kennzeichnen des Objekts und zum Bestimmen der Relevanz angelernt.
-
Ferner hat es sich als vorteilhaft erwiesen, wenn mittels eines überwachten Lernprozesses für das maschinelle Lernen die elektronische Recheneinrichtung angelernt wird.
-
In einer weiteren vorteilhaften Ausgestaltungsform wird das Objekt in einem durch die Erfassungseinrichtung erzeugten Bild gekennzeichnet.
-
Weiterhin vorteilhaft ist, wenn zum Bestimmen der Relevanz für das Objekt eine aktuelle Fahrsituation des Kraftfahrzeugs berücksichtigt wird.
-
In einer weiteren vorteilhaften Ausgestaltungsform wird in Abhängigkeit der bestimmten Relevanz mittels der elektronischen Recheneinrichtung ein Steuersignal mit einer Relevanzinformation für die Relevanz für ein weiteres Fahrerassistenzsystem des Kraftfahrzeugs zur Verwendung der Relevanzinformation erzeugt.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem für ein Kraftfahrzeug mit einer Erfassungseinrichtung, mit einer Speichereinrichtung und mit einer elektronischen Recheneinrichtung, wobei das Fahrerassistenzsystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Fahrerassistenzsystems durchgeführt.
-
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Fahrerassistenzsystem nach dem vorhergehenden Aspekt. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen, Lastkraftwagen, Bus oder Flugtaxi ausgebildet.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigt die einzige Figur eine schematische Seitenansicht eines Kraftfahrzeugs mit einer Ausführungsform eines Fahrerassistenzsystems.
-
In der Figur sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
Die Figur zeigt in einer schematischen Seitenansicht ein Kraftfahrzeug 10 mit einer Ausführungsform eines Fahrerassistenzsystems 12. Das Kraftfahrzeug 10 befindet sich auf einer ersten Fahrbahn 14. Auf der ersten Fahrbahn 14 befindet sich insbesondere frontal vom Kraftfahrzeug 10 ein weiteres Kraftfahrzeug 16. Das weitere Kraftfahrzeug 16 bildet im vorliegenden Ausführungsbeispiel ein Objekt. Ferner zeigt die Figur, dass auf einer weiteren Fahrbahn 18 ein nochmals weiteres Kraftfahrzeug 20 zu sehen ist. Das nochmals weitere Kraftfahrzeug 20 bildet insbesondere ein weiteres Objekt. Die Fahrbahn 14 und die weiteren Fahrbahn 18 sind insbesondere unabhängig voneinander. Mit anderen Worten befindet sich das nochmals weitere Kraftfahrzeug 20 nicht auf der gleichen Fahrbahn 14, wie das Kraftfahrzeug 10.
-
Das Fahrerassistenzsystem 12 weist eine Erfassungseinrichtung 22, eine Speichereinrichtung 24 und eine elektronische Recheneinrichtung 26 auf.
-
Beim Verfahren zum Bestimmen einer Relevanz eines Objekts 16, 20 in einer Umgebung 28 für das Kraftfahrzeugs 10 mittels des Fahrerassistenzsystems 12 wird mit der Erfassungseinrichtung 22 des Fahrerassistenzsystems 12 das Objekt 16, 20 in der Umgebung 28 erfasst, und das erfasste Objekt 16, 20 wird mit dem in der Speichereinrichtung 24 des Fahrerassistenzsystems 12 abgespeicherten Objekt 16, 20 mittels der elektronischen Recheneinrichtung 26 des Fahrerassistenzsystems 12 verglichen, und in Abhängigkeit des Vergleichs wird das Objekt 16, 20 mittels der elektronischen Recheneinrichtung 26 gekennzeichnet.
-
Es ist vorgesehen, dass das Fahrerassistenzsystem 12 eine Blickrichtungserfassungseinrichtung 30 aufweist und mittels der Blickrichtungserfassungseinrichtung 30 eine Blickrichtung eines Fahrers 32 des Kraftfahrzeugs 10 erfasst wird und in Abhängigkeit von der erfassten Blickrichtung die Relevanz für das gekennzeichnete Objekt 16, 20 bestimmt wird.
-
Das Objekt 16, 20 ist im vorliegenden Ausführungsbeispiel als Kraftfahrzeug ausgebildet. Alternativ oder ergänzend kann es sich bei dem Objekt 16, 20 auch um Verkehrsteilnehmer im Allgemeinen, beispielsweise um Fußgänger oder Radfahrer und/oder um stehende Objekte 16, 20, wie beispielsweise Leitplanken, Häuserwände, Borsteine, Verkehrsbarken, Ampeln, Verkehrsschilder oder Mülltonnen handeln. Insbesondere kann bei einer Erfassung auch eine Vielzahl von Objekten 16, 20 erfasst werden, Mit anderen Worten ist die Erfassung nicht auf zwei Objekte 16, 20 beschränkt.
-
Im vorliegenden Ausführungsbeispiel ist insbesondere zu sehen, dass das weitere Kraftfahrzeug 16 sich auf der gleichen Fahrspur 14 befindet, wie das Kraftfahrzeug 10. Dem weiteren Kraftfahrzeug 16 wird somit eine höhere Relevanz zugeordnet als dem nochmals weiteren Kraftfahrzeug 20, welcher sich auf der weiteren Fahrspur 18 befindet. Insbesondere hat dies den Hintergrund darin, dass der Fahrer 32 die Blickrichtung auf das weitere Kraftfahrzeug 16 hauptsächlich richtet im Gegensatz zu dem nochmals weiteren Kraftfahrzeug 20. Die Relevanz kann daher dem weiteren Kraftfahrzeug 16 höher zugewiesen werden als die Relevanz des nochmals weiteren Kraftfahrzeugs 20. Die Relevanzzuordnung auf Basis der Fahrspur 14 ist rein beispielhaft zu verstehen. Es können auch andere Relevanzkriterien aufterten.
-
Insbesondere ist vorgesehen, dass mittels maschinellen Lernens die elektronische Recheneinrichtung 26 zum Kennzeichnen des Objekts 16, 20 und zum Bestimmen der Relevanz angelernt wird. Insbesondere kann dies mittels eines überwachten Lernprozesses für das maschinelle Lernen durchgeführt werden. Das überwachte Lernen bzw. der überwachte Lernprozess kann auch als „Supervised Learning“ bezeichnet werden.
-
Ferner kann insbesondere vorgesehen sein, dass das Objekt 16, 20 in einem durch die Erfassungseinrichtung 22 erzeugten Bild gekennzeichnet wird. Sollte es sich bei der Erfassungseinrichtung 22 beispielsweise um einen Radarsensor und/oder einen Lidarsensor und/oder einen Ultraschallsensor handeln, so kann das Objekt 16, 20 in einer entsprechenden erzeugten Punktwolke gekennzeichnet werden. Dies kann in einer 2-D-Punktwolke oder in einer 3-D-Punktwolke durchgeführt werden.
-
Des Weiteren kann vorgesehen sein, dass zum Bestimmen der Relevanz für das Objekt 16, 20 eine aktuelle Fahrsituation des Kraftfahrzeugs 10 berücksichtigt wird. Beispielsweise kann berücksichtigt werden, auf welcher Fahrbahn 14, 18 sich das Kraftfahrzeug 10 befindet. Des Weiteren kann beispielsweise berücksichtigt werden, ob es sich bei der Fahrbahn 14 beispielsweise um eine Autobahn mit hohen Geschwindigkeiten handelt.
-
Ferner hat es sich als vorteilhaft erwiesen, wenn in Abhängigkeit der bestimmten Relevanz mittels der elektronischen Recheneinrichtung 26 ein Steuersignal mit einer Relevanzinformation für die Relevanz für ein weiteres Fahrerassistenzsystem 34 des Kraftfahrzeugs 10 zur Verwendung der Relevanzinformation erzeugt wird.
-
Insbesondere ist somit vorgesehen, dass in dem Kraftfahrzeug 10 die Blickrichtungserfassungseinrichtung 30 mitangeordnet wird. Im Kraftfahrzeug 10 befinden sich gängige Sensoren, insbesondere die Erfassungseinrichtung 22, welches insbesondere für das automatisierte Fahren ausgebildet sind und beispielsweise als Radareinrichtung, Lidareinrichtung, Kameraeinrichtung oder Ultraschallsensoreinrichtung ausgebildet sein können. Im Kraftfahrzeug 10 wird das Fahrerassistenzsystem 12 mit der Speichereinrichtung 24 verbaut, das insbesondere Fahrzeugdaten, Blickrichtungsdaten und Objektdaten der Erfassungseinrichtung 22 aufzeichnet. Das Kraftfahrzeug 10 hat eine Möglichkeit, die Daten, zum Beispiel mittels WLAN oder Mobilfunk, an einen zentralen Server zur Auswertung zu schicken. Alternativ kann die Auswertung, wie im vorliegenden Ausführungsbeispiel auch gezeigt, innerhalb der elektronischen Recheneinrichtung 26 durchgeführt werden.
-
In einem Pre-Processingschritt werden die Objekte 16, 20 in Blickrichtung als relevant gelabelt, mit anderen Worten gekennzeichnet. Mittels des maschinellen Lernens, welches beispielsweise als „Artificial Intelligence“ oder „Deep Learning“ ausgebildet sein kann, wird mit Hilfe von „Supervised Learning“ ein Algorithmus trainiert, der auf Basis der gesammelten Trainingsdaten abhängig von der Fahrsituation den Objekten 16, 20 ein Relevanzmaß zuweist. Objekte 16, 20 in Blickrichtung des Fahrers 32 bekommen dabei eine hohe Relevanz. Objekte 16, 20 mit hoher Relevanz werden mit hoher Priorität dazu verwendet, Fahrzeugreaktionen wie Warnungen, Bremsungen und Ausweichmanöver des weiteren Fahrerassistenzsystems 24 auszulösen.
Dadurch kann realisiert werden, dass das menschliche Wissen zur Objektrelevanz durch das Fahrerassistenzsystem 12 genutzt und übertragen wird. Die Daten werden automatisch gelabelt und können so mit dem „Supervised Learning“ verarbeitet werden. Dadurch kann realisiert werden, dass gängige Fahr- und Sicherheitssysteme als weiteres Fahrerassistenzsystem mit den realen Daten verbessert werden können.
-
Mit anderen Worten wird ein Verfahren zur Objekterkennung mittels Umgebungssensoren gewonnener Bildinformationen vorgeschlagen, wobei Trainingsdaten für das maschinelle Lernen generiert werden, wobei für die Objekterkennung relevante Objekte 16, 20 in Bilddaten markiert, insbesondere gelabelt, werden. Es ist vorgesehen, dass zunächst diejenigen Objekte 16, 20 in den Bilddaten als relevant gelabelt werden, welche sich in Blickrichtung des Fahrers 32 befinden. Anschließend wird mittels überwachtem maschinellen Lernen in den Trainingsdaten enthaltenen Objekten 16, 20, bezogen auf eine jeweilige Fahrsituation, ein Relevanzmaß zugeordnet. Objekte 16, 20 in Blickrichtung des Fahrers 32 erhalten dabei eine hohe Relevanz. Die Verwendung der Objekte 16, 20 wird zur Situationsbewertung realisiert, um in Abhängigkeit von zugeordneten Relevanzmaß Aktionen von dem weiteren Fahrerassistenzsystem 34 auszulösen.
-
Insgesamt zeigt die Erfindung eine Relevanzbewertung von Objekten 16, 20 in Fahr- und Sicherheitssystemen unter Auswertung der Blickrichtung des Fahrers 32.
-
Bezugszeichenliste
-
- 10
- Kraftfahrzeug
- 12
- Fahrerassistenzsystem
- 14
- Fahrbahn
- 16
- weiteres Kraftfahrzeug
- 18
- weitere Fahrbahn
- 20
- nochmals weiteres Kraftfahrzeug
- 22
- Erfassungseinrichtung
- 24
- Speichereinrichtung
- 26
- elektronische Recheneinrichtung
- 28
- Umgebung
- 30
- Blickrichtungserfassungseinrichtung
- 32
- Fahrer
- 34
- weiteres Fahrerassistenzsystem
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
