-
Die Erfindung betrifft ein Verfahren zum Analysieren eines Objekts in einer Umgebung eines Kraftfahrzeugs.
-
Aus der
DE 10 2009 006 113 A1 ist ein Verfahren zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs bekannt. Das Fahrzeug umfasst mindestens eine erste Sensoreinrichtung und wenigstens eine zweite Sensoreinrichtung sowie eine Auswerteeinrichtung. Die Sensoreinrichtungen stellen Informationen über in einem Umfeld des Fahrzeugs erkannte Objekte in Form von Sensorobjekten bereit, wobei ein Sensorobjekt ein von der jeweiligen Sensoreinrichtung erkanntes Objekt repräsentiert und die Sensorobjekte als Attribut mindestens eine Existenzwahrscheinlichkeit des repräsentiertes Objekts umfassen. Die von der wenigstens einen ersten Sensoreinrichtung und von der wenigstens einen zweiten Sensoreinrichtung erkannten Sensorobjekte werden einer Objektfusion unterzogen, bei welcher Fusionsobjekte erzeugt werden. Den Fusionsobjekten wird mindestens eine Existenzwahrscheinlichkeit als Attribut zugeordnet, wobei die Existenzwahrscheinlichkeiten der Fusionsobjekte basierend auf den Existenzwahrscheinlichkeiten der Sensorobjekte fusioniert werden. Die Fusionierung der Existenzwahrscheinlichkeit eines der Sensorobjekte erfolgt jeweils abhängig von der jeweiligen Sensoreinrichtung, von der das entsprechende Sensorobjekt bereitgestellt ist.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Analysieren eines Objekts in einer Umgebung eines Kraftfahrzeugs zu schaffen, welches eine besonders sichere Erkennung des Objekts ermöglicht.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zum Analysieren eines Objekts in einer Umgebung eines Kraftfahrzeugs mit den Merkmalen des unabhängigen Patentanspruchs gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den jeweils abhängigen Ansprüchen sowie in der folgenden Beschreibung angegeben.
-
Für ein besonders sicheres Ermitteln eines Objekts in einer Umgebung eines Kraftfahrzeugs ist erfindungsgemäß das Verfahren zum Analysieren des Objekts in der Umgebung des Kraftfahrzeugs mit den im Folgenden beschriebenen Schritten vorgesehen. Als erster Schritt werden mittels wenigstens zwei Sensoreinrichtungen jeweilige Sensordaten erfasst, welche das Objekt charakterisieren. Des Weiteren werden jeweilige Objekteigenschaften des Objekts in Abhängigkeit von den jeweiligen Sensordaten mittels der Sensoreinrichtungen ermittelt. Mit anderen Worten werden mittels jeder der Sensoreinrichtungen jeweilige Sensordaten erfasst. Anhand der der jeweiligen Sensoreinrichtung zugeordneten Sensordaten können die Objekteigenschaften ermittelt werden, welche wiederum jeweils den Sensoreinrichtungen zugeordnet sind. Folglich erfasst jede der Sensoreinrichtungen jeweilige Sensordaten und ermittelt aus den erfassten Sensordaten die jeweiligen Objekteingenschaften. Bei den jeweiligen Sensoreinrichtungen handelt es sich um zueinander unterschiedliche Sensoreinrichtungen. Mittels jeder der Sensoreinrichtungen kann das Objekt in Abhängigkeit von den ermittelten Objekteigenschaften klassifiziert werden. Folglich können die Sensoreinrichtungen zumindest im Wesentlichen unabhängig voneinander die Objekteigenschaften des Objekts ermitteln und anhand der Objekteigenschaften das Objekt klassifizieren. In einem zweiten Schritt des Verfahrens wird mittels wenigstens einer ersten Sensoreinrichtung eine Sensoreigenschaft der mittels der zweiten Sensoreinrichtung erfassten Sensordaten in Abhängigkeit von den Objekteigenschaften, welche von der ersten Sensoreinrichtung ermittelt wurden, ermittelt. Das bedeutet, dass mittels der ersten Sensoreinrichtung erste Objekteigenschaften des Objekts ermittelt werden und in Abhängigkeit von den ersten Objekteigenschaften die Sensoreigenschaft der mittels der zweiten Sensoreinrichtung erfassten Sensordaten ermittelt wird. Somit erfolgt mittels der ersten Sensoreinrichtung in Abhängigkeit von den ersten Objekteigenschaften eine Prädiktion darüber, wie die zweite Sensoreinrichtung das Objekt mittels der Sensordaten erfassen wird. Folglich kann die erste Sensoreinrichtung in Abhängigkeit von den ersten Objekteigenschaften eine voraussichtliche Genauigkeit der mittels der zweiten Sensoreinrichtung erfassten Sensordaten prognostizieren beziehungsweise ermitteln, wobei die mittels der zweiten Sensoreinrichtung erfassten Sensordaten in Abhängigkeit von der ermittelten Genauigkeit bewertet werden können. In einem dritten Schritt erfolgt eine Fusion der Sensordaten und/oder der Objekteigenschaften in Abhängigkeit von der ermittelten Sensoreigenschaft. Bei dieser Fusion können die mittels der unterschiedlichen Sensoreinrichtungen erfassten Sensordaten und/oder die Objekteigenschaften in Abhängigkeit von der Sensoreigenschaft für die Fusion gewichtet werden.
-
In einem weiteren Schritt des Verfahrens wird das Objekt in Abhängigkeit von der Fusion analysiert. Beispielsweise kann das Objekt in Abhängigkeit von der Fusion klassifiziert und/oder hinsichtlich seiner Position und/oder hinsichtlich seiner Geschwindigkeit und/oder seiner Bewegungsrichtung bewertet werden und/oder eine Farbe und/oder eine Größe des Objekts ermittelt werden. Alternativ oder zusätzlich kann bei der Analyse des Objekts das Objekt verifiziert werden, das bedeutet, dass ermittelt wird, ob jeweilige Objekteigenschaften mittels der Sensoreinrichtungen richtig erkannt worden sind. Das Verfahren ermöglicht, dass das Objekt besonders sicher ermittelt wird, da mittels der ersten Sensoreinrichtung ermittelt werden kann, wie zuverlässig die von der zweiten Sensoreinrichtung erfassten Sensordaten sind. In Abhängigkeit von der Zuverlässigkeit der mittels der zweiten Sensoreinrichtung erfassten Sensordaten erfolgt die Fusion der Sensordaten, sodass bei der Fusion als zuverlässig eingestufte Sensordaten höher gewichtet werden als weniger zuverlässig eingestufte Sensordaten. Hierdurch kann eine besonders zuverlässige Analyse des Objekts in Abhängigkeit von der Fusion erfolgen.
-
Bei dem Verfahren handelt es sich um ein Verfahren zur Objekterkennung mittel seines Multisensorsystems, welche wenigstens zwei Sensoreinrichtungen umfasst, wobei eine Sensordatenfusion als Fusion der Sensordaten stattfindet. Hierbei werden die ermittelten Objektmerkmale sensorspezifisch ausgewertet, wobei anhand der Sensordaten mittels Lernverfahren Abhängigkeiten zwischen mittels den unterschiedlichen Sensoreinrichtungen ermittelten Objekteigenschaften ausgewertet werden, um somit voraussichtliche zu ermittelnde Objektmerkmale der zweiten Sensoreinrichtung zu lernen, wobei die zweite Sensoreinrichtung verglichen mit der ersten Sensoreinrichtung die Sensordaten auf einem unterschiedlichen Messprinzip beruhend ermittelt. Die gelernten Abhängigkeiten der Objektmerkmale zwischen den unterschiedlichen Sensoreinrichtungen werden im Rahmen der Fusion herangezogen, um eine besonders hohe Zuverlässigkeit der Objekterkennung zu erreichen.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigt die einzige Figur eine schematische Seitenansicht eines Kraftfahrzeugs mit zwei zueinander unterschiedlichen Sensoreinrichtungen, mittels welcher jeweils Sensordaten des in einer Umgebung des Kraftfahrzeugs angeordneten Objekts erfassbar sind und mit einer Recheneinrichtung, mittels welcher die mittels der Sensoreinrichtungen ermittelten Sensordaten fusionierbar sind, um das Objekt in Abhängigkeit von der Fusion zu analysieren.
-
In der einzigen Figur ist in einer schematischen Seitenansicht ein Kraftfahrzeug 10 dargestellt. Das Kraftfahrzeug 10 umfasst vorliegend eine erste Sensoreinrichtung 12 und eine zweite Sensoreinrichtung 14. Bei der ersten Sensoreinrichtung 12 handelt es sich vorliegend um eine Kameraeinrichtung und bei der zweiten Sensoreinrichtung 14 handelt es sich vorliegend um ein Lidar. Mittels der ersten Sensoreinrichtung 12 sind erste Sensordaten 16 eines in einer Umgebung des Kraftfahrzeugs 10 angeordneten Objekts 18 erfassbar. Mittels der zweiten Sensoreinrichtung 14 sind zweite Sensordaten 20 des Objekts 18 erfassbar. Das Kraftfahrzeug 10 umfasst, wie in der einzigen Figur erkannt werden kann, des Weiteren eine elektronische Recheneinrichtung 22, mittels welcher die ersten Sensordaten 16 sowie die zweiten Sensordaten 20 von den Sensoreinrichtungen 12, 14 empfangbar sind.
-
Sowohl die ersten Sensordaten 16 als auch die zweiten Sensordaten 20 charakterisieren jeweils das Objekt 18. Bei den ersten Sensordaten 16 kann es sich um Bildpunkte eines mittels der Kameraeinrichtung aufgenommenen Bilds des Objekts 18 handeln. Bei den zweiten Sensordaten 20 kann es sich um von der zweiten Sensoreinrichtung 14 ausgesendete Laserstrahlen des Lidars handeln, welche von dem Objekt 18 reflektiert worden sind und mittels der zweiten Sensoreinrichtung 14 nach deren Reflexion wieder empfangen worden sind. Alternativ zu der Kameraeinrichtung und/oder der Lidar können die Sensoreinrichtungen 12, 14 als Radar oder als Ultraschalleinrichtung ausgebildet sein.
-
Mittels der Sensoreinrichtungen 12, 14 werden jeweilige Objekteigenschaften des Objekts 18 in Abhängigkeit von den jeweiligen Sensordaten 16, 20 ermittelt. Das bedeutet, dass mittels der ersten Sensoreinrichtung 12 erste Objekteigenschaften des Objekts 18 in Abhängigkeit von den ersten Sensordaten 16 ermittelt werden und mittels der zweiten Sensoreinrichtung 14 zweite Objekteigenschaften des Objekts 18 in Abhängigkeit von den zweiten Sensordaten 20 ermittelt werden. Um das Objekt 18 zu analysieren, ist des Weiteren vorgesehen, dass mittels einer der Sensoreinrichtungen 12, 14 eine Sensoreigenschaft der mittels der jeweils anderen Sensoreinrichtung erfassten Sensordaten in Abhängigkeit von den Objekteigenschaften, welche von der einen Sensoreinrichtung ermittelt wurden, ermittelt werden. Vorliegend wird mittels der ersten Sensoreinrichtung 12 und somit mittels der Kameraeinrichtung die Sensoreigenschaft der der zweiten Sensoreinrichtung 14 und somit des Lidars in Abhängigkeit von den ersten Objekteigenschaften ermittelt. Folglich ermittelt die erste Sensoreinrichtung 12 in Abhängigkeit von den ersten Sensordaten 16 die ersten Objekteigenschaften des Objekts 18 und erstellt in Abhängigkeit von den ersten Objekteigenschaften eine Prädiktion hinsichtlich der mittels der zweiten Sensoreinrichtung 14 zu erfassenden Sensordaten 20. Somit trifft die erste Sensoreinrichtung 12 eine Vorhersage beziehungsweise eine Einschätzung zu den zweiten Sensordaten 20, welche mittels der zweiten Sensoreinrichtung 14 zu erfassen sind.
-
Die Sensoreigenschaft wird mittels der ersten Sensoreinrichtung 12 in Abhängigkeit von einer Korrelation der ersten Sensordaten 16 zu den zweiten Sensordaten 20 ermittelt. Diese Korrelation kann mittels maschinellen Lernens anhand von ersten Trainingssensordaten der ersten Sensoreinrichtung 12 und zweiten Trainingssensordaten der zweiten Sensoreinrichtung 14 ermittelt werden. Hierbei kann in die Ermittlung der Korrelation eine Umgebungsinformation, welche die Umgebung des Kraftfahrzeugs 10 charakterisiert, mit einbezogen werden. Die Umgebungsinformation kann mittels einer der Sensoreinrichtungen 12, 14 ermittelt werden oder mittels einer weiteren in der einzigen Figur nicht dargestellten Umgebungsinformationserfassungseinrichtung ermittelt werden. Bei der Umgebungsinformation kann es sich um ein Wetter oder um eine Umweltbedingung der Umgebung des Kraftfahrzeugs 10 handeln.
-
Nachdem die Sensoreigenschaft mittels der ersten Sensoreinrichtung 12 in Abhängigkeit von der Korrelation ermittelt worden ist, erfolgt eine Fusion der ersten Sensordaten 16 mit den zweiten Sensordaten 20 in Abhängigkeit von der ermittelten Sensoreigenschaft. Die Fusion kann mittels der elektronischen Recheneinrichtung 22 erfolgen, wobei die elektronische Recheneinrichtung 22 sowohl die ersten Sensordaten 16, als auch die zweiten Sensordaten 20 als auch die Sensoreigenschaft von den Sensoreinrichtungen 12, 14 empfängt. Alternativ oder zusätzlich kann die elektronische Recheneinrichtung 22 die mittels der Sensoreinrichtungen 12, 14 ermittelten Objekteigenschaften des Objekts 18 in Abhängigkeit von der Sensoreigenschaft fusionieren. Mittels der elektronischen Recheneinrichtung 22 wird das Objekt 18 im Anschluss an die Fusion in Abhängigkeit von der Fusion analysiert. Im Rahmen der Analyse kann das Objekt 18 in Abhängigkeit von der Fusion klassifiziert und/oder hinsichtlich einer Farbe und/oder hinsichtlich einer Bewegung und/oder hinsichtlich einer Position und/oder hinsichtlich einer Größe bewertet werden.
-
Dabei liegt dem Verfahren die Erkenntnis zugrunde, dass sich bei einer Fusion von Daten unterschiedlicher Sensoreinrichtungen ein Zielkonflikt zwischen guter Kapselung bei einer High-Level-Fusion und hoher Leistungsfähigkeit bei einer Low-Level-Fusion ergeben kann. Unter einer High-Level-Fusion ist eine Fusion von weiterverarbeiteten Messdaten von Sensoreinrichtungen zu verstehen, wohingegen unter einer Low-Level-Fusion eine Fusion von Rohmessdaten der Sensoreinrichtungen zu verstehen ist. Durch eine gute Kapselung ergeben sich besonders hohe Freiheitsgrade für einen Austausch von Sensoren, insbesondere hinsichtlich unterschiedlicher Zulieferer. Weiterhin ist eine Weiterentwicklung bei guter Kapselung besonders leicht möglich. Durch den Prozess der Kapselung oder insbesondere eine Zusammenfassung von Rohdatenmessdaten zu Objekteigenschaften gehen Informationen verloren. Diese verlorenen Informationen stehen in einem weiteren Prozess nicht mehr zur Verfügung. Eine High-Level-Fusion ermöglicht eine verteilte Verarbeitung der Objekteigenschaften in unterschiedlichen elektronischen Recheneinrichtungen und/oder Sensoreinrichtungen.
-
Bei dem im Zusammenhang mit der einzigen Figur beschriebenen Verfahren ist es vorgesehen, dass die erste Sensoreinrichtung 12 lernt, wie aufgenommenen Muster für die zweite Sensoreinrichtung 14 aussehen, das bedeutet, dass die erste Sensoreinrichtung 12 eine Prädiktion über die zweiten Sensordaten 20 lernt.
-
Mittels der ersten Sensoreinrichtung 12 kann über die Kameraeinrichtung ein querender Fußgänger beziehungsweise ein querendes Tier erkannt werden. Die Kameraeinrichtung erkennt deren Beinbewegung. In Abhängigkeit von der erkannten Beinbewegung kann mittels der ersten Sensoreinrichtung 12 vorausgesagt werden, dass eine einen Radarsensor umfassende weitere Sensoreinrichtung einen Mikrodopplereffekt ermittelt. In einem anderen Fall kann mittels der Kameraeinrichtung ein Hindernis erkannt werden und mittels der ersten Sensoreinrichtung 12 eine Voraussage über eine Reflexionscharakteristik des Hindernisses, bei welchem es sich um das Objekte 18 handeln kann, erstellt werden. Die Voraussage über die Reflexionscharakteristik des Objekts 18 charakterisiert die Sensoreigenschaft der zweiten Sensordaten 20. Mittels der ersten Sensoreinrichtung 12 kann eine ermittelte Farbe des Objekts 18 für eine Voraussage einer Lidarreflexion für die zweiten Sensordaten 20 erstellt werden. Bei der Fusion kann dann die Sensoreigenschaft verwendet werden, um eine besonders hohe Sicherheit einer Objektzuordnung des Objekts 18 und somit eine besonders genaue Objektklassifizierung des Objekts 18 zu erreichen.
-
Da bei dem Verfahren keine Low-Level-Fusion notwendig ist, sind lediglich besonders geringe Datenmengen zwischen den Sensoreinrichtungen 12, 14 und/oder den Sensoreinrichtungen 12, 14 und der elektronischen Recheneinrichtung 22 zu übertragen. Bei dem Verfahren ist des Weiteren eine besonders hohe Flexibilität bei einer Kombination von Sensoreinrichtungen 12, 14 unterschiedlicher Hersteller möglich. Funktionale Sicherheitsziele sind mittels des Verfahrens besonders leicht nachweisbar und es ist eine besonders hohe Leistungsfähigkeit einer High-Level-Fusion erreichbar. Überdies kann bei dem Verfahren eine intelligente Degradation einzelner Sensoreinrichtungen, insbesondere der zweiten Sensoreinrichtung 14, in bestimmten Situationen, insbesondere in Abhängigkeit von der Umgebungsinformation, erfolgen. Hierbei können insbesondere zweite Sensordaten 20 des Lidars bei Schneefall degradiert werden.
-
Eine optimale Performance für Sensorfusionsverfahren lässt sich durch eine möglichst rohdatennahe Funktion von Sensordaten erreichen. Hierbei stehen dem Sensorfusionsverfahren alle vorhandenen Informationen in Form der Rohdaten zur Verfügung. Das Sensorfusionsverfahren kann ein Einlernen einer Korrelation zwischen Sensordaten unterschiedlicher Sensoreinrichtungen umfassen. Zusätzlich zu offensichtlichen Korrelationen zwischen den Sensordaten können implizite Abhängigkeiten, welche nicht durch ein Design von Hand beschrieben werden können, aufgedeckt werden. Aufgrund von Beschränkungen insbesondere bei einer Bandbreite von vorhandenen Kommunikationskanälen ist eine Übertragung von Rohdaten an die elektronische Recheneinrichtung 22 in vielen Fällen nicht darstellbar. Weiterhin erschwert die Verwendung einer Rohdatenfusion eine Austauschbarkeit von Sensoreinrichtungen. Ansätze, mittels welchen Abhängigkeiten von Rohdaten unterschiedlicher Sensoreinrichtungen untersucht werden können, sind Lernverfahren, welche automatisch Merkmale lernen, wie Deep Learning, Mutual-Information-Score sowie eine Korrelationsanalyse für Klassifikationen, wie eine Fisher Discriminant Analysis. Bei der Korrelationsanalyse für die Klassifikation erfolgt eine Identifikation optimaler Projektionen für eine Unterscheidung von Klassen des Objekts 18. Durch die Projektion sind nur wenige Merkmale im Ausgangsraum notwendig, um die Klassen zu unterscheiden. Somit übertragen die Sensoreinrichtungen 12, 14 an die elektronische Recheneinrichtung 22 ihre Anteile der wichtigsten Projektionen anstatt ihre hochdimensionalen Eingangsdaten. Bei Maschinenlernverfahren wie Deep Learning kann eine Analyse von Netzwerkgewichten durchgeführt werden, um wichtige Korrelationen zwischen Sensormodalitäten aufzudecken. Aus diesen Korrelationen zwischen den Sensormodalitäten können wiederum die wichtigsten Projektionen der Eingangsdaten bestimmt werden.
-
Zusammenfassend wird bei dem Verfahren eine niedrigdimensionale Beschreibung der Objektmerkmale mittels der Sensoreinrichtungen 12, 14 erstellt, welche eine optimale Unterscheidung von Objekten 18, insbesondere von Klassen der Objekte 18, wie Unterscheidung Fußgänger gegen Hintergrund, ermöglichen. Eine tatsächliche Auswahl der übertragenen Sensoreigenschaft kann manuell oder über eine Datenauswertung stattfinden.
-
Bezugszeichenliste
-
- 10
- Kraftfahrzeug
- 12
- erste Sensoreinrichtung
- 14
- zweite Sensoreinrichtung
- 16
- erste Sensordaten
- 18
- Objekt
- 20
- zweite Sensordaten
- 22
- elektronische Recheneinrichtung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102009006113 A1 [0002]
