DE102022128787A1

DE102022128787A1 - Verfahren und Assistenzsystem zum Detektieren von statischen Hindernissen und entsprechend eingerichtetes Kraftfahrzeug

Info

Publication number: DE102022128787A1
Application number: DE102022128787.4A
Authority: DE
Inventors: Georg Tanzmeister
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-10-28
Filing date: 2022-10-28
Publication date: 2024-05-08

Abstract

Die Erfindung betrifft ein Verfahren (9) und ein Assistenzsystem (5) zum Detektieren von statischen Hindernissen. Die Erfindung betrifft weiter ein entsprechend eingerichtetes Kraftfahrzeug (1). In dem Verfahren (9) werden durch mehrere Sensoren (3) jeweilige Sensordaten (10, 15, 19) aufgenommen. Jeder der Sensoren (3) erzeugt allein basierend auf dessen Sensordaten (10, 15, 19) eine sensorspezifische Objektliste (12, 17, 21), in der durch den jeweiligen Sensor (3) detektierte bewegte Objekte angegeben sind. Die jeweiligen Sensordaten (10, 15, 19) werden dann um zu den in der jeweiligen sensorspezifischen Objektliste (12, 17, 21) angegebenen Objekten gehörende Sensordaten (10, 15, 19) bereinigt. Basierend auf den verbleibenden bereinigten Sensordaten der mehreren Sensoren (3), die zu keinem detektierten bewegten Objekt gehören, werden dann die statischen Hindernisse erkannt.

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein entsprechendes Assistenzsystem zum Detektieren von Hindernissen in einer jeweiligen Umgebung. Die Erfindung betrifft weiter ein entsprechend eingerichtetes Kraftfahrzeug.
Automatisierte Systeme und Assistenzsystem werden heutzutage in vielerlei Ausprägungen in unterschiedlichsten Bereichen eingesetzt, so beispielsweise auch in Kraftfahrzeugen. Dabei sind solche Systeme oftmals auf eine Erkennung einer jeweiligen Umgebung, insbesondere von Hindernissen angewiesen. Dies kann an sich bereits eine signifikante Herausforderung darstellen. Gerade bei höheren Automatisierungsgraden und/oder in sicherheitskritischen Anwendungen kann es aber darüber hinaus problematisch sein, eine Funktionsweise bzw. Zuverlässigkeit und Robustheit entsprechender Sensoren abzusichern und zu validieren, also eine ausreichende Performance sicherzustellen. Dies kann derart viel Daten-, Zeit- und Kostenaufwand erfordern, dass dies nicht praktikabel oder wirtschaftlich darstellbar ist. Obwohl also grundsätzlich ein automatisiertes Erkennen und Nachverfolgen von Hindernissen bzw. Objekten bekannt ist, besteht hier weiterer Verbesserungsbedarf.
Ein Beispiel für ein Verfahren zur Hinderniserkennung ist beschrieben in der KR 2022 0 093 382 A. Darin werden Informationen zur Veränderung einer Position eines Fahrzeugs erfasst und darauf basierend eine Position einer historischen Hindernisbeobachtung prädiziert. Weiter wird aus einer aktuellen Beobachtung eine Position eines Hinderniskandidaten ermittelt. Es wird dann ein bekanntes Hindernis generiert, indem die historische Hindernisbeobachtung assoziiert wird mit dem Hinderniskandidaten gemäß der prädizierten Position und einer Position des Hinderniskandidaten. Basierend auf einer Verlässlichkeit des so generierten bekannten Hindernisses wird dann ein effektives Hindernis bestimmt.
Zur Verbesserung einer Hindernis- oder Objekterkennung können prinzipiell Daten von mehreren Sensoren fusioniert, also miteinander kombiniert werden. Als einen Ansatz dafür beschreibt die EP 3 879 455 A1 einen multisensor Datenfusionsverfahrens zum Fusionieren von Merkmalsdaten, die von mehreren Sensoren gesammelt wurden. Diese Sensoren sind dabei an einem beweglichen Träger angebracht und dazu eingerichtet, einen Status einer jeweiligen Umgebung zu beobachten. Der Status der Umgebung umfasst dabei aktuelle statische Umgebungsinformationen und aktuelle dynamische Zielinformationen, die basierend auf jeweiligen Referenzinformationen gewonnen werden. Damit soll letztlich eine verbesserte Erkennungsperformance einer multisensor Datenfusion ermöglicht werden.
Aufgabe der vorliegenden Erfindung ist es, auf besonders einfache und effiziente Weise eine robuste und zuverlässige Realisierung von zumindest bedingtautomatisierten Funktionen, insbesondere eines Kraftfahrzeugs, zu unterstützen.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weitere mögliche Ausgestaltungen der Erfindung sind in den Unteransprüchen, der Beschreibung und den Figuren offenbart. Merkmale, Vorteile und mögliche Ausgestaltungen, die im Rahmen der Beschreibung für einen der Gegenstände der unabhängigen Ansprüche dargelegt sind, sind zumindest analog als Merkmale, Vorteile und mögliche Ausgestaltungen des jeweiligen Gegenstands der anderen unabhängigen Ansprüche sowie jeder möglichen Kombination der Gegenstände der unabhängigen Ansprüche, gegebenenfalls in Verbindung mit einem oder mehr der Unteransprüche, anzusehen.
Das erfindungsgemäße Verfahren kann angewendet werden zum Detektieren von statischen, also unbeweglichen oder stillstehenden Hindernissen in einer jeweiligen Umgebung. Das Verfahren kann insbesondere in einem Kraftfahrzeug oder beim Betrieb eines Kraftfahrzeugs angewendet werden. Dementsprechend kann es sich bei der jeweiligen Umgebung dann insbesondere um eine Umgebung des entsprechenden Kraftfahrzeugs handeln kann. Grundsätzlich ist die vorliegende Erfindung jedoch nicht auf diesen Anwendungsfall beschränkt. Das Kraftfahrzeug oder eine andere für das Verfahren verwendete Vorrichtung kann insbesondere eine jeweilige Umgebungssensorik aufweisen, die mehrere verschiedene, insbesondere unterschiedliche, einzelne Sensoren umfassen kann, um die jeweilige Umgebung abzutasten, aufzunehmen oder abzubilden, also zu charakterisieren.
Statische Hindernisse im vorliegenden Sinne können beispielsweise Teile einer umgebenden Infrastruktur, Teile einer Straßeneinrichtung, Bauwerke, Abfall oder verlorene Ladung, insbesondere auf einer Fahrbahn, Pylone, Baken, Baustellenbegrenzungen oder ähnliches sein oder umfassen. Statische Hindernisse können also insbesondere permanent oder zumindest vorübergehend bzw. zum jeweils aktuellen Zeitpunkt orts- oder lagefest relativ zu einem weltfesten Koordinatensystem sein. Damit können solche statischen Hindernisse also im Gegensatz zu bewegten bzw. sich bewegenden Objekt in der jeweiligen Umgebung gesehen werden. Solche bewegten Objekte können beispielsweise andere Fahrzeuge, andere Verkehrsteilnehmer verschwenkbare Maschinenteile oder Roboterarme oder dergleichen mehr sein oder umfassen.
In dem erfindungsgemäßen Verfahren werden für die jeweilige Umgebung bzw. in oder von der jeweiligen Umgebung durch mehrere Sensoren jeweilige Sensordaten aufgenommen. Diese Sensordaten können also die jeweilige Umgebung charakterisieren oder abbilden. Beispielsweise kann es sich bei den Sensordaten um Radardaten und/oder Lidardaten und/oder Kameradaten bzw. Kamerabilder und/oder Ultraschalldaten und/oder dergleichen mehr handeln. Insbesondere können die Sensordaten eine jeweilige Menge von Einzeldetektionen oder einzelnen Datenpunkten, also beispielsweise eine Menge einzelner Radarechos oder eine Menge einzelner Lidarmesspunkte bzw. eine entsprechende Punktwolke oder eine Menge einzelner Pixel oder dergleichen sein oder umfassen. Die Sensordaten können also beispielsweise von den Sensoren aufgenommene Rohdaten oder lediglich sensorintern vorverarbeitete Daten sein oder umfassen. Insbesondere können diese Sensordaten im vorliegenden Sinne also verschieden sein von daraus ermittelten oder abgeleiteten abstrahierten Daten oder Merkmalen, wie beispielsweise konkreten erkannten Hindernissen oder Objekten oder dergleichen.
In dem erfindungsgemäßen Verfahren wird für jeden der mehreren Sensoren allein basierend auf dessen sensorspezifischen, also von dem jeweiligen Sensor selbst aufgenommenen Sensordaten eine jeweilige sensorspezifische Objektliste erzeugt. Diese sensorspezifischen Objektlisten können insbesondere von den einzelnen Sensoren selbst, also beispielsweise sensorintern durch die einzelnen Sensoren erzeugt und anschließend ausgegeben oder bereitgestellt werden. Ebenso könnten die sensorspezifischen Objektlisten aber beispielsweise durch eine zentrale Datenverarbeitungseinrichtung oder ein entsprechendes Assistenzsystem oder dergleichen erzeugt werden. In den sensorspezifischen Objektlisten sind, insbesondere durch den jeweiligen Sensor selbst, in den Sensordaten oder anhand der Sensordaten des jeweiligen einzelnen Sensors detektierte, also von dem jeweiligen Sensor bzw. der Datenverarbeitungseinrichtung erkannte, insbesondere sensorintern getrackte, also nachverfolgte, bewegte bzw. sich bewegende Objekte angegeben, also aufgelistet oder spezifiziert. Solche sensorintern oder sensorspezifisch detektierten Objekte können hier auch als Sensorobjekte bezeichnet werden.
In dem erfindungsgemäßen Verfahren werden die sensorspezifischen Sensordaten der verschiedenen Sensoren dann um zu den in der jeweiligen sensorspezifischen, also von dem jeweiligen Sensor selbst oder für den jeweiligen Sensor allein basierend auf dessen eigenen Sensordaten erzeugten, Objektliste angegebenen Objekten gehörende Sensordaten bereinigt. Zu solchen Objekten, also den jeweiligen Sensorobjekten gehörende Sensordaten können also insbesondere entsprechende, den detektierten Objekten zugeordnete bzw. mit diesen assoziierte Einzel- oder Sensordetektionen oder Datenpunkte oder Pixel oder dergleichen, also entsprechende Rohdaten oder nur vorverarbeitete Daten sein oder umfassen.
Die zu den detektierten Sensorobjekten gehörenden Sensordaten können beispielsweise mittels einer entsprechenden Assoziierung oder Zuordnung automatisch bestimmt oder ermittelt werden. Dazu können beispielsweise ein oder mehr vorgegebene Kriterien, wie etwa ein Positionskriterium, ein Abstandskriterium, ein Clusterkriterium und/oder dergleichen mehr entsprechend ausgewertet werden. Ebenso können ein oder mehr vorgegebene Schwellenwerte, beispielsweise bezüglich einer jeweiligen gemessenen Reflektivität oder Intensität oder Signalstärke oder eines jeweiligen Radarquerschnitts und/oder dergleichen mehr für das Assoziieren, also das Bestimmen der zu den detektierten Sensorobjekten gehörenden Sensordaten berücksichtigt oder ausgewertet werden.
Das Bereinigen kann beispielsweise bedeuten, dass die zu den detektierten Sensorobjekten gehörenden Sensordaten dann aus einem jeweiligen Gesamtsatz der Sensordaten des jeweiligen Sensors oder entsprechenden Schätzungen des jeweiligen Sensors entfernt oder darin beispielsweise maskiert werden. Es kann dann also für jeden Sensor ein entsprechender Satz von bereinigten Sensordaten, also ein Restdatensatz von Sensordaten verbleiben. Dieser jeweilige Restdatensatz kann dann also Sensordaten des jeweiligen Sensors umfassen, die nicht zu einem durch diesen Sensor detektierten bewegten Objekt gehören bzw. zu einem solchen zugeordnet oder mit einem solchen assoziiert sind bzw. wurden.
In dem erfindungsgemäßen Verfahren werden dann basierend auf diesen Restdatensätzen, also den verbleibenden bereinigten Sensordaten der mehreren Sensoren die statischen Hindernisse in der jeweiligen Umgebung detektiert oder erkannt. Dabei können also insbesondere die verbleibenden bereinigten Sensordaten, also die Restdatensätze der mehreren Sensoren bzw. aller beteiligten Sensoren miteinander kombiniert oder fusioniert, also als Basis oder Grundlage zum Erkennen der statischen Hindernisse in der jeweiligen Umgebung verwendet werden.
Durch die vorliegende Erfindung kann eine im Vergleich zu bisherigen Lösungsansätzen verbesserte Unabhängigkeit, also eine sensorweise Dekomposition der Verarbeitungs- oder Zwischenergebnisse der verschiedenen Sensoren, die dann zu einem letztlichen Gesamtergebnis, nämlich den letztlich erkannten statischen Hindernissen, kombiniert werden können, erreicht werden. Damit kann mit entsprechend niedrigerem Absicherungs- oder Validierungsaufwand eine besonders hohe Anforderung an die Performance bzw. Robustheit oder Zuverlässigkeit der Hinderniserkennung erfüllt werden. Dies wiederum kann zu einer praktikablen Realisierbarkeit entsprechend hochgradig automatisierter, im Fahrzeugbereich beispielsweise zumindest bedingtautomatisierter, Funktionen beitragen.
In bisherigen Lösungsansätzen gehen Verfahren oder Einrichtungen zum Erkennen von statischen Hindernissen bzw. unklassifizierten statischen Objekten oder Entitäten typischerweise von der Annahme einer statischen Welt aus. Das bedeutet, dass sie erwarten, dass sämtliche Inputdaten, die sie zum Verarbeiten zur Erkennung der statischen Hindernisse erhalten, nur von Entitäten stammen, die statisch sind, sich also nicht bewegen. Ist dies nicht der Fall, also diese Annahme tatsächlich nicht korrekt, können Artefakte oder Fehlerkennungen, insbesondere vor sogenannte False Positives, entstehen. Dies kann je nach Anwendungsfall zu einer reduzierten Performance führen oder sogar ein Sicherheitsrisiko darstellen.
Um die Annahme der statischen Welt zu rechtfertigen, können vorliegende Sensordaten um solche Sensordaten bzw. um solche Detektionen oder Datenpunkte, die zu bewegten Objekten gehören, bereinigt werden. Dazu kann beispielsweise ein entsprechendes Objekttracking und eine Objektfusion angewendet werden. Für jedes bewegte fusionierte, also aus der Fusion mehrerer, insbesondere von verschiedenen Sensoren stammender, Datensätze ermittelte Objekt, das sich bewegt, können die zugehörigen Detektionen bzw. Sensordaten gesucht, also assoziiert werden. Diese zugehörigen oder assoziierten Detektionen bzw. Sensordaten werden dann gegebenenfalls nicht in der Erkennung statischer Hindernisse genutzt. Dies kann prinzipiell das Entstehen entsprechender Artefakte in der Hinderniserkennung oder einer entsprechenden Hindernisfusion aufgrund von tatsächlich zu bewegten Objekten gehörenden Sensordaten, die fehlerhafterweise in der Erkennung der statischen Hindernisse verwendet werden, vermeiden.
Problematisch ist bei entsprechenden bisherigen Lösungsansätzen allerdings, dass zum Bereinigen der Sensordaten, also zum Entfernen oder Maskieren der zu bewegten Objekten gehörenden Sensordaten, detektierte bewegte Objekte verwendet oder berücksichtigt werden, die ihrerseits bereits basierend auf einem Sensor- bzw. Datenfusionsverfahrens ermittelt wurden. Dadurch sind diese bewegten Objekte bzw. deren Erkennung oder Detektion nicht mehr unabhängig oder unkorreliert. Dementsprechend kann ein fehlerhaft erkanntes bewegtes Objekt dann dazu führen, dass entsprechende zugehörige Sensordaten aller Sensoren gleichermaßen gelöscht oder maskiert werden, also für das Erkennen der statischen Hindernisse unberücksichtigt bleiben. Somit kann also ein einzelner Fehler zu einem Totalversagen der Hinderniserkennung führen. Ein solches Vorgehen kann daher einen entsprechend hohen Daten-, Zeit- und Kostenaufwand zur Absicherung bzw. Validierung der Performance eines entsprechenden Gesamtsystems für die Erkennung der statischen Hindernisse erfordern, um entsprechende Anforderungen zu erfüllen, beispielsweise für einen angestrebten entsprechend hohen Automatisierungsgrad eines entsprechenden bzw. darauf aufbauenden Systems und/oder für eine entsprechend hohe ASIL-Einstufung oder dergleichen. Dies kann je nach Anforderungen und Komplexität Aufwandsdimensionen erreichen, die es nicht mehr praktikabel oder wirtschaftlich erscheinen lassen, entsprechende Absicherungen oder Validierungen durchzuführen oder zu erreichen bzw. entsprechende Anforderungen zu erfüllen, etwa aufgrund der Anzahl dazu notwendiger Tests.
Diese Probleme können durch die vorliegende Erfindung gelöst werden. Die vorliegende Erfindung basiert dabei auf dem Kerngedanken, anstatt der fusionierten bewegten Objekte für jeden Sensor dessen sensorspezifische, also nur auf Sensordaten eben dieses jeweiligen Sensors basierend erzeugte Objektliste zum Bereinigen von Detektionen bzw. Sensordaten dieses Sensors zu verwenden. Mit anderen Worten können beispielsweise lediglich Lidardetektionen eines Lidarsensors lediglich mit der von eben diesem oder für eben diesen Lidarsensor sensorspezifisch, also ohne Berücksichtigung von oder Fusion mit Sensordaten anderer Sensoren erzeugten Objektliste bzw. den korrespondierenden Sensordaten des jeweiligen Sensors bereinigt werden. Gleichfalls können beispielsweise lediglich Radardetektionen eines Radarsensors lediglich mit der von diesem Radarsensor oder spezifisch für diesen Radarsensor erzeugten sensorspezifischen Objektliste bzw. den zu den darin angegebenen Objekten gehörende Sensordaten - in diesem Fall also Radardetektionen - bereinigt werden usw.
Dadurch kann eine entsprechende Dekomposition, also eine verbesserte Unabhängigkeit erreicht oder gewahrt werden. Damit kann beispielsweise der beschriebene Fehlerfall vermieden werden, da ein einzelner Fehler in der Detektionen bewegter Objekte durch einen Sensor und die entsprechende darauf basierende Bereinigung der Sensordaten nur die Sensordaten dieses Sensors betrifft und nicht zu einem Löschen oder Maskieren der entsprechenden Sensordaten auch in den Sensordaten der anderen Sensoren führt, die das entsprechende bewegte Objekt beispielsweise korrekt erkannt bzw. korrekt nicht erkannt haben. Damit kann dann bei der letztlichen Fusion oder Kombination der Daten der verschiedenen Sensoren für die letztendliche statische Hinderniserkennung dieser einzelne Fehler ausgeglichen bzw. korrekt gehandhabt, insbesondere als solcher erkannt werden. Durch diese Unabhängigkeit der einzelnen Sensoren bzw. der Bereinigung von deren Sensordaten und damit letztlich auch der für die letztendliche Erkennung der statischen Hindernisse verwendeten bzw. fusionierten Daten oder Inputs kann ein Absicherungs- oder Validierungsaufwand zum Erfüllen einer bestimmten Anforderung oder zum Erreichen einer bestimmten Sicherheits- oder Performance- oder ASIL-Einstufung oder dergleichen im Vergleich zu den beschriebenen bisherigen Lösungsansätzen signifikant reduziert werden. Damit können beispielsweise zumindest bedingtautomatisierte Fahrfunktionen eines Kraftfahrzeugs mit vertretbarem Aufwand realisierbar sein.
Der Kürze und einfachheitshalber werden vorliegend statische Hindernisse auch kurz einfach als Hindernisse bezeichnet. Analog werden bewegte Objekte vorliegend auch kurz einfach als Objekte bezeichnet.
In einer möglichen Weiterbildung der vorliegenden Erfindung werden wenigstens drei unterschiedliche Sensoren verwendet. Dabei können insbesondere wenigstens ein Radarsensor, wenigstens einen Lidarsensor und wenigstens eine, insbesondere optische, Kamera verwendet werden. Es können hier also insbesondere wenigstens drei unterschiedliche Sensorarten, also wenigstens drei Sensoren, die auf unterschiedlichen Funktionsprinzipien basieren, verwendet werden. Damit können also insbesondere Sensordaten von wenigstens drei unterschiedlichen Sensoren zum letztlichen Erkennen zumindest der statischen Hindernisse, insbesondere aber dementsprechend auch der bewegten Objekte, verwendet bzw. miteinander kombiniert oder fusioniert werden. Die bewegten Objekte können dabei beispielsweise durch Kombination bzw. Fusion der entsprechenden Objektlisten der verschiedenen Sensoren letztlich detektiert werden oder bestätigt werden. Durch die Verwendung unterschiedlicher Sensoren kann eine weiter verbesserte Unabhängigkeit oder Robustheit bzw. eine entsprechend verbesserte Absicherung gegenüber Fehlern oder störenden äußeren Einflüssen erreicht werden. So kann beispielsweise ermöglicht werden, dass in Situationen oder unter Umständen, die zu einer Störung eines Sensors oder einer Sensorart führen, die wenigstens zwei anderen Sensoren oder Sensorarten ungestört arbeiten, also funktionieren können. Die hier vorgeschlagene Kombination aus einem Radarsensor, einem Lidarsensor und einer Kamera ermöglicht dabei erfahrungsgemäß eine besonders umfassende, flexible und robuste Erfassung der jeweiligen Umgebung und somit eine besonders genaue, zuverlässige und robuste Erkennung zumindest der statischen Hindernisse, insbesondere aber auch der bewegten Objekte in der jeweiligen Umgebung.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die jeweils verbleibenden bereinigten Sensordaten, also die Restdatensätze, der mehreren Sensoren miteinander fusioniert und darauf basierend die statischen Hindernisse erkannt. Die so basierend auf der Fusion der bereinigten Sensordaten der mehreren Sensoren detektierten Hindernisse können auch als fusionierte oder bestätigte statische Hindernisse bezeichnet werden. Analog können beispielsweise durch Fusion der Objektlisten der verschiedenen Sensoren ermittelte bewegte Objekte als fusionierte oder bestätigte bewegte Objekte bezeichnet werden. Durch das hier vorgeschlagene Fusionieren der bereinigten Sensordaten der mehreren Sensoren können die statischen Hindernisse besonders zuverlässig, robust und genau erkannt werden. Insbesondere kann damit erreicht werden, dass eine Fehlerkennung oder Fehlfunktion oder ein Nicht-Erkennen eines Hindernisses bzw. ein Fehlen von Sensordaten eines Sensors für ein Hindernis, beispielsweis aufgrund einer Verdeckung oder dergleichen, nicht dazu führt, dass das entsprechende Hindernis übersehen, also nicht erkannt wird. Damit können auf den detektierten Hindernissen aufbauende Systeme oder Funktionen entsprechend besonders sicher, zuverlässig und robust ausgeführt werden.
In einer möglichen Weiterbildung der vorliegenden Erfindung wird ein statisches Hindernis nur dann erkannt, also als bestätigtes Hindernis erkannt bzw. eingestuft, wenn mehrere, insbesondere die Mehrheit, der mehreren Sensoren als Teil ihrer Sensordaten das jeweilige Hindernis indizierende Sensordaten liefern. Mit anderen Worten wird also ein beispielsweise in den Sensordaten eines Sensors zumindest anscheinend repräsentiertes Hindernis nur dann als reales Hindernis erkannt oder bestätigt, wenn dieses Hindernis, also beispielsweise ein entsprechendes Hindernis an derselben Position oder auch mit denselben Eigenschaften oder dergleichen, auch in den Sensordaten wenigstens eines anderen Sensors, insbesondere der Mehrheit der Sensoren, deren Sensordaten zum Erkennen der statischen Hindernisse verwendet bzw. fusioniert werden, repräsentiert ist. Damit können also beispielsweise Messfehler oder etwa aufgrund von Mehrfachreflektionen oder dergleichen entstehende, beispielsweise nur für einen der Sensoren sichtbare Detektionen als solche erkannt werden und dementsprechend verworfen werden bzw. unberücksichtigt bleiben. Damit können die tatsächlich real vorhandenen Hindernisse besonders genau und zuverlässig erkannt bzw. entsprechende Falscherkennungen, also False Positives, besonders zuverlässig vermieden werden.
In einer möglichen Weiterbildung der vorliegenden Erfindung wird bei dem Fusionieren der verbleibenden bereinigten Sensordaten zum Erkennen der statischen Hindernisse eine 2oo3-Erkennungsstrategie (2-out-of-3, 2-von-3) bzw. -Fusion verwendet. Mit anderen Worten kann also ein Hindernis dann tatsächlich erkannt bzw. bestätigt werden, wenn wenigstens zwei von drei Sensoren dieses Hindernis detektiert, also dieses Hindernis repräsentierende Sensordaten aufgenommen haben. Durch eine solche Strategie zum Erkennen bzw. Bestätigen von Hindernissen kann eine besonders robuste und zuverlässige Hinderniserkennung erreicht werden. Diese Erkennungsstrategie kann dabei auch bei der Verwendung von mehr als drei Sensoren entsprechend angewendet werden, wobei ein Hindernis beispielsweise dann tatsächlich erkannt bzw. bestätigt werden kann, wenn wenigstens zwei Drittel der Sensoren das entsprechende Hindernis detektiert, also dieses Hindernis repräsentierende Sensordaten aufgenommen haben.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Objektlisten der mehreren Sensoren und/oder die zu den darin angegebenen bewegten Objekten gehörigen Sensordaten der mehreren Sensoren miteinander fusioniert, um durch mehrere, insbesondere die Mehrheit, der mehreren Sensoren bestätigte bewegte Objekte zu bestimmen. Mit anderen Worten kann damit also eine entsprechende bestätigte oder fusionierte Objektliste, in der die bestätigten bzw. fusionierten oder basierend auf fusionierten Daten mehrerer Sensoren erkannten bewegten Objekte angegeben sind, erzeugt werden. Die jeweiligen Sensordaten der einzelnen Sensoren werden dann jeweils nur um diejenigen oder mit denjenigen Sensordaten bzw. Sensorobjekten des jeweiligen Sensors bereinigt, die zu einem solchen letztlich auch durch die Fusion bestätigten bewegten Objekt gehören. Mit anderen Worten werden also Sensordaten nur dann als tatsächlich zu einem realen bewegten Objekt zugehörig eingestuft und dementsprechend für das Erkennen der statischen Hindernisse unberücksichtigt gelassen, wenn es in der bestätigten Objektliste ein dem jeweiligen Sensorobjekt entsprechendes, also zu diesem korrespondierendes bewegtes Objekt gibt.
Um diese Entsprechung zwischen dem Sensorobjekten und dem bzw. einem in der bestätigten Objektliste angegebenen bewegten Objekt zu bestimmen können beispielsweise ein oder mehr vorgegebene Kriterien, beispielsweise ein Positionskriterium oder ein Abstandskriterium oder ein Eigenschaftskriterium oder dergleichen, entsprechend ausgewertet werden. Es werden also gegebenenfalls ein Sensorobjekt eines einzelnen Sensors bzw. die zu einem solchen zugeordneten bzw. mit einem solchen assoziierten Sensordaten dieses Sensors nur dann zum Bereinigen des Gesamtsatzes der Sensordaten dieses jeweiligen Sensors verwendet, wenn es an der entsprechenden Position auch ein fusioniertes, also bestätigte, also in der bestätigten Objektliste angegebenes Objekt gibt.
Dies ist typischerweise relativ einfach und aufwandsarm möglich, da eine entsprechende Zuordnung oder Assoziation zwischen den Sensorobjekten und den fusionierten bzw. bestätigten Objekten bei einer typischen Implementierung für die Fusion der Objektlisten ohnehin bereits vorliegt bzw. daraus entnommen oder abgeleitet werden kann, da ja die Sensorobjekte der mehreren Sensoren gerade zu den bestätigten Objekten fusioniert werden.
Durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann der potenziell problematische Fall abgefangen werden, dass beispielsweise bei Verwendung von drei Sensoren und einer 2oo3-Erkennungsstrategie bzw. Fusionsstrategie eine real vorhandene statische bzw. stillstehende physikalische Entität, also etwa ein statisches Hindernis oder ein momentan stillstehendes prinzipiell bewegliches Objekt, weder in der bestätigten Objektliste auftaucht bzw. angegeben wird noch als statisches Hindernis bzw. bestätigtes statisches Hindernis erkannt wird. Somit kann durch die hier vorgeschlagene Ausgestaltung der der vorliegenden Erfindung eine besonders robuste, zuverlässige, sichere und vollständige korrekte Erkennung der jeweiligen Umgebung bzw. der darin vorhandenen Hindernisse bzw. Entitäten erreicht oder ermöglicht werden.
In einer möglichen Weiterbildung der vorliegenden Erfindung werden jeweils Sensordaten eines Sensors, die zu einem in der Objektliste dieses Sensors angegebenen bewegten Objekt gehören, das aber nicht in der bestätigten Objektliste angegeben ist, stattdessen zum Erkennen der statischen Hindernisse verwendet. Mit anderen Worten kann dann also davon ausgegangen werden, dass die entsprechenden Sensordaten, die durch den jeweiligen Sensor initial einem bewegten Sensorobjekt zugeordnet wurden, das in der Fusion der Objektlisten nicht als reales bewegtes Objekt bestätigt wurde, tatsächlich nicht zu einem realen bewegten Objekt gehören, also eine entsprechende Fehlerkennung vorliegt. Diese Sensordaten können dann beispielsweise neu klassifiziert werden als zu einem statischen Hindernis gehörend bzw. von einem statischen Hindernis stammend. Dadurch, dass diese Sensordaten dann - trotz der ursprünglich anderen oder abweichenden Einstufung oder Klassifikation - zum Erkennen der statischen Hindernisse, beispielsweise im Rahmen der Fusion der entsprechenden verbleibenden bereinigten Sensordaten der mehreren Sensoren, berücksichtigt werden, kann eine besonders robuste, zuverlässige und vollständige Erkennung der jeweiligen Umgebung erreicht bzw. ermöglicht werden. Die entsprechenden Sensordaten, die zwar von dem jeweiligen einzelnen Sensor zunächst als zu einem bewegten Sensorobjekt gehörend eingestuft wurden, aber bei der Fusion der Sensordaten bzw. Objektlisten der mehreren Sensoren nicht als solche bestätigt wurden, können hier auch als falsch oder fehleingestufte Sensordaten bezeichnet werden. Falls es also kein dem jeweiligen Sensorobjekt entsprechendes fusioniertes Objekt gibt, werden dann dieses Sensorobjekt bzw. die entsprechenden fehleingestuften Sensordaten nicht für das Bereinigen verwendet. Stattdessen können die fehleingestuften Sensordaten dann beispielsweise in ein statisches Belegungsgitter (SOG: Static Occupancy Grid) der jeweiligen Umgebung eingetragen werden. Basierend auf solchen Belegungsgittern kann dann ein an sich bekannter Algorithmus zur Hinderniserkennung angewendet werden. Damit ist eine nicht nur besonders zuverlässige, sondern beispielsweise auch besonders einfache oder aufwandsarme Erkennung von Hindernissen möglich.
Die Erfindung betrifft auch ein Assistenzsystem, das mehrere unterschiedliche Sensoren und eine damit gekoppelte Datenverarbeitungseinrichtung zum Fusionieren von Daten der mehreren Sensoren umfasst. Das erfindungsgemäße Assistenzsystem ist dabei zum, insbesondere automatischen, Ausführen des erfindungsgemäßen Verfahrens eingerichtet. Dazu kann beispielsweise in der Datenverarbeitungseinrichtung oder auch in den einzelnen Sensoren, beispielsweise in einem jeweiligen computerlesbaren Datenspeicher, ein entsprechendes Betriebs- oder Computerprogramm gespeichert sein, das die entsprechenden, in Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen Verfahrensschritte, Maßnahmen oder Abläufe oder entsprechende Steueranweisungen codiert oder implementiert. Dieses Betriebs- oder Computerprogramm kann dann beispielsweise mit einer jeweiligen Prozesseinrichtung, also einem jeweiligen Mikrochip, Mikroprozessor oder Mikrocontroller oder dergleichen, der Datenverarbeitungseinrichtungen oder auch der einzelnen Sensoren, insbesondere automatisch, ausführbar sein bzw. im Betrieb ausgeführt werden, um das entsprechende Verfahren auszuführen oder dessen Ausführung zu bewirken.
Das erfindungsgemäße Assistenzsystem kann insbesondere für ein Kraftfahrzeug vorgesehen sein. Dazu kann das Assistenzsystem beispielsweise ein entsprechendes Steuergerät sowie entsprechende Fahrzeugsensoren zur Umgebungserkennung umfassen.
Die vorliegende Erfindung betrifft auch ein Kraftfahrzeug, das ein erfindungsgemäßes Assistenzsystem aufweist. Das erfindungsgemäße Kraftfahrzeug kann damit also insbesondere zum, insbesondere automatischen, Ausführen oder Anwenden des erfindungsgemäßen Verfahrens eingerichtet sein. Das erfindungsgemäße Kraftfahrzeug kann das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit dem erfindungsgemäßen Assistenzsystem genannte Kraftfahrzeug sein oder diesem entsprechen.
Weiter kann das erfindungsgemäße Kraftfahrzeug wenigstens eine Funktion oder wenigstens ein Fahrzeugsystem aufweisen, die bzw. das dazu eingerichtet ist, basierend auf von dem erfindungsgemäßen Assistenzsystem angegebenen erkannten statischen Hindernissen oder auch detektierten bewegten Objekten, also beispielsweise einer entsprechenden Liste, einen Fahrer beim Führen des Kraftfahrzeugs zu unterstützen und/oder das Kraftfahrzeug in einem zumindest teilautomatisierten, insbesondere zumindest bedingtautomatisierten, Betrieb zu führen.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in:

1 eine ausschnittweise schematische Darstellung eines Kraftfahrzeugs, das für eine Erkennung von bewegten Objekten und statischen Hindernissen in einer jeweiligen Umgebung als Basis für wenigstens ein Fahrzeugsystem eingerichtet ist; und
2 ein beispielhaftes Schema zum Veranschaulichen eines entsprechenden Verfahrens zum Erkennen der statischen Hindernisse.

Das Erkennen und Tracking, also Nachverfolgen von Objekten und Hindernissen in einer Umgebung einer Vorrichtung, beispielsweise eines Fahrzeugs, ist heutzutage oftmals zweigeteilt. Dabei können bewegte Objekte, insbesondere andere Verkehrsteilnehmer, über eine dedizierte Objekterkennung identifiziert und über ein entsprechendes Objekttracking nachverfolgt werden. Statische Hindernisse oder Strukturen in der jeweiligen Umgebung oder auch Objekte, die beispielsweise durch Verdeckung oder ihr Aussehen nicht eindeutig identifiziert werden können und statisch, also unbewegt oder stillstehend sind, können hingegen über eine separate Hindernisfusion erkannt bzw. geschätzt werden. Resultierende Ergebnisse aus beiden Prozessen können dann als Input in wenigstens einen vorgegebenen Planungsalgorithmus, beispielsweise für eine Bewegungs- oder Trajektorienplanung oder dergleichen, einfließen.
1 zeigt beispielhaft ein entsprechend eingerichtetes Kraftfahrzeug 1 mit einem hier schematisch angedeuteten Fahrer 2. Das Kraftfahrzeug 1 weist mehrere, insbesondere unterschiedliche, Sensoren 3 zur Umgebungserfassung auf. Weiter weist das Kraftfahrzeug 1 mindestens ein Fahrzeugsystem 4 auf, das letztendlich oder zumindest indirekt basierend auf von den Sensoren 3 gelieferten Umgebungs- bzw. Sensordaten wenigstens eine Unterstützungsfunktionen oder Fahrfunktion des Kraftfahrzeugs 1 ausführen oder steuern kann. Beispielsweise kann das Fahrzeugsystem 4 zur bedingtautomatisierten Führung, insbesondere Längs- und Querführung, des Kraftfahrzeugs 1 eingerichtet sein.
Das Fahrzeugsystem 4 verarbeitet hier allerdings die mittels der Sensoren 3 aufgenommenen Sensordaten nicht direkt selbst. Vielmehr weist das Kraftfahrzeug 1 hier auch ein Assistenzsystem 5 auf, das in Zusammenwirkung mit den Sensoren 3 insbesondere statische Hindernisse oder auch bewegte Objekte in der jeweiligen Umgebung erkennen kann. Entsprechende erkannte Hindernisse oder auch Objekte können dann beispielsweise als Input an das Fahrzeugsystem 4 gesendet bzw. diesem bereitgestellt werden.
Die Sensoren 3, das Fahrzeugsystem 4 und das Assistenzsystem 5 können beispielsweise über ein hier schematisch angedeutetes Bordnetz des Kraftfahrzeugs 1 miteinander verbunden sein. Beispielsweise kann das Assistenzsystem 5 über eine entsprechende Schnittstelle 6 an das Bordnetz angeschlossen bzw. mit den Sensoren 3 gekoppelt sein. Zum Verarbeiten von durch die Sensoren 3 gelieferten, also bereitgestellten Daten weist das Assistenzsystem 5 hier beispielhaft einen Prozessor 7 und einen damit gekoppelten computerlesbaren Datenspeicher 8 auf.
Zumindest bedingt automatisierte Fahrtfunktionen, also Fahrfunktionen ab SAE J3016 Level 3 oder höher, weisen vergleichsweise hohe Anforderungen an eine jeweilige Performance auf, da sie sich an der vergleichsweise sehr guten Performance des Menschen messen müssen, beispielsweise im Gegensatz zu höchstens teilautomatisierten Fahrfunktionen gemäß SAE J3016 Level 2 und niedriger, bei denen der Fahrer 2 stets in der Verantwortung ist, also zumindest eingriffsbereit sein muss. Entsprechend hohe Performanceanforderungen wiederum benötigen typischerweise eine entsprechend große Anzahl von Daten zur Absicherung bzw. Validierung dieser Anforderungen oder Performance. Dies kann mit einem nicht praktikabel oder nicht wirtschaftlich zu bewerkstelligen Aufwand einhergehen.
Durch eine Dekomposition der Performance auf einzelne Unterbausteine oder Komponenten eines entsprechenden Systems, hier also beispielsweise der Sensoren 3 bzw. der jeweiligen sensorspezifischen Objekt- und/oder Hinderniserkennungsfunktionalität der Sensoren 3, lässt sich dieser Absicherungs- oder Validierungsaufwand jedoch drastisch verringern. Beispielsweise kann sich bei einer einfachen 2oo3-Fusion bzw. -Erkennungsstrategie ein bei Abhängigkeit der Sensoren 3 bzw. von deren Funktionalitäten gegebenes Performancerating von etwa 1:330.000 herunterbrechen bzw. reduzieren lassen auf etwa 1:1000 für jeden der drei Sensoren 3, wenn diese bzw. deren Funktionalitäten unkorreliert, also voneinander unabhängig sind bzw. verwendet werden.
Bei bisherigen Ansätzen kann es jedoch problematisch sein, dass die Sensordaten der einzelnen Sensoren 3 verarbeitet, insbesondere für die Hinderniserkennung bereinigt, werden basierend auf detektierten fusionierten Objekten, deren Detektion also in sich bereits nicht unabhängig ist, sondern Daten aller drei Sensoren 3 verwenden kann, was also zu einer entsprechenden Korrelation führt. Dadurch wird ein entsprechendes Dekompositionskonzept, also die Unabhängigkeit der Sensoren 3 für eine entsprechende Hinderniserkennung gebrochen.
Wie diese Problematik umgangen oder gelöst werden kann, soll nachfolgend unter Bezugnahme auf 2 erläutert werden anhand Beispiel eines dort dargestellten beispielhaften Schemas 9 für ein entsprechendes Verfahren zur Hinderniserkennung.
Darin werden von einem ersten der Sensoren 3 erfasste erste Sensordaten 10 als Input für eine erste Hinderniserkennung 11 verwendet. Diese erste Hinderniserkennung 11 kann je nach Implementierung beispielsweise sensorintern durch den jeweiligen ersten der Sensoren 3 oder durch das Assistenzsystem 5 ausgeführt werden.
Der erste der Sensoren 3 führt hier basierend auf den von ihm aufgenommenen Sensordaten sensorintern, also unabhängig von den anderen Sensoren 3 bzw. deren Sensordaten, eine Objektdetektion zum Detektieren bewegter Objekte in der jeweiligen Umgebung des Kraftfahrzeugs 1 durch. Diese sensorintern von dem ersten der Sensoren 3 detektierten Objekte werden hier auch als erste Sensorobjekte 12 bezeichnet.
Basierend auf solchen von allen Sensoren 3 jeweils sensorintern bzw. unabhängig detektierten Sensorobjekten bzw. entsprechenden Objektlisten kann, beispielsweise durch das Assistenzsystem 5, eine Objektfusion durchgeführt werden, um letztlich tatsächlich in der jeweiligen Umgebung des Kraftfahrzeugs 1 real vorhandene bewegte Objekte zu detektieren bzw. zu bestimmen. Diese fusionsbasiert detektierten oder bestimmten Objekte werden hier auch als fusionierte Objekte oder bestätigte Objekte 13 bezeichnet.
Diese bestätigten Objekte 13 werden mit den ersten Sensorobjekten 12 in einer ersten Kombinationsstufe 14 kombiniert. Dabei wird hier ermittelt, zu welchen der ersten Sensorobjekte 12 es ein korrespondierendes, also entsprechendes bestätigtes Objekt 13 gibt. Ausschließlich in den ersten Sensorobjekten 12 enthaltene oder angegebene Objekte, für die es keine Entsprechung in den bestätigen Objekten 13 gibt, können dabei beispielsweise verworfen werden. Hier können also die ersten Sensorobjekte 12 und die bestätigten Objekte 13 beispielsweise mit einer UND-Logik abgeglichen oder gefiltert werden. Ebenso können aber beispielsweise nur bestimmte vorgegebene Eigenschaften und/oder Merkmale der ersten Sensorobjekte 12 und der bestätigten Objekte 13 miteinander verglichen oder abgeglichen werden. Es kann dann für eine Entsprechung, also für eine Einstufung eines der ersten Sensorobjekte 12 als einem der bestätigten Objekte 13 entsprechend, ausreichen, wenn für diese zumindest die vorgegebenen Eigenschaften und/oder Merkmale übereinstimmen. Dabei kann auch eine vorgegebene Abweichungstoleranz berücksichtigt werden. Solche Eigenschaften oder Merkmale können beispielsweise eine Position und/oder eine Geschwindigkeit des Objekts sein oder umfassen. Beispielsweise eine konkrete Klassifikation hinsichtlich der genauen Art des Objekts muss dann aber nicht übereinstimmen, um dennoch als entsprechendes, also dasselbe Objekt erkannt zu werden. Als Output der ersten Kombinationsstufe 14 können dann also diejenigen der ersten Sensorobjekte 12 bereitgestellt oder ermittelt werden, die fusionsbasiert bestätigt wurden, also auch in den bestätigten Objekten 13 enthalten oder angegeben sind.
Dieser Output der ersten Kombinationsstufe 14 wird als weiterer Input für die erste Hinderniserkennung 11 verwendet. Dabei können aus den ersten Sensordaten 10 diejenigen Sensordaten bzw. Teile, Datenpunkte oder Detektionen oder dergleichen, entfernt werden, die zu einem in dem Output der ersten Kombinationsstufe 14 enthaltenen oder angegebenen ersten Sensorobjekt 12 gehören.
Als Output der ersten Hinderniserkennung 11 können somit entsprechend bereinigte verbleibende Sensordaten des ersten der Sensoren 3 ausgegeben oder bereitgestellt werden, die tatsächlich nur zu statischen Hindernissen gehören bzw. von statischen Hindernissen stammen sollten.
Analog kann hier auch jeweils für die anderen der Sensoren 3 verfahren werden.
So werden beispielsweise von einem zweiten der Sensoren 3 stammende zweite Sensordaten 15 als ein erster Input einer zweiten für diesen zweiten der Sensoren 3 spezifischen zweiten Hinderniserkennung 16 verwendet. Darin werden als zweiter Input für die zweite Hinderniserkennung 16 von dem zweiten der Sensoren 3 sensorintern detektierte und in einer zweiten Kombinationsstufe 18 mit den bestätigten Objekten 13 abgeglichene, also etwa entsprechend gefilterte und somit bestätigte zweite Sensorobjekte 17 verwendet.
Entsprechend werden für den dritten der Sensoren 3 von diesem aufgenommene dritte Sensordaten 19 als ein Input für eine für diesen dritten der Sensoren 3 spezifische Hinderniserkennung 20 verwendet. Auch hier wird als weiterer Input der dritten Hinderniserkennung 20 ein Ergebnis oder Output einer entsprechenden dritten Kombinationsstufe 22 verwendet, in der gemäß einer UND-Logik oder UND-Filterung von durch den dritten der Sensoren 3 detektierten dritten Sensorobjekten 21 mit den bestätigten Objekten 13 bestätigte dritte Sensorobjekte 21 verwendet.
Die Outputs der drei Hinderniserkennungen 11, 16, 20 können dann als Inputs für eine Hindernisfusion 23 verwendet werden. In dieser Hindernisfusion 23 können dann also letztlich sensorübergreifend, also unter Berücksichtigung der verbleibenden bereinigten Sensordaten aller Sensoren 3, in der jeweiligen Umgebung vorhandene statische Hindernisse erkannt werden.
Diese so fusionsbasiert erkannten Hindernisse können als fusionierte oder bestätigte Hindernisse 24 ausgegeben oder bereitgestellt werden, beispielsweise an das Fahrzeugsystem 4.
Zusammenfassend wird hier also, beispielsweise im Vergleich zu herkömmlichen Ansätzen, vorgeschlagen, anstatt der bestätigten Objekte 13, also einer entsprechenden fusionierten Objektliste allein, für jeden der Sensoren 3 dessen sensorspezifische, also beispielsweise sensorintern ermittelte, Objektliste zum Bereinigen der jeweiligen Sensordaten 10, 15, 19 um zu bewegten Objekten gehörende Sensordaten, also beispielsweise Detektionen, Datenpunkte oder Pixel oder dergleichen, zu verwenden.
Würden dabei jedoch ausschließlich die jeweiligen sensorspezifischen oder sensorinternen Objektlisten, also die jeweiligen Sensorobjekte 12, 17, 21, verwendet, könnte prinzipiell noch ein tatsächlich real vorhandenes statisches Hindernis vollständig übersehen werden. Bei Anwendung einer 2oo3-Fusion bzw. -Erkennungsstrategie könnte beispielsweise die folgende Situation oder Konstellation auftreten:

Der erste Sensor 3 detektiert ein real vorhandenes Objekt nicht, nimmt also keinerlei zu diesem Objekt gehörende oder korrespondierende erste Sensordaten 10 auf. Damit ist bezüglich des ersten Sensors 3 dieses Objekt also weder in den ersten Sensorobjekten 12 noch in den ersten Sensordaten 10 repräsentiert. Der zweite Sensor 3 nimmt zwar zu dem Objekt gehörende bzw. von diesem stammende zweite Sensordaten 15 auf, ordnet diese jedoch nicht einem bewegten Objekt zu. Damit ist das Objekt bezüglich des zweiten Sensors 3 also zwar in dessen zweiten Sensordaten 15, aber nicht in den zweiten Sensorobjekten 17 repräsentiert. Der dritte der Sensoren 3 nimmt zu dem Objekt gehörende bzw. von diesem stammende dritte Sensordaten 19 auf und ordnet diese korrekt einem bewegten Objekt zu, detektiert also ein solches Objekt anhand der entsprechenden dritten Sensordaten 19. Damit ist das Objekt bezüglich des Dritten Sensors 3 also sowohl in den dritten Sensordaten 19 als auch in den dritten Sensorobjekten 21 repräsentiert.

Der erste Sensor 3 liefert also keinerlei Daten bezüglich des Objekts, während der zweite Sensor 3 nur Daten für die Hinderniserkennung bzw. die Hindernisfusion 23, also beispielsweise statische Detektionen, Datenpunkte, Radarechos, Pixel oder dergleichen, aber keinerlei Daten für die Objekterkennung bzw. Objektfusion liefert und der dritte Sensor 3 die beschriebene Bereinigung durchführt und damit für das jeweilige Objekt nur Daten für die entsprechende Objekterkennung oder Objektfusion, nicht aber für die eine Hinderniserkennung bzw. die Hindernisfusion 23 liefert.
Damit sind dann bei der entsprechenden 2oo3-Fusion bzw. -Erkennung für das Objekt sowohl für die Objekterkennung oder Objektfusion als auch für die Hinderniserkennung oder Hindernisfusion 23 jeweils nur zugehörige Daten eines einzigen der Sensoren 3, also da Objekt repräsentierende Daten in nur einem von drei Sensorkanälen vorhanden. Damit werden diese Daten verworfen, da sie nicht von einem anderen der Sensoren 3 bzw. der Mehrheit der Sensoren 3 bestätigt wurden. Somit ist dann das entsprechende Objekt weder als bestätigtes Objekt 13 noch in den bestätigten Hindernissen 24 vorhanden oder repräsentiert.
Dieser Problemfall wird vorliegend jedoch dadurch umgangen, dass nur diejenigen der Sensorobjekte 12, 17, 21 zum Bereinigen der jeweiligen Sensordaten 10, 15, 19 verwendet werden, die einem bestätigten Objekt 13 entsprechen, was jeweils in den Kombinationsstufen 14, 18, 22 ermittelt wird.
Damit lässt sich mit vergleichsweise vernachlässigbar geringem Rechenmehraufwand eine robuste, zuverlässige und vergleichsweise einfach und aufwandsarm abzusichernde oder zu validierende Erkennung statischer Hindernisse gestalten bzw. implementieren. Dabei kann eine saubere Dekomposition durchgeführt oder realisiert werden und zudem sichergestellt werden, dass die bestätigten Objekte 13 bzw. eine entsprechende fusionierte Objektliste, und die bestätigten Hindernisse 24 bzw. eine entsprechende fusionierte Hindernisliste, konsistent miteinander oder zueinander sind.
Insgesamt zeigen die beschriebenen Beispiele also, wie ein Dekompositionskonzept für eine Hinderniserkennung realisiert werden kann, um letztlich auf besonders einfache und effiziente Weise eine robuste und zuverlässige Realisierung von zumindest bedingtautomatisierten Funktionen, insbesondere eines Fahrzeugs, zu unterstützen oder zu ermöglichen.
Bezugszeichenliste

1: Kraftfahrzeug
2: Fahrer
3: Sensoren
4: Fahrzeugsystem
5: Assistenzsystem
6: Schnittstelle
7: Prozessor
8: Datenspeicher
9: Schema
10: erste Sensordaten
11: erste Hinderniserkennung
12: erste Sensorobjekte
13: bestätigte Objekte
14: erste Kombinationsstufe
15: zweite Sensordaten
16: zweite Hinderniserkennung
17: zweite Sensorobjekte
18: zweite Kombinationsstufe
19: dritte Sensordaten
20: dritte Hinderniserkennung
21: dritte Sensorobjekte
22: dritte Kombinationsstufe
23: Hindernisfusion
24: bestätigte Hindernisse

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 20220093382 [0003]
EP 3879455 A1 [0004]

Claims

Verfahren (9) zum Detektieren von statischen Hindernissen in einer Umgebung, wobei - für die jeweilige Umgebung durch mehrere Sensoren (3) jeweilige Sensordaten (10, 15, 19) aufgenommen werden, - für jeden der Sensoren (3) allein basierend auf dessen Sensordaten (10, 15, 19) eine Objektliste (12, 17, 21) erzeugt wird, in der allein darauf basierend detektierte bewegte Objekte angegeben sind, - die jeweiligen Sensordaten (10, 15, 19) der verschiedenen Sensoren (3) um zu den in der jeweiligen sensorspezifischen Objektliste angegebenen Objekten gehörende Sensordaten (10, 15, 19) bereinigt werden, und - basierend auf den verbleibenden bereinigten Sensordaten der mehreren Sensoren (3), die zu keinem detektierten bewegten Objekt gehören, die statischen Hindernisse in der jeweiligen Umgebung erkannt werden.
Verfahren (9) nach Anspruch 1, dadurch gekennzeichnet, dass wenigstens drei unterschiedliche Sensoren (3) verwendet werden, insbesondere wenigstens ein Radarsensor, ein Lidarsensor und eine Kamera.
Verfahren (9) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweils verbleibenden bereinigten Sensordaten der mehreren Sensoren (3) miteinander fusioniert werden und darauf basierend die statischen Hindernisse erkannt werden.
Verfahren (9) nach Anspruch 3, dadurch gekennzeichnet, dass ein statisches Hindernis nur dann erkannt wird, wenn mehrere, insbesondere die Mehrheit, der mehreren Sensoren (3) als Teil ihrer Sensordaten (10, 15, 19) das jeweilige Hindernis indizierende Sensordaten (10, 15, 19) liefern.
Verfahren (9) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass bei dem Fusionieren (23) der verbleibenden bereinigten Sensordaten zum Erkennen der statischen Hindernisse eine 2oo3-Erkennungsstrategie verwendet wird.
Verfahren (9) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Objektlisten (12, 17, 21) der mehreren Sensoren (3) und/oder die zu den darin angegebenen bewegten Objekten gehörigen Sensordaten (10, 15, 19) der mehreren Sensoren (3) miteinander fusioniert werden, um durch mehrere, insbesondere die Mehrheit, der mehreren Sensoren (3) bestätigte bewegte Objekte (13) zu bestimmen, und die jeweiligen Sensordaten (10, 15, 19) der einzelnen Sensoren (3) jeweils nur um diejenigen Sensordaten (10, 15, 19) des jeweiligen Sensors (3) bereinigt werden, die zu einem solchen bestätigten bewegten Objekt (13) gehören.
Verfahren (9) nach Anspruch 6, dadurch gekennzeichnet, dass jeweils Sensordaten (10, 15, 19) eines Sensors (3), die zu einem in der Objektliste (12, 17, 21) dieses Sensors (3) angegebenen bewegten Objekt gehören, das nicht in den bestätigten Objekten (13) enthalten ist, stattdessen zum Erkennen der statischen Hindernisse verwendet werden.
Assistenzsystem (5), insbesondere für ein Kraftfahrzeug (1), umfassend mehrere unterschiedliche Sensoren (3) und eine damit gekoppelte Datenverarbeitungseinrichtung (6, 7, 8) zum Fusionieren von Daten der mehreren Sensoren (3), wobei das Assistenzsystem (5) zum Ausführen eines Verfahrens (9) nach einem der vorhergehenden Ansprüche eingerichtet ist.
Kraftfahrzeug (1), das ein Assistenzsystem (5) nach Anspruch 8 aufweist.