-
Technisches Gebiet
-
Die Erfindung betrifft Ultraschall-Sensorsysteme für mobile Einrichtungen, wie z.B. Kraftfahrzeuge, und insbesondere die Fusion von Klassifikationsergebnissen von mehreren Ultraschall-Sensoreinrichtungen hinsichtlich kollisionsrelevanter Umgebungsobjekte.
-
Technischer Hintergrund
-
Fahrzeuge werden in der Regel mit Ultraschall-Sensorsystemen zur Objektedetektion ausgestattet. Diese weisen häufig mehrere Ultraschall-Sensoreinrichtungen mit jeweils mehreren Ultraschallwandlern für verschiedene Erfassungsbereiche, in denen Umgebungsobjekte detektiert werden sollen, auf. Derartige Ultraschall-Sensoreinrichtungen sind häufig an dem vorderen und dem hinteren Stoßfänger eines Fahrzeugs angeordnet. Die Ultraschall-Sensoreinrichtungen sind in der Regel unterschiedlich ausgebildet und weisen aufgrund der unterschiedlichen Anordnung der einzelnen Ultraschallwandler ein separates Klassifikationsmodell zur Erkennung/Identifikation von Umgebungsobjekten auf.
-
So werden die Ultraschallwandleranordnungen der Ultraschall-Sensoreinrichtungen zur Detektion von kollisionsrelevanten Umgebungsobjekten mit unterschiedlichen Klassifikationsmodellen ausgewertet, und diese Klassifikationsmodelle klassifizieren die Umgebungsobjekte hinsichtlich ihrer Höhe, so dass unterschieden werden kann, ob die Umgebungsobjekte überfahrbar sind oder nicht überfahrbar, d.h. kollisionsrelevant, sind.
-
Diese Unterscheidung zwischen hohen und niedrigen Umgebungsobjekten wird bislang über regelbasierte Verfahren behandelt, wobei Umgebungsobjekte, die nur einen niedrige Signalstärke des Ultraschallempfangssignals bewirken, sehr früh in der Signalkette ausgeblendet werden. Alternativ können andere Ansätze eine Vielzahl von Sensorparameter oder Objekteigenschaften mithilfe heuristischer Ansätze und Erfahrungswerte auswerten.
-
Offenbarung der Erfindung
-
Erfindungsgemäß sind ein Verfahren zum Fusionieren von Klassifikationsergebnissen mehrerer Klassifikationsmodelle zur Objektidentifikation mithilfe von Ultraschall-Sensoreinrichtungen in mobilen Einrichtungen nach Anspruch 1 sowie eine entsprechende Vorrichtung gemäß dem nebengeordneten Anspruch vorgesehen.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein Verfahren zum Fusionieren von Klassifikationsergebnissen mehrerer Klassifikationsmodelle zur Klassifikation von Umgebungsobjekten mithilfe Ultraschall-Sensoreinrichtungen in einer mobilen Einrichtung, mit folgenden Schritten:
- - Erfassen von Sensorsignalen von Ultraschallwandlern der Ultraschall-Sensoreinrichtungen;
- - Nachverfolgen einer Position von detektierten Umgebungsobjekten durch die Ultraschall-Sensoreinrichtungen und Klassifizieren einer Objektart der detektierten Umgebungsobjekte durch ein den Ultraschall-Sensoreinrichtungen jeweils zugeordnetes Klassifikationsmodell, um ein jeweiliges Klassifikationsergebnis zu erhalten;
- - Bei Feststellen, dass ein bestimmtes Umgebungsobjekt in einen Erfassungsbereich eines der Ultraschall-Sensoreinrichtungen gelangt ist und zuvor in einem Erfassungsbereich eines weiteren der Ultraschall-Sensoreinrichtungen lokalisiert worden ist, Auswählen eines der Klassifikationsergebnisse für das bestimmte Umgebungsobjekt abhängig von einer auf dem Klassifikationsmodell beruhenden Klassifikationsgüte und von einem Neuheitsgrad des Klassifikationsergebnisses.
-
Die Nutzung von Machine Learning zur Erstellung von datenbasierten Klassifikationsmodellen erfordert, dass Trainingsdaten für verschiedenartige Umgebungsobjekte erfasst werden. Diese Trainingsdaten werden aus Signalmerkmalen der empfangenen Ultraschallsignale ermittelt und eine entsprechende Objektart des Umgebungsobjekts zugeordnet. Die Objektart gibt dabei u.a. insbesondere die Unterscheidung zwischen überfahrbaren und kollisionsrelevanten Umgebungsobjekten an. Signalmerkmale können aggregierte Größen aus den Sensorsignalen sein, wie z.B. maximale Amplitude, Zeitpunkt der maximalen Amplitude, Phasenlage zwischen zwei Empfangssignalen, sowie weiteren Attributen, wie z.B. einer aktuell gemessenen Amplitude, einer Ausdehnung des Objektes, einer Detektionsrate, einer Anzahl durchschnittlich empfangener Signalpeaks/Sendeimpulse (Multireflektivität), einer Anzahl von Ultraschallwandlern, die das Umgebungsobjekt empfangen können, einer Signalstabilität während der Bewegung der mobilen Einrichtung , einem Quotienten aus gefahrener Wegstrecke und gemessenem Objektabstand, einer Anzahl gefundener Schnittpunkte von Echokreisen benachbarter Ultraschallwandler und dergleichen.
-
Die Ausprägungen von Signalmerkmalen hängen oftmals entscheidend von der Einbauposition der einzelnen Ultraschallwandler einer Ultraschall-Sensoreinrichtung ab. Hier sind vor allem die Einbauhöhe und der vertikale Einstellwinkel entscheidend. Bei einem Fahrzeug als mobile Einrichtung, bei dem Ultraschall-Sensoreinrichtungen an den vorderen und hinteren Stoßfängern angeordnet sind, weichen die Ultraschallwandleranordnungen der Ultraschall-Sensoreinrichtungen in der Regel aufgrund der unterschiedlichen Stoßfängergeometrien erheblich voneinander ab. Daraus folgt, dass den Ultraschall-Sensoreinrichtungen separat trainierte Klassifikationsmodelle zugeordnet sind.
-
Die Klassifikationsgüte für jede der Ultraschall-Sensoreinrichtungen hängt jedoch von einer Vielzahl von Einflussfaktoren ab. Neben der Distanz zum zu detektierenden Umgebungsobjekt, dem Detektionswinkel, unter dem das betreffende Umgebungsobjekt durch einen Ultraschallwandler erfasst wird, der relativen Geschwindigkeit zwischen dem Umgebungsobjekt und der mobilen Einrichtung und der Zeitdauer, während der eine Ultraschall-Sensoreinrichtung ein entsprechendes Umgebungsobjekt detektiert, ist auch die Konfiguration der Ultraschallwandleranordnung für die Klassifikationsgüte entscheidend. Beispielsweise ist bei einem sehr niedrigen Einbau der Ultraschallwandler der Unterschied der berechneten Signalmerkmale, der z. B. auf Amplitude oder Multireflektivität beruht, zwischen hohen und niedrigen Umgebungsobjekten geringer als bei höherer Einbaulage.
-
Ein Ultraschallsensorsystem an einer mobilen Einrichtung, wie beispielsweise einem Fahrzeug, kann mehrere Ultraschalleinrichtungen aufweisen, die in unterschiedliche Richtungen ausgerichtet sind. Die Ultraschallsensoreinrichtungen erfassen die Umgebung der mobilen Einrichtung in verschiedenen Richtungen und kartieren detektierte Umgebungsobjekte. Zusätzlich werden die detektierten Umgebungsobjekte hinsichtlich von Charakteristiken des Ultraschallempfangssignals klassifiziert, um festzustellen, ob es sich bei dem Umgebungsobjekt z.B. um ein überfahrbares Umgebungsobjekt oder ein kollisionsrelevantes Umgebungsobjekt handelt.
-
Bei einer Bewegung der mobilen Einrichtung tritt jedoch häufig der Fall auf, dass ein bestimmtes Umgebungsobjekt nacheinander von verschiedenen Ultraschallsensoreinrichtungen, d. h. z.B. bei einem Kraftfahrzeug von den Ultraschallsensoreinrichtungen an dem vorderen und dem hinteren Stoßfänger, unter unterschiedlichen Bedingungen erfasst wird. Solche Fälle treten beispielsweise bei Wendemanövern, einer Vorbeifahrt an dem betreffenden Umgebungsobjekt, bei der Überfahrt niedriger Umgebungsobjekte und dergleichen auf.
-
Wird bei einem entsprechenden Manöver der mobilen Einrichtung ein bestimmtes Umgebungsobjekt von mehreren Ultraschallsensoreinrichtungen erfasst, so erfolgen in der Regel separate Klassifikationen zu dem Umgebungsobjekt. Aufgrund der unterschiedlichen Ultraschallwandleranordnungen der Ultraschallsensoreinrichtungen und der separat trainierten Klassifikationsmodelle ergeben sich so separate, bestimmte Klassifikationsergebnisse für das betreffende Umgebungsobjekt durch Auswertungen der Klassifikationsmodelle. Die Klassifikationsergebnisse können daher auch unterschiedlich sein, was insbesondere bei kollisionsrelevanten Umgebungsobjekte sicherheitskritisch sein kann.
-
Zusätzlich bieten die verwendeten Klassifikationsmodelle die Möglichkeit, eine Klassifikationsgüte zur vorgenommenen Klassifikation des betreffenden Umgebungsobjekts zu bewerten. Die Klassifikationsgüte stützt sich dabei auf die Klassifikationskonfidenz, die durch das Klassifikationsmodells angegeben werden kann. Insbesondere in Verbindung mit den unterschiedlichen Klassifikationsgüten der Klassifikationsmodelle wird je nach konkreter Bewegungssituation des Fahrzeugs ein bestimmtes Umgebungsobjekt mit unterschiedlichem Klassifikationsergebnis und unterschiedlichen Klassifikationsgüten erkannt und klassifiziert.
-
Daher kann es zur Verbesserung der Klassifikationsgenauigkeit der Klassifikation mit mehreren Ultraschall-Sensoreinrichtungen nützlich sein, die Klassifikationsauswertungen zu fusionieren.
-
Weiterhin können die Klassifikationsmodelle datenbasiert ausgebildet sein, wobei die Klassifikationsgüten als Werte eines Elements eines Ausgangsvektors der Klassifikationsmodelle mit dem höchsten Wert bestimmt werden.
-
Die Klassifikationsgüte kann direkt durch das verwendete Klassifikationsmodell als Klassifikationskonfidenz bestimmt werden. Diese kann implizit die Detektionsgüte, die sich aus der Zuverlässigkeit der Erfassungen des betreffenden Umgebungsobjekts durch das jeweilige Klassifikationsmodell ableitet, die Merkmalsgüte, die die Qualität und Verfügbarkeit von einzelnen Signalmerkmalen bewertet, und die Modellgüte des Klassifikationsmodells, die die Qualität des Klassifikationsmodells allgemein bewertet, berücksichtigen. Alternativ kann die Klassifikationsgüte auch aus diesen separat bestimmbaren Einzelgüten ermittelt werden.
-
Es kann vorgesehen sein, dass der Neuheitsgrad mithilfe einer Zuordnungsfunktion einer Neuheitsgüte zugeordnet wird, die eine umso höhere Güte anzeigt je kürzer die Erfassung der zugrundeliegenden Sensordaten zurückliegt, wobei eine Gesamtgüte aus der Klassifikationsgüte und der Neuheitsgüte bestimmt wird, wobei das Klassifikationsergebnis abhängig von den Gesamtgüten der Klassifikationsergebnisse der Klassifikationsmodelle ausgewählt wird.
-
Insbesondere kann die Gesamtgüte sigma_ges eines Klassifikationsprozesses durch eine Ultrasschall-Sensoreinrichtung mit der Klassifikationsgüte sigma_klass des betreffenden Klassifikationsmodells und einer sich aus einem Neuheitsgrad des zuletzt ermittelten Klassifikationsergebnisses für das betreffende Umgebungsobjekt ergebende Neuheitsgradgüte sigma_neu als gewichtete Mittelwertbildung bestimmt werden, wobei gilt:
mit sigma_klass, sigma_neu =0 ...1, wobei a1 und a2 zusätzliche vorgebbare Gewichtungsfaktoren darstellen.
-
Alternativ können abhängig vom verwendeten Klassifikationsmodell, wenn dieses nicht implizit eine Klassifikationskonfidenz abgeben kann oder dieser nicht vertraut wird, die oben genannten Einzelgüten, nämlich der Detektionsgüte sigma_det, der Merkmalsgüte sigma_merk und der Modellgüte sigma_mod, die das Klassifikationsmodell und das betreffende Umgebungsobjekt betreffen, separat bestimmt werden und zu einer Gesamtgüte sigma_ges ebenfalls durch eine gewichtete Mittelwertbildung berechnet werden.
wobei a1 bis a4 zusätzliche vorgebbare Gewichtungsfaktoren darstellen.
-
Wird ein bestimmtes Umgebungsobjekt von mehreren Ultraschallsensoreinrichtungen erfasst und klassifiziert, so kann nun das Klassifikationsergebnis desjenigen Klassifikationsmodells verwendet werden, für das sich die höchste Gesamtgüte sigma_ges ergibt.
-
Wird die Klassifikationsgüte des Klassifikationsmodell mithilfe der Detektionsgüte und/oder der Merkmalsgüte und/oder der Modellgüte bestimmt, so können die Einzelgüten wie nachfolgend beschrieben ermittelt werden:
- So kann beispielsweise die Detektionsgüte abhängig von einem Quotienten aus der Anzahl richtiger Klassifizierungen des bestimmten Umgebungsobjekts und der gesamten Anzahl von Klassifikationen des bestimmten Umgebungsobjekts ermittelt werden.
-
Für die Detektionsgüte wird über vorgegebene Validierungs-Datensätze ein Quotient aus der Anzahl der richtigen Klassifikationen und der gesamten Anzahl der Erfassungen gebildet. Dieser Quotient kann mithilfe einer Zuordnungsfunktion, wie beispielsweise einer Lookup-Tabelle, einem entsprechenden Wert der Detektionsgüte zugeordnet werden.
-
Die Anzahl der richtigen Klassifikationen wird durch Auswertung einer vorgegebenen Datenbank mit gelabelten Daten ermittelt. Diese bilden Validierungs-Datensätze, die Sensorsignale und/oder daraus generierten Sensormerkmalen von bekannten Umgebungsobjekten einer Klassifikation (Objekteigenschaft: überfahrbar, kollisionsrelevant) zuordnen. Mit diesen Validierungs-Datensätzen wird nun geprüft, bei wie vielen Objektdetektionen das Klassifikationsergebnis der tatsächlichen Objekteigenschaft erkannt wird, und eine entsprechende Wahrscheinlichkeit ermittelt.
-
Die Merkmalsgüte kann abhängig von den Beiträgen von Signalmerkmalen, die sich aus den Sensorsignalen ergeben, zum Ermitteln des Klassifikationsergebnisses zur Klassifikation des bestimmten Umgebungsobjekts und einem Erfassungsmerkmal, insbesondere eine relative Position des bestimmten Umgebungsobjekts zu dem Ultraschallwandler, der dem Signalmerkmal zugeordnet ist, bestimmt werden.
-
Somit kann sich die Merkmalsgüte aus der Verfügbarkeit der verwendeten Signalmerkmale ergeben. Diese bewertet, wie die unterschiedlichen Signalmerkmale zur Verfügung stehen und einen Beitrag zur Klassifikation eines bestimmten Umgebungsobjekts liefern können. Da die Qualität von Signalmerkmalen häufig von der Detektionsdistanz und dem Detektionswinkel und/oder von der Beschaffenheit von Oberflächen (Reflektivität) abhängt, können die der Klassifikation durch das jeweilige Klassifikationsmodell zugrundeliegenden auszuwertenden Signalmerkmale entsprechend zu einer Güteeinschätzung des Klassifikationsergebnisses verwendet werden. Zum Beispiel liefert das Signalmerkmal der Amplitude im Nahbereich eine sehr gute Differenzierung, während es im Fernbereich aufgrund ähnlicher vertikaler Detektionswinkel nur noch eine geringe Wertigkeit hat. Weiterhin können hohe und niedrige Amplitudenwerte eine gute Identifikation für die Objekthöhe sein, während Werte im mittleren Bereich eher nicht aussagekräftig sind.
-
Zur Bestimmung der gesamten Merkmalsgüte werden also jedes einzelne auszuwertende Signalmerkmal und die Erfassungsbedingungen, wie beispielsweise die Distanz zu dem klassifizierenden Objekt und der Erfassungswinkel, berücksichtigt und mithilfe einer geeigneten Zuordnungsfunktion eine entsprechende Einzelmerkmalsgüte ermittelt. Weiterhin werden die Einzelmerkmalsgüten bezüglich der einzelnen Signalmerkmale zu einer gesamten Merkmalsgüte aggregiert, insbesondere durch eine Mittelwertbildung, insbesondere mit einer gewichteten Berücksichtigung der einzelnen Einzelmerkmalsgüten.
-
Weiterhin kann die Modellgüte des verwendeten Klassifikationsmodells berücksichtigt werden. Diese berücksichtigt, dass aufgrund der jeweiligen Sensorkonfiguration, die sich aus der Einbausituation der Ultraschallwandler der betreffenden Ultraschallsensoreinrichtung ergibt, unterschiedliche Modellgüten erreicht werden können. Die Modellgüte ist von der Umgebungssituation unabhängig und bestimmt lediglich die Qualität einer Klassifikation aufgrund der Konfiguration (Anordnung und geometrische Ausrichtung) der Ultraschallwandler der betreffenden Ultraschallsensoreinrichtung.
-
Die Neuheitsgradgüte bezüglich eines bestimmten Umgebungsobjekts kann bevorzugt basierend auf dem Zeitstempel der letzten Detektion zur Klassifizierung des betreffenden Umgebungsobjekts bestimmt werden. Bei von mehreren Ultraschallsensoreinrichtungen erfassten Umgebungsobjekten wird der jeweilige Zeitstempel der zuletzt erfolgten Klassifizierung des betreffenden Umgebungsobjekts in eine entsprechende Neuheitsgradgüte übersetzt, insbesondere mithilfe einer geeigneten Zuordnungsfunktion, die die Wahrscheinlichkeit berücksichtigt, dass Änderungen in der Umgebung innerhalb eines bestimmten Zeitfensters auftreten.
-
Es kann vorgesehen sein, dass das Klassifikationsergebnis desjenigen Klassifikationsmodells ausgewählt wird, dessen Neuheitsgrad eine jüngere Klassifikation angibt, wenn die entsprechende Gesamtgüte einen vorgegebenen Gesamtgüteschwellenwert übersteigt.
-
In einer alternativen Ausführungsform kann die Entscheidung über das zu verwendende Klassifikationsergebnis immer dann von der Neuheitsgradgüte des Klassifikationsergebnis abhängig gemacht werden, sobald die entsprechende Gesamtgüte des betreffenden Klassifikationsmodells einen vorgegebenen Gesamtgüteschwellenwert übersteigt. Dadurch wird bei einer Bewegung der mobilen Einrichtung dem Klassifikationsergebnis desjenigen Klassifikationsmodells in der Regel so lange vertraut, bis das Umgebungsobjekt in den Erfassungsbereich eines weiteren der Ultraschallsensoreinrichtungen gelangt (und damit eine höhere Neuheit aufweist) und dort ein Klassifikationsergebnis hervorruft, dessen Gesamtgüte für das betreffende Umgebungsobjekt einen vorgegebenen Schwellenwert übersteigt.
-
Abhängig von dem ermittelten bzw. ausgewählten Klassifikationsergebnis kann der Betrieb der mobilen Einrichtung gesteuert oder vorgenommen werden. Insbesondere können abhängig von dem Klassifikationsergebnis Bewegungsmanöver geplant werden oder Warnungen signalisiert werden.
-
Gemäß einem weiteren Aspekt ist eine Vorrichtung zur Durchführung eines der obigen Verfahren vorgesehen.
-
Figurenliste
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Fahrzeugs mit einem Ultraschallsensorsystem mit zwei Ultraschallsensoreinrichtungen und separaten Klassifikationsmodellen; und
- 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Ultraschallsensorsystems der 1; und
- 3 ein Flussdiagramm zur Veranschaulichung eines weiteren Verfahrens zum Betreiben des Ultraschallsensorsystems der 1.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Fahrzeugs 1 in einer Fahrzeugumgebung, in der sich ein oder mehrere Umgebungsobjekte U befinden. Das Fahrzeug 1 als Beispiel für eine mobile Einrichtung umfasst ein UltraschallSensorsystem 2 mit zwei Ultraschall-Sensoreinrichtungen 3a, 3b, die an einem vorderen Stoßfänger 4a und einem hinteren Stoßfänger 4b angeordnet sind.
-
Jede der Ultraschall-Sensoreinrichtungen 3a, 3b umfasst mehrere Ultraschallwandler 5 zum Aussenden eines Ultraschallsignals mit Signalimpulsen und zum Empfangen von an den Umgebungsobjekten U reflektierten Ultraschallsignalen. Die Anordnung oder Ausrichtungen der Ultraschallwandler 5 an den verschiedenen Ultraschallsensoreinrichtungen sind in der Regel für den vorderen und hinteren Stoßfänger 4a, 4b des Kraftfahrzeugs 1 unterschiedlich.
-
Es ist eine Steuereinheit 6 vorgesehen, die zur Auswertung der Sensorsignale der Ultraschallwandler 5 der Ultraschall-Sensoreinrichtungen 3a, 3b dient. In der Steuereinheit 6 ist für jede der Ultraschall-Sensoreinrichtungen 3a, 3b ein entsprechendes datenbasiertes Klassifikationsmodell 61a, 61b implementiert, das separat auf die jeweilige Ultraschall-Sensoreinrichtung 3a, 3b trainiert ist.
-
Die Sensorsignale werden weiterhin in an sich bekannter Weise mithilfe von Ultraschall basierten Lokalisationsverfahren ausgewertet, um in der Steuereinheit 6 eine virtuelle Karte der Umgebung zu erstellen und dort die Positionen von detektierten Umgebungsobjekten U einzutragen. Den detektierten Umgebungsobjekten U werden mithilfe des jeweiligen Klassifikationsmodells 61a, 61b Klassifikationsergebnisse zugeordnet. Die Klassifikationsergebnisse klassifizieren die Umgebungsobjekte U nach relevanten Eigenschaften für den Fahrbetrieb des Fahrzeugs. Die Klassifikationsergebnisse können beispielsweise angeben, dass das betreffende Umgebungsobjekt U überfahrbar und kollisionsrelevant ist.
-
Das datenbasierte Klassifikationsmodell ordnet einem Eingangsgrößenvektor, der Signalmerkmale aus den Sensorsignalen der Ultraschallwandler umfasst, einen Klassifikationsvektor zu. Der Klassifikationsvektor umfasst für jede mögliche Klasse des Klassifikationsergebnisses ein Element. Durch eine argmax-Funktion kann für die Modellauswertung die bestimmte Klasse als Klassifikationsergebnis ausgegeben werden. Der Wert des Elements, das durch argmax bestimmt wird, entspricht dabei der Klassifikationskonfidenz.
-
Bei der Durchführung von bestimmten Fahrmanövern kann ein bestimmtes Umgebungsobjekt U nacheinander von den beiden Ultraschallsensoreinrichtungen 3a, 3b erfasst werden, wenn dieses den Erfassungsbereich einer der Ultraschallsensoreinrichtungen 3a, 3b verlässt und in den Erfassungsbereich der anderen Ultraschallsensoreinrichtungen 3a, 3b gelangt. Da beide Ultraschallsensoreinrichtungen 3a, 3b mithilfe der zugeordneten Klassifikationsmodelle 61a, 61b jeweils eine Klassifikation durchführen, ergeben sich für das bestimmte Umgebungsobjekt U zwei Klassifikationsergebnisse. Dies ist nicht problematisch, solange die Klassifikationsergebnisse identisch sind. Sind die Klassifikationsergebnisse jedoch unterschiedlich, besteht eine Notwendigkeit darin, das möglichst zutreffende Klassifikationsergebnis auszuwählen.
-
Diesbezüglich ist in der Steuereinheit ein Verfahren vorgesehen, das nachfolgend anhand des Flussdiagramms der 2 näher beschrieben wird.
-
In Schritt S1 werden kontinuierlich Erfassungen mithilfe beider Ultraschallsensoreinrichtungen 3a, 3b durchgeführt. Dazu werden erkannte Umgebungsobjekte U in an sich bekannter Weise abhängig von den auszuwertenden Sensorsignalen lokalisiert und in eine Umgebungskarte eingetragen bzw. nachverfolgt.
-
In Schritt S2 wird für jede Erfassung eines Umgebungsobjekts U durch eine der Ultraschallsensoreinrichtungen 3a, 3b eine Klassifizierung mithilfe des zugeordneten Klassifikationsmodells 61a, 61b durchgeführt. Die Klassifikation führt zu entsprechenden Klassifikationsergebnissen.
-
In Schritt S3 wird überprüft, ob ein oder mehrere Umgebungsobjekte in zeitlicher Abfolge von beiden Ultraschallsensoreinrichtungen 3a, 3b erfasst worden sind. Dies kann insbesondere bei entsprechenden Fahrmanövern, wie z. B. Wendemanövern oder dergleichen, auftreten. Wird festgestellt, dass ein bestimmtes Umgebungsobjekt U von beiden Ultraschallsensoreinrichtungen erfasst worden ist (Alternative: Ja), so wird das Verfahren mit Schritt S4 fortgesetzt, anderenfalls (Alternative: Nein) wird zu Schritt S1 zurückgesprungen.
-
In Schritt S4 wird überprüft, ob die Klassifikationsergebnisse beider Klassifikationen mit den Klassifikationsmodellen 61a, 61b identisch sind. Ist dies der Fall (Alternative: Ja), so wird das Verfahren mit Schritt S1 fortgesetzt. Anderenfalls (Alternative: Nein) wird das Verfahren mit Schritt S5 fortgesetzt,
-
In Schritt S5 werden für die Klassifikationen entsprechende Klassifikationskonfidenzen ermittelt. Die Klassifikation mithilfe des datenbasierten Klassifikationsmodell erfolgt durch die argmax-Bildung über den zur Verfügung stehenden Klassen, wobei der Wert des jeweils durch argmax bestimmten Elements der Klassifikationskonfidenz, d. h. der Zuverlässigkeit des Klassifikationsergebnisses, entspricht oder mit dieser korreliert. Die Klassifikationskonfidenz kann als Klassifikationsgüte bereitgestellt werden.
-
In Schritt S6 wird als weiterer Aspekt der Neuheitsgrad der zuletzt bestimmten Klassifikationen bewertet. Der Neuheitsgrad kann durch einen Zeitstempel der letzten Erfassung des betreffenden Umgebungsobjekts durch die Ultraschallsensoreinrichtungen 3a, 3b ermittelt werden. Die Differenz zwischen dem jeweiligen Zeitstempel und dem aktuellen Zeitpunkt kann damit entsprechend einer vorgegebenen Zuordnungsfunktion in eine Neuheitsgradgüte übersetzt werden. Die Neuheitsgradgüte ist umso höher je kürzer die Zeitdauer zwischen dem jeweiligen Zeitstempel und dem aktuellen Zeitpunkt ist.
-
Eine Gesamtgüte kann sich nun für jedes der Klassifikationsmodelle 3a, 3b in Schritt S7 als gewichtete Mittelwertbildung aus der Neuheitsgradgüte und der Klassifikationsgüte für jedes der Klassifikationsmodelle ergeben.
-
Insbesondere kann die Gesamtgüte sigma_ges eines Klassifikationsprozesses durch die betreffende Ultrasschall-Sensoreinrichtung 3a, 3b mit der Klassifikationsgüte sigma_klass des betreffenden Klassifikationsmodells und einer sich aus einem Neuheitsgrad des zuletzt ermittelten Klassifikationsergebnisses für das betreffende Umgebungsobjekt U ergebende Neuheitsgradgüte sigma_neu als gewichtete Mittelwertbildung bestimmt werden, wobei gilt:
wobei a1 und a2 zusätzliche vorgebbare Gewichtungsfaktoren darstellen.
-
In Schritt S7 wird als Klassifikationsergebnis das Klassifikationsergebnis angenommen, das durch das Klassifikationsmodell ermittelt worden ist, dem die höchste Gesamtgüte zugeordnet ist. Auf diese Weise wird nicht immer automatisch immer dann, wenn eine erste Erfassung des betreffenden Umgebungsobjekts U durch eine der Ultraschallsensoreinrichtungen 3a, 3b vorgenommen wird, nachdem dieses bereits durch eine andere der Ultraschallsensoreinrichtungen 3a, 3b erfasst worden ist, das daraus resultierende Klassifikationsergebnis übernommen, sondern es werden auch die Klassifikationsgüte und die Neuheitsgradgüte berücksichtigt.
-
Abhängig von dem angenommenen Klassifikationsergebnis können Fahrmanöver geplant werden oder Warnungen an den Fahrer signalisiert werden.
-
Gemäß einer weiteren Ausführungsform des Verfahrens, das in dem Flussdiagramm der 3 näher beschrieben ist, kann der Neuheitsgrad der Daten stärker berücksichtigt werden.
-
In Schritt S11 werden kontinuierlich Erfassungen mithilfe beider Ultraschallsensoreinrichtungen 3a, 3b durchgeführt. Dazu werden erkannte Umgebungsobjekte U in an sich bekannter Weise abhängig von den auszuwertenden Sensorsignalen lokalisiert und in eine Umgebungskarte eingetragen bzw. nachverfolgt.
-
In Schritt S12 wird für jede Erfassung eines Umgebungsobjekts U durch eine der Ultraschallsensoreinrichtungen 3a, 3b eine Klassifizierung mithilfe des zugeordneten Klassifikationsmodells 61a, 61b durchgeführt. Die Klassifikation führt zu entsprechenden Klassifikationsergebnissen.
-
In Schritt S13 wird überprüft, ob ein oder mehrere Umgebungsobjekte in zeitlicher Abfolge von beiden Ultraschallsensoreinrichtungen 3a, 3b erfasst worden sind. Dies kann insbesondere bei entsprechenden Fahrmanövern, wie z. B. Wendemanövern oder dergleichen, auftreten. Wird festgestellt, dass ein bestimmtes Umgebungsobjekt U von beiden Ultraschallsensoreinrichtungen erfasst worden ist (Alternative: Ja), so wird das Verfahren mit Schritt S14 fortgesetzt, anderenfalls (Alternative: Nein) wird zu Schritt S11 zurückgesprungen.
-
In Schritt S14 wird überprüft, ob die Klassifikationsergebnisse beider Klassifikationen mit den Klassifikationsmodellen 61a, 61b identisch sind. Ist dies der Fall (Alternative: Ja), so wird das Verfahren mit Schritt S11 fortgesetzt. Anderenfalls (Alternative: Nein) wird das Verfahren mit Schritt S15 fortgesetzt,
-
In Schritt S15 werden für die Klassifikationen entsprechende Klassifikationskonfidenzen ermittelt. Die Klassifikation mithilfe des datenbasierten Klassifikationsmodell erfolgt durch die argmax-Bildung über den zur Verfügung stehenden Klassen, wobei der Wert des jeweils durch argmax bestimmten Elements der Klassifikationskonfidenz, d. h. der Zuverlässigkeit des Klassifikationsergebnisses, entspricht oder mit dieser korreliert. Die Klassifikationskonfidenz kann als Klassifikationsgüte bereitgestellt werden.
-
Anschließend wird in Schritt S16 überprüft, ob die Klassifikationsgüte des Klassifikationsmodells, dessen Erfassung einen höheren Neuheitsgrad aufweist, über einem vorgegebenen Güteschwellenwert liegt. Ist dies der Fall (Alternative: Ja), wird das Verfahren mit Schritt S17 fortgesetzt und das Klassifikationsergebnis des betreffenden Klassifikationsmodells signalisiert. Anderenfalls (Alternative: Nein) wird das Verfahren mit Schritt S11 fortgesetzt.
-
Die Klassifikationskonfidenz kann weiterhin auch basierend auf einer oder mehrerer Einzelgüten ermittelt werden. Die Einzelgüten können eine Detektionsgüte, eine Merkmalsgüte und/oder eine Modellgüte umfassen.
-
Für die Detektionsgüte wird über vorgegebene Validierungs-Datensätze ein Quotient aus der Anzahl der richtigen Klassifikationen und der gesamten Anzahl der Erfassungen gebildet. Dieser Quotient kann mithilfe einer Zuordnungsfunktion, wie beispielsweise einer Lookup-Tabelle, einem entsprechenden Wert der Detektionsgüte zugeordnet werden.
-
Die Anzahl der richtigen Klassifikationen wird durch Auswertung einer vorgegebenen Datenbank mit gelabelten Daten ermittelt. Diese bilden Validierungs-Datensätze, die Sensorsignale und/oder daraus generierten Sensormerkmalen von bekannten Umgebungsobjekten einer Klassifikation (Objekteigenschaft: überfahrbar, kollisionsrelevant) zuordnen. Mit diesen Validierungs-Datensätzen wird nun geprüft, bei wie vielen Objektdetektionen das Klassifikationsergebnis der tatsächlichen Objekteigenschaft erkannt wird, und eine entsprechende Wahrscheinlichkeit ermittelt.
-
Weiterhin kann sich die Merkmalsgüte aus der Verfügbarkeit der verwendeten Signalmerkmale ergeben. Diese bewertet, wie die unterschiedlichen Signalmerkmale, die einen Beitrag zum Ermitteln des Klassifikationsergebnisses zur Klassifikation eines bestimmten Umgebungsobjekts liefern, zur Verfügung stehen.
-
Einige Signalmerkmale sind in bestimmten Situationen nicht berechenbar oder ergeben keinen Mehrwert. Z.B. ist ein Quotient zwischen gefahrener Wegstrecke und gemessener Distanz zum Objekt nicht auswertbar, wenn das Fahrzeug sich nicht weit genug bewegt hat, oder die Auswertung von Reflexen aus der Detektionskehle am Berührpunkt vom Objekt zum Boden ist im Nahbereich nicht auswertbar, da dort Reflexionen von Bodennähe aufgrund des Sensoröffnungswinkels nicht detektiert werden können. Ob ein Signalmerkmal auswertbar ist oder nicht, ist abhängig von geometrischen oder auch zeitlichen Bedingungen. Im Falle, dass ein Signalmerkmal nicht auswertbar ist, wird es mit einem Invalidwert markiert und von der Klassifikation ignoriert.
-
Da die Qualität von Signalmerkmalen häufig von der Detektionsdistanz und dem Detektionswinkel und/oder von der Beschaffenheit von Oberflächen (Reflektivität) abhängen, können die der Klassifikation durch das jeweilige Klassifikationsmodell zugrundeliegenden auszuwertenden Signalmerkmale entsprechend zu einer Güteeinschätzung des Klassifikationsergebnisses verwendet werden. Zum Beispiel liefert das Signalmerkmal der Amplitude im Nahbereich, d. h. das betreffende Umgebungsobjekt ist sehr nahe an der Ultraschallwandleranordnung, eine sehr gute Differenzierung, während es im Fernbereich aufgrund ähnlicher vertikaler Detektionswinkel nur noch eine geringe Wertigkeit hat. Weiterhin können hohe und tiefe Amplitudenwerte eine gute Identifikation für die Objekthöhe sein, während Werte im mittleren Bereich eher nicht aussagekräftig sind. Somit kann die Merkmalsgüte abhängig von der relativen Position des Umgebungsobjekts zu der jeweiligen Ultraschall-Sensoreinrichtung angegeben werden. Dies kann mithilfe einer vorgegebenen Merkmalszuordnungsfunktion, beispielsweise in Form einer Lookup-Tabelle, vorgenommen werden, so dass jedem Signalmerkmal und einem dem Signalmerkmal zugeordneten Erfassungsmerkmal eine bestimmte Einzelmerkmalsgüte zugeordnet werden kann. Das dem Signalmerkmal zugeordnete Erfassungsmerkmal kann sich beispielsweise aus einem örtlichen Bezug des betreffenden Umgebungsobjekt zu dem Ultraschallwandler ergeben, der an der Bestimmung des Signalmerkmals beteiligt ist.
-
Zur Bestimmung der gesamten Merkmalsgüte werden also jedes einzelne auszuwertende Signalmerkmal und die Erfassungsbedingungen, wie beispielsweise die Distanz zu dem klassifizierenden Objekt und der Erfassungswinkel, berücksichtigt und mithilfe einer geeigneten Zuordnungsfunktion eine entsprechende Einzelmerkmalsgüte ermittelt. Weiterhin werden die Einzelmerkmalsgüten bezüglich der einzelnen Signalmerkmale zu einer gesamten Merkmalsgüte aggregiert, insbesondere durch eine Mittelwertbildung, insbesondere mit einer gewichteten Berücksichtigung der einzelnen Einzelmerkmalsgüten mit vorgegebenen Gewichtungen.
-
Weiterhin kann die Modellgüte des verwendeten Klassifikationsmodells berücksichtigt werden. Diese berücksichtigt die generelle Eignung der Ultraschallsensoreinrichtungen zur Klassifikation von Umgebungsobjekten, so dass aufgrund der jeweiligen Sensorkonfiguration, die sich aus der Einbausituation der Ultraschallwandler der betreffenden Ultraschallsensoreinrichtung ergibt, unterschiedliche Modellgüten angenommen werden können. Die Modellgüte ist von der Umgebungssituation unabhängig und bestimmt lediglich die Qualität einer Klassifikation aufgrund der Konfiguration (Anordnung und geometrische Ausrichtung) der Ultraschallwandler der betreffenden Ultraschallsensoreinrichtung.
-
Durch einen gewichteten Mittelwert der Detektionsgüte, der Merkmalsgüte und der Modellgüte kann nun eine Gesamtgüte ermittelt werden. Alternativ kann die Gesamtgüte durch einen gewichteten Mittelwert der Detektionsgüte, der Merkmalsgüte, der Modellgüte und der Neuheitsgüte bestimmt werden.
