DE102019215393A1

DE102019215393A1 - Verfahren und eine Vorrichtung zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs

Info

Publication number: DE102019215393A1
Application number: DE102019215393.3A
Authority: DE
Inventors: Michael Schumann; Christian Pampus
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-10-08
Filing date: 2019-10-08
Publication date: 2021-04-08
Also published as: US20220342061A1; KR20220070320A; CN114556146A; MX2022003941A; WO2021069130A1; JP2022552228A; JP7385026B2

Abstract

Es wird ein Verfahren zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs, mittels einer Ultraschallsensorik vorgeschlagen, wobei die Ultraschallsensorik eine Mehrzahl von räumlich verteilt angeordneten Ultraschallsensoren aufweist. Es werden eine Mehrzahl von Messungen durchgeführt, insbesondere fortlaufend, wobei bei einer Messung jeweils durch einen der Ultraschallsensoren ein Ultraschallsignal ausgesendet wird, durch mindestens einen der Ultraschallsensoren ein Signal empfangen wird, das eine Mehrzahl von reflektierten Echosignalen, sogenannte Mehrfachechos, aufweist, und die empfangenen Echosignale einem Objekt zugeordnet werden.Aus den empfangenen Echosignalen kann eine Mehrzahl von Merkmalen bestimmt werden. Erfindungsgemäß wird das Objekt abhängig von einer Kombination von zumindest zwei dieser Merkmale klassifiziert, insbesondere als Fußgänger.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs, mittels einer Ultraschallsensorik, wobei die Ultraschallsensorik eine Mehrzahl von räumlich verteilt angeordneten Ultraschallsensoren aufweist.
Stand der Technik
Aus der EP2908153 A2 ist eine Vorrichtung zur Erkennung eines dynamischen Objekts im Umfeld eines Kraftfahrzeugs mittels Ultraschall bekannt, welches ein Sensorarray mit zumindest zwei voneinander mit einem vorgegebenen Abstand angeordneten Sensorelementen, umfasst welche sowohl als Sender als auch als Empfänger wirken. Ein erfasstes bewegliches Objekt wird basierend auf seiner Trajektorie sowie der Geschwindigkeit durch Vergleich mit vorgegebenen Modellen klassifiziert, z.B. als Fußgänger.
Aus der DE 112016003462 T5 ist eine Fahrzeugsteuervorrichtung bekannt, die einen Ultraschallsensor umfasst, der ausgelegt ist, um ein Hindernis vor dem Fahrzeug zu detektieren, und eine monokulare Kamera, die ausgelegt ist, um ein Bild eines Bereichs vor dem Fahrzeug aufzunehmen. Ein Steuergerät ermittelt das Vorhandensein oder Fehlen eines Hindernisses vor dem Fahrzeug beruhend auf Bildern, die mit der monokularen Kamera während der Fahrt des Fahrzeugs aufgenommen werden, und regelt die Antriebskraft des Fahrzeugs gemäß einer Kombination aus Detektieren oder Nichtdetektieren eines Objekts durch den Ultraschallsensor und Vorhandensein oder Fehlen eines Hindernisses, das beruhend auf dem mit der monokularen Kamera aufgenommenen Bild ermittelt wird.
DE 102016124157 A1 zeigt ein Verfahren zum Ermitteln einer Bremsnotwendigkeit für ein Kraftfahrzeug in Abhängigkeit von einem möglichen Kollisionsobjekt, beispielsweise einem Fußgänger, in einem Umgebungsbereich des Kraftfahrzeugs.
Die Aufgabe der Erfindung kann darin gesehen werden, basierend auf einer Ultraschallsensorik eine möglichst zuverlässige Fußgängererkennung im Umfeld eines Kraftfahrzeugs zu realisieren.
Offenbarung der Erfindung
Die Aufgabe wird durch das Verfahren und die Vorrichtung gemäß den unabhängigen Ansprüchen gelöst. Die Unteransprüche beschreiben bevorzugte Ausführungen der Erfindung.
Es wird ein Verfahren zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs, mittels einer Ultraschallsensorik vorgeschlagen, wobei die Ultraschallsensorik eine Mehrzahl von räumlich verteilt angeordneten Ultraschallsensoren aufweist.
Die Ultraschallsensorik kann beispielsweise Teil eines an einem Kraftfahrzeug vorgesehenen Fahr- oder Parkassistenzsystems sein. Dabei können die Ultraschallsensoren beispielsweise verteilt an einem vorderen und/oder hinteren Stoßfänger des Kraftfahrzeugs angeordnet sein.
Jeder der Ultraschallsensoren kann ausgebildet sein, Ultraschallsignale auszusenden und an einem Objekt reflektierte Ultraschallsignale zu empfangen. Mittels der Laufzeit eines empfangenen, an einem Objekt reflektierten Ultraschallsignals kann in bekannter Weise der Abstand zu dem Objekt bestimmt werden. Ausgedehnte und strukturierte Objekte können sogenannte Mehrfachechos erzeugen. In diesem Fall wird das ausgesendete Ultraschallsignal an verschiedenen Punkten des Objekts reflektiert und es können von einem gesendeten Ultraschallsignal mehrere Echosignale mit jeweils unterschiedlichen Laufzeiten von einem Ultraschallsensor empfangen werden.
Das Verfahren umfasst die folgenden Schritte:

Es werden eine Mehrzahl von Messungen durchgeführt, insbesondere fortlaufend, wobei bei einer Messung jeweils durch einen der Ultraschallsensoren ein Ultraschallsignal ausgesendet wird, durch mindestens einen der Ultraschallsensoren ein Signal empfangen wird, das eine Mehrzahl von reflektierten Echosignalen, sogenannte Mehrfachechos, aufweist, und die empfangenen Echosignale einem Objekt zugeordnet werden.

Aus den empfangenen Echosignalen kann eine Mehrzahl von Merkmalen bestimmt werden:

- Ein erstes Merkmal, das eine Häufigkeit bezogen auf die Anzahl der durchgeführten Messungen, mit der eine Distanz d einen vorgegebenen Distanzschwellenwert überschreitet, wobei die Distanz d einen Abstand zwischen einem zeitlich ersten empfangenen Echosignal und einem zeitlich letzten empfangenen Echosignal einer Messung mit Mehrfachechos entspricht, repräsentiert;
- ein zweites Merkmal, das eine Varianz der Distanz d repräsentiert;
- ein drittes Merkmal, das eine Verteilung der Anzahl der empfangenen Echosignale je Messung über die Ultraschallsensoren repräsentiert;
- ein viertes Merkmal, das die Ausrichtung der Ultraschallsensoren bezüglich des Objektes repräsentiert;
- ein fünftes Merkmal, das eine Varianz erster Objektabstände über mehrere Messungen repräsentiert, wobei zu jedem bestimmten zeitlich ersten empfangenen Echosignal ein zugehöriger erster Objektabstand berechnet wird, wobei bei der Bestimmung der Varianz insbesondere eine Annäherung des Objekts berücksichtigt wird;
- ein sechstes Merkmal, das eine Korrelation eines empfangenen Echosignals mit dem gesendeten Ultraschallsignal repräsentiert;
- ein siebtes Merkmal, das eine Amplitude eines Echosignals repräsentiert;
- ein achtes Merkmal, das eine Verteilung von Reflexpunkten repräsentiert, wobei jeder Reflexpunkt eine gemessene Objektposition angibt.

Alle genannten Merkmale ermöglichen eine Klassifizierung des Objektes und insbesondere eine Trennung von Fußgängern und Bordsteinen oder anderen, Objekten, die beispielsweise für eine automatisierte oder unterstützte Notbremsfunktion eines Kraftfahrzeugs nicht relevant sind, mit einer gewissen Wahrscheinlichkeit. Kein einzelnes Merkmal ist, für sich alleine gestellt, eindeutig genug, um ohne Hinzunahme weiterer Merkmale eine sichere Aussage zu ermöglichen, ob es sich bei dem Objekt um einen Fußgänger handelt oder nicht. Deshalb werden gemäß der Erfindung die genannten Merkmale logisch bzw. statistisch miteinander kombiniert.
Erfindungsgemäß wird das Objekt abhängig von einer Kombination von zumindest zwei dieser Merkmale klassifiziert, insbesondere als Fußgänger. Unter einer Kombination wird hierbei verstanden, dass Merkmale dahingehend ausgewertet werden, ob beispielsweise bestimmte Schwellenwerte überschritten oder unterschritten werden, oder bestimmte Verteilungen oder Varianzen von Verteilungen der Merkmale bei einer Mehrzahl von beispielsweise aufeinanderfolgenden Messungen beobachtet werden. Jedes betrachtete Merkmal kann dann einen bestimmten Beitrag für die Festlegung der Klassifizierung liefern, beispielsweise indem es eine Wahrscheinlichkeit angibt, dass es sich bei dem Objekt um einen Fußgänger handelt.
Alternativ oder zusätzlich können die Merkmale als Eingangssignale eines über eine Datenbank trainierten sogenannten Klassifikators (z.B. ein neuronales Netz, ein Entscheidungsbaum, o.ä.) für maschinelles Lernen verwendet werden.
Insbesondere das erste und das dritte Merkmal können zu einer zuverlässigen Klassifizierung des Objekts als Fußgänger wie folgt kombiniert werden: Wenn die Häufigkeit gemäß dem ersten Merkmal, mit der eine Distanz d zwischen dem zeitlich ersten erfassten Echosignal und dem zeitlich letzten erfassten Echosignals eines Mehrfachechos einen vorgegebenen Distanzschwellenwert überschreitet besonders groß ist, also einen Häufigkeitsschwellenwert überschreitet und die Verteilung gemäß dem dritten Merkmal ergibt, dass nur bestimmte der Ultraschallsensoren, insbesondere nur einer der Ultraschallsensoren oder nur wenige, insbesondere benachbart angeordnete Ultraschallsensoren, eine Mehrzahl von Echosignalen je Messung empfangen haben, so wird das Objekt als Fußgänger klassifiziert.
Die Erfindung beruht auf der Erkenntnis, dass ein Fußgänger als strukturiertes Objekt Ultraschall an verschiedenen Stellen reflektiert, z.B. am Fuß, am Torso, dem Kopf und/oder den Armen. Durch diese Eigenart erhält man mit einer einzelnen Ultraschallmessung üblicherweise mehrere Echosignale (Reflexe, Mehrfachechos), die zeitlich bzw. in der Distanz hintereinanderliegen. Charakteristisch ist dabei, dass die Distanz d zwischen dem zeitlich ersten empfangenen Signal und dem zeitlich letzten empfangenen Signal häufig relativ groß ist, insbesondere größer als bei niedrigen Objekten wie z.B. Bordsteinen. Dies kann zum Beispiel dadurch bedingt sein, dass verschiedene Körperteile das gesendeten Ultraschallsignal reflektieren, die vom Ultraschallsensor aus gesehen eine große Distanz zueinander aufweisen. Durch die Bewegung des Fußgängers kann diese relative Distanz d außerdem stark schwanken, insbesondere, wenn man eine Sequenz aufeinanderfolgender Messungen betrachtet- Dieser Effekt wird außerdem dadurch bedingt, dass nicht bei jeder Messung dieselben Punkte des Fußgängers das gesendete Ultraschallsignal reflektieren.
Als erstes Merkmal zur Klassifizierung des reflektierenden Objekts wird demnach herangezogen, wie häufig im Verhältnis zur Gesamtzahl der Messungen, die dem Objekt zugeordnet werden, Mehrfachechos gemessen werden und wie häufig die Distanz d groß ist, also größer als ein bestimmter Schwellenwert. (erstes Merkmal).
Außerdem kann als zweites Merkmal für die Klassifizierung bestimmt werden, wie stark die Distanz d schwankt, also wie groß die Varianz von d ist.
Bestimmte Bordsteinstrukturen, z.B. Bordsteine mit dahinterliegenden Rasengittersteinen, können ähnliche Echosignale, insbesondere Mehrfachechos erzeugen wie ein Fußgänger. Allerdings weist ein Fußgänger eine Häufung der empfangenen Mehrfachechos nur bei denjenigen Ultraschallsensoren auf, deren Hauptmessachse im Wesentlichen in Richtung zum Fußgänger ausgerichtet sind bzw. deren Hauptmessachse einen möglichst kleinen Winkel zu dem Fußgänger aufweist. Ultraschallsensoren deren Hauptmessachse einen größeren Winkel zum Fußgänger haben, sind die mehrfach reflektierten Echosignale aufgrund der Signalausbreitungswege häufig schwach ausgeprägt, so dass Mehrfachreflexe nicht oder nur in geringem Umfang empfangen werden. Insofern kann bei Fußgängern ein gehäuftes Auftreten der typischen Mehrfachechos insbesondere bei nur einem der Ultraschallsensoren oder bei zwei benachbarten Ultraschallsensoren festgestellt werden, wohingegen eine derartige Verteilung z.B. bei einem Bordstein als reflektierendes Objekt nicht zu beobachten ist. Somit wird als drittes Merkmal eine Verteilung der Anzahl der empfangenen Echosignale je Messung über die Ultraschallsensoren erfasst. Es wird also erfasst welche der Ultraschallsensoren eine Mehrzahl von Echosignalen je Messung empfangen und welche nicht. Bevorzugt wird ein reflektierendes Objekt als Fußgänger klassifiziert, wenn die Verteilung gemäß dem dritten Merkmal ergibt, dass nur bestimmte der Ultraschallsensoren, insbesondere nur einer der Ultraschallsensoren oder nur wenige, insbesondere benachbart angeordnete Ultraschallsensoren, eine Mehrzahl von Echosignalen je Messung empfangen haben, die zu dem zu klassifizierenden Objekt beigetragen haben. Hierbei wird insbesondere berücksichtigt, dass in komplexen Szenen zwar die anderen Ultraschallsensoren auch Echosignale erfassen können, jedoch keine Echosignale, die aufgrund ihrer Lage im Raum, die beispielsweise durch Trilateration bestimmt werden kann, dem zu klassifizierenden Objekt zugeordnet werden.
Gemäß dem vierten Merkmal, kann die Ausrichtung der Ultraschallsensoren bezüglich des Objektes bestimmt werden. Es kann damit außerdem berücksichtigt werden, dass die mehrfachen Echosignale häufig sehr schwach ausgeprägt sind und nur von sehr sensitiv eingestellten Sensorsystemen überhaupt erkannt werden können. Der Empfang dieser Ultraschallsignale (Mehrfachechos) kann deshalb zwischen den verschiedenen Ultraschallsensoren stark variieren. Es wird deshalb optional vorgeschlagen, zur Bildung der Statistik, d.h. also insbesondere zur Bestimmung der Distanz d, zur Bestimmung der Häufigkeit mit der die Distanz d einen bestimmten Schwellenwert überschreitet gemäß dem ersten Merkmal und/oder zur Bestimmung der Varianz von d gemäß dem zweiten Merkmal insbesondere nur die Messdaten derjenigen Ultraschallsensoren auszuwerten, die auf das Objekt ausgerichtet sind, also einen guten Sichtwinkel aufweisen oder bevorzugt nur denjenigen Ultraschallsensor zu verwenden, der im Vergleich den besten Sichtwinkel zum Objekt hat. Hierbei kann insbesondere der Winkel der Hauptachse eines jeden Ultraschallsensors relativ zu dem erkannten Objekt berücksichtigt werden.
Ebenso bedingt durch die komplexe Struktur eines Fußgängers variiert in einer Abfolge von Messungen auch der Objektabstand, der sich aus dem zeitlich zuerst empfangenen reflektierten Echosignal (Erstreflex) ergibt, stark, insbesondere im Vergleich mit einem geometrisch einfachen, stabilen Reflektor wie einem Bordstein. Die Varianz des Objektabstands, der sich aus dem zeitlich zuerst empfangenen reflektierten Echosignal (Erstreflex) ergibt kann also als weiteres, fünftes Merkmal herangezogen werden. Insbesondere wenn diese Varianz einen zweiten Varianzschwellenwert überschreitet kann das Objekt als Fußgänger klassifiziert werden.
Da beim Fußgänger stets mehrere Punkte reflektieren, überlagern sich die Echosignale akustisch. Sendet ein Ultraschallsensor codiert Ultraschallsignale aus, z.B. durch Verwendung eines charakteristischen Frequenzverlaufs, und wertet der empfangende Ultraschallsensor den Verlauf des empfangenen Echosignals aus, um eine Korrelation zu ermitteln, dann führt die Überlagerung der Echosignale zu einem störenden Einfluss auf die Korrelation, d.h. die Korrelation sinkt ab. Bei beispielsweise einem Bordstein können hingegen sehr hohe Korrelationen beobachtet werden, die bei einem Fußgänger so nie auftreten können. Es wird deshalb als sechstes Merkmal die Korrelation des empfangenen Echosignals mit dem gesendeten Ultraschallsignal bestimmt. Wenn sehr hohe Korrelationswerte empfangen werden, kann dies als Ausschlusskriterium für eine Klassifikation als Fußgänger dienen. Bevorzugt wird eine Klassifikation des Objektes als Fußgänger ausgeschlossen, wenn für eine bestimmte Anzahl von Messungen der Korrelationswert größer als ein bestimmter Korrelationsschwellenwert ist.
Gemäß dem siebten Merkmal kann eine Amplitude mindestens eines empfangenen Echosignals ausgewertet werden. Da die Kleidung eines Fußgängers üblicherweise akustische Signale stark absorbiert, ist die reflektierte Schallenergie eines von einem Fußgänger reflektierten Ultraschallsignals eher gering bis mäßig ausgeprägt. Insofern kann die Amplitude insbesondere derart ausgewertet werden, dass besonders hohe Amplituden die Klassifikationswahrscheinlichkeit als Fußgänger reduzieren. Insbesondere kann die Klassifikation eines Objekts als Fußgänger ausgeschlossen werden, wenn die die Amplitude mindestens eines empfangenen Ultraschallsignals größer als ein bestimmter Amplitudenschwellenwert ist.
Bei jeder Messung kann weiterhin ein sogenannter Reflexpunkt bestimmt werden, der eine Position im Raum angibt, von der das empfangene Ultraschallsignal reflektiert wurde. Ein Reflexpunkt kann beispielsweise in bekannter Weise durch Trilateration bestimmt werden.
Typisch für einen Fußgänger ist weiterhin, dass die von einer Messung zur nächsten empfangenen Reflexpunkte örtlich stark springen, d.h. dass die Koordinaten die dem Fußgänger als Objekt im Raum bei einer Messung zugeordnet werden in einer bestimmten Weise variieren. Dies resultiert aus der komplexen geometrischen Struktur des Fußgängers sowie daraus, dass sich der Fußgänger bewegen kann. Die räumliche Verteilung der Reflexpunkte, die eine örtliche Zuordnung von mehreren Messungen über Trilateration darstellen, in einer Abfolge von Messungen kann somit als weiteres, achtes Merkmal herangezogen werden. Insbesondere wenn die räumliche Verteilung der Reflexpunkte gemäß dem achten Merkmal eine charakteristische Form aufweist, insbesondere eine Häufung von Reflexpunkten an einer wahrscheinlichen Objektposition sowie eine Streuung in lateraler Richtung, kann das Objekt als Fußgänger klassifiziert werden.
Alle genannten Merkmale ermöglichen eine Trennung von Fußgängern und Bordsteinen oder anderen, nicht bremsrelevanten Objekten, mit einer gewissen Wahrscheinlichkeit. Kein einzelnes Merkmal ist, für sich alleine gestellt, eindeutig genug, um ohne Hinzunahme weiterer Merkmale eine sichere Aussage zu ermöglichen. Deshalb werden gemäß der Erfindung die genannten Merkmale insbesondere logisch bzw. statistisch miteinander kombiniert. Ebenso können die Merkmale als Eingangssignale eines über eine Datenbank trainierten Klassifikators (neuronales Netz, Entscheidungsbaum, ...) für maschinelles Lernen verwendet werden. Die Art der logischen Kombination ist nicht vorrangig ausschlaggebend, vielmehr sind es die zur Erkennung eines Fußgängers ausschlaggebenden Merkmale.
Es ist ferner anzumerken, dass nicht alle Merkmale verwendet werden müssen, um eine Klassifikation zu ermöglichen, vielmehr lässt sich über die Kombination der Merkmale eine Verbesserung der Klassifikationsgüte erreichen.
Je mehr der beschriebenen Merkmale bei der Klassifizierung des Objekts kombiniert werden, desto größer ist die Zuverlässigkeit, einen tatsächlichen Fußgänger als solchen zu erkennen und dabei eine niedrige Fehlerkennungsrate, d.h. eine fehlerhafte Erkennung eines Objektes, das kein Fußgänger ist (z.B. ein Bordstein) als Fußgänger (false positive) zu erzielen.
Nach einem weiteren Aspekt der Erfindung wird eine Vorrichtung ausgebildet zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs, vorgeschlagen, umfassend:

• eine Ultraschallsensorik, wobei die Ultraschallsensorik eine Mehrzahl von räumlich verteilt angeordneten, insbesondere an einer Karosserie eines Kraftfahrzeugs angeordneten, Ultraschallsensoren aufweist,
• eine Auswerteeinrichtung, die ausgebildet ist, die Schritte nach einem wie zuvor beschrieben ausgestalteten Verfahren auszuführen.

Insbesondere ist die Auswerteeinrichtung ausgebildet, zwei oder mehr der zuvor beschriebenen Merkmale aus den von den Ultraschallsensoren erfassten Messdaten zu bestimmen und mindestens zwei der Merkmale zu kombinieren um eine Klassifikation eines Objektes im Umfeld der Vorrichtung zu bestimmen.
Die Vorrichtung kann Teil eines Fahrerassistenzsystems eines Kraftfahrzeugs sein. Die Ultraschallsensoren sind bevorzugt an einem Stoßfänger des Kraftfahrzeugs angeordnet und derart ausgerichtet, dass sie einen Bereich in Fahrtrichtung vor oder hinter dem Kraftfahrzeug erfassen können.
Die Vorrichtung kann insbesondere Teil eines Bremsassistenzsystems sein, wobei beispielsweise eine Notbremsung ausgelöst werden kann, wenn ein Objekt als Fußgänger klassifiziert wird und das Objekt beispielsweise in Fahrtrichtung des Kraftfahrzeugs in einem Abstand näher als ein bestimmter Mindestabstand detektiert wird.
Nach einem weiteren Aspekt der Erfindung wird ein Kraftfahrzeug vorgeschlagen, das eine erfindungsgemäße Vorrichtung aufweist.
Figurenliste
Unter Bezugnahme auf die beigefügten Figuren werden Ausführungsformen der Erfindung im Detail beschrieben.

1 zeigt eine Vorrichtung nach einem möglichen Ausführungsbeispiel der Erfindung beim Erfassen eines Fußgängers.
2 zeigt beispielhaft gemäß der Erfindung, während mehrerer zeitlich aufeinanderfolgender Messungen erfasste Abstandsdaten.
3 zeigt beispielhaft gemäß der Erfindung, während mehrerer zeitlich aufeinanderfolgender Messungen erfasste Abstandsdaten unter Berücksichtigung von Mehrfachechos, wobei für jede Messung eine Distanz di entsprechend einem Abstand zwischen einem zeitlich ersten empfangenen Echosignal und einem zeitlich letzten empfangenen Echosignal einer Messung bestimmt wird.
4 zeigt schematisch ein erfindungsgemäß ausgebildetes Kraftfahrzeug und einen Fußgänger, sowie überlagert, eine Verteilung von Reflexpunkten aus einer Mehrzahl von Messungen.

Bevorzugte Ausführungen der Erfindung
In der nachfolgenden Beschreibung der Ausführungsbeispiele der Erfindung werden gleiche Elemente mit gleichen Bezugszeichen bezeichnet, wobei auf eine wiederholte Beschreibung dieser Elemente gegebenenfalls verzichtet wird. Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
In 1 ist der vordere Teil eines Kraftfahrzeugs 1 schematisch dargestellt. Das Kraftfahrzeug 1 umfasst eine Vorrichtung 10 zur Klassifizierung eines Objektes 70 im Umfeld des Kraftfahrzeugs 1. Die Vorrichtung 10 umfasst eine Ultraschallsensorik, wobei die Ultraschallsensorik vier entlang der Front des Kraftfahrzeugs 1 angeordnete Ultraschallsensoren 12.1, 12.2, 12.3 und 12.4 aufweist. Die Vorrichtung 10 umfasst außerdem eine Auswerteeinrichtung 11, die ausgebildet ist, die Messdaten der Ultraschallsensoren 12.1-12.4 auszuwerten und darauf basierend das Objekt 70 zu klassifizieren. Die Auswerteeinrichtung ist dazu ausgebildet jeden der Ultraschallsensoren 12.1-12.4 anzusteuern, so dass die Ultraschallsensoren 12.1-12.4 Ultraschallsignale senden und an dem Objekt 70 reflektierte Ultraschallsignale zu empfangen und die empfangenen Signale dem Objekt 70 zuzuordnen.
In dem dargestellten Beispiel handelt es sich bei dem Objekt 70 um einen Fußgänger 80.
Um das Objekt 70 als Fußgänger 80 zu klassifizieren werden verschiedene Merkmale der empfangenen Echosignale bestimmt.
Durch die charakteristische Struktur und Form eines Fußgängers 80, ist die Wahrscheinlichkeit groß, dass zumindest einer der Ultraschallsensoren 12.1-12.4 ein Signal empfangen wird, das eine Mehrzahl von reflektierten Echosignalen aufweist. So reflektieren z.B. eine Hand 82 und ein Fuß 84 des Fußgängers 80 das gesendete Ultraschallsignal des Ultraschallsensors 12.3. Beispielsweise kann der Fuß 84 einen geringeren Abstand 24 zum Ultraschallsensor 12.3 aufweisen, als der Abstand 22 der Hand 82. Der Ultraschallsensor 12.3 wird also mindestens zwei Echosignale bei einer Messung empfangen. Angenommen, der Fuß 84 weist von allen reflektierenden Punkten des Fußgängers 80 den geringsten Anstand zum Ultraschallsensor 12.3 auf und die Hand 82 weist von allen reflektierenden Punkten des Fußgängers 80 den größten Anstand zum Ultraschallsensor 12.3 auf, so wird das Echosignal, das von dem Fuß 84 reflektiert wurde als zeitlich erstes Echosignal empfangen und das Echosignal, das von der Hand 82 reflektiert wurde wird als zeitlich letztes Echosignal empfangen.
Aus den Echosignalen kann eine Distanz d zwischen dem zeitlich ersten empfangenen Echosignal und dem zeitlich letzten empfangenen Echosignal bestimmt werden. Dazu wird beispielsweise zunächst ein Laufzeitunterschied dieser Echosignale bestimmt, der in bekannter Weise bei Kenntnis der Schallgeschwindigkeit der Ultraschallsignale eine räumliche Distanz d berechnet werden kann. Über eine Mehrzahl von Messungen kann nun beobachtet werden, wie sich die jeweils bestimmte Distanz d verhält. Wird beispielsweise bei einem bestimmten Mindestanteil der Messungen eine Distanz d bestimmt, der einen bestimmten Schwellenwert überschreitet, so kann diese Tatsache als ein Indikator dafür dienen, dass es sich bei dem Objekt 70 um einen Fußgänger handelt. Durch Bewegung, beispielsweise der Arme und Beine, und/oder unterschiedliche Ausrichtung eines Fußgängers 80 relativ zu den Ultraschallsensoren werden außerdem starke Schwankungen der Distanz d verursacht. Wird also eine Varianz der Distanz d betrachtet, so kann beispielsweise wenn die Varianz einen bestimmten Schwellenwert übersteigt diese als weiterer Indikator genutzt werden, dass es sich bei dem Objekt 70 um einen Fußgänger handelt.
In 3 sind beispielhaft in einem Diagramm 200 für eine Mehrzahl von Messungen i jeweils das zeitlich ersten empfangene Echosignal 210 und das zeitlich letzte empfangenen Echosignal 220 und die daraus bestimmte Distanz d_i dargestellt. Dabei ist auf der x-Achse der Messzeitpunkt t und auf der y-Achse der gemessene Abstand s zum Ultraschallsensor aufgetragen.
Es kann für jede Messung verglichen werden, ob die Distanz d einen vorgegebenen Distanzschwellenwert überschreitet und es kann so eine Häufigkeit bezogen auf die Anzahl der durchgeführten Messungen, mit der die Distanz d den vorgegebenen Distanzschwellenwert überschreitet bestimmt werden.
Als weiteres Merkmal wird der Anzahl der empfangenen Echosignale je Messung über die Ultraschallsensoren bestimmt. In der in 1 dargestellten Situation werden die beiden mittleren Ultraschallsensoren 12.2 und 12.3 aufgrund ihrer Nähe und Ausrichtung bezüglich des Fußgängers 80 stärkere Echosignale empfangen als die beiden äußeren Ultraschallsensoren 12.1 und 12.4. Entsprechend wahrscheinlicher ist der Empfang von Mehrfachechos durch die mittleren Ultraschallsensoren 12.2 und 12.3. Die Verteilung der Anzahl der empfangenen Echosignale je Messung wird also bei den benachbart zueinander angeordneten Ultraschallsensoren 12.2 und 12.3 eine Häufung aufweisen.
Ebenso bedingt durch die komplexe Struktur eines Fußgängers 80 kann in einer Sequenz von Messungen auch ein aus einem jeweiligen zeitlich ersten empfangenen Echosignal bestimmter Abstand zwischen dem Fußgänger 80 und dem Ultraschallsensor stark variieren, insbesondere im Vergleich mit einem geometrisch einfachen, stabilen Reflektor wie einem Bordstein. Dies ist in 2 beispielhaft in einem Messdiagramm 100 dargestellt. Auf der x-Achse ist der Messzeitpunkt t und auf der y-Achse der gemessene Abstand s zum Ultraschallsensor aufgetragen. An jedem Messzeitpunkt wird mittels des zeitlich ersten empfangenen Echosignals ein Abstand 90 zwischen dem reflektierenden Objekt 70 und dem messenden Ultraschallsensor bestimmt. Insgesamt ist eine relative, lineare Annäherung zwischen dem messenden Ultraschallsensor und dem reflektierenden Objekt 70 sichtbar, wie durch die Gerade 95 dargestellt ist. Bei bekannter Fahrzeuggeschwindigkeit und der Annahme eines stehenden Objekts kann die Gerade 95 berechnet werden. Ist der Bewegungszustand des Objekts 70 nicht bekannt, kann die Gerade 95 aus den Messwerten 90 bestimmt werden (z.B. durch übliche Fit-Methoden). Zur Bestimmung des fünften Merkmals wird eine Varianz der den jeweiligen Objektabstand repräsentierenden Messwerte 90 über mehrere Messungen bezüglich der Gerade 95 bestimmt, wodurch eine Annäherung des Objekts 70 an das Fahrzeug 1 bzw. den messenden Ultraschallsensor berücksichtigt wird. Übersteigt die so bestimmte Varianz gemäß dem fünften Merkmal einen zweiten Varianzschwellenwert, so kann dies als weiterer Hinweis gewertet werden, dass es sich bei dem reflektierenden Objekt 70 um einen Fußgänger 80 handelt.
4 zeigt schematisch an einem möglichen Beispiel, wie das achte erfindungsgemäße Merkmal bestimmt werden kann, das eine Verteilung von Reflexpunkten 60 repräsentiert. In der 4 ist schematisch die Front eines Fahrzeugs 1 dargestellt, die eine Ultraschallsensorik 12 mit vier Ultraschallsensoren 12.1, 12.2, 12.3 und 12.4 aufweist. Vor dem Fahrzeug 1 befindet sich ein Objekt 70. Durch eine Vielzahl von Messungen mittels der Ultraschallsensoren werden, z.B. mittels Trilateration, Koordinaten von Reflexpunkten 60 bestimmt, von denen jeder eine gemessene Position des Objekts 70 angibt. Es wird eine räumliche Verteilung der Reflexpunkte gebildet, wie in der 4 durch das Koordinatensystem angedeutet ist. Es hat sich herausgestellt, dass sich bei einem Fußgänger 80 eine charakteristische Verteilung von Reflexpunkten 60 ergibt, die zum einen eine Häufung an einer wahrscheinlichen Objektposition aufweist, sowie eine gewisse Streuung der Reflexpunkte 60 in lateraler Richtung, also in einer Richtung senkrecht zur Hauptmessrichtung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2908153 A2 [0002]
DE 112016003462 T5 [0003]
DE 102016124157 A1 [0004]

Claims

Verfahren zur Klassifizierung eines Objektes (70), insbesondere im Umfeld eines Kraftfahrzeugs (1), mittels einer Ultraschallsensorik (12), wobei die Ultraschallsensorik (12) eine Mehrzahl von räumlich verteilt angeordneten Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) aufweist, umfassend die Schritte: • Durchführen einer Mehrzahl von Messungen, wobei bei einer Messung - durch einen der Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) ein Ultraschallsignal ausgesendet wird, - durch mindestens einen der Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) ein Signal empfangen wird, das eine Mehrzahl von reflektierten Echosignalen (210, 220) aufweist, - die empfangenen Echosignale einem Objekt (70) zugeordnet werden, • wobei aus den empfangenen Echosignalen eine Mehrzahl von Merkmalen bestimmt werden, umfassend mindestens zwei der Merkmale: - ein erstes Merkmal, das eine Häufigkeit bezogen auf die Anzahl der durchgeführten Messungen, mit der eine Distanz (d) einen vorgegebenen Distanzschwellenwert überschreitet, wobei die Distanz (d) einen Abstand zwischen einem zeitlich ersten empfangenen Echosignal (210) und einem zeitlich letzten empfangenen Echosignal (220) einer Messung entspricht, repräsentiert, - ein zweites Merkmal, das eine Varianz der Distanz (d) repräsentiert, - ein drittes Merkmal, das eine Verteilung der Anzahl der empfangenen Echosignale je Messung über die Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) repräsentiert, - ein viertes Merkmal, das die Ausrichtung der Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) bezüglich des Objektes (70) repräsentiert; - ein fünftes Merkmal, das eine Varianz erster Objektabstände über mehrere Messungen repräsentiert, wobei zu jedem bestimmten zeitlich ersten empfangenen Echosignal (210) ein zugehöriger erster Objektabstand berechnet wird, wobei bei der Bestimmung der Varianz insbesondere eine Annäherung des Objekts (70) berücksichtigt wird; - ein sechstes Merkmal, das eine Korrelation des empfangenen Echosignals mit dem gesendeten Ultraschallsignal repräsentiert; - ein siebtes Merkmal, das eine Amplitude eines Echosignals repräsentiert; - ein achtes Merkmal, das eine Verteilung von Reflexpunkten (60) repräsentiert, wobei jeder Reflexpunkt (60) eine gemessene Objektposition angibt; • wobei das Objekt (70) abhängig von einer Kombination von zumindest zwei der acht Merkmale klassifiziert wird, insbesondere als Fußgänger (80).
Verfahren nach Anspruch 1, wobei das Objekt (70) als Fußgänger (80) klassifiziert wird, wenn zumindest die Häufigkeit gemäß dem ersten Merkmal einen Häufigkeitsschwellenwert überschreitet und die Verteilung gemäß dem dritten Merkmal ergibt, dass nur bestimmte der Ultraschallsensoren (12.1, 12.2, 12.3, 12.4), insbesondere nur einer der Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) oder nur wenige, insbesondere benachbart angeordnete Ultraschallsensoren (12.1, 12.2, 12.3, 12.4), eine Mehrzahl von Echosignalen (210, 220) je Messung empfangen haben.
Verfahren nach Anspruch 2, wobei das Objekt (70) als Fußgänger (80) klassifiziert wird, wenn außerdem die Varianz gemäß dem zweiten Merkmal einen ersten Varianzschwellenwert überschreitet.
Verfahren nach einem der Ansprüche 2 oder 3, wobei gemäß dem vierten Merkmal nur diejenigen Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) bei der Bestimmung der Distanz (d) berücksichtigt werden, die auf das Objekt (70) ausgerichtet sind, wobei insbesondere nur derjenige Ultraschallsensor (12.1, 12.2, 12.3, 12.4) berücksichtigt wird, der eine Hauptmessrichtung aufweist, die am besten auf das Objekt (70) ausgerichtet ist.
Verfahren nach einem der Ansprüche 2 bis 4, wobei das Objekt (70) als Fußgänger (80) klassifiziert wird, wenn außerdem die Varianz gemäß dem fünften Merkmal einen zweiten Varianzschwellenwert überschreitet.
Verfahren nach einem der Ansprüche 2 bis 5, wobei das ausgesendete Ultraschallsignal einen bestimmten Frequenzverlauf aufweist und für mindestens ein empfangenes Echosignal ein Frequenzverlauf bestimmt wird und gemäß dem sechsten Merkmal ein Korrelationswert des Echosignals mit dem gesendeten Ultraschallsignal berechnet wird.
Verfahren nach Anspruch 6, wobei eine Klassifikation des Objektes (70) als Fußgänger (80) ausgeschlossen wird, wenn für eine bestimmte Anzahl von Messungen der Korrelationswert größer als ein bestimmter Korrelationsschwellenwert ist.
Verfahren nach einem der Ansprüche 2 bis 7, wobei gemäß dem siebten Merkmal für mindestens ein empfangenes Echosignal eine Amplitude bestimmt wird und wobei eine Klassifikation des Objektes (70) als Fußgänger (80) ausgeschlossen wird, wenn die Amplitude mindestens eines empfangenen Ultraschallsignals größer als ein bestimmter Amplitudenschwellenwert ist.
Verfahren nach einem der Ansprüche 2 bis 8, wobei das Objekt (70) als Fußgänger (80) klassifiziert wird, wenn außerdem die räumliche Verteilung der Reflexpunkte (60) gemäß dem achten Merkmal eine charakteristische Form aufweist, insbesondere eine Häufung von Reflexpunkten (60) an einer wahrscheinlichen Objektposition sowie eine Streuung in lateraler Richtung.
Verfahren nach einem der Ansprüche 1 bis 9 wobei eine optimierte Kombination der Merkmale und/oder zumindest einer der Schwellenwerte zur Klassifizierung des Objekts (70) als ein bestimmter Objekttyp, insbesondere als Fußgänger (80), mittels eines Machine-Learning Verfahrens vorab bestimmt wird.
Vorrichtung (10) ausgebildet zur Klassifizierung eines Objektes (70), insbesondere im Umfeld eines Kraftfahrzeugs (1), umfassend: • eine Ultraschallsensorik (12), wobei die Ultraschallsensorik (12) eine Mehrzahl von räumlich verteilt angeordneten, insbesondere an einer Karosserie eines Kraftfahrzeugs angeordneten, Ultraschallsensoren (12.1, 12.2, 12.3, 12.4) aufweist, • eine Auswerteeinrichtung (11), die ausgebildet ist, die Schritte nach einem der Ansprüche 1 bis 10 auszuführen.
Kraftfahrzeug (1) mit einer Vorrichtung (10) nach Anspruch 11.