DE102019127802A1

DE102019127802A1 - System und Verfahren für ein Fortbewegungsmittel

Info

Publication number: DE102019127802A1
Application number: DE102019127802.3A
Authority: DE
Inventors: Emmanuel Pollakis; Christoph Segler; Thomas Hubregtsen
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-10-15
Filing date: 2019-10-15
Publication date: 2021-04-15

Abstract

Die vorliegende Offenbarung betrifft ein System für ein Fortbewegungsmittel. Das System umfasst wenigstens eine akustische Sensoreinheit, die eingerichtet ist, um ein akustisches Signal zu empfangen, und eine Prozessoreinheit, die eingerichtet ist, um: einen Ursprungsort des akustischen Signals zu bestimmen und zu bestimmen, ob der Ursprungsort wenigstens eine erste Relevanzbedingung erfüllt, wobei die wenigstens eine erste Relevanzbedingung umfasst, dass der Ursprungsort außerhalb des Fortbewegungsmittels ist; zu bestimmen, ob ein Inhalt des akustischen Signals wenigstens eine zweite Relevanzbedingung erfüllt; und wenigstens eine Funktion des Fortbewegungsmittels anzusteuern, wenn die wenigstens eine erste Relevanzbedingung und die wenigstens eine zweite Relevanzbedingung erfüllt sind.

Description

Die vorliegende Offenbarung betrifft ein System für ein Fortbewegungsmittel, ein Fortbewegungsmittelmit einem solchen System, und ein Verfahren für ein Fortbewegungsmittel. Die vorliegende Offenbarung betrifft insbesondere die Erfassung von Schall in einem Außenbereich des Fortbewegungsmittels zur intelligenten Ansteuerung von Funktionen des Fortbewegungsmittels.
Stand der Technik
In modernen Fahrzeugen werden heutzutage eine Vielzahl verschiedenster Funktionen bereitgestellt, wie zum Beispiel eine Fahrfunktion zum automatisierten Fahren. Derartige Fahrfunktionen zum automatisierten Fahren müssen zuverlässig und korrekt funktionieren, damit eine Gefährdung beispielsweise von anderen Verkehrsteilnehmern wie Fahrradfahrern oder Fußgängern vermieden wird. Auch bei einem zuverlässigen und korrekten Funktionieren der Fahrfunktion kann es zu kritischen Situationen kommen, beispielsweise wenn ein Fußgänger unerwartet und plötzlich vor das Fahrzeug tritt. Es gilt, derartige Situationen weiter zu entschärfen.
Offenbarung der Erfindung
Es ist eine Aufgabe der vorliegenden Offenbarung, ein System für ein Fortbewegungsmittel, ein Fortbewegungsmittelmit einem solchen System, und ein Verfahren für ein Fortbewegungsmittelanzugeben, die eine Umfelderfassung eines Fortbewegungsmittels verbessern können. Insbesondere ist es eine Aufgabe der vorliegenden Offenbarung, eine Reaktion des Fortbewegungsmittels auf äußere Umstände zu ermöglichen.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein System für ein Fortbewegungsmittel, wie z.B. ein Fahrzeug, angegeben. Das System umfasst wenigstens eine akustische Sensoreinheit, die eingerichtet ist, um ein akustisches Signal zu empfangen, und eine Prozessoreinheit, die eingerichtet ist, um:

einen Ursprungsort bzw. Ort einer Quelle des akustischen Signals zu bestimmen und zu bestimmen, ob der Ursprungsort bzw. Ort der Quelle wenigstens eine erste Relevanzbedingung erfüllt, wobei die wenigstens eine erste Relevanzbedingung umfasst, dass der Ursprungsort außerhalb des Fortbewegungsmittels ist (anders gesagt werden nur akustische Signale von außerhalb des Fortbewegungsmittels als relevant erkannt);
zu bestimmen, ob ein Inhalt des akustischen Signals wenigstens eine zweite Relevanzbedingung erfüllt; und
wenigstens eine Funktion des Fortbewegungsmittels anzusteuern, wenn die wenigstens eine erste Relevanzbedingung und die wenigstens eine zweite Relevanzbedingung erfüllt sind.

Die wenigstens eine erste Relevanzbedingung kann einen externen Ursprung des Signals betreffen. Insbesondere kann das akustische Signal als relevant erkannt werden, wenn es von außerhalb des Fortbewegungsmittels stammt, und kann als nicht relevant erkannt werden, wenn es von innerhalb des Fortbewegungsmittels stammt.
Die wenigstens eine zweite Relevanzbedingung kann Schlüsselwörter im akustischen Signal betreffen. Insbesondere kann das akustische Signal als relevant erkannt werden, wenn wenigstens ein bestimmtes Schlüsselwort im akustischen Signal entdeckt wird, und kann als nicht relevant erkannt werden, wenn keines der bestimmten Schlüsselwörter im akustischen Signal entdeckt wird. Ergänzend oder alternativ kann keine Ansteuerung der Funktion des Fortbewegungsmittels erfolgen, wenn (andere) bestimmte Schlüsselwörter erkannt werden. Hiermit kann ein Rechtemanagement implementiert werden, das es zum Beispiel verbietet, dass eine Person außerhalb eines Fahrzeugs per Sprachbefehl eine Sitzheizung aktiviert.
Erfindungsgemäß wird ein akustisches Signal hinsichtlich seines Ursprungsorts und Inhalts auf Relevanz geprüft, wobei eine Funktion des Fortbewegungsmittels, wie z.B. eine Fahrzeugfunktion angesteuert wird, wenn eine Relevanz des akustischen Signals erkannt wird. Beispielsweise kann ermittelt werden, dass das akustische Signal von einem telefonierenden Fußgänger direkt vor dem Fahrzeug stammt, wobei eine Notbremsung eingeleitet und/oder der Fußgänger per Audioausgabe auf die Gefahrensituation hingewiesen werden kann. Damit kann eine Umfelderfassung des Fortbewegungsmittels verbessert werden. Insbesondere kann eine Reaktion des Fortbewegungsmittels auf äußere Umstände beispielsweise zur Entschärfung kritischer Situationen ermöglicht werden.
Das erfindungsgemäße System kann für einen Betrieb während einer Bewegung des Fortbewegungsmittels (z.B. während einer Fahrt des Fahrzeugs; „dynamischer Anwendungsfall“) eingerichtet sein. Ergänzend oder alternativ kann das System für einen Betrieb bei einem Stillstand bzw. im Parkzustand des Fortbewegungsmittels eingerichtet sein („stationärer Anwendungsfall“).
Der Begriff „akustisches Signal“ bezieht sich im Rahmen der vorliegenden Offenbarung auf Schall, der von der wenigstens eine akustische Sensoreinheit erfassbar ist. Der Schall kann insbesondere von einem Objekt oder Subjekt stammen, wie zum Beispiel von einem anderen Verkehrsteilnehmer und/oder einer Person außerhalb des Fortbewegungsmittels. Beispielsweise kann das akustische Signal eine Sprache bzw. Gesprochenes der Person außerhalb des Fortbewegungsmittels sein.
Vorzugsweise ist die wenigstens eine akustische Sensoreinheit ein Mikrofon. Als Mikrofon wird im Rahmen des vorliegenden Dokuments ein Schallwandler verstanden, der Luftschall als Schallwechseldruckschwingungen in entsprechende elektrische Spannungsänderungen umwandelt. Die vorliegende Offenbarung ist jedoch nicht auf Mikrofone beschränkt und es können andere Arten von akustischen Sensoren verwendet werden.
Vorzugsweise ist die wenigstens eine akustische Sensoreinheit für eine Richtungserkennung eingerichtet. Damit kann eine Lokalisierung einer Geräuschquelle erfolgen. Insbesondere können eine verbesserte Erkennung und Klassifizierung von Geräuschen aus der Umgebung erfolgen. Hierdurch kann sichergestellt werden, dass zuverlässig erkannt werden kann, ob das akustische Signal die wenigstens eine erste Relevanzbedingung erfüllt. Beispielsweise kann die wenigstens eine erste Relevanzbedingung erfüllt sein, wenn bestimmt wird, dass der Ursprungsort direkt vor dem Fortbewegungsmittel liegt.
Vorzugsweise ist die wenigstens eine akustische Sensoreinheit in einem Außenraum des Fortbewegungsmittels anordenbar bzw. angeordnet. Der Begriff „Außenraum eines Fortbewegungsmittels“ ist im Unterschied zum Innenbereich bzw. Innenraum des Fortbewegungsmittels zu verstehen. Insbesondere ist die wenigstens eine akustische Sensoreinheit in einigen Ausführungsformen nicht im Innenbereich bzw. Innenraum des Fortbewegungsmittels angeordnet, sondern im Außenraum.
Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und in einigen Ausführungsformen kann die wenigstens eine akustische Sensoreinheit im Innenraum des Fortbewegungsmittels anordenbar bzw. angeordnet sein.
Vorzugsweise ist die Prozessoreinheit eingerichtet, um den Ursprungsort des akustischen Signals unter Verwendung der wenigstens einen akustischen Sensoreinheit und wenigstens eines weiteren Sensors des Fortbewegungsmittels, der von der wenigstens einen akustischen Sensoreinheit verschieden ist, zu bestimmen. Damit kann der Ursprungsort des akustischen Signals mit einer höheren Zuverlässigkeit und/oder einer höheren Präzision bestimmt werden. Ergänzend oder alternativ kann der unter Verwendung der wenigstens einen akustischen Sensoreinheit bestimmte Ursprungsort durch den wenigstens einen weiteren Sensor präzisiert und/oder verifiziert werden.
In einigen Ausführungsformen kann der wenigstens eine weitere Sensor Teil einer Umgebungssensorik des Fortbewegungsmittels, wie z.B. des Fahrzeugs, sein. Beispielsweise kann der wenigstens eine weitere Sensor aus der Gruppe ausgewählt sein, die ein LiDAR-System, ein oder mehrere Radar-Systeme und eine oder mehrere Kameras umfasst, oder die daraus besteht.
Vorzugsweise ist die Prozessoreinheit eingerichtet, um basierend auf einem Vergleich einer Trajektorie des Fortbewegungsmittels und des Ursprungsorts des akustischen Signals zu bestimmen, ob die wenigstens eine erste Relevanzbedingung erfüllt ist. In einigen Ausführungsformen kann die wenigstens eine erste Relevanzbedingung erfüllt sein, wenn die Trajektorie des Fortbewegungsmittels in weniger als einem vorbestimmten Abstand am Ursprungsort vorbeiläuft, und insbesondere wenn die Trajektorie des Fortbewegungsmittels den Ursprungsort durchläuft oder kreuzt. Wenn der Ursprungsort einer Position eines Fußgängers entspricht, kann ermittelt werden, dass eine Kollision bevorsteht. Geeignete Maßnahmen, wie zum Beispiel eine Notbremsung des Fortbewegungsmittels, können dann eingeleitet und die Kollision verhindert werden. Ergänzend oder alternativ kann das Fortbewegungsmittel mittels einer Audioausgabe mit dem Fußgänger kommunizieren (z.B. „Vorsicht!‟).
Vorzugsweise ist die Prozessoreinheit eingerichtet ist, um zu ermitteln, ob das akustische Signal wenigstens ein vorgegebenes Schlüsselwort enthält, und zu bestimmen, dass die wenigstens eine zweite Relevanzbedingung erfüllt ist, wenn das akustische Signal das wenigstens eine vorgegebene Schlüsselwort enthält. Beispielsweise kann das wenigstens eine vorgegebene Schlüsselwort angeben, dass das akustische Signal an das Fortbewegungsmittel, wie z.B. das Fahrzeug, gerichtet ist (z.B. „Hey BMW!“). Ergänzend oder alternativ kann keine Ansteuerung der Funktion des Fortbewegungsmittels erfolgen, wenn (andere) bestimmte Schlüsselwörter erkannt werden. Hiermit kann ein Rechtemanagement implementiert werden, das es zum Beispiel verbietet, dass eine Person außerhalb eines Fahrzeugs per Sprachbefehl eine Sitzheizung aktiviert.
In einigen Ausführungsformen kann das akustische Signal, und insbesondere das wenigstens eine vorgegebene Schlüsselwort, eine Anfrage oder eine Anweisung zur Ansteuerung der wenigstens einen Funktion des Fortbewegungsmittels, wie z.B. einer Fahrzeugfunktion, angeben oder enthalten. Beispielsweise kann das akustische Signal eine Anweisung zum Bewegen des Fortbewegungsmittels (z.B. „Kannst Du Dich bewegen, damit ich mehr Platz zum verladen meiner Einkäufe habe?“ wenn das Fortbewegungsmittel geparkt ist) oder eine Frage (z.B. „Wieviel kostest Du?“ beim Carsharing) enthalten.
Vorzugsweise ist die Prozessoreinheit für eine Spracherkennung (z.B. Natural Language Processing) eingerichtet.
Vorzugsweise ist die Prozessoreinheit eingerichtet, um unter Verwendung des wenigstens einen weiteren Sensors des Fortbewegungsmittels zu bestimmen, ob wenigstens eine dritte Relevanzbedingung bezüglich des akustischen Signals erfüllt ist, wobei die Prozessoreinheit weiter eingerichtet ist, um die wenigstens eine Funktion des Fortbewegungsmittels anzusteuern, wenn die wenigstens eine erste Relevanzbedingung, die wenigstens eine zweite Relevanzbedingung und die wenigstens eine dritte Relevanzbedingung erfüllt sind. Hier kann eine extra Bedingung formuliert werden, die erfüllt sein muss, damit die Funktion des Fortbewegungsmittels angesteuert wird. Beispielsweise kann mittels einer Kamera bestimmt werden, ob ein Fußgänger tatsächlich vor das Fortbewegungsmittel läuft. Ist dies der Fall, kann eine Notbremsung eingeleitet werden. Ist dies allerdings nicht der Fall, beispielsweise weil sich der Fußgänger vom Fortbewegungsmittel wegbewegt, können keine Notfallmaßnahmen ergriffen werden.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fortbewegungsmittel, insbesondere ein Fahrzeug, wie z.B. ein Kraftfahrzeug, angegeben. Das Fortbewegungsmittel umfasst das System gemäß den Ausführungsformen der vorliegenden Offenbarung.
Der Begriff Fortbewegungsmittel umfasst Fahrzeuge, Boote, und Drohnen, ist jedoch nicht hierauf beschränkt. Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Fahrzeug Kraftfahrzeuge zur Personenbeförderung.
Vorzugsweise ist die wenigstens eine Funktion des Fortbewegungsmittels aus der Gruppe ausgewählt, die wenigstens eine akustische Ausgabeeinheit für eine Audioausgabe außerhalb des Fortbewegungsmittels, eine Funktion zum automatisierten Fahren und eine Schließfunktion des Fortbewegungsmittels umfasst, oder die daraus besteht.
Die wenigstens eine akustische Ausgabeeinheit kann zum Beispiel ein Lautsprecher sein. Vorzugsweise ist die wenigstens eine akustische Ausgabeeinheit im Außenraum des Fortbewegungsmittels anordenbar bzw. angeordnet.
Vorzugsweise ist die wenigstens eine Funktion des Fortbewegungsmittels eingerichtet, um Informationen bezüglich des Fortbewegungsmittels und/oder Umgebungsinformationen bereitzustellen. Die Informationen können akustisch z.B. durch die wenigstens eine akustische Ausgabeeinheit und/oder visuell z.B. auf einem Display bereitgestellt werden. Die Informationen bezüglich des Fortbewegungsmittels können eine Verfügbarkeit des Fortbewegungsmittels, ein Preis des Fortbewegungsmittels, etc. sein. Die Umgebungsinformationen können zum Beispiel eine Wetterlage betreffen.
Vorzugsweise werden die Informationen bezüglich des Fortbewegungsmittels und/oder Umgebungsinformationen von einer externen Einheit bereitgestellt, wie zum Beispiel von einem Server. Das Fortbewegungsmittel kann eingerichtet sein, um mit der externen Einheit zu kommunizieren, und insbesondere um eine Anfrage zu den Informationen bezüglich des Fortbewegungsmittels und/oder den Umgebungsinformationen zu senden. Die von der externen Einheit erhaltenen Informationen können dann mittels der Funktion des Fortbewegungsmittels bereitgestellt werden. Beispielsweise können Backend-Wetterinformation eines externen Wetterdienstes, Mietkosten für das Fahrzeug, Verfügbarkeit von alternativen Mietfahrzeugen, etc. durch das Fortbewegungsmittel bei der externen Einheit angefragt und mittels der Funktion ausgegeben werden.
Vorzugsweise ist das Fortbewegungsmittel ein Fahrzeug und umfasst die Funktion zum automatisierten Fahren, die auch als Fahrassistenzfunktion bezeichnet werden kann. Das System der Ausführungsformen der vorliegenden Offenbarung kann Signale an die Fahrassistenzfunktion ausgeben. Die Signale können die oben erläuterten Bestimmungsergebnisse der Prozessoreinheit des Systems angeben oder umfassen. Die Fahrassistenzfunktion kann das automatisierte Fahren basierend auf den vom System empfangenen Signalen durchführen.
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).
Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Verfahren für ein Fortbewegungsmittel angegeben. Das Verfahren umfasst:

Bestimmen, ob ein Ursprungsort eines durch wenigstens eine akustische Sensoreinheit empfangenen akustischen Signals wenigstens eine erste Relevanzbedingung erfüllt, wobei die wenigstens eine erste Relevanzbedingung umfasst, dass der Ursprungsort außerhalb des Fortbewegungsmittels ist (anders gesagt werden nur akustische Signale von außerhalb des Fortbewegungsmittels als relevant erkannt);
Bestimmen, ob ein Inhalt des akustischen Signals wenigstens eine zweite Relevanzbedingung erfüllt; und
Ansteuern wenigstens einer Funktion des Fortbewegungsmittels, wenn die wenigstens eine erste Relevanzbedingung und die wenigstens eine zweite Relevanzbedingung erfüllt sind.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Speichermedium angegeben. Das Speichermedium umfasst ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Figurenliste
Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:

1 schematisch ein System für ein Fahrzeug gemäß Ausführungsformen der vorliegenden Offenbarung,
2 schematisch ein Fahrzeug mit akustischen Sensoren gemäß Ausführungsformen der vorliegenden Offenbarung,
3 schematisch ein System für ein Fahrzeug gemäß weiteren Ausführungsformen der vorliegenden Offenbarung,
4 schematisch ein Fahrzeug mit einem Fahrassistenzsystem gemäß Ausführungsformen der vorliegenden Offenbarung, und
5 schematisch ein Flussdiagramm eines Verfahrens für ein Fahrzeug gemäß Ausführungsformen der vorliegenden Offenbarung.

Ausführungsformen der Offenbarung
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
Die folgenden Ausführungsformen sind beispielhaft mit Bezug auf ein Fahrzeug beschrieben. Die vorliegende Offenbarung ist jedoch nicht hierauf beschränkt und das Fortbewegungsmittel kann zum Beispiel ein Boot oder eine Drohne sein.
1 zeigt schematisch ein System 100 für ein Fahrzeug gemäß Ausführungsformen der vorliegenden Offenbarung.
Das System 100 umfasst wenigstens eine akustische Sensoreinheit 110 und eine Prozessoreinheit 120. Die Prozessoreinheit 120 ist eingerichtet, um zu bestimmen, ob ein durch die wenigstens eine akustische Sensoreinheit 110 empfangenes akustisches Signal seinen Ursprung außerhalb des Fahrzeugs hat. Wenn bestimmt wird, dass das akustische Signal seinen Ursprung außerhalb des Fahrzeugs hat, ist die Prozessoreinheit 120 weiter eingerichtet, um: einen Ursprungsort bzw. Ort einer Quelle des akustischen Signals zu bestimmen und zu bestimmen, ob der Ursprungsort bzw. Ort der Quelle wenigstens eine erste Relevanzbedingung erfüllt; zu bestimmen, ob ein Inhalt des akustischen Signals wenigstens eine zweite Relevanzbedingung erfüllt; und wenigstens eine Fahrzeugfunktion anzusteuern, wenn die wenigstens eine erste Relevanzbedingung und die wenigstens eine zweite Relevanzbedingung erfüllt sind.
Das akustische Signal kann insbesondere von einem Objekt oder Subjekt stammen, wie zum Beispiel von einem anderen Verkehrsteilnehmer und/oder einer Person außerhalb des Fahrzeugs. Beispielsweise kann das akustische Signal eine Sprache bzw. Gesprochenes der Person außerhalb des Fahrzeugs sein.
Typischerweise ist die wenigstens eine akustische Sensoreinheit 110 ein Mikrofon. Die vorliegende Offenbarung ist jedoch nicht auf Mikrofone beschränkt und es können andere Arten von akustischen Sensoren verwendet werden.
In einigen Ausführungsformen kann die wenigstens eine akustische Sensoreinheit 110 für eine Richtungserkennung eingerichtet sein. Damit kann eine Lokalisierung einer Geräuschquelle in Bezug auf das Fahrzeug erfolgen. Insbesondere können eine verbesserte Erkennung und Klassifizierung von Geräuschen aus der Umgebung erfolgen. Hierdurch kann sichergestellt werden, dass zuverlässig erkannt werden kann, ob das akustische Signal die wenigstens eine erste Relevanzbedingung erfüllt. Beispielsweise kann die wenigstens eine erste Relevanzbedingung erfüllt sein, wenn bestimmt wird, dass der Ursprungsort direkt vor dem Fahrzeug liegt.
Die wenigstens eine akustische Sensoreinheit 110 kann in einem Außenraum des Fahrzeugs anordenbar bzw. angeordnet sein. Alternativ kann die wenigstens eine akustische Sensoreinheit 110 im Innenraum des Fahrzeugs anordenbar bzw. angeordnet sein. Die im Innenraum angeordnete wenigstens eine akustische Sensoreinheit 110 kann dabei eingerichtet sein, um akustische Signale, die ihren Ursprung außerhalb des Fahrzeugs haben und in den Innenraum eindringen, zu erfassen.
In einigen Ausführungsformen kann die Prozessoreinheit 120 eingerichtet sein, um den Ursprungsort des akustischen Signals unter Verwendung der wenigstens einen akustischen Sensoreinheit 110 und wenigstens eines weiteren Fahrzeugsensors, der von der wenigstens einen akustischen Sensoreinheit verschieden ist, zu bestimmen. Damit kann der Ursprungsort des akustischen Signals mit einer höheren Zuverlässigkeit und/oder einer höheren Präzision bestimmt werden. Ergänzend oder alternativ kann der unter Verwendung der wenigstens einen akustischen Sensoreinheit 110 bestimmte Ursprungsort durch den wenigstens einen weiteren Fahrzeugsensor präzisiert und/oder verifiziert werden.
In einigen Ausführungsformen kann der wenigstens eine weitere Fahrzeugsensor 110 Teil einer Umgebungssensorik des Fahrzeugs sein. Beispielsweise kann der wenigstens eine weitere Fahrzeugsensor aus der Gruppe ausgewählt sein, die ein LiDAR-System, ein oder mehrere Radar-Systeme und eine oder mehrere Kameras umfasst, oder die daraus besteht.
In einigen Ausführungsformen ist die Prozessoreinheit 120 eingerichtet, um basierend auf einem Vergleich einer Fahrzeugtrajektorie und des Ursprungsorts des akustischen Signals zu bestimmen, ob die wenigstens eine erste Relevanzbedingung erfüllt ist. Beispielsweise kann die wenigstens eine erste Relevanzbedingung erfüllt sein, wenn die Fahrzeugtrajektorie in weniger als einem vorbestimmten Abstand am Ursprungsort vorbeiläuft, und insbesondere wenn die Fahrzeugtrajektorie den Ursprungsort durchläuft oder kreuzt. Wenn der Ursprungsort einer Position eines Fußgängers entspricht, kann ermittelt werden, dass eine Kollision bevorsteht. Geeignete Maßnahmen, wie zum Beispiel eine Notbremsung des Fahrzeugs, können dann eingeleitet und die Kollision verhindert werden. Ergänzend oder alternativ kann das Fahrzeug mittels einer Audioausgabe mit dem Fußgänger kommunizieren (z.B. „Vorsicht!“).
Die Prozessoreinheit 120 kann weiter eingerichtet sein, um zu ermitteln, ob das akustische Signal wenigstens ein vorgegebenes Schlüsselwort enthält, und um zu bestimmen, dass die wenigstens eine zweite Relevanzbedingung erfüllt ist, wenn das akustische Signal das wenigstens eine vorgegebene Schlüsselwort enthält. Beispielsweise kann das wenigstens eine vorgegebene Schlüsselwort angeben, dass das akustische Signal an das Fahrzeug gerichtet ist.
In einigen Ausführungsformen kann das akustische Signal, und insbesondere das wenigstens eine vorgegebene Schlüsselwort, eine Anfrage und/oder Anweisung zur Ansteuerung der wenigstens einen Fahrzeugfunktion angeben oder enthalten. Beispielsweise kann das akustische Signal eine Anweisung zum Bewegen des Fahrzeugs (z.B. „Kannst Du Dich bewegen, damit ich mehr Platz zum verladen meiner Einkäufe habe?“ wenn das Fahrzeug geparkt ist) oder eine Frage (z.B. „Wieviel kostest Du?“ beim Carsharing) enthalten.
Die Prozessoreinheit 120 kann weiter eingerichtet sein, um unter Verwendung des wenigstens einen weiteren Fahrzeugsensors zu bestimmen, ob wenigstens eine dritte Relevanzbedingung bezüglich des akustischen Signals erfüllt ist, wobei die Prozessoreinheit 120 weiter eingerichtet sein kann, um die wenigstens eine Fahrzeugfunktion anzusteuern, wenn die wenigstens eine erste Relevanzbedingung, die wenigstens eine zweite Relevanzbedingung und die wenigstens eine dritte Relevanzbedingung erfüllt sind. Hier kann wenigstens eine zusätzliche Bedingung formuliert werden, die erfüllt sein muss, damit die Fahrzeugfunktion angesteuert wird. Beispielsweise kann mittels einer Kamera bestimmt werden, ob ein Fußgänger tatsächlich vor das Fahrzeug läuft. Ist dies der Fall, kann zum Beispiel eine Notbremsung eingeleitet werden. Ist dies allerdings nicht der Fall, beispielsweise weil sich der Fußgänger vom Fahrzeug wegbewegt, können keine Notfallmaßnahmen ergriffen werden.
2 zeigt schematisch ein Fahrzeug 200 mit akustischen Sensoreinheiten 110 gemäß Ausführungsformen der vorliegenden Offenbarung.
Das akustische Signal kann insbesondere von einem Objekt oder Subjekt 10 stammen, wie zum Beispiel von einem anderen Verkehrsteilnehmer und/oder einer Person außerhalb des Fahrzeugs 200. Beispielsweise kann das akustische Signal eine Sprache bzw. Gesprochenes der Person außerhalb des Fahrzeugs 200 sein.
Das Fahrzeug 200 umfasst das System gemäß den Ausführungsformen der vorliegenden Offenbarung und die wenigstens eine Fahrzeugfunktion, die basierend auf dem durch die wenigstens eine akustische Sensoreinheit erfassten akustischen Signal angesteuert wird.
Die wenigstens eine Fahrzeugfunktion kann aus der Gruppe ausgewählt sein, die wenigstens eine akustische Ausgabeeinheit für eine Audioausgabe außerhalb des Fahrzeugs 200 und eine Funktion zum automatisierten Fahren umfasst, oder die daraus besteht. Die wenigstens eine akustische Ausgabeeinheit kann zum Beispiel ein Lautsprecher sein. Vorzugsweise ist die wenigstens eine akustische Ausgabeeinheit im Außenraum des Fahrzeugs 200 anordenbar bzw. angeordnet.
In einigen Ausführungsformen umfasst das Fahrzeug 200 die Funktion zum automatisierten Fahren, die auch als Fahrassistenzfunktion oder Fahrassistenzsystem bezeichnet werden kann. Das System der Ausführungsformen der vorliegenden Offenbarung kann Signale an die Fahrassistenzfunktion ausgeben. Die Signale können die oben erläuterten Bestimmungsergebnisse der Prozessoreinheit des Systems angeben oder umfassen. Die Fahrassistenzfunktion kann das automatisierte Fahren basierend auf den vom System empfangenen Signalen durchführen.
3 zeigt schematisch ein System für ein Fahrzeug gemäß weiteren Ausführungsformen der vorliegenden Offenbarung.
Das System umfasst die wenigstens eine akustische Sensoreinheit 110, wie zum Beispiel ein Mikrofon, und wenigstens einen weiteren Fahrzeugsensor 112, wie zum Beispiel eine Kamera. Das System kann weiter eine Audioausgabeeinheit 114 umfassen, die eingerichtet ist, um eine Audioausgabe in einem Außenraum des Fahrzeugs bereitzustellen, beispielsweise um mit einer Person außerhalb des Fahrzeugs zu kommunizieren.
Das durch die wenigstens eine akustische Sensoreinheit 110 erfasste akustische Signal kann in einem Spracherkennungsmodul 132 analysiert werden, um beispielsweise Schlüsselwörter zu erkennen. Ähnlich kann ein durch den wenigstens einen weiteren Fahrzeugsensor 112 erfasstes Signal bzw. entsprechende Bilddaten in einem Bilddatenanalysemodul 134 analysiert werden, um beispielsweise die Person und/oder eine Position der Person zu erkennen.
In einem multimodalen Absichtserkennungsmodul 136 kann unter Verwendung eines Umfeldmodells 130, eines Ergebnisses der Spracherkennung im Spracherkennungsmodul 132 und Objektvektoren aus dem Bilddatenanalysemodul 134 eine Absicht des erkannten Objekts oder Subjekts, wie zum Beispiel der Person, abgeleitet werden (z.B. „die Person läuft vor das Fahrzeug“). In einem Entscheidungsmodul 138 wird basierend auf der erkannten Absicht und unter einer optionalen Verwendung eines IN-Fahrzeug-Kontextes 150 und/oder eines Backend-Kontextes 160 eine Entscheidung getroffen. Insbesondere kann entschieden werden, ob und wie die wenigstens eine Fahrzeugfunktion 140 angesteuert wird. Beispielsweise kann eine Notbremsung eingeleitet werden, wenn erkannt wird, dass eine Person vor das Fahrzeug läuft oder ein Fahrradfahrer vor das Fahrzeug fährt.
In einigen Ausführungsformen können das Umfeldmodells130 bzw. ein entsprechendes Modul und/oder das Spracherkennungsmodul 132 und/oder das Bilddatenanalysemodul 134 und/oder das multimodale Absichtserkennungsmodul 136 und/oder das Entscheidungsmodul 138 in einem gemeinsamen Software- und/oder Hardware-Modul realisiert sein, wie zum Beispiel dem Prozessormodul des erfindungsgemäßen Systems. Alternativ dazu können wenigstens einige der vorgenannten Module jeweils in getrennten Software- und/oder Hardware-Modulen realisiert sein.
Das erfindungsgemäße System kann für einen Betrieb während einer Fahrt des Fahrzeugs eingerichtet sein („dynamischer Anwendungsfall“). Ergänzend oder alternativ kann das System für einen Betrieb bei einem Stillstand bzw. im Parkzustand des Fahrzeugs eingerichtet sein („stationärer Anwendungsfall“).
Im dynamischen Anwendungsfall kann das Fahrzeug eine Funktion zum automatisierten Fahren bzw. ein Fahrassistenzsystem zum automatisierten Fahren umfassen. Insbesondere kann das Fahrzeug ein autonom fahrendes Fahrzeug sein. In einer beispielhaften Ausführungsform kann das System die folgenden Aspekte implementieren:

- Empfangen des akustischen Signals, wie zum Beispiel eines Sprachsignals;
- Bestimmen, dass es sich bei diesem Signal um ein externes Signal handelt, z.B. durch Richtmikrofone und/oder externe Mikrofone;
- Lokalisieren des externen Signals, z.B. mit den Richtmikrofonen; optional Verwendung von Video/LiDAR/etc. zur besseren Positionierung nach dem Auffinden der näherungsweisen Position;
- Bewerten des Ursprungsorts bzw. Standorts auf Relevanz, z.B. durch Vergleich des gefundenen Standorts mit dem eigenen Trajektorienpfad im Umgebungsmodell;
- Bewerten des Signals, möglicherweise nach der Verarbeitung, auf Relevanz (z.B. Schlüsselwörter, aber auch hohe Tonhöhen z.B. von einem Schrei oder Schrittgeräusche);
- Bewerten der Relevanz durch zusätzliche Mittel, wie z.B. Videoerkennung (schaut diese Person in Richtung des Fahrzeugs, ist sie in einer gefährlichen Position, etc.).

Auf Grundlage wenigstens einiger der oben genannten Aspekte kann eine Funktionsweise des Fahrzeugs angepasst werden. Zum Beispiel kann ein Nothalt durchgeführt werden, bei einem geringeren Risiko (z.B. mehr Puffer) kann ein zusätzlicher Fokus auf die Position des Audiosignals gelegt werden, eine Beantwortung von Fragen zur Bedienung („Ich sehe dich!“, „Geh weiter!“) kann erfolgen, etc.
Im stationären Anwendungsfall kann das System der vorliegenden Offenbarung beispielhaft die folgenden Aspekte implementieren:

- Empfangen eines akustischen Signals, wie zum Beispiel eines Sprachsignals;
- Bestimmen, dass es sich bei diesem Signal um ein externes Signal handelt, z.B. durch Richtmikrofone und/oder externe Mikrofone;
- optionales Lokalisieren dieses externen Signals z.B. mit Richtmikrofonen;
- Bewerten des Ursprungsorts bzw. des Standorts nach Relevanz, z.B. um zu sehen, ob das Fahrzeug jemanden blockiert;
- Bewerten des Signals, zum Beispiel nach der Verarbeitung, auf Relevanz (z.B. Schlüsselwörter, aber auch hohe Tonhöhen z.B. von einem Schrei oder Schrittgeräusche);
- Bewerten der Relevanz durch zusätzliche Mittel, wie z.B. Videoerkennung (schaut diese Person in Richtung des Fahrzeugs und/oder ist sie in einer gefährlichen Position).

Auf Grundlage wenigstens einiger der oben genannten Aspekte kann eine Funktionsweise des Fahrzeugs angepasst werden. Zum Beispiel kann das Fahrzeug unter Verwendung des Fahrassistenzsystems autonom bewegt werden. Ergänzend oder alternativ kann mittels einer Audioausgabe eine Beantwortung von Fragen der Person erfolgen („Ich habe derzeit eine Reichweite von 200 km“, „Ich bin gebucht“).
4 zeigt schematisch ein Fahrzeug 200 mit einer Funktion zum automatisierten Fahren bzw. einem Fahrassistenzsystem 300 zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung.
Beim automatisierten Fahren erfolgt die Längs- und Querführung des Fahrzeugs 200 automatisch. Das Fahrassistenzsystem 300 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 300 den Antrieb 20, das Getriebe 22, die hydraulische Betriebsbremse 24 und die Lenkung 26 über nicht dargestellte Zwischeneinheiten.
Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen einer Umfeldsensorik, die das Fahrzeugumfeld beobachtet, vom Fahrerassistenzsystem 300 entgegengenommen. Insbesondere kann das Fahrzeug wenigstens einen Umgebungssensor 12 umfassen, der zur Aufnahme von Umgebungsdaten, die das Fahrzeugumfeld angeben, eingerichtet ist. Der wenigstens eine Umgebungssensor 12 kann beispielsweise ein LiDAR-System, ein oder mehrere Radar-Systeme und/oder eine oder mehrere Kameras umfassen. Zusätzlich oder als Ersatz für einen der zuvor genannten Umgebungssensoren kann das Fahrzeug 200 das System 100 gemäß den Ausführungsformen der vorliegenden Offenbarung umfassen.
5 zeigt schematisch ein Flussdiagramm eines Verfahrens 500 für ein Fahrzeug gemäß Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 500 kann durch eine entsprechende Software implementiert werden, der durch einen Prozessor (z.B. eine CPU) ausführbar ist.
Das Verfahren 500 umfasst im Block 510 ein Bestimmen, ob ein durch wenigstens eine akustische Sensoreinheit empfangenes akustisches Signal seinen Ursprung außerhalb des Fahrzeugs hat. Wenn bestimmt wird, dass das akustische Signal seinen Ursprung außerhalb des Fahrzeugs hat, umfasst das Verfahren 500 weiter im Block 520 ein Bestimmen eines Ursprungsorts des akustischen Signals; im Block 530 ein Bestimmen, ob der Ursprungsort wenigstens eine erste Relevanzbedingung erfüllt; im Block 540 ein Bestimmen, ob ein Inhalt des akustischen Signals wenigstens eine zweite Relevanzbedingung erfüllt; und im Block 550 ein Ansteuern wenigstens einer Fahrzeugfunktion, wenn die wenigstens eine erste Relevanzbedingung und die wenigstens eine zweite Relevanzbedingung erfüllt sind.
Erfindungsgemäß wird ein akustisches Signal hinsichtlich seines Ursprungsorts und Inhalts auf Relevanz geprüft, wobei eine Fahrzeugfunktion angesteuert wird, wenn eine Relevanz des akustischen Signals erkannt wird. Beispielsweise kann ermittelt werden, dass das akustische Signal von einem telefonierenden Fußgänger direkt vor dem Fahrzeug stammt, wobei eine Notbremsung eingeleitet und/oder der Fußgänger per Audioausgabe auf die Gefahrensituation hingewiesen werden kann. Damit kann eine Umfelderfassung des Fahrzeugs verbessert werden. Insbesondere kann eine Reaktion des Fahrzeugs auf äußere Umstände beispielsweise zur Entschärfung kritischer Situationen ermöglicht werden.

Claims

System (100) für ein Fortbewegungsmittel (200), umfassend: wenigstens eine akustische Sensoreinheit (110), die eingerichtet ist, um ein akustisches Signal zu empfangen; und eine Prozessoreinheit (120), die eingerichtet ist, um: einen Ursprungsort des akustischen Signals zu bestimmen und zu bestimmen, ob der Ursprungsort wenigstens eine erste Relevanzbedingung erfüllt, wobei die wenigstens eine erste Relevanzbedingung umfasst, dass der Ursprungsort außerhalb des Fortbewegungsmittels (200) ist; zu bestimmen, ob ein Inhalt des akustischen Signals wenigstens eine zweite Relevanzbedingung erfüllt; und wenigstens eine Funktion (140) des Fortbewegungsmittels (200) anzusteuern, wenn die wenigstens eine erste Relevanzbedingung und die wenigstens eine zweite Relevanzbedingung erfüllt sind.
Das System (100) nach Anspruch 1, wobei die wenigstens eine akustische Sensoreinheit (110) ein Mikrofon, und insbesondere ein Richtmikrofon ist.
Das System (100) nach Anspruch 1 oder 2, wobei die wenigstens eine akustische Sensoreinheit (110) in einem Außenraum des Fortbewegungsmittels (200) anordenbar ist.
Das System (100) nach einem der Ansprüche 1 bis 3, wobei die Prozessoreinheit (120) eingerichtet ist, um den Ursprungsort des akustischen Signals unter Verwendung der wenigstens einen akustischen Sensoreinheit (110) und wenigstens eines weiteren Sensors (112) des Fortbewegungsmittels (200), der von der wenigstens einen akustischen Sensoreinheit (110) verschieden ist, zu bestimmen.
Das System (100) nach einem der Ansprüche 1 bis 4, wobei die Prozessoreinheit (120) eingerichtet ist, um: basierend auf einem Vergleich einer Trajektorie des Fortbewegungsmittels und des Ursprungsorts des akustischen Signals zu bestimmen, ob die wenigstens eine erste Relevanzbedingung erfüllt ist; und/oder zu ermitteln, ob das akustische Signal wenigstens ein vorgegebenes Schlüsselwort enthält, und um zu bestimmen, dass die wenigstens eine zweite Relevanzbedingung erfüllt ist, wenn das akustische Signal das wenigstens eine vorgegebene Schlüsselwort enthält.
Das System (100) nach einem der Ansprüche 1 bis 5, wobei die Prozessoreinheit (120) eingerichtet ist, um unter Verwendung wenigstens eines weiteren Sensors (112) des Fortbewegungsmittels (200) zu bestimmen, ob wenigstens eine dritte Relevanzbedingung bezüglich des akustischen Signals erfüllt ist, wobei die Prozessoreinheit (120) weiter eingerichtet ist, um die wenigstens eine Funktion (140) des Fortbewegungsmittels (200) anzusteuern, wenn die wenigstens eine erste Relevanzbedingung, die wenigstens eine zweite Relevanzbedingung und die wenigstens eine dritte Relevanzbedingung erfüllt sind.
Das System (100) nach einem der Ansprüche 1 bis 6, wobei die Prozessoreinheit (120) für eine Spracherkennung eingerichtet ist.
Das System (100) nach einem der Ansprüche 1 bis 7, wobei das System (100) eingerichtet ist, um Informationen bezüglich des Fortbewegungsmittels (200) und/oder Umgebungsinformationen bei einer externen Einheit anzufragen, und wobei die Prozessoreinheit (120) weiter eingerichtet ist, um die wenigstens eine Funktion (140) des Fortbewegungsmittels (200) derart anzusteuern, dass die von der externen Einheit erhaltenen Informationen bezüglich des Fortbewegungsmittels und/oder die Umgebungsinformationen durch die wenigstens eine Funktion (140) des Fortbewegungsmittels (200) ausgegeben werden.
Fortbewegungsmittel (200), insbesondere ein Fahrzeug, umfassend das System (100) nach einem der Ansprüche 1 bis 8 und die wenigstens eine Funktion (140).
Das Fortbewegungsmittel (200) nach Anspruch 9, wobei die wenigstens eine Funktion (140) aus der Gruppe ausgewählt ist, die aus wenigstens einer akustischen Ausgabeeinheit (114) für eine Audioausgabe außerhalb des Fortbewegungsmittels (200), einer Funktion zum automatisierten Fahren und einer Schließfunktion des Fortbewegungsmittels besteht.
Das Fortbewegungsmittel (200) nach Anspruch 9 oder 10, wobei die wenigstens eine Funktion (140) des Fortbewegungsmittels (200) eingerichtet ist, um Informationen bezüglich des Fortbewegungsmittels und/oder Umgebungsinformationen bereitzustellen.
Verfahren (500) für ein Fortbewegungsmittel, umfassend: Bestimmen (530), ob ein Ursprungsort eines durch wenigstens eine akustische Sensoreinheit empfangenen akustischen Signals wenigstens eine erste Relevanzbedingung erfüllt, wobei die wenigstens eine erste Relevanzbedingung umfasst, dass der Ursprungsort außerhalb des Fortbewegungsmittels ist; Bestimmen (540), ob ein Inhalt des akustischen Signals wenigstens eine zweite Relevanzbedingung erfüllt; und Ansteuern (550) wenigstens einer Fahrzeugfunktion, wenn die wenigstens eine erste Relevanzbedingung und die wenigstens eine zweite Relevanzbedingung erfüllt sind.
Speichermedium, umfassend ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren (500) gemäß Anspruch 12 auszuführen.