DE102020126434A1

DE102020126434A1 - Fahrsystem zum automatisierten fahren mit akustischer informationsausgabe und einem mikrofon, entsprechendes verfahren und entsprechende software

Info

Publication number: DE102020126434A1
Application number: DE102020126434.8A
Authority: DE
Inventors: Kilian Dettlaff; Florian Haefner; Jan-Mark Kunberger
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-10-08
Filing date: 2020-10-08
Publication date: 2022-04-14

Abstract

Ein Aspekt der Erfindung betrifft ein Fahrsystem mit einer Fahrfunktion zum automatisierten Fahren für ein Kraftfahrzeug, welches eine akustische Informationsausgabeeinrichtung zur akustischen Informationsausgabe an den Benutzer und ein Mikrofon zur Entgegennahme von akustischen Signalen umfasst. Das Fahrsystem ist eingerichtet,- ein mittels der akustischen Informationsausgabeeinrichtung ausgegebenes akustisches Signal über das Mikrofon entgegenzunehmen,- anhand des über das Mikrofon entgegengenommenen Signals festzustellen, ob ein Informationsausgabe-Fehler vorliegt, und- bei Feststellen des Vorliegens eines Informationsausgabe-Fehlers eine Schutzreaktion durchzuführen.

Description

Die Erfindung betrifft ein Fahrsystem mit einer Fahrfunktion zum automatisierten Fahren für ein Kraftfahrzeug.
Unter dem Begriff „automatisiertes Fahren“ wird im Rahmen des Dokuments ein Fahren mit automatisierter Längs- und/oder Querführung verstanden. Beim automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade mit zunehmendem Automatisierungsgrad sind ein assistiertes, teilautomatisiertes, hochautomatisiertes, vollautomatisiertes und autonomes Fahren. Die vorstehend genannten fünf Automatisierungsgrade entsprechen den SAE-Level 1 bis 5 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beim assistierten Fahren (SAE-Level 1) führt das System die Längs- oder Querführung in bestimmten Fahrsituationen durch. Beim teilautomatisierten Fahren (SAE-Level 2) übernimmt das System die Längs- und Querführung in bestimmten Fahrsituationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (SAE-Level 3) übernimmt das System die Längs- und Querführung in bestimmten Fahrsituationen, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung auf Anforderung durch das System zu übernehmen. Beim vollautomatisierten Fahren (SAE-Level 4) übernimmt das System die Fahrzeugführung in bestimmten Fahrsituationen, selbst wenn der Fahrer auf eine Anforderung zum Eingreifen nicht reagiert, so dass der Fahrer als Rückfallebene entfällt. Beim autonomen Fahren (SAE-Level 5) können vom System alle Aspekte der dynamischen Fahraufgabe unter jeder Fahrbahn- und Umgebungsbedingung durchgeführt werden, welche auch von einem menschlichen Fahrer beherrscht werden.
Fahrsysteme mit zumindest einer Funktion zum automatisierten Fahren weisen im Allgemeinen eine Benutzerschnittstelle auf, auch als HMI (Human Machine Interface) bezeichnet, um Information an den Fahrer auszugeben und Bedieneingaben des Fahrers entgegenzunehmen.
Zur Informationsausgabe können verschiedene optische, akustische und haptische Signale verwendet werden. Per optischem Signal ausgegebene Information (beispielsweise eine Warn- oder Zustandsinformation) kann dabei auch zusätzlich per akustischem Signal ausgegeben werden, z. B. in Form eines Gong-Signals. Da der Fahrer bei höheren Automatisierungsstufen ab SAE-Level 3 sich anderen Beschäftigungen mit Blickabwendung vom Verkehrsgeschehen zuwenden darf, ist ein akustisches Signal eine sehr wirksame Methode, um dem Fahrer im Bedarfsfall wieder in die Fahraufgabe einzubinden, beispielsweise im Fall einer akustischen Übernahme-Aufforderung (Take Over Request-TOR).
Bei akustischen Signalen zur Informationsausgabe kann es sich um sicherheitsrelevante Signale handeln: Beispielsweise muss im Fall eines akustischen Signals, welches dem Fahrer signalisiert, dass die automatisierte Fahrfunktion aktiviert wurde, gewährleistet sein, dass dieses Signal nicht fehlerhaft ohne Aktivierung der Fahrfunktion ausgegeben wurde. Im Fall einer vom System angeforderten Übernahme-Aufforderung oder eines angeforderten Deaktivierungssignals zur Signalisierung der Deaktivierung der Fahrfunktion muss gewährleistet sein, dass das akustische Signal auch tatsächlich ausgegeben wird. Auch die Ausgabe einer Hands-On-Aufforderung (d. h. die Aufforderung an den Fahrer, das Lenkrad zu fassen) oder einer Aufmerksamkeitsaufforderung (d. h. die Aufforderung an den Fahrer aufmerksam zu sein, beispielsweise durch Auswertung des Fahrer-Kamerabildes) sind im Allgemeinen sicherheitsrelevant.
Für automatisierte Fahrfunktionen bestehen Sicherheitsziele in Bezug auf die Aktivierung und Deaktivierung der Funktion. Ein beispielhaftes Sicherheitsziel ist sinngemäß, dass die Fahrfunktion nicht fälschlicherweise einen aktiven Status ausgeben darf, wenn die Fahrfunktion nicht aktiv ist. Im Allgemeinen wird der Funktionsstatus der Fahrfunktion über einen optischen, akustischen und/oder haptischen Ausgabekanal ausgegeben. Um das Sicherheitsziel zu erfüllen, ist es im Allgemeinen notwendig, die Ausgabekanäle zum Fahrer betreffend Aktivierung und Deaktivierung der Fahrfunktion entsprechend abzusichern. Um eine entsprechend hohe Integrität (d. h. Fehlerfreiheit) für akustische Signale zu erreichen, muss die Wirkkette für die Erzeugung der akustischen Signale abgesichert werden. Je nach Grad der Absicherung kann zwischen verschiedenen ASIL-Einstufungen A - D (ASI L - Automotive Safety Integrity Level) oder QM (keine besonderen Sicherheitsanforderungen) unterschieden werden. Um eine geforderte ASIL-Einstufung zu erreichen, müssen die an der akustischen Ausgabe beteiligen Hardware- und Software-Komponenten entsprechend der ASIL-Vorgaben entwickelt und abgesichert werden. Die Entwicklung und Absicherung resultiert je nach ASIL-Einstufung in deutlich höheren Kosten und Entwicklungsaufwände für die beteiligten Hardware- und Software-Komponenten.
Es ist bei heutigen Kraftwagen bekannt, ein fahrzeugseitiges Mikrofon für den Fahrgastinnraum vorzusehen, über das der Fahrer beispielsweise im Rahmen einer Freisprechanlage telefonieren kann und/oder das Fahrzeug im Sinne einer Sprachbedienung bedienen kann.
Es ist Aufgabe der Erfindung, die akustische Informationsausgabe einer Fahrfunktion zum automatisierten Fahren kosten- und aufwandsgünstig abzusichern.
Die Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
Ein erster Aspekt der Erfindung betrifft ein Fahrsystem mit einer Fahrfunktion zum automatisierten Fahren für ein Kraftfahrzeug, insbesondere einen Personenkraftwagen. Bei der Fahrfunktion handelt es sich beispielsweise um eine Fahrfunktion zum hochautomatisierten Fahren gemäß SAE-Level 3 auf Autobahnen. Es wäre aber auch denkbar, dass es sich bei der Fahrfunktion um eine Park- und/oder Rangierfunktion gemäß SAE-Level 2 oder SAE-Level 3 handelt, insbesondere um eine per mobilem Kommunikationsgerät (z. B. Smartphone) fernbediente Parkfunktion, wobei eine akustische Informationsausgabe im letztgenannten Fall über das mobile Kommunikationsgerät erfolgt.
Ferner umfasst das Fahrsystem eine akustische Informationsausgabeeinrichtung zur akustischen Informationsausgabe an den Benutzer. Die akustische Informationsausgabeeinrichtung umfasst im Allgemeinen zumindest einen Lautsprecher.
Ferner ist ein Mikrofon zur Entgegennahme von akustischen Signalen vorhanden. Hierbei kann es sich um ein ohnehin verbautes Mikrofon oder um ein für den erfindungsgemäßen Zweck eingebautes Mikrofon handeln. Zur Verbesserung der Signalerfassung können auch zwei oder mehr Mikrofone an verschiedenen Positionen verwendet werden.
Beispielsweise erfolgt in einem Ausführungsbeispiel des erfindungsgemäßen Fahrsystems die akustischen Informationsausgabe an den Benutzer im Fahrzeuginnenraum mittels der fahrzeugseitigen akustischen Informationsausgabeeinrichtung und das fahrzeugseitiges Mikrofon dient zur Entgegennahme von akustischen Signalen im Fahrzeuginnenraum.
In einem dazu alternativen Ausführungsbeispiel der Erfindung ist die Fahrfunktion eine per mobilem Kommunikationsgerät, insbesondere Smartphone, fernbedienbare Parkfunktion zum automatisierten Parken, wobei die akustische Informationsausgabe an den Benutzer mittels eines Lautsprechers des mobilen Kommunikationsgeräts erfolgt und als Mikrofon das Mikrofon des mobilen Kommunikationsgeräts dient.
Das Fahrsystem ist eingerichtet, verschiedene nachfolgend beschriebene Tätigkeiten durchzuführen. Dies erfolgt typischerweise mittels einer oder mehrerer elektronischer Steuergeräte und gegebenenfalls damit verbundener Sensoren und Aktoren. Jedes der ein oder mehreren Steuergeräte kann einen oder mehrere programmierbarer Prozessoren umfassen, die über ein oder mehrere Software-Programme programmgesteuert in erfindungsgemäßer Weise arbeiten.
Das Fahrsystem ist eingerichtet, ein mittels der akustischen Informationsausgabeeinrichtung ausgegebenes akustisches Signal über das Mikrofon entgegenzunehmen. Das mittels der akustischen Informationsausgabeeinrichtung ausgegebene akustische Signal ist beispielsweise ein nonverbales akustisches Signal, insbesondere ein Gongsignal, oder ein Sprachsignal, welches beispielsweise angibt, dass die Fahrfunktion aktiviert wurde oder deaktiviert wurde.
Ferner ist das Fahrsystem eingerichtet, anhand des über das Mikrofon entgegengenommenen Signals feststellen, ob ein Informationsausgabe-Fehler vorliegt.
Das entgegengenommene Signal kann beispielsweise unter Verwendung von Zustandsinformation betreffend den Zustand der Fahrfunktion verifiziert werden (oder mit anderen Worten plausibilisiert werden), um festzustellen, ob ein Informationsausgabe-Fehler vorliegt.
Hierzu kann das entgegengenommene akustische Signal in ein entsprechendes elektrisches digitales Signal gewandelt werden und durch digitale Signalverarbeitung Information über das entgegengenommen Signal ermittelt werden, insbesondere das Signal erkannt werden (um welches Signal aus einer Menge möglicher Signale es sich bei dem entgegengenommenen Signal handelt) und/oder die Bedeutung des Signals festgestellt werden. Es kann beispielsweise festgestellt werden, ob es sich um ein die Aktivierung der Fahrfunktion zum automatisierten Fahren signalisierendes Signal oder ein die Deaktivierung der Fahrfunktion signalisierendes Signal handelt.
Sofern das Signal erkannt wurde / die Bedeutung des empfangenen Signals festgestellt wurde, kann unter Verwendung von Zustandsinformation betreffend den Zustand der Fahrfunktion (z. B. ob die Fahrfunktion aktiviert oder deaktiviert wurde) festgestellt werden, ob das erkannte Signal / die Bedeutung des empfangenen Signals (z. B. Bedeutung Fahrfunktion aktiviert) zu dem Zustand der Fahrfunktion (z. B. Zustand Fahrfunktion aktiviert) passt oder nicht. Sofern das erkannte Signal / der Bedeutungsgehalt des empfangenen Signals dem Zustand der Fahrfunktion widerspricht, kann hieran ein Informationsausgabe-Fehler festgestellt werden.
Alternativ oder zusätzlich zur vorstehend beschriebenen Verwendung von Zustandsinformation betreffend den Zustand der Fahrfunktion kann Information betreffend eine angeforderte Informationsausgabe verwendet werden, um das entgegengenommene Signal zu verifizieren (oder mit anderen Worten zu plausibilisieren). Wenn beispielsweise das System eine Informationsausgabe an den Nutzer angefordert hat, die eine Aktivierung der Fahrfunktion signalisiert, kann geprüft werden, ob das erkannte Signal / die Bedeutung des entgegengenommenen Signals dieser Anforderung entspricht oder nicht, wobei im letztgenannten Fall ein Informationsausgabe-Fehler vorliegt.
Es wäre aber auch denkbar, als Information betreffend die angeforderte Informationsausgabe das erwartete Sollsignal zu verwendet, um dieses Soll-Signal mit dem empfangenen Ist-Signal zu vergleichen.
Wenn ein Informationsausgabe-Fehler festgestellt wurde, wird eine entsprechende Schutzreaktion durchgeführt. Hierzu sei angemerkt, dass nicht bei sämtlichen festgestellten Informationsausgabe-Fehlern zwingend eine Schutzreaktion durchgeführt werden muss, sondern beispielsweise bei nicht sicherheitsrelevanten Informationsausgabe-Fehlern eine Schutzreaktion unterbleibt oder sich die Schutzreaktion lediglich in der Protokollierung des Informationsausgabe-Fehlers in einem Fehlerspeicher erschöpft.
Das erfindungsgemäße Verfahren bietet den Vorteil, dass die akustische Informationsausgabe einer Fahrfunktion zum automatisierten Fahren kosten- und aufwandsgünstig abgesichert werden kann. Durch die Erfassung und Auswertung des ausgesandten akustischen Informationssignals kann die akustische Informationsausgabe abgesichert werden; hierdurch kann die Sicherheit gegenüber einem System ohne Nutzung der Erfindung erhöht werden. Ferner ist es möglich, bei vorgegebenem Absicherungsziel den Aufwand und die Kosten bei der Absicherung der Wirkkette zur akustischen Informationsausgabe zu reduzieren, wenn für die Absicherung die Erfassung und Auswertung des ausgesandten akustischen Informationssignals verwendet wird.
Bei einem Fahrsystem, welches eine akustische Sprachausgabe an den Fahrer und eine akustische Spracheingabe seitens des Fahrers erlaubt, funktionieren beide Richtungen des akustischen Sprachinterface zwischen Fahrer und Fahrzeug, nämlich die akustische Informationsausgabe vom Fahrzeug an den Fahrer über einen Lautsprecher und die Spracheingabe vom Fahrer an Fahrzeug über das Mikrofon, nach einem ähnlichen physikalischen Prinzip. Wenn für jede der beiden Richtungen ASIL-Anforderungen zur Absicherung bestehen, bietet die Erfindung die Möglichkeit, beispielsweise lediglich einen der beiden Richtungen klassisch nach einer ASIL-Einstufung mit entsprechend aufwändiger Hard- und/oder Software abzusichern und die andere Richtung, die nicht mit entsprechend aufwändiger Hard- und/oder Software gemäß ASIL-Einstufung abgesichert ist, damit zu überwachen, so dass im Ergebnis auch die andere Richtung damit ausreichend abgesichert werden kann. Die Erfindung nach Anspruch 1 bietet die Möglichkeit, die Wirkkette einer akustischen Sprachausgabe vom Fahrzeug an den Fahrer durch die Wirkkette einer akustischen Spracheingabe vom Fahrer an das Fahrzeug abzusichern. Dies ist nicht auf eine akustische Sprachausgabe beschränkt, sondern kann auf beliebige akustische Signale, z. B. Gongsignale, zur Informationsausgabe an den Fahrer angewendet werden.
Durch die in Anspruch 1 beschriebene Erfindung kann also beispielsweise ein Teil der Sicherheitslast von der Wirkkette der akustischen Informationsausgabe auf eine Plausibilisierung mittels Mikrofon und Signalauswertung gelegt werden (Dekomposition), so dass je nach Implementierung beispielsweise

- ein fehlerhaft ausgegebenes akustisches Signal erkannt werden kann (wenn keine akustische Ausgabe erforderlich ist oder die Ausgabe eines anderen akustischen Signals erforderlich wäre) und/oder
- das Nichtausgeben eines erforderlichen akustischen Signals erkannt werden kann.

Dadurch kann die klassische Wirkkette für die Ausgabe des akustischen Signals mit einer geringeren Integrität, d. h. mit geringeren Anforderungen an die Absicherung, umgesetzt werden. Damit einhergehend können Kosten und Aufwände eingespart werden; man kann hier dann gegebenenfalls auch auf bereits entwickelte Standardsysteme zurückgreifen.
Beispielsweise umfasst das Fahrsystem ein erstes Steuergerät, in dem die eigentliche Fahrfunktion umgesetzt ist, und ein über einen Informationsbus mit dem ersten Steuergerät verbundenes zweites Steuergerät, wobei das zweite Steuergerät zur Ansteuerung zumindest eines Lautsprechers und zur Entgegennahme des erfassten Signals des Mikrofons dient. Das erste Steuergerät fordert beispielsweise über ein entsprechendes Signal auf dem Fahrzeugbus eine akustische Ausgabe an, welche das zweite Steuergerät umsetzt. Das erfasste, digitalisierte Signal oder - wenn eine Signalauswertung zumindest schon Teilweise in dem zweiten Steuergerät erfolgt - Information betreffend das über das Mikrofon erfasste Signal, z. B. die Bedeutung des Signals, werden beispielsweise über den Fahrzeugbus wieder an das erste Steuergerät gesandt, welches im Fehlerfall dann eine Schutzreaktion auslösen kann.
Es sind verschiedene Formen von Informationsausgabe-Fehlern denkbar, beispielsweise:

1. Informationsausgabe-Fehler, bei denen eine falsche Ausgabe eines akustischen Informationssignals erfolgt: Dies bedeutet, dass die tatsächlich soeben erfolgte oder gerade erfolgende Ausgabe des akustischen Informationssignals hätte nicht erfolgen dürfen.
1. a) Das ist beispielsweise dann der Fall, wenn ein akustisches Informationssignal ausgegeben wird, ohne dass die Ausgabe eines akustischen Informationssignals erforderlich ist, beispielsweise weil die Fahrfunktion eine Ausgabe eines akustischen Informationssignals überhaupt nicht anfordert hat.
2. b) Eine falsche Ausgabe eines akustischen Informationssignals wäre auch denkbar im Fall der Ausgabe des falschen akustischen Informationssignals (z. B. ein akustisches Signal zur Signalisierung der Aktivierung der Fahrfunktion), d. h. wenn die Ausgabe eines anderen akustischen Informationssignals (z. B. ein akustisches Signal zur Signalisierung der Deaktivierung der Fahrfunktion) erforderlich ist, beispielweise weil die Fahrfunktion die Ausgabe eines anderen akustischen Informationssignals angefordert hat.
2. Informationsausgabe-Fehler, bei denen die Ausgabe eines akustischen Informationssignals unterbleibt, obwohl die Ausgabe des akustischen Informationssignals erforderlich ist, beispielsweise weil die Fahrfunktion die Ausgabe des akustischen Informationssignals anfordert hat und dann entgegen der Anforderung die Ausgabe nicht stattfindet.
3. Informationsausgabe-Fehler, bei denen die Ausgabe des akustischen Informationssignals im Vergleich zu einem fehlerfreien System in falscher Weise erfolgt.
1. a. Beispielsweise erfolgt die Ausgabe des akustischen Informationssignals fehlerhaft in zu geringer Lautstärke.
2. b. Beispielsweise erfolgt die Ausgabe des akustischen Informationssignals (z. B. bei einem Lautsprechersystem mit an verschiedenen Orten befindlichen Lautsprechern) fehlerhaft aus Sicht des Fahrers aus der falschen Richtung (z. B. statt von links von rechts), sofern die Richtung beispielsweise einen Informationsgehalt hat. Für die Auswertung eines akustischen Mehrkanal-Signals mit Richtungsinformation sollte ein Mikrofon verwendet werden, welches Richtungsinformation auflösen kann.

Es kann vorgesehen sein, dass das erfindungsgemäße Fahrsystem je nach Implementierung eingerichtet ist, eine, mehrere oder sämtliche der unter 1., 2. und 3. genannten Formen und/oder Subformen unter 1.a), 1.b), 3.a) und 3.b) von Informationsausgabe-Fehlern festzustellen.
Zur Feststellung eines Informationsausgabe-Fehler (beispielsweise unter 2. oben) kann im Fall einer fahrfunktionsseitige Anforderung einer akustischen Informationsausgabe anhand des über das Mikrofon entgegengenommenen Signals im Rahmen einer ersten Prüfung festgestellt werden, ob die angeforderte akustische Informationsausgabe danach tatsächlich erfolgt ist, insbesondere in einem vorgegebenen Zeitfenster (z. B. innerhalb 500 ms seit Anforderung der Informationsausgabe) oder Wegstreckenfenster beispielsweise, beispielsweise beginnend ab dem Anforderungszeitpunkt, erfolgt ist. Vorzugsweise ist das Fenster nicht unbedingt konstant ist, sondern variabel und hängt beispielsweise von der Sicherheitsrelevanz (d. h. Kritikalität) des jeweiligen Signals ab, wobei die Fensterlänge mit zunehmender Sicherheitsrelevanz abnimmt. Beispielsweise kann eine Hands-On-Aufforderung an den Fahrer eine größere Fensterlänge als ein TOR haben. Die vorstehend beschriebene erste Prüfung kann beispielsweise in Reaktion auf eine fahrfunktionsseitige Anforderung einer akustischen Informationsausgabe durchgeführt werden, d. h. die erste Prüfung wird dann dadurch getriggert, dass die Fahrfunktion die Ausgabe einer akustischen Information anfordert. Die Fahrfunktion hat beispielsweise die Ausgabe eines akustischen Signals angefordert und wartet dann auf die Bestätigung, dass das Signal tatsächlich ausgeben wurde (insbesondere innerhalb des vorgenannten Fensters). Wenn beispielsweise die Bestätigung nicht erfolgt, wird dies als Informationsausgabe-Fehler gewertet und eine entsprechende Schutzreaktion ausgelöst.
Zur Feststellung eines Informationsausgabe-Fehler (beispielsweise unter 1. oben) kann das Fahrsystem alternativ oder zusätzlich eingerichtet sein, im Fall der Entgegennahme eines akustischen Signals im Rahmen einer zweiten Prüfung festzustellen, ob das entgegengenommene akustische Signal auf einer systemseitigen Anforderung einer akustischen Informationsausgabe beruht, insbesondere auf einer früheren systemseitigen Anforderung, die in einem vorgegebenen vorherigen Zeitfenster (z. B. 500 ms) oder Wegstreckenfenster, z. B. ab Erfassung des akustischen Signals zeitlich oder streckenbezogen zurückreichend, erfolgt ist. Die vorstehend beschriebene zweite Prüfung kann beispielsweise in Reaktion auf die Entgegennahme eines akustischen Signals durchgeführt werden, d. h. die zweite Prüfung wird dann dadurch getriggert, dass ein akustisches Signal entgegengenommen wird. Wenn festgestellt wird, dass das entgegengenommene Signal nicht auf einer früheren systemseitigen Anforderung in einem vorherigen Zeitfenster von beispielsweise 500 ms beruht, kann dies als Informationsausgabe-Fehler gewertet werden und eine entsprechende Reaktion ausgelöst werden.
Als Schutzreaktion im Fall eines Informationsausgabe-Fehlers kann beispielsweise ein Hinweis an den Fahrer ausgegeben werden. Bei dem Hinweis kann es sich beispielsweise um eine Übernahme-Aufforderung handeln, insbesondere wenn vorher beispielsweise durch eine fehlerhafte akustische Informationsausgabe dem Fahrer ein automatisierter Fahrbetrieb signalisiert wurde.
Da der Informationsausgabe-Fehler die akustische Informationsausgabe betrifft, wird vorzugsweise ein nicht-akustischer Hinweis, insbesondere eine nicht-akustische Übernahme-Aufforderung, an den Fahrer ausgegeben, beispielsweise eine optische Übernahme-Aufforderung (z. B. Anzeige einer Übernahme-Aufforderung auf einem Cockpit-Bildschirm oder Signalisierung einer Übernahme-Aufforderung über ein geeignetes Leuchtsignal eines beleuchtbaren Lenkradkranzes).
Im Fall eines Informationsausgabe-Fehlers betreffend eine Informationsausgabe per Sprachsignal wird vorzugsweise eine nonverbale Übernahme-Aufforderung ausgegeben, insbesondere eine nicht-akustische Übernahme-Aufforderung (s. oben).
Als Schutzreaktion kann beispielsweise im Fall einer nicht erfolgten Ausgabe eines angeforderten akustischen Signals das vorher angeforderte akustische Signal nochmal zur Ausgabe angefordert werden und/oder die Information des angeforderten akustischen Signals über einen anderen Informationskanal ausgegeben werden (z. B. optisch, haptisch oder - im Fall eines vorher angeforderten Sprachsignals - als nonverbales akustisches Signal).
Als Schutzreaktion kann beispielsweise auch eine Funktionsdegradation erfolgen, bei der Fahrfunktion teilweise oder vollständig abgeschaltet wird. Die Fahrfunktion kann hierbei beispielsweise permanent abgeschaltet sein und nicht für den Fahrer aktivierbar sein, bis beispielsweise durch eine Systemprüfung festgestellt wird, dass die akustische Warnfunktion wieder fehlerfrei zur Verfügung steht.
Das erfindungsgemäße Konzept kann beispielsweise fortlaufend während des Betriebs des Kraftfahrzeugs ablaufen. Zusätzlich oder alternativ kann das Konzept zur Überprüfung des Fahrsystems, insbesondere bei Start des Kraftfahrzeugs oder bei Start des Fahrsystems, verwendet werden, indem lediglich zu Überprüfungszwecken über die akustische Informationsausgabeeinrichtung ein akustisches Signal ausgegeben wird, und die Ausgabe des akustischen Signals durch Verwendung des Mikrofons geprüft wird.
Die Erfindung erlaubt es sicherzustellen, dass ein sicherheitsrelevantes akustisches Signal abgegeben wurde, indem eine Plausibilisierung des Signals über das ohnehin vorhandene oder ein zu diesem Zweck verbautes Mikrofon erfolgt. Dabei kann das Mikrofon das sicherheitsrelevante akustische Signal beispielsweise im Fahrgastinnenraum erfassen und beispielsweise mit Information betreffend die vorherige Signalabgabe über die Wirkkette der akustischen Informationsausgabe plausibilisieren. Es kann vorgesehen sein, dass - wenn die Wirkkette der akustischen Informationsausgabe ein Signal abgegeben hat - dieses Signal nur dann als wirksames Signal gewertet wird, wenn dieses auch plausibilisiert werden konnte. Wenn das akustische Signal nicht plausibilisiert werden kann, wurde kein akustisches Signal angefordert und es erfolgt eine Schutzreaktion, beispielsweise die Deaktivierung der betroffenen ein oder mehreren Fahrfunktionen, z. B. bis zur Prüfung in der Werkstatt oder bis zu einer positiven Überprüfung bei Start des Kraftfahrzeugs (s. oben).
Bei einer beispielhaften Implementierung der Erfindung für eine akustische Informationsausgabe mittels eines Sprachsignals, wird lediglich für die Spracheingabe über Mikrofon eine klassische Absicherung gemäß ASIL-Einstufung (z. B. ASIL B oder gar ASIL D) und nicht für die Sprachausgabe vorgesehen. Wenn es zu einer fehlerhaften Sprachausgabe kommt, so kann diese fehlerhafte Sprachausgabe mit diesem hohen Absicherungsgrad (z. B. ASIL B bzw. D) erfasst werden. Die Fahrfunktion kann auf eine erkannte fehlerhafte Sprachausgabe reagieren und den Fahrer beispielsweise im Fall der Ausgabe eines falschen, die Aktivierung (oder das Aktivsein) der Fahrfunktion signalisierendes Signal durch ein Ausgabesignal auf z. B. den manuellen Fahrbetrieb aufmerksam machen, beispielsweise durch ein Übernahme-Aufforderung. Zur Ausgabe dieses Signals kann beispielsweise ein Ausgabekanal verwendet werden, der entsprechend abgesichert ist (beispielsweise ein optisches Ausgabesignal in Form einer Anzeige auf einem Bildschirm oder ein Leuchtsignal am Lenkradkranz).
Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zum automatisierten Fahren eines Kraftfahrzeugs, bei dem eine akustische Informationsausgabe an den Benutzer erfolgt und ein Mikrofon zur Entgegennahme von akustischen Signale verwendet wird. Das Verfahren weist die folgenden Schritte auf:

- über das Mikrofon, Entgegennehmen eines im Rahmen der akustischen Informationsausgabe ausgegebenen akustischen Signals;
- anhand des über das Mikrofon entgegengenommenen akustischen Signals, Feststellen, ob ein Informationsausgabe-Fehler vorliegt; und
- bei Feststellen des Vorliegens eines Informationsausgabe-Fehlers, Durchführen einer Schutzreaktion.

Die vorstehenden Ausführungen zum erfindungsgemäßen System nach dem ersten Aspekt der Erfindung gelten in entsprechender Weise auch für das erfindungsgemäße Verfahren nach dem zweiten Aspekt der Erfindung. An dieser Stelle und in den Patentansprüchen nicht explizit beschriebene vorteilhafte Ausführungsbeispiele des erfindungsgemäßen Verfahrens entsprechen den vorstehend beschriebenen oder in den Patentansprüchen beschriebenen vorteilhaften Ausführungsbeispielen des erfindungsgemäßen Systems.
Ein dritter Aspekt der Erfindung betrifft eine Software mit Programmcode zur Durchführung des Verfahrens nach dem zweiten Aspekt der Erfindung, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen, beispielsweise auf dem ersten und/oder zweiten vorstehend genannten Steuergerät, abläuft, die vorzugsweise mit dem vorstehend genannten Mikrofon und der vorstehend genannten akustischen Informationsausgabeeinrichtung gekoppelt sind.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels unter Zuhilfenahme der beigefügten Zeichnungen beschrieben. In diesen zeigen:

1 ein Ausführungsbeispiel für ein erfindungsgemäßes Fahrsystem;
2 ein erstes Ablaufdiagramm zur Funktionsweise des Ausführungsbeispiels; und
3 ein zweites Ablaufdiagramm zur Funktionsweise des Ausführungsbeispiels.

1 zeigt ein Ausführungsbeispiel für ein erfindungsgemäßes Fahrsystem. Das Fahrsystem umfasst beispielsweise ein Steuergerät AF-SG, in dem die Fahrfunktion umgesetzt ist und welches zur automatisierten Fahrzeugführung Umfeldinformation seitens einer Umfeldsensorik US (z. B. Kamerasensorik, Radarsensorik, Lidarsensorik und/oder Ultraschallsensorik) erhält und eine Aktorik FA zur Fahrzeugführung (z. B. Aktorik für den Fahrzeugantrieb, die Fahrzeugbremsen und für die Fahrzeuglenkung) in geeigneter Weise angesteuert. Ferner ist ein über einen Informationsbus mit dem Steuergerät AF-SG verbundenes Steuergerät EA-SG vorgesehen (alternativ können selbstverständlich auch die Funktionen des Steuergeräts AF-SG und EA-SG in einem gemeinsamen Steuergerät integriert sein). Das Steuergerät AF-SG dient dazu, Informationsausgabeeinrichtungen A der Benutzerschnittstelle anzusteuern und Signale von Informationseingabeeinrichtungen E der Benutzerschnittstelle entgegenzunehmen, und damit auch den zumindest einen Lautsprecher LS anzusteuern und das Ausgangssignal eines Mikrofons M entgegenzunehmen. Das Steuergerät AF-SG fordert beispielsweise über ein geeignetes Signal auf dem Fahrzeugbus eine akustische Ausgabe an (z. B. ein Ausgabesignal, welche die Aktivierung der Fahrfunktion signalisiert, z. B. als Sprach- oder Gongsignal). Das Steuergerät EA-SG setzt die Anforderung durch Erzeugung eines geeigneten elektrischen Signals zur Ansteuerung des Lautsprechers LS um. Das über das Mikrofon M erfasste Signal oder Information betreffend das erfasste Signal werden beispielsweise über den Fahrzeugbus von dem EA-SG wieder an das Steuergerät AF-SG gesandt, welches im Fehlerfall dann eine Schutzreaktion auslösen kann.
Bei der akustischen Ausgabe kann es sich um ein Sprachsignal oder ein beliebiges anderes akustisches Signal (z. B. Gongsignal) handeln.
In 2 ist ein erstes Ablaufdiagramm zur Funktionsweise des Ausführungsbeispiels dargestellt. Die einzelnen Verfahrensschritte laufen im Wesentlichen beispielsweise im Steuergerät AF-SG ab, wobei das Steuergerät AF-SG von dem Steuergerät EA-SG eine digitale Repräsentation des erfassten akustischen Sprachsignals zur weiteren Auswertung oder bereits eine in dem Steuergerät EA-SG ermittelte Bedeutung des erfassten akustischen Sprachsignals empfängt. Das Ablaufdiagramm betrifft die Bestätigung einer seitens der Fahrfunktion angeforderten akustischen Ausgabe; die im Ablaufdiagramm dargestellte durchgeführte Prüfung wird durch eine fahrfunktionsseitige Anforderung einer akustischen Informationsausgabe getriggert. Daher wird der Abfrage 100 zunächst abgefragt, ob die Fahrfunktion eine akustische Informationsausgabe anfordert (z. B. akustische Ausgabe, dass die Fahrfunktion aktiviert wurde). Die Anforderung erfolgt beispielsweise dann, wenn das die Fahrfunktion umfassende Steuergerät AF-SG ein entsprechendes Anforderungssignal an das Steuergerät EA-SG ausgibt. Wenn die Fahrfunktion eine akustische Informationsausgabe anfordert, wird der Zeitpunkt der Informationsausgabe und vorzugsweise auch die Information über die angeforderte Informationsausgabe (insbesondere welche Ausgabe wurde angefordert) gespeichert (nicht dargestellt).
Es wird für den Fall, dass eine Anforderung zur akustischen Informationsausgabe vorliegt, in der Abfrage 110 geprüft, ob innerhalb eines vorgegebenen Zeitfensters (z. B. 500 ms) über das Mikrofon M ein akustisches Signal erfasst wurde. Falls kein akustisches Signal in dem Zeitfenster erfasst werden kann, liegt ein Informationsausgabe-Fehler vor und es wird eine Schutzreaktion ausgelöst, beispielsweise die Ausgabe einer Übernahmeaufforderung.
In Schritt 120 wird die Bedeutung des entgegengenommen akustischen Signals ermittelt: beispielsweise die mittels des akustischen Signals signalisierte Information, dass die Fahrfunktion aktiviert wurde. Sofern es sich bei dem akustischen Signal um ein Sprachsignal handelt, kann die Bedeutung des Sprachsignals mittels Spracherkennung oder durch Vergleich mit einem vorbekannten Sprachsignal ermittelt werden.
Sofern die Bedeutung des empfangenen Signals festgestellt wurde, kann unter Verwendung von Zustandsinformation betreffend den Zustand der Fahrfunktion (z. B. ob die Fahrfunktion aktiviert oder deaktiviert wurde) in der Abfrage 130 festgestellt werden, ob die Bedeutung des empfangenen Signals (z. B. Bedeutung Fahrfunktion wurde aktiviert) zum Zustand der Fahrfunktion (z. B. Zustand Fahrfunktion wurde aktiviert) passt oder nicht. Sofern der Bedeutungsgehalt des empfangenen Signals dem Zustand der Fahrfunktion widerspricht und damit die Bedeutung des empfangenen Signals nicht korrekt, kann hieran ein Informationsausgabe-Fehler festgestellt werden und eine Schutzreaktion (s. Schritt 140) ausgelöst werden.
Alternativ oder zusätzlich (zur vorstehend beschriebenen Verwendung von Zustandsinformation betreffend den Zustand der Fahrfunktion) kann die vorzugsweise abgespeicherte Information über eine angeforderte Informationsausgabe verwendet werden, um das entgegengenommene Signal zu verifizieren. Wenn beispielsweise das System eine Informationsausgabe an den Nutzer angefordert hat, die eine Aktivierung der Fahrfunktion signalisiert, kann in Schritt 130 geprüft werden, ob die Bedeutung des entgegengenommenen Signals dieser Anforderung entspricht und damit korrekt ist, so dass die angeforderte akustische Informationsausgabe tatsächlich erfolgt ist und kein Informationsausgabe-Fehler vorliegt, oder nicht (d.h. Informationsausgabe-Fehler). Es wäre möglich, zusätzlich außerhalb des normalen für den Fahrer hörbaren Frequenzbereiches ein für den Fahrer nicht hörbares Zusatzsignal in der akustischen Ausgabe zu überlagern, um die Erkennung und Verifikation des Signals zu erleichtern. Wenn ein Informationsausgabe-Fehler festgestellt wurde, wird eine geeignete Schutzreaktion durchgeführt, beispielsweise ein Hinweis, z. B. eine Übernahmeaufforderung, an den Fahrer ausgegeben, vorzugsweise über einen anderen Ausgabekanal (z. B. optisch oder haptisch (z. B. per Bremsruck)). In einer weiteren Eskalationsstufe, beispielsweise wenn der Fahrer die Fahraufgabe nicht übernimmt, kann ein sogenanntes Minimum-Risk-Manoeuver durchgeführt werden, bei dem das Kraftfahrzeug in einen sicheren Zustand versetzt wird.
In 3 ist ein zweites Ablaufdiagramm zur Funktionsweise des Ausführungsbeispiels dargestellt. Die einzelnen Verfahrensschritte laufen wie in 2 beispielsweise im Wesentlichen in dem Steuergerät AF-SG ab, wobei das Steuergerät AF-SG von dem Steuergerät EA-SG eine digitale Repräsentation des erfassten akustischen Sprachsignals zur weiteren Auswertung oder bereits eine in dem Steuergerät EA-SG ermittelte Bedeutung des erfassten akustischen Sprachsignals empfängt. Das Ablaufdiagramm in 3 betrifft die Prüfung, ob im Fall der Entgegennahme eines akustischen Signals das entgegengenommene akustische Signal auf einer systemseitigen Anforderung einer akustischen Informationsausgabe beruht. Die im Ablaufdiagramm dargestellte Prüfung wird durch die Erfassung eines akustischen Signals getriggert. Daher wird in der Abfrage 200 zunächst abgefragt, ob ein akustisches Signal erfasst wurde, beispielsweise wenn das Steuergerät EA-SG dem Steuergerät AF-SG die digitale Repräsentation eines empfangenen akustischen Signals mitteilt oder das Steuergerät EA-SG ein akustisches Signal erfasst. In Schritt 210 wird im Fall des Erfassens eines akustischen Signals die Bedeutung des Signals ermittelt, wie dies im Zusammenhang mit Schritt 120 erläutert wurde. In Abfrage 220 wird geprüft, ob das entgegengenommene akustische Signal auf einer systemseitigen Anforderung einer akustischen Informationsausgabe beruht, indem geprüft wird, ob die Bedeutung des entgegengenommenen Signals zum Zustand der Fahrfunktion passt und/oder ob die Bedeutung des entgegengenommenen Signals zu einer früheren Anforderung passt, wie dies im Zusammenhang mit 2 erläutert wurde. Im Schritt 230 wird geprüft, ob die frühere Anforderung in einem vordefinierten Zeitfenster (z. B. 500 ms) vor der Erfassung des akustischen Signals erfolgt ist. Es kann alternativ auch geprüft werden, ob das erkannte entgegengenommene Signal zeitlich noch zum Zustand der Fahrfunktion passt.
Es ist denkbar, dass nur eines der beiden Ablaufdiagramme für das Ausführungsbeispiel implementiert wird.

Claims

Fahrsystem mit einer Fahrfunktion zum automatisierten Fahren für ein Kraftfahrzeug, welches eine akustischen Informationsausgabeeinrichtung (LS) zur akustischen Informationsausgabe an den Benutzer und ein Mikrofon (M) zur Entgegennahme von akustischen Signalen umfasst, und das Fahrsystem eingerichtet ist, - ein mittels der akustischen Informationsausgabeeinrichtung (LS) ausgegebenes akustisches Signal über das Mikrofon (M) entgegenzunehmen, - anhand des über das Mikrofon (M) entgegengenommenen Signals festzustellen, ob ein Informationsausgabe-Fehler vorliegt, und - bei Feststellen des Vorliegens eines Informationsausgabe-Fehlers eine Schutzreaktion durchzuführen.
Fahrsystem nach Anspruch 1, wobei das Fahrsystem eingerichtet ist, das entgegengenommene Signal unter Verwendung von Information - betreffend den Zustand der Fahrfunktion und/oder - betreffend eine angeforderte Informationsausgabe zu verifizieren, um festzustellen, ob ein Informationsausgabe-Fehler vorliegt.
Fahrsystem nach Anspruch 2, wobei das Fahrsystem eingerichtet ist, - Information über das akustische Signal zu ermitteln, insbesondere das Signal zu erkennen und/oder die Bedeutung des entgegengenommenen Signals zu ermitteln, und - zu prüfen, ob die Information über das entgegengenommene Signal, insbesondere das erkannte Signal und/oder die Bedeutung des entgegengenommenen Signals, zum Zustand der Fahrfunktion bzw. zur angeforderten Informationsausgabe passt.
Fahrsystem nach einem der Ansprüche 2 bis 3, wobei das Fahrsystem eingerichtet ist, das entgegengenommene Signal mit einem angeforderten Signal zu vergleichen.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei das mittels der akustischen Informationsausgabeeinrichtung ausgegebene akustische Signal ein nonverbales akustisches Signal, insbesondere ein Gongsignal, ist.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei das mittels der akustischen Informationsausgabeeinrichtung ausgegebene akustische Signal ein Sprachsignal ist oder Kombination aus Sprachsignal und nonverbalem Signal ist.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei - die akustischen Informationsausgabe an den Benutzer im Fahrzeuginnenraum mittels einer fahrzeugseitigen akustischen Informationsausgabeeinrichtung erfolgt und - das Mikrofon (M) als fahrzeugseitiges Mikrofon (M) zur Entgegennahme von akustischen Signalen im Fahrzeuginnenraum dient.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei der Informationsausgabe-Fehler eine falsche Ausgabe eines akustischen Informationssignals ist, insbesondere - eine falsche Ausgabe eines akustischen Informationssignals, ohne dass die Ausgabe eines akustischen Informationssignals erforderlich ist, insbesondere ohne dass die Fahrfunktion eine Ausgabe eines akustischen Informationssignals anfordert, und/oder - eine Ausgabe des falschen akustischen Informationssignals, wenn die Ausgabe eines anderen akustischen Informationssignals erforderlich ist, insbesondere wenn die Fahrfunktion die Ausgabe eines anderen akustischen Informationssignals angefordert hat.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei der Informationsausgabe-Fehler ein Unterbleiben der Ausgabe eines akustischen Informationssignals ist, insbesondere wenn die Fahrfunktion die Ausgabe des akustischen Informationssignals anfordert hat.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei das akustische Signal - ein die Aktivierung oder das Aktivsein der Fahrfunktion signalisierendes Signal ist oder - ein die Deaktivierung oder das Deaktivsein der Fahrfunktion signalisierendes Signal ist und/oder ein eine Übernahme-Aufforderung signalisierendes Signal ist oder - ein eine Hands-On-Aufforderung signalisierendes Signal ist oder - eine Aufmerksamkeitsaufforderung signalisierendes Signal ist.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei das Fahrsystem eingerichtet ist, im Fall einer fahrfunktionsseitige Anforderung einer akustischen Informationsausgabe, insbesondere in Reaktion auf eine fahrfunktionsseitige Anforderung, anhand des über das Mikrofon (M) entgegengenommenen Signals festzustellen, ob die angeforderte akustische Informationsausgabe tatsächlich erfolgt, insbesondere in einem vorgegebenen Zeitfenster oder Wegstreckenfenster erfolgt.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei das Fahrsystem eingerichtet ist, im Fall der Entgegennahme eines akustischen Signals, insbesondere in Reaktion auf die Entgegennahme eines akustischen Signals festzustellen, ob das entgegengenommene akustische Signal auf einer systemseitigen Anforderung einer akustischen Informationsausgabe beruht, insbesondere auf einer früheren systemseitigen Anforderung, die in einem vorgegebenen vorherigen Zeitfenster oder Wegstreckenfenster erfolgt ist.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei das Fahrsystem eingerichtet ist, als Schutzreaktion - einen Hinweis, insbesondere eine Übernahme-Aufforderung, an den Fahrer auszugeben, • insbesondere einen nicht-akustischen Hinweis an den Fahrer auszugeben, oder • insbesondere im Fall einer Informationsausgabe per Sprachsignal einen nonverbalen Hinweis, insbesondere einen nicht-akustischen Hinweis, auszugeben, und/oder - die Fahrfunktion vollständig oder teilweise abzuschalten.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei das Fahrsystem eingerichtet ist, im Fall einer nicht erfolgten Ausgabe eines angeforderten akustischen Signals als Schutzreaktion - die Ausgabe des vorher angeforderten akustischen Signals nochmal anzufordern und/oder - die Information des angeforderten akustischen Signals über einen anderen Informationskanal, insbesondere optisch oder haptisch, auszugeben.
Fahrsystem nach einem der vorhergehenden Ansprüche, wobei das Fahrsystem eingerichtet ist, - zur Überprüfung des Fahrsystems, insbesondere bei Start des Kraftfahrzeugs oder bei Start des Fahrsystems, über die akustische Informationsausgabeeinrichtung ein akustisches Signal auszugeben, und - die Ausgabe des akustischen Signals durch Verwendung des Mikrofons (M) zu prüfen.
Verfahren zum automatisierten Fahren eines Kraftfahrzeugs, bei dem eine akustische Informationsausgabe an den Benutzer erfolgt und ein Mikrofon (M) zur Entgegennahme von akustischen Signale verwendet wird, mit den Schritten: - über das Mikrofon (M), Entgegennehmen eines im Rahmen der akustischen Informationsausgabe ausgegebenen akustischen Signals; - anhand des über das Mikrofon (M) entgegengenommenen akustischen Signals, Feststellen, ob ein Informationsausgabe-Fehler vorliegt; und - bei Feststellen des Vorliegens eines Informationsausgabe-Fehlers, Durchführen einer Schutzreaktion.
Software mit Programmcode zur Durchführung des Verfahrens nach Anspruch 16, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen abläuft.