DE102011107934A1

DE102011107934A1 - Assistenzsystem

Info

Publication number: DE102011107934A1
Application number: DE102011107934A
Authority: DE
Inventors: Jürgen Rataj; Hartmut Helmke; Friedrich Faubel; Dietrich Klakow
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV; Universitaet des Saarlandes
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV; Universitaet des Saarlandes
Priority date: 2011-07-19
Filing date: 2011-07-19
Publication date: 2013-01-24
Anticipated expiration: 2031-07-20
Also published as: ES2639050T3; EP2734998A2; DE102011107934B4; US20140316538A1; WO2013011090A2; WO2013011090A3; EP2734998B1

Abstract

Die Erfindung betrifft ein Assistenzsystem (1, 25) zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke (2) mit – einer Zustandserfassungseinheit (3) zum Erfassen zumindest eines Zustandes (5, 5a) der Regelstrecke (2), wobei – eine akustische Aufnahmeeinheit (9, 27), die zum Aufnehmen von akustischen Sprachsignalen einer Sprachkommunikation (24) zwischen mindestens zwei Personen (21, 22) ausgebildet ist, und – eine Sprachverarbeitungseinheit (7), die zum Erkennen von Sprachinformationen (10) bezüglich der Regelstrecke (2) aus den aufgenommenen akustischen Sprachsignalen eingerichtet ist, vorgesehen sind, vorgesehen sind, wobei die Zustandserfassungseinheit (3) zum Anpassen des erfassten Zustandes (5) und/oder eines aus dem aktuellen Zustand ableitbaren prognostizierten Zustandes (5a) der Regelstrecke (2) in Abhängigkeit von den erkannten Sprachinformationen (10) eingerichtet ist.

Description

Die Erfindung betrifft ein Assistenzsystem zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke mit einer Zustandserfassungseinheit zum Erfassen zumindest eines Zustandes der Regelstrecke. Die Erfindung betrifft ebenfalls ein Verfahren zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke mit Erfassen zumindest eines Zustandes der Regelstrecke. Die Erfindung betrifft ebenfalls ein Computerprogramm hierzu.
Durch den weiter steigenden Grad der Automation in fast allen Lebensbereichen kommen vermehrt immer mehr Assistenzsysteme zum Einsatz, die ganz oder nur in Teilbereichen die Planungs- und/oder Führungsaufgaben unterstützen oder sogar vollständig übernehmen sollen, um die mit der Planungs- und/oder Führungsaufgabe beauftragten Personen zu entlasten und die Sicherheit zu erhöhen.
In den meisten Fällen sind die Assistenzsysteme dabei derart eingerichtet, dass ein oder mehrere Zustände bezüglich der Regelstrecke durch das Detektieren von Merkmalen der Regelstrecke, wie beispielsweise Parameter der Regelstrecke, Messwerte, Objekte und/oder Umgebungsmerkmale erfasst werden. Hierzu sind die Assistenzsysteme mit einer Reihe von Sensorsystemen oder Datenbanken verbunden, aus denen die für die Erfassung des Zustandes notwendigen Informationen abgreifbar sind. Dadurch kann das Assistenzsystem ein maschinelles Situationsbewusstsein aufbauen, um daraus dann entsprechende Unterstützungsmaßnahmen für die betreffenden Personen ableiten oder eine vollautomatisierte Regelung durchführen zu können.
Nicht selten kommt es bei derartigen Regelungskreisläufen vor, dass von den für die Planungs- und/oder Führungsaufgabe beauftragten Personen Handlungsanweisungen gegeben werden, die sich auf die Regelstrecke erst zeitverzögert auswirken, so dass die nachgeschalteten Assistenzsysteme, die mit Hilfe ihrer angeschlossenen Sensorik den aktuellen Zustand der Regelstrecke versuchen zu erfassen, eine solche Veränderung ebenfalls zeitverzögert feststellen. In der Zwischenzeit geben die Assistenzsysteme jedoch Handlungsempfehlungen an die Personen, die auf alten Informationen über den Zustand der Regelstrecke beruhen, so dass die Ablehnung derartiger Assistenzsystem dadurch gefördert wird. Sollen die Assistenzsysteme zumindest auch teilweise selbstständig Handlungsaufgaben übernehmen, so kann dies mit unter schwerwiegende Folgen haben, wenn eine Situationsveränderung nicht rechtzeitig erkannt wird. Insbesondere bei Regelstrecken, bei denen von außen durch den Menschen noch eingegriffen werden kann, besteht hier eine besondere Gefahr.
Stand der Technik
Aus der DE 10 2009 034 069 A1 ist eine Bedienvorrichtung für ein Kraftfahrzeug bekannt, das ein Display zur Darstellung veränderlicher Informationen aufweist. Mit Hilfe einer Blickrichtungserkennungseinheit kann die Blickrichtung des Kraftfahrzeugführers ermittelt werden, wobei die Bedienvorrichtung mit Hilfe von akustischen Befehlen bedient werden kann, wenn die Blickrichtung des Kraftfahrzeugführers auf das Display gerichtet ist.
Aufgabe
Aufgabe der vorliegenden Erfindung ist es, ein verbessertes Assistenzsystem zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke zu schaffen, das schnell auf sich verändernde Zustände oder Situationen der Regelstrecke reagieren kann, ohne das Bedienpersonal zusätzlich zu belasten.
Lösung
Die Aufgabe wird mit dem eingangs genannten Assistenzsystem erfindungsgemäß dadurch gelöst, dass

– eine akustische Aufnahmeeinheit, die zum Aufnehmen von akustischen Sprachsignalen einer Sprachkommunikation zwischen mindestens zwei Personen ausgebildet ist, und
– eine Sprachverarbeitungseinheit, die zum Erkennen von Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen eingerichtet ist, vorgesehen sind,

Somit kann das Assistenzsystem wesentlich schneller auf sich verändernde Situationen oder Zustände reagieren, ohne dabei Gefahr laufen zu müssen, in den „Out-of-the-Loop”-Zustand zu geraten. Denn durch das Mithören bei der Sprachkommunikation von Menschen, die in den Arbeitsprozess der Regelstrecke eingebunden sind, können frühzeitig veranlasste Zustandsänderungen auf der Regelstrecke erkannt werden, so dass der erfasste Zustand entsprechend frühzeitig angepasst werden kann. Die von dem Assistenzsystem abgeleiteten Handlungsempfehlungen bezüglich der Regelstrecke sind aufgrund der frühzeitigen Anpassung des Zustandes bzw. eines prognostizierten Zustandes wesentlich genauer und auf die Situation wesentlich besser abgestimmt, so dass die Unterstützungsqualität derartiger Assistenzsysteme erheblich verbessert wird.
Die Erfassung zumindest eines Zustandes der Regelstrecke durch die Zustandserfassungseinheit kann durch ein mit der Zustandserfassungseinheit in Verbindung stehenden ersten Sensorsystem erfolgen, wie sie generell für die Überwachung von Regelstrecken verwendet werden, wie beispielsweise Radarsensoren, Ortungseinheiten, Temperatursensoren, etc. Aus den erfassten Daten der Sensorik lässt sich dann der aktuelle Zustand der Regelstrecke erfassen. Unter Kenntnis des aktuellen Zustandes der Regelstrecke lässt sich darüber hinaus auch ein prognostizierter Zustand für die Zukunft ableiten, der eine Prognose für die Entwicklung der Zustände der Regelstrecke angibt. Dadurch lässt sich ableiten, wie sich ein Zustand zukünftig entwickelt.
Dabei stellen die akustischen Sprachsignale keine direkte Anweisung in Form einer Gerätebedienung an das Assistenzsystem dar, sondern sind Teil einer Sprachkommunikation zwischen zwei Personen. Durch das lautlose Mithören des Assistenzsystems während der Sprachkommunikation ist es für die betroffenen Personen nicht erforderlich, das Assistenzsystem auf eine Spracheingabe vorzubereiten. Dadurch wird eine deutliche Entlastung bei der Planungs- und/oder Führungsaufgabe durch die Personen erreicht. Die akustische Aufnahmeeinheit in Verbindung mit der Sprachverarbeitungseinheit bilden somit ein weiteres, zweites Sensorsystem für die Erfassung oder Prognose des Zustandes der Regelstrecke. Die Erfindung ist somit dadurch gekennzeichnet, dass die akustische Aufnahmeeinheit und die Sprachverarbeitungseinheit als ein zweites Sensorsystem vorgesehen sind.
Vorteilhafterweise erfolgt die Erkennung der Sprachinformationen durch die Sprachverarbeitungseinheit aus den aufgenommenen akustischen Sprachsignalen in Abhängigkeit von einem Kontext, der aus dem erfassten oder prognostizierten Zustand ermittelt werden kann. Da der Zustand der Regelstrecke bzw. die Regelstrecke selbst auch den existierenden Kontext für die Erkennung von Sprachinformationen liefern kann, kann dadurch signifikant die Erkennungsrate bei der Spracherkennung erhöht werden, insbesondere dann, wenn eine kontextbasierte Spracherkennung eingesetzt wird. Der Kontext des erfassten Zustandes kann dabei aus dem vorhandenen Situationswissen über die Regelstrecke, insbesondere aus Sensordaten und Datenbanken abgeleitet werden.
Um die Erkennungsrate der Spracherkennung weiter zu erhöhen, ist es ganz besonders vorteilhaft, wenn mittels einer Sprachhypotheseneinheit in Abhängigkeit von dem erfassten oder prognostizierten Zustand der Regelstrecke Sprachhypothesen über zukünftig zu erwartende Sprachinformationen ermittelt werden. Durch das Ermitteln von Hypothesen bezüglich zukünftiger Sprachinformationen lässt sich dann die Erkennung der Sprachinformationen in Abhängigkeit dieser Hypothesen durchführen. Der von dem erfassten oder prognostizierten Zustand abgeleitete Sprachkontext kann somit um Hypothesen über zukünftige Sprachinformationen oder Sprachkontexte erweitert werden, was sich höchst positiv auf die Erkennungsrate auswirkt.
Ganz besonders vorteilhaft ist es nun, wenn zu den ermittelten Sprachhypothesen zusätzlich Eintrittswahrscheinlichkeiten zugeordnet werden, die das Eintreffen dieser Hypothese mit einer gewissen Wahrscheinlichkeit prognostizieren. Die Hypothesen stellen dabei eine Möglichkeit, ausgehend von dem aktuellen oder prognostizierten Zustand, für das Auftreten von bestimmten Sprachinformationen dar, die sich mit einer gewissen Wahrscheinlichkeit für die erfasste Situation ergeben könnten.
Durch die Sprachhypothesen und die den Sprachhypothesen zugeordneten Eintrittswahrscheinlichkeiten lässt sich dabei die Genauigkeit der Spracherkennung signifikant erhöhen, da nunmehr bezüglich des Kontextes der erfassten Situation die Spracherkennung auf den wesentlichen Teil gerichtet werden kann.
In einer vorteilhaften Ausführungsform ist das Assistenzsystem derart eingerichtet, dass die Aufnahmeeinheit zum Empfangen von elektrischen Signalen einer elektrischen Sprach-Kommunikationsverbindung und zum Aufnehmen der akustischen Sprachsignale aus den empfangenen elektrischen Signalen eingerichtet ist. Dies ist besonders dann vorteilhaft, wenn die Kommunikation zwischen den Personen über eine elektrische Sprach-Kommunikationsverbindung erfolgt, beispielsweise über Funk oder über ein Telefonnetzwerk.
Darüber hinaus weist das Assistenzsystem in einer weiteren vorteilhaften Ausgestaltung eine Ausgabeeinheit auf, die zum Ausgeben von generierten Unterstützungsanweisungen zum Unterstützen der situationsabhängigen Planungs- und/oder Führungsaufgabe der Regelstrecke eingerichtet ist, wobei die Unterstützungsanweisungen aus dem erfassten oder prognostizierten Zustand abgeleitet werden können. Eine derartige Ausgabeeinheit kann beispielsweise ein Display sein, auf dem Handlungsanweisungen für eine Person dargestellt werden. Die Ausgabeeinheit kann aber auch mit einer Steuerungseinrichtung verbunden sein, um direkt auf Stellgrößen der Regelstrecke zugreifen und so zumindest teilweise autonom auf die Regelstrecke einwirken zu können, wodurch ein zumindest teilweiser automatischer Betrieb ermöglicht wird.
Im Übrigen wird die Aufgabe auch mit einem Verfahren der eingangs genannten Art erfindungsgemäß gelöst durch die Schritte:

– Aufnehmen von akustischen Sprachsignalen einer Sprachkommunikation zwischen mindestens zwei Personen durch eine akustische Aufnahmeeinheit,
– automatisiertes Erkennen von Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen durch eine Sprachverarbeitungseinheit, und
– Anpassen des erfassten Zustandes und/oder eines aus dem aktuellen Zustand ableitbaren prognostizierten Zustandes der Regelstrecke in Abhängigkeit von den erkannten Sprachinformationen durch die Zustandserfassungseinheit.

Vorteilhafte Ausgestaltungen des Verfahrens finden sich in den entsprechenden Unteransprüchen.
Die Erfindung wird anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 – schematische Darstellung des erfindungsgemäßen Assistenzsystems;
2 – schematische Darstellung einer Regungskette bei der Fluglotsenunterstützung.
1 zeigt schematisch das erfindungsgemäße Assistenzsystem 1, das zur Unterstützung von Planungs- und/oder Führungsaufgaben einer Regelstrecke 2 Anwendung finden kann. Eine Regelstrecke 2 kann beispielsweise der Landeanflug von Flugzeugen auf einem Flughafen sein, der in der Regel von Lotsen überwacht und geregelt wird.
Das Assistenzsystem 1 weist eine Zustandserfassungseinheit 3 auf, die mit Hilfe von Sensoren 4a, 4b Daten über die Regelstrecke 2 erfasst und daraus einen aktuellen Zustand 5 der Regelstrecke 2 ermittelt. Aus diesem aktuellen Zustand 5 der Regelstrecke 2 lässt sich ein prognostizierter Zustand 5a ableiten, der eine zukünftige Entwicklung des Zustandes 5 der Regelstrecke 2 berücksichtigt.
Sowohl der aktuelle Zustand 5 als auch ein möglicherweise abgeleiteter und prognostizierter Zustand 5a dienen in einer Kontextermittlungseinheit 6 als Grundlage für die Ermittlung eines Sprachkontextes, der als Eingabe in den Spracherkenner bzw. die Sprachverarbeitungseinheit 7 vorgesehen ist. Denn aufgrund der Kenntnis des aktuellen Zustandes 5 bzw. eines prognostizierten Zustandes 5a, die sich letztendlich aus den Sensordaten der Regelstrecke 2 ableiten lassen, liegt der Zustandserfassungseinheit somit letztendlich auch der Kontext vor, der dem Spracherkenner 7 als Grundlage für die Spracherkennung dienen soll. Dadurch kann die Genauigkeit bei der Erkennung wesentlich erhöht werden.
Darüber hinaus kann zusätzlich eine Sprachhypotheseneinheit 8 vorgesehen sein, die aus dem aktuellen Zustand 5 oder prognostizierten Zustand 5a Sprachhypothesen bezüglich zukünftiger eventuell auftretender Sprachinformationen ermitteln kann. Die Sprachhypotheseneinheit 8 kann dabei Bestandteil der Zustandserfassungseinheit 3 oder der Sprachverarbeitungseinheit 7 sein. Der von der Kontextermittlungseinheit 6 ermittelte Sprachkontext kann somit um die Sprachhypothesen der Hypotheseneinheit 8 erweitert werden.
Sowohl der von der Kontextermittlungseinheit 6 ermittelte Sprachkontext als auch die Sprachhypothesen werden über einen Eingang der Sprachverarbeitungseinheit 7 in diese übertragen und eingespeist. Des Weiteren ist das Assistenzsystem 1 mit einer akustischen Aufnahmeeinheit 9 verbunden, die ebenfalls mit einem Eingang der Sprachverarbeitungseinheit 7 signaltechnisch verbunden ist. Die akustische Aufnahmeeinheit 9 ist dabei derart eingerichtet, dass sie akustische Sprachsignale in einer Sprachkommunikation zwischen mindestens zwei Personen (nicht dargestellt) aufnimmt, wodurch die akustische Aufnahmeeinheit 9 ein weiterer Sensor bzw. eine weitere Sensorik zur Zustandserfassung der Regelstrecke 2 darstellt. Die akustische Aufnahmeeinheit 9 kann dabei in einem einfachsten Fall ein Mikrofon sein, welches die Kommunikation zwischen zwei oder mehreren Personen mithört. Die akustische Aufnahmeeinheit 9 kann aber auch eine elektrische Vorrichtung sein, mit der Sprachsignale aus einem elektrischen Signal, wie sie beispielsweise bei einer Funkverbindung oder einer Telefonverbindung vorliegt, abgegriffen werden können. Somit lassen sich auch Kommunikationen zwischen Personen mithören, die über eine Fernsprecheinrichtung miteinander kommunizieren.
Die von der akustischen Aufnahmeeinheit 9 aufgenommenen Sprachsignale werden nun durch die Sprachverarbeitungseinheit 7 unter Berücksichtigung des ermittelten Sprachkontextes und der ermittelten Sprachhypothesen analysiert und die in den akustischen Signalen enthaltenen Sprachinformationen 10 erkannt. Aufgrund der Tatsache, dass der Kontext für die Spracherkennung aus der Regelstrecke und den erfassten Zuständen 5, 5a direkt oder indirekt ableitbar ist, lässt sich die Spracherkennung der erfassten akustischen Sprachsignale wesentlich erhöhen. Bei dieser kontextbasierten Spracherkennung wird nicht nur das aktuelle Sprachsignal, sondern auch der Kontext, der von einer externen Quelle kommt, zur Spracherkennung herangezogen. Dies ist zwar aufwändiger, aber auch leistungsfähiger, da dadurch der Suchraum entweder regelbasiert oder probabilistisch eingeschränkt wird. Da der erfasste Zustand eine Vielzahl von Daten und Parametern über die Regelstrecke 2 umfasst, kann hier der für die Spracherkennung notwendige Kontext abgeleitet werden.
So wird vorteilhafterweise nur noch ein geringer Teil des Kontextes vom Spracherkenner selbst bestimmt, während der wesentliche Teil der Kontextinformation über die Zustanderfassungseinheit aus dem Zustand und dem prognostizierten Zustand bestimmt werden. Der Gesamtkontext wird somit aus dem Systemzustand und dem Dialog zweier Kommunikationspartner abgeleitet. Diese redundante Bestimmung des Sprachkontextes ermöglicht es dem Spracherkenner, falsche Erkennungshypothesen, die mit der Kontextinformation nicht konsistent sind, frühzeitig zu verwerfen und damit Fehlerkennungen zu vermeiden, wodurch letztendlich die Erkennungsleistung wesentlich erhöht wird.
Der Gesamtkontext wird somit zum einen über ein erstes Sensorsystem, welches den Systemzustand der Regelstrecke erfasst, und über ein zweites Sensorsystem, welches die Sprachkommunikation zweier Kommunikationspartner erfasst, ermittelt, was die Spracherkennung selber wesentlich verbessert.
Die so erkannten Sprachinformationen werden nun wieder zurück an die Zustandserfassungseinheit 3 übertragen, wobei in Abhängigkeit der erkannten Sprachinformationen 10 der aktuelle Zustand 5 oder der prognostizierte Zustand 5a in Abhängigkeit dieser Sprachinformationen 10 angepasst wird. Denn wurde beispielsweise aus den Gesprächen zwischen den Personen erkannt, dass Änderungen innerhalb der Regelstrecke durchgeführt werden sollen, so dass sich der Zustand ändern wird, wobei diese Zustandsänderung noch nicht von der Sensorik 4a, 4b erfassbar ist, so kann der aktuelle Zustand 5 oder der für die Zukunft prognostizierte Zustand 5a aufgrund des Gespräches bereits angepasst werden, so dass das Assistenzsystem wesentlich genauere Informationen über die Regelstrecke 2 hat und somit entsprechende Handlungsempfehlungen, die an einer Ausgabeeinheit 11 ausgegeben werden können, wesentlich genauer sind.
So kann die Anpassung der Zustände 5, 5a durch die Zustandserfassungseinheit 3 beispielhaft derart erfolgen, dass bestimmte Parameter und/oder Daten, welche den Zustand der Regelstrecke 2 beschreiben, verändern werden, so dass sich für die Zustandserfassungseinheit 3 ein veränderter Zustand 5 bzw. 5a darstellt, der mit den von der Sensorik 4a, 4b sensierten Daten zumindest für einen Moment zwangsläufig nicht konsistent sein muss.
Das Assistenzsystem kann neben den beschriebenen Einheiten weitere Einheiten aufweisen, die beispielsweise bestimmte Regelungen für die Regelstrecke 2 vorsehen bzw. entsprechende Handlungsinformationen oder Handlungsempfehlungen über die Ausgabeeinheit 11 ausgeben können. Beispielhaft sei hier ein Lotsenunterstützungssystem genannt, das ebenfalls in das Assistenzsystem 1 eingebettet und dem Lotsen bei seiner Regelungs- und Führungsaufgabe unterstützen soll. Durch die Anpassung der erfassten Zustände bzw. prognostizierten Zustände der Regelstrecke 2 kann dem Lotsenunterstützungssystem eine wesentlich bessere Grundlage für seine Berechnungen und Handlungsempfehlungen gegeben werden, was die Akzeptanz und Sicherheit erhöht.
Ein derartiges System zeigt 2 beispielhaft für die Regelstrecke bei der Führung eines Flugzeuges durch einen Lotsen 21. Der Fluglotse 21, der sich in der Regel im Kontrollzentrum oder im Tower des Flughafens aufhält, steht mit dem Piloten 22 eines Flugzeuges 23 in Funkverbindung. Der Fluglotse 21 erteilt über die Funkverbindung 24 dem Piloten 22 des Flugzeuges 23 entsprechende Anweisungen, damit der Pilot 22 das Flugzeug 23 auf einer vorbestimmten Trajektorie auf dem Flughafen landen kann.
Seit einiger Zeit sind zur Unterstützung des Lotsen 21 sogenannte Lotsenunterstützungssysteme 25 bekannt, die dem Lotsen in Abhängigkeit von der aktuellen Situation im Luftraum des Flughafens verschiedene Vorschläge für die Landesequenzen und/oder für Flugführungsanweisungen für die Flugzeuge liefern können. Mit Hilfe von Sensoren 26a, 26b, die beispielsweise Radarsensoren sein können und somit kontinuierlich Radardaten an das Lotsenunterstützungssystem 25 liefern, kann eine Situation innerhalb des Flugraumes bzw. ein Zustand für den Lotsen aufgebaut werden, um die Flugzeuge sicher auf dem Flughafen landen zu lassen. Diese Daten liefern dem Lotsenunterstützungssystem 25 aber auch die Grundlage für die Vorschläge der Landesequenzen und/oder Führungsanweisungen an die Flugzeuge.
Verändert der Lotse 21 jedoch seine Strategie, so merkt das System 25 solange nichts, bis eindeutige Hinweise in den Radardaten hinsichtlich eines abweichenden Flugverhaltens vorliegen und erkannt wurden. Dies kann jedoch bis zu 30 Sekunden und mehr dauern, so dass während dieser Zeit die dargestellte Situation bzw. der erfasste Zustand über die Regelstrecke und die von dem System 25 gelieferten Vorschläge mit der eigentlichen Situation bzw. dem eigentlichen Zustand nicht konsistent sind. Diese mangelnde Übereinstimmung zwischen der Lotsenabsicht und dem maschinellen Situationsbewusstsein des Unterstützungssystems 25 führt jedoch zu eingeschränkten Vorschlägen, die letztendlich für eine mangelnde Akzeptanz des Systems bei den Lotsen sorgen.
Um dieses Problem zu lösen, befindet sich in der Kommunikationsverbindung 24 zwischen Lotse 21 und Pilot 22 eine akustische Aufnahmeeinheit 27, die mit dem System 25 kommunikativ in Verbindung steht. Die Sprachkommunikation zwischen dem Lotsen 21 und dem Piloten 22 über die Kommunikationsverbindung 24 wird daher mit Hilfe der akustischen Aufnahmeeinheit 27 abgegriffen und dem System 25 zur Verfügung gestellt.
Werden von dem Lotsen 21 nun von der eigentlichen Strategie veränderte Flugführungsanweisungen an den Piloten 22 über die Kommunikationsverbindung 24 übertragen, so wird dies von der akustischen Aufnahmeeinheit 27 erfasst. Diese über die Kommunikationsverbindung 24 übertragenen Sprachanweisungen stellen dabei den frühest möglichen Zeitpunkt zur Erkennung einer Strategieänderung des Lotsen 21 bei der Verkehrssteuerung dar. Mittels eines Assistenzsystems, wie in 1 beschrieben, das Bestandteil des Systems 25 ist, können die Sprachinformationen bezüglich der Regelstrecke erkannt werden, wobei die von dem System 25 erfassten Zustände den Kontext für die Spracherkennung liefert. Die über die Kommunikationsverbindung 24 erkannten Sprachinformationen der betreffenden Person 21 und 22 können dann dazu genutzt werden, die von dem System 25 erfassten Zustände anzupassen, um so die Strategieänderung des Lotsen 21 bei der Ausgabe von entsprechenden Vorschlägen zur Flugführung mit berücksichtigen zu können, obwohl die veränderten Zustände erst einige Zeit später über die Radarsensoren 26a, 26b detektierbar werden.
Da auf diese Planänderung durch den Lotsen unmittelbar durch das System 25 durch Verbesserung der eigenen Planung reagiert wird, bekommt der Lotse sofort einen Eindruck davon, welche weiteren Auswirkungen durch die von ihm veranlassten Aktionen ausgelöst werden. Dies ist insbesondere in Situationen mit hohem Verkehrsaufkommen hilfreich, da in solchen Situationen die Belastung ohnehin für den Lotsen hoch ist. Durch die höhere Konfidenz auf der Systemseite hinsichtlich der erwarteten Entwicklung der zukünftigen Situation besteht nun zusätzlich die Möglichkeit, den Lotsen auf Abweichungen des Flugzeuges von der geplanten Trajektorie hinzuweisen. Dabei erfolgt die Anpassung der Situation durch den Lotsen derart, dass dieser keine weiteren Eingaben an das System 25 vornehmen muss, wie beispielsweise durch Eingeben von entsprechenden Anweisungen oder durch direkten Sprachbefehl. Vielmehr erfolgt die Anpassung unter den Umständen der ganz normalen Arbeitsabläufe der Lotsen 21.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102009034069 A1 [0005]

Claims

Assistenzsystem (1, 25) zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke (2) mit – einer Zustandserfassungseinheit (3) zum Erfassen zumindest eines Zustandes (5, 5a) der Regelstrecke (2), dadurch gekennzeichnet, dass – eine akustische Aufnahmeeinheit (9, 27), die zum Aufnehmen von akustischen Sprachsignalen einer Sprachkommunikation (24) zwischen mindestens zwei Personen (21, 22) ausgebildet ist, und – eine Sprachverarbeitungseinheit (7), die zum Erkennen von Sprachinformationen (10) bezüglich der Regelstrecke (2) aus den aufgenommenen akustischen Sprachsignalen eingerichtet ist, vorgesehen sind, wobei die Zustandserfassungseinheit (3) zum Anpassen des erfassten Zustandes (5) und/oder eines aus dem aktuellen Zustand ableitbaren prognostizierten Zustandes (5a) der Regelstrecke (2) in Abhängigkeit von den erkannten Sprachinformationen (10) eingerichtet ist.
Assistenzsystem (1, 25) nach Anspruch 1, dadurch gekennzeichnet, dass eine Kontextermittlungseinheit (6) vorgesehen ist, die zum Ermitteln eines Sprachkontextes in Abhängigkeit von dem erfassten Zustand (5) und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand (5a) ausgebildet ist, wobei die Sprachverarbeitungseinheit (7) zum Erkennen der Sprachinformationen (10) bezüglich der Regelstrecke (2) aus den aufgenommenen akustischen Sprachsignalen unter Berücksichtigung des ermittelten Sprachkontext eingerichtet ist.
Assistenzsystem (1, 25) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Sprachhypotheseneinheit (8) vorgesehen ist, die zum Ermitteln von Sprachhypothesen bezüglich zukünftig erwarteter Sprachinformationen in Abhängigkeit von dem erfassten Zustand (5) und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand (5a) ausgebildet ist, wobei die Sprachverarbeitungseinheit (7) zum Erkennen der Sprachinformationen (10) bezüglich der Regelstrecke (2) aus den aufgenommenen akustischen Sprachsignalen unter Berücksichtigung der ermittelten Sprachhypothesen eingerichtet ist.
Assistenzsystem (1, 25) nach Anspruch 3, dadurch gekennzeichnet, dass die Sprachhypotheseneinheit (8) zum Zuordnen von Eintrittswahrscheinlichkeiten zu den ermittelten Sprachhypothesen und die Sprachverarbeitungseinheit (7) zum Erkennen der Sprachinformationen (10) weiterhin unter Berücksichtigung der den Sprachhypothesen zugeordneten Eintrittswahrscheinlichkeiten eingerichtet ist.
Assistenzsystem (1, 25) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die akustische Aufnahmeeinheit (9, 27) zum Empfangen von elektrischen Signalen in einer elektrischen Sprach-Kommunikationsverbindung (24) und zum Aufnehmen der akustischen Sprachsignale aus den empfangenen elektrischen Signalen eingerichtet ist.
Assistenzsystem (1, 25) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Assistenzsystem (1, 25) eine Ausgabeeinheit (11) zum Ausgeben von in Abhängigkeit von dem erfassten Zustand (5) und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand (5a) generierten Unterstützungsanweisungen zum Unterstützen der situationsabhängigen Planungs- und/oder Führungsaufgabe der Regelstrecke (2) aufweist.
Verfahren zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke mit – Erfassen zumindest eines Zustandes der Regelstrecke durch eine Zustandserfassungseinheit, gekennzeichnet, durch die Schritte: – Aufnehmen von akustischen Sprachsignalen einer Sprachkommunikation zwischen mindestens zwei Personen durch eine akustische Aufnahmeeinheit, – automatisiertes Erkennen von Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen durch eine Sprachverarbeitungseinheit, und – Anpassen des erfassten Zustandes und/oder eines aus dem aktuellen Zustand ableitbaren prognostizierten Zustandes der Regelstrecke in Abhängigkeit von den erkannten Sprachinformationen durch die Zustandserfassungseinheit.
Verfahren nach Anspruch 7, gekennzeichnet durch – automatisiertes Ermitteln eines Sprachkontext in Abhängigkeit von dem erfassten Zustand und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand durch eine Kontextermittlungseinheit und – automatisiertes Erkennen der Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen unter Berücksichtigung des ermittelten Sprachkontext durch die Sprachverarbeitungseinheit.
Verfahren nach Anspruch 7 oder 8, gekennzeichnet durch – automatisiertes Ermitteln von Sprachhypothesen bezüglich zukünftig erwarteter Sprachinformationen in Abhängigkeit von dem erfassten Zustand und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand durch eine Sprachhypotheseneinheit und – automatisiertes Erkennen der Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen unter Berücksichtigung der ermittelten Sprachhypothesen durch die Sprachverarbeitungseinheit.
Verfahren nach Anspruch 9, gekennzeichnet durch Zuordnen von Eintrittswahrscheinlichkeiten zu den ermittelten Sprachhypothesen durch die Sprachhypotheseneinheit und Erkennen der Sprachinformationen weiterhin unter Berücksichtigung der den Sprachhypothesen zugeordneten Eintrittswahrscheinlichkeiten durch die Sprachverarbeitungseinheit.
Verfahren nach einem der Ansprüche 7 bis 10, gekennzeichnet durch Empfangen von elektrischen Signalen aus einer elektrischen Sprachkommunikationsverbindung und Aufnehmen der akustischen Sprachsignale aus den empfangenen elektrischen Signalen durch die Aufnahmeeinheit.
Computerprogramm mit Programmcodemitteln, insbesondere auf einem maschinenlesbaren Träger gespeichert, eingerichtet zur Durchführung des Verfahrens nach einem der Ansprüche 7 bis 11, wenn das Computerprogramm auf einem Rechner ausgeführt wird.