DE102015215044A1 - Verfahren und System zur Verarbeitung multimodaler Eingabesignale - Google Patents

Verfahren und System zur Verarbeitung multimodaler Eingabesignale Download PDF

Info

Publication number
DE102015215044A1
DE102015215044A1 DE102015215044.5A DE102015215044A DE102015215044A1 DE 102015215044 A1 DE102015215044 A1 DE 102015215044A1 DE 102015215044 A DE102015215044 A DE 102015215044A DE 102015215044 A1 DE102015215044 A1 DE 102015215044A1
Authority
DE
Germany
Prior art keywords
candidate object
instruction
sensor data
candidate
instruction message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015215044.5A
Other languages
English (en)
Inventor
Jesko Klandt
Johannes Neuber
Janine Perkuhn
Stefan Schulz
Thomas Werner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102015215044.5A priority Critical patent/DE102015215044A1/de
Priority to US15/229,899 priority patent/US9594610B2/en
Priority to CN201610637826.8A priority patent/CN106445100B/zh
Publication of DE102015215044A1 publication Critical patent/DE102015215044A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • B60K2360/143—
    • B60K2360/1438—
    • B60K2360/146—
    • B60K2360/1464—
    • B60K2360/148—
    • B60K2360/149—
    • B60K2360/48—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

Die Erfindung betrifft ein Verfahren und ein Systems (40) zur Verarbeitung multimodaler Eingabesignale. Es ist vorgesehen, dass das System (40) eine Fusionseinheit (26) umfasst, welche eingerichtet ist, Anweisungsnachrichten von einer Sensordatenauswertungseinrichtung (18; 20; 22) zu empfangen, welche jeweils eine Anweisung bezeichnen, die seitens einer mit der Fusionseinheit (26) koppelbaren Anwendung (28; 30; 32) ausführbar ist. Für zumindest zwei der Anweisungsnachrichten erzeugt die Fusionseinheit (26) jeweils ein Kandidatenobjekt zu der Anweisungsnachricht, wobei das Kandidatenobjekt jeweils die Anweisung bezeichnet und jeweils eine Geltungszeitangabe des Kandidatenobjekts umfasst. Die Fusionseinheit (26) ist weiter eingerichtet, zwei der Kandidatenobjekte zu fusionieren, falls die Geltungszeitangaben dieser Kandidatenobjekte sich überlappende Geltungszeiten angeben, und eine Anweisung an die Anwendung (28; 30; 32) weiterzuleiten, welche Anweisung durch ein aus dem Schritt des Fusionierens hervorgegangenes Kandidatenobjekt bezeichnet wird.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren und ein System zur Verarbeitung multimodaler Eingabesignale.
  • Multimodale Mensch-Maschine-Schnittstellen („MMI“) erlauben es einem Nutzer, Anweisungen an eine Anwendung über spezifische, vorgegebene Eingabesignale auf verschiedene Weise einzugeben, beispielsweise über kontaktgebundene Eingaben über eine Tastatur, eine Maus, ein Touchpad oder dergleichen, mittels Spracheingabe, über Gesten des Körpers, der Hand oder einzelner Finger einer Hand oder über erfasste Bewegung der Augen (so genanntes „eyetracking“).
  • Einer Anweisung kann dabei pro Modalität ein vorgegebenes Eingabesignal zugeordnet sein. Einer Anweisung „Weiterblättern“ in einem Dokument oder einem Menü, mit welcher zum Beispiel eine Anwendung zum Lesen eines e-Books oder ein Fahrzeugassistenzsystem bedient werden kann, kann beispielsweise mit Bezug auf die Modalität Spracheingabe das Spracheingabesignal „Weiter“ zugeordnet sein, mit Bezug auf eine Gesteneingabe kann die Anweisung hingegen mit einer Wischbewegung in einer vorgegebenen Richtung gekoppelt sein.
  • Mittels solcher multimodaler Mensch-Maschine-Schnittstellen können verschiedene computergestützte Systeme bedient oder gesteuert werden, beispielsweise auch ein Fahrerassistenzsystem in einem Kraftfahrzeug.
  • Eingabesignale verschiedener Modalitäten können dabei nacheinander eingegeben und zu einer Gesamteingabeinformation verarbeitet werden. Man spricht dann von alternierender Multimodalität. Interessanter – und technisch anspruchsvoller – ist es, Eingabesignale verschiedener Modalitäten zu einer Gesamtinformation zu verarbeiten, welche parallel oder gleichzeitig eingegeben werden, also beispielsweise eine von einer Spracheingabe begleitete Geste. Dann wird von synergistischer Multimodalität gesprochen.
  • Der Erfindung liegt nun die Aufgabe zugrunde, ein Verfahren und ein System vorzuschlagen, welche es erlauben, auch parallel oder zeitgleich über verschiedene Modalitäten eingegebene Eingabesignale zuverlässig und mit hoher Robustheit zu verarbeiten.
  • Diese Aufgabe wird durch ein Verfahren und eine Fusionseinheit mit den Merkmalen der unabhängigen Ansprüche gelöst.
  • Eine bevorzugte Ausgestaltung der Erfindung umfasst ein Verfahren in einer Fusionseinheit eines Systems zur Verarbeitung multimodaler Eingabesignale.
  • Dabei empfängt die Fusionseinheit Anweisungsnachrichten von zumindest einer Sensordatenauswertungseinrichtung, wobei die Anweisungsnachrichten jeweils eine Anweisung bezeichnen, die seitens einer mit der Fusionseinheit koppelbaren Anwendung ausführbar ist. Die Fusionseinheit erzeugt daraufhin für zumindest zwei der Anweisungsnachrichten jeweils ein Kandidatenobjekt zu der jeweiligen Anweisungsnachricht. Ein solches Kandidatenobjekt bezeichnet jeweils die in der Anweisungsnachricht bezeichnete Anweisung und umfasst eine Geltungszeitangabe des Kandidatenobjekts. Die Fusionseinheit fusioniert zwei der Kandidatenobjekte, falls die Geltungszeitangaben dieser Kandidatenobjekte sich überlappende Geltungszeiten angeben, und leitet eine solche Anweisung an die Anwendung weiter, welche durch ein aus dem Schritt des Fusionierens hervorgegangenes Kandidatenobjekt bezeichnet wird.
  • Der Begriff des Fusionierens zweier Kandidatenobjekte ist im Zusammenhang mit der vorliegenden Erfindung breit dahingehend auszulegen, dass dieser Schritt nicht notwendig ein neues, aus den beiden fusionierten Kandidatenobjekten hervorgehendes Kandidatenobjekt erzeugen muss. Dies ist lediglich eine Option unter anderen. Gemäß einer zweiten Option können die beiden Kandidatenobjekte unverändert aus dem Schritt des Fusionierens hervorgehen. Dies ist der Fall, falls die durch die jeweiligen Kandidatenobjekte bezeichneten Anweisungen nicht konkurrieren. Der Begriff konkurrierender Anweisungen wird nachfolgend im Detail erläutert. Gemäß einer dritten Option schließlich kann es vorkommen, dass ein oder beide Kandidatenobjekte im Schritt des Fusionierens gelöscht werden. Mit anderen Worten ist es möglich, dass aus einem Schritt des Fusionierens kein Kandidatenobjekt mehr hervorgeht.
  • Die Geltungszeitangabe eines Kandidatenobjekts gibt allgemein eine Geltungszeit an, innerhalb welcher eine durch das Kandidatenobjekt bezeichnete Anweisung mit anderen Anweisungen, welche durch andere Kandidatenobjekte bezeichnet werden, in Konkurrenz stehen kann. Die Geltungszeitangabe kann dabei einen oder mehrere Zeitpunkte oder ein oder mehrere Zeitintervalle oder eine Kombination von Zeitpunkten und Zeitintervallen angeben. Eine erste Geltungszeit, welche durch eine Geltungszeitangabe eines ersten Kandidatenobjekts angegeben wird, überlappt im Sinne der vorliegenden Erfindung mit einer zweiten Geltungszeit, welche durch eine Geltungszeitangabe eines zweiten Kandidatenobjekts angegeben wird, wenn die erste Geltungszeit mit der zweiten Geltungszeit eine zeitliche Überschneidung umfasst. Eine zeitliche Überschneidungen liegt vor, wenn eine erste Geltungszeit einen ersten Zeitpunkt umfasst und eine zweite Geltungszeit einen zweiten Zeitpunkt umfasst, welcher gleich dem ersten Zeitpunkt ist. Eine zeitliche Überschneidung liegt auch vor, wenn eine erste Geltungszeit einen Zeitpunkt umfasst und eine zweite Geltungszeit ein Zeitintervall umfasst und der Zeitpunkt in dem Zeitintervall liegt. Eine zeitliche Überschneidung liegt auch vor, wenn eine erste Geltungszeit ein erstes Zeitintervall umfasst und eine zweite Geltungszeit ein zweites Zeitintervall umfasst und das erste Zeitintervall mit dem zweiten Zeitintervall zumindest einen Zeitpunkt gemeinsam hat. In aller Regel wird die Geltungszeit eines Kandidatenobjekts zumindest ein Zeitintervall umfassen. Im Folgenden wird aus Gründen der einfacheren Lesbarkeit oft Bezug genommen auf einen Geltungszeitraum eines Kandidatenobjekts. Ein solcher Geltungszeitraum ist im Sinne der vorliegenden Erfindung zu verstehen als die durch die Geltungszeitangabe des Kandidatenobjekts angegebene Geltungszeit des Kandidatenobjekts.
  • Eine weitere bevorzugte Ausgestaltung der Erfindung betrifft eine Fusionseinheit für ein System zur Verarbeitung multimodaler Eingabesignale. Die Fusionseinheit ist dabei eingerichtet und bestimmt, Anweisungsnachrichten von zumindest einer Sensordatenauswertungseinrichtung zu empfangen, welche jeweils eine Anweisung bezeichnen, die seitens einer mit der Fusionseinheit koppelbaren Anwendung ausführbar ist. Weiter ist die Fusionseinheit eingerichtet, für zumindest zwei der Anweisungsnachrichten jeweils ein Kandidatenobjekt der oben angegebenen Art zu erzeugen, welches die jeweilige Anweisung bezeichnet und eine Geltungszeitangabe umfasst. Die Fusionseinheit ist schließlich eingerichtet, zwei der Kandidatenobjekte zu fusionieren, falls die Geltungszeitangaben dieser Kandidatenobjekte sich überlappende Geltungszeiten angeben, und eine Anweisung an die Anwendung weiterzuleiten, welche Anweisung durch ein aus dem Schritt des Fusionierens hervorgegangenes Kandidatenobjekt bezeichnet wird.
  • Das Erzeugen eines Kandidatenobjekts zu einer empfangenen Anweisungsnachricht macht es möglich, Anweisungsnachrichten, welche parallel oder zeitgleich erfasste Eingabesignale betreffen, miteinander zu vergleichen. Konkurrierende oder sich widersprechende Anweisungen können dabei erkannt und gegebenenfalls gelöscht werden. Miteinander vereinbare Anweisungen, die über verschiedene Modalitäten erfasst worden sind, können zusammengefasst und als eine gemeinsame Anweisung weiterverarbeitet werden. Zusammenfassend erlaubt es das Konzept der Einführung eines Kandidatenobjekts, Anweisungsnachrichten, die von zeitgleich oder parallel erfassten Eingabesignalen herrühren, in geeigneter Weise zu fusionieren. Auf diese Weise ergibt sich eine robuste Erkennung der Eingabesignale und eine hohe Erkennungsrate, wie dies nachfolgend im Detail beschrieben wird.
  • Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen.
  • Die Fusionseinheit empfängt, wie erwähnt, eine Mehrzahl von Anweisungsnachrichten, insbesondere eine erste Anweisungsnachricht und eine zweite Anweisungsnachricht. Die zweite Anweisungsnachricht unterscheidet sich dabei von der ersten Anweisungsnachricht. Eine zweite Sensordatenauswertungseinrichtung, über welche die zweite Anweisungsnachricht empfangen worden ist, kann einerseits mit einer ersten Sensordatenauswertungseinrichtung übereinstimmen, über welche die erste Anweisungsnachricht empfangen worden ist, oder andererseits von dieser verschieden sein.
  • Wie bereits vorstehend allgemein für eine Anweisungsnachricht, beispielsweise die erste Anweisungsnachricht, beschrieben, erzeugt die Fusionseinheit auch zu der zweiten Anweisungsnachricht ein zweites Kandidatenobjekt, wobei das zweite Kandidatenobjekt die zweite Anweisung bezeichnet und eine Geltungszeitangabe des zweiten Kandidatenobjekts umfasst. Das erste Kandidatenobjekt und das zweite Kandidatenobjekt können jeweils zusätzlich eine Gewichtung des ersten beziehungsweise des zweiten Kandidatenobjekts umfassen.
  • Spezifisch kann nun die Fusionseinheit das erste Kandidatenobjekt mit dem zweiten Kandidatenobjekt in Abhängigkeit von der Gewichtung des ersten Kandidatenobjekts und der Gewichtung des zweiten Kandidatenobjekts fusionieren, falls die Geltungszeitangabe des ersten Kandidatenobjekts eine erste Geltungszeit angibt, welche mit einer durch die Geltungszeitangabe des zweiten Kandidatenobjekts angegebenen zweiten Geltungszeit überlappt, und falls die erste Anweisung mit der zweiten Anweisung konkurriert.
  • Allgemein konkurriert eine erste Anweisung mit einer zweiten Anweisung im Sinne der vorliegenden Erfindung, wenn die erste Anweisung und die zweite Anweisung derselben Anweisungsklasse angehören. Anweisungen derselben Anweisungsklasse betreffen einen gemeinsamen technischen Aspekt mit Bezug auf eine Anwendung, welche eingerichtet ist, die Anweisungen der Anweisungsklasse auszuführen. Anweisungen einer Anweisungsklasse können beispielsweise solche Anweisungen sein, die die Bewegung eines Eingabeelements, beispielsweise eines Cursors, steuern („auf“, „ab“, „links“, „rechts“). Eine andere Anweisungsklasse kann beispielsweise Anweisungen zum Navigieren in einem Dokument, einem Menü oder dergleichen umfassen („Vor- oder Zurückblättern“). Eine dritte Anweisungsklasse kann beispielsweise Anweisungen zum Betätigen eines Eingabeelements umfassen („Click“, „Doppel-Click“, anhaltender „Click“ (mit Druck oder Zeitdauer)).
  • Wie nachfolgend erläutert, können konkurrierende Anweisungen zum einen miteinander vereinbar sein. Dies betrifft den Fall, dass die Anweisungen im Wesentlichen identisch sind und als eine gemeinsame Anweisung interpretiert werden können. Andererseits können konkurrierende Anweisungen miteinander in Konflikt stehen. Dies ist der Fall, wenn die Anweisungen derart unterschiedlich sind, dass sie nicht miteinander vereinbar sind.
  • Gemäß einer ersten Variante kann im Schritt des Fusionierens des ersten Kandidatenobjekts mit dem zweiten Kandidatenobjekt das erste Kandidatenobjekt oder das zweite Kandidatenobjekt oder beide Kandidatenobjekte gelöscht werden, wenn die erste Anweisung mit der zweiten Anweisung in Konflikt steht. Das nicht gelöschte Kandidatenobjekt, falls ein solches verbleibt, geht dann unverändert aus dem Schritt des Fusionierens hervor.
  • Allgemein steht im Sinne der vorliegenden Erfindung eine erste Anweisung mit einer zweiten Anweisung in Konflikt, wenn die erste Anweisung und die zweite Anweisung unvereinbar miteinander sind oder zueinander im Widerspruch stehen. Mit Bezug auf die vorstehend exemplarisch genannte Anweisungsklasse von Anweisungen, die eine Navigation in einem Dokument oder Menü umfassen, sind die Anweisungen „Vorblättern“ und „Zurückblättern“ in Konflikt miteinander, da sie widersprüchlich und unvereinbar sind. In gleicher Weise beispielsweise ist eine Anweisung zum Bewegen eines Cursors „nach rechts“ in Konflikt mit einer Anweisung zum Bewegen eines Cursors „nach links“.
  • Ein gelöschtes Kandidatenobjekt hat keinen Einfluss auf das weitere Verfahren, insbesondere beeinflusst ein gelöschtes Kandidatenobjekt keines der anderen Kandidatenobjekte, weder hinsichtlich einer bezeichneten Anweisung noch hinsichtlich einer Geltungszeitangabe oder einer Gewichtung.
  • In der Regel wird im Konfliktfall im Schritt des Fusionierens zumindest dasjenige Kandidatenobjekt gelöscht, welches eine Gewichtung aufweist, die geringer ist als die Gewichtung des jeweils anderen Kandidatenobjekts. In dem Fall zum Beispiel, dass die Gewichtung beider Kandidatenobjekte einen vorgegebenen Wert nicht übersteigt, kann es jedoch auch vorgesehen sein, dass beide Kandidatenobjekte gelöscht werden.
  • Gemäß einer zweiten Variante wird im Schritt des Fusionierens aus dem ersten Kandidatenobjekt und dem zweiten Kandidatenobjekt ein fusioniertes Kandidatenobjekt gebildet, wenn die erste Anweisung und die zweite Anweisung miteinander vereinbar sind. Dieses fusionierte Kandidatenobjekt, welches aus dem Schritt des Fusionierens hervorgeht, ersetzt dann das erste und das zweite Kandidatenobjekt, welche jeweils als gelöscht angesehen werden können. Im Unterschied zur ersten Variante leben jedoch das erste und das zweite Kandidatenobjekt in dem fusionierten Kandidatenobjekt weiter und haben daher Einfluss auf das weitere Verfahren.
  • Allgemein sind im Sinne der vorliegenden Erfindung eine erste Anweisung und eine zweite Anweisung miteinander vereinbar, wenn die erste Anweisung gleich der zweiten Anweisung ist. Als vereinbar gelten eine erste Anweisung und eine zweite Anweisung auch dann, wenn die erste Anweisung durch ein oder mehrere erste Anweisungsparameter spezifiziert wird und die zweite Anweisung durch ein oder mehrere zweite Anweisungsparameter spezifiziert wird und sich jeweils entsprechende erste und zweite Anweisungsparameter innerhalb eines vorgegebenen Vereinbarkeitstoleranzintervalls liegen. Eine Anweisung zum Betätigen einer Eingabeeinrichtung an vorgegebenen X- und Y-Koordinaten (wie zum Beispiel „Click (x = 1000, y = 500)“) kann beispielsweise mit einer entsprechenden Anweisung (wie zum Beispiel „Click (x = 992, y = 507)“) vereinbar sein, sofern die X- und Y-Koordinaten, welche die jeweiligen Anweisungen als Anweisungsparameter spezifizieren, hinreichend nahe beieinander liegen, das heißt in dem angegebenen Vereinbarkeitstoleranzintervall liegen, welches beispielsweise in X- und Y-Richtung jeweils einen Wert von 10 umfassen kann.
  • Die dann durch das fusionierte Kandidatenobjekt bezeichnete Anweisung wird von der ersten Anweisung oder von der zweiten Anweisung oder von der ersten Anweisung und der zweiten Anweisung abgeleitet. Insbesondere kann die durch das fusionierte Kandidatenobjekt bezeichnete Anweisung der ersten Anweisung entsprechen, falls die erste Anweisung mit der zweiten Anweisung übereinstimmt.
  • In dem Fall, dass die erste Anweisung durch ein oder mehrere erste Anweisungsparameter spezifiziert wird und die zweite Anweisung durch ein oder mehrere zweite Anweisungsparameter spezifiziert wird und sich jeweils entsprechende erste und zweite Anweisungsparameter innerhalb eines vorgegebenen Ähnlichkeitstoleranzintervalls liegen, welches in der Regel kleiner ist als das erwähnte Vereinbarkeitstoleranzintervall (und mit Bezug auf das vorhergehende Beispiel lediglich eine Abweichung um 5 statt 10 erlaubt), kann die durch das fusionierte Kandidatenobjekt bezeichnete Anweisung der ersten Anweisung oder der zweiten Anweisung entsprechen.
  • In dem Fall, dass die zweite Anweisung nicht im Wesentlichen der ersten Anweisung entspricht, das heißt, die jeweiligen Anweisungsparameter zwar innerhalb des vorgegebenen Vereinbarkeitstoleranzintervalls liegen, jedoch nicht innerhalb des vorgegebenen Ähnlichkeitstoleranzintervalls, kann die durch das fusionierte Kandidatenobjekt bezeichnete Anweisung durch ein oder mehrere dritte Anweisungsparameter spezifiziert werden, welche mit Bezug zu den entsprechenden ersten und zweiten Anweisungsparameter jeweils innerhalb des entsprechenden Vereinbarkeitstoleranzintervalls liegen. Ein solcher dritter Anweisungsparameter könnte beispielsweise jeweils dadurch gebildet werden, dass in etwa ein Mittelwert zwischen entsprechenden ersten und zweiten Anweisungsparametern gebildet wird (mit Bezug auf das vorhergehende Beispiel „Click (x = 996, y = 503)“).
  • Die Geltungszeitangabe des fusionierten Kandidatenobjekts wird von der Geltungszeitangabe des ersten Kandidatenobjekts oder von der Geltungszeitangabe des zweiten Kandidatenobjekts oder von der Geltungszeitangabe des ersten Kandidatenobjekts und der Geltungszeitangabe des zweiten Kandidatenobjekts abgeleitet. Die Geltungszeitangabe eines Kandidatenobjekts gibt, wie bereits erwähnt, allgemein eine Geltungszeit an, innerhalb welcher eine durch das Kandidatenobjekt bezeichnete Anweisung mit anderen Anweisungen in Konkurrenz stehen kann. Die Geltungszeitangabe eines Kandidatenobjekts kann folglich abhängig von verschiedenen Parametern jeweils spezifisch für jedes Kandidatenobjekt separat bestimmt werden.
  • Bevorzugt wird der durch die Geltungszeitangabe angegebene Geltungszeitraum eines Kandidatenobjekts in Abhängigkeit von der bezeichneten Anweisung und in Abhängigkeit von der Anweisungsnachricht erzeugt, zu welcher das Kandidatenobjekt erzeugt worden ist.
  • Anweisungen unterschiedlicher Anweisungsklassen erfordern in der Regel unterschiedliche Geltungszeiträume. Beispielsweise Anweisungen zum Bewegen eines Eingabeelements, zum Beispiel eines Cursors, werden in sehr kurzen zeitlichen Abständen an die Fusionseinheit übertragen. Folglich sind die entsprechenden Geltungszeiträume dieser Anweisungen sehr kurz, verglichen beispielsweise mit Anweisungen zum Navigieren in einem Dokument, beispielsweise zum Umblättern von Seiten in dem Dokument. Mit anderen Worten heißt dies, dass der Geltungszeitraum eines Kandidatenobjekts in Abhängigkeit von einer Modalität erzeugt werden kann, welcher eine erste Sensoreinrichtung zugeordnet ist, welche Sensordaten erfasst hat, auf deren Basis die erste Sensordatenauswertungseinrichtung die erste Anweisungsnachricht erzeugt hat. Mit nochmals anderen Worten kann abhängig davon, ob die erste Anweisungsnachricht von einer Spracheingabe, einer Gesteneingabe, der Erfassung der Pupillen eines Nutzers oder einer Eingabe über ein Touchpad eingegeben worden ist, die Bestimmung des Geltungszeitraums des entsprechenden Kandidatenobjekts, welches zu der Anweisungsnachricht erzeugt wird, variieren.
  • Der Geltungszeitraum des fusionierten Kandidatenobjekts kann dabei gemäß einer ersten Variante dem Geltungszeitraum des ersten Kandidatenobjekts entsprechen. Gemäß einer zweiten Variante kann der Geltungszeitraum des fusionierten Kandidatenobjekts dem Geltungszeitraum des zweiten Kandidatenobjekts entsprechen. Gemäß einer dritten Variante kann der Geltungszeitraum des fusionierten Kandidatenobjekts einem Geltungszeitraum entsprechen, welche von der Schnittmenge des Geltungszeitraums des ersten Kandidatenobjekts mit dem Geltungszeitraum des zweiten Kandidatenobjekts umfasst ist. Gemäß einer vierten Variante schließlich kann der Geltungszeitraum des fusionierten Kandidatenobjekts einem Geltungszeitraum entsprechen, welcher von der Vereinigung des Geltungszeitraums des ersten Kandidatenobjekts mit dem Geltungszeitraum des zweiten Kandidatenobjekts umfasst ist.
  • Die Gewichtung des fusionierten Kandidatenobjekts wird von der Gewichtung des ersten Kandidatenobjekts oder von der Gewichtung des zweiten Kandidatenobjekts oder von der Gewichtung des ersten Kandidatenobjekts und der Gewichtung des zweiten Kandidatenobjekts abgeleitet. Die Gewichtung eines Kandidatenobjekts gibt allgemein an, welcher Stellenwert dem Kandidatenobjekt, im Vergleich zu anderen Kandidatenobjekten, zugeordnet ist. Eine höhere Gewichtung unterstreicht eine Priorität eines Kandidatenobjekts gegenüber anderen Kandidatenobjekten mit entsprechend niedrigerer Gewichtung. Es versteht sich, dass die Gewichtung beispielsweise des ersten Kandidatenobjekts in Abhängigkeit von der ersten Anweisungsnachricht, welche das erste Kandidatenobjekt bezeichnet, erzeugt werden kann.
  • Auf diese Weise kann sich die Priorität einer Anweisung gegenüber anderen Anweisungen in der Gewichtung des Kandidatenobjekts ausdrücken. Wie bereits mit Bezug auf den Geltungszeitraum beschrieben, kann auch die Gewichtung des ersten Kandidatenobjekts in Abhängigkeit von einer Modalität erzeugt werden, über welche die erste Anweisungsnachricht, welche das erste Kandidatenobjekt bezeichnet, erfasst worden ist.
  • Die Gewichtung des fusionierten Kandidatenobjekts wird in der Regel die Gewichtung des ersten Kandidatenobjekts und die Gewichtung des zweiten Kandidatenobjekts übersteigen. Zum Bestimmen der Gewichtung des fusionierten Kandidatenobjekts können beispielsweise die entsprechenden Gewichtungen des ersten und zweiten Kandidatenobjekts in geeigneter Weise summiert oder auf andere geeignete Weise mathematisch kombiniert werden.
  • Gemäß der vorstehend bereits knapp erläuterten dritten Variante gehen in dem Fall, dass die durch das erste Kandidatenobjekt bezeichnete Anweisung mit der durch das zweite Kandidatenobjekt bezeichneten Anweisung nicht konkurriert, beide Kandidatenobjekte unverändert aus dem Schritt des Fusionierens wieder hervor. Die Tatsache, dass auch hier von Fusionieren gesprochen wird, hat im Wesentlichen damit zu tun, dass dies eine konkrete Implementation des Fusionsprozesses vereinfacht, da dabei dann lediglich die Geltungszeiträume der jeweiligen Kandidatenobjekte betrachtet werden müssen, wenn ein Kandidatenpaar zum Fusionieren ausgewählt wird.
  • Eine Anweisungsnachricht, welche die Fusionseinheit von einer Sensordatenauswertungseinrichtung empfängt, kann, zusätzlich zu der Bezeichnung der Anweisung, weitere Parameter umfassen.
  • Gemäß einer erste Variante kann die Anweisungsnachricht einen Sensoreinrichtungsparameter umfassen, welcher eine Sensoreinrichtung bezeichnet, welche Sensordaten bereitgestellt hat, auf deren Basis die Sensordatenauswertungseinrichtung die Anweisungsnachricht erzeugt hat. Mit anderen Worten kann der Parameter beispielsweise angeben, dass die Anweisungsnachricht auf Basis von Bilddaten erkannt worden ist, die von einer Kameraeinrichtung erfasst und bereitgestellt worden sind.
  • Gemäß einer zweiten Variante kann die Anweisungsnachricht einen Anwendungsparameter umfassen. Ein solcher Anwendungsparameter spezifiziert ein oder mehrere Anwendungen, welche zum Ausführen der Anweisung eingerichtet oder vorgesehen sind. Eine Anwendung, die beispielsweise eingerichtet ist, Anweisungen zum Vor- und Zurückblättern in einem Dokument oder einem Menü auszuführen, kann Teil eines Fahrzeugassistenzsystems eines Kraftfahrzeugs sein.
  • Gemäß einer dritten Variante kann die Anweisungsnachricht einen Erfassungszeitparameter umfassen. Ein solcher Parameter kann ein Erfassungszeitintervall spezifizieren, innerhalb dessen Sensordaten seitens einer Sensoreinrichtung erfasst worden sind, auf deren Basis die entsprechende Sensordatenauswertungseinrichtung die Anweisungsnachricht erzeugt hat.
  • Gemäß einer vierten Variante kann die Anweisungsnachricht einen Erkennungszeitparameter umfassen, welcher einen Erkennungszeitpunkt spezifiziert, an dem die Sensordatenauswertungseinrichtung aus seitens einer Sensoreinrichtung empfangenen Sensordaten die in der Anweisungsnachricht bezeichnete Anweisung erkannt hat.
  • Es versteht sich, dass die Geltungszeitangabe eines Kandidatenobjekts bevorzugt in Abhängigkeit von dem Erfassungszeitparameter oder dem Erkennungszeitparameter oder in Abhängigkeit von beiden dieser Parameter bestimmt wird.
  • Gemäß einer fünften Variante kann die Anweisungsnachricht einen Konfidenzparameter umfassen. Ein solcher Konfidenzparameter spezifiziert, wie sicher die Sensordatenauswertungseinrichtung aus seitens einer Sensoreinrichtung empfangenen Sensordaten die in der Anweisungsnachricht bezeichnete Anweisung erkannt hat. Mittels des Konfidenzparameters können somit eventuelle Unsicherheiten die Erkennung der Anweisung betreffend quantifiziert und mit in den Fusionsprozess einbezogen werden. In der Regel wird ein solcher Konfidenzparameter einen Wert zwischen 0 und 1 oder zwischen 0 und 100 annehmen, wobei ein Wert am oberen Ende eines solchen Intervalls jeweils eine hohe Sicherheit der Erkennung der Anweisung bedeutet.
  • Es versteht sich, dass die Gewichtung eines Kandidatenobjekts auch in Abhängigkeit von dem entsprechenden Konfidenzparameter der Anweisungsnachricht bestimmt werden kann. In der Regel wird der Konfidenzparameter in vorgegebener Weise in die Bestimmung der Gewichtung des Kandidatenobjekts mit eingehen.
  • Es versteht sich überdies, dass die vorstehend beschriebenen Varianten in beliebiger Weise miteinander kombiniert werden können.
  • Wie bereits vorstehend angedeutet, kann eine erste Sensoreinrichtung, welche Sensordaten erfasst hat, auf deren Basis eine erste Sensordatenauswertungseinrichtung eine erste Anweisungsnachricht erzeugt hat, einer ersten Modalität zugeordnet sein, welche von einer zweiten Modalität verschieden ist, welche einer zweiten Sensoreinrichtung zugeordnet ist, welche Sensordaten erfasst hat, auf deren Basis eine zweite Sensordatenauswertungseinrichtung eine zweite Anweisungsnachricht erzeugt hat. Mit einfachen Worten bedeutet dies, dass Anweisungsnachrichten verarbeitet werden können, die auf Basis verschiedener Modalitäten erfasst und erkannt worden sind. Entsprechende Modalitäten sind beispielsweise Spracherkennung, Gestenerkennung, Erkennung der Blickrichtung, eine mechanische Eingabe über eine Tastatur, eine Maus oder ein Touchpad und dergleichen.
  • Hieraus ergibt sich, in Kombination mit der Tatsache, dass ein erstes Kandidatenobjekt mit einem zweiten Kandidatenobjekt dann fusioniert wird, wenn die entsprechenden Geltungszeiträume überlappen, dass das vorliegend beschriebene Verfahren geeignet und eingerichtet ist, synergistische Multimodalität zu unterstützen, das heißt eine Situation, in welcher Eingabesignale verschiedener Modalitäten parallel oder gleichzeitig eingegeben und zu einer Gesamtinformation verarbeitet werden.
  • In der Regel wird das Verfahren für jedes Kandidatenobjekt, welches bis zum Ablauf seines Geltungszeitraums nicht gelöscht worden ist, einen weiteren Schritt umfassen. Gemäß diesem Schritt wird die durch das Kandidatenobjekt bezeichnete Anweisung an eine mit der Fusionseinheit gekoppelte Anwendung weitergeleitet, die zum Ausführen der Anweisung geeignet oder bestimmt ist. Ein Kandidatenobjekt, welches bis zum Ablauf seines Geltungszeitraums nicht gelöscht worden ist, hat sich somit gegen andere, konkurrierende oder sogar in Konflikt stehende Kandidatenobjekte durchgesetzt. Es kann sich dabei um ein ursprünglich zu einer empfangenen Anweisungsnachricht erzeugtes Kandidatenobjekt oder aber um ein fusioniertes Kandidatenobjekt, das heißt im Rahmen des Fusionsprozesses neu erzeugtes Kandidatenobjekt, handeln.
  • Gemäß einer bevorzugten Ausführungsform des vorstehend beschriebenen Verfahrens kann das erste Kandidatenobjekt, oder allgemein jedes seitens der Fusionseinheit erzeugte Kandidatenobjekt, einen Fusionsparameter umfassen. Ein solcher Fusionsparameter gibt an, ob und – falls ja – zu welchem Zeitpunkt das erste Kandidatenobjekt zum potentiellen Fusionieren mit einem weiteren Kandidatenobjekt vorgesehen ist.
  • Gemäß einer ersten Variante kann der Fusionsparameter angeben, dass die durch das erste Kandidatenobjekt bezeichnete erste Anweisung unmittelbar an eine mit der Fusionseinheit gekoppelte Anwendung weitergeleitet wird, die zum Ausführen der ersten Anweisung geeignet oder bestimmt ist. Mit anderen Worten wird die durch das Kandidatenobjekt bezeichnete Anweisung weitergeleitet, bevor das Kandidatenobjekt möglicherweise einem vorstehend beschriebenen Fusionsprozess zugeführt wird. Dies kann sinnvoll sein für Anweisungen, die sehr zeitkritisch oder von sehr hoher Priorität sind.
  • Der Fusionsparameter kann weiterhin angeben, dass das erste Kandidatenobjekt nach dem Weiterleiten der durch das erste Kandidatenobjekt bezeichneten ersten Anweisung zum potentiellen Fusionieren mit solchen weiteren Kandidatenobjekten vorgesehen ist, welche eine weitere Anweisung bezeichnen, die mit der ersten Anweisung in Konflikt steht. Mit anderen Worten ist eine Fusion des Kandidatenobjekts mit Kandidatenobjekten, die vereinbare Anweisungen bezeichnen, hier nicht mehr vorgesehen. Weiter wird der Fusionsparameter in diesem Fall vorzugsweise angeben, dass die durch das erste Kandidatenobjekt bezeichnete Anwendung dann nicht mehr weitergeleitet wird, falls das erste Kandidatenobjekt bis zum Ablauf seines Geltungszeitraums nicht gelöscht worden ist.
  • Alternativ kann der Fusionsparameter auch weiter angeben, dass das erste Kandidatenobjekt nach dem Weiterleiten der durch das erste Kandidatenobjekt bezeichneten ersten Anweisung zum potentiellen Fusionieren mit weiteren Kandidatenobjekten nicht vorgesehen ist. Mit anderen Worten wird das Kandidatenobjekt dem Fusionsprozess damit vollständig entzogen.
  • Gemäß einer zweiten Variante kann der Fusionsparameter angeben, dass die durch das erste Kandidatenobjekt bezeichnete erste Anweisung nach Ablauf des Geltungszeitraums des ersten Kandidatenobjekts an eine mit der Fusionseinheit gekoppelte Anwendung weitergeleitet wird, welche zum Ausführen der ersten Anweisung geeignet oder bestimmt ist. Dies kann auch dann gelten, wenn das erste Kandidatenobjekt nach Ablauf des Geltungszeitraums als gelöscht gilt. Zum potentiellen Fusionieren mit dem ersten Kandidatenobjekt sind gemäß dieser Variante ebenfalls nur solche Kandidatenobjekte vorgesehen, deren Anweisungen mit der ersten Anweisung in Konflikt stehen.
  • Allgemein kann eine Kommunikation zwischen einer Sensoreinrichtung und einer Sensordatenauswertungseinrichtung, zum Übermitteln von durch die Sensoreinrichtung erfassten Sensordaten, oder eine Kommunikation zwischen einer Sensordatenauswertungseinrichtung und der Fusionseinheit, zum Übermitteln einer Anweisungsnachricht, oder eine Kommunikation zwischen der Fusionseinheit und einer mit der Fusionseinheit gekoppelten Anwendung, zum Weiterleiten einer Anweisung, auf einfache Weise über Sockets, vorzugsweise TCP-Sockets, erfolgen. Auf diese Weise können zusätzliche Sensoreinheiten und/oder Anwendungen problemlos in das System eingebunden werden. Andere geeignete Kommunikationsverfahren und -protokolle sind gleichfalls verwendbar.
  • Gemäß einer bevorzugten Variante wird eine Anweisungsnachricht im JSON-Datenformat codiert. Dieses standardisierte Datenformat bietet ein leicht verständliches, leicht lesbares und einfach mit bekannten Mitteln verarbeitbares Datenformat, welches auf einfache Weise auch die Aufnahme einer variierenden Anzahl von Parametern erlaubt.
  • Das vorstehend beschriebene Verfahren umfasst vor dem Empfangen der ersten Anweisungsnachricht folgende Schritte: Ein durch einen Nutzer des Systems angegebenes Eingabesignal wird von einer ersten Sensoreinrichtung in Form von Sensordaten erfasst. Die empfangenen Sensordaten werden an eine erste Sensordatenauswertungseinrichtung weitergeleitet, welche aus den Sensordaten eine Anweisung für eine mit der Fusionseinheit koppelbare Anwendung erkennt. Die Sensordatenauswertungseinrichtung erzeugt dann eine entsprechende Anweisungsnachricht und leitet diese Anweisungsnachricht an die Fusionseinheit weiter.
  • Die entsprechenden Schritte wiederholen sich in der Regel vielfach als Folge der Eingabe weiterer Eingabesignale durch den Nutzer, vorzugsweise auch unter paralleler oder gleichzeitiger Nutzung verschiedener Modalitäten.
  • Eine bevorzugte Ausführungsform eines Systems zur Verarbeitung multimodaler Eingabesignale mit einer Fusionseinheit der vorstehend beschriebenen Art umfasst weiterhin eine Mehrzahl von Sensoreinrichtungen. Diese Sensoreinrichtungen sind eingerichtet, Eingabesignale in Form von Sensordaten zu erfassen. Zumindest zwei der Sensoreinrichtungen sind dabei verschiedenen Modalitäten zugeordnet. Eine Sensoreinrichtung kann beispielsweise als Kamera zum Erfassen von Gesten eines Nutzers oder zum Erfassen einer Pupillenbewegung eines Nutzers ausgebildet sein. Eine weitere Sensoreinrichtung kann zum Aufzeichnen von gesprochener Sprache ausgebildet sein. Schließlich kann auch eine Sensoreinrichtung als berührungsempfindliche Eingabeeinrichtung ausgebildet sein, beispielsweise als Touchscreen oder Touchpad.
  • Das System umfasst weiterhin zumindest eine Sensordatenauswertungseinrichtung. Diese ist eingerichtet, Sensordaten von einer oder mehreren der Sensoreinrichtungen zu empfangen, aus den Sensordaten Anweisungen für mit der Fusionseinheit koppelbare Anwendungen zu erkennen und die jeweiligen Anweisung bezeichnende Anweisungsnachrichten an die Fusionseinheit weiterzuleiten.
  • Zumindest eine Sensordatenauswertungseinrichtung kann beispielsweise eingerichtet sein, aus mittels einer Kamera erfassten Bilddaten Gesten eines Nutzers als Eingabesignale zu extrahieren und daraus eine entsprechende Anweisung für eine mit der Fusionseinheit koppelbare Anwendung zu erkennen. Diese oder eine andere Sensordatenauswertungseinrichtung kann überdies eingerichtet sein, aus mittels der Kamera erfassten Bilddaten einen Blickverlauf eines Nutzers als Eingabesignale zu extrahieren und daraus eine Anweisung für mit der Fusionseinheit koppelbare Anwendungen zu erkennen. Weiterhin kann eine Sensordatenauswertungseinrichtung der genannten Art eingerichtet sein, aus aufgezeichneten Sprachdaten seitens eines Nutzers eingegebene Sprachbefehle als Eingabesignale zu extrahieren und daraus eine Anweisung für eine mit der Fusionseinheit koppelbare Anwendung zu erkennen. Schließlich kann eine Sensordatenauswertungseinrichtung vorliegen, die eingerichtet ist, aus erfassten Berührungsdaten seitens eines Nutzers eingegebene kontaktgebundene Eingabegesten, wie zum Beispiel ein Tippen, Ziehen, Drücken, Wischen oder dergleichen als Eingabesignale zu extrahieren und daraus eine Anweisung für eine mit der Fusionseinheit koppelbare Anwendungen zu erkennen.
  • Das System kann weiterhin zumindest einen Präprozessor umfassen, der eingerichtet ist, von der zumindest einen Sensordatenauswertungseinrichtung empfangene Anweisungsnachrichten vorzuverarbeiten, beispielsweise zu glätten, und dann an die Fusionseinheit weiterzuleiten.
  • Ein vorstehend beschriebenes System kann eingerichtet sein, die Bedienung oder Steuerung eines Fahrzeugassistenzsystems, beispielsweise eines Navigationssystems, eines Kraftfahrzeugs zu unterstützen.
  • Die verschiedenen in dieser Anmeldung genannten Ausführungsformen der Erfindung sind, sofern im Einzelfall nicht anders ausgeführt, mit Vorteil miteinander kombinierbar.
  • Die Erfindung wird nachfolgend exemplarisch in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:
  • 1 eine bevorzugte Ausführungsform eines Systems zur Verarbeitung multimodaler Eingabesignale und
  • 2 Schritte einer bevorzugten Ausführungsform eines Verfahrens zur Verarbeitung multimodaler Eingabesignale.
  • 1 zeigt ein System 40 zur Verarbeitung multimodaler Eingabesignale. Die multimodalen Eingabesignale können dabei über verschiedene Sensoreinrichtungen 10, 12, 14, 16 erfasst werden, die eine erste Ebene des Systems bilden. Eine Sensoreinrichtung 10 ist eingerichtet, Sprachdaten zu erfassen. Verschiedene Kamera-Einrichtungen 12, 14 können einerseits Pupillengröße und Bewegen eines Nutzers, andererseits Gesten eines Nutzers, insbesondere Gesten einer Hand oder der Finger einer Hand, in Form von Bilddaten erfassen. Ein Touchpad 16 kann berührungsgebundene Eingabegesten erfassen.
  • In einer zweiten Ebene stehen eine Mehrzahl von Sensordatenauswertungseinrichtungen 18, 20, 22 zur Verfügung. Dabei ist jeder Sensoreinrichtung 10, 12, 14, 16 eine Sensordatenauswertungseinrichtung 18, 20, 22 zugeordnet, welche eingerichtet ist, die seitens der Sensoreinrichtung 10, 12, 14, 16 erfassten Sensordaten auszuwerten.
  • Die Sensordatenauswertungseinrichtung 18 beispielsweise umfasst eine Spracherkennungsfunktionalität zum Auswerten von Sprachdaten. Die Sensordatenauswertungseinrichtung 20 ist eingerichtet, Bilddaten zu verarbeiten, sie umfasst dazu eine Bilderkennungsapplikation, die eingerichtet ist, Bilddaten verschiedener Art hinsichtlich darin erkennbarer Eingabesignale zu verarbeiten. Die Sensordatenauswertungseinrichtung 22 ist eingerichtet, über die berührungsempfindliche Sensoreinrichtung 16 angegebene Eingabesignale auszuwerten.
  • Die Auswertung der Sensordaten erfolgt dabei in der Regel auf Basis vorgegebener, zu erkennender Muster oder Gesten oder eines vorgegebenen, zu erkennenden Vokabulars. Die Spracherkennungseinrichtung der Sensordatenauswertungseinrichtung 18 beispielsweise ist in der Lage, eine vorgegebene Menge von spezifischen Eingabebefehlen zu erkennen und jedem dieser Eingabebefehle eine dem Befehl zugeordnete Anweisung zuzuordnen. In analoger Weise sind für die Bilderkennungseinrichtung der Sensordatenauswertungseinrichtung 20 beispielsweise spezifische Gesten der Hand oder der Finger vorgegeben, welche entsprechenden Anweisungen direkt zugeordnet sind. Einem Sprachbefehl „Weiter“ kann beispielsweise eine Anweisung zum Weiterblättern in einem Dokument oder einem Menü zugeordnet sein. Auch einer vorgegebenen Handgeste, beispielsweise einer schnellen Wischbewegung von rechts nach links, kann dieselbe Anweisung zugeordnet sein.
  • Die Sensordatenauswertungseinrichtungen 18, 20, 22 sind eingerichtet, eine erkannte Anweisungen in Form einer Anweisungsnachricht an die Fusionseinheit 26 oder einen der Fusionseinheit 26 vorgeschalteten Präprozessor 24 weiterzuleiten. Die Fusionseinheit 26 und der optionale Präprozessor 24 bilden eine dritte Ebene des Systems 40.
  • Der Präprozessor 24 ist eingerichtet, Anweisungsnachrichten vorzuverarbeiten. Anweisungsnachrichten beispielsweise, welche die Blickposition eines Nutzers betreffen und welche auf Basis von der Sensoreinrichtung 12 erkannten Pupillenbewegungen eines Nutzers abgeleitet worden sind, werden in der Regel mit hoher Update-Frequenz, ca. 30 Hz, von der Sensordatenauswertungseinrichtung 20 an den Präprozessor 24 beziehungsweise die Fusionseinheit 26 gesendet. Die Blickpositionen, welche über diese Anweisungsnachrichten übermittelt werden, ergeben nicht immer eine glatte oder kontinuierliche Beschreibung des Blickverlaufs, sondern sind aufgrund natürlicher Eigenheiten des menschlichen Auges oft eher diskontinuierlich oder „holprig“. Um trotzdem einen glatten und kontinuierlichen Verlauf beispielsweise eines Cursors zu erhalten, welcher über eine solche Blickrichtung gesteuert wird, kann innerhalb des Präprozessors 24 eine entsprechende Glättung erfolgen. Auf Basis der geglätteten Blickkoordinaten-Parameter werden die entsprechenden Anweisungsnachrichten dann von dem Präprozessor an die Fusionseinheit 26 weitergeleitet. In dem erwähnten Präprozessor 24 können dazu verschiedene Bildglättungsalgorithmen eingesetzt werden, insbesondere unter Verwendung geeigneter Filter (Tiefpass). Weitere Eingabeparameter können seitens solcher Glättungsalgorithmen ebenfalls verwendet werden, beispielsweise wie stark sich die Augenposition zwischen aufeinanderfolgenden Anweisungsnachrichten verändert. Ist eine erkannte Veränderung sehr hoch, so ist es vorteilhaft, auf ein Filtern mittels des Tiefpasses temporär zu verzichten, da ansonsten der resultierende Cursorverlauf zu sehr „nachzieht“, das heißt eine erkennbare und für den Nutzer störende Verzögerung aufweist.
  • In der Fusionseinheit 26 werden die empfangenen Anweisungsnachrichten dann in nachfolgend mit Bezug auf 2 detailliert beschriebener Weise fusioniert. Solche Anweisungen, die den Fusionsprozess überstehen, das heißt aus einem Schritt des Fusionierens hervorgehen, werden von der Fusionseinheit 26 an zumindest eine der verschiedenen, mit der Fusionseinheit gekoppelten Anwendungen 28, 30, 32 weitergeleitet.
  • Die Anwendungen 28, 30, 32, in einer vierten Ebene des Systems verarbeiten die Anweisungen jeweils in spezifischer Weise, beispielsweise zum Steuern einer mit der jeweiligen Anwendung gekoppelten grafischen Nutzerschnittstelle (GUI) 34, 36.
  • Der Präprozessor 24 und die Fusionseinheit 26 sind in einem Multimodal-Server 38 zusammengefasst. Ein solcher Multimodal-Server 38 kann beispielsweise in einem Kraftfahrzeug vorliegen und dazu dienen, multimodale Eingabesignale, welche über eine Reihe vorstehend beschriebener Sensoren 10, 12, 14, 16 erfasst worden sind, zu verarbeiten, um damit beispielsweise ein Fahrzeugassistenzsystem zu steuern oder zu bedienen.
  • Schritte einer bevorzugten Ausführungsform eines Verfahrens zur Verarbeitung multimodaler Eingabesignale werden im Folgenden mit Bezug auf 2 exemplarisch beschrieben.
  • In Schritt S1 gibt der Nutzer des Systems 40 ein Eingabesignal ein, beispielsweise durch Aussprechen eines Eingabebefehls, welcher in Schritt S2 von einer entsprechenden Sensoreinrichtung 10 erfasst und in Schritt S3 seitens einer entsprechenden Sensordatenauswertungseinrichtung 18 erkannt wird. Die Sensordatenauswertungseinrichtung 18 erzeugt in Schritt S4 eine Anweisungsnachricht, welche die entsprechende Anweisung bezeichnet, und leitet diese Anweisungsnachricht an die Fusionseinheit 26 weiter.
  • Zeitlich parallel oder zumindest überschneidend, aber auch in zeitlichem Abstand und nicht überschneidend, können weitere Eingaben des Nutzers über andere Modalitäten, beispielsweise über Eingabegesten, über die Blickrichtung oder über die Eingabe auf dem Touchpad 16 erfolgen, wie dies in 2 mit Bezug auf die Schritte S1‘ bis S4‘ und S1‘‘ bis S4‘‘ angedeutet ist.
  • In der Fusionseinheit 26 können nun zum weiteren Verarbeiten von Anweisungsnachrichten grundsätzlich drei Verarbeitungsstufen unterschieden werden.
  • In einer ersten Stufe werden die Anweisungsnachrichten in Schritt S5 von der Fusionseinheit empfangen und in Schritt S6 wird zu jeder der empfangenen Anweisungsnachrichten ein Kandidatenobjekt erzeugt.
  • Das Kandidatenobjekt bezeichnet dabei die entsprechende, in der Anweisungsnachricht enthaltene Anweisung und umfasst eine Geltungszeitangabe des Kandidatenobjekts, welche eine Geltungszeit des Kandidatenobjekt angibt. Diese Geltungszeit wird auch als Geltungszeitraum bezeichnet. Vorzugsweise umfasst das Kandidatenobjekt auch eine Gewichtung des Kandidatenobjekts.
  • Zusätzlich zu der Bezeichnung der Anweisung umfasst eine Anweisungsnachricht, wie sie die Fusionseinheit in Schritt S5 empfängt, weitere Parameter, beispielsweise einen Sensoreinrichtungsparameter, welcher angibt, auf Basis welcher Sensordaten (Sprachdaten, Bilddaten et cetera) die Anweisungsnachricht erkannt worden ist. Ein Anwendungsparameter der Anweisungsnachricht gibt an, an welche der Anwendungen 28, 30, 32 (vergleiche 1) sich die in der Anweisungsnachricht bezeichnete Anwendung wendet. Die Anweisungsnachricht kann weiterhin einen Erfassungszeitparameter umfassen. Dieser Parameter beschreibt ein Zeitintervall, innerhalb dessen Sensordaten seitens einer Sensoreinrichtung erfasst worden sind, auf deren Basis die Anweisungsnachricht erzeugt worden ist. Ein weiterer zeitabhängiger Parameter ist der Erkennungszeitparameter. Dieser Parameter spezifiziert einen Zeitpunkt, zu welchem eine entsprechende Sensordatenauswertungseinrichtung die in der Anweisungsnachricht bezeichnete Anweisung aus den entsprechenden Sensordaten erkannt hat. Auf Basis dieser letztgenannten zeitabhängigen Parameter kann die Fusionseinheit 26 die Geltungszeit eines Kandidatenobjekts bestimmen. Diese Geltungszeit kann beispielsweise über eine minimale Lebensdauer (minTTL), das heißt ein erstes Zeitintervall, und eine maximale Lebensdauer (maxTTL), das heißt ein zweites Zeitintervall, jeweils mit Bezug auf einen gemeinsamen Anfangszeitpunkt bestimmt werden.
  • Neben den erwähnten Parametern umfasst die Anweisungsnachricht weiterhin in der Regel einen Konfidenzparameter. Dieser spezifiziert, wie sicher die Sensordatenauswertungseinrichtung die bezeichnete Anweisung aus den jeweiligen Sensordaten erkannt hat. Die Fusionseinheit 26 bestimmt die Gewichtung eines Kandidatenobjektes in Abhängigkeit dieses Konfidenzparameters. Beispielsweise kann dem Kandidatenobjekt in einem ersten Schritt ein Gewichtsparameter „weight“ zwischen 0 und 1 zugewiesen werden. Dieser Gewichtsparameter „weight“ wird dann mit dem Konfidenzparameter „conf“ multipliziert. Daraus ergibt sich die Gewichtung „score“ des Kandidatenobjekts: score: = conf·weight.
  • In einer zweiten Verarbeitungsstufe werden erzeugte Kandidatenobjekte in der nachstehend beschriebenen Weise fusioniert. Dabei werden vereinbare, zeitlich praktisch gleichzeitig auftretende Anweisungen zusammengefasst, um eine unbeabsichtigte mehrfache Ausführung zu verhindern. Weiterhin ermöglicht der Fusionsprozess das Löschen von mit anderen Anweisungen in Konflikt stehenden Anweisungen, welche möglicherweise auf einer fehlerhaften Erfassung oder Erkennung beruhen. Auf diese Weise kann ein robustes Erkennen und Verarbeiten von Eingabesignalen sichergestellt werden, insbesondere auch von parallel oder zeitgleich über verschiedene Modalitäten eingegebenen Eingabesignalen.
  • In Schritt S7 werden aus der Menge derjenigen Kandidatenobjekte, deren Geltungszeitraum noch nicht abgelaufen ist, ein erstes und ein zweites Kandidatenobjekt ausgewählt.
  • In Schritt S8 wird geprüft, ob der Geltungszeitraum des ersten Kandidatenobjekts mit dem Geltungszeitraum des zweiten Kandidatenobjekts überlappt. Falls dies nicht der Fall ist, werden in Schritt S7 neue Kandidatenobjekte ausgewählt. Um ein Auffinden zeitlich überlappender Kandidatenobjekte zu vereinfachen, können die Kandidatenobjekte beispielsweise in zeitlicher Abhängigkeit ihrer jeweiligen Geltungszeiträume sortiert werden.
  • Falls die entsprechenden Geltungszeiträume überlappen, wird in Schritt S9 geprüft, ob die seitens des ersten Kandidatenobjekts bezeichnete erste Anweisung mit der seitens des zweiten Kandidatenobjekts bezeichneten Anweisung konkurriert. Ist dies nicht der Fall, gehen beide Kandidatenobjekte unverändert aus dem Fusionsschritt hervor. Das Fusionsverfahren wird mit Schritt S7 fortgesetzt.
  • Liegen hingegen konkurrierende Anweisungen vor, so werden diese, wie mit Bezug zu Schritt S10 angegeben, fusioniert.
  • In Teilschritt S10.1 wird geprüft, ob die erste Anweisung mit der zweiten Anweisung in Konflikt steht. Ist dies der Fall, so wird dasjenige der beiden Kandidatenobjekte, das die geringere Gewichtung aufweist, in Teilschritt S10.2 gelöscht. Alternativ kann vorgesehen sein, dass beide Kandidatenobjekte gelöscht werden, falls deren Gewichtung jeweils eine vorgegebene Minimalgewichtung nicht übersteigt. Ein Löschen beider Kandidatenobjekte kann auch dann vorgesehen sein, wenn eine Differenz zwischen den den Kandidatenobjekten jeweils zugeordneten Gewichtungen eine vorgegebene Minimaldifferenz nicht übersteigt.
  • Das nicht gelöschte Kandidatenobjekt nimmt weiterhin an dem Fusionsprozess, welcher mit Schritt S7 fortgesetzt wird, teil, sofern dessen Geltungszeitraum nicht mittlerweile abgelaufen ist.
  • In dem Fall, dass die erste Anweisung mit der zweiten Anweisung vereinbar ist, wird in Teilschritt S10.3 ein fusioniertes Kandidatenobjekt gebildet, welches das erste und das zweite Kandidatenobjekt ersetzt.
  • Vereinbare Anweisungen liegen insbesondere dann vor, wenn die erste Anweisung und die zweite Anweisung identisch sind. In diesem Fall bezeichnet die fusionierte Anwendung die entsprechende Anwendung. Der Geltungszeitraum und die Gewichtung des fusionierten Kandidatenobjekts werden jeweils in Abhängigkeit von den Geltungszeiträumen und den Gewichtungen des ersten und des zweiten Kandidatenobjekts gebildet. Der Geltungszeitraum des fusionierten Kandidatenobjekts kann dabei zum Beispiel einerseits einem der Geltungszeiträume der beiden fusionierten Kandidatenobjekte entsprechen oder aber aus der Vereinigung oder der Schnittmenge der entsprechenden Geltungszeiträume gebildet werden. Der Geltungszeitraum des fusionierten Kandidatenobjektes kann auch in alternativer Weise von zumindest einem der Geltungszeiträume der fusionierten Kandidatenobjekte abgeleitet werden. Die Gewichtung des fusionierten Kandidatenobjekts übersteigt in der Regel die Gewichtung des ersten und zweiten Kandidatenobjekts. Damit wird die Priorität des fusionierten Kandidatenobjekts verstärkt. Das fusionierte Kandidatenobjekt wird nun dem Fusionsprozess, beginnend mit Schritt S7, wieder zugeführt. Die beiden fusionierten Kandidatenobjekte werden nicht weiter berücksichtigt.
  • Der Fusionsprozess, das heißt die Schritte S7 bis S10, können in der Fusionseinheit 26 fortlaufend durchgeführt werden, solange Kandidatenobjekte mit aktivem Geltungszeitraum vorliegen.
  • In einer dritten Verarbeitungsstufe, beginnend mit Schritt S11, werden nun diejenigen noch nicht gelöschten Kandidatenobjekte betrachtet, deren Geltungszeitraum abgelaufen ist, und die folglich an dem Fusionsprozess der Schritte S7 bis S10 nicht mehr teilnehmen. Aus dieser Menge wird in Schritt S11 ein Kandidatenobjekt ausgewählt.
  • In Schritt S12 wird die durch das Kandidatenobjekt bezeichnete Anweisung an eine zum Ausführen der Anweisung geeignete oder vorgesehene Anwendung 28, 30, 32 weitergeleitet. Die Weiterleitung kann dabei insbesondere über den vorstehend erwähnten Anwendungsparameter des Kandidatenobjekts gesteuert werden.
  • Das Verarbeiten der Anweisung durch die Anwendung selbst ist nun anwendungsspezifisch und nicht mehr Gegenstand des vorliegend beschriebenen Verfahrens.
  • Bevorzugte Ausführungsformen der vorliegenden Erfindung werden im Folgenden in den nummerierten Absätzen angegeben:
    • 1. Ein Verfahren in einer Fusionseinheit eines Systems zur Verarbeitung multimodaler Eingabesignale kann die folgenden Schritte umfassen: – Empfangen von Anweisungsnachrichten, die jeweils eine Anweisung bezeichnen, die seitens einer mit der Fusionseinheit koppelbaren Anwendung ausführbar ist; – für zumindest zwei der Anweisungsnachrichten: Erzeugen eines Kandidatenobjekts zu der Anweisungsnachricht, wobei das Kandidatenobjekt die Anweisung bezeichnet und eine Geltungszeitangabe des Kandidatenobjekts umfasst, – Fusionieren von zwei der Kandidatenobjekte, falls die Geltungszeitangaben dieser Kandidatenobjekte sich überlappende Geltungszeiten angeben, und – Weiterleiten einer Anweisung an die Anwendung, welche Anweisung durch ein aus dem Schritt des Fusionierens hervorgegangenes Kandidatenobjekt bezeichnet wird.
    • 2. In dem Verfahren nach Absatz 1 können die Kandidatenobjekte unverändert aus dem Schritt des Fusionierens hervorgehen, falls die durch die jeweiligen Kandidatenobjekte bezeichneten Anweisungen nicht konkurrieren.
    • 3. Das Verfahren nach Absatz 1 oder 2 kann die folgenden Schritte umfassen: – Empfangen einer ersten Anweisungsnachricht von einer ersten Sensordatenauswertungseinrichtung, wobei die erste Anweisungsnachricht eine erste Anweisung bezeichnet, die seitens einer mit der Fusionseinheit koppelbaren Anwendung ausführbar ist; – Erzeugen eines ersten Kandidatenobjekts zu der ersten Anweisungsnachricht durch die Fusionseinheit, wobei das erste Kandidatenobjekt die erste Anweisung bezeichnet und eine Geltungszeitangabe des ersten Kandidatenobjekts sowie eine Gewichtung des ersten Kandidatenobjekts umfasst; – Empfangen einer zweiten Anweisungsnachricht von einer zweiten Sensordatenauswertungseinrichtung, wobei die zweite Anweisungsnachricht eine zweite Anweisung bezeichnet, die seitens einer mit der Fusionseinheit koppelbaren Anwendung ausführbar ist; – Erzeugen eines zweiten Kandidatenobjekts zu der zweiten Anweisungsnachricht, wobei das zweite Kandidatenobjekt die zweite Anweisung bezeichnet und eine Geltungszeitangabe des zweiten Kandidatenobjekts sowie eine Gewichtung des zweiten Kandidatenobjekts umfasst, und – Fusionieren des ersten Kandidatenobjekts mit dem zweiten Kandidatenobjekt in Abhängigkeit von der Gewichtung des ersten Kandidatenobjekts und der Gewichtung des zweiten Kandidatenobjekts, falls die Geltungszeitangabe des ersten Kandidatenobjekts eine erste Geltungszeit angibt, die mit einer zweiten Geltungszeit überlappt, die von der Geltungszeitangabe des zweiten Kandidatenobjekts angegeben wird, und falls die erste Anweisung mit der zweiten Anweisung konkurriert.
    • 4. In dem Verfahren nach Absatz 3 kann im Schritt des Fusionierens des ersten Kandidatenobjekts mit dem zweiten Kandidatenobjekt das erste Kandidatenobjekt gelöscht werden oder das zweite Kandidatenobjekt gelöscht werden oder das erste Kandidatenobjekt und das zweite Kandidatenobjekt gelöscht werden, wenn die erste Anweisung mit der zweiten Anweisung in Konflikt steht.
    • 5. In dem Verfahren nach Absatz 3 kann im Schritt des Fusionierens aus dem ersten Kandidatenobjekt und dem zweiten Kandidatenobjekt ein fusioniertes Kandidatenobjekt gebildet werden, wenn die erste Anweisung und die zweite Anweisung vereinbar sind, wobei die durch das fusionierte Kandidatenobjekt bezeichnete Anweisung von der ersten Anweisung oder von der zweiten Anweisung oder von der ersten Anweisung und der zweiten Anweisung abgeleitet wird, und wobei die Geltungszeitangabe des fusionierten Kandidatenobjekts von der Geltungszeitangabe des ersten Kandidatenobjekts oder von der Geltungszeitangabe des zweiten Kandidatenobjekts oder von der Geltungszeitangabe des ersten Kandidatenobjekts und der Geltungszeitangabe des zweiten Kandidatenobjekts abgeleitet wird, und wobei die Gewichtung des fusionierten Kandidatenobjekts von der Gewichtung des ersten Kandidatenobjekts oder von der Gewichtung des zweiten Kandidatenobjekts oder von der Gewichtung des ersten Kandidatenobjekts und der Gewichtung des zweiten Kandidatenobjekts abgeleitet wird.
    • 6. In dem Verfahren nach Absatz 5 kann die durch das fusionierte Kandidatenobjekt bezeichnete Anweisung der ersten Anweisung entsprechen, falls die erste Anweisung mit der zweiten Anweisung übereinstimmt.
    • 7. In dem Verfahren nach Absatz 5 kann die durch das fusionierte Kandidatenobjekt bezeichnete Anweisung der ersten Anweisung oder der zweiten Anweisung entsprechen, falls die erste Anweisung durch ein oder mehrere erste Anweisungsparameter spezifiziert wird und die zweite Anweisung durch ein oder mehrere zweite Anweisungsparameter spezifiziert wird und sich jeweils entsprechende erste und zweite Anweisungsparameter innerhalb eines vorgegebenen Ähnlichkeitstoleranzintervalls liegen.
    • 8. In dem Verfahren nach Absatz 5 kann, wenn die zweite Anweisung nicht der erste Anweisung entspricht, wobei die erste Anweisung durch ein oder mehrere erste Anweisungsparameter spezifiziert wird und die zweite Anweisung durch ein oder mehrere zweite Anweisungsparameter spezifiziert wird und sich jeweils entsprechende erste und zweite Anweisungsparameter innerhalb eines vorgegebenen Vereinbarkeitstoleranzintervalls liegen, die durch das fusionierte Kandidatenobjekt bezeichnete Anweisung durch ein oder mehrere dritte Anweisungsparameter spezifiziert werden, die mit Bezug zu entsprechenden ersten und zweiten Anweisungsparametern jeweils innerhalb des entsprechenden Vergleichbarkeitstoleranzintervalls liegen.
    • 9. In dem Verfahren nach mindestens einem der Absätze 5 bis 8 kann die Geltungszeitangabe des fusionierten Kandidatenobjekts der Geltungszeitangabe des ersten Kandidatenobjekts entsprechen oder der Geltungszeitangabe des zweiten Kandidatenobjekts entsprechen oder eine Geltungszeit angeben, welche eine Schnittmenge der Geltungszeit des ersten Kandidatenobjekts mit der Geltungszeit des zweiten Kandidatenobjekts umfasst, oder eine Geltungszeit angeben, welche von der Vereinigung der Geltungszeit des ersten Kandidatenobjekts mit der Geltungszeit des zweiten Kandidatenobjekts umfasst ist.
    • 10. In dem Verfahren nach mindestens einem der Absätze 5 bis 9 kann die Gewichtung des fusionierten Kandidatenobjekts die Gewichtung des ersten Kandidatenobjekts und die Gewichtung des zweiten Kandidatenobjekts übersteigen.
    • 11. In dem Verfahren nach mindestens einem der Absätze 1 bis 10 kann die Geltungszeitangabe des ersten Kandidatenobjekts in Abhängigkeit von der ersten Anweisungsnachricht erzeugt werden.
    • 12. In dem Verfahren nach mindestens einem der Absätze 1 bis 11 kann die Geltungszeitangabe des ersten Kandidatenobjekts in Abhängigkeit von einer Modalität erzeugt werden, welcher eine erste Sensoreinrichtung zugeordnet ist, welche Sensordaten erfasst hat, auf deren Basis die erste Sensordatenauswertungseinrichtung die erste Anweisungsnachricht erzeugt hat.
    • 13. In dem Verfahren nach mindestens einem der Absätze 3 bis 12 kann die Gewichtung des ersten Kandidatenobjekts in Abhängigkeit von der ersten Anweisungsnachricht erzeugt werden.
    • 14. In dem Verfahren nach mindestens einem der Absätze 3 bis 13 kann die Gewichtung des ersten Kandidatenobjekts in Anhängigkeit von einer Modalität erzeugt werden, welcher eine erste Sensoreinrichtung zugeordnet ist, welche Sensordaten erfasst hat, auf deren Basis die erste Sensordatenauswertungseinrichtung die erste Anweisungsnachricht erzeugt hat.
    • 15. In dem Verfahren nach mindestens einem der Absätze 1 bis 14 kann eine empfangene Anweisungsnachricht einen Sensoreinrichtungsparameter umfassen, welcher eine Sensoreinrichtung bezeichnet, welche Sensordaten bereitgestellt hat, auf deren Basis eine Sensordatenauswertungseinrichtung die Anweisungsnachricht erzeugt hat.
    • 16. In dem Verfahren nach mindestens einem der Absätze 1 bis 15 kann eine empfangene Anweisungsnachricht einen Anwendungsparameter umfassen, welcher eine oder mehrere Anwendungen spezifiziert, welche zum Ausführen der Anweisung eingerichtet oder vorgesehen sind.
    • 17. In dem Verfahren nach mindestens einem der Absätze 1 bis 16 kann eine empfangene Anweisungsnachricht einen Erfassungszeitparameter umfassen, welcher ein Erfassungszeitintervall spezifiziert, innerhalb dessen Sensordaten seitens einer Sensoreinrichtung erfasst worden sind, auf deren Basis eine Sensordatenauswertungseinrichtung die Anweisungsnachricht erzeugt hat.
    • 18. In dem Verfahren nach mindestens einem der Absätze 1 bis 17 kann eine empfangene Anweisungsnachricht einen Erkennungszeitparameter umfassen, welcher einen Erkennungszeitpunkt spezifiziert, an dem eine Sensordatenauswertungseinrichtung aus seitens einer Sensoreinrichtung empfangenen Sensordaten die in der Anweisungsnachricht bezeichnete Anweisung erkannt hat.
    • 19. In dem Verfahren nach Absatz 17 oder 18 kann die Geltungszeitangabe eines Kandidatenobjekts in Abhängigkeit von dem Erfassungszeitparameter bestimmt werden.
    • 20. In dem Verfahren nach Absatz 17 bis 19 kann die Geltungszeitangabe eines Kandidatenobjekts in Abhängigkeit von dem Erkennungszeitparameter bestimmt werden.
    • 21. In dem Verfahren nach mindestens einem der Absätze 1 bis 20 kann eine empfangene Anweisungsnachricht einen Konfidenzparameter umfassen, welcher spezifiziert, wie sicher eine Sensordatenauswertungseinrichtung aus seitens einer Sensoreinrichtung empfangenen Sensordaten die in der Anweisungsnachricht bezeichnete Anweisung erkannt hat.
    • 22. In dem Verfahren nach Absatz 21 kann eine Gewichtung eines Kandidatenobjekts in Abhängigkeit von dem Konfidenzparameter bestimmt werden.
    • 23. In dem Verfahren nach mindestens einem der Absätze 1 bis 22 kann eine erste Sensoreinrichtung, welche Sensordaten erfasst hat, auf deren Basis eine erste Sensordatenauswertungseinrichtung eine erste Anweisungsnachricht erzeugt hat, einer ersten Modalität zugeordnet sein, welche von einer zweiten Modalität verschieden ist, welche einer zweiten Sensoreinrichtung zugeordnet ist, welche Sensordaten erfasst hat, auf deren Basis eine zweite Sensordatenauswertungseinrichtung eine zweite Anweisungsnachricht erzeugt hat.
    • 24. Das Verfahren nach mindestens einem der Absätze 1 bis 23 kann den folgenden weiteren Schritt für jedes Kandidatenobjekt umfassen, welches bis zum Ablauf seiner Geltungszeit nicht gelöscht worden ist: – Weiterleiten der durch das Kandidatenobjekt bezeichneten Anweisung an eine mit der Fusionseinheit gekoppelte Anwendung, die zum Ausführen der Anweisung geeignet oder bestimmt ist.
    • 25. In dem Verfahren nach mindestens einem der Absätze 1 bis 24 kann ein Kandidatenobjekt weiterhin einen Fusionsparameter umfassen, welcher angibt, ob und – falls ja – zu welchem Zeitpunkt das Kandidatenobjekt zum potentiellen Fusionieren mit einem weiteren Kandidatenobjekt vorgesehen ist.
    • 26. In dem Verfahren nach Absatz 25 kann der Fusionsparameter angeben, dass die durch das Kandidatenobjekt bezeichnete Anweisung unmittelbar an eine mit der Fusionseinheit gekoppelte Anwendung weitergeleitet wird, die zum Ausführen der Anweisung geeignet oder bestimmt ist.
    • 27. In dem Verfahren nach Absatz 26 kann der Fusionsparameter weiter angeben, dass das Kandidatenobjekt nach dem Weiterleiten der durch das Kandidatenobjekt bezeichneten Anweisung zum potentiellen Fusionieren mit solchen weiteren Kandidatenobjekten vorgesehen ist, welche eine weitere Anweisung bezeichnen, die mit der durch das Kandidatenobjekt bezeichneten Anweisung in Konflikt steht.
    • 28. In dem Verfahren nach Absatz 26 kann der Fusionsparameter weiter angeben, dass das Kandidatenobjekt nach dem Weiterleiten der durch das Kandidatenobjekt bezeichneten Anweisung zum potentiellen Fusionieren mit weiteren Kandidatenobjekten nicht vorgesehen ist.
    • 29. In dem Verfahren nach Absatz 25 kann der Fusionsparameter angeben, dass die durch das Kandidatenobjekt bezeichnete Anweisung nach Ablauf der Geltungszeit des Kandidatenobjekts an eine mit der Fusionseinheit gekoppelte Anwendung weitergeleitet wird, die zum Ausführen der Anweisung geeignet oder bestimmt ist, und dass das erste Kandidatenobjekt bis zum Ablauf seiner Geltungszeit zum potentiellen Fusionieren mit solchen weiteren Kandidatenobjekten vorgesehen ist, welche eine weitere Anweisung bezeichnen, die mit der durch das Kandidatenobjekt bezeichneten Anweisung in Konflikt steht.
    • 30. In dem Verfahren nach mindestens einem der Absätze 1 bis 29 kann eine Kommunikation zwischen einer Sensoreinrichtung und einer Sensordatenauswertungseinrichtung, zum Übermitteln von durch die Sensoreinrichtung erfassten Sensordaten, oder eine Kommunikation zwischen einer Sensordatenauswertungseinrichtung und der Fusionseinheit, zum Übermitteln einer Anweisungsnachricht, oder eine Kommunikation zwischen der Fusionseinheit und einer mit der Fusionseinheit gekoppelten Anwendung, zum Weiterleiten einer Anweisung, über Sockets erfolgen.
    • 31. In dem Verfahren nach mindestens einem der Absätze 1 bis 30 können die Anweisungsnachrichten im JSON-Datenformat codiert werden.
    • 32. Das Verfahren nach mindestens einem der Absätze 1 bis 31 kann die weiteren Schritte vor dem Empfangen einer ersten Anweisungsnachricht umfassen: – Erfassen eines ersten, durch einen Nutzer eingegebenen Eingabesignals in Form von Sensordaten durch eine erste Sensoreinrichtung; – Empfangen der Sensordaten von der ersten Sensoreinrichtung und Erkennen einer Anweisung für eine mit der Fusionseinheit koppelbare Anwendung durch eine erste Sensordatenauswertungseinrichtung; – Erzeugen einer ersten Anweisungsnachricht durch die erste Sensordatenauswertungseinrichtung; und – Weiterleiten der ersten Anweisungsnachricht an die Fusionseinheit.
    • 33. Eine Fusionseinheit für ein System zur Verarbeitung multimodaler Eingabesignale kann eingerichtet sein, – Anweisungsnachrichten von zumindest einer Sensordatenauswertungseinrichtung zu empfangen, welche jeweils eine Anweisung bezeichnen, die seitens der mit der Fusionseinheit koppelbaren Anwendung ausführbar ist; – für zumindest zwei der Anweisungsnachrichten jeweils ein Kandidatenobjekt zu der Anweisungsnachricht zu erzeugen, wobei das Kandidatenobjekt jeweils die Anweisung bezeichnet und jeweils eine Geltungszeitangabe des Kandidatenobjekts umfasst, – zwei der Kandidatenobjekte zu fusionieren, falls die Geltungszeitangaben dieser Kandidatenobjekte sich überlappende Geltungszeiten angeben, und – eine Anweisung an die Anwendung weiterzuleiten, welche Anweisung durch ein aus dem Schritt des Fusionierens hervorgegangenes Kandidatenobjekt bezeichnet wird.
    • 34. Die Fusionseinheit nach Absatz 33 kann eingerichtet und bestimmt sein, das Verfahren gemäß mindestens einem der Absätze 2 bis 32 durchzuführen.
    • 35. Ein System zur Verarbeitung multimodaler Eingabesignale mit einer Fusionseinheit nach Absatz 33 oder 34 kann folgende Komponenten umfassen: – eine Mehrzahl von Sensoreinrichtungen, welche eingerichtet sind, Eingabesignale in Form von Sensordaten zu erfassen, wobei zumindest zwei der Sensoreinrichtungen verschiedenen Modalitäten zugeordnet sind; – zumindest eine Sensordatenauswertungseinrichtung, die eingerichtet ist, Sensordaten der Sensoreinrichtungen zu empfangen, aus den Sensordaten Anweisungen für mit der Fusionseinheit koppelbare Anwendungen zu erkennen und die Anweisungen bezeichnende Anweisungsnachrichten an die Fusionseinheit zu senden.
    • 36. In dem System nach Absatz 35 kann eine der Sensoreinrichtungen als Kamera ausgebildet sein.
    • 37. In dem System nach Absatz 36 kann die zumindest eine Sensordatenauswertungseinrichtung eingerichtet sein, aus mittels der Kamera erfassten Bilddaten Gesten eines Nutzers als Eingabesignale zu extrahieren und daraus eine Anweisung für mit der Fusionseinheit koppelbare Anwendungen zu erkennen.
    • 38. In dem System nach Absatz 36 oder 37 kann die zumindest eine Sensordatenauswertungseinrichtung eingerichtet sein, aus mittels der Kamera erfassten Bilddaten einen Blickverlauf eines Nutzers als Eingabesignale zu extrahieren und daraus eine Anweisung für mit der Fusionseinheit koppelbare Anwendungen zu erkennen.
    • 39. In dem System nach mindestens einem der Absätze 35 bis 38 kann eine der Sensoreinrichtungen zum Aufzeichnen von gesprochener Sprache ausgebildet sein.
    • 40. In dem System nach Absatz 39 kann die zumindest eine Sensordatenauswertungseinrichtung eingerichtet sein, aus aufgezeichneten Sprachdaten seitens eines Nutzers eingegebene Sprachbefehle als Eingabesignale zu extrahieren und daraus eine Anweisung für mit der Fusionseinheit koppelbare Anwendungen zu erkennen.
    • 41. In dem System nach mindestens einem der Absätze 35 bis 40 kann eine der Sensoreinrichtungen als berührungsempfindliche Eingabeeinrichtung ausgebildet sein, insbesondere als Touchscreen oder Touchpad.
    • 42. In dem System nach Absatz 41 kann die zumindest eine Sensordatenauswertungseinrichtung eingerichtet sein, aus mittels der Eingabeeinrichtung erfassten Berührungsdaten seitens eines Nutzers eingegebene kontaktgebundene Eingabegesten als Eingabesignale zu extrahieren und daraus eine Anweisung für mit der Fusionseinheit koppelbare Anwendungen zu erkennen.
    • 43. Das System nach mindestens einem der Absätze 35 bis 42 kann zumindest einen Präprozessor umfassen, der eingerichtet ist, von der zumindest einen Sensordatenauswertungseinrichtung empfangene Anweisungsnachrichten vorzuverarbeiten und an die Fusionseinheit weiterzuleiten.
    • 44. Ein Kraftfahrzeug kann ein System nach mindestens einem der Absätze 35 bis 43 umfassen, wobei das System eingerichtet ist, die Bedienung oder Steuerung eines Fahrzeugassistenzsystems zu unterstützen.
  • Bezugszeichenliste
    • 10
    Sensoreinrichtung (Sprache)
    12
    Sensoreinrichtung (Bild)
    14
    Sensoreinrichtung (Bild)
    16
    Sensoreinrichtung (Berührung)
    18
    Sensordatenauswertungseinrichtung (Spracherkennung)
    20
    Sensordatenauswertungseinrichtung (Bilderkennung)
    22
    Sensordatenauswertungseinrichtung (Berührungserkennung)
    24
    Präprozessor
    26
    Fusionseinheit
    28
    Anwendung
    30
    Anwendung
    32
    Anwendung
    34
    GUI
    36
    GUI
    38
    Multimodal-Server
    40
    System
    S..., S...‘, S...‘‘
    Schritte eines Verfahrens zur Verarbeitung multimodaler Eingabesignale

Claims (15)

  1. Verfahren in einer Fusionseinheit (26) eines Systems (40) zur Verarbeitung multimodaler Eingabesignale, umfassend die Schritte: – Empfangen (S5) von Anweisungsnachrichten, die jeweils eine Anweisung bezeichnen, die seitens einer mit der Fusionseinheit (26) koppelbaren Anwendung (28; 30; 32) ausführbar ist; – für zumindest zwei der Anweisungsnachrichten: Erzeugen (S6) eines Kandidatenobjekts zu der Anweisungsnachricht, wobei das Kandidatenobjekt die Anweisung bezeichnet und eine Geltungszeitangabe des Kandidatenobjekts umfasst, – Fusionieren (S10) von zwei der Kandidatenobjekte, falls die Geltungszeitangaben dieser Kandidatenobjekte sich überlappende Geltungszeiten angeben, und – Weiterleiten (S12) einer Anweisung an die Anwendung, welche Anweisung durch ein aus dem Schritt des Fusionierens hervorgegangenes Kandidatenobjekt bezeichnet wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kandidatenobjekte unverändert aus dem Schritt des Fusionierens hervorgehen, falls die durch die jeweiligen Kandidatenobjekte bezeichneten Anweisungen nicht konkurrieren.
  3. Verfahren nach Anspruch 1 oder 2, gekennzeichnet durch die Schritte: – Empfangen (S5) einer ersten Anweisungsnachricht von einer ersten Sensordatenauswertungseinrichtung (18), wobei die erste Anweisungsnachricht eine erste Anweisung bezeichnet, die seitens einer mit der Fusionseinheit (26) koppelbaren Anwendung (28) ausführbar ist; – Erzeugen (S6) eines ersten Kandidatenobjekts zu der ersten Anweisungsnachricht, wobei das erste Kandidatenobjekt die erste Anweisung bezeichnet und eine Geltungszeitangabe des ersten Kandidatenobjekts sowie eine Gewichtung des ersten Kandidatenobjekts umfasst; – Empfangen (S5) einer zweiten Anweisungsnachricht von einer zweiten Sensordatenauswertungseinrichtung (20), wobei die zweite Anweisungsnachricht eine zweite Anweisung bezeichnet, die seitens einer mit der Fusionseinheit koppelbaren Anwendung ausführbar ist; – Erzeugen (S6) eines zweiten Kandidatenobjekts zu der zweiten Anweisungsnachricht, wobei das zweite Kandidatenobjekt die zweite Anweisung bezeichnet und eine Geltungszeitangabe des zweiten Kandidatenobjekts sowie eine Gewichtung des zweiten Kandidatenobjekts umfasst, und – Fusionieren (S10) des ersten Kandidatenobjekts mit dem zweiten Kandidatenobjekt in Abhängigkeit von der Gewichtung des ersten Kandidatenobjekts und der Gewichtung des zweiten Kandidatenobjekts, falls die Geltungszeitangabe des ersten Kandidatenobjekts eine erste Geltungszeit angibt, die mit einer zweiten Geltungszeit überlappt, welche von der Geltungszeitangabe des zweiten Kandidatenobjekts angegeben wird (S8), und falls die erste Anweisung mit der zweiten Anweisung konkurriert (S9).
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass im Schritt des Fusionierens (S10) des ersten Kandidatenobjekts mit dem zweiten Kandidatenobjekt das erste Kandidatenobjekt gelöscht wird oder das zweite Kandidatenobjekt gelöscht wird oder das erste Kandidatenobjekt und das zweite Kandidatenobjekt gelöscht werden (S10.2), wenn die erste Anweisung mit der zweiten Anweisung in Konflikt steht (S10.1).
  5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass im Schritt des Fusionierens (S10) aus dem ersten Kandidatenobjekt und dem zweiten Kandidatenobjekt ein fusioniertes Kandidatenobjekt gebildet wird (S10.2), wenn die erste Anweisung und die zweite Anweisung vereinbar sind (S10.1), wobei die durch das fusionierte Kandidatenobjekt bezeichnete Anweisung von der ersten Anweisung oder von der zweiten Anweisung oder von der ersten Anweisung und der zweiten Anweisung abgeleitet wird, und wobei die Geltungszeitangabe des fusionierten Kandidatenobjekts von der Geltungszeitangabe des ersten Kandidatenobjekts oder von der Geltungszeitangabe des zweiten Kandidatenobjekts oder von der Geltungszeitangabe des ersten Kandidatenobjekts und der Geltungszeitangabe des zweiten Kandidatenobjekts abgeleitet wird, und wobei die Gewichtung des fusionierten Kandidatenobjekts von der Gewichtung des ersten Kandidatenobjekts oder von der Gewichtung des zweiten Kandidatenobjekts oder von der Gewichtung des ersten Kandidatenobjekts und der Gewichtung des zweiten Kandidatenobjekts abgeleitet wird.
  6. Verfahren nach mindestens einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Geltungszeitangabe eines Kandidatenobjekts in Abhängigkeit von der entsprechenden Anweisungsnachricht und/oder in Abhängigkeit von einer Modalität erzeugt wird, welcher eine Sensoreinrichtung (10) zugeordnet ist, welche Sensordaten erfasst hat, auf deren Basis eine Sensordatenauswertungseinrichtung (18) die Anweisungsnachricht erzeugt hat.
  7. Verfahren nach mindestens einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass die Gewichtung eines Kandidatenobjekts in Abhängigkeit von der entsprechenden Anweisungsnachricht und/oder in Anhängigkeit von einer Modalität erzeugt wird, welcher einer Sensoreinrichtung (10) zugeordnet ist, welche Sensordaten erfasst hat, auf deren Basis eine Sensordatenauswertungseinrichtung (18) die Anweisungsnachricht erzeugt hat.
  8. Verfahren nach mindestens einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass eine empfangene Anweisungsnachricht einen Erfassungszeitparameter umfasst, welcher ein Erfassungszeitintervall spezifiziert, innerhalb dessen Sensordaten seitens einer Sensoreinrichtung (10) erfasst worden sind, auf deren Basis eine Sensordatenauswertungseinrichtung (18) die Anweisungsnachricht erzeugt hat, und/oder dass eine empfangene Anweisungsnachricht einen Erkennungszeitparameter umfasst, welcher einen Erkennungszeitpunkt spezifiziert, an dem eine Sensordatenauswertungseinrichtung (18) aus seitens einer Sensoreinrichtung (10) empfangenen Sensordaten die in der Anweisungsnachricht bezeichnete Anweisung erkannt hat, wobei die Geltungszeitangabe eines Kandidatenobjekts in Abhängigkeit von dem Erfassungszeitparameter und/oder dem Erkennungszeitparameter bestimmt wird.
  9. Verfahren nach mindestens einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass eine empfangene Anweisungsnachricht einen Konfidenzparameter umfasst, welcher spezifiziert, wie sicher eine Sensordatenauswertungseinrichtung (18) aus seitens einer Sensoreinrichtung (10) empfangenen Sensordaten die in der Anweisungsnachricht bezeichnete Anweisung erkannt hat, wobei die Gewichtung eines Kandidatenobjekts in Abhängigkeit von dem Konfidenzparameter bestimmt wird.
  10. Verfahren nach mindestens einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass eine erste Sensoreinrichtung (10), welche Sensordaten erfasst hat, auf deren Basis eine erste Sensordatenauswertungseinrichtung (18) eine erste Anweisungsnachricht erzeugt hat, einer ersten Modalität zugeordnet ist, welche von einer zweiten Modalität verschieden ist, welche einer zweiten Sensoreinrichtung (12) zugeordnet ist, welche Sensordaten erfasst hat, auf deren Basis eine zweite Sensordatenauswertungseinrichtung (20) eine zweite Anweisungsnachricht erzeugt hat.
  11. Verfahren nach mindestens einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass ein Kandidatenobjekt weiterhin einen Fusionsparameter umfasst, welcher angibt, in welcher Form und/oder zu welchem Zeitpunkt das Kandidatenobjekt zum potentiellen Fusionieren mit einem weiteren Kandidatenobjekt vorgesehen ist.
  12. Verfahren nach mindestens einem der Ansprüche 1 bis 11, gekennzeichnet durch die weiteren Schritte vor dem Empfangen einer ersten Anweisungsnachricht: – Erfassen (S1) eines ersten, durch einen Nutzer eingegebenen Eingabesignals in Form von Sensordaten durch eine erste Sensoreinrichtung (10); – Empfangen der Sensordaten von der Sensoreinrichtung und Erkennen einer Anweisung (S2) für eine mit der Fusionseinheit koppelbare Anwendung durch eine erste Sensordatenauswertungseinrichtung (18); – Erzeugen (S3) einer ersten Anweisungsnachricht durch die erste Sensordatenauswertungseinrichtung (18); und – Weiterleiten (S4) der ersten Anweisungsnachricht an die Fusionseinheit (26).
  13. Fusionseinheit (26) für ein System (40) zur Verarbeitung multimodaler Eingabesignale, wobei die Fusionseinheit (26) eingerichtet ist, – Anweisungsnachrichten zu empfangen, welche jeweils eine Anweisung bezeichnen, die seitens einer mit der Fusionseinheit (26) koppelbaren Anwendung (28; 30; 32) ausführbar ist; – für zumindest zwei der Anweisungsnachrichten jeweils ein Kandidatenobjekt zu der Anweisungsnachricht zu erzeugen, wobei das Kandidatenobjekt jeweils die Anweisung bezeichnet und jeweils eine Geltungszeitangabe des Kandidatenobjekts umfasst, – zwei der Kandidatenobjekte zu fusionieren, falls die Geltungszeitangaben dieser Kandidatenobjekte sich überlappende Geltungszeiten angeben, und – eine Anweisung an die Anwendung (28; 30; 32) weiterzuleiten, welche Anweisung durch ein aus dem Schritt des Fusionierens hervorgegangenes Kandidatenobjekt bezeichnet wird.
  14. System (40) zur Verarbeitung multimodaler Eingabesignale mit einer Fusionseinheit (26) nach Anspruch 13, weiter umfassend – eine Mehrzahl von Sensoreinrichtungen (10; 12; 14; 16), welche eingerichtet sind, Eingabesignale in Form von Sensordaten zu erfassen, wobei zumindest zwei der Sensoreinrichtungen (10; 12; 14; 16) verschiedenen Modalitäten zugeordnet sind, und – zumindest eine Sensordatenauswertungseinrichtung (18; 20; 22), die eingerichtet ist, Sensordaten der Sensoreinrichtungen (10; 12; 14; 16) zu empfangen, aus den Sensordaten Anweisungen für mit der Fusionseinheit (26) koppelbare Anwendungen (28; 30; 32) zu erkennen und die Anweisungen bezeichnende Anweisungsnachrichten an die Fusionseinheit (26) zu senden.
  15. Kraftfahrzeug mit einem System (40) nach Anspruch 14, dadurch gekennzeichnet, dass das System (40) eingerichtet ist, die Bedienung oder Steuerung eines Fahrzeugassistenzsystems des Kraftfahrzeugs zu unterstützen.
DE102015215044.5A 2015-08-06 2015-08-06 Verfahren und System zur Verarbeitung multimodaler Eingabesignale Pending DE102015215044A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102015215044.5A DE102015215044A1 (de) 2015-08-06 2015-08-06 Verfahren und System zur Verarbeitung multimodaler Eingabesignale
US15/229,899 US9594610B2 (en) 2015-08-06 2016-08-05 Method and system for processing multimodal input signals
CN201610637826.8A CN106445100B (zh) 2015-08-06 2016-08-05 用于处理多模输入信号的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015215044.5A DE102015215044A1 (de) 2015-08-06 2015-08-06 Verfahren und System zur Verarbeitung multimodaler Eingabesignale

Publications (1)

Publication Number Publication Date
DE102015215044A1 true DE102015215044A1 (de) 2017-02-09

Family

ID=57853785

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015215044.5A Pending DE102015215044A1 (de) 2015-08-06 2015-08-06 Verfahren und System zur Verarbeitung multimodaler Eingabesignale

Country Status (3)

Country Link
US (1) US9594610B2 (de)
CN (1) CN106445100B (de)
DE (1) DE102015215044A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832031B2 (en) * 2016-08-15 2020-11-10 Apple Inc. Command processing using multimodal signal analysis
JP6489250B1 (ja) 2018-02-13 2019-03-27 オムロン株式会社 候補抽出装置、候補抽出方法及びプログラム
CN112506125A (zh) * 2020-11-19 2021-03-16 北京蓦然认知科技有限公司 一种多模态控制方法、装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004107150A1 (en) * 2003-06-02 2004-12-09 Canon Kabushiki Kaisha Information processing method and apparatus
US20070260972A1 (en) * 2006-05-05 2007-11-08 Kirusa, Inc. Reusable multimodal application
DE102009027253A1 (de) * 2009-06-26 2010-12-30 Deutsche Telekom Ag Anordnung und Verfahren zur Bedienung eines Media-Gerätes

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE20015605U1 (de) 2000-09-08 2000-11-30 Caa Ag Wartungssystem für ein Fahrzeug
US7676754B2 (en) * 2004-05-04 2010-03-09 International Business Machines Corporation Method and program product for resolving ambiguities through fading marks in a user interface
US7577959B2 (en) * 2004-06-24 2009-08-18 International Business Machines Corporation Providing on-demand capabilities using virtual machines and clustering processes
DE102008051757A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US20120222004A1 (en) * 2011-02-24 2012-08-30 Intuit Inc. Publishing and updating of multidimensional models using orchestration tools for software offerings
US9389681B2 (en) 2011-12-19 2016-07-12 Microsoft Technology Licensing, Llc Sensor fusion interface for multiple sensor input
CA2873240C (en) 2012-05-16 2020-11-17 Xtreme Interactions Inc. System, device and method for processing interlaced multimodal user input
US10139937B2 (en) 2012-10-12 2018-11-27 Microsoft Technology Licensing, Llc Multi-modal user expressions and user intensity as interactions with an application
CN104035551A (zh) * 2013-03-08 2014-09-10 联想(北京)有限公司 一种输入方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004107150A1 (en) * 2003-06-02 2004-12-09 Canon Kabushiki Kaisha Information processing method and apparatus
US20070260972A1 (en) * 2006-05-05 2007-11-08 Kirusa, Inc. Reusable multimodal application
DE102009027253A1 (de) * 2009-06-26 2010-12-30 Deutsche Telekom Ag Anordnung und Verfahren zur Bedienung eines Media-Gerätes

Also Published As

Publication number Publication date
CN106445100A (zh) 2017-02-22
CN106445100B (zh) 2019-08-02
US20170039097A1 (en) 2017-02-09
US9594610B2 (en) 2017-03-14

Similar Documents

Publication Publication Date Title
DE112006002954B4 (de) Virtuelles Schnittstellensystem
WO2017211817A1 (de) Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
EP3695293A1 (de) Verfahren zur bereitstellung einer haptischen rückmeldung an einen bediener einer berührungssensitiven anzeigeeinrichtung
DE102014019646B4 (de) Informationsverarbeitungsverfahren und elektronische Vorrichtung
DE112014007127T5 (de) Verfahren und System zum Kalibrieren eines Eye-Tracking-Systems
EP3123278B1 (de) Verfahren und system zum betreiben einer anzeigevorrichtung
DE102015215044A1 (de) Verfahren und System zur Verarbeitung multimodaler Eingabesignale
DE102012020607A1 (de) Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements
DE112016006769B4 (de) Verfahren für Gebärdenspracheneingaben in eine Benutzerschnittstelle eines Fahrzeugs und Fahrzeug
WO2016124473A1 (de) Verfahren zum auswählen eines bedienelements eines kraftfahrzeugs und bediensystem für ein kraftfahrzeug
DE102014226553A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung, Kraftfahrzeug
WO2017054894A1 (de) Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem
EP2977855B1 (de) Virtuelle Tastatur und Eingabeverfahren für eine virtuelle Tastatur
DE102019129904A1 (de) Automatische Fahrkompetenzanalyse
DE102019206606A1 (de) Verfahren zur berührungslosen Interaktion mit einem Modul, Computerprogrammprodukt, Modul sowie Kraftfahrzeug
DE102011075067B4 (de) Berührungsbildschirmeinheit und Verfahren sowie Computerprogramm und Computerprogramm-Produkt zu deren Betrieb
DE112018007216B4 (de) Eingabesteuerungsvorrichtung, Anzeigeeingabevorrichtung und Eingabesteuerungsverfahren
WO2022037818A1 (de) Vorrichtung und verfahren zur interaktion mit einer graphischen benutzeroberfläche und zum testen einer applikation
DE102018209717A1 (de) Verfahren zur Steuerung des Betriebs einer Medizintechnikeinrichtung, Medizintechnikeinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
DE102019208903A1 (de) Bereitstellen eines Ausgabesignals mittels einer berührungssensitiven Eingabeeinheit und Bereitstellen einer trainierten Funktion
DE102015222682A1 (de) Verfahren zum Aktivieren eines Bedienelements eines Kraftfahrzeugs und Bediensystem für ein Kraftfahrzeug
DE102021212673A1 (de) Verfahren und Bediensystem zur Bedienung mindestens eines an einem Fahrzeug angeordneten, verstellbaren Stellteils
WO2023110993A1 (de) Erstellen einer arbeitsanleitung
DE102018214784A1 (de) Verfahren zum Darstellen mindestens eines Zusatzanzeigeinhalts
DE102021121149A1 (de) Verfahren zur automatisierten Bestimmung einer Kopfpose eines Benutzers in einem Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication