CN101855521A - 用于信息的输入和展示的驾驶员辅助系统的多形态的用户接口 - Google Patents

用于信息的输入和展示的驾驶员辅助系统的多形态的用户接口 Download PDF

Info

Publication number
CN101855521A
CN101855521A CN200880116363A CN200880116363A CN101855521A CN 101855521 A CN101855521 A CN 101855521A CN 200880116363 A CN200880116363 A CN 200880116363A CN 200880116363 A CN200880116363 A CN 200880116363A CN 101855521 A CN101855521 A CN 101855521A
Authority
CN
China
Prior art keywords
demonstration
speech recognition
recognition equipment
input signal
operating means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880116363A
Other languages
English (en)
Other versions
CN101855521B (zh
Inventor
C·沃勒
M·纽格鲍尔
T·法比安
U·韦林
G·霍纳
M·米萨尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN101855521A publication Critical patent/CN101855521A/zh
Application granted granted Critical
Publication of CN101855521B publication Critical patent/CN101855521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0447—Position sensing using the local deformation of sensor cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明涉及一种在机动车中用于多形态的信息输入和/或显示和操作装置的显示的调整的方法，其检测不同形态的输入信号，这些信号通过至少一个操作装置被供应给语音识别装置，由此，作为输出信号，所期望的功能和/或显示被触发，其在显示和操作装置上被显示和/或经语音输出而被输出。作如下设置，即，触觉形式的和/或手势形式的输入信号(M1，M2)在显示和操作装置(20，60)上或在显示和操作装置(20，60)旁引起设置用于交互的对象的选择且引起语音识别装置的激活，并且，伴随着对象的选择和/或语音识别装置的激活，依赖于所选择的对象实现设置用于交互的词汇表的限制，据此，作为信息输入和/或为了显示的调整，通过语音识别装置将经限制的词汇表的从属于所选择的对象的语音指令(M3)添加给所选择的对象。

Description

用于信息的输入和展示的驾驶员辅助系统的多形态的用户接口
本发明涉及一种用于尤其为机动车的驾驶员辅助系统的、多形态的(multimodale)信息输入和信息显示的调整(Anpassung)的方法，以及一种设置用于执行该方法的系统架构(Systemarchitektur)。
鉴于驾驶员信息和驾驶员辅助系统的持续增长的功能范围，人机接口(MMI)在未来须比以往更多地考虑降低操作过程的持续时间(Dauer)和(被感觉到的)复杂性
Figure GPA00001138654100011
未来的人机接口(MMI’s)须能够，以对于使用者而言可照章实施且可操作的方式来集成不断增加的数量的驾驶员信息功能和驾驶员辅助功能，且同时减少各个操作过程的持续时间和(被感觉到的)复杂性。
对于优化信息输入，协同式多形态的接口可对此给予重要的贡献。这样的接口原理上在“Nigay，L.and Coutaz，J.(1993).A designspace for multimodal systems：concurrent processing and data fusion(用于多形态系统的设计空间：协同过程和数据融合)，in CHI′93：Proceedings of the SIGCHI Conference on Human factors in ComputingSystems，pages 172-178，New York，NY，USA.ACM Press”中已进行了描述。
多形态的输入现今在车辆中已能实现——使用者可为了操作一个功能而在多个备选的交流形态(例如语音或手动的输入)之间选择。协同的或者交替的(alternierende)多形态使得效率和舒适性的提高成为可能，因为通过多种形态所实现的输入以相关联的方式而被解读(interpretiert)。这有助于“更自然的”(以人与人的交流为依据)交流。
在信息内容和操作界面
Figure GPA00001138654100012
的显示的区域中，适应于情况的(situationsadaptive)用户接口包含有巨大潜能，即，检测(erfassen)当前的使用情况的不同参数(尤其是使用者的操作意图和操作目标)并由此导出(ableiten)用于操作界面的调整的、与情况相适的措施。
这种系统观察(beobachten)使用者的行为(Handlungen)，模拟(modellieren)使用者的兴趣且由此预料(antizipieren)使用者期望和使用者动作(Nutzerwünsche und-aktionen)。
对此，与许多其它的应用领域相比，技术系统“车辆”及其特定的使用背景提供了良好的技术前提。相比于其它的系统，在车辆中存在较少且清晰地经限定的数量的交互可能性，由此，操作目标的系统侧的预料(Antizipation)可更好地实现。
本发明的目的在于，在人和机器之间的交流可能性方面更进一步改善迄今为止的交流模式(Kommunikationsmodelle)，且为此提供一种提供了该交流可能性的方法和一种为此而所需的、用于实现人机接口的更快且更直观的操作的系统。
下面的说明介绍了一种用于多形态的信息输入以及信息显示的调整(Anpassung der Informationsanzeige)的方法和一种用于适应性的(adaptive)多形态的用户接口的系统架构。该方法和系统架构简化了未来的汽车系统的操作。
通过协同式多形态的信息输入和信息显示的自动的调整可更容易且更全面地检测相应的使用情况。
对于交互技术而言典型的使用场合借助于与菜单的交互(Interaktion)示例性地进行说明。这举例来说包括
-监视器(Monitor)的操作功能(Bedienfunktionen)如运动(放大(Zoomen)、滚动、开/关、中断和类似者)或在监视器上所期望的操作功能的分配(Zuweisung)，或者
-被排列在上面的(übergeordneten)首要的(obersten)选择菜单内的菜单选择功能，或
-在所选择的“音乐选择菜单”内的音乐选择功能，或
-在所选择的“路线规划菜单”内的路线规划功能，或
-在所选择的“通讯菜单”内的通讯功能(例如电话、互联网)，或
-在“POI选择菜单”内的POI选择功能，或
-在存放有导航地图的“导航地图菜单”内的POI选择功能，和/或
-路线规划功能，和/或
-通讯功能。
此外，介绍了一种用于适应性的多形态的用户接口的可缩放的(skalierbare)系统架构。该系统架构允许了多形态的输入可能性，其超越了现今以串行方式(in Serie)进行的输入可能性。其尤其地包括用于单独地分析输入信号的系统模块。
本发明以如下方法为出发点，借助于该方法可多形态地输入信息，其中，视信息输入而定地调整相应的信息显示。对于机动车而言，该方法尤其地对于驾驶员辅助系统非常重要。迄今为止，通常地，不同形态的输入信号被检测且被供应给检测模块(Erfassungsmodul)。显示和操作元件、举例来说带有从属的操作元件的传统的显示器或触摸显示器(其大多情况下(zumeist)额外地还具有另外的所必需的操作元件)，充当接收不同形态的输入信号的输入模块。由此，通过操作元件的操作和/或通过触摸显示器(Touchdisplay)/触摸屏(Touchscreen)的触碰使得确定的信息输入成为可能或者可进行信息显示的调整。
此外，大多情况下，通过手势(Gestik)而确定的操作行为可通过如下方式而被用作输入信号，即，举例来说布置有以电容性的方式而布置的传感装置(Sensorik)，该传感装置使得输入信号的这种无触碰的检测成为可能。
这些形态，即，在操作元件处的简单的触觉形式的操作行为和/或触觉形式的“触摸操作行为”和/或手势形式的(gestische)“手势操作行为”，被与用于语音识别的语音识别装置(Spracherkenner)相组合。
本发明以一种在机动车中用于多形态的信息输入和/或显示和操作装置的显示的调整的方法为出发点，该方法检测不同形态的输入信号，输入信号通过至少一个操作装置和语音识别装置而被供应，由此，作为输出信号，所期望的功能和/或显示被触发，其显示在显示和操作装置上和/或经语音输出而被输出。
本发明特征在于，触觉形式的和/或手势形式的输入信号在显示和操作装置上或在显示和操作装置旁引起了设置用于交互的对象(zurInteraktion vorgesehenen Objekt)的选择并引起语音识别装置的激活，并且，伴随着对象的选择和/或语音识别装置的激活依赖于所选择的对象而实现对设置用于交互的词汇表(Vokabular)的限制，据此，作为信息输入和/或为了显示的调整，通过语音识别装置将该经限制的词汇表的从属于该所选择的对象的语音指令添加(hinzugefügt)给该所选择的对象。
在第一种实施变型中，为了检测输入信号，该方法优选第一形态的使用，该第一形态呈使用者在显示和操作元件处的触觉形式的操作行为(如举例而言，在检测模块处的操作元件的转动、按压、触碰和/或接通)的形式。
在第二种实施变型中，为了检测输入信号优选地使用第二形态，在该第二形态中使用者的呈运动的形式的手势形式的操作行为[手势]被识别。
作为第三形态，与第一和/或第二形态相组合地使用语音识别，即，利用该使用者的语音以用于执行该方法。
根据本发明，两种用于检测输入信号的实施变型同样被用于激活语音识别装置。
根据本发明作如下设置，即，语音对话系统的语音识别装置通过触觉形式的操作行为，举例来说“长按”触碰和/或“双击”触碰、和/或“拖曳手势(Drag-Geste)”和/或“2指触摸”来激活。
此外，根据本发明作如下设置，即，于在检测模块处在识别出“普通的”手势形式的操作行为的时刻，语音对话系统的语音识别装置已被自动地激活。
两种激活形式可组合地实施。
通过这些根据本发明的解决方案，省去了
Figure GPA00001138654100051
迄今为止由现有技术已知的、对语音识别装置进行激活的“按键讲话(Push-to-Talk)”键。
在另一种优选的设计方案中，不依赖于语音识别装置的触觉形式的和/或手势形式的激活，在激活后在可预定的、经限定的时段中是激活的，那么其中，仅在该可预定的时段内可由使用者添加语音指令。
所添加的语音指令优选是单字的或多字的词汇。
在语音输入的和手势形式的和/或触觉形式的输入信号的交互的第一种实施形式中，在所谓的“显示对象/语音交互”中，源自可预定的词汇表的、呈单字词汇或多字词汇形式的语音指令(仅借助于一个和多个“动词”)而被添加至通过相应的操作行为而被选择的对象，以便于生成简单且直观的多形态的操作，用于在输出模块处产生输出信号和与此相联系的经修改的显示对象的功能和显示。
在语音输入的和手势形式的和/或触觉形式的输入信号的交互的第二种实施形式中，在所谓的“显示对象-背景/语音-交互”中，呈单字词汇或多字词汇形式的预定的“背景特定的”词汇表的“背景相关的”语音指令被添加至通过相应的操作行为而被选择的对象，以便于同样地生成简单且直观的多形态的操作，以用于在显示和操作元件处产生输出信号和与此相联系的经修改的该对象的显示和/或功能。
优选地，作如下设置，即，语音对话系统的语音识别装置在其激活后仅对于可预定的、经限定的时段而言是激活的，在该时段内可由使用者添加语音指令，其中，语音识别装置的激活或者去激活通过在显示和操作元件本身处(在离交互对象不远处(abseits desInteraktionsobjektes))的为此设置的区域中的图形的显示——“图形反馈(grafisches Feedback)”——来完成。
优选地，相应的语音指令本身在优选的设计方案中在两种实施形式中以文字形式而直接在其识别(通过语音识别装置)之后在可预定的、经限定的时段中在显示和操作元件上淡入(einblenden，有时或称渐渐出现)。
对于两种实施形式同样地优选的是，语音识别装置的激活通过显示和操作元件处的图形的显示和/或通过该显示和操作元件的声学的信号而被用信号传递(signalisiert)，其中进—步优选地，可预定的、还剩下的用于输入语音指令的持续时间在语音识别装置的激活后被显示。
最后，为两种实施形式均设置了，在输入了不适合于所确定的设置用于交互的显示对象的语音指令时，产生图形的和/或声学的报告(Meldung)并通过显示和操作元件或通过语音对话系统的语音输出器将其输出。
此外，为两种实施形式同样优选地作如下设置，即，语音对话系统的语音识别装置在其激活后仅对于可预定的、经限定的时段而言是激活的，在该时段内语音指令可由使用者添加，其中，语音识别装置的激活或者去激活通过图形的显示——“图形反馈”——不是在显示和操作元件处在离交互对象不远处、而是在设置用于交互的对象本身处进行。这样的做法(Vorgehensweise)，即，在该做法中，语音识别装置的状态可以不同的方式被显示，将在实施例中进一步被说明。
此外优选地，在支持该方法的系统架构内构造有展示控制器
Figure GPA00001138654100061
其依赖于由上游的信息控制器(Informationsmanager)所获得的不同形态的输入信号来决定该输出的形式和在显示和操作元件处的合适的展示方法
Figure GPA00001138654100062
的选择。
在本发明的另一设计方案中，该展示方法依赖于被传递到展示控制器处的输入信号而被适配(adaptieren)。
展示(
Figure GPA00001138654100063
有时或称显示)的改变通过图形界面的调整、通过显示内容的适宜的选择和/或通过输出媒介或者输出时刻的交流特定的(kommunikationsspezifische)选择来实现。
此外，该方法特征在于，通过充当检测模块的显示和操作元件，依赖于操作运动的距显示和操作元件的距离，操作意图、尤其是手势形式的第二形态的操作意图[手势]被输入，并且输入信号被检测，从而，依赖于该手势形式的操作行为而实现在显示和操作元件的显示模式和至少一个操作模式之间的、与情况有关的(situativer)转变。
在优选的设计方案中，系统架构的显示和操作元件首先能够确定，到底是否存在操作运动。如果不存在操作运动，则这一点被系统的信息控制器所识别且被处理，其中，输出模块的展示控制器在信息内容的图示(Darstellung)和显示方面朝“显示模式”而被优化。
如果由显示和操作元件在d≥可预定的间距、尤其d≥5cm的区域中探测到操作运动，则信息控制器识别出“普通的”操作意图，其中，展示控制器将输出模块在整个显示区域中朝“第一操作模式”而优化以用于经改善的操作。
如果显示和操作元件在d＜可预定的间距、尤其d＜5cm的区域中识别出操作运动，则信息控制器探测到作为显示对象的操作目标的“潜在地被瞄准的”操作意图，其中，展示控制器将输出模块在所瞄准的显示区域中朝“第二操作模式”而优化以用于“潜在地被瞄准的”操作目标的改善的操作。
在本发明的优选的设计方案中，操作模式的优化通过可预定的显示区域的缩放(Skalierung)、淡入、放大来实现，由此产生了带有更好且更简单的可操作性的操作面。
在优选的设计方案中，语音对话系统的语音识别装置在识别到普通的操作意图的时刻，如先前所描述的那样，已被自动地开启。
在优选的设计方案中，依次地或并行地进行的不同形态的输入信号被彼此用于校验输入信号。
最后，该方法杰出之处在于，依赖于相应的在时间上也可叠加的输入信号产生相应的输出信号，其用于操作平面的图示和操作且用于不同的设有多个操作平面的系统的选择。作为用途，可考虑带有不同的、可在相应的系统内执行的功能内容的导航系统和娱乐系统的功能。
也就是，根据本发明，为该方法关联有用于多形态的信息输入和信息显示的调整的系统架构，该系统架构如此地建立，即，输入信号可通过与相应的形态相关联的用户接口通过显示和操作元件和语音识别装置而被供应。
该系统杰出之处在于，不同形态的输入信号可协同地由信息控制器检测，且展示控制器可基于所获得的信息控制器的输入信号而被操控，且依赖于输入信号而向显示和操作装置和/或语音识别装置提供准备好的输出信号。
显示和操作元件视形态而定地为带有从属的操作元件的通常的显示器或为触摸屏，该触摸屏在一种设计方案中装备有从属的电容式的传感系统，为该传感系统可额外地关联有另外的操作元件。
优选地，为了分析输入信号而布置有信息控制器，其将输入信号传递给展示控制器，从而信息控制器的输出信号可以被展示控制器为了展示而加以准备的方式被提供给显示和操作元件以用于显示。
本发明的另外的有利的设计方案由其余的在从属权利要求中所提及的特征得出。
下面，在实施例中借助从属的图纸对本发明进行说明。其中：
图1A至1C显示了在导航地图菜单(Navigationskarten-Menüs)内在操作手(Bedienhand)的靠近的情形下显示的适配(Adaption)；
图2A至2C显示了在导航地图菜单内协同式多形态的POI搜索的操作流程；
图3A至3C显示了与导航地图菜单内的POI的协同式多形态的交互的操作流程；
图4A至4B显示了与导航地图菜单内的POI的协同式多形态的交互的操作流程；
图5A至5C显示了与导航地图菜单内的POI的协同式多形态的交互的操作流程；
图6A至6B显示了被排列在上面的首要的选择菜单内的协同式多形态的菜单功能的操作流程；
图7A至7B显示了在音乐选择菜单内的协同式多形态的音乐选择功能的操作流程；
图8A至8B显示了在路线规划菜单内的协同式多形态的路线规划功能的操作流程，且
图9显示了协同式多形态的操作功能的操作流程；
图10显示了在触摸屏处的操作手的经定义的靠近的情形下的系统状态；
图11显示了在所选择的交互对象(以播放列表为例)处的用于语音识别装置的状态显示的图形的对话；
图12显示了在所选择的交互对象(以媒体播放器为例)处的用于语音识别装置的状态显示的图形的对话；
图13显示了在所选择的交互对象(以在导航显示器上的POI选择为例)处的用于语音识别装置的状态显示的图形的对话；
图14显示了在所选择的交互对象(以在导航显示器上的单个POI为例)处的用于语音识别装置的状态显示的图形的对话。
对于相应的交互而言的前提首先是设置用于交互的对象的确定的方式。与其或者在其中发生交互的单个对象以及区域被理解成对象。
在第一种实施变型中，该确定通过检测在使用第一形态M1的情形下的输入信号来实现，第一形态M1呈使用者在显示和操作元件处的触觉形式的操作行为(如举例来说操作元件的转动、按压、触碰、接通)的形式。
在第二种实施变型中，设置用于交互的对象的确定通过检测通过第二形态M2而产生的输入信号来实现，在该第二形态M2中使用者10的——呈运动形式的——手势形式的操作行为被识别并被分析。
对于有所改善的交互而言的前提是，语音识别装置与设置用于交互的对象的确定相关联地被激活。
在第一种实施变型中，触觉形式的操作行为M1(例如在操作装置上的“长按”触碰和/或“双击”触碰、和/或“拖曳手势”和/或“2指触摸”)用于激活语音识别装置。
在第二种实施变型中作如下设置，即，语音对话系统的语音识别装置在识别出“通常的”手势形式的操作行为M2的时刻已被自动地激活。
这两种实施变型可单独地或组合地被实施。
如果语音识别装置是激活的，则可由使用者10在第三形态M3中灌入(eingesprochen)语音指令。在此，该方法可如此地实施，即，语音识别装置仅对于可预定的、经限定的时段而言是激活的，其中，该时段为使用者10而示出在显示和操作装置20，60上。
如果所有前提被满足则实现交互，其作为第一种实施形式，“显示对象/语音-交互”，无附图然而利用稍后说明的第二种实施形式的参考标号地被描述，以便于说明与第二种实施形式的关系。
随后，根据附图借助于第二种实施形式，“显示对象-背景/语音-交互”，来进行描述。
第一种实施形式，“显示对象/语音-交互”：
在实施形式中的一种，即，“显示对象/语音-交互”中，该方法借助触觉形式的和/或手势形式的操作行为M1，M2和语音指令M3如下面那样来执行。
首先，通过操作行为M1和/或M2中的一种来选择对象，其中，语音识别装置利用该两种操作行为中的至少一种而被同时地且自动地启动(starten)。
在“显示对象/语音-交互”中，语音识别装置仅被设计用于识别在语音识别装置中所存放的被限制的动词词汇表的一个或多个动词。因为动词容易被说出，所以得出了通过操作行为M1和/或M2而被选择的对象与包括至少一个动词的语音指令M3的直观的组合。该做法与人的活动和语言、尤其是特别地直观的儿童语言的基本的工作原理(Funktionsweise)和做法相符。
为了阐明该交互，下面对此举了一些例子，其通过至少一个触觉形式的操作行为M1而被引入以用于在显示和操作装置、举例来说触摸显示器或触摸屏处确定该对象。对象的确定，如所描述的那样，也可通过手势形式的操作行为M2或通过操作行为M1，M2的组合来引入。
使用者10在触摸屏20的地图(Karte)上触碰一地点或一POI图标，并且同时说“前往”、“保存”、“呼叫”或“从旁经过(vorbeifahren)”。
使用者10在触摸屏20上例如通过封面流(Cover-Flow)察看其音乐。他触碰唱片集封面(Albumcover)，并且说“播放”、“删除”、“复制”或“标记”。
在美国，使用者10收听高清广播(HD Radio)。他在触摸屏20上触碰在显示器上的当前的歌曲的标题显示(Titelanzeige)，并且说“获取”。于是，在家，iTunes提供该所标记的歌曲以供购买。
使用者10在触摸屏20上查看其联系人(呈照片形式)，触碰某一个，并且说“呼叫”、“发邮件”或“前往”。
使用者10在触摸屏20，60的显示器上查看其车辆的图形，触碰行李舱或车窗，并且说“关闭”。
第二种实施形式，“显示对象-背景/语音-交互”：
本发明在其第二种实施形式、所谓的“显示对象-背景/语音-交互”中将根据图1A至9B进行说明。
在此同样使得对于使用者(驾驶员或副驾驶员)10而言如下这点是可能，即，将不同形态M1，M2，M3的输入信号M供应给显示和操作元件20和/或语音识别装置。
首先，通过操作行为M1和/或M2，如已针对第一种实施形式所描述的那样，实现对象的确定，并且，同时地且自动地随着对象的确定实现语音识别装置的激活。示例性地，为了激活语音识别装置可实施操作行为(如转动/按压或类似者)，或如已针对第一种实施形式为了在第一种实施变型中激活语音识别装置而所描述的那样，实现触觉形式的操作行为M1，“长按”触碰和/或“双击”触碰，和/或“拖曳手势”和/或“2指触摸”，或在第二种实施变型中作如下设置，即，语音对话系统的语音识别装置已在识别出在检测模块处的“通常的”触觉形式的操作行为M2的时刻被自动地激活。
在该第二种实施形式即“显示对象-背景/语音-交互”中，设置用于交互的语音指令M3是来自经限制的背景特定的词汇表的、针对相应的确定的显示对象的特定的有意义的动作的单字或多字词汇。此处，该背景相关的单字或多字词汇同样可以是动词和/或名词。然而，该词汇表被定制到或者被限制到相应的背景(Kontext)上。由此产生了在使用者和系统架构之间的更快速且更简单的交互，由此在从属的系统架构中节省了存储空间。
另外的描述参照根据本发明的、使得该方法成为可能的系统架构来完成。
为形态M1，M2，M3中的每个关联有(zugeordnet)适合的用户接口，例如，用于第一形态M1的带有必要时被布置的操作元件的触摸屏20；用于检测手势形式的操作行为的用于第二形态M2的传感装置、尤其电容式传感装置；用于语音识别的第三形态M3的语音识别装置。
此外，布置有信息控制器，其协同地分析形态M1，M2，M3的输入信号或者信号分量。
信息控制器的输出信号被供应给展示控制器，其通过用于显示和信息的输出的用户接口将输出信号示出到显示和操作元件或者语音识别装置的语音输出器处，在其上，呈图形动画或者声学的形式的输出信号被供应给驾驶员或副驾驶员10。
在此，展示控制器依赖于由信息控制器所传送的信号来决定输出的形式和合适的展示方法的选择。
例如“导航系统”的、适应性的(adaptiv)多形态的用户接口的一种执行过程在包含利用语音识别装置的用户接口的语音识别、利用用户接口(电容式传感装置)的手势识别、以及在作为显示和操作装置的触摸屏接口20，60的用户接口处的手势形式的操作行为的识别在内的情形下被描述。
在手势识别M2中手运动和/或手位置的探测借助于电容式接近传感器
Figure GPA00001138654100131
来实现，其举例来说安装到触摸屏20的角(Ecke)处。
如图10所示，至该系统的设计成触摸屏20的导航显示器的经限定的靠近，自大约为10cm的间距起被视为普通的(generell)操作意图。
于是，为了所提供的按键(Schaltflaeche)(举例来说POI图标)的有所改善的可操作性，展示控制器通过额外的操作选项的淡入和缩放而对从信息控制器所获得的、用于在触摸屏20上的信息图示的输入信号进行适配。
图10中的表格鉴于输入信号的存在来区分操作手的出现且将一定的操作意图与相应的出现相关联，其中，展示控制器此外视操作手的出现而定地变换到可预定的模式中。
如果未探测到操作手，则无使用者10的操作意图被检测到，并且，展示模块
Figure GPA00001138654100133
基于在信息控制器中总共存在的数据优化该图示以用于信息内容的显示，所谓的显示模式。
自大约5cm的间距起(即d≥5cm)在导航显示器的区域中的出现已可被探测到，其作为“通常的”操作意图而被检测。
由此，通过信息控制器在展示控制器处完成全部的显示的优化，用于可能的手动操作，所谓的第一操作模式。
自大约＜5cm的间距起，具体的起作用的操作目标从在触摸屏20，60上的相应的被使用者10的食指所瞄准的按键中得出。操作手的出现和位置被探测且当前的操作目标的潜在的位置被定义成显示对象。通过信息控制器借助于展示控制器实现被瞄准的区域的优化，用于手动的“手指”操作，所谓的第二操作模式。
额外地，所瞄准的经优化的按键被缩放，从而再次简化了用于操作示出在触摸屏20上的“键”的瞄准过程(Zielvorgang)。
在车辆中的当前的基于触摸屏20的用户接口中，按键的尺寸绝大多情况下被减到人类工程学可接受的最小程度，以便于在受限的显示器尺寸中创造用于信息的并行的显示的空间。
通过在显示模式和第一或第二操作模式之间的与情况有关的转变，车辆中的触摸屏20的受限的显示面在假设(Annahme)操作意图的情形下既可为了在一目了然的图示中的信息内容的显示又可为了特定的操作面的图示而有效地被使用。
以与触摸屏20，60上的导航地图中的POI图标的手动的交互为例，该方法被示例性地执行，这首先根据图1A至1C进行描述。
图1A显示了导航系统的触摸屏20，60，在其中操作手还未被探测到，从而，信息显示在显示模式中在整个触摸屏20，60上被优化。
根据图1B，在操作手的通常的靠近(“通常的”操作意图)中，POI图标的尺寸已经被缩放。在此，道路名称、道路信息和其它的细节被部分隐藏，因为其对于该操作行为的时期而言不重要。因此，已实现了用于随后的手动操作的至第一操作模式的优化。
根据关于用于操纵地图视图的操作选项的图1C，在“指示器”(即被选择用于交互的对象)的瞄准中，该操作选项在相应的位置处淡入，而使用者无须操作按键。
在图1C中进行的手势形式的操作行为M2唤起第二种操作模式，在其中，所瞄准的区域为了手动操作被优化。
为了在触摸屏20，60上指定对象、几何尺寸和位置以及为了在触摸屏20，60上调整刻度(例如用于音量调节)，触觉形式的输入和/或手势形式的指点运动同样适用。
为了输入名称、概念和指令，在大多情况下语音更合适。
所谓的协同的多形态(操作行为和语音输入)除了使得较短的操作时间成为可能以外，通过平行的信息输入还使得操作错误的减少成为可能，因为通过一种操作形态来进行的输入可相应地有助于对相应地平行地被使用的操作形态的输入进行检验。
此外，通过例如在合适的触觉形式的和/或手势形式的与导航地图的交互中语音识别装置自动地(代替通过“按键讲话”键而)被激活的方式，可减少操作元件和操作步骤。
在包含空间几何的说明在内的情形下的指令，如举例而言在与地图的交互中所进行的那些，是对于这种协同的系统的应用而言最常见的任务类型。
根据图2A至2C，对特定的主题类别(例如“酒店”或“餐馆”)中的POI的、与地点相关的多形态的搜索展现了一种示例性的执行。
此处，使用者通过语音M3指定了被搜索的POI的类别，且同时在触摸屏20，60上通过手动的指点手势M2(例如搜索区域的自由的‘圈定’)限定了指定的搜索区域。
图2A显示了在语音指令M3之前的触摸屏。
根据图2A至2C，一旦该系统记录到指点手势和/或触觉形式的操作行为M1，M2的开始，语音识别装置被自动地激活。所识别的与背景相关的搜索关键词、举例来说“酒店”，在显示器20上淡入，且在指点手势和/或触觉形式的操作行为M1，M2结束时(见图5B)，在地图上在所指明的搜索区域内该特定的搜索区域的所找到的POI(此处为酒店)被显示(图2C)。
通过语音识别M3的基于导航地图的经限定的应用背景的激活，仅在相应的应用背景中有意义的背景相关的且被限制到该背景上的词汇表被作为识别的基础，且因此，错误率保持较低。
关于导航背景中的协同式多形态的输入的另外的应用示出在图3A至3C中。由图3A起，与POI的直接的交互如下来实现。代替经语音(如在针对图2A至2C所描述的解决方案中那样)来指定所期望的POI(这在相同的类别的多个POI的情形下是有问题的)或纯手动地在菜单上通过触觉形式的操作行为M3来选择所期望的动作(例如“呼叫”)(这要求较长的操作时间和目光偏移(Blickabwendungen))，使用者可通过指点手势M2(图3B)来选择该POI且与此并行地经语音而输入所期望的动作M3。
此处，对于语音识别M3而言同样地仅该经限制的与背景相关的、用于控制POI动作的概念的词汇表被作为基础，从而，在该例子中同样使错误识别的可能性保持较小。通过对这些输入即M1，M2，M3的在时间上和语义上的同步性的分析，该系统，如上面所描述的那样，借助输入信号(其必要时在形态M1，M2，M3方面被叠加)的分析来决定POI菜单的相应的显示。
在所识别的语音指令M3中，动作“呼叫”直接地被实施，且POI菜单(参见图3C)未被调出(aufgerufen)。背景相关的语音交互不排除单个动词的使用。
POI菜单(参见图3C)仅在未被识别的或不成功的语音指令的情形下被调出。使用者10此时可重新地经语音M3或在触摸屏20，60上通过操作行为M1和/或M2和/或M3而在根据图3C的示出的菜单上指明所期望的选项。
根据图1A至3C已显示了，这种输入的检测带有用于HMI的对操作情况的适配的大的潜能且因此带有用于舒适性和安全性的大的潜能。
根据图4A至9B将描述另外的应用可能性，其在使用该方法或者该系统架构的情形下可被实施。图4A至9B同样说明了用于语音指令M3以及触觉形式的和/或手势形式的操作行为M1，M2的多形态的输入的方法。
此处同样假设，至少可被该系统架构和从属的方法所检测以用于共同的处理的输入信号M1，M2，M3被使用。
图4A已显示了第一操作模式，在其中，如已针对图3而描述的那样，显示已为了手动操作而被优化。在确定的位置处的对象的确定和指定已要么通过至显示器20，60的手势形式的靠近M2要么通过在显示器20，60上的触觉形式的触摸输入M1而被实现。在此，语音识别装置可以是已再次被打开的，而操作行为M1，M2检测操作手的手势形式的出现和/或在POI对象的区域中的通过操作手指而进行的触觉形式的选择。
举例来说，在POI对象上的按压M1“长按”的情形下实现语音识别装置的打开。
两种变型，即，语音识别装置的手势形式的和/或触觉形式的激活，可单独地或组合地实现。此时，通过语音识别装置，在针对所选择的POI的背景中可实现语音指令的输入，该语音指令举例来说内容为“导航”或“信息”或“绕行”。
图4B再次显示了通过操作手的、在触摸屏20，60的区域中的手势形式的出现M2而实现的，位置指定的POI搜索的可能性。
必要时，该显示事先地根据针对图3的描述而被优化，并且，实现手指的画圈的运动，作为在形态M2中的操作行为。
同时，举例来说，语音识别装置作为另外的用户接口而打开，或者，POI按钮显现，其中，POI搜索通过如下方式借助于语音输入而继续，即，灌入语音指令M3、举例来说“餐厅”或“酒店”。
下面，借助图5A至5C描述另外的例子，这些例子将阐明多形态的POI操作的原理。
根据图5A，使用者10以其手指指到POI上，其中，充当输出模块的显示和操作元件60变换(wechseln)到第一或第二操作模式中。使用者10与此并行地说出语音命令M3。因此，输入指令或者输入信号由指点手势M2和所说的信息M3组合成输入信号。
语音识别装置识别该一个或多个语音指令M3，并且，通过触摸屏20，60的电容式的传感装置并行地检测手势形式的操作行为M2。
举例而言，在第一阶段中，使用者10再次对所期望的POI图标执行操作行为M1和M2或仅M2(以手势形式的方式，无触摸屏触碰)，伴随着相应的并行的与背景相关的语音指令M3例如“信息！”，从而，在显示和操作装置60上，通过多形态的输入指令M1，M2，M3或M2，M3或M1，M3，借助该系统，举例而言，听觉的或图形的动画作为关于“现代艺术博物馆”的信息而自动地被提供。
随后，举例而言，使用者10想要建立电话连接。其例如再次对所期望的POI图标执行操作行为M1和M2或仅M2(举例而言，无触摸屏触碰的手势形式的操控)，并且，相应地说出并行的语音指令M3、举例而言“呼叫！”。输入指令M3通过可供系统使用的语音识别装置(在基于经限定的与背景相关的词汇表的情形下)而被确认，且该系统自动地建立至“现代艺术博物馆”的电话连接。
举例而言，同样存在如下可能性，即，通过到POI图标上或至POI图标处的操作行为M1和M2或仅M2(无触摸屏触碰的手势形式的操控)M1，M2，并且灌入并行的语音输入M3、举例而言“目的地导航！”，以便于(在对输入指令M进行分析后)通过车辆的导航系统开启往“现代艺术博物馆”的目的地导航，且通过显示和操作元件60的显示而将其以图形方式示出。
图5B显示了在导航显示器上的操作行为“环绕手势(Einkreisegeste)”M2，并且再次地举例而言进行了并行的语音指令M3“餐厅！”。由此，在导航系统的显示器的显示和操作装置60上实现了在该被环绕的区域中的所有餐厅的显示。
在图5C中，使用者10举例而言进行了指点手势M2且与之并行地进行了语音指令M3、例如“放大！”，或指点手势M2和语音指令M3“浏览！”或指点手势20和举例而言语音指令M3“移动地图”。那么，在导航系统的显示和操作装置20，60上实现导航地图的相应的“放大”、“滚动”或“浏览”。
对于所有已描述的例子和下面的例子而言，作为输入信号M3的与背景相关的语音指令不必强制地
Figure GPA00001138654100191
并行于输入指令M1和/或M2来实现。同样可设想，语音指令M3在另外的输入指令M1和/或M2的之前不久或之后不久被实现。该系统和方法试图实现与使用者10的自然的行为方式最相符的、协调的(koordinierte)多形态的输入。
多形态的可操作性的另外的例子示出在图6A和6B中且将在下面更进一步被描述。
根据图6A和6B首先示出了，通过第一或第二操作模式(对此，见图10的描述)中的输入模块20的展示上的按压和/或指点M1，M2，视图示而定地得出了语音指令M3的一定的背景。
首先，系统架构预先拣选(vorsortieren)对应用而言特定的词汇表，且通过打开语音识别装置的用户接口而在经限制的对应用而言特定或者背景特定的上下文中提供一定的语音指令M3、如举例而言“停止”或“继续”或“广播FFM”。
在操作行为M2的充分的出现中和/或在M1“按压保持”中实现语音识别装置的打开，其中，待被说出的指令M3甚至在显示和操作装置20，60上被给出。通过该解决方案，举例而言位于方向盘处的“按键讲话”按钮的包含(Umgreifen)不再是必需的。
该解决方案同样通过图6B额外地被示出。其显示了，在检测模块20上实现了展示的一目了然的应用，且在相应的靠近M2或按压M1(“按压保持”)中，语音识别装置被打开，且举例而言从总览图示
Figure GPA00001138654100192
出发而进行与背景相关的语音指令M3的显示，如举例而言“地图”或“导航”或“进入组合仪表(组合仪表)”。通过该解决方案，不同的形态M1，M2，M3引起明确的可实施的指令，该指令可被系统所实现。
如图7A和7B显示的那样，多形态的输入在特定的应用中通过语音输入M3或者触摸/手势指令M1，M2同样能实现。此处，示例性地，借助示出的iPod(图10A)或者根据图10B的另外的类型的音乐标题选择图示来阐明音乐标题的选择。通过在第一或者第二操作模式中的在触摸界面20上方的靠近的操作行为M2，举例而言“自动化的点拨轮”自动地被示出且被打开，此外，语音识别模块自动地或举例而言通过直接的“触摸指令”M1而被激活，从而，可再次地或者通过另外的“触摸指令”M1或通过靠近指令M2或其组合和/或经由再一次的语音输入M3来选择相应的音乐标题、举例而言“A Kind of Magic”代替音乐标题“A Friend of Mine”。
此处，再次地，“按键讲话”按钮的单独的按压同样不是必需的，因为语音识别装置已通过操作行为M2的靠近而被打开或通过到触摸屏20(图7A“Talk(对话)”)上的按压M1而被激活。对“按键讲话”按钮的包含被省去。因此，该系统示出了从“按键讲话”到“指点讲话”或者“触摸讲话”的创新。
此外应注意，借助iPod的示出的部分(图10A)或打开的操作域(图10B)的各个选择的修正必要时又可经由触摸屏20、即触摸操作行为M1，和/或经由手势形式的靠近操作行为M2和/或经由语音操作行为M3来实施。
类似于刚刚所描述的在iPod或类似者处的音乐标题选择处的操作方式，在图8A和8B中示出了多形态的、借助于导航小部件(Navigations-Widget)的目的地输入。
语音识别装置举例而言又通过至显示器20，60上的靠近/指点M2而被打开，且随后举例而言经操作行为M1和/或M2实现各个部分的选择和修正，并且，实现在触摸屏20，60上的图示。
通过打开语音识别模块，此时，相应的目的地或者相应的路线(举例而言参见图8A)可被灌入，从而，此处举例而言根据图8A实现Wolfsburg(狼堡)-Berlin(柏林)的路线显示，且然后，根据图8B，又经触摸操作行为M1或M1和M2和/或仅通过修正的语音指令M3实现目的地的输入和修正，从而，举例而言，所误解的与背景相关的语音指令例如“Hambergstrasse(Hamberg大街)”(而不是所期望的“Hamburgstrasse(Hamburg大街)”)可手动地经操作行为M1或M1，M2或再次经语音指令M3而被修正。
图9A和9B还显示了功能分配或者全手势的分配的多形态的输入的可能性。那么举例而言，根据图9A，如已针对图5C所描述的那样，在通过操作手来进行的靠近之后，通过手势形式的输入指令M2和相应的并行的或随后的语音指令M3“放大”或“移动”，可实现导航地图在触摸屏20上的移动。
此外，开/关功能或中断功能可举例而言被与手势M2(如举例而言整个手的手张开)相关联。由此，在与语音指令M3例如“开/关”或“中断”的结合中可实现用于启动或关闭系统的多形态的操作。
该系统的进一步的补充可通过来自车辆系统的、与当前行驶任务有关的背景信息(例如速度、道路等级、交通密度、车辆的辅助水平等)的集成来实现，以便基于使用者10的需求情况而实现触摸屏20，60上的可使用的显示面的适配。
在图11至14中将介绍关于语音识别装置的状态(激活/非激活)的显示可能性。已经说明了，对于两种实施形式“显示对象/语音-交互”和“显示对象-背景/语音-交互”而言优选地作了如下设置，即，语音对话系统的语音识别装置在其激活后仅在可预定的、经限定的时段上是激活的。在该时段内，可由使用者添加语音指令M3。
在一种已知的变型中——该变型用于用信号告知使用者10，语音识别装置是否为激活或非激活的——在语音识别装置的激活或者去激活中，在离交互对象或设置用于交互的区域不远处在显示和操作元件20，60旁或在显示和操作元件20，60中进行图形的显示(所谓的“图形反馈”)。
在该新的变型中，“图形反馈”不是在离设置用于交互的对象或区域不远处，而是在设置用于交互的对象或区域本身处进行。此处，在显示和操作元件20，60上或在显示和操作元件20，60处无须再保留用于关于语音识别装置的状态的反馈的输出的单独区域，并且，对于使用者10而言该图形反馈有利地处在与设置用于交互的交互对象或该交互区域的直接的关联中。
在与图形反馈的结合中的语音识别装置的激活和去激活中，原则上的流程如下。在设置用于交互的区域中或在设置用于交互的对象处，语音识别装置的激活举例而言通过“长按触碰”(其已作为可能的备选方案中的一种而被描述)来进行。在此，可在显示和操作元件20，60上的设置用于交互的区域或对象中触碰任一点以用于激活，其在此须保持一定的可预定的时间。首先，在与图形反馈的一种可能的组合中，在“正确的”、即设置用于激活的区域中的“长按触碰”中或在该对象的足够长的触碰中，产生“触觉反馈”、举例而言在操作者的手指处的振动。在“长按触碰”被接纳作为用于打开语音识别装置的触发行为的时刻，额外地实现另外的明显的呈点击式振动形式的“触觉反馈”，作为对使用者10的信号形式的回馈，即，所期望的操作行为已成功。该明显的“触觉反馈”可在与并行地被触发的“听觉反馈”的另一种组合中实施。因此，语音识别装置被启动，且由此，以触觉和/或听觉的方式通知使用者该成功的启动。
然而，直到语音识别装置被激活，还将流逝一可预定的时段，其为了使用者10而作为“图形反馈”被显示。围绕着该区域或者该对象，针对可预定的时间，一种边框式的带子开始跑动(laufen)，直到语音识别装置符号S显现。直到该时刻语音识别装置才是激活的(也就是说被打开以用于接收语音指令M3)且语音指令M3可被灌入。在此，在图形反馈的图示方面存在不同的设计可能性。
举例而言，边框式的(优选地与显示和操作元件20，60在其发光强度和/或色彩方面形成对照的)带子在区域或对象的右下角中开始跑动，且在一种优选的设计方案中在两个方向上朝左上角而形成边框R，其中，在到达左上角且边框R闭合的时刻，语音识别装置符号S恰好在该处显现。参见图11和13。
一种另外的可能的设计方案为，环绕的(umlaufende)、形成了绕对象或区域的边框R的带子在该区域或对象的垂直的边缘的中部处朝两侧以相同的或不同的速度而跑动，在相对的一侧上闭合且因此形成边框R，且语音识别装置符号S在该相对的一侧上在于该处的垂直的边缘的中部处显现。参见图12和14。
在另一种设计方案中，环绕的带子可从区域或对象的可自由地选择的任一边缘点出发而开始形成，且仅在一个方向上或在两个方向上跑动，其中，在由此形成的边框R闭合的时刻，语音识别装置符号S被显示，据此，语音识别装置被置为激活的。
去激活举例而言相应地从点(带子原先在该点处开始形成边框R)出发在朝语音识别装置符号S的方向上通过如下方式实现，即，带子在一个方向上或在两个方向上跑动着地重新淡出(ausblenden)，其中，一旦边框R和语音识别装置符号S再次地完全消失，则语音识别装置被置成非激活的。
在语音识别装置符号S显现的时刻，语音指令M3可被灌入。在可预定的时段后，边框R以不依赖于在语音识别装置符号S显现后语音指令M3是否被灌入的方式在保持语音识别装置符号S的情形下举例而言再次在带子开始构成边框R的位置处打开。因此，环绕的带子在朝语音识别装置符号S的方向上重新逐渐消去，此后，在边框R完全消失或在残留下边框R(该边框R的彩色造型不再可见或先前被提高的发光强度已回落)的时刻，语音识别装置符号S消失。那么，语音识别装置又是非激活的。
借助四个例子和图11至14对本发明作进一步说明。
在图11中，借助在显示和操作元件20，60中已被调出的播放列表示出该解决方案。举例而言，带有标题1至6的播放列表在原始视图(Grundansicht)中还未被边框R围绕，且语音识别装置符号S还未被显示。通过显示和操作元件20，60上的“长按触碰”，举例而言在与“触觉形式的”和/或“听觉的”反馈(该反馈用于通知使用者10该成功的操作行为，就如上面已在原理上所描述的那样)的组合中，实现用于激活语音识别装置的触发操作行为。由右下角出发，边框R在左上角中闭合，并且语音识别装置符号S显现。
因此，“图形反馈”被提供给使用者，从而使得，使用者可精确地识别，什么时候语音识别装置是激活的。在考虑第一或者第二实施形式的情形下，利用在中间间隔中为了与所选择的对象或区域的交互而设置的、经限定的词汇表，实现语音输入M3。在图11中，使用者10举例而言灌入了标题2“Badly Drawn Boy”。在显示和操作设备20，60中，标题的拣选如此地实现，即，所选择的标题2被突出，且在一种有利的设计方案中在显示和操作设备20，60上进一步移动到操作者的居中的可见区域(Sichtbereich)中。其中，在该设计方案的一种改进方案中，在所限定的词汇表的范畴中举例而言语音上听起来近似的标题、举例而言标题3“Beck-The Inform…”、标题4和5等等被拣选。在语音识别装置符号S淡入后，形成边框R的带子已从在其处边框R开始由带子形成(如在图11中示出的那样)的位置出发，在朝语音识别装置符号S的方向上退回，且在达到符号S时，语音识别装置变为非激活的且符号S再次淡出。
在图12中以媒体播放器为例示出了该做法。在原始视图中，举例而言，唱片集视图“David Grey”，以及由该唱片集播放的标题“Alibi”以及其播放时间和还剩下的播放时间在标题显示中示出。下面的描述可类似地被转用到在所显示的唱片集封面的区域中在标题显示的区域的上方的唱片集的选择上。
为了从先前已选择的唱片集中更换标题，示例性地，必要时在与用于使用者10的触觉的和/或听觉的反馈的组合中，再次实现标题显示区域上的“长按触碰”。在该区域的右边的边缘处，由中部起，环绕的带子在如此形成的边框R的左边的边缘的中部处闭合，且语音识别装置符号S在左边的边缘处显现。语音识别装置是激活的且已准备好用于语音输入。在考虑第一或者第二实施形式的情形下，利用词汇表(该词汇表被限定到与所选择的对象或者所设置的区域的交互上)，实现语音输入M3。举例而言，根据图12使用者灌入语音指令“Alibi”，据此从相应的唱片集中播放该标题。随后，环绕的边框再次在右边的边缘的中部处打开，且在朝语音识别装置符号S的方向上消失，在到达符号S后在将语音识别装置切换成非激活的情形下该语音识别装置符号S再次淡出。
图13显示了在所选择的交互对象处(以导航显示器上的POI类别选择为例)的用于语音识别装置的状态显示的图形对话或者“图形反馈”。在图13中借助在显示和操作元件20，60中已被调出的导航显示器来示出该解决方案。举例而言，在导航显示器上不同的POI类别、例如“酒店”或“餐馆”或“购物设施”在这样的原始视图中被示出，即，该原始视图还未被边框R围绕，并且语音识别装置符号S还未被显示。通过“长按触碰”到显示和操作元件20，60上，如上面在原则上所描述的那样，实现语音识别装置的启动(再次地，举例而言，在与触觉的和/或听觉的反馈的组合中)。由右下角起，边框R在左上角中首先被闭合，并且语音识别装置符号S显现。由此，图形反馈被提供给使用者，借助于该图形反馈使用者可精确地识别，什么时候语音识别装置是激活的且其可进行语音输入M3。
在考虑第一或者第二实施形式的情形下，利用被设置、限定到与所选择的区域的交互上的词汇表来实现语音输入M3。在图13中，使用者举例而言灌入类别“酒店”。所选择的POI的显示在已提到的设计方案中如此地实现，即，所选择的POI被突出且——如在图14中示出的那样——自动地进一步移动到使用者10的中央的可视区域中。
随后，边缘(如在图11中示出的那样)以消除边框R的方式从这样的点(在该点处边框R开始形成)出发重新往回地在朝语音识别装置符号S的方向上跑动，且在到达符号S时，语音识别装置变为非激活的且从属的符号S再次淡出。
在图14中说明了在所选择的交互对象(以单个的借助于语音对话而被选择的、出自图13的在导航显示器上的POI为例)处的用于语音识别装置的状态显示的图形对话。如果使用者10还希望获得关于所选择的酒店的信息、在使用语音对话系统的情形下与该酒店联系、或以其它方式互动，则使用者再次如下面那样行动。实现作为对象本身的POI上的“长按触碰”。再次地，根据所描述的备选的或组合地存在的实施可能性，使用者获得触觉形式的和/或听觉的反馈，该反馈以信号传递了，用于启动语音识别装置的输入已成功。举例而言，在POI对象的右侧边缘处由中部出发，环绕的边缘R在左侧边缘R的中部闭合。
如此形成的边框R和语音识别装置符号S显现。语音识别装置是激活的。在考虑第一或者第二实施形式的情形下，利用被设置和限定到与所选择的对象的交互上的词汇表，实现语音输入M3。举例而言，用户说出语音指令M3“前往”，由此该酒店作为目的地而被接收到导航系统的路线规划中。或使用者说出语音指令M3“呼叫”，据此，至酒店的电话连接被自动地建立。随后，边框R再次打开，其中，边框R优选地在对象的右侧边缘的中部打开，且该边框R通过在两侧上在朝语音识别装置符号S的方向上以消除边框R的方式而跑动的带子而再次消失。语音识别装置符号S再次淡出，且语音识别装置再次为非激活的。
参考标号列表
10    使用者
20    进行检测的显示和操作装置
60    进行输出的显示和操作装置
M     输入信号
M1    第一形态[触觉形式的操作行为]
M2    第二形态[手势形式的操作行为]
M3    第三形态[语音]
d     间距
S     语音识别装置符号
R     边框/边缘

Claims (24)

1.一种在机动车中用于多形态的信息输入和/或显示和操作装置的显示的调整的方法，该方法检测不同形态的输入信号，这些信号通过至少一个操作装置被供应给语音识别装置，由此，作为输出信号，所期望的功能和/或显示被触发，其在所述显示和操作装置上被显示和/或经语音输出而被输出，
其特征在于，
触觉形式的和/或手势形式的输入信号(M1，M2)在所述显示和操作装置(20，60)上或在所述显示和操作装置(20，60)旁引起设置用于交互的对象的选择和引起所述语音识别装置的激活，并且，伴随着所述对象的选择和/或所述语音识别装置的激活，依赖于所选择的对象实现设置用于交互的词汇表的限制，据此，作为信息输入和/或为了显示的调整，通过所述语音识别装置将所述经限制的词汇表的从属于所选择的对象的语音指令(M3)添加给所选择的对象。
2.根据权利要求1所述的方法，其特征在于，
作为输入信号(M1，M2)和作为用于所述语音识别装置的激活信号，
·使用者(10)的触觉形式的输入信号例如操作元件的转动、按压、触碰、接通等作为第一种形态(M1)，和/或
·使用者(10)的手势形式的输入信号作为第二种形态(M2)
而被所述显示和操作装置(20)所检测。
3.根据权利要求1所述的方法，其特征在于，
伴随着设置用于交互的对象的确定，所述语音对话系统的语音识别装置通过产生触觉形式的输入信号的操作行为在所述显示和操作装置(20)上或在所述显示和操作装置(20)旁借助于“长按”触碰和/或“双击”触碰和/或“2指触摸”和/或“拖曳手势”而被激活。
4.根据权利要求1所述的方法，其特征在于，
所述语音对话系统的语音识别装置在产生手势形式的输入信号的、带有“通常的”操作意图的操作行为被识别的时刻自动地被激活，并且，随后才实现设置用于交互的显示对象的确定，从而确保了，在提早的语音输入的情况中通过所述语音识别装置实现语音分析。
5.根据权利要求1所述的方法，其特征在于，
所述语音对话系统的语音识别装置在其激活之后仅对于可预定的、经限定的时段而言是激活的，在该时段内可由所述使用者(10)添加语音指令(M3)，其中，所述语音识别装置的激活或者去激活通过在设置用于交互的区域或对象本身处的图形的显示——“图形反馈”——来实现。
6.根据权利要求1所述的方法，其特征在于，
所添加的语音指令(M3)为单字的或多字的词汇。
7.根据权利要求1所述的方法，其特征在于，
在与所确定的显示对象的“显示对象/语音交互”中，呈单字的或多字的词汇形式的语音指令(M3)仅借助于一个和/或多个“动词”而被添加，以便于生成简单且直观的多形态的操作，用于在所述输出模块处产生所述输出信号和与此相联系的经修改的、所述显示对象的功能和显示。
8.根据权利要求1所述的方法，其特征在于，
在与所确定的对象的“显示对象-背景/语音-交互”中，呈单字的或多字的词汇形式的语音指令(M3)借助于一个和/或多个背景特定的词汇而被添加，以便于生成简单且直观的多形态的操作，用于在所述显示和操作元件(60)处产生所述输出信号和与此相联系的经修改的、所述对象的显示和/或功能。
9.根据权利要求1所述的方法，其特征在于，
所述语音指令(M3)直接地在通过所述语音识别装置而被识别之后在可预定的、经限定的时段中在所述显示和操作元件(20)上淡入。
10.根据权利要求2至5中任一项所述的方法，其特征在于，
所述语音识别装置的激活或者去激活借助于图形的显示“图形反馈”而在所述显示和操作元件(20，60)处在设置用于交互的区域或对象处被用信号传递、和/或通过触觉的和/或听觉的信号“触觉的和/或听觉的反馈”而被用信号传递，其中，在所述语音识别装置激活之后可供使用的可预定的用于输入所述语音指令(M3)的时段在显示和操作元件(20，60)中在设置用于交互的区域或对象本身处以图形的方式被显示。
11.根据权利要求1所述的方法，其特征在于，
在输入了不适合于所确定的设置用于交互的显示对象的语音指令的时候，实现图形的和/或声学的通知或者信号传递。
12.根据权利要求1所述的方法，其特征在于，
在所述显示和操作装置(60)的上游的展示控制器依赖于所述输入信号(M1，M2，M3)来决定所述输出的形式和合适的展示方法的选择。
13.根据权利要求12所述的方法，其特征在于，
所述展示方法依赖于传递到所述展示控制器处的输入信号(M1至M3)而被适配，且
·通过所述图形界面的改变
·通过所述显示内容的适宜的选择
·通过输出媒介——显示和/或语音——或者输出时刻的交流特定的选择
来实现。
14.根据权利要求1至8中至少一项所述的方法，
其特征在于，
通过所述显示和操作装置(20)依赖于操作运动的距所述显示和操作装置(20)尤其是触摸屏的距离而输入所述第二形态(M2)的操作意图，并且手势形式的输入信号(M2)被检测，从而依赖于所述手势形式的输入信号(M2)操作运动实现在所述显示和操作装置(60)的显示模式和至少一个操作模式之间的与情况有关的转变。
15.根据权利要求14所述的方法，其特征在于，
所述手势形式的输入信号(M2)的操作意图可与所有其它的影响该操作意图的其它形态的输入信号(M1，M3)相叠加。
16.根据权利要求14所述的方法，其特征在于，
所述显示和(20)未探测到操作行为，从而在所述展示控制器的上游的信息控制器未识别出操作意图，其中，所述展示控制器关于信息内容的图示和显示而将所述显示和操作装置(20，60)作为“显示模式”来优化。
17.根据权利要求14所述的方法，其特征在于，
所述显示和操作装置(20，60)在d≥可预定的间距、尤其d≥5cm的区域中探测到操作行为，从而所述信息控制器识别出“通常的”操作意图，其中，所述展示控制器优化所述显示和操作装置(20，60)的在整个区域中的显示以用于经改善的操作，“第一操作模式”。
18.根据权利要求14所述的方法，其特征在于，
所述显示和操作装置(20)在d＜可预定的间距、尤其d＜5cm的区域中探测到操作行为，从而所述信息控制器识别出所选择的对象的“潜在的被瞄准的”操作意图，其中，所述展示控制器优化所述显示和操作装置(20，60)以用于在被瞄准的显示区域中的“潜在被瞄准的”对象的经改善的操作，“第二操作模式”。
19.根据权利要求17和/或18所述的方法，其特征在于，
所述操作模式的优化通过可预定的显示区域的缩放、淡入、放大来实现，由此产生具有更好的可操作性的操作面。
20.根据权利要求1所述的方法，其特征在于，
例如速度、道路级别、交通密度、车辆的辅助水平等源于车辆系统的使用背景的信息被供应，由此基于所述使用者(10)的需求情况而实现在所述显示和操作装置(20，60)的显示上的可使用的显示面的适配。
21.一种用于多形态的信息输入和显示的调整的系统架构，其基于使用者的多形态的交互，所述使用者的输入信号可通过与相应的形态相关联的用户接口通过显示和操作装置及语音识别装置而被供应，其中，为了分析所述输入信号布置有信息控制器，其依赖于所述输入信号而将输出信号传递给展示控制器，所述输出信号可在位于所述展示控制器的下游的显示和操作元件和/或所述语音识别装置上被提供给所述使用者，其特征在于，不同形态的输入信号(M1，M2，M3)可协同地由信息控制器来检测，且所述展示控制器可基于所述信息控制器的所获得的输入信号(M1，M2，M3)而被操控，并且，依赖于所述输入信号(M1，M2，M3)而将准备好的输出信号提供给所述显示和操作装置(20，60)和/或所述语音识别装置。
22.根据权利要求21所述的系统架构，其特征在于，
检测所述输入信号(M1，M2)的显示和操作装置(20，60)是带有从属的操作元件的显示器或带有从属的操作元件和相关联的电容式的传感装置的触摸显示器。
23.根据权利要求21所述的系统架构，其特征在于，
输出所述输出信号的显示和操作装置(20，60)是显示器或触摸显示器。
24.根据权利要求21所述的系统架构，其特征在于，
所述展示控制器依赖于由所述信息控制器所检测的输入信号(M1，M2，M3)而产生输出信号，其用于
·用于不同的系统、例如
○带有例如路线规划、出发地和/或目的地输入的修正、POI搜索、POI选择、POI交互、通讯功能等系统功能的导航系统，或者
○带有例如音乐标题的选择和修正等的系统功能的娱乐系统
的被排列在上面的选择的操作平面的图示和操作。
CN200880116363.4A 2007-11-12 2008-11-12 用于信息的输入和展示的驾驶员辅助系统的多形态的用户接口 Active CN101855521B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
DE102007053779.6 2007-11-12
DE102007053779 2007-11-12
DE200810051756 DE102008051756A1 (de) 2007-11-12 2008-10-15 Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
DE102008051757.7 2008-10-15
DE102008051756.9 2008-10-15
DE200810051757 DE102008051757A1 (de) 2007-11-12 2008-10-15 Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
PCT/EP2008/009535 WO2009062677A2 (de) 2007-11-12 2008-11-12 Multimodale benutzerschnittstelle eines fahrerassistenzsystems zur eingabe und präsentation von informationen

Publications (2)

Publication Number Publication Date
CN101855521A true CN101855521A (zh) 2010-10-06
CN101855521B CN101855521B (zh) 2014-12-10

Family

ID=40530802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880116363.4A Active CN101855521B (zh) 2007-11-12 2008-11-12 用于信息的输入和展示的驾驶员辅助系统的多形态的用户接口

Country Status (6)

Country Link
US (1) US9103691B2 (zh)
EP (1) EP2223046B1 (zh)
KR (1) KR101647848B1 (zh)
CN (1) CN101855521B (zh)
DE (2) DE102008051756A1 (zh)
WO (1) WO2009062677A2 (zh)

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591448A (zh) * 2010-11-09 2012-07-18 索尼公司 信息处理设备、信息处理方法和计算机可读存储介质
CN102750078A (zh) * 2011-03-29 2012-10-24 索尼公司 信息显示装置、信息显示方法和程序
CN102756699A (zh) * 2012-06-01 2012-10-31 惠州华阳通用电子有限公司 车载系统及其用户界面切换方法
CN103235643A (zh) * 2013-04-09 2013-08-07 青岛旲天下智能科技有限公司 采用声控式的人机交互设备
CN103529934A (zh) * 2012-06-29 2014-01-22 三星电子株式会社 用于处理多个输入的方法和装置
CN103782259A (zh) * 2011-09-08 2014-05-07 戴姆勒股份公司 机动车用操控装置及操作该机动车用操控装置的方法
CN103839548A (zh) * 2012-11-26 2014-06-04 腾讯科技（北京）有限公司 一种语音交互方法、装置、系统和移动终端
CN103970459A (zh) * 2013-01-30 2014-08-06 建兴电子科技股份有限公司 供交通工具使用的指令反馈系统及方法
CN104040465A (zh) * 2012-01-10 2014-09-10 戴姆勒股份公司 使用在三维空间中执行的手势以及相关的计算机程序产品控制车辆功能的方法和设备
WO2014177015A1 (zh) * 2013-05-02 2014-11-06 锤子科技（北京）有限公司 一种移动终端的语音识别方法及其装置
CN104395859A (zh) * 2012-06-26 2015-03-04 利奥波德·科世达责任有限股份公司 用于机动车辆的操作系统
CN104461606A (zh) * 2013-09-13 2015-03-25 现代自动车株式会社 自定义界面系统及其操作方法
CN104756185A (zh) * 2012-11-05 2015-07-01 三菱电机株式会社 语音识别装置
CN104821167A (zh) * 2014-02-04 2015-08-05 霍尼韦尔国际公司 在飞机上利用语音命令的系统和方法
CN104823147A (zh) * 2012-10-12 2015-08-05 微软技术许可有限责任公司 作为与应用的交互的多模式用户表达和用户力度
CN105074817A (zh) * 2013-03-15 2015-11-18 高通股份有限公司 用于使用手势来切换处理模式的系统和方法
CN105210146A (zh) * 2013-05-07 2015-12-30 高通股份有限公司 用于控制语音激活的方法和设备
CN105509761A (zh) * 2016-01-08 2016-04-20 北京乐驾科技有限公司 一种多轮语音交互导航方法及系统
CN105719645A (zh) * 2014-12-17 2016-06-29 现代自动车株式会社 语音识别装置、包括其的车辆和控制语音识别装置的方法
CN105824494A (zh) * 2015-01-27 2016-08-03 现代自动车株式会社 集成变更车辆内容的个性化显示系统和车辆内容管理方法
CN107107841A (zh) * 2015-02-20 2017-08-29 歌乐株式会社 信息处理装置
CN107466401A (zh) * 2015-04-10 2017-12-12 哈曼国际工业有限公司 用于车载信息系统的多字符串搜索引擎
CN107963039A (zh) * 2017-12-04 2018-04-27 信利光电股份有限公司 一种机动车的操控系统、方法及机动车
CN108337380A (zh) * 2011-09-30 2018-07-27 苹果公司 自动调整用户界面以用于免提交互
CN108779989A (zh) * 2016-01-06 2018-11-09 罗伯特·博世有限公司 交互式地图信息镜头
CN109074758A (zh) * 2016-05-10 2018-12-21 大众汽车有限公司 用于在车辆中取决于行驶情况地播放地图图示的方法
CN109343708A (zh) * 2013-06-13 2019-02-15 原相科技股份有限公司 具有手势感测器的装置
CN109669529A (zh) * 2017-10-16 2019-04-23 上汽通用汽车有限公司 车载人机交互系统
CN109804429A (zh) * 2016-10-13 2019-05-24 宝马股份公司 机动车中的多模式对话
CN109947256A (zh) * 2019-03-27 2019-06-28 思特沃克软件技术(北京)有限公司 一种减少驾驶员注视触摸屏时间的方法和车载触摸屏
CN110001547A (zh) * 2018-01-05 2019-07-12 Lg电子株式会社 输入输出装置以及包括输入输出装置的车辆
CN110036357A (zh) * 2016-10-12 2019-07-19 英智爱软件股份公司 控制用户界面的方法、程序及装置
CN111523850A (zh) * 2014-06-04 2020-08-11 谷歌有限责任公司 响应于共同存在确定的调用动作
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
CN114072754A (zh) * 2019-07-08 2022-02-18 大众汽车股份公司 运行操作系统的方法和操作系统
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11740703B2 (en) 2013-05-31 2023-08-29 Pixart Imaging Inc. Apparatus having gesture sensor
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US12010262B2 (en) 2020-08-20 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices

Families Citing this family (317)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
DE112008001396B4 (de) * 2007-06-05 2015-12-31 Mitsubishi Electric Corp. Fahrzeugbedienungsvorrichtung
DE102008051756A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8326637B2 (en) * 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US20100241987A1 (en) * 2009-03-19 2010-09-23 Microsoft Corporation Tear-Drop Way-Finding User Interfaces
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US8849570B2 (en) * 2009-03-19 2014-09-30 Microsoft Corporation Projected way-finding
US20100241999A1 (en) * 2009-03-19 2010-09-23 Microsoft Corporation Canvas Manipulation Using 3D Spatial Gestures
US20100281435A1 (en) * 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US8412531B2 (en) * 2009-06-10 2013-04-02 Microsoft Corporation Touch anywhere to speak
US9477400B2 (en) * 2009-06-11 2016-10-25 Alpine Electronics, Inc. Method and apparatus for navigation system for selecting icons and application area by hand drawing on map image
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110022307A1 (en) * 2009-07-27 2011-01-27 Htc Corporation Method for operating navigation frame, navigation apparatus and recording medium
TWI408340B (zh) * 2009-07-27 2013-09-11 Htc Corp 導航路徑顯示方法、導航裝置及電腦程式產品
KR101597289B1 (ko) * 2009-07-31 2016-03-08 삼성전자주식회사 동적 화면에 따라 음성을 인식하는 장치 및 방법
DE102009037658A1 (de) 2009-08-14 2011-02-17 Audi Ag Fahrzeug mit mehreren Funktionen und einer zugehörigen Auswahleinrichtung
KR101622196B1 (ko) * 2009-09-07 2016-05-18 삼성전자주식회사 휴대용 단말기에서 피오아이 정보 제공 방법 및 장치
US8294683B2 (en) * 2009-09-25 2012-10-23 Mitac International Corp. Method of processing touch commands and voice commands in parallel in an electronic device supporting speech recognition
DE102009051882A1 (de) * 2009-11-04 2011-05-05 Volkswagen Ag Verfahren und Vorrichtung zur Spracheingabe für ein Fahrzeug
JP5252352B2 (ja) * 2009-11-05 2013-07-31 クラリオン株式会社 情報端末装置、情報端末管理システム及びプログラム
US9502025B2 (en) 2009-11-10 2016-11-22 Voicebox Technologies Corporation System and method for providing a natural language content dedication service
US9171541B2 (en) 2009-11-10 2015-10-27 Voicebox Technologies Corporation System and method for hybrid processing in a natural language voice services environment
DE102009058151B4 (de) * 2009-12-12 2020-08-20 Volkswagen Ag Verfahren zum Betreiben eines Sprachdialogsystems mit semantischer Bewertung und Sprachdialogsystem dazu
DE102009059792A1 (de) * 2009-12-21 2011-06-22 Continental Automotive GmbH, 30165 Verfahren und Vorrichtung zur Bedienung technischer Einrichtungen, insbesondere eines Kraftfahrzeugs
DE102009059981A1 (de) * 2009-12-22 2011-06-30 Volkswagen AG, 38440 Verfahren zum Anzeigen einer Mehrzahl auswählberer Elemente und Vorrichtung zum Durchführen des Verfahrens
US8494852B2 (en) * 2010-01-05 2013-07-23 Google Inc. Word-level correction of speech input
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
JP2011150414A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力決定方法及び操作入力決定プログラム
JP5636678B2 (ja) * 2010-01-19 2014-12-10 ソニー株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JP2011150413A (ja) 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力方法及び操作入力プログラム
KR101769889B1 (ko) 2010-02-10 2017-08-21 마이크로칩 테크놀로지 저머니 게엠베하 수동 입력 동작과 연관된 신호의 생성 시스템 및 방법
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
EP2362186A1 (de) * 2010-02-26 2011-08-31 Deutsche Telekom AG Bedieneinrichtung für elektronische Gerätefunktionen in einem Kraftfahrzeug
DE102010011885A1 (de) * 2010-03-18 2011-09-22 Volkswagen Ag Verfahren zur Steuerung eines elektronischen Systems für ein Fahrzeug sowie entsprechende Steuerung
DE102011006344B4 (de) 2010-03-31 2020-03-12 Joyson Safety Systems Acquisition Llc Insassenmesssystem
JP5805974B2 (ja) 2010-03-31 2015-11-10 ティーケー ホールディングス，インコーポレーテッド ステアリングホイールセンサ
DE102011006649B4 (de) 2010-04-02 2018-05-03 Tk Holdings Inc. Lenkrad mit Handsensoren
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US9349368B1 (en) 2010-08-05 2016-05-24 Google Inc. Generating an audio notification based on detection of a triggering event
US8359020B2 (en) * 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US20120050007A1 (en) * 2010-08-24 2012-03-01 Babak Forutanpour Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display
FR2969783B1 (fr) * 2010-12-22 2012-12-28 Peugeot Citroen Automobiles Sa Interface homme machine comprenant une surface tactile de commande integrant un retour direct a la racine
US8810437B2 (en) * 2011-02-02 2014-08-19 Mapquest, Inc. Systems and methods for generating electronic map displays with points-of-interest information based on reference locations
US9081550B2 (en) * 2011-02-18 2015-07-14 Nuance Communications, Inc. Adding speech capabilities to existing computer applications with complex graphical user interfaces
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
DE102011015693A1 (de) 2011-03-31 2012-10-04 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Nutzerschnittstelle, insbesondere in einem Fahrzeug
US9368107B2 (en) * 2011-04-20 2016-06-14 Nuance Communications, Inc. Permitting automated speech command discovery via manual event to command mapping
US9107083B1 (en) * 2011-05-03 2015-08-11 Open Invention Network, Llc System and method for notifying users of similar searches
US9263045B2 (en) 2011-05-17 2016-02-16 Microsoft Technology Licensing, Llc Multi-mode text input
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8928336B2 (en) 2011-06-09 2015-01-06 Ford Global Technologies, Llc Proximity switch having sensitivity control and method therefor
US8975903B2 (en) 2011-06-09 2015-03-10 Ford Global Technologies, Llc Proximity switch having learned sensitivity and method therefor
JP2014523012A (ja) * 2011-07-01 2014-09-08 エンパイア テクノロジー ディベロップメント エルエルシー 適応型ユーザインターフェース
DE102011106271B4 (de) * 2011-07-01 2013-05-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US10004286B2 (en) 2011-08-08 2018-06-26 Ford Global Technologies, Llc Glove having conductive ink and method of interacting with proximity sensor
JP5691961B2 (ja) * 2011-09-14 2015-04-01 株式会社デンソー インターフェース装置
US9143126B2 (en) 2011-09-22 2015-09-22 Ford Global Technologies, Llc Proximity switch having lockout control for controlling movable panel
DE102011116188A1 (de) * 2011-10-14 2013-04-18 Volkswagen Aktiengesellschaft Verfahren zum Auswählen eines Abschnitts einer Route für ein Navigationssystem und Navigationssystem
US10112556B2 (en) 2011-11-03 2018-10-30 Ford Global Technologies, Llc Proximity switch having wrong touch adaptive learning and method
US8994228B2 (en) 2011-11-03 2015-03-31 Ford Global Technologies, Llc Proximity switch having wrong touch feedback
US8878438B2 (en) 2011-11-04 2014-11-04 Ford Global Technologies, Llc Lamp and proximity switch assembly and method
CN104040620B (zh) * 2011-12-29 2017-07-14 英特尔公司 用于进行直接语法存取的装置和方法
US8788273B2 (en) * 2012-02-15 2014-07-22 Robbie Donald EDGAR Method for quick scroll search using speech recognition
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9219472B2 (en) 2012-04-11 2015-12-22 Ford Global Technologies, Llc Proximity switch assembly and activation method using rate monitoring
US9197206B2 (en) 2012-04-11 2015-11-24 Ford Global Technologies, Llc Proximity switch having differential contact surface
US9944237B2 (en) 2012-04-11 2018-04-17 Ford Global Technologies, Llc Proximity switch assembly with signal drift rejection and method
US9065447B2 (en) 2012-04-11 2015-06-23 Ford Global Technologies, Llc Proximity switch assembly and method having adaptive time delay
US9831870B2 (en) 2012-04-11 2017-11-28 Ford Global Technologies, Llc Proximity switch assembly and method of tuning same
US8933708B2 (en) 2012-04-11 2015-01-13 Ford Global Technologies, Llc Proximity switch assembly and activation method with exploration mode
US9568527B2 (en) 2012-04-11 2017-02-14 Ford Global Technologies, Llc Proximity switch assembly and activation method having virtual button mode
US9520875B2 (en) 2012-04-11 2016-12-13 Ford Global Technologies, Llc Pliable proximity switch assembly and activation method
US9287864B2 (en) 2012-04-11 2016-03-15 Ford Global Technologies, Llc Proximity switch assembly and calibration method therefor
US9184745B2 (en) 2012-04-11 2015-11-10 Ford Global Technologies, Llc Proximity switch assembly and method of sensing user input based on signal rate of change
US9559688B2 (en) 2012-04-11 2017-01-31 Ford Global Technologies, Llc Proximity switch assembly having pliable surface and depression
US9660644B2 (en) 2012-04-11 2017-05-23 Ford Global Technologies, Llc Proximity switch assembly and activation method
US9531379B2 (en) 2012-04-11 2016-12-27 Ford Global Technologies, Llc Proximity switch assembly having groove between adjacent proximity sensors
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9136840B2 (en) 2012-05-17 2015-09-15 Ford Global Technologies, Llc Proximity switch assembly having dynamic tuned threshold
US8981602B2 (en) 2012-05-29 2015-03-17 Ford Global Technologies, Llc Proximity switch assembly having non-switch contact and method
US9159153B2 (en) 2012-06-05 2015-10-13 Apple Inc. Method, system and apparatus for providing visual feedback of a map view change
US9886794B2 (en) 2012-06-05 2018-02-06 Apple Inc. Problem reporting in maps
US9311750B2 (en) 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9367959B2 (en) * 2012-06-05 2016-06-14 Apple Inc. Mapping application with 3D presentation
US9482296B2 (en) 2012-06-05 2016-11-01 Apple Inc. Rendering road signs during navigation
US10156455B2 (en) 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
US10176633B2 (en) 2012-06-05 2019-01-08 Apple Inc. Integrated mapping and navigation application
US9418672B2 (en) 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
US9111380B2 (en) 2012-06-05 2015-08-18 Apple Inc. Rendering maps
US9997069B2 (en) 2012-06-05 2018-06-12 Apple Inc. Context-aware voice guidance
US9052197B2 (en) 2012-06-05 2015-06-09 Apple Inc. Providing navigation instructions while device is in locked mode
US9337832B2 (en) 2012-06-06 2016-05-10 Ford Global Technologies, Llc Proximity switch and method of adjusting sensitivity therefor
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9092394B2 (en) * 2012-06-15 2015-07-28 Honda Motor Co., Ltd. Depth based context identification
US9641172B2 (en) 2012-06-27 2017-05-02 Ford Global Technologies, Llc Proximity switch assembly having varying size electrode fingers
DE102012013503B4 (de) 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
KR101987255B1 (ko) * 2012-08-20 2019-06-11 엘지이노텍 주식회사 음성 인식 장치 및 이의 음성 인식 방법
US8922340B2 (en) 2012-09-11 2014-12-30 Ford Global Technologies, Llc Proximity switch based door latch release
JP6260622B2 (ja) 2012-09-17 2018-01-17 ティーケー ホールディングス インク．Ｔｋ Ｈｏｌｄｉｎｇｓ Ｉｎｃ． 単一層力センサ
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
DE102012219852A1 (de) 2012-10-30 2014-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zum Beeinflussen einer Text-zu-Sprache-Ausgabe
US8796575B2 (en) 2012-10-31 2014-08-05 Ford Global Technologies, Llc Proximity switch assembly having ground layer
DE102012021627A1 (de) * 2012-11-06 2014-05-08 Volkswagen Aktiengesellschaft Verfahren zum Anzeigen von Informationen in einem Fahrzeug und Vorrichtung zum Steuern der Anzeige
US9798799B2 (en) * 2012-11-15 2017-10-24 Sri International Vehicle personal assistant that interprets spoken natural language input based upon vehicle context
KR20140070861A (ko) * 2012-11-28 2014-06-11 한국전자통신연구원 멀티 모달 ｈｍｉ 제어 장치 및 방법
DE102012024954A1 (de) * 2012-12-20 2014-06-26 Volkswagen Aktiengesellschaft Verfahren zur Kennzeichnung einer Teilmenge einer in einer Speichereinheit abgelegten Grundmenge von Datensätzen und zur Visualisierung zumindest eines Teils der gekennzeichneten Teilmenge auf einer Anzeigeeinheit
US9258676B2 (en) * 2013-01-29 2016-02-09 Blackberry Limited Mobile device for creating, managing and sharing location information
DE102013001773A1 (de) 2013-01-31 2014-07-31 Audi Ag Verfahren zum Betreiben einer Vorrichtung zum Wiedergeben von Medieninhalten sowie Vorrichtung zum Wiedergeben von Medieninhalten
JP2014147511A (ja) * 2013-01-31 2014-08-21 Gree Inc プログラム、表示システム及びサーバ装置
US20140218372A1 (en) * 2013-02-05 2014-08-07 Apple Inc. Intelligent digital assistant in a desktop environment
US8744645B1 (en) 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system
US9311204B2 (en) 2013-03-13 2016-04-12 Ford Global Technologies, Llc Proximity interface development system having replicator and method
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US20140267035A1 (en) * 2013-03-15 2014-09-18 Sirius Xm Connected Vehicle Services Inc. Multimodal User Interface Design
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US9251715B2 (en) 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US9393870B2 (en) 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9378644B2 (en) 2013-03-15 2016-06-28 Honda Motor Co., Ltd. System and method for warning a driver of a potential rear end collision
DE102013006025A1 (de) 2013-04-08 2014-10-23 Audi Ag Methode zur Auflösung und Bedienung von POl-Stapeln
US9395764B2 (en) * 2013-04-25 2016-07-19 Filippo Costanzo Gestural motion and speech interface control method for 3d audio-video-data navigation on handheld devices
DE102013007502A1 (de) * 2013-04-25 2014-10-30 Elektrobit Automotive Gmbh Computer-implementiertes Verfahren zum automatischen Trainieren eins Dialogsystems und Dialogsystem zur Erzeugung von semantischen Annotationen
JP6100101B2 (ja) * 2013-06-04 2017-03-22 アルパイン株式会社 音声認識を利用した候補選択装置および候補選択方法
US9286029B2 (en) 2013-06-06 2016-03-15 Honda Motor Co., Ltd. System and method for multimodal human-vehicle interaction and belief tracking
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
KR102179056B1 (ko) * 2013-07-19 2020-11-16 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN103412708B (zh) * 2013-07-31 2016-12-28 华为技术有限公司 终端设备上的任务管理方法和终端设备
WO2015043655A1 (de) 2013-09-27 2015-04-02 Volkswagen Aktiengesellschaft Anwenderschnittstelle und verfahren zur unterstützung eines anwenders bei der bedienung einer bedieneinheit
KR101777074B1 (ko) * 2013-09-27 2017-09-19 폭스바겐 악티엔 게젤샤프트 사용자 인터페이스 및 조작 유닛의 조작 시 사용자를 지원하는 방법
EP3049909A1 (de) 2013-09-27 2016-08-03 Volkswagen Aktiengesellschaft Anwenderschnittstelle und verfahren zur unterstützung eines anwenders bei bedienung einer bedieneinheit
US11307282B2 (en) * 2013-10-25 2022-04-19 Ultrahaptics IP Two Limited Determining positional information for an object in space
WO2015083969A1 (en) * 2013-12-05 2015-06-11 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
KR20150066156A (ko) * 2013-12-06 2015-06-16 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
GB2521433A (en) 2013-12-19 2015-06-24 Daimler Ag Predicting an interface control action of a user with an in-vehicle user interface
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US20150261494A1 (en) * 2014-03-14 2015-09-17 Google Inc. Systems and methods for combining selection with targeted voice activation
ES2727955T3 (es) 2014-04-25 2019-10-21 Volkswagen Ag Interfaz de usuario para un sistema de infoentretenimiento de un medio de transporte
DE102014208663A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Vorrichtung und verfahren zur bereitstellung von informationsdaten zu einem in einem videobildstrom enthaltenen objekt einer fahrzeugumgebung
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
KR102223728B1 (ko) 2014-06-20 2021-03-05 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20160001178A (ko) * 2014-06-26 2016-01-06 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
DE102014213959A1 (de) * 2014-07-17 2016-01-21 Continental Automotive Gmbh Verfahren zum Überwachen eines automatisierten Fahrens
US9372092B2 (en) 2014-08-08 2016-06-21 Here Global B.V. Method and apparatus for providing a contextual menu in a map display
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9898459B2 (en) 2014-09-16 2018-02-20 Voicebox Technologies Corporation Integration of domain information into state transitions of a finite state transducer for natural language processing
CN107003996A (zh) 2014-09-16 2017-08-01 声钰科技 语音商务
DE102014219408A1 (de) * 2014-09-25 2016-04-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Einstellung eines thermischen Komfortzustandes
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
WO2016061309A1 (en) 2014-10-15 2016-04-21 Voicebox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
US10038443B2 (en) 2014-10-20 2018-07-31 Ford Global Technologies, Llc Directional proximity switch assembly
US10276158B2 (en) 2014-10-31 2019-04-30 At&T Intellectual Property I, L.P. System and method for initiating multi-modal speech recognition using a long-touch gesture
EP3015306B1 (de) * 2014-10-31 2021-01-06 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Bedienung einer Uhrenarmatur
DE102014017179B4 (de) * 2014-11-20 2022-10-06 Audi Ag Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs mittels einer Bediengeste
US10116748B2 (en) * 2014-11-20 2018-10-30 Microsoft Technology Licensing, Llc Vehicle-based multi-modal interface
US10431214B2 (en) 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
US10614799B2 (en) 2014-11-26 2020-04-07 Voicebox Technologies Corporation System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance
DE102014018423B4 (de) * 2014-12-11 2021-03-25 Audi Ag Kraftfahrzeug mit durch peripheres Sehen interpretierbarer Zustandsanzeige sowie entsprechendes Verfahren
CN107249952B (zh) 2014-12-30 2019-10-18 罗伯特·博世有限公司 用于自主车辆的自适应用户接口
US10073599B2 (en) 2015-01-07 2018-09-11 Microsoft Technology Licensing, Llc Automatic home screen determination based on display device
KR20160089782A (ko) * 2015-01-20 2016-07-28 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9654103B2 (en) 2015-03-18 2017-05-16 Ford Global Technologies, Llc Proximity switch assembly having haptic feedback and method
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US9548733B2 (en) 2015-05-20 2017-01-17 Ford Global Technologies, Llc Proximity sensor assembly having interleaved electrode configuration
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
JP5910903B1 (ja) * 2015-07-31 2016-04-27 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
DE102015215044A1 (de) 2015-08-06 2017-02-09 Volkswagen Aktiengesellschaft Verfahren und System zur Verarbeitung multimodaler Eingabesignale
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10008201B2 (en) * 2015-09-28 2018-06-26 GM Global Technology Operations LLC Streamlined navigational speech recognition
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10289381B2 (en) * 2015-12-07 2019-05-14 Motorola Mobility Llc Methods and systems for controlling an electronic device in response to detected social cues
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9986113B2 (en) 2016-05-06 2018-05-29 Fuji Xerox Co., Ltd. Information processing apparatus and nontransitory computer readable medium
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10587978B2 (en) 2016-06-03 2020-03-10 Nureva, Inc. Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
WO2017210784A1 (en) 2016-06-06 2017-12-14 Nureva Inc. Time-correlated touch and speech command input
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
WO2017210785A1 (en) 2016-06-06 2017-12-14 Nureva Inc. Method, apparatus and computer-readable media for touch and speech interface with audio location
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
AU2016410752A1 (en) * 2016-06-22 2019-01-31 Huawei Technologies Co., Ltd. Method and device for displaying candidate words, and graphical user interface
DE102016008049A1 (de) 2016-07-01 2018-01-04 Audi Ag Verfahren zum Betreiben einer Bedienvorrichtung, Bedienvorrichtung und Kraftfahrzeug
WO2018023106A1 (en) 2016-07-29 2018-02-01 Erik SWART System and method of disambiguating natural language processing requests
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
DE102016218011A1 (de) 2016-09-20 2018-03-22 Volkswagen Aktiengesellschaft Benutzerschnittstelle für den Zugriff auf eine Menge von Funktionen, Verfahren und computerlesbares Speichermedium zum Bereitstellen einer Benutzerschnittstelle für den Zugriff auf eine Menge von Funktionen
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
KR20180069492A (ko) 2016-12-15 2018-06-25 현대자동차주식회사 운전 보조 시스템의 제어 장치 및 방법
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10229680B1 (en) * 2016-12-29 2019-03-12 Amazon Technologies, Inc. Contextual entity resolution
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US11221823B2 (en) 2017-05-22 2022-01-11 Samsung Electronics Co., Ltd. System and method for context-based interaction for electronic devices
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
DE102017213005A1 (de) 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US20190147858A1 (en) * 2017-11-16 2019-05-16 Honeywell International Inc. Methods, systems and apparatuses for improving speech recognition using touch-based predictive modeling
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
CN108172222B (zh) * 2017-12-08 2020-11-20 石化盈科信息技术有限责任公司 一种工作台语音控制审批方法和系统
DE102017011498B4 (de) 2017-12-13 2022-08-18 Mercedes-Benz Group AG Verfahren zum Betreiben eines Assistenzsystems und ein Assistenzsystem für einen Kraftwagen
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
KR102476621B1 (ko) * 2018-05-07 2022-12-12 구글 엘엘씨 사용자, 자동화된 어시스턴트 및 컴퓨팅 서비스 간의 다중 모드 상호 작용
US11200893B2 (en) * 2018-05-07 2021-12-14 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
US11347801B2 (en) 2018-05-07 2022-05-31 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
JP2019214344A (ja) * 2018-06-14 2019-12-19 本田技研工業株式会社 車両用操作システム
JP7243087B2 (ja) * 2018-09-04 2023-03-22 トヨタ自動車株式会社 情報処理装置、情報処理方法およびプログラム
DE102018215293A1 (de) * 2018-09-07 2020-03-12 Bayerische Motoren Werke Aktiengesellschaft Multimodale Kommunikation mit einem Fahrzeug
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN111124236B (zh) * 2018-10-30 2023-04-28 斑马智行网络(香港)有限公司 一种数据处理方法、装置和机器可读介质
US10908883B2 (en) * 2018-11-13 2021-02-02 Adobe Inc. Voice interaction development tool
US10847156B2 (en) 2018-11-28 2020-11-24 Adobe Inc. Assembled voice interaction
US11137905B2 (en) 2018-12-03 2021-10-05 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11199901B2 (en) 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove
KR20200071841A (ko) * 2018-12-03 2020-06-22 현대자동차주식회사 차량용 음성명령어 처리 장치 및 그 방법
US11294463B2 (en) * 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11314409B2 (en) 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
CN109410944B (zh) * 2018-12-12 2020-06-09 百度在线网络技术（北京）有限公司 语音交互方法、装置和终端
DE102018132794A1 (de) * 2018-12-19 2020-06-25 Patty's Gmbh Verfahren zur Eingabe von Befehlen für eine elektronische Einrichtung
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11017771B2 (en) 2019-01-18 2021-05-25 Adobe Inc. Voice command matching during testing of voice-assisted application prototypes for languages with non-phonetic alphabets
US10964322B2 (en) 2019-01-23 2021-03-30 Adobe Inc. Voice interaction tool for voice-assisted application prototypes
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DE102019205097A1 (de) * 2019-04-09 2020-10-15 Volkswagen Aktiengesellschaft Verfahren zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs, System zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
DE102019210010A1 (de) * 2019-07-08 2021-01-14 Volkswagen Aktiengesellschaft Verfahren und Bediensystem zum Erfassen einer Nutzereingabe für eine Einrichtung eines Fahrzeugs
JP2021033746A (ja) * 2019-08-27 2021-03-01 アルパイン株式会社 サービス提供装置、サービス提供システム、及びサービス提供方法
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN112788422A (zh) * 2019-11-04 2021-05-11 海信视像科技股份有限公司 显示设备
US11295088B2 (en) 2019-11-20 2022-04-05 Apple Inc. Sanitizing word predictions
CN111169408A (zh) * 2019-12-19 2020-05-19 苏州禾昆智能科技有限公司 一种车内中控基于卡片的主副驾协助系统及其方法
DE102020202284A1 (de) 2020-02-21 2021-08-26 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11381676B2 (en) * 2020-06-30 2022-07-05 Qualcomm Incorporated Quick launcher user interface
CN111816189B (zh) * 2020-07-03 2023-12-26 斑马网络技术有限公司 一种车辆用多音区语音交互方法及电子设备
DE102020122795A1 (de) 2020-09-01 2022-03-03 Bayerische Motoren Werke Aktiengesellschaft Bedienung von Funktionen eines Fahrzeugs
CN113370897A (zh) * 2021-06-28 2021-09-10 北京小鹏汽车有限公司 一种车辆地图显示控制方法和装置
WO2023128104A1 (ko) * 2021-12-31 2023-07-06 주식회사 씨케이머티리얼즈랩 촉각 키보드 및 촉각 입력 장치
KR102626374B1 (ko) * 2021-12-31 2024-01-18 주식회사 씨케이머티리얼즈랩 촉각 키보드 및 촉각 입력 장치

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3267047B2 (ja) 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
US5857172A (en) * 1995-07-31 1999-01-05 Microsoft Corporation Activation control of a speech recognizer through use of a pointing device
DE19715325A1 (de) 1997-04-12 1998-10-15 Bayerische Motoren Werke Ag Anzeige- und Bedienvorrichtung für Menüs und/oder Funktionen eines Fahrzeugs
JPH11249692A (ja) * 1998-02-27 1999-09-17 Nec Saitama Ltd 音声認識装置
US7358956B2 (en) * 1998-09-14 2008-04-15 Microsoft Corporation Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
US7720682B2 (en) * 1998-12-04 2010-05-18 Tegic Communications, Inc. Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
US6243683B1 (en) * 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
JP2001331195A (ja) * 2000-05-19 2001-11-30 Sony Corp 車載機器、カーナビゲーションシステムおよびモニタ装置
DE10030369A1 (de) 2000-06-21 2002-01-03 Volkswagen Ag Spracherkennungssystem
EP1195673B1 (de) * 2000-10-04 2007-05-09 Siemens Aktiengesellschaft Kraftfahrzeug-Multimediasystem mit animierter Anzeigefunktion
DE10105898A1 (de) * 2001-02-09 2002-08-14 Bosch Gmbh Robert Verfahren zum Übergeben von Zielführungselementen, Fahrzeugnavigationsgerät und Zentrale
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
CA2397703C (en) * 2001-08-15 2009-04-28 At&T Corp. Systems and methods for abstracting portions of information that is represented with finite-state devices
US7324947B2 (en) * 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US7181342B2 (en) * 2002-03-15 2007-02-20 Mitsubishi Denki Kabushiki Kaisha Vehicular navigation device
US20040034455A1 (en) * 2002-08-15 2004-02-19 Craig Simonds Vehicle system and method of communicating between host platform and human machine interface
US20050196784A1 (en) 2002-11-01 2005-09-08 Decode Genetics Ehf. Human Type II diabetes gene - Kv channel-interacting protein (KChIP1) located on chromosome 5
US20070293183A1 (en) * 2002-12-11 2007-12-20 Ira Marlowe Multimedia device integration system
US7249025B2 (en) * 2003-05-09 2007-07-24 Matsushita Electric Industrial Co., Ltd. Portable device for enhanced security and accessibility
US20050137877A1 (en) * 2003-12-17 2005-06-23 General Motors Corporation Method and system for enabling a device function of a vehicle
DE602004010054T2 (de) * 2004-01-19 2008-03-06 Harman Becker Automotive Systems Gmbh Betätigung eines Sprachdialogsystems
US20050197843A1 (en) * 2004-03-07 2005-09-08 International Business Machines Corporation Multimodal aggregating unit
KR100679042B1 (ko) * 2004-10-27 2007-02-06 삼성전자주식회사 음성인식 방법 및 장치, 이를 이용한 네비게이션 시스템
DE102005042694A1 (de) 2004-12-30 2006-07-20 Volkswagen Ag Navigationssystem für ein Kraftfahrzeug
DE102006037156A1 (de) 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
CN101055193A (zh) * 2006-04-12 2007-10-17 株式会社日立制作所 车载装置的非接触输入操作装置
DE102006028046B4 (de) 2006-06-19 2016-02-11 Audi Ag Kombinierte Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug
US8354997B2 (en) * 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
US20080154608A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. On a mobile device tracking use of search results delivered to the mobile device
JP2007164814A (ja) 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置
DE102007044792B4 (de) * 2007-09-19 2012-12-13 Siemens Ag Verfahren, Steuergerät und System zur Steuerung oder Bedienung
DE102008051756A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US8140335B2 (en) * 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US8370755B2 (en) * 2007-12-27 2013-02-05 Core Wireless Licensing S.A.R.L. User interface controlled by environmental cues
US8121586B2 (en) * 2008-09-16 2012-02-21 Yellowpages.Com Llc Systems and methods for voice based search
US8402533B2 (en) * 2010-08-06 2013-03-19 Google Inc. Input to locked computing device
US8863042B2 (en) * 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
US8744645B1 (en) * 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system

Cited By (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
CN102591448A (zh) * 2010-11-09 2012-07-18 索尼公司 信息处理设备、信息处理方法和计算机可读存储介质
CN102750078A (zh) * 2011-03-29 2012-10-24 索尼公司 信息显示装置、信息显示方法和程序
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
CN103782259A (zh) * 2011-09-08 2014-05-07 戴姆勒股份公司 机动车用操控装置及操作该机动车用操控装置的方法
CN108337380A (zh) * 2011-09-30 2018-07-27 苹果公司 自动调整用户界面以用于免提交互
CN104040465B (zh) * 2012-01-10 2017-04-12 戴姆勒股份公司 使用在三维空间中执行的手势以及相关的计算机程序产品控制车辆功能的方法和设备
CN104040465A (zh) * 2012-01-10 2014-09-10 戴姆勒股份公司 使用在三维空间中执行的手势以及相关的计算机程序产品控制车辆功能的方法和设备
CN102756699B (zh) * 2012-06-01 2014-12-10 惠州华阳通用电子有限公司 车载系统及其用户界面切换方法
CN102756699A (zh) * 2012-06-01 2012-10-31 惠州华阳通用电子有限公司 车载系统及其用户界面切换方法
CN104395859B (zh) * 2012-06-26 2017-03-08 利奥波德·科世达责任有限股份公司 用于机动车辆的操作系统
CN104395859A (zh) * 2012-06-26 2015-03-04 利奥波德·科世达责任有限股份公司 用于机动车辆的操作系统
CN103529934B (zh) * 2012-06-29 2018-08-21 三星电子株式会社 用于处理多个输入的方法和装置
CN103529934A (zh) * 2012-06-29 2014-01-22 三星电子株式会社 用于处理多个输入的方法和装置
US10139937B2 (en) 2012-10-12 2018-11-27 Microsoft Technology Licensing, Llc Multi-modal user expressions and user intensity as interactions with an application
CN104823147A (zh) * 2012-10-12 2015-08-05 微软技术许可有限责任公司 作为与应用的交互的多模式用户表达和用户力度
CN104756185A (zh) * 2012-11-05 2015-07-01 三菱电机株式会社 语音识别装置
CN103839548B (zh) * 2012-11-26 2018-06-01 腾讯科技（北京）有限公司 一种语音交互方法、装置、系统和移动终端
US9728192B2 (en) 2012-11-26 2017-08-08 Tencent Technology (Shenzhen) Company Limited Method and apparatus for voice interaction control of movement base on material movement
CN103839548A (zh) * 2012-11-26 2014-06-04 腾讯科技（北京）有限公司 一种语音交互方法、装置、系统和移动终端
CN103970459A (zh) * 2013-01-30 2014-08-06 建兴电子科技股份有限公司 供交通工具使用的指令反馈系统及方法
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
CN105074817A (zh) * 2013-03-15 2015-11-18 高通股份有限公司 用于使用手势来切换处理模式的系统和方法
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN105074817B (zh) * 2013-03-15 2018-11-27 高通股份有限公司 用于使用手势来切换处理模式的系统和方法
CN103235643A (zh) * 2013-04-09 2013-08-07 青岛旲天下智能科技有限公司 采用声控式的人机交互设备
US9502035B2 (en) 2013-05-02 2016-11-22 Smartisan Digital Co., Ltd. Voice recognition method for mobile terminal and device thereof
WO2014177015A1 (zh) * 2013-05-02 2014-11-06 锤子科技（北京）有限公司 一种移动终端的语音识别方法及其装置
CN105210146B (zh) * 2013-05-07 2019-03-01 高通股份有限公司 用于控制语音激活的方法和设备
CN105210146A (zh) * 2013-05-07 2015-12-30 高通股份有限公司 用于控制语音激活的方法和设备
US11740703B2 (en) 2013-05-31 2023-08-29 Pixart Imaging Inc. Apparatus having gesture sensor
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
CN109343708A (zh) * 2013-06-13 2019-02-15 原相科技股份有限公司 具有手势感测器的装置
CN104461606A (zh) * 2013-09-13 2015-03-25 现代自动车株式会社 自定义界面系统及其操作方法
CN104821167A (zh) * 2014-02-04 2015-08-05 霍尼韦尔国际公司 在飞机上利用语音命令的系统和方法
CN104821167B (zh) * 2014-02-04 2019-11-19 霍尼韦尔国际公司 在飞机上利用语音命令的系统和方法
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
CN111523850B (zh) * 2014-06-04 2024-03-15 谷歌有限责任公司 响应于共同存在确定的调用动作
CN111523850A (zh) * 2014-06-04 2020-08-11 谷歌有限责任公司 响应于共同存在确定的调用动作
CN105719645A (zh) * 2014-12-17 2016-06-29 现代自动车株式会社 语音识别装置、包括其的车辆和控制语音识别装置的方法
CN105719645B (zh) * 2014-12-17 2020-09-18 现代自动车株式会社 语音识别装置、包括其的车辆和控制语音识别装置的方法
CN105824494A (zh) * 2015-01-27 2016-08-03 现代自动车株式会社 集成变更车辆内容的个性化显示系统和车辆内容管理方法
CN107107841A (zh) * 2015-02-20 2017-08-29 歌乐株式会社 信息处理装置
US10466800B2 (en) 2015-02-20 2019-11-05 Clarion Co., Ltd. Vehicle information processing device
CN107107841B (zh) * 2015-02-20 2020-03-31 歌乐株式会社 信息处理装置
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11341189B2 (en) 2015-04-10 2022-05-24 Harman International Industries, Incorporated Multi-character string search engine for in-vehicle information system
CN107466401A (zh) * 2015-04-10 2017-12-12 哈曼国际工业有限公司 用于车载信息系统的多字符串搜索引擎
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
CN108779989A (zh) * 2016-01-06 2018-11-09 罗伯特·博世有限公司 交互式地图信息镜头
CN108779989B (zh) * 2016-01-06 2022-06-03 罗伯特·博世有限公司 交互式地图信息镜头
CN105509761A (zh) * 2016-01-08 2016-04-20 北京乐驾科技有限公司 一种多轮语音交互导航方法及系统
CN105509761B (zh) * 2016-01-08 2019-03-12 北京乐驾科技有限公司 一种多轮语音交互导航方法及系统
US11280632B2 (en) 2016-05-10 2022-03-22 Volkswagen Aktiengesellschaft Method for reproducing a map display in a transportation vehicle depending on a driving situation
CN109074758A (zh) * 2016-05-10 2018-12-21 大众汽车有限公司 用于在车辆中取决于行驶情况地播放地图图示的方法
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
CN110036357A (zh) * 2016-10-12 2019-07-19 英智爱软件股份公司 控制用户界面的方法、程序及装置
CN109804429A (zh) * 2016-10-13 2019-05-24 宝马股份公司 机动车中的多模式对话
US11551679B2 (en) 2016-10-13 2023-01-10 Bayerische Motoren Werke Aktiengesellschaft Multimodal dialog in a motor vehicle
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
CN109669529A (zh) * 2017-10-16 2019-04-23 上汽通用汽车有限公司 车载人机交互系统
CN107963039A (zh) * 2017-12-04 2018-04-27 信利光电股份有限公司 一种机动车的操控系统、方法及机动车
CN110001547B (zh) * 2018-01-05 2022-06-03 Lg电子株式会社 输入输出装置以及包括输入输出装置的车辆
CN110001547A (zh) * 2018-01-05 2019-07-12 Lg电子株式会社 输入输出装置以及包括输入输出装置的车辆
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
CN109947256A (zh) * 2019-03-27 2019-06-28 思特沃克软件技术(北京)有限公司 一种减少驾驶员注视触摸屏时间的方法和车载触摸屏
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
CN114072754A (zh) * 2019-07-08 2022-02-18 大众汽车股份公司 运行操作系统的方法和操作系统
US12010262B2 (en) 2020-08-20 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices

Also Published As

Publication number Publication date
EP2223046B1 (de) 2015-08-12
CN101855521B (zh) 2014-12-10
WO2009062677A2 (de) 2009-05-22
US20110022393A1 (en) 2011-01-27
DE102008051757A1 (de) 2009-05-14
DE102008051756A1 (de) 2009-05-14
EP2223046A2 (de) 2010-09-01
US9103691B2 (en) 2015-08-11
KR20100076998A (ko) 2010-07-06
WO2009062677A3 (de) 2009-07-09
KR101647848B1 (ko) 2016-08-11

Similar Documents

Publication Publication Date Title
CN101855521B (zh) 用于信息的输入和展示的驾驶员辅助系统的多形态的用户接口
CN105283356B (zh) 应用程序控制方法以及信息终端
RU2650029C2 (ru) Способ и устройство для управления приложением посредством распознавания нарисованного от руки изображения
US20130275924A1 (en) Low-attention gestural user interface
US9261908B2 (en) System and method for transitioning between operational modes of an in-vehicle device using gestures
KR102188757B1 (ko) 오프-스크린 가시 객체들의 표면화
US7894985B2 (en) Facility searching device, program, navigation device, and facility searching method
CN110457034A (zh) 生成用于第三方应用程序的导航用户界面
KR20140026966A (ko) 펜 기능 운용 방법 및 시스템
JP2006315597A (ja) 車載用表示装置
US9495088B2 (en) Text entry method with character input slider
CN101770341A (zh) 用于在电子设备中的对象之间的导航的方法和设备
JP2007279638A (ja) ナビゲーション装置
CN103890760A (zh) 用于操作电子装置或者应用程序的方法和相应的装置
JP2007042029A (ja) 表示装置およびプログラム
KR20160099721A (ko) 정보를 표시하고 전자 기기를 조작하기 위한 방법 및 장치
CN102460369A (zh) 用于显示排序成列表的信息的方法和设备
CN104053969A (zh) 地图显示装置及地图显示方法
CN105684012A (zh) 提供情境信息
CN114206654A (zh) 用于检测对交通工具的装置的用户输入的方法和操作系统
Weinberg et al. BullsEye: An Au Automotive Touch Interface that's always on Target
JP2010281572A (ja) 車載装置および車載装置の制御方法
JP6798608B2 (ja) ナビゲーションシステムおよびナビゲーションプログラム
CN114040857A (zh) 用于运行车辆中的操作系统的方法和车辆中的操作系统
CN201269759Y (zh) 导航装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant