CN106020434B - 人机接口设备输入融合的方法、设备及产品 - Google Patents

人机接口设备输入融合的方法、设备及产品 Download PDF

Info

Publication number
CN106020434B
CN106020434B CN201510982951.8A CN201510982951A CN106020434B CN 106020434 B CN106020434 B CN 106020434B CN 201510982951 A CN201510982951 A CN 201510982951A CN 106020434 B CN106020434 B CN 106020434B
Authority
CN
China
Prior art keywords
user input
input
user
behavior
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510982951.8A
Other languages
English (en)
Other versions
CN106020434A (zh
Inventor
格里戈里·扎伊采夫
安托万·罗兰·罗
罗德·D·沃特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN106020434A publication Critical patent/CN106020434A/zh
Application granted granted Critical
Publication of CN106020434B publication Critical patent/CN106020434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Abstract

本发明涉及人机接口设备输入融合的方法、设备及产品。在一个实施方式中，该方法包括：在电子设备的第一输入设备处接受针对驻留在电子设备上的对象进行的第一用户输入；基于第一用户输入，使用处理器部分地完成用户行为；在电子设备的另外类型的输入设备处接受与针对对象进行的第一用户输入相关联的第二用户输入；使用处理器将针对对象进行的第一用户输入和第二用户输入进行结合；以及基于结合的第一用户输入和第二用户输入，使用处理器完成针对对象进行的用户输入行为。其他方面也有所描述并且要求保护。

Description

人机接口设备输入融合的方法、设备及产品
技术领域
本发明涉及人机接口设备输入融合，并且特别地，涉及人机接口设备输入融合的方法、设备及产品。
背景技术
电子设备(例如，智能电话、平板计算机、智能手表、膝上型计算机、个人计算机、智能电视机等)可以包括各种类型的人机接口设备(HID)。例如，HID可以是定点设备(例如，鼠标、轨迹球、触摸板、指点杆等)、键盘、触摸屏等。HID可以由一起工作的设备诸如麦克风(用于输入)和扬声器(用于输出)的组合来提供。
HID的类型可以由提供输入和/或输出的模式来限定。例如，一种类型的HID可以使用触摸或手势作为输入模式而输出则以视觉模式来显示进行工作，而另一类型的HID可以使用音频输入输出模式进行工作，例如麦克风和语音处理功能用于输入以及扬声器用于输出。因此，电子设备通常包括各种类型的HID(根据上下文，在本文中也简单地称为输入设备或输出设备)。
发明内容
总之，一个方面提供了一种方法，该方法包括：在电子设备的第一输入设备处接受针对驻留在电子设备上的对象进行的第一用户输入；基于第一用户输入，使用处理器部分地完成用户行为；在电子设备的另外类型的输入设备处接受与针对对象进行的第一用户输入相关联的第二用户输入；使用处理器将针对对象进行的第一用户输入和第二用户输入进行结合；以及基于结合的第一用户输入和第二用户输入，使用处理器完成针对对象进行的用户输入行为。
另一个方面提供了一种电子设备，该电子设备包括第一输入设备、另外类型的输入设备、处理器以及存储设备，所述处理器在操作上耦接至第一输入设备和另外类型的输入设备，所述存储设备存储有指令，所述指令能够由处理器执行以：在第一输入设备处接受针对驻留在电子设备上的对象进行的第一用户输入；基于第一用户输入，部分地完成用户行为；在电子设备的另外类型的输入设备处接受与针对对象进行的第一用户输入相关联的第二用户输入；将针对对象进行的第一用户输入和第二用户输入进行结合；以及基于结合的第一用户输入和第二用户输入，完成针对对象进行的用户输入行为。
另一个方面提供了一种产品，该产品包括存储有代码的存储设备，所述代码能够由处理器执行并且包括：用于从电子设备的第一输入设备接受针对驻留在电子设备上的对象进行的第一用户输入的代码；用于基于第一用户输入部分地完成用户行为的代码；用于从电子设备的另外类型的输入设备接受与针对对象进行的第一用户输入相关联的第二用户输入的代码；用于将针对对象进行的第一用户输入和第二用户输入进行结合的代码；以及用于基于结合的第一用户输入和第二用户输入完成针对对象进行的用户输入行为的代码。
上述内容为概要，从而可能包含对细节的简化、概括及省略。因此，本领域技术人员将理解的是，本发明内容仅是说明性的，而并不意在以任何方式进行限制。
为了更好地理解实施方式以及实施方式的其他和进一步的特征及优点，参照以下结合了附图的描述。本发明的范围将在所附权利要求中指出。
附图说明
图1示出了信息处理设备电路系统的示例。
图2示出了信息处理设备电路系统的另一示例。
图3示出了使用不同的输入模式的输入融合的示例性方法。
具体实施方式
容易理解的是，除所描述的示例性实施方式以外，本文附图中一般性地描绘和说明的实施方式的部件可以按照各种不同的配置来进行布置和设计。因而，以下对附图中所表达的示例性实施方式的更详细描述不意在限制所要求保护的实施方式的范围，而是仅表示示例性实施方式。
本说明书中提到的“一个实施方式”或“实施方式”(或类似的表述)表示结合实施方式所描述的具体的特征、结构或特性包括在至少一个实施方式中。因此，本说明书中各处出现的短语“在一个实施方式中”或“在实施方式中”等并非都是在提及相同的实施方式。
此外，在一个或更多个实施方式中，可以以任何合适的方式对所描述的特征、结构或特性进行组合。在下面的描述中，提供了许多具体的细节以给出对实施方式的透彻理解。然而，相关领域的技术人员将认识到，在没有具体细节中的一个或更多个细节的情况下，或者在使用其他的方法、部件、材料等的情况下，也可以实施各种实施方式。在其他情况下，为了避免混淆而没有详细地示出或描述公知的结构、材料或操作。
使用人机接口设备(HID)例如触摸输入设备，用户可以对对象执行各种行为，例如拖放文件等。同样，使用语音处理功能和另外类型的输入设备例如麦克风和语音识别系统，信息处理设备可以能够识别口头命令并且基于口头命令来执行行为。
当用户例如在文件上使用触摸输入或笔式手势来使用拖放特征时，或者执行类似的行为时，有时需要更多的信息来完成用户输入行为。例如，用户触摸输入或笔输入——例如文件的拖放——可能被视为是相对于该文件的部分用户输入行为。即，所述部分用户输入行为缺乏用于完成用户行为的特定细节，例如，要将所选择的文件发送到何处(如要将该文件(例如图片)发送到哪个社交网站)、要将该文件移到哪个显示器等。
常规地，用户使用同一HID和模式来完成这样的部分用户输入行为。例如，如果使用触摸输入来拖放文件，则在这样的拖放输入之后，会出现附加的菜单或向导以供用户提供进一步的触摸输入来完成该行为。这种类型的解决方案使用户输入较慢并且有时需要学习。
可以通过对各种类型或模式的输入进行共同合作处理(concurrent process)的实施方式来改进HID输入(例如触摸输入、笔输入、鼠标输入、键盘输入等)。例如，可以通过使用记录的用户语音作为输入来改进触摸输入。触摸输入和语音输入的结合或融合可以帮助设备确定提供用于完成以触摸输入开始的部分用户输入行为的细节的语音命令。可以通过使用声音或语音识别系统和自然语言处理(NLP)来从语音输入生成语音命令。
举例来说，实施方式可以接受第一类型的输入，例如，用户使用触摸输入将对象如文件从一个文件夹拖放到另一文件夹，并且接受来自另外类型的输入设备的输入，所述另外类型的输入设备例如用于接受包括“移动”或“复制”语音命令的语音输入的麦克风。这使得实施方式将多种类型的输入(此处为触摸和语音)进行结合来完成部分用户输入行为(此处为用户将文件拖放到另一文件夹，但是没有指示其是复制命令还是移动/剪切命令)。因此，语音输入为系统提供附加的或补充的数据以完成对文件的用户行为。这可以在没有进一步使用原有的HID的情况下实现。
值得注意的是，虽然通篇使用术语“文件”作为示例性对象，但是各种实施方式可以结合其他对象如电子邮件、日历事件、待办事项、联系信息、云存储装置上存储的文件等进行使用。因此，贯穿全文，将术语“文件”用作方便的具有代表性的示例性对象，但是该术语不应被理解为限制。
作为另一示例，当用户使用触摸输入用指尖或笔打开文件时，可以使用附加的用户语音命令来指定应该在哪个显示器上显示该文件，例如“在右边的显示器上打开这个文件”。在这个示例中，部分用户行为输入的完成是对用户行为的修改。也就是说，初始用户行为输入通常足以打开该文件，但是只会在默认的目的地打开该文件。所完成的部分用户行为是行为的第二部分，在此处，该第二部分为将打开的文件从默认的目的地重新定位到合适的显示器。实施方式可以通过从逻辑上将语音数据中的“这个文件”(即，使用触摸输入选择的文件或对象)与所述部分用户行为相关联来完成上述目的，并在此后根据语音数据“打开”和“右边的显示器”形成语音命令，从而完成将触摸选择的文件打开并且定位在右边的显示器上的用户行为。
作为另一示例，如果用户在文件图标上绘制共享手势并说：“社交网站A，仅朋友”，则实施方式将这些输入进行结合来指示应该将与其上绘制共享手势的图标相关联的文件发布到与在该设备上运行的社交网站A的帐户相关联的特定社交网站(社交网站A)上。这排除了需要用户使用触摸输入通过选择菜单进行点击来指示应该将该文件共享到特定社交网站上并且选择隐私设置使得仅与朋友共享。
通过进一步的非限制性的示例的方式，如果用户提供触摸输入将文件拖放到电子邮件应用中或电子邮件应用的图标上并提供语音输入“John Doe”，则实施方式可以将这些输入进行结合以完成对该文件的部分拖放用户输入行为。具体地，实施方式可以确定该用户指示应该将该文件经由电子邮件应用发送到该设备的联系人中的“John Doe”。
通过参照附图将会最好地理解所示出的示例性实施方式。下面的描述仅意在作为示例，并且仅仅示出了某些示例性实施方式。
虽然在信息处理设备中可以利用各种其他电路、电路系统或部件，但是对于智能电话和/或平板电路系统100而言，图1所示的示例包括例如在平板或其他移动计算平台中会有的片上系统设计。软件和处理器被组合在单个芯片110中。如本领域所公知的，处理器包括内部运算单元、寄存器、高速缓冲存储器、总线、I/O端口等。内部总线等取决于不同的供应商，但基本上所有的外围设备120均可以附接至单个芯片110。电路系统100将处理器、存储器控制以及I/O控制器集线器全部组合到单个芯片110中。并且，这种类型的系统100通常不使用SATA或PCI或LPC。公共接口例如包括SDIO和I2C。
存在对例如经由可再充电电池140供应的电力进行管理的电力管理电路130例如电池管理单元BMU，可再充电电池140可以通过连接到电源(未示出)而再充电。在至少一个设计中，使用单个芯片例如110来提供类似BIOS的功能和DRAM存储器。
系统100通常包括WWAN收发器150和WLAN收发器160中的一个或更多个，以连接到各种网络例如电信网络和无线因特网设备例如接入点。此外，通常包括设备120，例如用于各种类型或模式的用户输入如触摸输入、语音输入等的HID。系统100中通常包括的HID是用于数据输入和显示/呈现的触摸屏170。系统100通常还包括各种存储装置，例如闪速存储器180和SDRAM 190。
图2描绘了信息处理设备电路、电路系统或部件的另一示例的框图。图2中描绘的示例可以对应于计算系统，例如由北卡罗来纳州的莫里斯维尔市的联想(美国)股份有限公司所销售的THINKPAD系列个人计算机，或其他设备。根据本文的描述明显可知，实施方式可以包括其他特征或仅包括图2所示的示例的特征中的一些特征。
图2的示例包括其架构可能依据制造商(例如INTEL、AMD、ARM等)而不同的所谓的芯片集210(一起工作的集成电路或芯片的组；芯片集)。INTEL是美国和其他国家的英特尔公司(Intel Corporation)的注册商标。AMD是美国和其他国家的超微半导体公司(Advanced Micro Devices,Inc.)的注册商标。ARM是美国或其他国家的ARM控股有限公司(ARM Holdings plc)的未注册商标。芯片集210的架构包括经由直接管理接口(DMI)242或链接控制器244来交换信息(例如数据、信号、命令等)的I/O控制器集线器250和内核与存储器控制组220。在图2中，DMI 242是芯片到芯片的接口(有时称为“北桥”与“南桥”之间的链接)。内核与存储器控制组220包括经由前置总线(front side bus，FSB)224来交换信息的一个或更多个处理器222(例如单核或多核)和存储器控制器集线器226；注意，组220的部件可以被集成在代替传统“北桥”式架构的芯片中。如本领域中公知的，一个或更多个处理器222包括内部算术单元、寄存器、高速缓冲存储器、总线、I/O端口等。
在图2中，存储器控制器集线器226与存储器240进行接口连接(例如，以对可以被称为“系统存储器”或“存储器”的RAM类型提供支持)。存储器控制器集线器226还包括用于显示设备292(例如，CRT、平板、触摸屏等)的低压差分信号(LVDS)接口232。块238包括可以通过LVDS接口232(例如串行数字视频、HDMI/DVI、显示端口)支持的一些技术。存储器控制器集线器226还包括可以支持独立显卡236的PCI-express接口(PCI-E)234。
在图2中，I/O控制器集线器250包括SATA接口251(例如用于HDD,SDD 280等)、PCI-E接口252(例如用于无线连接282)、USB接口253(例如，用于设备284，如数字转换器、键盘、鼠标、摄像头、电话、麦克风、存储设备、近场通信设备、其他连接设备等)、网络接口254(例如，LAN)、GPIO接口255、LPC接口270(用于ASIC 271、TPM 272、超级I/O 273、固件集线器274、BIOS支持275以及各种类型的存储器276如ROM 277、闪存278和NVRAM 279)、电力管理接口261、时钟发生器接口262、音频接口263(例如用于扬声器294)、TCO接口264、系统管理总线接口265以及可以包括BIOS 268和启动代码290的SPI闪存266。I/O控制器集线器250可以包括千兆比特的以太网支持。
系统在通电时可以被配置成执行存储在SPI闪存266内的用于BIOS 268的启动代码290，此后，在一个或更多个操作系统和应用软件(例如存储在系统存储器240中)的控制下处理数据。操作系统可以存储在多个位置中的任意位置，并且可以根据例如BIOS 268的指令被访问。如本文所描述的，设备可以包括比图2的系统中示出的特征更少或更多的特征。
信息处理设备电路系统——例如在图1或图2中概述的信息处理设备电路系统——通常可以用在电子设备如平板、智能电话以及个人计算机设备中。在实施方式中，例如，电子设备包括接受笔和手指触摸输入的触摸屏并且包括麦克风和语音处理软件以执行与语音命令相关联的行为。因此，图1中概述的电路系统可以实施于平板或智能电话实施方式中，而图2中概述的电路系统可以实施于个人计算机实施方式中。
现在参照图3，实施方式提供了人机接口设备输入融合的方法。如图3所示，在301处，实施方式在人机接口设备如触摸屏处接受针对驻留在电子设备上的文件进行的部分用户输入行为。例如，用户可以触摸文件来选择用于打开的文件，可以将文件拖放到例如电子邮件应用中，用户可以使用笔或触针在文件上绘制共享手势等。
如本文所述，对于某些行为(例如，简单地打开文件而不考虑目的地，如左方或右方的显示器)，如在301处接收的这样的部分用户输入行为可以是足够的。然而，在许多情况下，系统仅使用在301处输入的数据则不能够完成用户实际意图的文件行为(例如，共享、在消息收发应用中发送文件、等等)。在常规系统中，需要用户以特定方式提供进一步的输入(例如，一系列进一步的触摸输入)来完成该行为。这增加了完成针对文件进行的用户输入行为的时间和复杂性。
因此，在302处，实施方式确定是否存在例如从另外类型的输入设备接收的另外类型的用户输入，如经由电子设备的麦克风接收的语音输入。如果存在这样的附加输入数据，则实施方式从其他输入设备接受附加的或补充的数据。在302处执行的确定的一部分，例如是否存在附加输入以及/或者是否应该将该附加输入接受为行为输入，可以包括：确定附加的或补充的输入数据是否与在301处接受的部分用户输入行为相关联。例如，实施方式可以要求在预定时间内(在部分用户输入行为之前或之后的)接收到其他输入数据。
这里所提及的示例“预定时间”并不意味着该时间的量始终是相同的时间量。事实上，其中发生待融合的两个事件的时间窗口的大小可以以各种方式来确定，例如，由系统基于命令本身的内容动态地确定。举例来说，如果语音命令包含对指向如语音输入“这个文件”的引用，即使已经过去了一定量的时间，也可以将这样的输入与最新指向的文件结合，而在命令不包含明确的引用或模糊的引用的情况下可能会并非如此。举例来说，语音输入“给John发送电子邮件”可以由系统根据上下文处理成下述用户行为：开启要发送给John的新的空白电子邮件的用户行为或者用电子邮件向John发送特定文件的用户行为。帮助确定窗口大小的其他因素包括上下文参数例如环境噪声、屏幕上显示的信息的量、过去使用历史(例如，针对该特定用户的相关行为之间的平均时间等)。
在这样的情况下，例如，在301处用户将文件拖放到电子邮件应用中，并且紧接着用语音进行命令“发送给John Doe”，实施方式可以在303处将对该文件进行的部分用户输入行为与用户输入进行结合，使得可以在304处基于结合的部分用户输入行为和其他用户输入来完成对该文件的用户输入行为，例如经由电子邮件将该文件发送给John Doe。
否则，即当仅发生部分用户输入行为时，在305处，实施方式可以什么也不做并且等待进一步的用户输入(例如，来自于文中所描述的另一输入设备或原来的输入设备的)或者可以完成默认命令，例如在默认显示器位置打开文件。换言之，当不存在可以有效地与部分用户输入行为融合的附加数据时，实施方式可以默认执行常规行为。
在实施方式中，初始输入为触摸输入，例如使用指尖或笔/触针对触摸屏提供的触摸输入，而附加输入或其他用户输入包括语音输入，例如提供给设备的麦克风并且从而提供给具有NLP功能的语音识别引擎的语音输入。这使得实施方式能够根据自然语言形成语音命令并且将这些命令映射到其他输入模式，例如，输入至为触摸输入而设计的应用界面或菜单的触摸式输入。在具有这样的附加数据的情况下，实施方式可以将该附加数据与部分用户输入行为的触摸输入数据进行结合，使得可以向所提及的应用提供完整的命令。因此，实施方式可以将替选输入如语音输入转换成对应用如电子邮件应用的触摸式输入。
可以理解的是，使用融合的输入完成的用户输入行为可以变化，例如，用户输入行为可以是文件复制行为、文件剪切粘贴行为、文件移动行为、文件共享行为或文件传输行为，仅举几例。在一些情况下，部分用户输入行为可以简单地为文件指示行为。取决于其他输入如语音式输入的质量和特性，使用部分用户输入和附加用户输入来完成的对文件的用户行为可能有些复杂。举例来说，当电子邮件程序正在运行时，通过简单地用触摸输入来指示文件并且提供语音输入“用电子邮件将此发送给John Doe”，这为实施方式提供了足够的输入数据以将输入数据融合成完整的命令使电子邮件应用将所指示的文件发送到特定目的地，此处为“John Doe”。可替代地，其他输入例如语音输入可以相当简单，例如，用户输入可以简单地为提供目的地指示的语音输入，而部分用户输入行为在内容上比较丰富。
因此，各种实施方式呈现了人机接口技术的技术改进。例如，实施方式有助于完成其中文件被认为是驻留在电子设备上的任何可行为对象的文件行为，使得用户可以将输入模式进行混合以实现更自然的体验。作为具体示例，实施方式省略了用户学习在针对单一输入模式例如触摸输入而设计的复杂的菜单上进行导航的需要。相反，实施方式集成了语音输入的自然语言处理，使得可以将这些语音输入映射到基于触摸的对应输入，使得用户能够减少完成文件行为所必需的触摸输入的量。这基本上改进了设备本身的用户界面功能。
本领域的技术人员应当理解，各个方面可以实施为系统、方法或设备程序产品。因此，各个方面可以采用全部硬件实施方式的形式，或者可以采用包括软件的实施方式的形式，该软件在此一般可全部被称为“电路”、“模块”或“系统”。此外，各个方面可以采用以一个或更多个设备可读介质来实施的设备程序产品的形式，上述一个或更多个设备可读介质中包含有设备可读程序代码。
应该注意，本文中所描述的各种功能可以使用存储在设备可读存储介质如非信号存储设备上由处理器执行的指令来实现。存储介质可以是例如电、磁、光、电磁、红外或半导体系统、装置或设备或者前述的任何适当的组合。存储介质的更加具体的示例可以包括如下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式致密盘只读存储器(CD-ROM)、光存储设备、磁存储设备或者前述的任何适当的组合。在本文的上下文中，存储介质不是信号并且“非暂态”包括除了信号介质以外的所有介质。
可以使用任何适当的介质、包括但不限于无线、电线、光纤线缆、RF等或前述的任何适合的组合来传送存储介质上所包含的程序代码。
可以以一种或更多种编程语言的任何组合来编写用于执行操作的程序代码。程序代码可以作为单机软件包完全在单个设备上执行、部分地在单个设备上执行，可以部分地在单个设备上且部分地在另一设备上执行，或完全地在其他设备上执行。在一些情况下，这些设备可以通过任何类型的连接或包括局域网(LAN)或广域网(WAN))的网络来进行连接，或者连接可以通过其他设备(例如通过使用互联网服务提供商的互联网)、通过无线连接例如近场通信、或通过硬线连接如USB连接来进行。
本文中参照附图描述了示例性实施方式，其中附图示出了根据各种示例性实施方式的示例方法、设备和程序产品。应理解的是，可以至少部分地通过程序指令来实现行为和功能。这些程序指令可以被提供至通用设备、专用信息处理设备或其他可编程数据处理设备的处理器以产生机器，使得通过设备的处理器执行的指令实现指定的功能/行为。
值得注意，虽然在附图中使用了具体的块，并且已经示出了块的特定排序，但是这些是非限制性的示例。在某些背景下，两个或更多个块可以被组合，一个块也可以被分成两个或更多个块，或者视情况而定某些块可以被重新排序或重新组织，因为明确示出的示例仅用于描述目的，而不被理解为是限制性的。
除非另外明确指出，否则本文中所使用的单数的“一”和“一个”可以被解释为包括复数“一个或更多个”。
为了说明和描述的目的给出了本公开内容，但是本公开内容并非意在是穷举的或限制性的。对于本领域的技术人员来说，许多修改和变型将是明显的。示例性实施方式被选择和描述，是为了说明原理和实际应用，并且使得本领域的技术人员能够针对具有适合于所设想的特定用途的各种修改的各种实施方式理解本公开内容。
因此，尽管在本文中已经参照附图描述了说明性的示例性实施方式，但是要理解该描述不是限制性的，并且在不偏离本公开内容的范围或精神的情况下，本领域的技术人员可以在其中实现各种其他变化和修改。

Claims (14)

1.一种方法，包括：
在电子设备的第一输入设备处接受针对驻留在所述电子设备上的对象进行的第一用户输入；
基于所述第一用户输入，使用处理器部分地完成用户行为；
判断是否在所述电子设备的另外类型的输入设备处接受与针对所述对象进行的所述第一用户输入相关联的第二用户输入，包括：判断是否在所述第一用户输入之前或之后的预定时间内接收到所述第二用户输入，其中，所述预定时间由系统基于所述第二用户输入的命令内容动态地确定；
在判断存在所述第二用户输入时，使用处理器将针对所述对象进行的所述第一用户输入和所述第二用户输入进行结合；以及
基于结合的所述第一用户输入和所述第二用户输入，使用处理器完成针对所述对象进行的用户输入行为,其中，所述第一用户输入是对象指示行为，所述第二用户输入是目的地指示，所述用户输入行为选自以下：对象复制行为、对象剪切粘贴行为、对象共享行为以及对象传输行为。
2.根据权利要求1所述的方法，其中，所述第二用户输入包括语音输入。
3.根据权利要求1所述的方法，其中，通过检测触摸输入来接受所述第一用户输入。
4.根据权利要求3所述的方法，其中，所述检测触摸输入包括检测笔输入。
5.根据权利要求1所述的方法，其中，通过检测手势输入来接受所述第一用户输入。
6.根据权利要求5所述的方法，其中，所述检测手势输入包括检测笔输入。
7.根据权利要求1所述的方法，其中，通过接受附加的用户输入来完成所述用户输入行为。
8.一种电子设备，包括：
第一输入设备；
另外类型的输入设备；
处理器，所述处理器在操作上耦接至所述第一输入设备和所述另外类型的输入设备；以及
存储设备，所述存储设备存储有指令，所述指令能够由所述处理器执行以：
在所述第一输入设备处接受针对驻留在所述电子设备上的对象进行的第一用户输入；
基于所述第一用户输入，部分地完成用户行为；
判断是否在所述电子设备的所述另外类型的输入设备处接受与针对所述对象进行的所述第一用户输入相关联的第二用户输入，包括：判断是否在所述第一用户输入之前或之后的预定时间内接收到所述第二用户输入，其中，所述预定时间由系统基于所述第二用户输入的命令内容动态地确定；
在判断存在所述第二用户输入时，将针对所述对象进行的所述第一用户输入和所述第二用户输入进行结合；以及
基于结合的所述第一用户输入和所述第二用户输入，完成针对所述对象进行的用户输入行为，其中，所述第一用户输入是对象指示行为，所述第二用户输入是目的地指示，所述用户输入行为选自以下：对象复制行为、对象剪切粘贴行为、对象共享行为以及对象传输行为。
9.根据权利要求8所述的电子设备，其中，所述第二用户输入包括语音输入。
10.根据权利要求8所述的电子设备，其中，通过检测触摸输入来接受所述第一用户输入。
11.根据权利要求10所述的电子设备，其中，所述检测触摸输入包括检测笔输入。
12.根据权利要求8所述的电子设备，其中，通过检测手势输入来接受所述第一用户输入。
13.根据权利要求12所述的电子设备，其中，所述检测手势输入包括检测笔输入。
14.一种产品，包括：
存储有代码的存储设备，所述代码能够由处理器执行并且包括：
用于从电子设备的第一输入设备接受针对驻留在所述电子设备上的对象进行的第一用户输入的代码；
用于基于所述第一用户输入部分地完成用户行为的代码；
用于判断是否从所述电子设备的另外类型的输入设备接受与针对所述对象进行的所述第一用户输入相关联的第二用户输入的代码，包括：判断是否在所述第一用户输入之前或之后的预定时间内接收到所述第二用户输入的代码，其中，所述预定时间由系统基于所述第二用户输入的命令内容动态地确定；
用于在判断存在所述第二用户输入时，将针对所述对象进行的所述第一用户输入和所述第二用户输入进行结合的代码；以及
用于基于结合的所述第一用户输入和所述第二用户输入完成针对所述对象进行的用户输入行为的代码，其中，所述第一用户输入是对象指示行为，所述第二用户输入是目的地指示，所述用户输入行为选自以下：对象复制行为、对象剪切粘贴行为、对象共享行为以及对象传输行为。
CN201510982951.8A 2015-03-26 2015-12-24 人机接口设备输入融合的方法、设备及产品 Active CN106020434B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/670,096 US10146355B2 (en) 2015-03-26 2015-03-26 Human interface device input fusion
US14/670,096 2015-03-26

Publications (2)

Publication Number Publication Date
CN106020434A CN106020434A (zh) 2016-10-12
CN106020434B true CN106020434B (zh) 2021-07-20

Family

ID=55637305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510982951.8A Active CN106020434B (zh) 2015-03-26 2015-12-24 人机接口设备输入融合的方法、设备及产品

Country Status (3)

Country Link
US (1) US10146355B2 (zh)
EP (1) EP3073368B1 (zh)
CN (1) CN106020434B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10838502B2 (en) * 2016-03-29 2020-11-17 Microsoft Technology Licensing, Llc Sharing across environments
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11978444B2 (en) * 2020-11-24 2024-05-07 International Business Machines Corporation AR (augmented reality) based selective sound inclusion from the surrounding while executing any voice command

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600765A (en) * 1992-10-20 1997-02-04 Hitachi, Ltd. Display system capable of accepting user commands by use of voice and gesture inputs
CN103716454A (zh) * 2012-10-08 2014-04-09 三星电子株式会社 利用语音识别执行预设操作模式的方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100519371B1 (ko) * 2002-12-24 2005-10-07 엘지.필립스 엘시디 주식회사 터치패널이 장착된 액정표시장치
US10437459B2 (en) * 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
US20110283212A1 (en) 2010-05-13 2011-11-17 Nokia Corporation User Interface
US20130063369A1 (en) * 2011-09-14 2013-03-14 Verizon Patent And Licensing Inc. Method and apparatus for media rendering services using gesture and/or voice control
KR101338825B1 (ko) * 2011-12-14 2013-12-06 현대자동차주식회사 다이나믹 터치 인터렉션을 이용한 선택영역 상세 정보 표시 제어방법 및 그 장치
US20130257753A1 (en) * 2012-04-03 2013-10-03 Anirudh Sharma Modeling Actions Based on Speech and Touch Inputs
US9389830B2 (en) * 2013-12-24 2016-07-12 Arthur Tan-Chi Yuan Combined multi-source input interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600765A (en) * 1992-10-20 1997-02-04 Hitachi, Ltd. Display system capable of accepting user commands by use of voice and gesture inputs
CN103716454A (zh) * 2012-10-08 2014-04-09 三星电子株式会社 利用语音识别执行预设操作模式的方法和设备

Also Published As

Publication number Publication date
EP3073368A8 (en) 2016-12-14
EP3073368B1 (en) 2019-08-14
US10146355B2 (en) 2018-12-04
CN106020434A (zh) 2016-10-12
US20160283016A1 (en) 2016-09-29
EP3073368A1 (en) 2016-09-28

Similar Documents

Publication Publication Date Title
CN106020434B (zh) 人机接口设备输入融合的方法、设备及产品
EP3901756B1 (en) Electronic device including touch sensitive display and method for operating the same
EP2990930B1 (en) Scraped information providing method and apparatus
CN105930327B (zh) 可穿戴式显示器的序列视觉呈现的方法和可穿戴式装置
TWI522894B (zh) 用於電子元件中的方法、電腦程式產品以及非暫時性電腦可讀記錄媒體
US20130219338A1 (en) Automatic Magnification and Selection Confirmation
US10430040B2 (en) Method and an apparatus for providing a multitasking view
WO2020200263A1 (zh) 信息流中图片的处理方法、设备及计算机可读存储介质
US20150128073A1 (en) Method for sharing contents and electronic device thereof
CN106407176B (zh) 在语音识别中插入字符的方法和设备
US10671795B2 (en) Handwriting preview window
CN105468137B (zh) 电子装置及用于多形态融合的方法
US20170031897A1 (en) Modification of input based on language content background
US20150135115A1 (en) Multi-touch input for changing text and image attributes
US10732719B2 (en) Performing actions responsive to hovering over an input surface
US9001061B2 (en) Object movement on small display screens
US20150205360A1 (en) Table top gestures for mimicking mouse control
US20180143971A1 (en) Input interpretation based upon a context
US9965170B2 (en) Multi-touch inputs for input interface control
CN106557251B (zh) 书写区至数字显示器的灵活映射
US10133368B2 (en) Undo operation for ink stroke conversion
US9298692B2 (en) Real time data tagging in text-based documents
US20150356058A1 (en) Method for displaying images and electronic device for implementing the same
US20150049009A1 (en) System-wide handwritten notes
CN110955787B (zh) 用户头像的设置方法、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant