CN110018746B - 通过多种输入模式来处理文档 - Google Patents

通过多种输入模式来处理文档 Download PDF

Info

Publication number
CN110018746B
CN110018746B CN201810022965.9A CN201810022965A CN110018746B CN 110018746 B CN110018746 B CN 110018746B CN 201810022965 A CN201810022965 A CN 201810022965A CN 110018746 B CN110018746 B CN 110018746B
Authority
CN
China
Prior art keywords
input
content
type
command
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810022965.9A
Other languages
English (en)
Other versions
CN110018746A (zh
Inventor
吴一凡
孙焱
何紫微
刘小力
解明阳
李肇阳
李为智
滕晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201810022965.9A priority Critical patent/CN110018746B/zh
Priority to US16/955,034 priority patent/US11481027B2/en
Priority to PCT/US2018/066105 priority patent/WO2019139741A1/en
Priority to EP18830671.6A priority patent/EP3738022A1/en
Publication of CN110018746A publication Critical patent/CN110018746A/zh
Application granted granted Critical
Publication of CN110018746B publication Critical patent/CN110018746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开内容提供了一种用于通过多种输入模式来处理文档的方法和装置。可以接收第一输入并识别所述第一输入的输入模式和类型，其中，所述类型包括命令和内容。可以接收第二输入并识别所述第二输入的输入模式和类型。可以至少基于对所述第一输入的识别结果和对所述第二输入的识别结果来处理所述文档。

Description

通过多种输入模式来处理文档
背景技术
具有触摸屏的电子计算设备越来越受到欢迎。例如，平板电脑以其重量轻、方便携带等优点而越来越流行。平板电脑以触摸屏作为基本的输入设备，其允许用户通过内建的手写识别、屏幕上的软键盘、语音识别等来进行作业，而不需要使用传统的键盘或鼠标。
发明内容
提供本发明内容以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。
本公开内容的实施例提出了用于通过多种输入模式来处理文档的方法和装置。可以接收第一输入并识别所述第一输入的输入模式和类型，其中，所述类型包括命令和内容。可以接收第二输入并识别所述第二输入的输入模式和类型。可以至少基于对所述第一输入的识别结果和对所述第二输入的识别结果来处理所述文档。
应当注意，以上一个或多个方面包括以下详细描述以及在权利要求中具体指出的特征。下面的说明书及附图详细阐述了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开内容旨在包括所有这些方面和其等同变换。
附图说明
以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。
图1示出了根据实施例的示例性计算设备。
图2示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法的流程图。
图3示出了根据实施例的基于图2的示例性方法实现的示例性场景。
图4示出了根据实施例的基于图2的示例性方法实现的示例性场景。
图5示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法的流程图。
图6示出了根据实施例的基于图5的示例性方法实现的示例性场景。
图7示出了根据实施例的基于图5的示例性方法实现的示例性场景。
图8示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法的流程图。
图9示出了根据实施例的基于图8的示例性方法实现的示例性场景。
图10示出了根据实施例的基于图8的示例性方法实现的示例性场景。
图11示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法的流程图。
图12示出了根据实施例的基于图11的示例性方法实现的示例性场景。
图13示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法的流程图。
图14示出了根据实施例的基于图13的示例性方法实现的示例性场景。
图15示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法的流程图。
图16示出了根据实施例的基于图15的示例性方法实现的示例性场景。
图17示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法的流程图。
图18示出了根据实施例的基于图17的示例性方法实现的示例性场景。
图19示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法的流程图。
图20示出了根据实施例的基于图19的示例性方法实现的示例性场景。
图21示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法的流程图。
图22示出了根据实施例的用于通过多种输入模式来处理文档的示例性装置。
图23示出了根据实施例的用于通过多种输入模式来处理文档的示例性装置。
具体实施方式
现在将参考多种示例性实施方式来讨论本公开内容。应当理解，这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开内容的实施例，而并非教导对本公开内容的范围的任何限制。
电子计算设备可以支持多种输入模式。然而，当利用电子计算设备处理文档时，用户难以自由顺畅地混合多种输入模式。例如，当用户需要使用两种或更多种输入模式来处理文档时，用户需要明确地在它们之间进行切换，这对于用户来说是不方便且体验不佳的。
本公开内容的实施例提出了通过多种输入模式在电子计算设备上高效地处理文档，其中，用户可以在无需进行特定操作的情况下在多种输入模式之间自由切换。本文中的文档可以指包含文字、图形等各种类型内容的电子文件。本文中的多种输入模式至少包括以下中的一种或多种：手指输入、笔输入、语音输入、软键盘输入和视线输入等等。可选地，多种输入模式也可以包括各种传统的输入模式，例如，键盘输入、鼠标输入等。例如，在用户当前使用笔在电子计算设备的触摸屏上输入内容的情况下，如果用户想要在用笔写内容期间或在写完内容之后通过语音进一步输入命令或内容，则用户可以直接在期望的任何时间用语音说出命令或内容，而不需要执行任何切换到语音输入的操作。本文中的命令包括各种文档处理命令，包括但不限于添加、删除、替换、调整格式、调整位置、调整页面布局、位置指示等等。基于本公开内容的方法，用户可以以平滑自然的方式来自由混合手指输入、笔输入、语音输入、软键盘输入和视线输入等，从而能够便利高效地处理文档。
图1示出了根据实施例的示例性计算设备100。在图1中，计算设备100可以包括处理器110、存储器120、模块集130、接口设备140、显示设备150和/或应用160。例如，计算设备100可以是笔记本电脑、平板电脑、智能电话等。为了简单起见，下面将以平板电脑为例来介绍本公开内容的实施例。
处理器110可以执行存储器120中存储的各种计算机代码、程序指令、任务等等。处理器110可以与计算设备100中的任何其它部件相连接，以处理来自其它部件的信息和/或数据等。
存储器120可以为用于存储数据的一个或多个设备，其包括只读存储器(ROM)、随机存取存储器(RAM)、磁RAM、核心存储器、磁盘存储介质、光存储介质、闪存设备和/或其它用于存储信息的机器可读介质。术语“机器可读介质”包括但不限于便携或固定存储设备、光存储设备、无线信道和各种可以存储、包含或携带指令和/或数据的其它介质。存储器120可以包括数据缓存器122，该数据缓存器122可以缓存经过处理器处理的数据、从用户输入的数据以及从其它设备处获取的数据等等。
模块集130可以连接到存储器120和接口设备140以及可能的应用160。模块集130可以包括内容模块131和命令模块133。模块集130可以从接口设备140获得各种类型的用户输入，并且根据用户输入的类型为内容或命令，而将用户输入分别馈送至内容模块131或命令模块133以进行处理。内容模块131可以用于对用户输入的各种内容进行识别和处理。命令模块133可以用于对用户输入的各种命令进行识别和处理。内容和命令可以存储在存储器120中，例如可以存储于数据缓存器122中，或者可以直接提供给应用160供其使用。
接口设备140可以连接至模块集130，并且可以通过笔输入接口141、手指输入接口143、语音输入接口145、视线输入接口147和软键盘输入接口149来接收用户输入170。如上所述，用户输入可以采用多种输入模式，包括但不限于手指输入模式、笔输入模式、语音输入模式、软键盘输入模式、视线输入模式等等。采用不同输入模式的用户输入可以由接口设备140中对应的接口来接收。
显示设备150可以连接到处理器110，并且可以从处理器110获得数据，以显示在显示屏上。
应用160可以指能够处理文档的各种文字或图形编辑应用程序、软件等。应用160可以基于来自内容模块131的内容和/或来自命令模块133的命令来对文档执行操作。在一种实施方式中，内容模块131和命令模块133也可以以组件的形式而包括在应用160中。
应当理解，图1中所示的所有部件或模块都是示例性的，根据具体的实施需求，可以对图1的计算设备100中的部件或模块进行任意的添加、删除或替换。
图2示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法200的流程图。
在210处，可以接收第一输入，该第一输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在220处，可以识别第一输入的输入模式和类型。类型可以包括内容和命令。
在230处，可以接收第二输入，该第二输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。该第二输入是在接收第一输入的时段之外接收到的，例如，第二输入可以是在接收完第一输入之后而接收到的。
在240处，可以识别第二输入的输入模式和类型。
在250处，至少基于对第一输入的识别结果以及对第二输入的识别结果来处理文档，例如，创建新的文档、对当前文档进行编辑等。
在下文中描述图3和图4中的示例性场景以便于理解图2的示例性方法。
图3示出了根据实施例的基于图2的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中加入新的文字内容。
在310处，用户通过语音说出“采用斜体形式”以提供第一输入。计算设备100可以识别出该第一输入是通过语音输入模式来输入的，并且经由图1的语音输入接口145来接收第一输入“采用斜体形式”。在该场景中，计算设备100可以将第一输入的类型识别为命令，例如，第一输入指示了用户想要以“斜体形式”来呈现后续输入的内容的命令。应当注意，在310处，用户尚未在计算设备100上输入其它信息。
在提供了第一输入之后，用户可以在320处使用笔写出“我们计划去公园”以提供第二输入。计算设备100可以识别出该第二输入是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收第二输入“我们计划去公园”。在该场景中，计算设备100可以将第二输入的类型识别为内容，从而其可以基于用户先前输入的命令“采用斜体形式”，而将用户随后输入的整个内容“我们计划去公园”设置成斜体形式，并且在显示设备150上呈现，如320处所示。
应当理解，图3的场景中所示出的输入模式、类型、内容、命令等均是示例性的。在其它实施方式中，第一输入也可以通过其它输入模式由用户提供，例如笔输入模式、手指输入模式等，以及第二输入也可以通过其它输入模式由用户提供，例如语音输入模式、手指输入模式等。此外，根据具体的应用需求，在接收到第二输入之后也可能接收到第三输入。第三输入可以是通过任意输入模式输入的任意内容或命令。例如，第三输入可以是通过手指输入模式输入的、用于调整内容位置的命令等。
图4示出了根据实施例的基于图2的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中编辑文字内容。
在410处，用户在第一输入中用笔画出圆括号以选择文档中的内容“我们计划去公园”。计算设备100可以识别出该第一输入是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收该第一输入。在该场景中，计算设备100可以将第一输入的类型识别为命令，例如，内容选择命令。该命令指示了对文档中的内容“我们计划去公园”的选择。
在420处，用户通过语音说出“改成斜体形式”以提供第二输入。计算设备100可以识别出该第二输入是通过语音输入模式来输入的，并且经由图1的语音输入接口145来接收该第二输入“改成斜体形式”。在该场景中，计算设备100可以将第二输入的类型识别为命令，例如，用于调整格式的编辑命令。从而，可以基于该命令而将之前所选的内容“我们计划去公园”的字体形式改成斜体形式。
应当理解，图4的场景中所示出的输入模式、类型、内容、命令等均是示例性的。在其它实施方式中，第一输入也可以通过其它输入模式由用户提供，例如语音输入模式、手指输入模式等，以及第二输入也可以通过其它输入模式由用户提供，例如笔输入模式、手指输入模式等。此外，根据具体的应用需求，在接收到第二输入之后也可能接收到第三输入。第三输入可以是通过任意输入模式输入的任意内容或命令。例如，第三输入可以是通过手指输入模式输入的、用于调整内容位置的命令等。
图5示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法500的流程图。
在510处，可以接收第一输入，该第一输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在520处，可以识别第一输入的输入模式和类型。在该实施例中，该第一输入的类型可以被识别为内容。
在530处，可以在接收第一输入的时段期间开始接收第二输入。该第二输入是由用户以多种输入模式中的任意一种来输入到计算设备100的，并且整个第二输入是在接收第一输入的时段期间接收到的。
在540处，可以识别第二输入的输入模式和类型。在该实施例中，该第二输入的类型可以被识别为命令。
在550处，基于该命令对内容中从接收到整个第二输入起的预定时段之后的部分进行处理。该预定时段可以是预先设置的任意一个时间段，优选地，可以在1至10秒之间，或者可以是零秒。
在下文中描述图6和图7中的示例性场景以便于理解图5的示例性方法。
图6示出了根据实施例的基于图5的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中加入新的文字内容，并且在该新的文字内容被加入到文档期间，用户可以随时发出针对后续的文字内容的命令以进行调整。
在该场景中，假设用户想要输入文字“我们计划去公园”来作为第一输入。
当用户在610处用笔写出了第一输入的第一部分“我们”时，计算设备100可以识别出该第一输入的第一部分是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收第一输入。在该场景中，可以将该第一输入的类型识别为内容。
此时，用户可能想要将第一输入的后续部分改成斜体形式，因此，在用户继续提供第一输入期间，例如在用笔写出第一输入的第二部分“计划”期间，用户通过语音说出“改成斜体形式”以提供第二输入，如620处所示。计算设备100可以识别出该第二输入是通过语音输入模式来提供的，并且经由图1的语音输入接口145来接收第二输入。在该场景中，将该第二输入的类型识别为命令，例如，用于调整格式的编辑命令。此处，假设在计算设备100接收完第一输入的第二部分“计划”时，也完成了对整个第二输入的接收。
计算设备100可以在接收到整个第二输入起的预定时段之后，开始根据第二输入所指示的命令对第一输入的后续部分进行处理。
假设在该预定时段期间用户用笔继续写出了第一输入的第三部分“去”，则计算设备100将会在该预定时段之后，即，第一输入的第三部分之后，立即开始对第一输入的第四部分“公园”应用所述命令，即，将“公园”设置为斜体形式，如630所示。
应当理解，预定时段的长度可以根据具体应用需求来设置，当其长度被设置为足够短时，也可能从第一输入的第三部分“去”开始就设置为斜体形式。
图7示出了根据实施例的基于图5的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中加入新的图形内容，并且在该新的图形内容被加入到文档期间，用户可以随时发出针对后续的图形内容的命令以进行调整。
在该场景中，假设用户想要输入一条线段作为第一输入。
当用户在710处用笔画出了第一输入的第一部分时，计算设备100可以识别出该第一输入的第一部分是通过笔输入模式来提供的，并且经由图1的笔输入接口141来接收第一输入。在该场景中，可以将该第一输入的类型识别为内容，如，线段。
此时，用户可能想要将第一输入的后续部分的线条变成粗体，因此，在用户继续提供第一输入期间，例如在用笔画出第一输入的第二部分期间，用户通过语音说出“变成粗体”以提供第二输入，如720处所示。计算设备100可以识别出该第二输入是通过语音输入模式来提供的，并且经由图1的语音输入接口145来接收第二输入。在该场景中，将该第二输入的类型识别为命令，例如，用于调整格式的编辑命令。此处，假设在计算设备100接收完第一输入的第二部分时，也完成了对整个第二输入的接收。
计算设备100可以在接收到整个第二输入起的预定时段之后，开始根据第二输入所指示的命令对第一输入的后续部分进行处理。如730所示，计算设备100可以在该预定时段之后，开始对第一输入的后续部分应用所述命令，即，开始将线段的线条变成粗体。
应当理解，图6和图7的场景中所示出的输入模式、类型、内容、命令等均是示例性的。在其它实施方式中，第一输入也可以通过其它输入模式由用户提供，例如语音输入模式、手指输入模式等，以及第二输入也可以通过其它输入模式由用户提供，例如笔输入模式、手指输入模式等。此外，根据具体的应用需求，在接收到第二输入之后也可能接收到第三输入。第三输入可以是通过任意输入模式输入的任意内容或命令。例如，第三输入可以是通过手指输入模式输入的、用于调整内容位置的命令等。
图8示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法800的流程图。
在810处，可以接收第一输入，该第一输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在820处，可以识别第一输入的输入模式和类型。在该实施例中，该第一输入的类型可以被识别为内容。
在830处，可以在接收第一输入的时段期间开始接收第二输入。该第二输入是由用户以多种输入模式中的任意一种来输入到计算设备100的，并且整个第二输入是在接收第一输入的时段之后接收到的。
在840处，可以识别第二输入的输入模式和类型。在该实施例中，该第二输入的类型可以被识别为命令。
在850处，基于该命令对整个内容进行处理。
在下文中描述图9和图10中的示例性场景以便于理解图8的示例性方法。
图9示出了根据实施例的基于图8的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中加入新的文字内容，并且在该新的文字内容被加入到文档期间，用户可以随时发出针对整个文字内容的命令以进行调整。
在该场景中，假设用户想要输入文字“我们计划去公园”作为第一输入。
当用户在910处用笔写出了第一输入的第一部分“我们”时，计算设备100可以识别出该第一输入的第一部分是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收第一输入。
此时，用户可能想要将第一输入改成斜体形式，因此，在用户继续进行第一输入时，例如在开始用笔写出第一输入的第二部分“计划”时，用户开始通过语音说出“改成”以提供第二输入的第一部分，如920处所示。计算设备100可以识别出该第二输入是通过语音输入模式来输入的，并且经由图1的语音输入接口145来接收第二输入。
在930处，计算设备100经由图1的语音输入接口145继续接收第二输入的第二部分“斜体”。与此同时，计算设备100继续接收到第一输入的第三部分“去公园”，并且可以判断出用户已经通过笔输入模式完成了整个第一输入“我们计划去公园”。例如，第一输入的完成可以基于以下情况来做出判断：笔从触摸屏上被移走预定的时段，或者用户在写完第一输入的第三部分“去公园”之后的预定时段内没有继续进行书写。上述判断条件仅仅是示例性而非限制性的，计算设备100也可以基于任何其它预设条件来判断用户是否完成了整个第一输入。在该场景中，可以将该第一输入的类型识别为内容。
在940处，在已经接收到整个第一输入之后，计算设备100可以经由图1的语音输入接口145继续接收第二输入的第三部分“形式”，并且可以判断出用户已经通过语音输入模式完成了整个第二输入。例如，第二输入的完成可以基于以下条件来进行判断：用户在说完第二输入的第三部分“形式”后的预定时段内没有继续说话，或者用户发出表示输入完成的结束语，例如“结束”、“OK”等。上述判断条件仅仅是示例性而非限制性的，计算设备也可以基于任何其它预设条件来判断用户是否完成了整个第二输入。在该场景中，可以将该第二输入的类型识别为命令，例如，用于调整格式的编辑命令。从而，计算设备100可以基于接收到的整个命令“改成斜体形式”而将整个第一输入“我们计划去公园”的字体形式修改为斜体。
图10示出了根据实施例的基于图8的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中加入新的图形内容，并且在该新的图形内容被加入到文档期间，用户可以随时发出针对整个图形内容的命令以进行调整。
在该场景中，假设用户想要输入一条线段作为第一输入。
当用户在1010处用笔画出了第一输入的第一部分时，计算设备100可以识别出该第一输入的第一部分是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收第一输入。
此时，用户可能想要将第一输入变成粗体，因此，在用户继续提供第一输入时，例如在用笔继续画出第一输入的第二部分时，用户开始通过语音说出“变成”以提供第二输入的第一部分，如1020处所示。计算设备100可以识别出该第二输入是通过语音输入模式来输入的，并且经由图1的语音输入接口145来接收第二输入。
在1030处，计算设备100经由图1的语音输入接口145继续接收第二输入的第二部分“粗”。与此同时，计算设备100继续接收到第一输入的第三部分，并且可以判断出用户已经通过笔输入模式完成了整个第一输入，即，画完整条线段。例如，第一输入的完成可以基于以下情况来做出判断：笔从触摸屏上被移走预定的时段，或者用户在画完第一输入的第三部分之后的预定时段内没有继续画线段。上述判断条件仅仅是示例性而非限制性的，计算设备100也可以基于任何其它预设条件来判断用户是否完成了整个第一输入。在该场景中，可以将该第一输入的类型识别为内容，例如，线段。
在1040处，在已经接收到整个第一输入之后，计算设备100可以经由图1的语音输入接口145继续接收第二输入的第三部分“体”，并且可以判断出用户已经通过语音输入模式完成了整个第二输入。例如，第二输入的完成可以基于以下条件来进行判断：用户在说完第二输入的第三部分“体”后的预定时段内没有继续说话，或者用户发出表示输入完成的结束语，例如“结束”、“OK”等。上述判断条件仅仅是示例性而非限制性的，计算设备也可以基于任何其它预设条件来判断用户是否完成了整个第二输入。在该场景中，可以将该第二输入的类型识别为命令，例如，用于调整格式的编辑命令。从而，计算设备100可以基于接收到的整个命令“变成粗体”而将整个第一输入的线段变成粗体。
应当理解，图9和图10的场景中所示出的输入模式、类型、内容、命令等均是示例性的。在其它实施方式中，第一输入也可以通过其它输入模式由用户输入，例如语音输入模式、手指输入模式等，以及第二输入也可以通过其它输入模式由用户输入，例如笔输入模式、手指输入模式等。此外，根据具体的应用需求，在接收到第二输入之后也可能接收到第三输入。第三输入可以是通过任意输入模式输入的任意内容或命令。例如，第三输入可以是通过手指输入模式输入的、用于调整内容位置的命令等。
图11示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法1100的流程图。
在1110处，可以接收第一输入，其中该第一输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1120处，可以识别第一输入的输入模式和类型。类型可以包括内容和命令。
在1130处，可以接收第二输入，其中该第二输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1140处，可以识别第二输入的输入模式和类型。
在1150处，可以接收第三输入，其中该第三输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1160处，可以识别第三输入的输入模式和类型。
在1170处，至少基于对第一输入的识别结果、对第二输入的识别结果以及对第三输入的识别结果来处理文档。
在该示例性方法中，根据具体的应用需求，用户可以先后提供第一输入、第二输入和第三输入，也可以在提供第一输入的期间开始提供第二输入和第三输入等等。下文在图12中以用户在提供第一输入的期间开始提供第二输入和第三输入作为例子来描述图11的方法。
图12示出了根据实施例的基于图11的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中加入新的文字内容，并且在该新的文字内容被加入到文档期间，用户可以随时发出针对新的文字内容的命令以进行调整。
在1210处，当用户用笔写出了第一输入的第一部分“我们计划”时，计算设备100可以识别出该第一输入的第一部分是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收第一输入。
在1220处，用户继续用笔写出第一输入的第二部分“去”。在用户输入“去”的同时，用户可能想要改变第一输入中从“计划”开始的部分的字体，并因此通过视线来提供第二输入以便指示第一输入中开始改变字体的部分的位置。计算设备100可以识别出该第二输入是通过视线输入模式来输入的，并且经由图1的视线输入接口147来接收该第二输入。在该场景中，可以将第一输入的类型识别为内容，并且可以将第二输入的类型识别为命令，例如指示了“我们”与“计划”之间的位置的位置指示命令。
在1230处，用户继续用笔写出第一输入的第三部分“公园”，同时用户通过语音说出“改成斜体形式”以提供第三输入。此时用户可以继续提供第一输入也可以结束书写。计算设备100可以识别出该第三输入是通过语音输入模式来输入的，并且经由图1的语音输入接口145来接收该第三输入。在该场景中，可以将第三输入的类型识别为命令，例如，用于调整格式的编辑命令。从而，计算设备100可以基于位置指示命令所指示的位置以及“改成斜体形式”的编辑命令，来将所指示的位置后的内容“计划去公园”的字体改成斜体形式。
应当理解，图12的场景以及场景中所示出的输入模式、类型、内容、命令等均是示例性的，并且可以在其它实施方式中进行任意的替换。
图13示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法1300的流程图。
在1310处，可以接收第一输入，其中，该第一输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1320处，可以识别第一输入的输入模式和类型。在该实施例中，该第一输入的类型可以被识别为内容选择命令。
在1330处，基于所识别出的内容选择命令来选择文档中的内容。
在1340处，可以接收第二输入，其中，该第二输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1350处，可以识别第二输入的输入模式和类型。在该实施例中，该第二输入的类型可以被识别为替换命令。
在1360处，可以接收第三输入，其中，该第三输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1370处，可以识别第三输入的输入模式和类型。在该实施例中，该第三输入的类型可以被识别为另一内容或者用于指示获取另一内容的获取命令。
在1380处，基于该替换命令用另一内容来替换所选内容。当第三输入的类型被识别为获取命令时，另一内容是基于该获取命令获得的。
图14示出了根据实施例的基于图13的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中编辑文字内容，例如，可以对文档中所选择的内容进行替换。
在1410处，可以呈现当前文档中已存在的内容“我们计划去公园”。
在1420处，用户可以用笔在内容“公园”上画圆圈作为第一输入，以便选择该内容。计算设备100可以识别出该第一输入是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收第一输入。在该场景中，可以将该第一输入的类型识别为内容选择命令。
在1430处，用户可以通过语音说出“替换”作为第二输入。计算设备100可以识别出该第二输入是通过语音输入模式来输入的，并且经由图1的语音输入接口145来接收该第二输入。在该场景中，可以将该第二输入的类型识别为命令，例如，用于将所选内容替换为另一内容的替换命令。响应于替换命令的识别，计算设备100可以将所选内容“公园”从文档中删除。
在1440处，用户可以用笔写出“图书馆”作为第三输入。计算设备100可以识别出该第三输入是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收该第三输入。在该场景中，可以将第三输入的类型识别为用于替换所选内容的另一内容。从而，计算设备100可以基于替换命令，用另一内容“图书馆”来替换所选内容“公园”。
可选地，第三输入可以是用于指示获取另一内容的获取命令，例如用于指示从粘贴板获得另一内容的粘贴命令。在这种情况下，计算设备100可以基于该获取命令来获得另一内容，例如从粘贴板获得另一内容“图书馆”，并基于替换命令用所获得的另一内容“图书馆”来替换所选内容“公园”。
应当理解，图14的场景中所示出的输入模式、类型、内容、命令等均是示例性的，并且可以在其它实施方式中进行任意的替换。
图15示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法1500的流程图。
在1510处，可以接收第一输入，其中，该第一输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1520处，可以识别第一输入的输入模式和类型。在该实施例中，该第一输入的类型可以被识别为位置指示命令。
在1530处，可以基于位置指示命令来确定文档中的位置。
在1540处，可以接收第二输入，其中，该第二输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1550处，可以识别第二输入的输入模式和类型。在该实施例中，该第二输入的类型可以被识别为内容。
在1560处，可以在确定的位置处插入内容。
在1570处，可以接收第三输入，其中，该第三输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1580处，可以识别第三输入的输入模式和类型。在该实施例中，该第三输入的类型可以被识别为编辑命令。
在1590处，可以基于该编辑命令对插入的内容进行编辑。
图16示出了根据实施例的基于图15的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中编辑文字内容，例如，可以在文档中插入内容，并且进而对所插入的内容的位置进行调整。
在1610处，可以呈现当前文档中已存在的内容“我们计划去公园”。
在1620处，用户可以通过视线来提供第一输入以便指示文档中想要插入内容的位置。计算设备100可以识别出该第一输入是通过视线输入模式来输入的，并且经由图1的视线输入接口147来接收第一输入。在该场景中，可以将该第一输入的类型识别为位置指示命令，并且基于该位置指示命令而确定所指示的位置位于“计划”与“去”之间。
在1630处，用户可以通过语音说出“没有”作为第二输入。计算设备100可以识别出该第二输入是通过语音输入模式来输入的，并且经由图1的语音输入接口145来接收该第二输入。在该场景中，可以将该第二输入的类型识别为内容。计算设备100可以将第二输入中的内容“没有”转换为文本并插入在所确定的位置处。
在1640处，用户可以通过第三输入用笔来调整所插入内容“没有”的位置。计算设备100可以识别出该第三输入是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收该第三输入。在该场景中，可以将第三输入的类型识别为编辑命令，例如，位置调整命令。从而，计算设备100可以基于该位置调整命令，将所插入的内容“没有”从“计划”与“去”之间的位置调整到“我们”与“计划”之间的位置。
应当理解，图16的场景中所示出的输入模式、类型、内容、命令等均是示例性的，并且可以在其它实施方式中进行任意的替换。
图17示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法1700的流程图。
在1710处，可以接收第一输入，其中，该第一输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1720处，可以识别第一输入的输入模式和类型。在该实施例中，该第一输入的类型可以被识别为内容且所述内容可以被保存在内容缓存器中。
在1730处，可以接收第二输入，其中，该第二输入是由用户以多种输入模式中的任意一种来输入到计算设备100的，并且该第二输入是在接收第一输入的时段期间或在接收到第一输入之后接收到的。
在1740处，可以识别第二输入的输入模式和类型。在该实施例中，该第二输入的类型可以被识别为位置指示命令。
在1750处，可以基于该位置指示命令来确定文档中的位置。
在1760处，可以从内容缓存器中获取第一输入中的内容。
在1770处，可以在所确定的位置处插入所获取的内容。
图18示出了根据实施例的基于图17的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中加入新的文字内容，例如，可以首先接收并存储用户输入的待插入内容，然后在用户选择了待插入位置之后将该待插入内容加入到文档中。
在1810处，可以呈现当前文档中已存在的两段内容：第一段“明天是晴天。你想要出去和我们一起玩吗？”；以及第二段“我们可以骑车去”。
在1820处，用户可以通过语音说出“待插入：我们计划去公园”作为第一输入，以便指示“我们计划去公园”是待插入内容。计算设备100可以识别出该第一输入是通过语音输入模式来输入的，并且经由图1的语音输入接口145来接收第一输入。在该场景中，可以将第一输入的类型识别为具有待插入标记的内容，其中，第一输入中的语音“待插入”为待插入标记，第一输入中的语音“我们计划去公园”是待插入内容。可以将待插入内容“我们计划去公园”转换为文本并保存在内容缓存器中。
在1830处，用户可以提供第二输入，其中用笔画出“^”以指示文档中的待插入位置，并且画出“Δ”以指示将要在待插入位置处加入的待插入内容。计算设备100可以识别出该第二输入是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收第二输入。在该场景中，可以将第二输入识别为位置指示命令，例如，该位置指示命令指示了待插入内容所要加入的待插入位置。如1830处所示，该位置指示命令指示了待插入内容所要加入的待插入位置位于第一段最后，即，“？”之后。
在1840处，计算设备100可以从内容缓存器中获取待插入内容“我们计划去公园”，并将其加入到待插入位置，即，第一段的“你想要出去和我们一起玩吗？”之后。
应当理解，图18的场景中所示出的输入模式、类型、内容、命令等均是示例性的，并且可以在其它实施方式中进行任意的替换。
图19示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法1900的流程图。
在1910处，可以接收第一输入，其中，该第一输入是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在1920处，可以识别第一输入的输入模式和类型。在该实施例中，该第一输入的类型可以被识别为内容，并且所述内容可以被显示在文档的任意位置处。
在1930处，可以接收第二输入，其中，该第二输入可以是由用户以多种输入模式中的任意一种来输入到计算设备100的，并且该第二输入可以是在接收第一输入的时段期间或在接收到第一输入之后接收到的。
在1940处，可以识别第二输入的输入模式和类型。在该实施例中，该第二输入的类型可以被识别为位置指示命令。
在1950处，可以基于该位置指示命令来确定文档中的位置。
在1960处，可以将内容自动移动至所确定的位置处。
图20示出了根据实施例的基于图19的示例性方法实现的示例性场景。在该示例性场景中，用户可以在应用160所创建的文档中加入新的文字内容，例如，可以首先接收并呈现用户输入的待插入内容，然后在用户选择了待插入位置之后将该待插入内容加入到文档中。
在2010处，可以呈现当前文档中已存在的两段内容：第一段“明天是晴天。你想要出去和我们一起玩吗？”；以及第二段“我们可以骑车去”。
在2020处，用户可以用笔写出“Δ我们计划去公园”作为第一输入，以便指示“我们计划去公园”是待插入内容。计算设备100可以识别出该第一输入是通过笔输入模式来输入的，并且经由图1的笔输入接口141来接收第一输入。在该场景中，可以将第一输入的类型识别为具有待插入标记的内容，其中，第一输入中的“Δ”为待插入标记，第一输入中的“我们计划去公园”是待插入内容。应当理解，尽管在2020处示出第一输入是写在文档最后的，但是实际上，用户可以在文档的任意位置处书写第一输入。
在2030处，用户可以用语音说出“待插入位置在第一段最后”作为第二输入以指示文档中的待插入位置。计算设备100可以识别出该第二输入是通过语音输入模式来输入的，并且经由图1的语音输入接口145来接收第二输入。在该场景中，可以将第二输入识别为位置指示命令，例如，该位置指示命令指示了待插入内容所要加入的待插入位置位于第一段末尾。
在2040处，计算设备100可以将在文档任意位置处书写的待插入内容“我们计划去公园”自动移动至待插入位置，即，第一段的“你想要出去和我们一起玩吗？”之后。
应当理解，图20的场景中所示出的输入模式、类型、内容、命令等均是示例性的，并且可以在其它实施方式中进行任意的替换。
上面所讨论的用于处理文档的所有场景只是示例性的，根据本公开内容的实施例，可以存在任何其它的场景。
图21示出了根据实施例的用于通过多种输入模式来处理文档的示例性方法2100的流程图。
在2110处，可以接收第一输入，其中，该第一输入可以是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在2120处，可以识别第一输入的输入模式和类型。该类型可以包括内容和命令。
在2130处，可以接收第二输入，其中，该第二输入可以是由用户以多种输入模式中的任意一种来输入到计算设备100的。
在2140处，可以识别第二输入的输入模式和类型。
在2150处，可以至少基于对第一输入的识别结果以及对第二输入的识别结果来处理文档。
在一种实现中，多种输入模式可以包括以下中的一种或多种：手指输入模式、笔输入模式、语音输入模式、软键盘输入模式、视线输入模式。
在一种实现中，可以在接收第一输入的时段之外接收第二输入。
在一种实现中，可以在接收第一输入的时段期间开始接收第二输入。在一种情形下，可以将第一输入的类型识别为内容，将第二输入的类型识别为命令，以及处理文档可以进一步包括：当在接收第一输入的时段期间接收到整个第二输入时，基于命令对内容中从接收到整个第二输入起的预定时段之后的部分进行处理。在另一种情形下，可以将第一输入的类型识别为内容，将第二输入的类型识别为命令，以及处理文档可以进一步包括：当在接收第一输入的时段之后接收到整个第二输入时，基于命令对整个内容进行处理。
在一种实现中，该方法还可以包括：接收第三输入；识别第三输入的输入模式和类型；以及进一步基于对第三输入的识别结果来处理文档。在一种实现中，可以在接收所述第一输入的时段期间开始接收所述第二输入和所述第三输入。
在一种实现中，可以将第一输入的类型识别为内容选择命令，将第二输入的类型识别为编辑命令，以及处理文档可以进一步包括：基于内容选择命令来选择文档中的内容，以及基于编辑命令对所选内容进行编辑，其中，所述编辑命令包括以下命令中的一种或多种：删除、添加、替换、调整格式、调整位置和调整页面布局。在一种情形下，该编辑命令可以包括替换命令，并且该方法还可以包括：接收第三输入；以及识别第三输入的输入模式和类型，其中，第三输入的类型可以被识别为另一内容，并且基于编辑命令对所选内容进行编辑可以进一步包括基于替换命令用另一内容来替换所选内容。在另一种情形下，该编辑命令可以包括替换命令，并且该方法还可以包括：接收第三输入；以及识别第三输入的输入模式和类型，其中，第三输入的类型可以被识别为用于指示获取另一内容的获取命令，并且基于编辑命令对所选内容进行编辑可以进一步包括基于获取命令来获取另一内容，以及基于替换命令用另一内容来替换所选内容。
在一种实现中，可以将第一输入的输入模式识别为视线输入模式，将第一输入的类型识别为位置指示命令，并且将第二输入的类型识别为内容。处理文档可以进一步包括：基于位置指示命令来确定文档中的位置，以及在所确定的位置处插入内容。在一种情形下，该方法还可以包括：接收第三输入；以及识别第三输入的输入模式和类型，其中，第三输入的类型可以被识别为编辑命令，并且处理文档可以进一步包括：基于编辑命令对所插入的内容进行编辑，所述编辑命令包括以下命令中的一种或多种：删除、添加、替换、调整格式、调整位置和调整页面布局。
在一种实现中，可以将第一输入的类型识别为内容，其中，所述内容可以被保存在内容缓存器中。此外，可以将第二输入的类型识别为位置指示命令，其中，第二输入可以是在接收第一输入的时段期间或在接收到第一输入之后接收到的。处理文档可以进一步包括：基于位置指示命令来确定文档中的位置；从内容缓存器中获取内容；以及在所确定的位置处插入内容。
在一种实现中，可以将第一输入的类型识别为内容，其中，内容可以被显示在文档的任意位置处。可以将第二输入的类型被识别为位置指示命令，其中，第二输入可以是在接收第一输入的时段期间或在接收到第一输入之后接收到的。处理文档可以进一步包括：基于位置指示命令来确定文档中的位置；以及将内容自动移动至所确定的位置处。
应当理解，方法2100还可以包括根据如上所述本公开内容的实施例的、通过多种输入模式处理文档的任何步骤/处理。
图22示出了根据实施例的用于通过多种输入模式来处理文档的示例性装置2200。
装置2200可以包括：第一接收模块2210，用于接收第一输入；第一识别模块2220，用于识别第一输入的输入模式和类型，其中，类型包括命令和内容；第二接收模块2230，用于接收第二输入；第二识别模块2240，用于识别第二输入的输入模式和类型；以及文档处理模块2250，用于至少基于对第一输入的识别结果和对第二输入的识别结果来处理文档。
在一种实现中，第二接收模块2230可以在接收第一输入的时段期间开始接收第二输入。
在一种实现中，该装置还可以包括：第三接收模块，用于接收第三输入；以及第三识别模块，用于识别第三输入的输入模式和类型，其中，文档处理模块2250可以进一步基于对第三输入的识别结果来处理文档。在一种情形下，第二接收模块2230可以在接收第一输入的时段期间开始接收第二输入，以及第三接收模块可以在接收第一输入的时段期间开始接收第三输入。
应当理解，装置2200还可以包括被配置为执行根据如上所述本公开内容的实施例的、通过多种输入模式处理文档的任何步骤/处理的任何其它模块。
图23示出了根据实施例的用于通过多种输入模式来处理文档的示例性装置2300。装置2300可以包括一个或多个处理器2310和存储计算机可执行指令的存储器2320。当执行所述计算机可执行指令时，所述一个或多个处理器2310可以执行以下操作：接收第一输入；识别第一输入的输入模式和类型，其中，类型包括命令和内容；接收第二输入；识别第二输入的输入模式和类型；以及至少基于对第一输入的识别结果和对第二输入的识别结果来处理文档。
本公开内容的实施例可以实施在非暂时性计算机可读介质中。该非暂时性计算机可读介质可以包括指令，当所述指令被执行时，使得一个或多个处理器根据如上面所述的本公开内容的实施例，执行用于通过多种输入模式处理文档的方法的任何操作。
应当理解，以上描述的方法中的所有操作都仅仅是示例性的，本公开并不限制于方法中的任何操作或这些操作的顺序，而是应当涵盖在相同或相似构思下的所有其它等同变换。
还应当理解，以上描述的装置中的所有模块都可以通过各种方式来实施。这些模块可以被实施为硬件、软件、或其组合。此外，这些模块中的任何模块可以在功能上被进一步划分成子模块或组合在一起。
已经结合各种装置和方法描述了处理器。这些处理器可以使用电子硬件、计算机软件或其任意组合来实施。这些处理器是实施为硬件还是软件将取决于具体的应用以及施加在系统上的总体设计约束。作为示例，本公开中给出的处理器、处理器的任意部分、或者处理器的任意组合可以实施为微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门逻辑、分立硬件电路、以及配置用于执行在本公开中描述的各种功能的其它适合的处理部件。本公开给出的处理器、处理器的任意部分、或者处理器的任意组合的功能可以实施为由微处理器、微控制器、DSP或其它适合的平台所执行的软件。
软件应当被广泛地视为表示指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、运行线程、过程、函数等。软件可以驻留在计算机可读介质中。计算机可读介质可以包括例如存储器，存储器可以例如为磁性存储设备(如，硬盘、软盘、磁条)、光盘、智能卡、闪存设备、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、寄存器或者可移动盘。尽管在本公开给出的多个方面中将存储器示出为是与处理器分离的，但是存储器也可以位于处理器内部(如，缓存或寄存器)。
以上描述被提供用于使得本领域任何技术人员可以实施本文所描述的各个方面。这些方面的各种修改对于本领域技术人员是显而易见的，本文限定的一般性原理可以应用于其它方面。因此，权利要求并非旨在被局限于本文示出的方面。关于本领域技术人员已知或即将获知的、对本公开所描述各个方面的元素的所有结构和功能上的等同变换，都将通过引用而明确地包含到本文中，并且旨在由权利要求所覆盖。

Claims (20)

1.一种用于通过多种输入模式来处理文档的方法，所述方法包括：
在第一时段期间接收第一输入；
识别所述第一输入的输入模式和类型，其中，所述类型包括命令和内容；
在第二时段期间接收第二输入，其中，所述第一时段与所述第二时段至少部分地重叠；
识别所述第二输入的输入模式和类型，其中，所述第二输入包括与所述第一输入不同的输入模式，
其中，所述第一输入和所述第二输入中的一个输入的类型被识别为命令，并且所述第一输入和所述第二输入中的另一输入的类型被识别为内容；以及
至少基于对所述第一输入的识别结果和对所述第二输入的识别结果来处理所述文档。
2.如权利要求1所述的方法，其中，所述多种输入模式包括以下中的一种或多种：手指输入模式、笔输入模式、语音输入模式、软键盘输入模式、视线输入模式。
3.如权利要求1所述的方法，其中，
在接收所述第一输入的时段之外接收所述第二输入。
4.如权利要求1所述的方法，其中，
在接收所述第一输入的时段期间开始接收所述第二输入。
5.如权利要求4所述的方法，其中，
所述第一输入的类型被识别为内容，
所述第二输入的类型被识别为命令，以及
所述处理所述文档进一步包括：
当在接收所述第一输入的时段期间接收到整个所述第二输入时，基于所述命令对所述内容中从接收到整个所述第二输入起的预定时段之后的部分进行处理。
6.如权利要求4所述的方法，其中，
所述第一输入的类型被识别为内容，
所述第二输入的类型被识别为命令，以及
所述处理所述文档进一步包括：
当在接收所述第一输入的时段之后接收到整个所述第二输入时，基于所述命令对整个所述内容进行处理。
7.如权利要求1所述的方法，还包括：
接收第三输入；
识别所述第三输入的输入模式和类型；以及
进一步基于对所述第三输入的识别结果来处理所述文档。
8.如权利要求7所述的方法，其中，
在接收所述第一输入的时段期间开始接收所述第二输入和所述第三输入。
9.如权利要求1所述的方法，其中，
所述第一输入的类型被识别为内容选择命令，
所述第二输入的类型被识别为编辑命令，以及
所述处理文档进一步包括：
基于所述内容选择命令来选择所述文档中的内容；以及
基于所述编辑命令对所选内容进行编辑，其中，所述编辑命令包括以下命令中的一种或多种：删除、添加、替换、调整格式、调整位置和调整页面布局。
10.如权利要求9所述的方法，其中，所述编辑命令包括替换命令，并且所述方法进一步包括：
接收第三输入；以及
识别所述第三输入的输入模式和类型，其中，所述第三输入的类型被识别为另一内容，
其中，所述基于所述编辑命令对所选内容进行编辑进一步包括：基于所述替换命令用所述另一内容来替换所选内容。
11.如权利要求9所述的方法，其中，所述编辑命令包括替换命令，并且所述方法进一步包括：
接收第三输入；以及
识别所述第三输入的输入模式和类型，其中，所述第三输入的类型被识别为用于指示获取另一内容的获取命令，
其中，所述基于所述编辑命令对所选内容进行编辑进一步包括：基于所述获取命令来获取所述另一内容，以及基于所述替换命令用所述另一内容来替换所选内容。
12.如权利要求1所述的方法，其中，
所述第一输入的输入模式被识别为视线输入模式，
所述第一输入的类型被识别为位置指示命令，
所述第二输入的类型被识别为内容，以及
所述处理文档进一步包括：
基于所述位置指示命令来确定所述文档中的位置；以及
在所确定的位置处插入所述内容。
13.如权利要求12所述的方法，进一步包括：
接收第三输入；以及
识别所述第三输入的输入模式和类型，其中，所述第三输入的类型被识别为编辑命令，
其中，所述处理文档进一步包括：基于所述编辑命令对所插入的内容进行编辑，所述编辑命令包括以下命令中的一种或多种：删除、添加、替换、调整格式、调整位置和调整页面布局。
14.如权利要求1所述的方法，其中，
所述第一输入的类型被识别为内容，其中，所述内容被保存在内容缓存器中，
所述第二输入的类型被识别为位置指示命令，
所述第二输入是在接收所述第一输入的时段期间或在接收到所述第一输入之后接收到的，以及
所述处理文档进一步包括：
基于所述位置指示命令来确定所述文档中的位置；
从所述内容缓存器中获取所述内容；以及
在所确定的位置处插入所述内容。
15.如权利要求1所述的方法，其中，
所述第一输入的类型被识别为内容，其中，所述内容被显示在所述文档的任意位置处，
所述第二输入的类型被识别为位置指示命令，
所述第二输入是在接收所述第一输入的时段期间或在接收到所述第一输入之后接收到的，以及
所述处理文档进一步包括：
基于所述位置指示命令来确定所述文档中的位置；以及
将所述内容自动移动至所确定的位置处。
16.一种用于通过多种输入模式来处理文档的装置，所述装置包括：
第一接收模块，用于在第一时段期间接收第一输入；
第一识别模块，用于识别所述第一输入的输入模式和类型，其中，所述类型包括命令和内容；
第二接收模块，用于在第二时段期间接收第二输入，其中，所述第一时段与所述第二时段至少部分地重叠；
第二识别模块，用于识别所述第二输入的输入模式和类型，其中，所述第二输入包括与所述第一输入不同的输入模式，
其中，所述第一输入和所述第二输入中的一个输入的类型被识别为命令，并且所述第一输入和所述第二输入中的另一输入的类型被识别为内容；以及
文档处理模块，用于至少基于对所述第一输入的识别结果和对所述第二输入的识别结果来处理所述文档。
17.根据权利要求16所述的装置，其中，
所述第二接收模块在接收所述第一输入的时段期间开始接收所述第二输入。
18.根据权利要求16所述的装置，还包括：
第三接收模块，用于接收第三输入；以及
第三识别模块，用于识别所述第三输入的输入模式和类型，
其中，所述文档处理模块进一步基于对所述第三输入的识别结果来处理所述文档。
19.根据权利要求18所述的装置，其中，
所述第二接收模块在接收所述第一输入的时段期间开始接收所述第二输入，以及
所述第三接收模块在接收所述第一输入的时段期间开始接收所述第三输入。
20.一种用于通过多种输入模式来处理文档的装置，包括：
一个或多个处理器；以及
存储计算机可执行指令的存储器，当所述计算机可执行指令被执行时，使得所述一个或多个处理器执行以下操作：
在第一时段期间接收第一输入；
识别所述第一输入的输入模式和类型，其中，所述类型包括命令和内容；
在第二时段期间接收第二输入，其中，所述第一时段与所述第二时段至少部分地重叠；
识别所述第二输入的输入模式和类型，其中，所述第二输入包括与所述第一输入不同的输入模式，
其中，所述第一输入和所述第二输入中的一个输入的类型被识别为命令，并且所述第一输入和所述第二输入中的另一输入的类型被识别为内容；以及
至少基于对所述第一输入的识别结果和对所述第二输入的识别结果来处理所述文档。
CN201810022965.9A 2018-01-10 2018-01-10 通过多种输入模式来处理文档 Active CN110018746B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810022965.9A CN110018746B (zh) 2018-01-10 2018-01-10 通过多种输入模式来处理文档
US16/955,034 US11481027B2 (en) 2018-01-10 2018-12-18 Processing a document through a plurality of input modalities
PCT/US2018/066105 WO2019139741A1 (en) 2018-01-10 2018-12-18 Processing a document through a plurality of input modalities
EP18830671.6A EP3738022A1 (en) 2018-01-10 2018-12-18 Processing a document through a plurality of input modalities

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810022965.9A CN110018746B (zh) 2018-01-10 2018-01-10 通过多种输入模式来处理文档

Publications (2)

Publication Number Publication Date
CN110018746A CN110018746A (zh) 2019-07-16
CN110018746B true CN110018746B (zh) 2023-09-01

Family

ID=65003570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810022965.9A Active CN110018746B (zh) 2018-01-10 2018-01-10 通过多种输入模式来处理文档

Country Status (4)

Country Link
US (1) US11481027B2 (zh)
EP (1) EP3738022A1 (zh)
CN (1) CN110018746B (zh)
WO (1) WO2019139741A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018746B (zh) * 2018-01-10 2023-09-01 微软技术许可有限责任公司 通过多种输入模式来处理文档
US11741951B2 (en) * 2019-02-22 2023-08-29 Lenovo (Singapore) Pte. Ltd. Context enabled voice commands

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438523B1 (en) * 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
CN102428440A (zh) * 2009-03-18 2012-04-25 罗伯特·博世有限公司 用于多模式输入的同步和消歧的系统和方法
CN103885743A (zh) * 2012-12-24 2014-06-25 大陆汽车投资（上海）有限公司 结合注视跟踪技术的语音文本输入方法和系统
CN104471639A (zh) * 2012-07-20 2015-03-25 微软公司 语音和手势识别增强
US9383827B1 (en) * 2014-04-07 2016-07-05 Google Inc. Multi-modal command display
WO2017114020A1 (zh) * 2015-12-31 2017-07-06 北京搜狗科技发展有限公司 语音输入方法和终端设备
CN107407975A (zh) * 2015-03-12 2017-11-28 谷歌公司 连续手势输入期间的建议选择

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999060465A1 (en) 1998-05-20 1999-11-25 Fonix Corporation Apparatus and method for processing handwritten and hand-drawn input and speech input
US20020069058A1 (en) 1999-07-06 2002-06-06 Guo Jin Multimodal data input device
GB2387927B (en) * 2001-12-20 2005-07-13 Canon Kk Control apparatus
US20030233237A1 (en) 2002-06-17 2003-12-18 Microsoft Corporation Integration of speech and stylus input to provide an efficient natural input experience
US7506271B2 (en) * 2003-12-15 2009-03-17 Microsoft Corporation Multi-modal handwriting recognition correction
NZ582991A (en) 2004-06-04 2011-04-29 Keyless Systems Ltd Using gliding stroke on touch screen and second input to choose character
US7487453B2 (en) * 2006-03-24 2009-02-03 Sap Ag Multi-modal content presentation
US7680816B2 (en) * 2006-12-22 2010-03-16 Verizon Patent And Licensing Inc. Method, system, and computer program product providing for multimodal content management
US20100281435A1 (en) 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US9104312B2 (en) 2010-03-12 2015-08-11 Nuance Communications, Inc. Multimodal text input system, such as for use with touch screens on mobile phones
KR101313287B1 (ko) * 2011-07-22 2013-09-30 주식회사 네오위즈인터넷 문자 입력을 제공하는 방법, 단말기 및 기록매체
IN2013DE00428A (zh) * 2013-02-14 2015-06-19 Alcatel Lucent
US9026939B2 (en) 2013-06-13 2015-05-05 Google Inc. Automatically switching between input modes for a user interface
CN110018746B (zh) * 2018-01-10 2023-09-01 微软技术许可有限责任公司 通过多种输入模式来处理文档

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438523B1 (en) * 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
CN102428440A (zh) * 2009-03-18 2012-04-25 罗伯特·博世有限公司 用于多模式输入的同步和消歧的系统和方法
CN104471639A (zh) * 2012-07-20 2015-03-25 微软公司 语音和手势识别增强
CN103885743A (zh) * 2012-12-24 2014-06-25 大陆汽车投资（上海）有限公司 结合注视跟踪技术的语音文本输入方法和系统
US9383827B1 (en) * 2014-04-07 2016-07-05 Google Inc. Multi-modal command display
CN107407975A (zh) * 2015-03-12 2017-11-28 谷歌公司 连续手势输入期间的建议选择
WO2017114020A1 (zh) * 2015-12-31 2017-07-06 北京搜狗科技发展有限公司 语音输入方法和终端设备
CN106933561A (zh) * 2015-12-31 2017-07-07 北京搜狗科技发展有限公司 语音输入方法和终端设备

Also Published As

Publication number Publication date
US11481027B2 (en) 2022-10-25
CN110018746A (zh) 2019-07-16
WO2019139741A1 (en) 2019-07-18
US20200379557A1 (en) 2020-12-03
EP3738022A1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
US10126936B2 (en) Typing assistance for editing
EP2717259B1 (en) Method and apparatus for performing preset operation mode using voice recognition
US8610672B2 (en) Device and method for stroke based graphic input
EP3288024A1 (en) Method and apparatus for executing a user function using voice recognition
CN109119079B (zh) 语音输入处理方法和装置
US20120102401A1 (en) Method and apparatus for providing text selection
US20160132232A1 (en) Electronic device and method for processing handwritten document data
EP2650766A1 (en) Multi-character continuous handwriting input method
KR101474854B1 (ko) 음성인식을 통해 컨트롤 객체를 선택하기 위한 장치 및 방법
EP2713255A1 (en) Method and electronic device for prompting character input
KR20160003112A (ko) 실시간 필기 인식 관리
EP2879046A1 (en) Voice-assisted editing method and device for terminal
US20110119590A1 (en) System and method for providing a speech controlled personal electronic book system
US8581910B2 (en) Input display apparatus, input display method, and recording medium
CN105185377A (zh) 一种基于语音的文件生成方法及装置
KR20130093672A (ko) 중첩 수기를 위한 방법, 장치 및 컴퓨터 프로그램 제품
JP2019514096A (ja) 文字列に文字を挿入するための方法およびシステム
CN110018746B (zh) 通过多种输入模式来处理文档
CN105404624A (zh) 一种汉字识别方法、装置及终端
CN104102438A (zh) 一种基于触摸屏设备的汉字拼音输入法
KR101275040B1 (ko) 자유선 입력 기반의 전자 문서 구동 장치 및 방법
CN111857362A (zh) 文字输入方法及文字输入装置
JP2989084B2 (ja) 情報処理装置
JP5213794B2 (ja) 情報処理装置及び情報処理方法
KR102160249B1 (ko) 휴대용 디바이스에서 복수의 메모 페이지들을 편집하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant