CN117850656A - 虚拟手语系统 - Google Patents

Abstract

本发明提供了一种虚拟手语系统。一个实施方式提供了一种方法，该方法包括：在利用虚拟手语系统的信息处理设备处接收在虚拟键盘上提供的来自用户的手语元素输入；利用虚拟手语系统确定从手语元素输入产生的手语元素搜索结果的集合；从虚拟键盘处的用户接收从搜索结果的集合中选择一个搜索结果的输入；以及利用虚拟手语系统提供与所选择的一个搜索结果相对应的输出。要求保护并描述了其他方面。

Description

虚拟手语系统

技术领域

本公开内容总体上涉及虚拟手语系统，具体地，涉及一种方法、一种系统和一种产品。

背景技术

手语是通常由使用传统听觉方法交流有问题的人使用的交流方法。聋人可能占使用手语交流的人中的大多数。其他人例如哑人也可以用这种语言来交流。听不到口头语言或说话导致依赖经由手势交流。手语的语法和词汇通常与口头语言不匹配。

发明内容

总之，一个方面提供了一种方法，该方法包括：在利用虚拟手语系统的信息处理设备处接收在虚拟键盘上提供的来自用户的手语元素输入；利用虚拟手语系统来确定从手语元素输入产生的手语元素搜索结果的集合；从虚拟键盘处的用户接收从搜索结果的集合中选择一个搜索结果的输入；以及利用虚拟手语系统提供与所选择的一个搜索结果相对应的输出。

另一方面提供了一种系统，该系统包括：虚拟键盘；处理器，该处理器可操作地耦接至虚拟键盘；存储器设备，该存储器设备存储指令，所述指令在由处理器执行时使系统：利用虚拟手语系统接收在虚拟键盘上提供的来自用户的手语元素输入；利用虚拟手语系统来确定从手语元素输入产生的手语元素搜索结果的集合；从虚拟键盘处的用户接收从搜索结果的集合中选择一个搜索结果的输入；以及利用虚拟手语系统提供与所选择的一个搜索结果相对应的输出。

又一方面提供了一种产品，所述产品包括：计算机可读存储设备，该计算机可读存储设备存储可执行代码，所述可执行代码在由处理器执行时使产品：利用虚拟手语系统接收在虚拟键盘上提供的来自用户的手语元素输入；利用虚拟手语系统来确定从手语元素输入产生的手语元素搜索结果的集合；从虚拟键盘处的用户接收从搜索结果的集合中选择一个搜索结果的输入；以及利用虚拟手语系统提供与所选择的一个搜索结果相对应的输出。

前述为发明内容，因此可能包含细节的简化、概括和省略；因此，本领域技术人员将理解，该发明内容仅是说明性的，并且不旨在以任何方式进行限制。

为了更好地理解实施方式连同实施方式的其他的以及进一步的特征和优点，参考了结合附图进行的以下描述。将在所附权利要求中指出本发明的范围。

附图说明

图1示出了信息处理设备电路系统的示例。

图2示出了信息处理设备电路系统的另一示例。

图3示出了用于在虚拟手语系统的虚拟键盘上提供与用户提供的手语元素输入相对应的输出的示例方法。

图4示出了虚拟手语系统的虚拟键盘。

具体实施方式

将容易理解，除了所描述的示例实施方式之外，如本文附图中一般描述和示出的，可以以多种不同的配置来布置和设计实施方式的部件。因此，如附图所示的示例实施方式的以下更详细的描述并不旨在限制如要求保护的实施方式的范围，而仅表示示例实施方式。

贯穿本说明书，对“一个实施方式”或“实施方式”(等)的引用意味着结合实施方式描述的特定特征、结构或特性被包括在至少一个实施方式中。因此，遍及本说明书在各个地方出现的短语“在一个实施方式中”或“在实施方式中”等不一定都指代同一实施方式。

此外，在一个或更多个实施方式中，所描述的特征、结构或特性可以以任何适当的方式被组合。在以下描述中，提供了许多具体细节以给出对实施方式的透彻理解。然而，相关领域的技术人员将认识到，可以在没有一个或更多个具体细节的情况下或者利用其他方法、部件、材料等来实践各种实施方式。在其他实例中，没有详细描述或示出公知的结构、材料或操作以避免混淆。

那些依赖使用手语的人通常在利用传统的口头交流方法方面存在问题。无论用户是聋人、哑人还是类似的人，手语都允许那些有口头交流问题的人经由手势交流。对于那些失去经由口头交流方法进行交流的能力的人，例如，一个人曾经可以听到，但随着时间的推移逐渐失去他们的听觉能力，用户可能已经学习了一些正式的口头语言训练。正式的口头语言训练是指学习与口头交流风格相关联的阅读和/或写作方法。换句话说，正式的语言训练包括学习如何说话，以及进一步地如何用口头语言读和写。用户基于发音和形成字母表的语言的字母的使用从语音上分解单词的能力通常是利用口头交流方法掌握口头语言的结果。对于那些没有口头交流问题的人来说，学习语言的语音也可以是使用口语词和/或书面交流方法进行交流的基础。更具体地，正式的口头语言训练允许用户以与口头语言的正确规则和技术相匹配的方式学习读和写口头语言。

然而，对于那些可能天生听不到口头语言的人来说，他们可能会在很长一段时间内依赖手语作为他们的主要交流方式。由于手语具有它自己的语法和词汇，它可能与它旨在补充的语言不匹配。另外，接受正式的口头语言训练并不常见。用户无法口头交流使得学习口头语言的语音变得困难。附加地或可替选地，学习手语需要时间和奉献精神，因此，试图在接受手语训练的同时接受正式的口头语言训练对个人来说可能是困难的。因此，正式的口头语言训练通常不会教授给有口头交流问题的人，并且这些人可能难以经由旨在匹配口头语言的书面词方法进行分解和交流。

除了接受正式的语言训练之外，缺乏试图克服个人无法用口头语言交流的方法，使得具有这样的口头交流问题的个人很少或没有能力通过旨在匹配口头语言的书面形式进行交流。由于具有口头交流问题的人难以学习语言的语音，所以在许多国家，通常不教他们学习口头语言的书面形式。因此，需要的是可以将手语输入和/或与手语输入有关的参数翻译成用于可能具有口头交流问题的用户的书面形式的系统和方法。

因此，所描述的系统和方法提供了用于接收手语输入并且随后提供与通过使用虚拟手语系统接收到的手语输入相对应的输出的技术。虚拟手语系统被用在信息处理设备上，并且可以在虚拟键盘上接收来自用户的虚拟手语元素输入。手语元素输入包括标识手语中使用的手势的参数和语音限制的输入。系统可以在虚拟手语系统的虚拟键盘处接收标识期望的手势的参数和语音限制的输入，而不是试图接收通过使用手语传达的手势。通过在键盘上接收输入而不是手势，系统不必采用视频处理来标识用户提供的手势。另外，手势最初可以至少被划分为不同的参数和语音限制，例如，手形、所提供的手势的位置、提供手势的手、以及手势是否包括移动。通过利用参数和语音限制，键盘可以被划分为输入区域的集合，所述输入区域允许找到几乎所有手势的能力，而不需要包括所有可能手势的键盘，如果甚至可能的话，这将是极其复杂的键盘。

在接收到手语元素输入之后，虚拟手语系统可以承担以下任务：从接收到的手语元素输入中确定手语元素搜索结果的集合。可以在考虑到期望的手势的情况下输入手语元素输入；然而，手语中存在的多个手势可以包含至少两个不同的手势，但是落在与接收到的手语元素输入相同的参数和语音限制内。由于存在由手语元素输入产生多个手势的可能性，于是用户可以提供从所确定的搜索结果的集合中选择搜索结果的输入。然后，用户对期望的手势的选择可以产生与该选择对应的输出，并且将该输出提供给与信息处理设备上存在的应用组合工作和/或内联工作的应用。在系统中，所提供的输出可以包括所选择的一个搜索结果的视频。在系统中，所提供的输出可以包括所选择的一个搜索结果的文本形式。

通过参照附图将最佳地理解所示出的示例实施方式。以下描述旨在仅作为示例，并且简单地说明了某些示例实施方式。

虽然在信息处理设备中可以利用各种其他电路、电路系统或部件，但是关于智能电话和/或平板计算机电路系统100，图1所示的示例包括例如在平板计算机或其他移动计算平台中发现的片上系统设计。软件和处理器在单个芯片110中组合。如本领域所公知的，处理器包括内部算术单元、寄存器、高速缓冲存储器、总线、输入/输出(I/O)端口等。内部总线等取决于不同的供应商，但基本上所有外围设备(120)都可以附接至单个芯片110。电路系统100将处理器、存储器控制和I/O控制器集线器全部组合至单个芯片110中。此外，这种类型的系统100通常不使用串行高级技术附件(SATA)或外围部件互连(PCI)或低引脚数(LPC)。例如，通用接口包括安全数字输入/输出(SDIO)和内部集成电路(I2C)。

存在电力管理芯片130，例如电池管理单元BMU，其管理例如经由可充电电池140供应的电力，可充电电池140可以通过连接至电源(未示出)而被充电。在至少一种设计中，诸如110的单个芯片用于提供类似于基本输入/输出系统(BIOS)的功能和动态随机存取存储器(DRAM)存储器。

系统100通常包括用于连接至各种网络例如电信网络和无线互联网设备例如接入点的无线广域网(WWAN)收发器150和无线局域网(WLAN)收发器160中的一个或更多个。另外，通常包括设备120，例如无线通信设备、外部存储装置等。系统100通常包括用于数据输入和显示/呈现的触摸屏170。系统100通常还包括各种存储器设备，例如闪存存储器180和同步动态随机存取存储器(SDRAM)190。

图2描绘了信息处理设备电路、电路系统或部件的另一示例的框图。图2中描绘的示例可以对应于诸如个人计算机或其他设备的计算系统。如从本文中的描述中明显的，实施方式可以包括图2所示的示例的其他特征或特征中的仅一些特征。

图2的示例包括所谓的芯片组210(一起工作的一组集成电路或芯片、芯片组)，该芯片组210具有可以根据制造商而变化的架构。芯片组210的架构包括核心和存储器控制组220以及经由直接管理接口(DMI)242或链路控制器244交换信息(例如，数据、信号、命令等)的I/O控制器集线器250。在图2中，DMI 242是芯片至芯片接口(有时被称为“北桥”与“南桥”之间的链路)。核心和存储器控制组220包括经由前端总线(FSB)224交换信息的一个或更多个处理器222(例如，单核或多核)和存储器控制器集线器226；注意，组220的部件可以集成在取代传统的“北桥”式架构的芯片中。如本领域所公知的，一个或更多个处理器222包括内部算术单元、寄存器、高速缓冲存储器、总线、I/O端口等。

在图2中，存储器控制器集线器226与存储器240对接(例如，来为可以被称为“系统存储器”或“存储器”的随机存取存储器(RAM)类型提供支持)。存储器控制器集线器226还包括用于显示设备292(例如，阴极射线管(CRT)、平板、触摸屏等)的低压差分信令(LVDS)接口232。块238包括可以经由低压差分信令(LVDS)接口232支持的一些技术(例如，串行数字视频、高清晰度多媒体接口/数字视觉接口(HDMI/DVI)、显示端口)。存储器控制器集线器226还包括可以支持独立显卡236的PCI-express接口(PCI-E)234。

在图2中，I/O集线器控制器250包括SATA接口251(例如，用于硬盘驱动器(HDD)、固态驱动器(SSD)等，280)、PCI-E接口252(例如，用于无线连接282)、通用串行总线(USB)接口253(例如，用于诸如数字化仪、键盘、鼠标、摄像装置、电话、麦克风、存储装置、其他连接的设备等的设备284)、网络接口254(例如，局域网(LAN))、通用I/O(GPIO)接口255、LPC接口270(用于专用集成电路(ASIC)271、可信平台模块(TPM)272、超级I/O 273、固件集线器274、BIOS支持275以及各种类型的存储器276例如只读存储器(ROM)277、闪存278和非易失性RAM(NVRAM)279)、电力管理接口261、时钟生成器接口262、音频接口263(例如，用于扬声器294)、时间控制操作(TCO)接口264、系统管理总线接口265、以及可以包括BIOS268和引导代码290的串行外围接口(SPI)闪存266。I/O集线器控制器250可以包括千兆以太网支持。

在上电时，系统可以被配置成执行存储在SPI闪存266内的BIOS268的引导代码290，并且随后在一个或更多个操作系统和应用软件(例如，存储在系统存储器240中)的控制下处理数据。操作系统可以存储在各种位置中的任何位置中，并且可以例如根据BIOS268的指令来访问操作系统。如本文所述，设备可以包括比图2的系统中示出的更少或更多的特征。

例如图1或图2中概述的信息处理设备电路系统可以用在诸如平板计算机、智能电话、一般的个人计算机设备和/或电子设备的设备中，该信息处理设备电路系统可以用在从用户接收手语元素输入并且随后基于接收到的手语元素输入提供与所选择的搜索结果对应的输出的系统中。例如，图1中概述的电路系统可以在平板计算机或智能电话实施方式中实现，而图2中概述的电路系统可以在个人计算机实施方式中实现。

图3示出了用于根据接收到的手语元素输入确定结果的集合并且随后通过使用虚拟手语系统提供从该结果的集合中选择的输出的示例方法。该方法可以在包括处理器、存储器设备、输出设备(例如，显示设备等)、输入设备(例如，键盘、触摸屏、鼠标、麦克风、传感器、生物扫描仪等)和/或其他部件例如结合图1和/或图2讨论的部件的系统上实现。虽然该系统可以包括已知的硬件部件和软件组件和/或将来开发的硬件部件和软件组件，但是虚拟手语系统本身被专门编程成：执行如本文所述的功能，以提供与由虚拟手语系统根据来自用户的接收到的手语元素输入所产生的所选择的至少一个搜索结果相对应的输出。

虚拟手语系统可以在信息处理设备的后台中运行，并且可以在该设备被激活时被激活。附加地或可替选地，当与手语交流方法相关联的应用(例如，文本消息收发平台、文字处理程序、多媒体处理程序等)被激活、被检测或以其他方式被打开时，系统可以被激活。系统还可以在虚拟键盘处接收到手语元素输入时激活系统。在这种情况下，虚拟手语系统直到在与用户相关联的信息处理设备处已经接收到至少一个手语元素输入才被激活。

一旦虚拟手语系统在设备上被激活，该系统就可以在整个处理中被使用，该处理包括：接收虚拟键盘上提供的来自用户的手语元素输入；确定根据手语元素输入产生的手语元素搜索结果的集合；接收从虚拟键盘处的搜索结果的集合中选择一个搜索结果的输入选择；以及提供与所选择的一个搜索结果相对应的输出。继续使用虚拟手语系统接收手语元素输入，并且确定手语元素搜索结果的集合将训练设备以产生准确的结果集，使得用户然后可以从该搜索结果的集合中选择期望的一个搜索结果。换句话说，系统可以学习来自用户的选择，并且使用这些选择来更准确地标识搜索结果或向用户提供搜索结果。换句话说，基于先前选择的搜索结果，系统可以对不同的可能的搜索结果进行加权或按优先级排序，从而首先呈现更可能的选择，或者在与不太可能的选择相比而言更高的位置处呈现更可能的选择。

为了执行虚拟手语系统中存在的步骤，并且为了从手语元素输入中准确地确定手语元素搜索结果的集合，虚拟手语系统可以利用神经网络、机器学习模型和/或其他学习算法，为了易于阅读，这些统称为机器学习模型。可以利用先前提供的手语元素输入和先前产生的手语搜索结果的集合来训练机器学习模型。换句话说，机器学习模型被赋予访问先前接收的手语元素输入和从特定手语元素输入产生的搜索结果的集合的权限。另外，机器学习模型从搜索结果的集合中接收先前选择的搜索结果，并且随后接收由用户关联和选择的输出，以进一步训练机器学习模型。这些已建立的手语元素、搜索结果集合、用户搜索结果选择以及所选择的搜索结果的输出被称为训练数据集。

使用可能随时间变化的训练数据集，机器学习模型学习接收到的手语元素输入、所呈现的搜索结果与用户的选择之间的细微差别。这导致更准确地标识用户的期望的搜索结果和输出所选择的搜索结果。例如，机器学习模型可以学习用户何时可以选择将所选择的搜索结果输出为视频和/或用户何时可以选择以文本形式输出所选择的搜索结果。作为附加示例，系统可以学习用户从由用户提供的参数和语音限制中进行选择的手语结果。随着在从接收到的手语元素输入的手语搜索结果的集合中确定信息，机器学习模型可以学习附加的细微差别，并且随着时间的推移变得更加准确和精细。因此，虽然存在用于初始训练机器学习模型的初始训练数据集，但是机器学习模型基于由机器学习模型接收到的新信息随时间进行学习，从而进化以变得更加准确。

在301处，当使用具有虚拟手语系统的信息处理设备时，该系统可以接收来自用户的手语元素输入。手语元素也被称为“标志”，并且手语元素输入是来自用户的以图片形式描述或标识手势的参数或其他特征的那些输入。虚拟手语系统可以利用虚拟键盘来接收来自用户的这样的手语元素输入。该虚拟键盘可以被设计成包括与所接收的手语输入的特定参数和语音限制相对应的区段或输入区域。如前所述，接收手语元素输入不是从执行手势的用户处收集的，而是用户可以在虚拟键盘处提供手语元素输入，该手语元素输入标识稍后要选择的期望的手势的参数和/或语音限制。换句话说，用户不执行手势，而是从虚拟键盘选择期望的手势的参数和语音限制。

在该系统中，由用户在虚拟手语系统的虚拟键盘上提供的手语元素输入可以与期望的手势的特定参数和语音限制相关联。示例参数可以包括手形。手形手语输入参数可以标识当开始和/或执行手势时手语者的一只手或两只手可以如何定向和/或形成。在该系统中，可以记录用户的初始手形。术语手形也可以扩展至身体形状，因为一些手语手势可以使用身体的其他部位例如用户的手臂、用户的头部、用户的躯干等来表达手势。因此，当使用术语手形时，应当理解，这不仅指手的形状和/或取向，而且指适用于特定手势的用户的身体的形状和/或取向。

如图4可以看出，提供了示例虚拟键盘，并且虚拟键盘的左半部分与手形相关联。在图4中，存在三(3)行手形类型。可以从手形的缩略选择中选择手形手语输入。可以基于手语类型中最常见的手形来确定手形的缩略选择。手形的缩略选择也可以基于用户最常选择的、用户设置的手形等。附加地或可替选地，在系统中，用户可以选择将手形选择选项扩展至所有手形选项，然后提供手语元素输入。例如，用户可以选择并保持与期望的手形类似的手形，并且在检测到在虚拟键盘上保持手形选择时，虚拟手语系统可以提供最初不在虚拟键盘上呈现的附加的类似的手形。虚拟手语系统可以在选择例如用于显示手语中存在的所有手形的附加选项时提供所有手形的列表。在虚拟手语系统的虚拟键盘上，执行手势的用户的手形可以标识用户的期望的手势的参数。

另一种示例参数(因此也是手语元素输入)是手势相对于人体的位置。换句话说，位置标识在身体上的什么地方执行手势。当执行手势时，相对于人体执行手势的位置可以改变手势的含义。例如，执行与另一手势具有相同参数但在不同身体位置处的手势可能会导致不同的手势含义。返回参照图4，手语元素的位置包括例如沿虚拟键盘的顶行的最后三(3)个选择区域。如从图4可以看出，并且用作示例，显示在虚拟键盘上的参数包括如从左至右看到的“头部”位置、“身体”位置和“中立空间”位置。可选区域内的主体的突出显示部分可以示出参数选择输入。

附加地或可替选地，在身体的位置上执行手势可以比最初在虚拟键盘上提供的三个位置更具体或不同。类似于用于手形参数的先前讨论的选项的扩展，用户可以选择并保持位置选项中的一个，这然后可以提供更具体的位置以供选择。作为示例，用户可以选择与期望的手势元素最密切相关的位置，并且当在虚拟键盘上选择并保持所选择的位置时，虚拟手语系统可以提供与用于执行手势的位置相关的更具体的选项。例如，在系统中，在选择“身体”参数选项并按住该选项之后，虚拟键盘可以向用户提供特定的身体区域，以标识期望的手语元素的位置，例如肩膀、胸甲、腹部等。

另一种示例参数(因此也是手语输入元素)是针对手势执行的移动。换句话说，用户可以选择当执行手势时用户的手是移动还是保持静止。如前所述，这也适用于在执行手势期间可能移动的其他身体部位。当用户选择用户的手保持静止或不移动的选项时，例如当一次拼写和/或提供单个字母时，虚拟键盘可以在没有关于该移动的进一步输入的情况下接受该选择。附加地或可替选地，类似于如前所述的参数选项的扩展，系统可以接受标识手势包括移动的输入，因此可以向用户提供用于选择更具体的移动模式的选项。可以在虚拟键盘的移动输入选择时利用选择并保持技术来提供这些附加选项。可替选地或附加地，在简单选择移动选项(例如，单次输入按压、轻击等)时，虚拟键盘可以提供具有附加选项的弹出显示，可以改变虚拟键盘以显示移动选项等。例如，在图4中，沿中间行呈现的最后两个选择选项标识初始移动类型、无移动或移动。

另一种手语元素输入(因此也是手语元素的语音限制)包括手类型。手语输入的手类型语音限制可以标识当执行手势时将使用一只手还是两只手。在执行手势期间使用其他身体部位的情况下，虚拟键盘可以包括这样的身体部位，或者用户可以提供输入以扩展手类型语音限制选择以包括其他身体部位。手类型语音限制不仅标识使用一只手还是两只手，而且还标识输入选项，所述输入选项标识两只手是否将以相同的参数移动，换句话说，在执行相同的移动和其他参数时并行移动，或者两只手是否将以不同的参数移动。

参照图4，虚拟键盘可以包括描述用于手类型的选项的三(3)个手语输入选项。这可以通过沿虚拟键盘的底部行的最后三(3)个输入选项来观察。当选择单手输入时，虚拟手语系统可以将所选择的参数应用于用户的惯用手(dominant hand)。尽管手类型选项包括两个分离的双手选项，但是简单地选择手语选项是在相同的参数内还是在不同的参数内可以为虚拟手语系统提供足够的信息，以提供准确的手语元素搜索结果的集合，如在302处所确定的。

在接收到手语输入选项之后，系统在302处可以确定虚拟手语系统是否可以从接收到的手语元素输入中确定手语结果的集合。手语输入选项可以用作应用于所有可能的手语元素的搜索查询参数。该搜索查询的结果是手语结果的集合。系统可以附加地或可替选地利用机器学习模型来产生与所接收的手语输入相关联的手语元素搜索结果的集合。标识手语元素的参数和语音限制可以为虚拟手语系统提供足够的信息，以从可访问的数据库和/或存储位置检索具有所输入的参数和语音限制以及/或者与所输入的参数和语音限制密切相关的手语元素。

在基于虚拟键盘处所提供的参数和语音限制来确定存在至少一个手语元素搜索结果时，虚拟手语系统可以提供搜索结果的集合。一种用于提供搜索结果的集合的技术包括在虚拟键盘上提供视频，该视频显示具有所提供的参数和语音限制的手势。可以向用户提供搜索结果的集合中存在的每个手语元素的视频。另一技术可以包括为静止手势提供图像的集合以及/或者在手势包括移动的情况下为每个结果提供一系列图像步骤。参照图4，例如，沿虚拟键盘的顶部的大的空白栏可以是将手语元素搜索结果的集合提供回给用户的地方。在系统中，当在302处确定不能基于从用户接收的手语元素输入产生至少一个手语元素时，系统可以不提供手语元素的输出，如在302处所示。

然而，当在302处确定虚拟手语系统可以根据手语元素输入产生手语元素搜索结果的集合并且所述结果被提供给用户时，在303处，系统然后可以接收来自从搜索结果的集合中选择一个搜索结果的用户的输入。在系统中，在303处，接收输入或用户从搜索结果的集合中选择一个搜索结果需要用户做出与从虚拟手语系统提供回来的期望的手语元素相关联的决定。输入可以包括例如点击期望的手语元素、突出显示期望的手语元素、保持期望的手语元素等。在搜索结果的集合包括比虚拟键盘所能容纳的结果更多的结果的情况下，用户可以提供指示结果应该被扩展、被改变为不同选项等的输入。例如，通过向接近的结果提供“更像这样(more-like-this)”的输入，用户还可以提供指示结果接近但不是正确结果的输入。这可以导致使用所选择的接近结果作为查询输入的附加搜索。

在接收到从搜索结果的集合中选择搜索结果的输入时，系统可以在304处提供与所选择的搜索结果对应的输出。提供输出可以包括提供所选择的搜索结果的视频。虚拟手语系统可以将执行手语元素的视频包含在可以支持这样的上下文的应用中。例如，系统可以通过社交媒体平台上的直接消息以类似于应用提供gif的方法来提供视频输出。附加地或可替选地，例如，该系统可以允许向视频观看平台发送需要动作来模仿包含手语元素的视频的执行的视频，类似于剪辑的和/或上传的视频。

在304处，提供输出可以包括以文本形式提供所选择的搜索结果。虚拟手语系统可以将所选择的一个搜索结果翻译成文本形式，以被实现为基于文本的系统。如前所述，缺乏口头交流能力和/或从未接受过正式口头语言训练(例如写作、阅读等)的人可能无法使用与口头语言对应的传统文本交流方法进行交流。系统的将从由用户提供的接收到的手语元素输入产生的视频翻译成文本形式的能力为这样的用户提供了以更传统的方式进行交流的机会。

以这种方式，用户可以提供输入来选择手语输入元素。可以想象，用户可以提供产生一系列搜索结果的一系列输入。当用户选择搜索结果的系列时，系统可以在提供输出时应用在输出上选择的口头语言规则。例如，如果用户想要使用手语元素中的选择来提供句子，一旦用于句子的所有手语元素都被选择，系统就可以将口头语法、句法、词典和/或其他规则应用于所翻译的输出，从而生成口头语言规则正确的视频或基于文本的输出。因此，所描述的系统允许用户在没有通常需要的正式口头语言训练的情况下以规则正确的方式针对口头语言进行交流，并且还允许用户以舒适的方式提供要转换的输入。

如本领域技术人员将认识到的，各方面可以被实施为系统、方法或设备程序产品。因此，各方面可以采用完全硬件实施方式的形式或采用包括软件的实施方式的形式，其在本文中通常都可以被称为“电路”、“模块”或“系统”。此外，各方面可以采用在一个或更多个设备可读介质中实施的设备程序产品的形式，所述一个或更多个设备可读介质具有利用其实施的设备可读程序代码。

应当注意，可以使用由处理器执行的存储在设备可读存储介质例如非信号存储设备上的指令来实现本文中描述的各种功能。存储设备可以是例如电子的、磁的、光学的、电磁的、红外的或半导体的系统、装置或设备或者前述的任何合适的组合。存储介质的更具体示例包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何合适的组合。在本文档的上下文中，存储设备不是信号，也不应被解释为暂态信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)或通过导线传输的电信号。另外，术语“非暂态”包括除了信号介质之外的所有介质。

可以使用任何适当的介质来传输在存储介质上实施的程序代码，所述任何适当的介质包括但不限于无线、有线、光纤线缆、射频等或前述的任何合适的组合。

用于执行操作的程序代码可以以一种或更多种编程语言的任何组合来编写。程序代码可以完全地在单个设备上执行、部分地在单个设备上执行、作为独立软件包执行、部分地在单个设备上并且部分地在另一设备上执行、或完全在另一设备上执行。在一些情况下，可以通过任何类型的连接或网络——包括局域网(LAN)或广域网(WAN)——来连接设备，或者可以通过其他设备(例如，通过使用因特网服务提供商的因特网)、通过无线连接例如近场通信、或者通过硬线连接例如通过USB连接来进行连接。

本文中参照示出了根据各种示例实施方式的示例方法、设备和程序产品的附图来描述示例实施方式。将理解的是，动作和功能可以至少部分地通过程序指令来实现。可以将这些程序指令提供给设备、专用信息处理设备或其他可编程数据处理设备的处理器以产生机器，使得经由设备的处理器执行的指令实现指定的功能/动作。

值得注意的是，虽然在图中使用了特定块，并且已经示出了块的特定顺序，但是这些是非限制性示例。由于明确示出的示例仅用于描述性目的并且不被解释为进行限制，因此在某些上下文中可以将两个或更多个块进行组合、可以将块划分成两个或更多个块、或者可以视情况对某些块进行重新排序或重新组织。

如本文中使用的，除非另有明确指示，否则单数“一”和“一个”可以被解释为包括复数“一个或更多个”。

出于说明和描述的目的给出了本公开内容，但是本公开内容并非旨在是穷举的或限制性的。许多修改和变型对本领域普通技术人员来说将是明显的。选择并描述了示例实施方式以解释原理和实际应用，并且使得本领域其他普通技术人员能够理解具有如适合于预期的特定用途的各种修改的各种实施方式的公开内容。

因此，尽管本文中参照附图已经描述了说明性的示例实施方式，但要理解的是，该描述不是限制性的，并且在不偏离本公开内容的范围或精神的情况下，本领域技术人员可以影响其中的各种其他改变和修改。

Claims (20)

1.一种方法，所述方法包括：

在利用虚拟手语系统的信息处理设备处接收在虚拟键盘上提供的来自用户的手语元素输入；

利用所述虚拟手语系统来确定从所述手语元素输入产生的手语元素搜索结果的集合；

从所述虚拟键盘处的用户接收从所述搜索结果的集合中选择一个搜索结果的输入；以及

使用所述虚拟手语系统提供与所选择的一个搜索结果相对应的输出。

2.根据权利要求1所述的方法，其中，所述手语元素输入包括标识所述手语元素的参数和语音限制中的至少一个的输入。

3.根据权利要求2所述的方法，其中，所述手语元素的参数包括手形。

4.根据权利要求2所述的方法，其中，所述手语元素的参数包括相对于人体提供所述手语元素的位置。

5.根据权利要求2所述的方法，其中，所述手语元素的参数包括在执行所述手语元素时的移动。

6.根据权利要求2所述的方法，其中，所述手语元素的语音限制是手类型。

7.根据权利要求1所述的方法，包括显示所述虚拟键盘，其中，所述虚拟键盘包括多个手语元素输入区域，所述多个手语元素输入区域中的每一个对应于所述手语元素的参数或语音限制。

8.根据权利要求1所述的方法，其中，所述确定包括显示与所接收的手语元素输入相对应的多个搜索结果。

9.根据权利要求1所述的方法，其中，所述输出包括所选择的一个搜索结果的视频。

10.根据权利要求1所述的方法，其中，所述输出包括所选择的一个搜索结果的文本形式。

11.一种系统，所述系统包括：

虚拟键盘；

处理器；

存储器设备，所述存储器设备存储指令，所述指令在由所述处理器执行时使所述系统：

利用虚拟手语系统接收在所述虚拟键盘上提供的来自用户的手语元素输入；

利用所述虚拟手语系统来确定从所述手语元素输入产生的手语元素搜索结果的集合；

从所述虚拟键盘处的用户接收从所述搜索结果的集合中选择一个搜索结果的输入；以及

利用所述虚拟手语系统提供与所选择的一个搜索结果相对应的输出。

12.根据权利要求11所述的系统，其中，所述手语元素输入包括标识所述手语元素的参数和语音限制中的至少一个的输入。

13.根据权利要求12所述的系统，其中，所述手语元素的参数包括手形。

14.根据权利要求12所述的系统，其中，所述手语元素的参数包括相对于人体提供所述手语元素的位置。

15.根据权利要求12所述的系统，其中，所述手语元素的参数包括在执行所述手语元素时的移动。

16.根据权利要求12所述的系统，其中，所述手语元素的语音限制是手类型。

17.根据权利要求11所述的系统，包括显示所述虚拟键盘，其中，所述虚拟键盘包括多个手语元素输入区域，所述多个手语元素输入区域中的每一个对应于所述手语元素的参数或语音限制。

18.根据权利要求11所述的系统，其中，所述输出包括所选择的一个搜索结果的视频。

19.根据权利要求11所述的系统，其中，所述输出包括所选择的一个搜索结果的文本形式。

20.一种产品，所述产品包括：

计算机可读存储设备，所述计算机可读存储设备存储可执行代码，所述可执行代码在由所述处理器执行时使所述产品：

利用虚拟手语系统接收在虚拟键盘上提供的来自用户的手语元素输入；

利用所述虚拟手语系统来确定从所述手语元素输入产生的手语元素搜索结果的集合；

从所述虚拟键盘处的用户接收从所述搜索结果的集合中选择一个搜索结果的输入；以及

利用所述虚拟手语系统提供与所选择的一个搜索结果相对应的输出。