CN107179952A - 虚拟应用客户端和服务器之间的协同输入法编辑器(ime)活动 - Google Patents

虚拟应用客户端和服务器之间的协同输入法编辑器(ime)活动 Download PDF

Info

Publication number
CN107179952A
CN107179952A CN201610140425.1A CN201610140425A CN107179952A CN 107179952 A CN107179952 A CN 107179952A CN 201610140425 A CN201610140425 A CN 201610140425A CN 107179952 A CN107179952 A CN 107179952A
Authority
CN
China
Prior art keywords
ime
client
server
virtual application
communication channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610140425.1A
Other languages
English (en)
Other versions
CN107179952B (zh
Inventor
江天择
丁德宝
陆凯
张杨
卢义婉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Citrix Systems Inc
Original Assignee
Citrix Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Citrix Systems Inc filed Critical Citrix Systems Inc
Priority to CN201610140425.1A priority Critical patent/CN107179952B/zh
Priority to JP2017041435A priority patent/JP6607876B2/ja
Priority to KR1020170029837A priority patent/KR102010127B1/ko
Publication of CN107179952A publication Critical patent/CN107179952A/zh
Application granted granted Critical
Publication of CN107179952B publication Critical patent/CN107179952B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/543—User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/541—Client-server

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种用于将人类语言字符输入到虚拟应用中的技术包括：在运行于客户端机器上的客户端IME和运行于服务器上的服务器IME之间建立通信信道，以使客户端IME能够将服务器IME用作代理来与运行于服务器上的虚拟应用进行交互。服务器IME将信息从客户端IME中继给虚拟应用。服务器IME还将信息从虚拟应用中继给客户端IME。由此，服务器IME能够使客户端IME犹如与本地应用进行交互一样来与虚拟应用进行交互，并且对于虚拟应用和本地应用二者，提升了相似的用户体验。

Description

虚拟应用客户端和服务器之间的协同输入法编辑器(IME) 活动
技术领域
背景技术
操作系统通常支持IME(输入法编辑器)以帮助将人类语言字符输入到软件应用中。例如，提供IME以便输入没有提供对应键盘按钮的复杂的中文、日语和韩语字符。在通常布置中，IME作为呈现IME元素的帮助应用而运行(诸如组合(composition)窗口和候选窗口)，以帮助将字符输入到运行的应用中(诸如文字处理文档、电子表格、网络浏览器等)。
例如，用户的键盘布局可支持例如简体中文(例如，拼音)、日语或韩语。响应于用户用键盘按钮打字，IME产生组合窗口。组合窗口包括根据显示属性显示的组合字符。组合字符是可以被输入到应用中或者可以不被输入到应用中的临时字符。组合字符的显示属性指定组合字符将如何被显示，以突出它们，将它们与已经确定的字符区分，并识别它们的状态。在一些示例中，组合字符是直接键盘输入的简单反映(例如，如在微软拼音IME中)。在其他示例中，组合字符是已被IME从键盘输入转换为目标语言的复杂字符(例如，如在谷歌拼音IME中)。
在IME产生组合窗口的同时，它还产生候选窗口。候选窗口包括候选列表，即，针对与键盘输入相对应的目标语言形式的一个或多个字符的预测的列表。例如，用户可输入与目标语言形式的字符当被讲出时的发音方式类似地发音的键盘符号。随着用户将键盘输入键入应用中，IME基于附加用户输入动态地更新和提炼组合字符和候选列表。用户可例如通过点击候选列表上的项，通过使用方向键并敲击“回车”或“空格”，或者通过输入识别候选列表上的项的数字，来从候选列表选择一个字符或多个字符。当用户从候选列表选择了候选时，IME将选择的一个字符或多个字符插入到应用中(例如，插入到文档、单元格、输入栏等中)。
对于所谓的“部分IME感知”应用(诸如微软Word、微软Notepad和微软Wordpad)，该应用负责显示组合元素而非候选窗口。IME基于用户输入来产生组合元素，并将这些元素提供给应用。然后，应用在当前光标位置显示组合元素。同时，IME显示与组合元素相邻的候选窗口。对于所谓的“完全IME感知”应用(诸如微软Command)，该应用负责显示组合元素和候选列表元素二者。在这些情况下，IME产生这些元素，并将它们提供给应用，应用根据其自身的编排而显示这些元素。
发明内容
用户可能希望采用不仅将字符输入到本地运行的应用中而且将字符输入到虚拟应用中的IME。如所知的，“虚拟应用”是宿于远程服务器但是在客户端机器上本地呈现用户界面的应用。虚拟应用可在虚拟桌面背景中提供或者在没有桌面背景的情况下在应用窗口中提供。不管是否在虚拟桌面中提供，虚拟应用都可以与在客户端机器上本地运行的应用具有相似的界面外观。然而，在这些场景之后，在客户端和服务器之间交换数据以保持本地外观和感觉。
不幸地，已经证明，当用户希望采用IME将语言字符输入到虚拟应用中时保持本地执行印象很难。例如，用户可能希望调用本地客户端IME将字符输入到虚拟应用中，但是可能不存在实现客户端和服务器之间的IME操作通信的结构。结果，对于虚拟应用而言，一些IME特征可能不以其针对本地运行的应用进行工作的相同方式来进行工作，从而导致降低的用户体验。虚拟应用的一些服务器提供它们自己的IME，用户可远程操作这些IME。但是这种IME可能不同于用户偏爱的IME。因此，在这些情况下用户体验也降低。
与现有方法相反，一种用于将人类语言字符输入到虚拟应用中的改进技术包括：在运行于客户端机器上的客户端IME和运行于服务器上的服务器IME之间建立通信信道，以使客户端IME能够将服务器IME用作代理来与运行于服务器上的虚拟应用进行交互。服务器IME将信息从客户端IME中继给虚拟应用。服务器IME还将信息从虚拟应用中继给客户端IME。由此，服务器IME能够使客户端IME犹如与本地应用进行交互一样来与虚拟应用进行交互，并且对于虚拟应用和本地应用二者，提升了相似的用户体验。用户可继续采用他们的优选客户端IME，当与虚拟应用一起使用时这些IME的表现与当与本地应用一起使用时的表现相似。
在一个示例中，服务器IME将由客户端IME产生的组合元素中继给虚拟应用，使得虚拟应用可用与本地应用相同的方式显示组合窗口。
在另一示例中，服务器IME从虚拟应用获得组合窗口的坐标或光标的坐标，并将坐标提供给客户端IME，使得客户端IME可在组合窗口或光标附近来显示候选列表。
在另一示例中，服务器IME从虚拟应用获得对是虚拟应用还是客户端IME应显示候选列表进行指示的信息。服务器IME将该信息发送给客户端IME，使得客户端IME可自身显示候选列表或将候选窗口元素发送给服务器以使得虚拟应用可显示候选窗口。
某些实施例涉及一种将人类语言字符输入到虚拟应用中的方法。所述方法包括：在运行于客户端机器上的客户端IME(输入法编辑器)和运行于服务器上的服务器IME之间建立通信信道，所述通信信道使客户端IME能够经由服务器IME与虚拟应用进行交互。虚拟应用运行于服务器上并提供屏幕输出，所述屏幕输出被渲染在客户端机器上。所述方法还包括：由服务器IME向虚拟应用中继通过通信信道从客户端IME接收的IME数据，以向虚拟应用提供IME数据，其中，IME数据由客户端IME响应于对客户端机器的用户输入而被产生。所述方法还包括：由服务器IME通过通信信道向客户端IME中继服务器IME从虚拟应用接收的应用信息，以向客户端IME提供应用信息。
其他实施例涉及一种计算机程序产品。所述计算机程序产品包括具有如下指令的非暂时性计算机可读介质集合，其中，所述指令在被控制电路执行时使控制电路执行将人类语言字符输入到虚拟应用中的方法，比如以上描述的方法。
其他实施例涉及一种服务器设备，所述服务器设备被构造和布置为执行将人类语言字符输入到虚拟应用中的方法，比如以上描述的方法。一些实施例涉及在单个位置执行的活动，而其他实施例涉及在计算机化环境中(例如，在网络上)分布的活动。
出于说明目的而呈现前述发明内容，以帮助读者容易地理解本文所呈现的示例特征，并且前述发明内容并非旨在进行限制。
附图说明
根据如附图所示的对本发明的特定实施例的以下描述，上述特征和优点和其它特征和优点将会是显而易见的，贯穿不同视图，相同的附图标记表示相同或相似的部件。在附图中，
图1是可实施这里的改进技术的实施例的示例环境的框图；
图2是示出由图1的客户端IME产生的示例组合元素的屏幕截图，其中，组合元素在虚拟应用中跟随当前光标位置；
图3是示出用于使客户端IME能够与虚拟应用交互的示例通信的框图；
图4是示出用于客户端IME和服务器IME的IME部件(IME compartment)的示例同步的屏幕截图；
图5是示出用于在图1的环境中初始化并操作客户端IME的活动的示例序列的流程图；
图6是将人类语言符号输入到虚拟应用中的示例方法的流程图。
具体实施方式
现在将描述本发明的实施例。应理解，通过示例的方式提供这些实施例以示出本发明的各种特征和原理，并且本发明宽于所公开的具体示例实施例。
用于将人类语言字符输入到虚拟应用中的改进技术包括：在运行于客户端机器上的客户端IME与运行于服务器上的服务器IME之间建立通信信道，以使客户端IME能够使用服务器IME作为代理来与运行于服务器上的虚拟应用进行交互。由此，服务器IME能够使客户端IME犹如与本地应用进行交互一样来与虚拟应用进行交互，并且对于虚拟应用和本地应用二者，提升了相似的用户体验。
图1示出可实施这里的改进技术的实施例的示例环境100。这里，客户端机器(“客户端”)110通过网络130连接到服务器设备(“服务器”)120。例如，网络130可以是任何类型的网络或网络组合，诸如局域网(LAN)、广域网(WAN)、互联网和/或一些其他类型的网络或网络组合。服务器120配备有虚拟化软件，所述虚拟化软件使服务器120能够内部地执行应用实例(“应用”)，而不是例如经由屏幕共享和/或其他手段使这些应用的用户界面渲染在客户端机器上，诸如渲染在客户端机器110上。服务器120上的虚拟化软件可支持应用虚拟化和/或全桌面虚拟化，并且本文所公开的改进技术意在应用在这两种情况下。
如所知的，“应用虚拟化”指代服务器运行应用实例但是将应用的用户界面输出给客户端的布置。例如，运行于服务器上的虚拟应用出现在客户端桌面上的应用窗口内，并且用户可例如使用用户的键盘、鼠标等在应用窗口内与客户端上的虚拟应用进行交互。
相反，“桌面虚拟化”指代服务器代表用户运行包括其自身的桌面和应用的整个用户会话的布置。服务器以全屏方式向显示虚拟桌面的用户机器输出虚拟桌面，或者将虚拟桌面输出到该用户机器自身桌面上的窗口内。用户可开始与虚拟桌面内的应用交互，并且可以通过与用户使用本地桌面的方式相同的方式来使用虚拟桌面。
图1更详细地示出客户端110和服务器120的示例实现。这些示例被简化并且意在说明而非限制。
如所示出的，服务器120包括一个或多个网络接口160、处理器集合162和存储器170。网络接口160包括例如用于将通过网络130接收的电信号和/或光信号转换为服务器120所使用的电形式的一个或多个网络接口适配器。处理器集合162包括一个或多个处理芯片、内核和/或组件以及相关联的协处理器和芯片集。存储器170包括易失性存储器(例如，RAM)和非易失性存储器，诸如一个或多个ROM、磁盘驱动器、固态驱动器等。处理器集合162和存储器170一起形成控制电路，所述控制电路被构造和布置为执行本文所描述的各种方法和功能。此外，存储器170包括以可执行指令形式实现的各种软件结构。当可执行指令由处理器集合162运行时，使处理器集合162执行软件结构的操作。虽然具体示出和描述了特定软件结构，但是应理解，存储器170通常包括未示出的许多其他软件结构，诸如操作系统、各种应用、进程和守护进程。虽然将服务器120示出为单个机器，但是服务器120可备选地被实现为多个机器(诸如例如在数据中心、服务器群或“云”中的任何地方的机器库)和/或实现为一个或多个虚拟机器。服务器120还可被实现为移动设备，诸如智能电话、平板电脑等，虽然预期该布置较不普遍。
在存储器170内，服务器120“包括”(即，通过执行软件指令来实现)服务器虚拟化组件172。服务器虚拟化组件172包括服务器代理174、服务器IME 176和虚拟应用178。服务器IME 176和虚拟应用178可备选地设置在服务器虚拟化组件172外部，例如作为存储器170中的独立组件或者作为其他组件的部分。服务器代理174被设置为可经由接口176a与服务器IME 176进行操作通信。此外，服务器IME 176被设置为可经由接口178a与虚拟应用178进行操作通信。接口176a和178a可例如使用API(应用编程接口)、系统消息或一些其他形式的接口来实现。
服务器120上的服务器代理174被配置为与客户端110上的客户端代理144进行通信。服务器代理174和客户端代理144建立服务器120和客户端110之间的通信信道180。信道180通过网络130物理地实现，并且提供在服务器120和客户端110之间交换用户输入相关信息的实时(或近乎实时)手段。信道180可在服务器120或客户端110中的任何一个进行动作时建立，并且可在“虚拟会话”(即，应用虚拟化会话或桌面虚拟化会话，无论哪个适用)的持续时间内维持。
虽然图1示出单个虚拟应用178，但是服务器120可包含任意数量的虚拟应用。此外，虽然没有示出虚拟桌面，但是应理解，所示出的虚拟应用178可以在虚拟桌面内运行。例如对于不同用户，可提供多个虚拟桌面，并且可在每个虚拟桌面内运行任意数量的虚拟应用。在一个示例中，对于每个虚拟会话，提供一个服务器代理174。然而，对于每个虚拟应用，可提供一个服务器IME 176，即，每个虚拟应用178具有其自己的服务器IME 176。因此，例如，单个虚拟会话中的多个虚拟应用178可均具有它们自己的服务器IME实例，但是共享相同的服务器代理174实例。
在所示出的示例中，客户端机器110包括网络接口130、处理器132和存储器140。处理器集合132和存储器140一起形成控制电路，所述控制电路被构造和布置为执行所描述的各种方法和功能。客户端机器110还包括显示器150(例如，监视器、屏幕、触摸屏、电视机等)。存储器140包括以可执行指令形式实现的各种软件结构。当这些可执行指令由处理器集合142运行时，使处理器集合142执行这些软件结构的操作。虽然客户端机器110被示出为计算机，但是应理解，客户端机器110可使用广泛范围的机器、设备和装置(诸如台式计算机、膝上型计算机、智能电话、平板电脑、个人阅读器、机顶盒、视频流设备、智能TV、游戏系统、智能电器等)以及其组合来实现。
客户端110包括客户端虚拟化组件142和客户端IME 146。客户端虚拟化组件142包括客户端代理144。客户端代理144被设置为可经由接口146a与客户端IME 146进行操作通信。接口146a可例如使用API、系统消息或一些其他形式的接口来实现。
客户端虚拟化组件142比如通过以下操作为应用虚拟化和/或桌面虚拟化提供客户端支持：与服务器120建立并保持通信会话，显示从服务器120接收的虚拟化应用和/或虚拟化桌面的屏幕内容，并将例如来自键盘、鼠标等(或等效的软件实现特征)的用户输入导向服务器120。
运行于客户端110上的客户端IME 146有助于人类语言符号(诸如不符合直接键盘输入的非语音字符)的用户输入。用户可基于用户自己的偏好来安装客户端IME 146。为了简洁仅示出单个客户端IME 146，但是应理解，客户端机器110可运行例如用于不同目标语言和/或来自不同供应商的任意数量的客户端IME，并且用户可在虚拟会话期间在不同客户端IME之间进行切换。
在示例操作中，客户端机器110的用户112例如通过启动程序或通过使用浏览器导航到特定网址来开始虚拟会话。响应于用户112的该动作，服务器120例如通过打开容器中的虚拟应用178和/或通过创建新的桌面会话来实例化(instantiate)虚拟会话。客户端虚拟化组件142与服务器虚拟化组件172相配合以建立客户端代理144和服务器代理174之间的信道180。服务器120向客户端110输出虚拟应用178的用户界面或整个虚拟桌面的用户界面，客户端110在显示器150上显示虚拟应用178或虚拟桌面的图形输出。
利用建立的信道180和运行的虚拟应用178，用户112可进行到启动客户端IME146。例如，用户112可能希望使用文字处理器或电子邮件程序以使用普通QWERTY型键盘来将复杂的中文字符输入到文档中。
当用户操作客户端IME 146时，客户端IME 146产生IME数据182。IME数据182通过接口146a流向客户端代理144，并通过信道180向服务器代理174转发。在服务器120内，IME数据182流向服务器IME 176，且服务器IME 176将IME数据182提供给虚拟应用178。同样地，当虚拟应用178进行操作时，其产生涉及IME操作的应用数据184。服务器IME 176接收应用数据184，并通过信道180将应用数据184返回给客户端IME 146。服务器IME 176由此作为针对客户端IME 146的代理服务器或中继器进行操作，将IME数据182转发给虚拟应用178并将应用数据184返回客户端IME 146。例如，当客户端IME 146响应于用户输入进行操作以产生UI元素(诸如组合元素和候选列表)时，服务器IME 176代表客户端IME 146与虚拟应用178进行交互，以将IME数据182提供给虚拟应用178并将应用数据184返回客户端IME 146。由此，代理144和174、服务器IME 176和信道180使客户端IME 146能够像与本地应用进行交互一样来与虚拟应用178进行远程交互。
图2是示出用于根据图1的布置将字符输入到虚拟应用178的客户端IME 146的示例操作的屏幕截图200。这里，客户端IME 146是谷歌拼音IME，但是可使用任何IME。在客户端机器110的本地桌面250上的窗口212内示出虚拟桌面210。虚拟桌面210包括虚拟系统栏214，本地桌面250包括本地系统栏254。
虚拟桌面210正在运行作为虚拟应用178的微软记事本的实例。可以看出，记事本在虚拟桌面210上的应用窗口220内运行。虽然好像只有记事本在运行，但是应理解，任意数量的虚拟应用可运行在虚拟桌面210上。
图2中可以看出多个IME元素。例如，组合窗口154包括利用显示属性154b(例如，所示出的下划线，但是还可包括粗体、颜色和其他设置)渲染的组合字符154a。此外，候选窗口156包括候选列表156a。用户提供键盘输入(示出在组合窗口154下面)，客户端IME 146通过产生组合字符154a和候选列表156a进行响应。候选列表156a提供目标语言形式的对键盘输入的最佳匹配的预测(图中进行了编号)。用户可随后操作客户端IME 146以选择期望的候选，即，用户打算输入的那一个候选。一旦用户例如通过输入数字进行了选择，则选择的字符变成确定的字符并被输入到应用文档中。示出了已经由用户使用客户端IME 146输入的几个确定的字符152。在所示出的示例中，组合字符154匹配候选列表156a中的当前选择。
图2还示出光标158。光标158紧跟组合窗口154出现，并且在输入了新字符时或在选择不同宽度的字符时向前移动。
图1的布置(即，代理144、代理174、信道180、客户端IME 146和服务器IME 176的布置)使客户端IME 146在将字符输入到虚拟应用178中时能够非常像地与其对本地应用这样做时一样表现。例如，图1的布置允许虚拟应用178在应用窗口220内渲染组合窗口154，即，通过将IME数据182发送到与虚拟应用178通信的服务器IME 176来允许虚拟应用178在应用窗口220内渲染组合窗口154。虚拟应用178基于来自客户端IME 146的输入来显示组合窗口154，正像本地应用一样。此外，该布置允许客户端IME 146在组合窗口154附近放置候选窗口156，或者如果组合窗口是空的，则在光标158附近放置候选窗口156。例如，客户端IME146可请求组合窗口154或光标158的屏幕坐标，并从虚拟应用178接收它们作为应用数据184。客户端IME 146可随后在放置候选窗口156时应用接收到的坐标。此外，客户端IME 146可从虚拟应用178获得应用数据184，应用数据184指示虚拟应用178是否可自身显示候选列表，即，虚拟应用178是部分IME感知的还是完全IME感知的。基于接收的应用数据184，客户端IME 146可自身显示候选窗口156(对于部分IME感知应用，如记事本)或者将候选列表156a和相关联的设置(通过信道180)发送给虚拟应用178以使虚拟应用178能够自身显示候选列表(对于完全IME感知应用，如Command)。
图3示出客户端IME 146和虚拟应用178之间通过信道180的示例通信，其使客户端IME 146能够与虚拟应用178进行操作，犹如其与本地应用进行操作一样。
这里，由客户端IME 146响应于用户动作(例如，响应于用户将第一键盘符号输入到客户端IME 146中)而产生组合开始消息310作为IME数据182。组合开始消息310从客户端IME 146传播到客户端代理144，通过信道180传播到服务器代理174，并传播到服务器IME176。服务器IME 176将组合开始消息(或其处理版本)提供给虚拟应用178。作为响应，虚拟应用178准备开始组合过程。
组合元素312包括组合字符154a和显示属性154b。客户端IME 146响应于用户输入而产生这些组合元素312，并通过信道180将它们发送给服务器IME 176，服务器IME 176将它们提供给虚拟应用178。然后，虚拟应用178使用接收的组合元素显示组合窗口154。
开始请求320是启动候选窗口的请求，候选窗口用于基于组合窗口中的组合字符集来识别字符预测。开始请求320由服务器IME 176接收，服务器IME 176将该请求转发给虚拟应用178。
应用178利用开始响应322对开始请求320进行应答，其中，应用178通过信道180将开始响应322返回给客户端IME 146。开始响应322指示虚拟应用178是否将要显示候选窗口156或者客户端IME 146是否将要显示候选窗口156。例如，如果虚拟应用178负责显示候选窗口156，则开始响应322可以是“假”，如果客户端IME 146负责显示候选窗口156，则开始响应322可以是“真”。
如果开始响应322是“假”，则客户端IME 146将候选列表元素330(例如，候选列表字符、页面索引、当前页面等)发送给服务器IME 176，服务器IME 176将候选列表元素330提供给虚拟应用178。然后，虚拟应用178使用候选列表元素330在虚拟应用178的屏幕输出中显示候选窗口156。注意到，通常这是完全IME感知应用的情况。
然而，如果开始响应322是“真”，则客户端IME 146在显示器150上进行候选窗口156的本地显示。注意到，通常这是部分IME感知应用的情况。
在客户端IME 146显示候选窗口156的情况下，图1的布置使客户端IME 146能够将候选窗口156放置在合适位置，即，与针对本地应用放置候选窗口156的位置相同的位置。例如，客户端IME 146通过信道180将坐标请求340发送给虚拟应用178。虚拟应用178接收坐标请求340并提供坐标响应342。将坐标响应342通过信道180返回给客户端IME 146。在一个示例中，坐标响应342提供对由虚拟应用178显示的组合窗口154的范围区域进行指示的坐标集。例如，可将坐标表示为包含组合窗口154的矩形的顶点。然后，客户端IME 146可通过与对于本地应用相同的方式，相对于组合窗口154来放置候选窗口156，例如，直接放置在组合窗口154下面(如图2中所示)。在另一示例中，坐标响应342提供光标158的坐标。在这种情况下，客户端IME 146相对于光标158的位置来放置候选窗口156。在一些示例中，当组合窗口154包括组合字符154a时，坐标响应342提供组合窗口154的范围区域，但是当组合窗口154是空的时，坐标响应342提供光标158的坐标。
组合结束消息350触发组合的结束。例如，客户端IME 146在用户从候选列表156a选择候选之后发送组合结束消息350。响应于组合结束消息350，虚拟应用178将确定的字符152放置到应用窗口220中，并清除组合窗口154。然后，完成组合过程。
应认识到，当用户提供新的键盘输入时，可将以上描述的通信重复任意次数。例如，客户端IME 146可响应于用户继续键入新的键盘输入而重复地发送新的组合元素312。此外，当组合窗口154大小改变时和/或当用户移动应用窗口220和/或桌面窗口212或者调整应用窗口220和/或桌面窗口212的大小时，可重复坐标请求340和响应342。例如，客户端IME 146可持续地更新候选窗口156的位置，以使候选窗口156总是跟随组合窗口154或光标158。
图4示出与图2的屏幕截图200相似但是提供系统栏214和254的更近视图的示例屏幕截图400。图4还示出客户端IME 146的状态窗口402。在本地桌面250中，系统栏254包括键盘语言设置440，其中，键盘语言设置440识别客户端机器110在解译键盘数据时应用的人类语言。在虚拟桌面210中，系统栏214包括键盘语言设置430。系统栏214中的键盘语言430识别用于服务器120的键盘语言选择，即，服务器120在解译键盘输入时应用的人类语言。
根据这里的进一步改进，键盘语言设置440的改变触发从客户端110到服务器120的键盘语言设置自动同步。同步可涉及：激活用于新键盘语言输入的特定服务器IME 176。因此，例如，将本地桌面450中的键盘设置440从日语(JP)改变为简体中文(zh-CN)触发虚拟桌面210中的键盘设置430和服务器IME 176从日语到简体中文的自动切换。这种同步确保了由客户端110和服务器120二者以相同方式解译在客户端110和服务器120之间交换的IME数据。
虚拟桌面210中的系统栏214还包括用于改变服务器部件设置410的选项。服务器部件设置410属于服务器IME 176的设置，并可包括目标语言设置410a和宽度设置410b，其中，目标语言设置410a用于指定将由服务器IME 176输入的符号的人类语言，宽度设置410b用于针对某种语言的符号指定该符号是将使用半宽间距来输入还是将使用全宽间距来输入。可提供另外的或其他的服务器部件设置。
状态窗口402包括用于改变客户端部件设置420的选项。客户端部件设置420属于客户端IME 146的设置，并还可包括目标语言设置(420a)和符号间距设置(420b)。可提供另外的或其他的客户端部件没置。因此，可以看出，客户端部件设置420在客户端侧控制的设置与服务器部件设置410在服务器侧控制的设置相同。
根据进一步改进，客户端IME 146的客户端部件设置420的任何改变触发与服务器IME 176的相对应的服务器部件设置的自动同步，反之亦然。因此，例如，改变状态窗口402中的客户端目标语言设置420a触发服务器目标语言设置410a的自动改变。同样地，改变系统栏214中的服务器间距设置410b触发状态窗口402中的客户端间距设置420b的自动改变。该同步确保了客户端IME 146和服务器IME 176在相同目标语言中以相同设置进行操作，使得客户端IME 146和服务器IME 176之间通过信道180发送的数据可被正确解译。
图5示出客户端110和服务器120之间用于支持虚拟应用的协同IME活动中所涉及的操作500的示例阶段。这些阶段包括打开阶段510、绑定阶段520、激活阶段530和组合阶段540。通常按所示出的顺序执行这些阶段，但是当选择了不同的客户端IME 146时可重复激活阶段530。
在打开阶段510期间，创建虚拟会话。客户端110实例化客户端代理144，服务器120实例化服务器代理174。客户端代理144和服务器代理174建立信道180以在客户端110和服务器120之间传送IME相关信息。
在绑定阶段520期间，服务器120通过信道180联系客户端110，并且向客户端告知它自己的能力，诸如服务器所支持的语言。作为响应，客户端110提供其能力，诸如客户端所支持的语言。在一个示例中，服务器120随后准备客户端和服务器二者都支持的每种语言的语言简档。然后，服务器将绑定提交消息发送给客户端以确认将要支持的语言。
当用户选择客户端IME 146和目标语言时，激活阶段530开始。客户端代理144通过信道180将所选择的目标语言传送给服务器代理174。作为响应，服务器代理174激活服务器IME 176(假设尚未被激活)，并将服务器IME 176配置为使用所选择的目标语言的简档进行操作。如果当前虚拟会话正在执行桌面虚拟化并且多个虚拟应用178正在运行，则服务器代理174将新激活的服务器IME 176应用于所有运行中的应用并且作为用于虚拟会话的系统默认IME。在该阶段期间，客户端代理144还将当前客户端键盘语言(即，由设置440所指示的语言；参见图4)发送给服务器代理174，服务器代理174将服务器键盘语言(即，由设置430所指示的语言)设置为与客户端键盘语言相同。
组合阶段540跟随激活阶段，并且涉及：当客户端机器110的用户使用客户端IME146来输入语言符号时，保持客户端代理144和服务器代理174之间的通过信道180进行的通信。在虚拟会话的剩余持续时间内，或者直到用户改变客户端IME 146、目标语言和/或键盘语言(在该点处，操作可返回到激活阶段530，并且一旦激活完成，则再次进行到组合阶段540)为止，虚拟会话可保持在组合阶段540中。
图6示出将人类语言符号输入到虚拟应用中的示例处理600。例如，可例如由结合图1描述的软件结构与环境100相关地执行处理600，其中，所述软件结构驻留于客户端机器110的存储器140中并由处理器集合132运行，和/或驻留于服务器120的存储器170中并由处理器集合162运行。可按任何适当方式对处理600的各个动作进行排序。因此，实施例可被构造为：即使在所示出的实施例中动作被示出为按顺序进行，也在实施例中按与所示出的顺序不同的顺序执行动作，可包括同时执行一些动作。
在610，方法600包括：建立运行于客户端机器110上的客户端IME(输入法编辑器)146和运行于服务器120上的服务器IME 176之间的通信信道180。通信信道180使客户端IME146能够经由服务器IME 176与虚拟应用178进行交互。虚拟应用178运行于服务器120上，并提供在客户端机器110上渲染的屏幕输出220。
在620，方法600包括：由服务器IME 176将通过通信信道180从客户端IME 146接收的IME数据182中继给虚拟应用178，以向虚拟应用178提供IME数据182。由客户端IME 146响应于到客户端机器110的用户输入而产生IME数据182。
在630，方法600还包括：由服务器IME 176通过通信信道180将服务器IME 176从虚拟应用178接收到的应用信息184中继给客户端IME 146，以向客户端IME 146提供应用信息184。
已经描述了用于将人类语言字符输入到虚拟应用中的改进技术。所述技术包括：建立运行于客户端机器110上的客户端IME 146和运行于服务器120上的服务器IME 176之间的通信信道，以使客户端IME 146能够将服务器IME 176用作代理来与运行于服务器120上的虚拟应用178进行交互。服务器IME 176将信息182从客户端IME 146中继给虚拟应用178。服务器IME 176还将信息184从虚拟应用178中继给客户端IME 146。由此，服务器IME176能够使客户端IME 146犹如与本地应用进行交互一样来与虚拟应用178进行交互，并且对于虚拟应用和本地应用二者，提升了相似的用户体验。用户可继续采用他们的优选客户端IME，当与虚拟应用一起使用时这些IME的表现与当与本地应用一起使用时的表现相似。
已描述了特定实施例，可进行多个备选实施例或变化。例如，虽然已经结合非语音语言符号(诸如中文字符)的输入来描述了IME，但是这里的改进技术不限于执行这些功能的IME。例如，这里的改进技术还可与输入语音字符的IME一起使用，比如用来支持自动补全、手写识别或语音识别。
此外，虽然参照具体实施例示出并描述了多个特征，但是这些特征可被包括并且据此被包括在所公开的实施例和它们的变型中的任何一个中。因此，应理解，包括结合任何实施例所公开的特征，作为任何其他实施例的变型。
另外，该改进或其部分可被实施为包括一个或多个非暂时性计算机可读存储介质的计算机程序产品，诸如磁盘、磁带、致密盘、DVD、光盘、闪存驱动器、SD(安全数字)芯片或设备、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等(以示例的方式示出为图6中的介质650)。可使用任意数量的计算机可读介质。介质可被编码有指令，其中，当在一个或多个计算机或其他处理器上执行时，所述指令执行这里描述的所述处理。这种介质可被视为制品或机器，并且可从一个机器传输到另一个机器。
如贯穿本文档所使用的，词语“包括”、“包含”和“具有”意在以开放式方式阐述事物的特定项、步骤、元件或方面。此外，如这里所使用的，除非进行了相反的特定陈述，否则词语“集合/集”表示事物中的一个或多个。这是不管短语“…集合”跟随单数对象还是复数对象并且不管其结合单数动词还是复数动词的情况。另外，虽然诸如“第一”、“第二”、“第三”等的序数表达可在此被用作形容词，但是这种序数表达用于标识目的，并且除非特定指出，否则不意在暗示任何顺序或次序。因此，例如，第二事件可在第一事件之前或之后发生，或者即使第一事件从未发生，第二事件也可发生。另外，在这里特定元件、特征或动作的标识是“第一”的情况下，这种元件、特征或动作不应被解释为要求还必须存在“第二”或其他这种元件、特征或动作。相反，“第一”项可以是唯一的。虽然这里公开了特定实施例，但是应理解，仅通过示例的方式提供这些实施例，并且本发明不限于这些具体实施例。
因此，本领域技术人员将理解，可在不脱离本发明的范围的情况下，对这里公开的实施例进行形式和细节上的各种改变。

Claims (20)

1.一种将人类语言字符输入到虚拟应用中的方法，所述方法包括：
在运行于客户端机器上的客户端IME“输入法编辑器”和运行于服务器上的服务器IME之间建立通信信道，所述通信信道使所述客户端IME能够经由所述服务器IME与虚拟应用进行交互，所述虚拟应用运行于所述服务器上并提供屏幕输出，所述屏幕输出被渲染在所述客户端机器上；
由所述服务器IME向所述虚拟应用中继通过所述通信信道从所述客户端IME接收的IME数据，以向所述虚拟应用提供IME数据，所述IME数据由所述客户端IME响应于对所述客户端机器的用户输入而产生；以及
由所述服务器IME通过通信信道向所述客户端IME中继所述服务器IME从虚拟应用接收的应用信息，以向客户端IME提供应用信息。
2.根据权利要求1所述的方法，其中，通过所述通信信道接收的IME数据包括：(i)由所述客户端IME响应于用户输入动作而产生的组合开始消息，以及(ii)组合元素，所述组合元素包括组合字符集和显示属性，其中，所述方法还包括：
响应于接收所述组合开始消息和所述组合元素，由所述虚拟应用在所述虚拟应用的屏幕输出中显示组合窗口，所述组合窗口使用所述显示属性来渲染所述组合字符集。
3.根据权利要求2所述的方法，还包括：
由所述服务器IME通过所述通信信道从所述客户端IME接收开始请求，所述开始请求用于启动候选窗口，所述候选窗口用于基于所述组合窗口中的组合字符集来标识字符预测；
由所述服务器IME向所述虚拟应用转发所述开始请求；
由所述服务器IME从所述虚拟应用接收开始响应，所述开始响应指示是所述虚拟应用还是所述客户端IME将显示所述候选窗口；以及
通过所述通信信道向所述客户端IME返回所述开始响应。
4.根据权利要求3所述的方法，还包括：响应于返回所述开始响应且在所述开始响应指示所述虚拟应用将显示所述候选窗口的情况下：
由所述服务器IME通过所述通信信道从所述客户端IME接收候选列表元素；
由所述服务器IME向所述虚拟应用转发所述候选列表元素；以及
由所述虚拟应用使用所述候选列表元素在所述虚拟应用的屏幕输出中渲染所述候选窗口。
5.根据权利要求3所述的方法，还包括：响应于返回所述开始响应且在所述开始响应指示所述客户端IME将显示所述候选窗口的情况下：
由所述服务器IME通过所述通信信道从所述客户端IME接收坐标请求；
由所述服务器IME向所述虚拟应用转发所述坐标请求；
由所述服务器IME从所述虚拟应用接收坐标响应，所述坐标响应提供以下之一：(i)所述虚拟应用的光标的光标位置，或者(ii)对由所述虚拟应用显示的组合窗口的范围区域进行指示的坐标集；以及
通过所述通信信道向所述客户端IME返回所述坐标响应，以使所述客户端IME能够基于所述坐标响应在相对于屏幕输出的位置处显示所述候选窗口，使得在以下之一附近显示所述候选窗口：(i)所述光标位置或(ii)所述组合窗口。
6.根据权利要求5所述的方法，还包括：响应于组合元素的改变，由所述服务器IME通过所述通信信道向所述客户端IME发送已更新坐标响应，所述已更新的坐标响应指示以下之一：(i)已更新光标位置，或(ii)指示所述组合窗口的范围区域的已更新坐标集。
7.根据权利要求6所述的方法，还包括：当用户已在所述客户端机器上移动所述显示窗口时，由所述服务器IME通过所述通信信道向所述客户端IME发送另一已更新坐标响应，以使所述客户端IME能够继续在以下之一附近来显示所述候选窗口：(i)所述光标位置或(ii)所述组合窗口。
8.根据权利要求1所述的方法，
其中，所述客户端IME和所述服务器IME均具有标识IME设置的相应部件，
其中，所述方法还包括：将所述客户端IME的部件设置与所述服务器IME的部件设置进行同步，使得对其中任何一个IME的部件设置作出的任何改变被实现在这两个IME的部件设置中。
9.根据权利要求1所述的方法，还包括：在建立所述通信信道之后，执行绑定操作，所述绑定操作包括：(i)由所述服务器向所述客户端机器发送绑定请求，所述绑定请求指定所述服务器支持的人类语言列表，(ii)由所述服务器从所述客户端机器接收绑定响应，所述绑定响应标识所述服务器支持且所述客户端机器也支持的人类语言列表，以及(iii)将所述服务器配置为支持从所述客户端机器接收到的所述人类语言列表上的每种人类语言。
10.一种计算机程序产品，包括具有指令的非暂时性计算机可读介质集合，其中，所述指令在被控制电路执行时使所述控制电路执行将人类语言字符输入到虚拟应用中的方法，所述方法包括：
在运行于客户端机器上的客户端IME“输入法编辑器”和运行于服务器上的服务器IME之间建立通信信道，所述通信信道使所述客户端IME能够经由所述服务器IME与虚拟应用进行交互，所述虚拟应用运行于所述服务器上并提供屏幕输出，所述屏幕输出被渲染在所述客户端机器上；
由所述服务器IME向所述虚拟应用中继通过所述通信信道从所述客户端IME接收的IME数据，以向所述虚拟应用提供IME数据，所述IME数据由所述客户端IME响应于对所述客户端机器的用户输入而产生；以及
由所述服务器IME通过通信信道向所述客户端IME中继所述服务器IME从虚拟应用接收的应用信息，以向客户端IME提供应用信息。
11.根据权利要求10所述的计算机程序产品，其中，通过所述通信信道接收的IME数据包括：(i)由所述客户端IME响应于用户输入动作而产生的组合开始消息，以及(ii)组合元素，所述组合元素包括组合字符集和显示属性，其中，所述方法还包括：
响应于接收所述组合开始消息和所述组合元素，由所述虚拟应用在所述虚拟应用的屏幕输出中显示组合窗口，所述组合窗口使用所述显示属性来渲染所述组合字符集。
12.根据权利要求11所述的计算机程序产品，其中，所述方法还包括：
由所述服务器IME通过所述通信信道从所述客户端IME接收开始请求，所述开始请求用于启动候选窗口，所述候选窗口用于基于所述组合窗口中的组合字符集来标识字符预测；
由所述服务器IME向所述虚拟应用转发所述开始请求；
由所述服务器IME从所述虚拟应用接收开始响应，所述开始响应指示是所述虚拟应用还是所述客户端IME将显示所述候选窗口；以及
通过所述通信信道向所述客户端IME返回所述开始响应。
13.根据权利要求12所述的计算机程序产品，其中，所述方法还包括：响应于返回了所述开始响应且在所述开始响应指示所述客户端IME将显示所述候选窗口的情况下：
由所述服务器IME通过所述通信信道从所述客户端IME接收坐标请求；
由所述服务器IME向所述虚拟应用转发所述坐标请求；
由所述服务器IME从所述虚拟应用接收坐标响应，所述坐标响应提供以下之一：(i)所述虚拟应用的光标的光标位置，或者(ii)对由所述虚拟应用显示的组合窗口的范围区域进行指示的坐标集；以及
通过所述通信信道向所述客户端IME返回所述坐标响应，以使所述客户端IME能够基于所述坐标响应在相对于屏幕输出的位置处显示所述候选窗口，使得在以下之一附近显示所述候选窗口：(i)所述光标位置或(ii)所述组合窗口。
14.根据权利要求13所述的计算机程序产品，其中，所述方法还包括：响应于组合元素的改变，由所述服务器IME通过所述通信信道向所述客户端IME发送已更新坐标响应，所述已更新坐标响应指示以下之一：(i)已更新光标位置，或者(ii)指示所述组合窗口的范围区域的已更新坐标集。
15.根据权利要求14所述的计算机程序产品，其中，所述方法还包括：当用户已在所述客户端机器上移动所述显示窗口时，由所述服务器IME通过所述通信信道向所述客户端IME发送另一已更新坐标响应，以使所述客户端IME能够继续在以下之一附近来显示所述候选窗口：(i)所述光标位置，或(ii)所述组合窗口。
16.一种包括控制电路的服务器设备，所述控制电路包括连接到存储器以执行存储在所述存储器中的指令的处理器集合，所述控制电路被构造和布置为：
在运行于客户端机器上的客户端IME“输入法编辑器”和运行于服务器上的服务器IME之间建立通信信道，所述通信信道使所述客户端IME能够经由所述服务器IME与虚拟应用进行交互，所述虚拟应用运行于所述服务器上并提供屏幕输出，所述屏幕输出被渲染在所述客户端机器上；
由所述服务器IME向所述虚拟应用中继通过所述通信信道从所述客户端IME接收的IME数据，以向所述虚拟应用提供IME数据，所述IME数据由所述客户端IME响应于对所述客户端机器的用户输入而产生；以及
由所述服务器IME通过所述通信信道向所述客户端IME中继所述服务器IME从所述虚拟应用接收的应用信息，以向所述客户端IME提供所述应用信息。
17.根据权利要求16所述的服务器设备，其中，通过所述通信信道接收的IME数据包括：(i)由所述客户端IME响应于用户输入动作而产生的组合开始消息，以及(ii)组合元素，所述组合元素包括组合字符集和显示属性，其中，所述控制电路还被构造和布置为：
响应于接收所述组合开始消息和所述组合元素，由所述虚拟应用在所述虚拟应用的屏幕输出中显示所述组合窗口，以使用所述显示属性来渲染所述组合字符集。
18.根据权利要求17所述的服务器设备，其中，所述控制电路还被构造和布置为：
由所述服务器IME通过所述通信信道从所述客户端IME接收开始请求，所述开始请求用于启动候选窗口，所述候选窗口用于基于所述组合窗口中的组合字符集来标识字符预测；
由所述服务器IME向所述虚拟应用转发所述开始请求；
由所述服务器IME从所述虚拟应用接收开始响应，所述开始响应指示是所述虚拟应用还是所述客户端IME将显示候选窗口；以及
通过所述通信信道向所述客户端IME返回所述开始响应。
19.根据权利要求18所述的服务器设备，其中，响应于返回所述开始响应且在所述开始响应指示所述虚拟应用将显示所述候选窗口的情况下，所述控制电路还被构造和布置为：
由所述服务器IME通过所述通信信道从所述客户端IME接收候选列表元素；
由所述服务器IME向所述虚拟应用转发所述候选列表元素；以及
由所述虚拟应用使用所述候选列表元素在所述虚拟应用的屏幕输出中渲染所述候选窗口。
20.根据权利要求19所述的服务器设备，
其中，所述客户端IME和所述服务器IME均具有标识IME设置的相应部件，
其中，所述控制电路还被构造和布置为：将所述服务器IME的部件设置与所述客户端IME的部件设置进行同步，使得对其中任何一个IME的部件设置作出的任何改变被实现在这两个IME的部件设置中。
CN201610140425.1A 2016-03-11 2016-03-11 虚拟应用客户端和服务器之间的协同输入法编辑器(ime)活动 Expired - Fee Related CN107179952B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610140425.1A CN107179952B (zh) 2016-03-11 2016-03-11 虚拟应用客户端和服务器之间的协同输入法编辑器(ime)活动
JP2017041435A JP6607876B2 (ja) 2016-03-11 2017-03-06 仮想アプリケーション・クライアントとサーバとの間におけるインプット・メソッド・エディタ（ｉｍｅ）アクティビティーの調整方法
KR1020170029837A KR102010127B1 (ko) 2016-03-11 2017-03-09 가상 애플리케이션 클라이언트와 서버 간의 ime 활동을 조정하는 기법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610140425.1A CN107179952B (zh) 2016-03-11 2016-03-11 虚拟应用客户端和服务器之间的协同输入法编辑器(ime)活动

Publications (2)

Publication Number Publication Date
CN107179952A true CN107179952A (zh) 2017-09-19
CN107179952B CN107179952B (zh) 2021-03-23

Family

ID=59830234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610140425.1A Expired - Fee Related CN107179952B (zh) 2016-03-11 2016-03-11 虚拟应用客户端和服务器之间的协同输入法编辑器(ime)活动

Country Status (3)

Country Link
JP (1) JP6607876B2 (zh)
KR (1) KR102010127B1 (zh)
CN (1) CN107179952B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117256A (zh) * 2018-07-12 2019-01-01 维沃移动通信有限公司 一种后台应用程序的管理方法及终端
CN111930367A (zh) * 2019-05-13 2020-11-13 阿里巴巴集团控股有限公司 数据的处理方法、装置及设备
CN112565425A (zh) * 2020-12-03 2021-03-26 南京机敏软件科技有限公司 在多个跨云服务器主机会话的云应用程序间进行拷贝粘贴的方法
WO2021244459A1 (zh) * 2020-05-31 2021-12-09 华为技术有限公司 一种输入方法及电子设备
CN115052195A (zh) * 2022-06-24 2022-09-13 深圳创维－Rgb电子有限公司 远程输入方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102834819A (zh) * 2009-11-27 2012-12-19 谷歌公司 客户端-服务器输入法编辑器体系结构
JP2015148852A (ja) * 2014-02-04 2015-08-20 コニカミノルタ株式会社 画像形成システム、画像形成装置およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555529B2 (en) * 1995-11-13 2009-06-30 Citrix Systems, Inc. Interacting with software applications displayed in a web page
JP6213297B2 (ja) * 2014-02-21 2017-10-18 コニカミノルタ株式会社 画像形成システム、画像形成装置、遠隔操作装置およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102834819A (zh) * 2009-11-27 2012-12-19 谷歌公司 客户端-服务器输入法编辑器体系结构
JP2015148852A (ja) * 2014-02-04 2015-08-20 コニカミノルタ株式会社 画像形成システム、画像形成装置およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117256A (zh) * 2018-07-12 2019-01-01 维沃移动通信有限公司 一种后台应用程序的管理方法及终端
CN111930367A (zh) * 2019-05-13 2020-11-13 阿里巴巴集团控股有限公司 数据的处理方法、装置及设备
CN111930367B (zh) * 2019-05-13 2024-04-16 阿里巴巴集团控股有限公司 数据的处理方法、装置及设备
WO2021244459A1 (zh) * 2020-05-31 2021-12-09 华为技术有限公司 一种输入方法及电子设备
CN112565425A (zh) * 2020-12-03 2021-03-26 南京机敏软件科技有限公司 在多个跨云服务器主机会话的云应用程序间进行拷贝粘贴的方法
CN112565425B (zh) * 2020-12-03 2021-08-06 南京机敏软件科技有限公司 在多个跨云服务器主机会话的云应用程序间进行拷贝粘贴的方法
CN115052195A (zh) * 2022-06-24 2022-09-13 深圳创维－Rgb电子有限公司 远程输入方法、装置、设备及存储介质
CN115052195B (zh) * 2022-06-24 2024-05-14 深圳创维－Rgb电子有限公司 远程输入方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR20170106222A (ko) 2017-09-20
KR102010127B1 (ko) 2019-10-21
JP6607876B2 (ja) 2019-11-20
CN107179952B (zh) 2021-03-23
JP2017201505A (ja) 2017-11-09

Similar Documents

Publication Publication Date Title
TWI776066B (zh) 圖片生成方法、裝置、終端、伺服器及儲存媒體
CN107179952A (zh) 虚拟应用客户端和服务器之间的协同输入法编辑器(ime)活动
US20190332400A1 (en) System and method for cross-platform sharing of virtual assistants
EP3120259B1 (en) In-call translation
JP2020525946A (ja) 仮想会議の参加者の反応を示す方法及びシステム
US9832237B2 (en) Collaborative online document editing
CN103530096B (zh) 远程控制方法、远程控制设备和显示设备
WO2013016161A1 (en) Communicating between a virtual area and a physical space
JP2014039233A (ja) テレビ装置およびそのバーチャルガイドの表示方法
JP2018504657A (ja) タブベースのブラウザコンテンツ共有
CN103927091A (zh) 一种人机交互的方法、装置及系统
CN111639503A (zh) 会议数据处理方法、装置、存储介质及设备
CN106878825B (zh) 基于直播的声效展示方法和装置
JP2018538619A (ja) 仮想セッションにおけるサーバ・サイド・キーボード・レイアウトとクライアント・サイド・キーボード・レイアウトとの同期
CN113436622A (zh) 一种智能语音助手的处理方法及装置
US20170185422A1 (en) Method and system for generating and controlling composite user interface control
CN110413182B (zh) 信息展示方法、装置、介质和计算设备
KR20210146636A (ko) 회의보조용 번역 도구를 위한 방법 및 시스템
WO2022169668A1 (en) Integrating artificial reality and other computing devices
Boster et al. When you can't touch a touch screen
CN110058857B (zh) 寄宿应用生成方法和装置
KR102206486B1 (ko) 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치
JP2021056989A (ja) 音声スキル推薦方法、装置、機器及び記憶媒体
WO2017049765A1 (zh) 搜索结果的展现方法、装置、系统、设备及计算机存储介质
JP2023099309A (ja) アバターを通じて映像の音声を手話に通訳する方法、コンピュータ装置、およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210323

CF01 Termination of patent right due to non-payment of annual fee