CN109992125B - 信息输入方法、装置和系统 - Google Patents

信息输入方法、装置和系统 Download PDF

Info

Publication number
CN109992125B
CN109992125B CN201910250562.4A CN201910250562A CN109992125B CN 109992125 B CN109992125 B CN 109992125B CN 201910250562 A CN201910250562 A CN 201910250562A CN 109992125 B CN109992125 B CN 109992125B
Authority
CN
China
Prior art keywords
tested
key value
target key
target
screen shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910250562.4A
Other languages
English (en)
Other versions
CN109992125A (zh
Inventor
郝振兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910250562.4A priority Critical patent/CN109992125B/zh
Publication of CN109992125A publication Critical patent/CN109992125A/zh
Priority to US16/675,534 priority patent/US11099657B2/en
Application granted granted Critical
Publication of CN109992125B publication Critical patent/CN109992125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本发明涉及一种信息输入方法、装置和系统。所述信息输入方法，应用于服务端，包括：接收输入设备在显示待测试终端设备的屏幕快照时检测到的键盘输入指令；键盘输入指令包括待测试终端设备的设备标识以及编码值；根据编码值以及键码映射表确定对应的目标键值；获取待测试终端设备的屏幕快照，并识别屏幕快照中是否存在目标键值；当屏幕快照中存在目标键值时，获取目标键值在屏幕快照中的坐标；根据目标键值在屏幕快照中的坐标与待测试终端设备的设备标识，向待测试终端设备发送点击指令，以供待测试终端设备根据点击指令确定输入信息。本发明的实施例，可以提高输入信息的效率和便捷性。

Description

信息输入方法、装置和系统
技术领域
本发明涉及显示技术领域，尤其涉及一种信息输入方法、装置和系统。
背景技术
随着移动设备的普及，移动APP层出不穷，不仅在APP开发领域带来发展，也在真机测试领域提出了更高的要求，测试往往需要准备大量机型，而移动设备更新换代快，型号众多，会导致耗费大量成本，并且保管不方便。所以，相关技术中提出云服务器测试平台的技术方案以解决此类问题。
但是，通过使用发现，用户在远程连接的输入设备的键盘输入信息的时候，只能输入对应的英文字符或者数字，并且无法实现外置键盘进行汉字等文字输入。
发明内容
本发明提供一种信息输入方法、装置和系统，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种信息输入方法，应用于服务端，所述方法，包括：
接收输入设备在显示待测试终端设备的屏幕快照时检测到的键盘输入指令；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值；
根据所述编码值以及键码映射表确定对应的目标键值；
获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值；
当所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标；
根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息。
在一个实施例中，所述方法，还包括：
接收所述输入设备发送的第一截取快照指令；其中，所述第一截取快照指令包括所述待测试终端设备的设备标识；
根据所述待测试终端设备的设备标识向所述待测试终端设备发送第二截取快照指令，并接收所述待测试终端设备返回的屏幕快照；
将接收的屏幕快照发送给所述输入设备，并进行缓存。
在一个实施例中，所述方法，还包括：
接收终端分发设备发送的所述待测试终端设备的当前屏幕快照；其中，所述终端分发设备与所述待测试终端设备通信连接；
将所述当前屏幕快照发送给输入设备，并进行缓存。
在一个实施例中，所述获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值之前，还包括：
检测所述待测试终端设备的键值库中是否存在所述目标键值；
若是，则执行所述获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值的步骤。
在一个实施例中，所述获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值，包括：
获取所述屏幕快照的指定区域的图像，得到目标屏幕快照；
将所述目标屏幕快照与预存的键盘模板库中的键盘模板进行对比，确定所述待测试终端设备当前调用的目标输入法；
根据所述目标键值获取与所述目标输入法对应的目标键值图像；
根据所述目标键值图像识别所述目标屏幕快照中是否存在所述目标键值。
在一个实施例中，所述当所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标，包括：
当所述目标屏幕快照中存在所述目标键值时，获取所述目标键值在所述目标屏幕快照中的坐标；
根据所述目标键值在所述目标屏幕快照中的坐标以及所述目标屏幕快照与所述屏幕快照的位置关系，获取所述目标键值在所述屏幕快照中的坐标。
根据本发明实施例的第二方面，提供一种信息输入方法，应用于输入设备，所述方法，包括：
将在显示待测试终端设备的屏幕快照时检测到的键盘输入指令发送给服务端，所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值，以使所述服务端根据所述编码值以及键码映射表确定对应的目标键值获取所述待测试终端设备的屏幕快照，识别所述屏幕快照中是否存在目标键值，并在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标，以及根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息。
根据本发明实施例的第三方面，提供一种信息输入方法，应用于信息输入系统，所述信息输入系统包括输入设备、服务端与待测试终端设备；所述输入设备与所述服务端通信连接，所述服务端与所述待测试终端设备通信连接；所述方法，包括：
所述输入设备在显示所述待测试终端设备的屏幕快照时，若检测到键盘输入指令，则将所述键盘输入指令发送给所述服务端；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值；
所述服务端根据所述编码值以及键码映射表确定对应的目标键值；
所述服务端获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值；
当所述屏幕快照中存在所述目标键值时，所述服务端获取所述目标键值在所述屏幕快照中的坐标；
所述服务端根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令；
所述待测试终端设备根据所述点击指令确定输入信息。
根据本发明实施例的第四方面，提供一种信息输入装置，所述装置，包括：
接收模块，用于接收输入设备在显示待测试终端设备的屏幕快照时检测到的键盘输入指令；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值；
确定模块，用于根据所述编码值以及键码映射表确定对应的目标键值；
第一获取模块，用于获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值；
第二获取模块，用于在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标；
第一发送模块，用于根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息。
根据本发明实施例的第五方面，提供一种信息输入装置，包括：
第二发送模块，用于将在显示待测试终端设备的屏幕快照时检测到的键盘输入指令发送给服务端，所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值，以使所述服务端根据所述编码值以及键码映射表确定对应的目标键值获取所述待测试终端设备的屏幕快照，识别所述屏幕快照中是否存在目标键值，并在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标，以及根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息。
根据本发明实施例的第六方面，提供一种信息输入系统，包括：输入设备、服务端与待测试终端设备；所述输入设备与所述服务端通信连接，所述服务端与所述待测试终端设备通信连接；
所述输入设备，用于在显示所述待测试终端设备的屏幕快照且检测到键盘输入指令时，将所述键盘输入指令发送给所述服务端；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值；
所述服务端，用于根据所述编码值以及键码映射表确定对应的目标键值；
所述服务端，还用于获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值；
所述服务端，还用于在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标；
所述服务端，还用于根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令；
所述待测试终端设备，用于根据所述点击指令确定输入信息。
根据本发明实施例的第七方面，提供一种终端设备，包括处理器和存储器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器上所存储的计算机程序，实现上述的方法。
根据本发明实施例的第八方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
根据上述实施例可知，输入设备在显示待测试终端设备的屏幕快照时，若检测到键盘输入指令，则将键盘输入指令发送给服务端，服务端根据接收的键盘输入指令中的编码值以及键码映射表确定对应的目标键值，然后，服务端获取待测试终端设备的屏幕快照，并识别屏幕快照中是否存在上述的目标键值，当所述屏幕快照中存在目标键值时，服务端获取目标键值在屏幕快照中的坐标，服务端根据目标键值在屏幕快照中的坐标与待测试终端设备的设备标识，向待测试终端设备发送点击指令，待测试终端设备根据点击指令确定输入信息。这样，可以实现通过键盘向远端的待测试终端设备输入信息，提高输入信息的效率和便捷性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明实施例示出的一种信息输入系统的结构示意图；
图2是根据本发明实施例示出的一种信息输入方法的流程图；
图3是根据本发明实施例示出的一种输入设备的结构示意图；
图4是根据本发明实施例示出的一种服务端的结构示意图；
图5是根据本发明实施例示出的另一种信息输入方法的流程图；
图6是根据本发明实施例示出的一种屏幕快照的示意图；
图7是根据本发明实施例示出的另一种信息输入方法的流程图；
图8是根据本发明实施例示出的另一种信息输入方法的流程图；
图9是根据本发明实施例示出的另一种信息输入方法的流程图；
图10是根据本发明实施例示出的另一种信息输入方法的流程图；
图11是根据本发明实施例示出的一种服务端的结构框图；
图12是根据本发明实施例示出的一种终端设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
随着移动设备的普及，移动APP(应用程序)层出不穷，不仅在APP开发领域带来发展，也对真机测试领域提出了更高的要求。测试往往需要准备大量机型的移动设备，而移动设备更新换代快，型号众多，会导致耗费大量成本，并且保管不方便。所以，相关技术中提出云服务器测试平台的技术方案以解决此类问题。
但是，通过使用发现，用户在远程连接的输入设备的键盘输入信息的时候，只能输入对应的英文字符或者数字，并且无法实现外置键盘进行汉字等文字输入。相关技术中的测试平台只支持用户通过鼠标指针操作手机虚拟键盘实现，在中文模式下，键盘的输入内容是对应按键英文字符，不能拼写相应中文文字。
本发明实施例提供一种信息输入方法、装置和系统，用于解决上述的技术问题，可以实现通过键盘向远端的待测试终端设备输入信息，提高输入信息的效率和便捷性。
本发明实施例提供的信息输入方法可应用于如图1所示的信息输入系统，该信息输入系统可应用于真机测试。在介绍信息输入方法之前，先简要介绍一下信息输入系统。如图1所示，该信息输入系统可包括服务端11、输入设备12、终端分发设备13、待测试终端设备14以及待测试终端设备15。待测试终端设备可不止两个。输入设备12可以是计算机，与服务端11通信连接。服务端11与终端分发设备13通信连接，终端分发设备13与待测试终端设备14、待测试终端设备15通信连接。输入设备12用于显示服务端11发送过来的待测试终端设备14(或待测试终端设备15)的屏幕快照，并接收鼠标输入指令或键盘输入指令以及将接收的鼠标输入指令或键盘输入指令发送给服务端11。服务端11对鼠标输入指令或键盘输入指令分别做不同的处理后生成对应的点击指令，然后将点击指令发送给待测试终端设备14(或待测试终端设备15)，待测试终端设备14(或待测试终端设备15)根据点击指令确定输入的信息。
图2是根据本发明实施例示出的一种信息输入方法。该信息输入方法可应用于服务端11。服务端11可以是云服务器，但不限于此。该信息输入方法，可包括以下步骤201～205：
在步骤201中，接收输入设备在显示待测试终端设备的屏幕快照时检测到的键盘输入指令；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值。
在一个实施例中，输入设备12可如图3所示，可包含显示模块121、监听模块122、事件传递模块125以及图像接收模块126。下面以对待测试终端设备14进行测试进行举例说明。图像接收模块126用于接收服务端11发送过来的待测试终端设备14的屏幕快照。显示模块121用于显示图像接收模块126接收的待测试终端设备14的屏幕快照。监听模块122用于检测输入指令，并将检测到的输入指令发送给事件传递模块125，事件传递模块125用于将接收到的输入指令发送给服务端11。具体地，监听模块122包括鼠标监听模块123以及键盘监听模块124。鼠标监听模块123用于检测鼠标输入指令，键盘监听模块124用于检测键盘输入指令。鼠标输入指令包括待测试终端设备14的设备标识以及鼠标点击的位置坐标。键盘输入指令包括待测试终端设备14的设备标识以及编码值。编码值例如可以是Unicode(统一码)编码值，但不限于此。每个编码值对应一个键值。若输入设备12在显示待测试终端设备14的屏幕快照时监听键盘输入指令，则将检测到的键盘输入指令发送至服务端11。
在一个实施例中，如图4所示，服务端11可包括事件接收模块111、录屏回传模块112与快照缓存模块116。录屏回传模块112用于接收终端分发设备13发送的待测试终端设备14的屏幕快照，并将接收到的待测试终端设备14的屏幕快照发送给输入设备12以及将接收到的待测试终端设备14的屏幕快照缓存到快照缓存模块116。事件接收模块111用于接收输入设备12发送的输入指令。当服务端11接收到输入设备12发送的输入指令后，对接收的输入指令进行区分，当确定接收到的输入指令为键盘输入指令时，进入步骤202。
当然，若输入设备12在显示待测试终端设备14的屏幕快照时监听鼠标输入指令，则将检测到的鼠标输入指令发送至服务端11。服务端11将根据鼠标输入指令中的鼠标点击的位置坐标以及待测试终端设备14的设备标识生成对应的点击指令，并将点击指令发送给待测试终端设备14，以供待测试终端设备14根据点击指令确定输入的信息。
在步骤202中，根据所述编码值以及键码映射表确定对应的目标键值。
在一个实施例中，如图4所示，服务端11还可包括计算模块113与键值映射存储模块117。其中，键值映射存储模块117用于存储键码映射表。其中，键码映射表包含编码值与键值的一一对应关系。
在一个实施例中，服务端11在接收到键盘输入指令后，计算模块113可以根据键盘输入指令中的编码值查询键值映射存储模块117中存储的键码映射表，得到对应的目标键值。
在一个实施例中，如图4所示，服务端11还可包括指令发送模块115。如果计算模块113确定目标键值是Delete，则直接生成对应的点击指令发送给指令发送模块115。指令发送模块115用于将接收到的点击指令发送给待测试终端设备14。例如，如果计算模块113确定目标键值是Delete，则直接生成adb shell input keyevent 67并发送给指令发送模块115。adb shell input keyevent是键值事件的映射指令，adb shell input keyevent 67是Delete键的映射指令，再如，如果计算模块113确定目标键值是空格，则直接生成adbshell input keyevent 62并发送给指令发送模块115。adb shell input keyevent 62是空格键的映射指令。如果计算模块113确定目标键值是回车，则直接生成adb shell inputkeyevent 66并发送给指令发送模块115。adb shell input keyevent 66是回车键的映射指令。如果计算模块113确定目标键值是其他的常用的逗号、句号等标点，则指令发送模块115直接生成对应的点击指令发送给指令发送模块115。
在一个实施例中，如果计算模块113确定目标键值是数字或字母，则可以检测所述待测试终端设备14的键值库中是否存在所述目标键值，若是，则执行步骤203，否则，直接终止并返回。这样，可以避免无用的图像识别带来的延迟和性能问题。
在步骤203中，获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值。
在一个实施例中，如图4所示，服务端11还可包括快照分析模块114。快照分析模块114根据键盘输入指令中的待测试终端设备14的设备标识从快照缓存模块116中获取待测试终端设备14当前的屏幕快照，并进行图像识别，确定屏幕快照中是否存在目标键值。
在一个实施例中，快照分析模块114还可以判断目标屏幕快照中的虚拟键盘是字母模式还是数字模式，如果是数字模式，且目标键值也是数字，则直接生成adb shellinput text对应的数字，并将adb shell input text对应的数字与待测试终端设备14的设备标识发送给指令发送模块115，以向待测试终端设备14发送对应的点击指令。adb shellinput text是文本的映射指令。例如，adb shell input text 6是6键的映射指令。如果目标屏幕快照中的虚拟键盘是数字模式，且目标键值是字母，则终止并返回。如果虚拟键盘是字母模式，且目标键值是数字，则直接生成adb shell input text对应的数字，并将adbshell input text对应的数字与待测试终端设备14的设备标识发送给指令发送模块115，以向待测试终端设备14发送对应的点击指令。如果虚拟键盘是字母模式，且目标键值是字母，则如图5所示，步骤203还可包括以下步骤501～504：
在步骤501中，获取所述屏幕快照的指定区域的图像，得到目标屏幕快照。
在一个实施例中，如图6所示，待测试终端设备14当前的屏幕快照61可包括输入框62、预选区域63以及虚拟按键64。多个虚拟按键64构成虚拟键盘。虚拟键盘位于屏幕快照61的指定区域，例如，虚拟键盘位于屏幕快照61的下半部分。
在一个实施例中，为了减少图像识别的计算量，可以获取屏幕快照的指定区域的图像，得到目标屏幕快照。其中，目标屏幕快照中包括虚拟按键64。
在步骤502中，将所述目标屏幕快照与预存的键盘模板库中的键盘模板进行对比，确定所述待测试终端设备当前调用的目标输入法。
在一个实施例中，为了提高图像识别的准确率，可以预先存储键盘模板库。该键盘模板库存储待测试终端设备14使用的多个输入法对应的键盘模板。快照分析模块114可以将获得的目标屏幕快照与预存的键盘模板库中的键盘模板进行对比，确定所述待测试终端设备14当前调用的目标输入法。例如，快照分析模块114可以采用OpenCV(开源计算机视觉库)模板函数将获得的目标屏幕快照与预存的键盘模板库中的键盘模板进行逐一比对，确定所述待测试终端设备14当前调用的目标输入法。实际应用时，可不限于OpenCV模板函数。键盘模板库中可以尽可能多地存储输入法对应的键盘模板。这样，可以适配不同厂家的第三方输入法，适应于不同布局的虚拟键盘的情况。
在步骤503中，根据所述目标键值获取与所述目标输入法对应的目标键值图像。
在一个实施例中，由于输入法不同，键值的图像也不同。例如，百度输入法对应的a的图像与搜狗输入法的a的图像可能并不相同。为了提高图像识别的准确率，快照分析模块114可以根据所述目标键值获取与所述目标输入法对应的目标键值图像，并进入步骤504。其中，服务端11中可存储键值图像库，用于存储多个键值图像。快照分析模块114可以根据所述目标键值查询键值图像库以获取与目标输入法对应的目标键值图像。
在步骤504中，根据所述目标键值图像识别所述目标屏幕快照中是否存在所述目标键值。
在一个实施例中，快照分析模块114可以目标键值图像识别目标屏幕快照中是否存在目标键值。
在步骤204中，当所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标。
在一个实施例中，如图7所示，步骤204可以包括步骤701～702：
在步骤701中，当所述目标屏幕快照中存在所述目标键值时，获取所述目标键值在所述目标屏幕快照中的坐标。
在步骤702中，根据所述目标键值在所述目标屏幕快照中的坐标以及所述目标屏幕快照与所述屏幕快照的位置关系，获取所述目标键值在所述屏幕快照中的坐标。
在一个实施例中，当目标屏幕快照中存在目标键值时，且获取的目标键值在所述目标屏幕快照中的坐标为(3.6，2.8)。而且，目标屏幕快照位于所述屏幕快照的下半部分，屏幕快照起始坐标为(0,0)，终止坐标为(12,16)，则，目标键值在所述屏幕快照中的横坐标等于目标键值在所述目标屏幕快照中的横坐标3.6，目标键值在所述屏幕快照中的纵坐标等于目标键值在所述目标屏幕快照中的纵坐标加上屏幕快照纵向长度的二分之一，即10.8。即目标键值在所述屏幕快照中的坐标为(3.6，10.8)。其中，屏幕快照的起始位置为左上角，终止位置为右下角。
在步骤205中，根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息。
在一个实施例中，快照分析模块114将目标键值在所述屏幕快照中的坐标发送给指令发送模块115，指令发送模块115根据目标键值在所述屏幕快照中的坐标与待测试终端设备14的设备标识生成对应的点击指令：adb shell input tap横坐标纵坐标+设备标识，并发送给待测试终端设备14。点击指令可不限于此。其中，“+”是分隔符，用于分割纵坐标与设备标识，分隔符也可以是星号“*”或者其他指定的符号，例如“&”。
在一个实施例中，如果所述目标屏幕快照中不存在所述目标键值，则快照分析模块114返回的结果为空，例如，返回的结果为(0,0)，则终止并返回。在一个实施例中，如果快照分析模块114返回的结果包含adb shell input text或者adb shell input keyevent指令，则指令发送模块115根据上述指令与待测试终端设备14的设备标识生成点击指令，并发送给待测试终端设备14。
本发明实施例中，输入设备在显示待测试终端设备的屏幕快照时，若检测到键盘输入指令，则将键盘输入指令发送给服务端，服务端根据接收的键盘输入指令中的编码值以及键码映射表确定对应的目标键值，然后，服务端获取待测试终端设备的屏幕快照，并识别屏幕快照中是否存在上述的目标键值，当所述屏幕快照中存在目标键值时，服务端获取目标键值在屏幕快照中的坐标，服务端根据目标键值在屏幕快照中的坐标与待测试终端设备的设备标识，向待测试终端设备发送点击指令，待测试终端设备根据点击指令确定输入信息。这样，可以实现通过键盘向远端的待测试终端设备输入信息，提高输入信息的效率和便捷性。
在本发明实施例中，可以通过键盘向远端设备直接录入文字，以及可以通过物理键盘到虚拟键盘的映射，可以提高仿真效果，进而提高使用体验。
本发明实施例还提供一种信息输入方法，如图8所示，本实施例中的信息输入方法，在如图2所示的实施例的基础上，还包括以下步骤801～803：
在步骤801中，接收所述输入设备发送的第一截取快照指令。其中，所述输入设备在首次接收到键盘输入指令时或者在接收到所述待测试终端设备与服务端连接成功的消息后，向所述服务端发送所述第一截取快照指令；所述第一截取快照指令包括所述待测试终端设备的设备标识。
在步骤802中，根据所述待测试终端设备的设备标识向所述待测试终端设备发送第二截取快照指令，并接收所述待测试终端设备返回的屏幕快照。
在步骤803中，将接收的屏幕快照发送给所述输入设备，并进行缓存。
在一个实施例中，输入设备12在首次接收到键盘输入指令时或者在接收到所述待测试终端设备14与服务端11连接成功的消息后，向所述服务端11发送所述第一截取快照指令。其中，所述第一截取快照指令包括所述待测试终端设备14的设备标识。服务端11接收到第一截取快照指令后，根据所述待测试终端设备14的设备标识向所述待测试终端设备14发送第二截取快照指令，并接收所述待测试终端设备14返回的屏幕快照。服务端11将接收的屏幕快照发送给所述输入设备12进行显示，并将接收的屏幕快照进行缓存。
在一个实施例中，所述待测试终端设备14与服务端11连接成功后，可以通过MediaProjection(媒体投影接口)和Virtual Surface(虚拟镜像接口)获取待测试终端设备14屏幕的第一张屏幕快照。
在本实施例中，由于输入设备可以在首次接收到键盘输入指令时或者在接收到待测试终端设备与服务端连接成功的消息后，向服务端发送第一截取快照指令，这样，可以及时获取待测试终端设备当前的屏幕快照，以避免影响信息输入。
本发明实施例还提供一种信息输入方法，如图9所示，本实施例中的信息输入方法，在如图2所示的实施例的基础上，还包括以下步骤901～902：
在步骤901中，接收终端分发设备发送的所述待测试终端设备的当前屏幕快照；其中，所述终端分发设备在检测到所述待测试终端设备显示的图像发生变化时，获取所述当前屏幕快照，并发送给服务端。所述终端分发设备与所述待测试终端设备通信连接。
在步骤902中，将所述当前屏幕快照发送给输入设备，并进行缓存。
在一个实施例中，终端分发设备13可以检测待测试终端设备14的屏幕，当检测到所述待测试终端设备14显示的图像发生变化时，获取所述待测试终端设备14的当前屏幕快照，并将待测试终端设备14的当前屏幕快照与待测试终端设备14的设备标识发送给服务端11。服务端11接收终端分发设备13发送的所述待测试终端设备14的当前屏幕快照后，更新缓存的待测试终端设备14的屏幕快照，并将接收的待测试终端设备14的屏幕快照发送给输入设备12，以更新待测试终端设备14的屏幕快照，避免屏幕快照不同步影响信息输入。在一个实施例中，终端分发设备13可以通过ImageReader::setOnImageAvailableListener(在被观察者(屏幕内容)改变时主动通知观察者并将改变的结果传递给观察者)对待测试终端设备14的屏幕进行监听，但不限于此。
在本实施例中，终端分发设备可以在检测到待测试终端设备显示的图像发生变化时，获取当前屏幕快照，并发送给服务端，以供服务端将当前屏幕快照发送给输入设备，并进行缓存，这样，可以避免屏幕快照不同步影响信息输入。
本发明实施例还提供一种信息输入方法，应用于输入设备，所述方法，包括以下步骤：
将在显示待测试终端设备的屏幕快照时检测到的键盘输入指令发送给服务端，所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值，以使所述服务端根据所述编码值以及键码映射表确定对应的目标键值获取所述待测试终端设备的屏幕快照，识别所述屏幕快照中是否存在目标键值，并在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标，以及根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息。
本实施例中的信息输入方法与上述实施例中的信息输入方法相似，在此不再赘述。
本发明实施例还提供一种信息输入方法，如图10所示，该信息输入方法可应用于如图1所示的信息输入系统。该信息输入系统可包括输入设备、服务端与待测试终端设备；所述输入设备与所述服务端通信连接，所述服务端与所述待测试终端设备通信连接。该信息输入方法，可包括以下步骤1001～1006：
在步骤1001中，所述输入设备在显示所述待测试终端设备的屏幕快照时，若检测到键盘输入指令，则将所述键盘输入指令发送给所述服务端；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值.
在步骤1002中，所述服务端根据所述编码值以及键码映射表确定对应的目标键值。
在步骤1003中，所述服务端获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值。
在步骤1004中，当所述屏幕快照中存在所述目标键值时，所述服务端获取所述目标键值在所述屏幕快照中的坐标。
在步骤1005中，所述服务端根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令。
在步骤1006中，所述待测试终端设备根据所述点击指令确定输入信息。
本实施例中的信息输入方法与上述实施例中的信息输入方法相似，在此不再赘述。
本发明实施例还提供一种信息输入装置，可应用于服务端，但不限于此。如图11所示，所述装置，包括：
接收模块1101，用于接收输入设备在显示待测试终端设备的屏幕快照时检测到的键盘输入指令；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值；
确定模块1102，用于根据所述编码值以及键码映射表确定对应的目标键值；
第一获取模块1103，用于获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值；
第二获取模块1104，用于在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标；
第一发送模块1105，用于根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息。
其中，接收模块1101与第一发送模块1105可以是通信组件，通信组件被配置为便于信息输入装置和其他设备之间有线或无线方式的通信。信息输入装置可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G LTE，5G NR，或它们的组合。在一个示例性实施例中，通信部件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
本发明实施例还提供一种信息输入装置，包括：
第二发送模块，用于将在显示待测试终端设备的屏幕快照时检测到的键盘输入指令发送给服务端，所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值，以使所述服务端根据所述编码值以及键码映射表确定对应的目标键值获取所述待测试终端设备的屏幕快照，识别所述屏幕快照中是否存在目标键值，并在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标，以及根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息。
本发明实施例还提供一种信息输入系统，如图1所示，包括：输入设备12、服务端11与待测试终端设备14、15；所述输入设备12与所述服务端11通信连接，所述服务端11与所述待测试终端设备14、15通信连接。
所述输入设备12，用于在显示所述待测试终端设备的屏幕快照且检测到键盘输入指令时，将所述键盘输入指令发送给所述服务端；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值；
所述服务端11，用于根据所述编码值以及键码映射表确定对应的目标键值；
所述服务端11，还用于获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值；
所述服务端11，还用于在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标；
所述服务端11，还用于根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令；
所述待测试终端设备14、15，用于根据所述点击指令确定输入信息。
图12是根据一示例性实施例示出的一种终端设备的框图。例如，设备1200可以被提供为一服务器。参照图12，设备1200包括处理组件1222，其进一步包括一个或多个处理器，以及由存储器1232所代表的存储器资源，用于存储可由处理部件1222的执行的指令，例如应用程序。存储器1232中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1222被配置为执行指令，以执行上述的信息输入方法。
设备1200还可以包括一个电源组件1226被配置为执行设备1200的电源管理，一个有线或无线网络接口1250被配置为将设备1200连接到网络，和一个输入输出(I/O)接口1258。设备1200可以操作基于存储在存储器1232的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1232，上述指令可由设备1200的处理组件1222执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种信息输入方法，其特征在于，应用于服务端，所述方法，包括：
接收输入设备在显示待测试终端设备的屏幕快照时检测到的键盘输入指令；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值；
根据所述编码值以及键码映射表确定对应的目标键值；
获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值；
当所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标；
根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息；
所述获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值，包括：
获取所述屏幕快照的指定区域的图像，得到目标屏幕快照；
将所述目标屏幕快照与预存的键盘模板库中的键盘模板进行对比，确定所述待测试终端设备当前调用的目标输入法；
根据所述目标键值获取与所述目标输入法对应的目标键值图像；
根据所述目标键值图像识别所述目标屏幕快照中是否存在所述目标键值。
2.根据权利要求1所述的信息输入方法，其特征在于，所述方法，还包括：
接收所述输入设备发送的第一截取快照指令；其中，所述第一截取快照指令包括所述待测试终端设备的设备标识；
根据所述待测试终端设备的设备标识向所述待测试终端设备发送第二截取快照指令，并接收所述待测试终端设备返回的屏幕快照；
将接收的屏幕快照发送给所述输入设备，并进行缓存。
3.根据权利要求1所述的信息输入方法，其特征在于，所述方法，还包括：
接收终端分发设备发送的所述待测试终端设备的当前屏幕快照；其中，所述终端分发设备与所述待测试终端设备通信连接；
将所述当前屏幕快照发送给输入设备，并进行缓存。
4.根据权利要求1所述的信息输入方法，其特征在于，所述获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值之前，还包括：
检测所述待测试终端设备的键值库中是否存在所述目标键值；
若是，则执行所述获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值的步骤。
5.根据权利要求1所述的信息输入方法，其特征在于，所述当所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标，包括：
当所述目标屏幕快照中存在所述目标键值时，获取所述目标键值在所述目标屏幕快照中的坐标；
根据所述目标键值在所述目标屏幕快照中的坐标以及所述目标屏幕快照与所述屏幕快照的位置关系，获取所述目标键值在所述屏幕快照中的坐标。
6.一种信息输入方法，其特征在于，应用于输入设备，所述方法，包括：
将在显示待测试终端设备的屏幕快照时检测到的键盘输入指令发送给服务端，所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值，以使所述服务端根据所述编码值以及键码映射表确定对应的目标键值获取所述待测试终端设备的屏幕快照，识别所述屏幕快照中是否存在目标键值，并在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标，以及根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息；
所述服务端获取所述待测试终端设备的屏幕快照，识别所述屏幕快照中是否存在目标键值，包括：
所述服务端获取所述屏幕快照的指定区域的图像，得到目标屏幕快照；将所述目标屏幕快照与预存的键盘模板库中的键盘模板进行对比，确定所述待测试终端设备当前调用的目标输入法；根据所述目标键值获取与所述目标输入法对应的目标键值图像；根据所述目标键值图像识别所述目标屏幕快照中是否存在所述目标键值。
7.一种信息输入方法，其特征在于，应用于信息输入系统，所述信息输入系统包括输入设备、服务端与待测试终端设备；所述输入设备与所述服务端通信连接，所述服务端与所述待测试终端设备通信连接；所述方法，包括：
所述输入设备在显示所述待测试终端设备的屏幕快照时，若检测到键盘输入指令，则将所述键盘输入指令发送给所述服务端；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值；
所述服务端根据所述编码值以及键码映射表确定对应的目标键值；
所述服务端获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值；
当所述屏幕快照中存在所述目标键值时，所述服务端获取所述目标键值在所述屏幕快照中的坐标；
所述服务端根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令；
所述待测试终端设备根据所述点击指令确定输入信息；
所述服务端获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值，包括：
所述服务端获取所述屏幕快照的指定区域的图像，得到目标屏幕快照；将所述目标屏幕快照与预存的键盘模板库中的键盘模板进行对比，确定所述待测试终端设备当前调用的目标输入法；根据所述目标键值获取与所述目标输入法对应的目标键值图像；根据所述目标键值图像识别所述目标屏幕快照中是否存在所述目标键值。
8.一种信息输入装置，其特征在于，包括：
接收模块，用于接收输入设备在显示待测试终端设备的屏幕快照时检测到的键盘输入指令；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值；
确定模块，用于根据所述编码值以及键码映射表确定对应的目标键值；
第一获取模块，用于获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值；
第二获取模块，用于在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标；
第一发送模块，用于根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息；
所述第一获取模块具体用于：
获取所述屏幕快照的指定区域的图像，得到目标屏幕快照；
将所述目标屏幕快照与预存的键盘模板库中的键盘模板进行对比，确定所述待测试终端设备当前调用的目标输入法；
根据所述目标键值获取与所述目标输入法对应的目标键值图像；
根据所述目标键值图像识别所述目标屏幕快照中是否存在所述目标键值。
9.一种信息输入装置，其特征在于，包括：
第二发送模块，用于将在显示待测试终端设备的屏幕快照时检测到的键盘输入指令发送给服务端，所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值，以使所述服务端根据所述编码值以及键码映射表确定对应的目标键值获取所述待测试终端设备的屏幕快照，识别所述屏幕快照中是否存在目标键值，并在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标，以及根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令，以供所述待测试终端设备根据所述点击指令确定输入信息；
所述服务端获取所述待测试终端设备的屏幕快照，识别所述屏幕快照中是否存在目标键值，包括：
所述服务端获取所述屏幕快照的指定区域的图像，得到目标屏幕快照；将所述目标屏幕快照与预存的键盘模板库中的键盘模板进行对比，确定所述待测试终端设备当前调用的目标输入法；根据所述目标键值获取与所述目标输入法对应的目标键值图像；根据所述目标键值图像识别所述目标屏幕快照中是否存在所述目标键值。
10.一种信息输入系统，其特征在于，包括：输入设备、服务端与待测试终端设备；所述输入设备与所述服务端通信连接，所述服务端与所述待测试终端设备通信连接；
所述输入设备，用于在显示所述待测试终端设备的屏幕快照且检测到键盘输入指令时，将所述键盘输入指令发送给所述服务端；所述键盘输入指令包括所述待测试终端设备的设备标识以及编码值；
所述服务端，用于根据所述编码值以及键码映射表确定对应的目标键值；
所述服务端，还用于获取所述待测试终端设备的屏幕快照，并识别所述屏幕快照中是否存在目标键值；
所述服务端，还用于在所述屏幕快照中存在所述目标键值时，获取所述目标键值在所述屏幕快照中的坐标；
所述服务端，还用于根据所述目标键值在所述屏幕快照中的坐标与所述待测试终端设备的设备标识，向所述待测试终端设备发送点击指令；
所述待测试终端设备，用于根据所述点击指令确定输入信息；
所述服务端具体用于：
所述服务端还用于获取所述屏幕快照的指定区域的图像，得到目标屏幕快照；将所述目标屏幕快照与预存的键盘模板库中的键盘模板进行对比，确定所述待测试终端设备当前调用的目标输入法；根据所述目标键值获取与所述目标输入法对应的目标键值图像；根据所述目标键值图像识别所述目标屏幕快照中是否存在所述目标键值。
11.一种终端设备，其特征在于，包括处理器和存储器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器上所存储的计算机程序，实现权利要求1-6任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
CN201910250562.4A 2019-03-29 2019-03-29 信息输入方法、装置和系统 Active CN109992125B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910250562.4A CN109992125B (zh) 2019-03-29 2019-03-29 信息输入方法、装置和系统
US16/675,534 US11099657B2 (en) 2019-03-29 2019-11-06 Remote information input method, device and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910250562.4A CN109992125B (zh) 2019-03-29 2019-03-29 信息输入方法、装置和系统

Publications (2)

Publication Number Publication Date
CN109992125A CN109992125A (zh) 2019-07-09
CN109992125B true CN109992125B (zh) 2022-11-15

Family

ID=67131942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910250562.4A Active CN109992125B (zh) 2019-03-29 2019-03-29 信息输入方法、装置和系统

Country Status (2)

Country Link
US (1) US11099657B2 (zh)
CN (1) CN109992125B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579445A (zh) * 2020-12-08 2021-03-30 天津五八到家货运服务有限公司 应用测试系统及方法、设备、介质
CN113157566A (zh) * 2021-03-26 2021-07-23 上海闻泰信息技术有限公司 屏幕操控方法、装置、设备及存储介质
CN113239345B (zh) * 2021-04-16 2024-04-05 海南视联通信技术有限公司 一种密码输入方法、装置、终端设备和存储介质
CN113608817B (zh) * 2021-08-19 2024-05-07 上海幻电信息科技有限公司 弹框处理方法及系统
CN114157753B (zh) * 2021-08-31 2024-06-21 维沃移动通信（杭州）有限公司 消息分享方法、装置和电子设备
CN114327085A (zh) * 2021-11-25 2022-04-12 浪潮软件集团有限公司 web端远程真机与手机的输入法交互方法及系统
CN114615535A (zh) * 2022-02-14 2022-06-10 北京威尔文教科技有限责任公司 同步显示方法、装置、电子设备和可读存储介质
CN115984971A (zh) * 2023-03-17 2023-04-18 宁德时代新能源科技股份有限公司 用户行为监控方法、装置和电子设备
JP7499429B1 (ja) 2024-04-08 2024-06-13 エヌ・ティ・ティレゾナント・テクノロジー株式会社 アプリ遠隔操作システム、アプリ実行制御装置およびアプリ実行制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622156A (zh) * 2011-01-26 2012-08-01 腾讯科技（深圳）有限公司 获取虚拟键盘的方法、装置和系统
CN103036980A (zh) * 2012-12-13 2013-04-10 北京奇虎科技有限公司 用于远程服务的数据传输设备及方法
CN105338399A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 图像获取方法及装置
CN108595240A (zh) * 2018-04-20 2018-09-28 北京天融信网络安全技术有限公司 屏幕快照的抓取方法、装置、设备及可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027450B (zh) * 2008-05-20 2015-05-13 思杰系统有限公司 由移动计算装置使用外部显示装置的方法和系统
CN101431566B (zh) * 2008-12-16 2011-04-20 中兴通讯股份有限公司 一种提供用户快捷操作的移动终端及方法
CN103902056B (zh) * 2012-12-28 2018-02-23 华为技术有限公司 虚拟键盘输入方法、设备及系统
CN103458087A (zh) * 2013-08-30 2013-12-18 华南理工大学 一种基于rtmp的远程手机测试体验方法
CN104951397B (zh) * 2014-05-16 2017-12-26 腾讯科技（深圳）有限公司 移动设备的测试方法、装置、服务器和系统
DE102014213518A1 (de) * 2014-07-11 2016-01-14 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren, Bearbeitungsmaschine und Computerprogrammprodukt zum bildbasierten Platzieren von Werkstückbearbeitungsvorgängen
CN107766182B (zh) * 2016-08-18 2021-06-22 斑马智行网络(香港)有限公司 输入法键盘的按键定位、操控、测试方法及装置
CN106874206A (zh) * 2017-02-27 2017-06-20 网易（杭州）网络有限公司 用于跨平台自动测试的方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622156A (zh) * 2011-01-26 2012-08-01 腾讯科技（深圳）有限公司 获取虚拟键盘的方法、装置和系统
CN103036980A (zh) * 2012-12-13 2013-04-10 北京奇虎科技有限公司 用于远程服务的数据传输设备及方法
CN105338399A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 图像获取方法及装置
CN108595240A (zh) * 2018-04-20 2018-09-28 北京天融信网络安全技术有限公司 屏幕快照的抓取方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
US11099657B2 (en) 2021-08-24
US20200310555A1 (en) 2020-10-01
CN109992125A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109992125B (zh) 信息输入方法、装置和系统
CN107944380B (zh) 身份识别方法、装置及存储设备
CN107038112B (zh) 应用界面的调试方法及装置
US20190370530A1 (en) Facial feature point tracking method, apparatus, storage medium, and device
KR102482850B1 (ko) 전자 장치 및 전자 장치의 필체 교정 기능 제공 방법
CN111555938B (zh) 一种信息处理的方法以及相关装置
CN110457214B (zh) 应用测试方法及装置、电子设备
CN111078556B (zh) 应用测试方法及装置
CN104281394A (zh) 智能选词的方法和装置
WO2021164328A1 (zh) 图像生成方法、设备及存储介质
CN108984374B (zh) 一种数据库性能的测试方法和系统
CN113706446B (zh) 一种镜头检测方法和相关装置
CN113868132A (zh) 一种应用程序测试方法、装置、电子设备及存储介质
CN117743170A (zh) 测试用例生成方法、装置、存储介质及终端设备
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备
CN114510417A (zh) 一种图像渲染效果测试方法、装置、电子设备和存储介质
CN110162302B (zh) 数据处理方法、装置、电子设备及存储介质
CN112732548B (zh) 一种接口测试方法以及装置
CN113535579A (zh) 一种异常定位方法及相关装置
CN112241329B (zh) 识别引擎的监控方法、装置、设备及存储介质
CN108959073B (zh) 算法库的测试方法、装置、存储介质和电子设备
CN114363406B (zh) 推送消息处理方法、装置、设备及存储介质
CN116456131B (zh) 特效渲染方法、装置、电子设备及存储介质
CN112733573B (zh) 表格检测方法、装置、移动终端及存储介质
US20230087081A1 (en) Method of detecting event, electronic device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant