CN111787410A - 一种键盘输入方法和键盘输入装置 - Google Patents

一种键盘输入方法和键盘输入装置 Download PDF

Info

Publication number
CN111787410A
CN111787410A CN202010636848.9A CN202010636848A CN111787410A CN 111787410 A CN111787410 A CN 111787410A CN 202010636848 A CN202010636848 A CN 202010636848A CN 111787410 A CN111787410 A CN 111787410A
Authority
CN
China
Prior art keywords
keyboard
input method
input
key
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010636848.9A
Other languages
English (en)
Other versions
CN111787410B (zh
Inventor
袁兆卫
管皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202010636848.9A priority Critical patent/CN111787410B/zh
Publication of CN111787410A publication Critical patent/CN111787410A/zh
Application granted granted Critical
Publication of CN111787410B publication Critical patent/CN111787410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施方式公开了一种键盘输入方法和键盘输入装置。方法包括：在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面；检测在智能设备的显示界面上的、关于所述输入法键盘界面的触摸操作；将所述触摸操作转换为发送到目标设备的、目标设备上的键盘输入。本发明实施方式可以提高输入效率。

Description

一种键盘输入方法和键盘输入装置
技术领域
本发明涉及文本输入技术领域，更具体的说，涉及一种键盘输入方法和键盘输入装置。
背景技术
智能电视可以通过互联网下载诸多应用程序(APP)，以查阅新闻、浏览网页和执行社交，等等。数字视频变换盒(Set Top Box，STB)，通常称作机顶盒或机上盒，是连接电视机与外部信号源的设备。
当用户在电视和机顶盒等目标设备上输入文本(比如，输入密码、网页链接、搜索关键字等)的时候，通常需要使用遥控器的方向键在设备内嵌的输入法界面上完成输入，非常低效和不便。
发明内容
本发明提出一种键盘输入方法和键盘输入装置，从而提高输入效率。
本发明实施方式的技术方案如下：
一种键盘输入方法，该方法适用于智能设备，该方法包括：
在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面；
检测在智能设备的显示界面上的、关于所述输入法键盘界面的触摸操作；
将所述触摸操作转换为发送到目标设备的、目标设备上的键盘输入。
在一个实施方式中，所述在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面包括：
基于与目标设备的投屏连接，获取目标设备的输入法键盘界面；
在智能设备的显示界面上显示所述输入法键盘界面。
在一个实施方式中，所述获取目标设备的输入法键盘界面包括下列中的至少一个：
获取流媒体格式的输入法键盘界面；
获取编码图片格式的输入法键盘界面；
获取RGB数据格式的输入法键盘界面。
在一个实施方式中，其中当目标设备的硬件编码器支持流媒体格式时，获取所述流媒体格式的输入法键盘界面，其中目标设备基于存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、RGB数据格式的输入法键盘界面转换出所述流媒体格式的输入法键盘界面；
当目标设备的硬件编码器不支持流媒体格式且所述投屏连接的数据传输速率低于预定门限值时，获取编码图片格式的输入法键盘界面，其中目标设备基于存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、RGB数据格式的输入法键盘界面转换出所述编码图片格式的输入法键盘界面；
当目标设备的硬件编码器不支持流媒体格式且所述投屏连接的数据传输速率大于或等于预定门限值时，获取存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、所述RGB数据格式的输入法键盘界面。。
在一个实施方式中，所述将触摸操作转换为发送到目标设备的、目标设备上的键盘输入包括：
当目标设备具备坐标输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标；
将所述键盘坐标发送到目标设备，从而由所述目标设备基于该键盘坐标确定目标设备上的键盘输入。
在一个实施方式中，所述将触摸操作转换为发送到目标设备的、目标设备上的键盘输入包括：
基于对输入法键盘界面的图像识别操作，确定智能设备的每个键盘坐标与其按键KEY值之间的第一对应关系；
当目标设备具备按键KEY值输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标，基于所述第一对应关系确定出对应于该键盘坐标的按键KEY值，发送所述按键KEY值到目标设备，从而由所述目标设备基于所述按键KEY值确定目标设备上的键盘输入。
在一个实施方式中，所述将触摸操作转换为发送到目标设备的、目标设备上的键盘输入包括：
基于对输入法键盘界面的图像识别操作，确定智能设备的每个键盘坐标与其按键KEY值之间的第一对应关系以及智能设备的任意两个按键之间的移动轨迹与实现该移动轨迹的按键组合之间的第二对应关系；
当目标设备具备按键输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标，基于所述第一对应关系确定出对应于该键盘坐标的按键KEY值，基于所述第二对应关系，确定对应于从当前KEY值的按键移动到对应于该键盘坐标的按键KEY值的移动轨迹的按键组合，将所述按键组合和当前KEY值发送到目标设备，从而由所述目标设备将从对应于当前KEY值的按键处执行该按键组合后的目的按键，确定为目标设备上的键盘输入。
在一个实施方式中，所述对输入法键盘界面的图像识别操作包括：
利用机器学习算法训练得到的神经网络对输入法键盘界面执行图像识别操作，其中采用已知的输入法键盘界面作为该神经网络的训练数据集。
在一个实施方式中，还包括判断目标设备是否具备按键输入能力的过程，该过程包括：
检测在智能设备的显示界面上的、关于所述输入法键盘界面上的预定按键的触摸操作；
在智能设备的显示界面上以投屏方式显示目标设备的更新后输入法键盘界面；
基于对更新后输入法键盘界面的图像识别操作，判断目标设备是否具备按键输入能力，其中当更新后输入法键盘界面中的预定按键高亮时，确定目标设备具备按键输入能力，否则确定目标设备不具备按键输入能力。
一种键盘输入装置，该装置适用于智能设备，该装置包括：
投屏模块，用于在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面；
检测模块，用于检测在智能设备的显示界面上的、关于所述输入法键盘界面的触摸操作；
发送模块，用于将所述触摸操作转换为发送到目标设备的、目标设备上的键盘输入。
在一个实施方式中，投屏模块，用于基于与目标设备的投屏连接，获取目标设备的输入法键盘界面；在智能设备的显示界面上显示所述输入法键盘界面。
在一个实施方式中，发送模块，当目标设备具备坐标输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标；将所述键盘坐标发送到目标设备，从而由所述目标设备基于该键盘坐标确定目标设备上的键盘输入。
从上述技术方案可以看出，在本发明实施方式中，在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面；检测在智能设备的显示界面上的、关于所述输入法键盘界面的触摸操作；将所述触摸操作转换为发送到目标设备的、目标设备上的键盘输入。由此可见，本发明实施方可以将智能设备的触摸输入功能引入到目标设备中，从而提高目标设备的输入效率。
而且，对于仅支持按键输入能力的目标设备，本发明实施方式将触屏事件或坐标转换成按键组合，通过传送按键组合实现目标设备上的键盘输入，保证了目标设备同样可以利用智能设备的触摸输入功能。
附图说明
图1为根据本发明的键盘输入方法的流程图。
图2为根据本发明的目标设备与智能设备的交互图。
图3为根据本发明的系统环境检测示意图。
图4为根据本发明的硬编码处理示意图。
图5为根据本发明的软编码处理示意图。
图6为根据本发明基于神经网络计算按键坐标的示意图。
图7为根据本发明基于神经网络计算按键间距的示意图。
图8为根据本发明基于神经网络检测目标设备是否支持坐标输入和按键KEY输入的示意图。
图9为根据本发明检测目标设备是否支持坐标输入和按键KEY输入的流程图。
图10为根据本发明的投屏处理示意图。
图11为根据本发明的第一文本输入示意图。
图12为根据本发明的第二文本输入示意图。
图13为根据本发明自动检测当前环境以决定编码形式的处理示意图。
图14A为本发明实施方式与现有技术的第一对比示意图。
图14B为本发明实施方式与现有技术的第二对比示意图。
图14C为本发明实施方式与现有技术的第三对比示意图。
图15为根据本发明的键盘输入装置的结构图。
图16为根据本发明具有存储器-处理器架构的智能设备的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。
在本发明实施方式中，基于现有的通用投屏技术，将不具有触屏输入功能的目标设备(如电视或机顶盒等)的输入法界面投射到智能设备，从而利用智能设备普遍具备的触屏功能实现方便快捷的文本输入。其中：可以在目标设备上创建用户不可见的隐藏缓冲帧或虚拟屏幕，并将该隐藏缓冲帧或虚拟屏幕投射到智能设备。当用户准备输入文本的时候，目标设备的输入法界面渲染到隐藏缓冲帧或虚拟屏幕中(同步显示在智能设备)，而不是显示在目标设备的主屏幕上。这样，用户可以在智能设备上通过触屏操作完成快捷方便的输入，且由于输入法界面不再显示在目标设备的主屏幕上，节省了屏幕空间。
图1为根据本发明的键盘输入方法的流程图。该方法适用于智能设备。
如图1所示，该方法包括：
步骤101：在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面。
在这里，智能设备包含显示功能和触屏输入功能，比如具有触摸屏。具体的，智能设备可以包含：智能手机和平板电脑等移动设备；智能家居设备；笔记本电脑或个人数字助理，等等。
目标设备可以实施不具有触屏输入功能的设备，比如为电视机或机顶盒，等等。
以上示范性描述了智能设备和目标设备的典型实例，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。
在一个实施方式中，在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面包括：基于与目标设备的投屏连接，获取目标设备的输入法键盘界面；在智能设备的显示界面上显示输入法键盘界面。
在一个实施方式中，获取目标设备的输入法键盘界面包括下列中的至少一个：获取流媒体格式的输入法键盘界面；获取编码图片格式的输入法键盘界面；获取RGB数据格式的输入法键盘界面，等等。其中：
(1)、当目标设备的硬件编码器支持流媒体格式时，智能设备基于与目标设备的投屏连接获取流媒体格式的输入法键盘界面。其中目标设备基于存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、RGB数据格式的输入法键盘界面转换出流媒体格式的输入法键盘界面。
(2)、当目标设备的硬件编码器不支持流媒体格式且投屏连接的数据传输速率低于预定门限值时，智能设备基于与目标设备的投屏连接获取编码图片格式的输入法键盘界面，其中目标设备基于存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、RGB数据格式的输入法键盘界面转换出所述编码图片格式的输入法键盘界面。
(3)、当目标设备的硬件编码器不支持流媒体格式且投屏连接的数据传输速率大于或等于预定门限值时，智能设备基于与目标设备的投屏连接获取存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、RGB数据格式的输入法键盘界面。
步骤102：检测在智能设备的显示界面上的、关于输入法键盘界面的触摸操作。
在这里，在智能设备的显示界面上，检测在输入法键盘界面的显示范围内的触摸操作。
步骤103：将触摸操作转换为发送到目标设备的、目标设备上的键盘输入。
在一个实施方式中，步骤103将触摸操作转换为发送到目标设备的、目标设备上的键盘输入包括：
当目标设备具备坐标输入能力时，将触摸操作中的触摸坐标转换为智能设备的键盘坐标；将键盘坐标发送到目标设备，从而由目标设备基于该键盘坐标确定目标设备上的键盘输入。
具体的，将目标设备发过来的图片分辨率换算成适应移动设备屏幕的分辨率，在此过程中会产生坐标变换参数，在用户触摸智能设备的屏幕产生触屏坐标时，通过坐标变换参数将触屏坐标变换成键盘坐标，将键盘坐标发送给目标设备以完成输入。
其中，智能设备中的触屏坐标与目标设备中的键盘坐标的转换关系如下：
Figure BDA0002568100880000071
其中Xk和Yk为键盘坐标；Xt和Yt为触屏坐标；Wt为触屏宽度；Ht为触屏高度。
可见，当目标设备具备坐标输入能力时，智能设备可以将键盘坐标发送到目标设备，从而由目标设备自身基于该键盘坐标确定按键KEY值，并基于按键KEY值确定目标设备上的键盘输入。
在一个实施方式中，步骤103中将触摸操作转换为发送到目标设备的、目标设备上的键盘输入包括：
基于对输入法键盘界面的图像识别操作，确定智能设备的每个键盘坐标与其按键KEY值之间的第一对应关系；当目标设备具备按键KEY值输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标，基于所述第一对应关系确定出对应于该键盘坐标的按键KEY值，发送按键KEY值到目标设备，从而由所述目标设备基于按键KEY值确定目标设备上的键盘输入。
可见，当目标设备具备按键KEY值输入能力时，智能设备可以将按键KEY值发送到目标设备，从而由目标设备基于该按键KEY值直接确定目标设备上的键盘输入。
在一个实施方式中，步骤103中将触摸操作转换为发送到目标设备的、目标设备上的键盘输入包括：
基于对输入法键盘界面的图像识别操作，确定智能设备的每个键盘坐标与其按键KEY值之间的第一对应关系以及智能设备的任意两个按键之间的移动轨迹与实现该移动轨迹的按键组合之间的第二对应关系；当目标设备具备按键输入能力时，将触摸操作中的触摸坐标转换为智能设备的键盘坐标，基于第一对应关系确定出对应于该键盘坐标的按键KEY值，基于第二对应关系，确定对应于从当前KEY值的按键移动到对应于该键盘坐标的按键KEY值的移动轨迹的按键组合，将所述按键组合和当前KEY值发送到目标设备，从而由目标设备将从对应于当前KEY值的按键处执行该按键组合后的目的按键，确定为目标设备上的键盘输入。
可见，对支持按键输入能力的目标设备，可以将触屏事件或坐标转换成按键组合，通过传送按键组合实现目标设备上的键盘输入。
优选地，对输入法键盘界面的图像识别操作包括：利用机器学习算法训练得到的神经网络对输入法键盘界面执行图像识别操作，其中采用已知的输入法键盘界面作为该神经网络的训练数据集。
在一个实施方式中，该方法还包括判断目标设备是否具备按键输入能力的过程，该过程包括：检测在智能设备的显示界面上的、关于输入法键盘界面上的预定按键的触摸操作；在智能设备的显示界面上以投屏方式显示目标设备的更新后输入法键盘界面；基于对更新后输入法键盘界面的图像识别操作，判断目标设备是否具备按键输入能力，其中当更新后输入法键盘界面中的预定按键高亮时，确定目标设备具备按键输入能力，否则确定目标设备不具备按键输入能力。
图2为根据本发明的目标设备与智能设备的交互图。
其中，目标设备包括：
(1)、投屏发送(source)模块：与移动设备的投屏接收(sink)模块建立投屏连接，将目标设备指定的信息投射到智能设备。
(2)、虚拟显示模块：基于软件实现模拟真实显示设备，用作投屏的源数据，渲染到虚拟显示模块上的内容都不会显示在目标设备主屏幕上，而是被投射到智能设备。
(3)、输入法模块：渲染输入法界面到虚拟显示模块，接收来自智能设备的按键信息(如按键KEY值或按键的坐标等)，并根据按键信息执行文本输入。
(4)、环境检测模块：在投射键盘界面的时候，需要根据当前软硬件环境和网络状况自动决定是否要编码成流媒体；如果不支持编码成流媒体，则自动决定编码成图片还是直接发送未编码的RGB数据。
(5)、编码模块：通过软件或者硬件的方式对投屏数据进行编码，以成流媒体或图片。
智能设备(比如智能手机/平板电脑)包括：
(1)、投屏接收模块：与目标设备的投屏发送模块建立投屏连接，接收目标设备发来的投屏信息。
(2)、信息解析模块：解析目标设备发来的投屏信息，分析其数据类型是流媒体、编码后图片还是未编码的RGB数据。
(3)、解码模块：通过软件或者硬件的方式对流媒体或者编码后图片进行解码
(4)、渲染模块：如果目标设备发过来的投屏信息是未编码的RGB图片，直接将其渲染。
(5)、键盘分析模块：对不支持坐标输入(鼠标/触屏)事件的目标设备，可以将触屏事件或坐标转换成遥控器按键组合，此时可以利用人工智能(AI)技术对键盘的布局进行分析，找到键盘坐标和KEY的对应关系以及KEY之间的转换关系，并识别出当前KEY，在此过程中会产生坐标按键映射表、按键间转换映射表和当前KEY，其中坐标按键映射表记录键盘坐标对应的KEY；按键间转换映射表记录两个KEY之间等价的遥控器方向键组合，用于将触屏输入操作转换成遥控器按键组合输入；当前KEY是用户上一次输入的KEY或者键盘APP首次启动时的默认KEY。
(6)、触屏输入模块：根据用户的触摸操作产生触屏坐标。
(7)、坐标变换模块：其中当目标设备支持坐标输入时，坐标变换模块将目标设备发过来的图片分辨率换算成适应移动设备屏幕的分辨率，在此过程中会产生一个坐标变换参数，在用户触摸移动设备的屏幕产生触屏坐标时，通过坐标变换参数将触屏坐标变换成键盘坐标，发送给目标设备，完成输入。当目标设备仅支持遥控器按键输入时，将键盘坐标输入到坐标按键映射表中，以查找用户点击的KEY值；将用户此次点击的KEY值和上一次点击的KEY值输入按键间转换映射表，以计算出两个KEY值之间等同于多少个遥控器的方向键，附加上确定键以形成按键组合，将按键组合发送给目标设备，从而模拟出遥控器的输入操作，完成输入。
图3为根据本发明的系统环境检测示意图。
基于图3可见，可以通过系统调用接口查询硬件编码器是否可用以及支持的编码格式。其中：
(1)、如果目标设备的硬件编码器可用并且支持当前系统投屏协议所要求的流媒体格式，则目标设备将投屏数据编码成流媒体。
(2)、如果目标设备的当前硬件编码器不可用或者不支持相关流媒体编码，则通过系统调用查看当前投屏网络(如WiFi Direct)的连接状态，如果目标设备和智能设备的数据传输速度低于某一预定阈值，则目标设备将投屏数据编码成图片。
(3)、如果目标设备的当前硬件编码器可用且支持图片编码，则优先使用硬编码器编码成图片，否则使用软件的方式编码。
(4)、如果目标设备的当前硬件编码器不可用或者不支持相关流媒体编码，且目标设备和智能设备的投屏数据传输速度达到或高于某一预定阈值，直接将未编码的RGB数据发送到智能设备。
检测硬编码器的状态仅在开始时检测一次，后续无需继续检测；对于编码成图片和不编码的情况，可以持续检测网络连接速度，如果网络连接速度从高于阈值变为低于阈值或从低于阈值变为高于阈值，且变化后状态保持一段时间稳定，则根据实际情况自动切换编码形式。
图4为根据本发明的硬编码处理示意图。
由图4可见，输入法APP可以使用图形渲染和视窗系统等技术将自身窗口渲染到虚拟屏幕或隐藏缓冲帧(对应于内存里的一个数据块，如framebuffer)。通过系统调用接口获取该framebuffer的标记(如FD)，并通过编码器系统调用接口将标记设置为编码器的输入。通过编码器系统调用将投屏模块设置为编码器的输出。通过编码器系统调用设置编码器所需的其他参数(如编码格式、分辨率、帧率等)。通过编码器系统调用以启动编码器开始编码。
图5为根据本发明的软编码处理示意图。
由图5可见，输入法APP使用图形渲染和视窗系统等技术将自身窗口渲染到虚拟屏幕或隐藏缓冲帧(对应于内存里的一个数据块，如framebuffer)。通过系统调用接口获取该framebuffer的标记(如FD)，并将该标记共享给软编码模块。设置编码参数，如编码格式、分辨率、帧率等。软编码模块通过标记读取framebuffer的内容并对其进行编码，并将编码后数据发送到投屏模块实现投屏。
下面描述基于AI算法生成按键坐标映射表和按键间转换映射表的过程，以及基于AI算法检测目标设备是否支持坐标输入和按键KEY输入的过程。
图6为根据本发明基于神经网络计算按键坐标的示意图。
由图6可见，神经网络的输入为键盘图像，神经网络的输出为按键坐标映射表。可以采用机器学习方法训练神经网络(优选使用FasterRCN网络)，其中选取当前各种主流输入法界面作为其训练数据集，让神经网络具备按键识别、按键分割、按键坐标采集等功能。首先，将训练好的神经网络部署在智能设备上。神经网络接收到目标设备投射过来的输入法界面后，对其进行识别，识别出每个按键的坐标和尺寸，将按键的坐标和尺寸信息保存，从而形成按键坐标映射表。
图7为根据本发明基于神经网络计算按键间距的示意图。
由图7可见神经网络的输入为键盘图像，神经网络的输出为按键间转换映射表。采用机器学习方法训练神经网络(优选使用FasterRCN网络)，其中选取当前各种主流输入法界面作为其训练数据集，让神经网络具备目标按键间距计算能力，即确定任意两个目标按键之间在垂直和水平方向上分别隔着多少个按键。将训练好的神经网络部署在智能设备上。神经网络接收到目标设备投射过来的输入法界面后，对其进行识别，识别出任意两个按键之间的间距，并保存任意两个按键之间的间距以形成按键间转换映射表。
图8为根据本发明基于神经网络检测目标设备是否支持坐标输入和按键KEY输入的示意图。图9为根据本发明检测目标设备是否支持坐标输入或按键KEY输入的流程图。
由图8可见，神经网络的输入为：用户输入的按键KEY和按键后的键盘图像；神经网络的输出为：键盘图像是否符合预期。采用机器学习方法训练神经网络(优选使用FasterRCN网络)，其中选取当前各种主流输入法界面作为其训练数据集，让神经网络具有高亮按键检测、判断高亮按键是否符合预期等功能。将训练好的算法部署在智能设备上。在用户输入特定按键后，获取键盘的最新图像，检测键盘图像是否符合预期。比如用户在智能设备上输入按键D，如果目标设备支持坐标输入或按键KEY输入，那么智能设备上显示的键盘图像上的按键D应该是高亮的，否则可以确定目标设备不支持坐标输入或按键KEY输入，仅支持按键输入能力。
下面描述本发明实施方式的典型实施例。
实施例一：当目标设备支持坐标输入或KEY值输入时：
图10为根据本发明的投屏处理示意图。
参照图10，在投屏处理中，用户在目标设备上选中文本输入框，启动输入法，此时自动判断当前系统的投屏状态是否已经就绪，如果没有就绪，则将输入法界面渲染到目标设备主屏幕，使用遥控器输入文本；如果已经就绪，则将输入法界面渲染到虚拟屏幕或隐藏帧缓冲，同步投射到移动设备。
输入法界面渲染到虚拟屏幕或隐藏帧缓冲后，在传输投屏数据前，目标设备自动检测当前系统环境：(a)、如果当前系统支持相关流媒体硬件编码功能，则优先选择将投屏数据编码成流媒体；(b)、如果当前系统不支持相关流媒体硬件编码功能，则检测当前网络速度，如果当前网络速度低于预设阈值，则优先选择将投屏数据编码成图片；(c)、如果当前系统不支持硬件编码功能，但是当前网络速度等于或高于预设阈值，则可以不编码图片，直接传输RGB数据。
在上述各种处理后完成后，通过投屏发送模块将数据发送到智能设备的投屏接收模块。
智能设备收到投屏数据后，分析数据的类型，并对其加以不同的处理，其中如果投屏数据是流媒体，解码流媒体数据，如果投屏数据是图片，解码图片数据，如果投屏数据是RGB图片，则使用Graphic技术渲染。在解码和渲染等工作完成后，得到原始帧数据，智能设备对原始帧数据进行分辨率调整，以适应智能设备屏幕的分辨率，提升视觉效果。而且，智能设备利用AI技术对键盘的布局进行分析，找到键盘坐标和按键的对应关系以及按键之间的转换关系，并识别出当前按键，在此过程中会产生两个表和一个当前按键：坐标按键映射表：记录键盘坐标对应的KEY；按键间转换映射表：记录两个目标KEY在垂直和水平方向上分别间隔多少KEY，用于将触屏输入操作转换成遥控器按键组合；当前KEY：用户上一次输入的KEY或者输入法首次启动时的默认高亮KEY。
在文本输入过程中，用户通过智能设备的触屏屏幕完成操作动作，智能设备将获得屏幕坐标，由于键盘界面可能在上述过程中经过了分辨率转换处理，所以需要将屏幕坐标转换成键盘坐标。
智能设备还判断目标设备是否支持坐标输入或KEY值输入。如果目标设备支持坐标输入或KEY值输入，则直接将键盘坐标或坐标对应的KEY值发送过去。目标设备接收到坐标数据或KEY值，如果是键盘坐标则根据输入法APP的内部数据，将键盘坐标转换成KEY。目标设备得到选中的KEY之后，将选中的KEY高亮并完成文本输入。
实施例二：当目标设备不支持坐标输入或KEY值输入，仅支持按键输入时：
图10为根据本发明的投屏处理示意图。
继续参照图10，在投屏处理中，用户在目标设备上选中文本输入框，启动输入法，此时自动判断当前系统的投屏状态是否已经就绪，如果没有就绪，则将输入法界面渲染到目标设备主屏幕，使用遥控器输入文本；如果已经就绪，则将输入法界面渲染到虚拟屏幕或隐藏帧缓冲，同步投射到移动设备。
输入法界面渲染到虚拟屏幕或隐藏帧缓冲后，在传输投屏数据前，目标设备自动检测当前系统环境：(a)、如果当前系统支持相关流媒体硬件编码功能，则优先选择将投屏数据编码成流媒体；(b)、如果当前系统不支持相关流媒体硬件编码功能，则检测当前网络速度，如果当前网络速度低于预设阈值，则优先选择将投屏数据编码成图片；(c)、如果当前系统不支持硬件编码功能，但是当前网络速度等于或高于预设阈值，则可以不编码图片，直接传输RGB数据。
在上述各种处理后完成后，通过投屏发送模块将数据发送到智能设备的投屏接收模块。
智能设备收到投屏数据后，分析数据的类型，并对其加以不同的处理，其中如果投屏数据是流媒体，解码流媒体数据，如果投屏数据是图片，解码图片数据，如果投屏数据是RGB图片，则使用Graphic技术渲染。在解码和渲染等工作完成后，得到原始帧数据，智能设备对原始帧数据进行分辨率调整，以适应智能设备屏幕的分辨率，提升视觉效果。而且，智能设备利用AI技术对键盘的布局进行分析，找到键盘坐标和按键的对应关系以及按键之间的转换关系，并识别出当前按键，在此过程中会产生两个表和一个当前按键：坐标按键映射表：记录键盘坐标对应的KEY；按键间转换映射表：记录两个目标KEY在垂直和水平方向上分别间隔多少KEY，用于将触屏输入操作转换成遥控器按键组合；当前KEY：用户上一次输入的KEY或者输入法首次启动时的默认高亮KEY。
图11为根据本发明的第一文本输入示意图。图12为根据本发明的第二文本输入示意图。
基于图11和图12可见，在文本输入过程中，用户通过智能设备的触摸屏完成触屏操作，智能设备将会获得屏幕坐标，由于键盘界面可能在上述过程中经过分辨率转换处理，所以需要将屏幕坐标转换成键盘坐标。由于目标设备不支持坐标或KEY值输入，则需要通过查找坐标按键映射表找到键盘坐标对应的KEY2，结合自动识别出来的用户上一次输入的KEY1，通过按键间转换映射表计算出遥控器从KEY1移动焦点到KEY2所需要经历的按键组合。然后，智能设备一次性将按键组合发送到目标设备。目标设备接收到遥控器按键组合后，一次性执行所有按键，并得到选中的KEY。目标设备得到选中的KEY之后，将选中的KEY高亮并完成文本输入。
图13为根据本发明自动检测当前环境以决定编码形式的处理示意图。
基于图13，可以自动检测当前环境以决定编码形式。其中通过系统调用查看当前系统是否支持硬件编码以及硬件编码器是否支持投屏所需的流媒体编码格式，如比较主流的H264，如果支持，则使用流媒体编码。
对于不支持流媒体编码的情形，选择编码成图片或不编码。可以设置一个条件：投屏数据传输速度大于或等于100Mbps，则选择不编码；如果投屏数据传输速度小于100Mbps，则选择编码成JPEG图片。
如果网络状态发生变化，如从80Mbps变化为120Mbps且稳定一定时间，则从将编码方式从编码成图片切换为不编码。
图14A为本发明实施方式与现有技术的第一对比示意图。图14B为本发明实施方式与现有技术的第二对比示意图。图14C为本发明实施方式与现有技术的第三对比示意图。
由图14A可见，本发明实施方式可以为不支持触屏功能的设备提供通过触屏输入文本的方法，显著提升用户体验。由图14B可见，本发明实施方式可以将智能输入的触屏坐标转换为一组遥控器按键的组合，一次性发送给目标设备，为仅支持遥控器输入的目标设备提供触屏输入功能。由图14C可见，本发明实施方式仅需要智能设备支持目前通用的投屏技术和上述AI算法，而不需要其他安装特定软件，目标设备的输入法可以随时升级或更新，不需要智能设备保持同步更新，实现即投即显。
基于上述描述，本发明实施方式还提出了键盘输入装置。
图15为根据本发明的键盘输入装置的结构图。键盘输入装置适用于智能设备，该键盘输入装置包括：
投屏模块1501，用于在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面；
检测模块1502，用于检测在智能设备的显示界面上的、关于所述输入法键盘界面的触摸操作；
发送模块1503，用于将所述触摸操作转换为发送到目标设备的、目标设备上的键盘输入。
在一个实施方式中，投屏模块1501，用于基于与目标设备的投屏连接，获取目标设备的输入法键盘界面；在智能设备的显示界面上显示所述输入法键盘界面。
在一个实施方式中，投屏模块1501，用于执行下列中的至少一个：获取流媒体格式的输入法键盘界面；获取编码图片格式的输入法键盘界面；获取RGB数据格式的输入法键盘界面，等等。
在一个实施方式中，投屏模块1501，用于当目标设备的硬件编码器支持流媒体格式时，获取所述流媒体格式的输入法键盘界面，其中目标设备基于存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、RGB数据格式的输入法键盘界面转换出所述流媒体格式的输入法键盘界面；当目标设备的硬件编码器不支持流媒体格式且所述投屏连接的数据传输速率低于预定门限值时，获取编码图片格式的输入法键盘界面，其中目标设备基于存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、RGB数据格式的输入法键盘界面转换出所述编码图片格式的输入法键盘界面；当目标设备的硬件编码器不支持流媒体格式且所述投屏连接的数据传输速率大于或等于预定门限值时，获取存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、所述RGB数据格式的输入法键盘界面。
在一个实施方式中，发送模块1503，当目标设备具备坐标输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标；将所述键盘坐标发送到目标设备，从而由所述目标设备基于该键盘坐标确定目标设备上的键盘输入。
在一个实施方式中，发送模块1503，用于基于对输入法键盘界面的图像识别操作，确定智能设备的每个键盘坐标与其按键KEY值之间的第一对应关系；当目标设备具备按键KEY值输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标，基于所述第一对应关系确定出对应于该键盘坐标的按键KEY值，发送所述按键KEY值到目标设备，从而由所述目标设备基于所述按键KEY值确定目标设备上的键盘输入。
在一个实施方式中，发送模块1503，基于对输入法键盘界面的图像识别操作，确定智能设备的每个键盘坐标与其按键KEY值之间的第一对应关系以及智能设备的任意两个按键之间的移动轨迹与实现该移动轨迹的按键组合之间的第二对应关系；当目标设备具备按键输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标，基于所述第一对应关系确定出对应于该键盘坐标的按键KEY值，基于所述第二对应关系，确定对应于从当前KEY值的按键移动到对应于该键盘坐标的按键KEY值的移动轨迹的按键组合，将所述按键组合和当前KEY值发送到目标设备，从而由所述目标设备将从对应于当前KEY值的按键处执行该按键组合后的目的按键，确定为目标设备上的键盘输入。
在一个实施方式中，发送模块1503，用于利用机器学习算法训练得到的神经网络对输入法键盘界面执行图像识别操作，其中采用已知的输入法键盘界面作为该神经网络的训练数据集。
在一个实施方式中，检测模块1502，还用于检测在智能设备的显示界面上的、关于所述输入法键盘界面上的预定按键的触摸操作；投屏模块1501，还用于在智能设备的显示界面上以投屏方式显示目标设备的更新后输入法键盘界面；发送模块1503，还用于基于对更新后输入法键盘界面的图像识别操作，判断目标设备是否具备按键输入能力，其中当更新后输入法键盘界面中的预定按键高亮时，确定目标设备具备按键输入能力，否则确定目标设备不具备按键输入能力。
本发明实施方式还提出了具有存储器-处理器架构的智能设备。
图16为根据本发明具有存储器-处理器架构的智能设备的结构图。
如图16所示，具有存储器-处理器架构的智能设备包括：处理器1601和存储器1602；其中存储器1602中存储有可被处理器1601执行的应用程序，用于使得处理器1601执行如上任一项所述的键盘输入方法。
其中，存储器1602具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器1601可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU。
综上所述，在本发明实施方式中，在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面；检测在智能设备的显示界面上的、关于所述输入法键盘界面的触摸操作；将所述触摸操作转换为发送到目标设备的、目标设备上的键盘输入。由此可见，本发明实施方可以将智能设备的触摸输入功能提供到目标设备，从而提高目标设备的输入效率。
而且，对于仅支持按键输入能力的目标设备，本发明实施方式将触屏事件或坐标转换成按键组合，通过传送按键组合实现目标设备上的键盘输入，保证了目标设备同样可以利用智能设备的触摸输入功能。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本申请所述方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。
用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种键盘输入方法，其特征在于，该方法适用于智能设备，该方法包括：
在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面；
检测在智能设备的显示界面上的、关于所述输入法键盘界面的触摸操作；
将所述触摸操作转换为发送到目标设备的、目标设备上的键盘输入。
2.根据权利要求1所述的键盘输入方法，其特征在于，所述在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面包括：
基于与目标设备的投屏连接，获取目标设备的输入法键盘界面；
在智能设备的显示界面上显示所述输入法键盘界面。
3.根据权利要求2所述的键盘输入方法，其特征在于，所述获取目标设备的输入法键盘界面包括下列中的至少一个：
获取流媒体格式的输入法键盘界面；
获取编码图片格式的输入法键盘界面；
获取RGB数据格式的输入法键盘界面。
4.根据权利要求3所述的键盘输入方法，其特征在于，
其中当目标设备的硬件编码器支持流媒体格式时，获取所述流媒体格式的输入法键盘界面，其中目标设备基于存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、RGB数据格式的输入法键盘界面转换出所述流媒体格式的输入法键盘界面；
当目标设备的硬件编码器不支持流媒体格式且所述投屏连接的数据传输速率低于预定门限值时，获取编码图片格式的输入法键盘界面，其中目标设备基于存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、RGB数据格式的输入法键盘界面转换出所述编码图片格式的输入法键盘界面；
当目标设备的硬件编码器不支持流媒体格式且所述投屏连接的数据传输速率大于或等于预定门限值时，获取存储在目标设备的隐藏缓冲帧或虚拟屏幕中的、所述RGB数据格式的输入法键盘界面。
5.根据权利要求1所述的键盘输入方法，其特征在于，
所述将触摸操作转换为发送到目标设备的、目标设备上的键盘输入包括：
当目标设备具备坐标输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标；
将所述键盘坐标发送到目标设备，从而由所述目标设备基于该键盘坐标确定目标设备上的键盘输入。
6.根据权利要求1所述的键盘输入方法，其特征在于，
所述将触摸操作转换为发送到目标设备的、目标设备上的键盘输入包括：
基于对输入法键盘界面的图像识别操作，确定智能设备的每个键盘坐标与其按键KEY值之间的第一对应关系；
当目标设备具备按键KEY值输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标，基于所述第一对应关系确定出对应于该键盘坐标的按键KEY值，发送所述按键KEY值到目标设备，从而由所述目标设备基于所述按键KEY值确定目标设备上的键盘输入。
7.根据权利要求1所述的键盘输入方法，其特征在于，
所述将触摸操作转换为发送到目标设备的、目标设备上的键盘输入包括：
基于对输入法键盘界面的图像识别操作，确定智能设备的每个键盘坐标与其按键KEY值之间的第一对应关系以及智能设备的任意两个按键之间的移动轨迹与实现该移动轨迹的按键组合之间的第二对应关系；
当目标设备具备按键输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标，基于所述第一对应关系确定出对应于该键盘坐标的按键KEY值，基于所述第二对应关系，确定对应于从当前KEY值的按键移动到对应于该键盘坐标的按键KEY值的移动轨迹的按键组合，将所述按键组合和当前KEY值发送到目标设备，从而由所述目标设备将从对应于当前KEY值的按键处执行该按键组合后的目的按键，确定为目标设备上的键盘输入。
8.根据权利要求6或7所述的键盘输入方法，其特征在于，所述对输入法键盘界面的图像识别操作包括：
利用机器学习算法训练得到的神经网络对输入法键盘界面执行图像识别操作，其中采用已知的输入法键盘界面作为该神经网络的训练数据集。
9.根据权利要求7所述的键盘输入方法，其特征在于，还包括判断目标设备是否具备按键输入能力的过程，该过程包括：
检测在智能设备的显示界面上的、关于所述输入法键盘界面上的预定按键的触摸操作；
在智能设备的显示界面上以投屏方式显示目标设备的更新后输入法键盘界面；
基于对更新后输入法键盘界面的图像识别操作，判断目标设备是否具备按键输入能力，其中当更新后输入法键盘界面中的预定按键高亮时，确定目标设备具备按键输入能力，否则确定目标设备不具备按键输入能力。
10.一种键盘输入装置，其特征在于，该装置适用于智能设备，该装置包括：
投屏模块，用于在智能设备的显示界面上以投屏方式显示目标设备的输入法键盘界面；
检测模块，用于检测在智能设备的显示界面上的、关于所述输入法键盘界面的触摸操作；
发送模块，用于将所述触摸操作转换为发送到目标设备的、目标设备上的键盘输入。
11.根据权利要求10所述的键盘输入装置，其特征在于，
投屏模块，用于基于与目标设备的投屏连接，获取目标设备的输入法键盘界面；在智能设备的显示界面上显示所述输入法键盘界面。
12.根据权利要求10所述的键盘输入装置，其特征在于，
发送模块，当目标设备具备坐标输入能力时，将所述触摸操作中的触摸坐标转换为智能设备的键盘坐标；将所述键盘坐标发送到目标设备，从而由所述目标设备基于该键盘坐标确定目标设备上的键盘输入。
CN202010636848.9A 2020-07-03 2020-07-03 一种键盘输入方法和键盘输入装置 Active CN111787410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010636848.9A CN111787410B (zh) 2020-07-03 2020-07-03 一种键盘输入方法和键盘输入装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010636848.9A CN111787410B (zh) 2020-07-03 2020-07-03 一种键盘输入方法和键盘输入装置

Publications (2)

Publication Number Publication Date
CN111787410A true CN111787410A (zh) 2020-10-16
CN111787410B CN111787410B (zh) 2022-03-29

Family

ID=72759523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010636848.9A Active CN111787410B (zh) 2020-07-03 2020-07-03 一种键盘输入方法和键盘输入装置

Country Status (1)

Country Link
CN (1) CN111787410B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515244A (zh) * 2021-03-24 2021-10-19 深圳乐播科技有限公司 基于投屏的终端遥控方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110074794A1 (en) * 2009-09-29 2011-03-31 Verizon Patent And Licensing, Inc. Systems and methods for casting a graphical user interface display of a mobile device to a display screen associated with a set-top-box device
CN104375666A (zh) * 2014-12-11 2015-02-25 上海触乐信息科技有限公司 跨设备的输入方法、处理装置、输入设备及智能显示设备
CN104503661A (zh) * 2014-12-22 2015-04-08 无锡天脉聚源传媒科技有限公司 一种字符输入方法、装置及系统
CN105120327A (zh) * 2015-02-04 2015-12-02 张沈平 一种电子设备间的输入方法及相应的电子设备
CN106227433A (zh) * 2016-07-08 2016-12-14 深圳埃蒙克斯科技有限公司 一种基于移动终端控制pc的方法、移动终端
CN107272881A (zh) * 2017-04-26 2017-10-20 北京新美互通科技有限公司 一种信息输入方法及装置，输入法键盘和电子设备
CN108415654A (zh) * 2017-02-10 2018-08-17 上海真曦通信技术有限公司 虚拟输入系统和相关方法
CN110417992A (zh) * 2019-06-20 2019-11-05 华为技术有限公司 一种输入方法、电子设备和投屏系统
CN110837308A (zh) * 2019-11-13 2020-02-25 联想(北京)有限公司 信息处理方法、装置及电子设备
CN110941376A (zh) * 2019-11-29 2020-03-31 联想(北京)有限公司 显示控制方法及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110074794A1 (en) * 2009-09-29 2011-03-31 Verizon Patent And Licensing, Inc. Systems and methods for casting a graphical user interface display of a mobile device to a display screen associated with a set-top-box device
CN104375666A (zh) * 2014-12-11 2015-02-25 上海触乐信息科技有限公司 跨设备的输入方法、处理装置、输入设备及智能显示设备
CN104503661A (zh) * 2014-12-22 2015-04-08 无锡天脉聚源传媒科技有限公司 一种字符输入方法、装置及系统
CN105120327A (zh) * 2015-02-04 2015-12-02 张沈平 一种电子设备间的输入方法及相应的电子设备
CN106227433A (zh) * 2016-07-08 2016-12-14 深圳埃蒙克斯科技有限公司 一种基于移动终端控制pc的方法、移动终端
CN108415654A (zh) * 2017-02-10 2018-08-17 上海真曦通信技术有限公司 虚拟输入系统和相关方法
CN107272881A (zh) * 2017-04-26 2017-10-20 北京新美互通科技有限公司 一种信息输入方法及装置，输入法键盘和电子设备
CN110417992A (zh) * 2019-06-20 2019-11-05 华为技术有限公司 一种输入方法、电子设备和投屏系统
CN110837308A (zh) * 2019-11-13 2020-02-25 联想(北京)有限公司 信息处理方法、装置及电子设备
CN110941376A (zh) * 2019-11-29 2020-03-31 联想(北京)有限公司 显示控制方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
俞木发: "操作更便捷 电脑控制手机", 《电脑爱好者》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515244A (zh) * 2021-03-24 2021-10-19 深圳乐播科技有限公司 基于投屏的终端遥控方法、装置、设备及存储介质
CN113515244B (zh) * 2021-03-24 2024-03-22 深圳乐播科技有限公司 基于投屏的终端遥控方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111787410B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
US11526325B2 (en) Projection, control, and management of user device applications using a connected resource
US10248216B2 (en) Method for operating terminal device with gesture and device
US9424255B2 (en) Server-assisted object recognition and tracking for mobile devices
JP6624958B2 (ja) 通信装置、通信システム、通信制御方法およびコンピュータプログラム
US10452777B2 (en) Display apparatus and character correcting method thereof
US10789474B2 (en) System, method and apparatus for displaying information
US10990226B2 (en) Inputting information using a virtual canvas
KR101486177B1 (ko) 손 검출을 제공하기 위한 방법 및 장치
US20140082465A1 (en) Method and apparatus for generating immersive-media, mobile terminal using the same
WO2019164753A1 (en) Efficient streaming video for static video content
KR101903142B1 (ko) 텔레비전 디바이스상에 웹 콘텐츠를 원격 렌더링하기 위한 방법들, 시스템들 및 매체들
KR20100100305A (ko) 비주얼 코드를 이용한 원격 조작 방법 및 그 방법을 수행하는 장치
CN111556350B (zh) 一种智能终端及人机交互方法
CN111787410B (zh) 一种键盘输入方法和键盘输入装置
CN106650727B (zh) 一种信息显示方法以及ar设备
JPWO2013145874A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20150123900A1 (en) Method and device for moving cursor of television
US10983745B2 (en) Display device and display system including same
CN106778449B (zh) 动态影像的物件辨识方法及自动截取目标图像的互动式影片建立方法
CN114820891A (zh) 唇形生成方法、装置、设备及介质
JP2013207356A (ja) 情報処理装置、情報処理方法およびプログラム
KR20220026426A (ko) 비디오 품질 향상 방법 및 장치
JP6064995B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR102442084B1 (ko) 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법
US9066071B2 (en) Method and apparatus for providing screen data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant