CN111007977A - 智能虚拟交互方法及装置 - Google Patents

Abstract

更加智能便捷提升实体键盘、虚拟键盘、鼠标、软鼠标及手势、手写、各种动作输入等交互方式的智能虚拟输入方法和电子装置，实现其相关功能。它是由软触控板和虚拟键盘等构成。软触控板界面更加智能便捷实现笔记本和计算机的实体触控板的功能。软触控板通过下列参数之一或其组合，判断手指的不同动作：开始时间，结束时间，动作的进行的时长，时间间隔，距离，方向，位移的绝对值等，或从上述参数的推算值。软触控板上的鼠标光标可以更加智能便捷准确地移动到用户指定的地方，实现鼠标的基础功能，实现电子黑板、平板电脑、手机的虚拟键盘的功能和精简实用的实体键盘鼠标功能、手势、手写、各种动作输入及相关更加智能便捷功能。

Description

智能虚拟交互方法及装置

技术领域

本发明涉及虚拟输入技术，更具体地，涉及一种虚拟键盘上手指定位、停靠、滑动、点击的处理方法和电子装置。

背景技术

使用windows系统大屏幕的平板电脑时，如果不配套实体键盘和鼠标，使用系统自带的虚拟键盘、触控鼠标，每次输入必须先要眼睛判断按键位置，输入完成后手指要蜷缩抬起，防止遮挡屏幕，并且虚拟键盘和触控鼠标对屏幕的遮挡大，因此，与使用实体键盘、鼠标相比，使用非常不方便：

1、每次按键前需要眼睛确认按键位置在点击，与使用实体键盘的盲打相比，输入效率极低。

2、等待输入时，手指要蜷缩，手腕要抬起，防止遮挡视线和误操作，短时间内，手腕和手指会非常劳累，需要休息放松才能继续操作，输入效率上，与实体键盘差距太大。

3、虚拟键盘和触控鼠标，用2个程序窗口显示，对屏幕遮挡很大，使用过程中，需要多次移动窗口，严重影响用户的使用效率。

根据用户体验，当前，用平板电脑的虚拟键盘输入文字超过20分钟，颈部、手指关节和手腕都会非常劳累，并且一定时间内，虚拟键盘的输入速度不及实体键盘的三分之一。

发明内容

1、一种具有多功能的键盘鼠标式输入装置软件，由软触控板和软键盘组成。其特征是：进入触控板界面时，左键、中键、右键、鼠标(图标)的区域及相对位置明确，触控板对应区域为20％透明，按住键盘对应键后可以切换到键盘界面，软触控板和左中右键暂时隐藏，所有操作功能键不进行变动，左、中、右键和软触控板底色为透明，该透明度可调，功能键用线条加以区分开。

2、所述的具有多功能的键盘鼠标式输入装置软件，其特征是：软键盘的触摸区显示一个虚拟(假、虚线的)鼠标光标，在非触摸区显示一个真实鼠标光标，软触控板上的鼠标光标能快速准确地移动到用户指定的地方。

3、所述的具有多功能的键盘鼠标式输入装置软件，其特征是在软触控板界面上具有大小两种尺寸的放大镜，可以根据鼠标移动的速度快慢，显示不同的尺寸，放大镜显示的内容为一圆形区域，其以虚拟鼠标指针位置为圆心，50像素为半径，放大倍数为2.2倍(大)、1.4 倍(小)。

4、所述的具有多功能的键盘鼠标式输入装置软件，其特征是：具有四个界面，第一种界面为字母拼音录入界面，第二种界面为数字加标点符号的界面，第三种界面为手写界面，第四种界面为软鼠标触控板界面。

5、所述的具有多功能的键盘鼠标式输入装置软件，其特征是：软件盘的尺寸可以调整，可设置1～5倍的尺寸放大倍数，同时触控板同步进行缩放。

6、所述的具有多功能的键盘鼠标式输入装置软件，其特征是：在软件的设置参数中选择为有气泡效果，光标所在处，对应出现一个以光标中心为圆心的的气泡，将光标附近的区域凸镜式放大显示出来，形成气泡效果，气泡为90％透明状，气泡的大小与滑动的速度成函数关系，气泡停止滑动就立即消失，开始滑动就立即出现，可以设置是否有气泡、气泡大小及其函数。

7、所述的具有多功能的键盘鼠标式输入装置软件，其特征是：所有的扩展对话框(如候选符号或文字框)，可根据实际的键盘位置自动调整，键盘是不透明的状态，在输入停止移动光标的动作，光标所在的对话框(如百度输入框)区域会跳出软键盘的界面之外，光标位置会始终在软件盘的界面之外进行正常操作，当选择完之后，扩展对话框自动消失，同时原始键盘变成激活等待状态，输入框默认状态在软键盘上面，待光标移动到输入框中，输入框会自动调到软键盘上面。软键盘对话框可移动从而调整位置。

8、所述的具有多功能的键盘鼠标式输入装置软件，其特征是：软键盘尺寸具有可以通过拖拽边框调节大小的功能，软键盘按键也相应同比例调大或者调小，软键盘及按键尺寸可以根据手指粗细全自动调整。

9、所述的具有多功能的键盘鼠标式输入装置软件，其特征是：光标的控制方式有两种，第一种、触控板控制，通过触控板界面来控制光标，第二种、手指点击屏幕控制和触控板控制结合的方式，即手指点击进行大致方位确认，结合触控板进行精确确认，两种控制方式同时或交叉应用。

10、所述的具有多功能的键盘鼠标式输入装置软件，其特征是：切换屏幕的方式有三种，第一种、左右滑动方式，不设定坐标，滑动屏幕就可以在键盘各界面和触控板界面进行切换，第二种、设定坐标，在固定区域滑动进行切换，第三种、功能键切换方式，是默认的切换方式。

11、所述的具有多功能的键盘鼠标式输入装置软件，其特征是：衣服袖子的操作，软触摸板或者软键盘不做出反应。

12、所述的具有多功能的键盘鼠标式输入装置软件，其特征是：可加密软件序列号，根据计算机自带的主板号、机器号等生成软件的附加序列号，并可以网络下载时回传本公司的数据库、邮箱，设置2种方式加密序列号及其接口，且及时提醒升级软件的版本和修补漏洞。

13一种在智能装置上识别手指动作的方法，其特征在于：

在输入手指动作参数后，通过下列参数之一或其组合，判断手指的不同动作：开始时间，结束时间，动作的进行的时长，时间间隔，距离，方向，位移的绝对值，速度的绝对值，加速度的绝对值，加速度参数的导数，手指接触装置的面积，或上述参数的导数或积分，或上述参数的特征值，或从上述参数的推算值；

14一种识别不同动作或运动的方法，其特征在于：

在二维或多维空间中，在输入参数后，通过下列参数之一或其组合，判断不同动作或运动：开始时间，结束时间，动作或运动的进行的时长，时间间隔，距离，方向，位移的绝对值，速度的绝对值，加速度的绝对值，加速度参数的导数，或上述参数的导数或积分，或上述参数的特征值，或从上述参数的推算值；

15、一种根据手指触摸一个触摸的装置的一部分，确定键的位置或其大小的方法，其特征在于：

一个手指的位置确定键在手指的位置或键的大小；

或者，一个手指的接触面积确定键的大小；

16、一种根据手指触摸一个触摸的装置的一部分，确定键盘的位置或其大小的方法，其特征在于：

一个手指的位置确定键盘在手指的位置或键盘的大小；

或者，一个手指的接触面积确定键盘的大小；

17、一种人机交互方法，其特征在于：相同时间内第一装置的部分装置与第二装置的部分装置在其任意的区域重合的任意部分同时间同空间使用这两个装置；

18、一种人机交互方法，其特征在于：避免遮挡用采用智能分屏或智能互不遮挡的技术。

19、一种使用上述权利要求1-6中任意一个权利要求的方法的装置，其特征在于：具体使用上方法，来实现便捷交互。

20、一种人机交互装置，其特征在于：相同时间内第一装置的部分装置与第二装置的部分装置在其任意的区域重合的任意部分同时间同空间使用这两个装置。

附图说明

图1是主要元件符号说明示意图。

图2是键盘操作的正确的手指停靠示例。

图3是本发明的电子装置示意图。

图4是本发明的关键技术的处理单元的模块图。

图5是本发明的操作方法的流程图。

图6是本发明虚拟键盘的常规键盘示意图(第二版)

图7是本发明触控鼠标示意图(第二版)

图8是本发明虚拟键盘的符号键盘示意图(第二版)

图9是本发明虚拟键盘的常规键盘示意图(第一版)

图10是本发明触控鼠标示意图(第一版)

图11是本发明虚拟键盘的符号键盘示意图(第一版)

图12是本发明虚拟键盘和触控鼠标二合一示意图例1

图13是本发明虚拟键盘和触控鼠标二合一示意图例2

图14是本发明虚拟键盘和触控鼠标二合一示意图例3

图15是本发明虚拟键盘和触控鼠标二合一示意图例4

图16是本发明虚拟键盘和触控鼠标二合一示意图例5

具体实施方式

实施例一，如图1、图2、图3、图4、图5

该电子装置10包括一触摸屏20、一处理单元30及一预输入单元40。

该触摸屏20在显示图像的同时，还可相应用户作用于其上的触摸操作。

该电子装置10安装有本发明的一虚拟键盘程序。

该处理单元30执行虚拟键盘程序后于触摸屏20上显示虚拟键盘50。

该预输入单元40存储有该虚拟键盘50上记录的字符。

使用时，该处理单元30响应用户触摸虚拟键盘50某一位置的操作，从预输入单元40中获取该位置相应字符并显示。

本实施例继承使用实体键盘的习惯，双手十指自然停靠在ASDFJKL；和空格键(共九个键，图1)，在输入时手指自然移动、抬起、落下。现以在10英寸屏的平板电脑上的点击输入f 键为例进行说明。

本实施例电子装置包括触摸屏及虚拟键盘(图1)，虚拟键盘包括处理单元有感应模块、存储模块、判定模块、计算模块和预输入单元。其中：

感应模块，用于识别、接收触摸屏虚拟键盘的键位按下、弹开、滑动的行为，提取键位的按下、弹开、同一键位上的触摸点变动轨迹及对应的时间信息，并输出到存储模块。

存储模块，用于保存对虚拟键盘键位操作的即时时间信息、位置信息、方向信息，并输出到计算模块。

计算模块，用于计算对虚拟键盘键位操作中的按下和弹起的时间的绝对值；同一键位上触摸点的滑动距离、滑动耗时、滑动速度和加速度；并输出到判定模块。

判定模块，存储全部参数的设定值，根据计算模块的输入值与设定值比较判断，判定虚拟键盘键位的操作是协同的还是孤立的，进一步判定本次操作是否为有效输入，并将结果输出到预输入单元。

本实施例以上模块的功能还可参见下文的描述或发明内容部分的限定，这里不再赘述。相应的流程如图4所示，包括以下步骤：

步骤100，按图1方式，用户将手指定位到虚拟键盘的asdfjkl；和空格键。

步骤110，存储模块记录各虚拟键位的按下时间。

步骤120，计算模块计算各虚拟键位的时间差，因没有按键抬起，所以时间差无限大。

步骤130，根据设定值，判定为协同操作。

步骤150，根据设定值，判定为停靠动作，无信息输入，继续接收对键位的操作信息。

步骤100，左手抬起，点击f键位并弹起。左手重新停靠关键键位asdf和空格键。

步骤110，存储模块记录各虚拟键位的弹起时间、按下时间。

步骤120，计算模块计算各虚拟键位的时间差，f键按下并弹开的时间差。因右手的空格键定位未弹起，所以空格键的时间差无限大。

步骤130，判定f键按下并弹起为孤立操作；a键、d键、s键及f键第二次的按下为协同操作。

步骤140，判定f键输入一次。判定空格键未弹起没有输入。

步骤150，判定重新停靠a键、d键、s键、f键和空格键，继续接收对键位的操作信息。

步骤160，接收f键的输入信息，继续接收对键位的操作信息。

实施例二

本实施例说明手指定位关键键位并停靠。

对所有按键，判断从按下到弹开的时间差，如果该时间差超过某个特定值t，则认为本次不是有效点击，而只是停靠于此然后拿开。

对于除了ASDFJKL；这几个按键外的其他按键(包括空格)，如果从按下到弹开的时间差少于t，则认为本次是有效按键。

对于ASDFJKL；这几个按键，划分为2个组，第一个组包括ASDF，第二个组包括JKL；。针对每一个组：

如果发现组内的某一个按键x从按下到弹开的时间差少于t，那么判断该动作是孤立的还是协同的。如果是孤立的，则认为本动作是按键有效的，如果是协同的，则认为本动作是按键无效的。

判断是孤立还是协同的标准为：

如果本组内能找到至少一个按键y，满足按键y几乎与按键x同时按下，又几乎和按键y 同时弹开，则认为是协同的，否则就是孤立的。

对于空格键，因为双手的拇指都可能停靠于此，所以与其他按键有所不同。不能只判断按下和抬起状态，而是应该记录每一个现有的触点的状态。任何一个触点从按下到弹开的时间差超过某个特定值t，则认为本C触点不是有效点击，而只是停靠于此然后拿开。

对于ASDFJKL；空格这几个按键，在按下状态，如果手指发生键内滑动(幅度少于键高度的一半距离)，则有可能是未弹起时的直接下按，也有可能是正常的手指抖动，区分方法如下：

(1)如果滑动的方向是整体向上、向左或向右，则认为是手指抖动。

(2)如果滑动的方向是整体向下，则：

(2.1)如果滑动的距离超过15像素，则是手指抖动。

(2.2)如果滑动的速度低于v，则是手指抖动。

(2.3)如果滑动点数＞＝2，则计算从第二个点开始的各点加速度，当最大加速度超过某一个值时，或者呈现一个先增加、后减少的变化规律时，则是按下按键，否则是手指抖动。

实施例三

本实施例说明本发明的方法对显示屏的遮挡小。

将扩展键的激活方式从长按更改为鼠标右击或者手指按下后滑动超过键高度的一半距离后(但没有超出键的范围)弹开。

对于最大化的常规键盘和二合一窗口，才有避免遮挡的方案(用户可以在设置中设置是否启用该功能)，对于符号键盘、鼠标界面、手写界面，以及非最大化的常规键盘和二合一窗口，都无需避免遮挡的方案。

最大化的常规键盘和二合一窗口，只能上下拖动，不能左右拖动。其中拖动到接近上方边缘或下方边缘后，自动校准到最上端或最下端。

用户启用该功能后，只有最大化的常规键盘和二合一窗口且位于最上端或最下端时，避免遮挡方案才真正生效：

如果位于最上端或最下端、最大化的常规键盘和二合一窗口已经显示，则用户启动一个新窗口或激活一个已有窗口后，如果二者区域有叠加，则自动调整其大小，压缩其高度为常规键盘和二合一窗口之外的区域，二者连起来填满整个屏幕。

新显示位于最上端或最下端、最大化的常规键盘和二合一窗口时，如果它与当前的活动窗口区域有叠加，则自动调整当前活动窗口的大小，压缩其高度为常规键盘和二合一窗口之外的区域，二者连起来填满整个屏幕。

实施例四

本实施例说明本发明的虚拟键盘自适应手指的位置和大小。

由软件告知用户需要放双手还是单手，以及需要放哪几个指头到屏幕上。如果用户的指头总数量与软件要求的数量不一致，则本次放置无效。

对于要求放单手来说，如果四指或五指在屏幕左侧，则将其认定为左手；否则将其认定为右手。对于要求放双手来说，位于左侧的四指或五指软件将其认定为左手，位于右侧的四指或五指软件将其认定为右手。如果软件无法认定左右手，或者左右手明显不符合常规，则本次放置无效。

将单手或双手的小指、无名指、中指、食指四个手指的相邻手指间的垂直距离取平均值，作为按键的宽度，这也等于确定了键盘的大小。经过这样的规则确定键盘大小后，如果键盘的宽度超出了屏幕的宽度，则软件使用最接近于屏幕宽度的键盘大小。

左手的四指从左到右依次对应为ASDF；右手的四指从左到右依次对应为JKL；对于单手来说，这样就可以确定键盘的位置，对于双手来说，将代表F和J的两个指头的中点作为键盘中G和H两个键的中间空隙。经过这样的规则确定键盘位置后，如果键盘超过屏幕范围，则将其移入屏幕区域并靠左或靠右放置。

手指按下后，用户可以再调整，全部一次性拿开时，软件才启动测算过程。

对于一次无效的放置，软件给出提示，用户可以不离开本页面，继续放置，直到放置有效为止；对于不满意的放置，也可以继续放置，直到放置满意为止。用户可以启用有效而满意的放置，也可以恢复进入本页面前的键盘设置(包括大小和位置)。

实施例五

本实施例说明本发明实现虚拟键盘和触控鼠标的二合一操作，如图12、图13、图14。

根据手指动作，判断是键盘界面还是触控板界面。需设置参数，判定滑动和点击。

如手指滑动，则系统判断是触控板操作，注意，触控板的操作区为黄色虚线框内。

如点击，则系统判断是键盘录入操作。

实施例六

本实施例说明本发明实现虚拟键盘和触控鼠标的二合一操作，如图15。

在虚拟键盘空格键上点击为输入空格。在虚拟键盘空格键上滑动为触控板操作。

实施例七

本实施例说明本发明实现虚拟键盘和触控鼠标的二合一操作，如图16。

1、将左侧的标题栏和关闭、缩放按钮都去掉，改放到上方。这样可以为键盘区域腾出宝贵空间，尤其对于双手输入甚至是盲打而言，当屏幕不够宽的时候，手指就放不下，此时键盘的宽度是很宝贵的。

2、上方新增一行，左侧的“键盘鼠标二合一”，既是标题，又是拖拽区，用鼠标或手指按下后可以拖动窗口。中间位置是鼠标按键，包括左键、中键(分上和下两个)、右键，支持手指点击。右侧是功能区，包括设置按钮、放大、缩小、关闭。

3、按键区，最下面一行，去掉了“鼠标”(因为它已经被二合一到本窗口，所以不需要了)，另外把“设置”放到右上方了，以齿轮这一通用图标代替。这样以来，空格键就可以加长了，和硬键盘的布局样式更加一致，也有利于将双手大拇指停靠在空格上了，对于悬停和盲打提供了很好的支撑。

Claims (8)

1.一种在智能装置上识别手指动作的方法，其特征在于：

在输入手指动作参数后，通过下列参数之一或其组合，判断手指的不同动作：开始时间，结束时间，动作的进行的时长，时间间隔，距离，方向，位移的绝对值，速度的绝对值，加速度的绝对值，加速度参数的导数，手指接触装置的面积，或上述参数的导数或积分，或上述参数的特征值，或从上述参数的推算值。

2.一种识别不同动作或运动的方法，其特征在于：

在二维或多维空间中，在输入参数后，通过下列参数之一或其组合，判断不同动作或运动：开始时间，结束时间，动作或运动的进行的时长，时间间隔，距离，方向，位移的绝对值，速度的绝对值，加速度的绝对值，加速度参数的导数，或上述参数的导数或积分，或上述参数的特征值，或从上述参数的推算值。

3.一种根据手指触摸一个触摸的装置的一部分，确定键的位置或其大小的方法，其特征在于：一个手指的位置确定键在手指的位置或键的大小；

或者，一个手指的接触面积确定键的大小或其位置。

4.一种根据手指触摸一个触摸的装置的一部分，确定键盘的位置或其大小的方法，其特征在于：

一个手指的位置确定键盘在手指的位置或键盘的大小；

或者，一个手指的接触面积确定键盘的大小或其位置。

5.一种人机交互方法，其特征在于：相同时间内第一装置的部分装置与第二装置的部分装置二者有部分重合，在其任意的重合区域中的任意部分同时间同空间使用这两个装置。

6.一种人机交互方法，其特征在于：避免遮挡用采用智能分屏或智能互不遮挡的技术。

7.一种使用上述权利要求1-6中任意一个权利要求的方法的装置，其特征在于：具体使用上述方法，来实现便捷交互。

8.一种人机交互装置，其特征在于：相同时间内第一装置的部分装置与第二装置的部分装置二者有部分重合，在其任意的重合区域中的任意部分同时间同空间使用这两个装置。

Images