CN106648152B - 一种基于旋转角度和距离的三维笔式交互界面缩放方法 - Google Patents

Abstract

本发明提供一种基于旋转角度和距离的三维笔式交互界面缩放方法，应用于三维笔式人机交互技术领域。采用超声波三维高精度无线定位技术获得智能笔与主机的距离；采用加速度和陀螺仪信号获得智能笔的旋转角度；判断智能笔的旋转角度属于可控角度范围时，根据智能笔的旋转角度和距离计算虚拟标尺的长度，并基于虚拟标尺及长度因子计算用户界面的缩放比例系数，得到对应的缩放比例，将用户界面调整至相应的显示比例。智能笔在执行绘画或交互任务时，无需中断任务，可同时通过调整智能笔的旋转角度或用户的空间位置来连续的选择用户界面的缩放比例，提高调整速率，既可节省功耗又可降低用户的视觉负担。

Description

一种基于旋转角度和距离的三维笔式交互界面缩放方法

技术领域

本发明涉及一种三维笔式交互界面缩放方法，具体涉及一种基于智能笔的旋转角度和距离的三维笔式交互界面缩放比例的选择方法，可实现任意距离下用户界面尺寸的连续性缩放选择，可应用于三维笔式人机交互技术领域。

背景技术

随着人机交互技术的发展，出现了各种以人为中心的高效自然的人机交互方式，三维大空间笔式交互应运而生。三维笔式交互技术将笔与人机对话中的三维信息相结合，模拟人类千百年来的纸笔使用习惯，充分利用电子计算机的优势，是一种自然流畅的交互方式。

在人机交互过程中，用户常需浏览各种页面，如：使用浏览器浏览网页页面，使用办公软件浏览文档页面。然而，在教室或会议等场景使用电子白板时，由于界面显示的图片、文字或视频画面太小，位于远距离处的用户经常看不清楚屏幕上的内容，此时便需要对屏幕上显示的内容进行放大；而在近距离观看显示内容时，又希望适当缩小显示比例，以获得更多信息，减小视觉负担。现有的对显示界面进行放大或缩小的调整方法主要有两种：第一，提供一个界面显示比例界面，用户通过选择界面上的下拉菜单中的选项或通过计算机提供的缩放快捷键(如“Ctrl”和“+”或“-”的组合)，控制页面按照一个不可修改的固定的缩放比例进行缩放。但是，由于用户不知道当前场景适合自己的页面大小是哪种，就需要进行多次点击或组合按键，操作繁琐，效率不高。第二，通过多点触摸触屏进行操作，例如，用户可以在触敏式表面的区域上轻扣两次，以放大轻扣区域的大小，或用拇指和食指进行“捏”或“反向捏”手势，当两个指头分开运动时放大内容，当两个指头靠近运动时则缩小内容。但该方法需要多个手指的参与，操作不便，当用户与屏幕的距离大于手臂长度时，便无法进行操作。

目前已有一些关于用户界面显示比例的调整方法。

中国专利“基于Android的圈选缩放方法和系统”(申请号201410438956.X)公开了一种基于Android的圈选缩放方法和系统，可根据圈选区域与屏幕参数自动构建需要放大的区域和缩放比例，自动进行移动缩放，实现任意界面的缩放。中国专利“具有触摸屏的电子设备及其画面比例调节方法”(申请号200810303319.6)公开了一种画面比例调节方法，通过用户在触摸屏上的画圈面积与预设面积的比例关系对显示画面进行比例调节。但这两种方法仅适用于触摸屏终端，一旦涉及三维大空间人机交互，就会因距离因素及交互方式的改变带来圈选姿势识别不清及圈选区域受限等问题。

中国专利“一种浏览器中进行页面缩放的方法和装置”(申请号201410124020.X)公开了一种浏览器中进行页面缩放的装置和相应的浏览器中进行页面缩放的方法，使用户可以在页面缩放的过程中直观的看见具体的缩放比例，解决了在缩放过程中用户无法直观地了解缩放到了何种程度的问题。中国专利“页面缩放方法及装置”(申请号201510330448.4)公开了一种页面缩放方法及装置，根据用户对页面的缩放操作查找与当前页面显示比例所对应的缩放比例，以实现按照用户的个人意愿对页面进行缩放的目的。中国专利“缩放用户界面内容的设备、方法和图形用户界面”(申请号201080062559.7)公开了一种缩放电子文档内的显示对象的试探法，通过把显示对象缩放到预定比例，按预定增量缩放显示的对象。中国专利“显示界面调整方法及系统”(申请号201110246615.9)公开了一种显示界面调整方法，通过识别对显示屏幕上的控制区域的操作指令获取显示屏幕的大小比例。但这些方法所述的显示比例与缩放比例的对应关系为预设的，不是实时更新的比例，且用户对页面的缩放操作是繁琐的，如按下缩放组合键、点击缩放选项、拖动滑动条等，不适用于三维大空间笔式交互。

中国专利“一种移动终端显示界面缩放的实现方法和装置”(申请号201510141019.2)公开了一种移动终端显示界面缩放的实现方法和装置，通过识别移动终端当前的倾斜数据对终端设备显示界面进行缩放，但该方法仅适用于小型手持设备，不适用于静止不动的大型终端。

中国专利“一种在终端上对显示界面进行调整的方法和装置”(申请号201210562959.5)公开了一种在终端上对显示界面进行调整的方法和装置，可根据终端与终端用户的距离调整显示界面，但该方法提前预设了平均距离与界面显示比例之间的映射关系，只要执行预设动作，在任意具体距离下界面显示比例会自动调整，且是固定不变的，不适用于电子白板等多用户共享终端，且无法实现自由选择，不能满足三维人机交互过程中多样化情境的需求。中国专利“显示设备、显示控制方法和显示控制程序”(申请号201010104322.2)公开了一种具有显示屏的移动终端和显示控制方法，可根据操作者的脸部相对于显示设备的相对位置放大或缩小显示屏上的显示信息，但是这种方法仅适用于近距离单用户情况，且在任意具体距离下界面显示比例会自动调整成固定不变的大小，在用户与显示屏的相对距离不断变化情况下对显示信息的调整十分频繁，造成显示屏幕不断抖动，既对用户视力有害，又十分耗费电量。中国专利“用户界面自动缩放系统及方法”(申请号201410459298.2)公开了一种用户界面自动缩放系统及方法，能根据使用者与电子设备之间的距离对用户界面进行自动缩放，省去了手动操作的繁琐性，增加了用户的使用体验。但该方法针对个人终端设备(平板电脑或手机)，对于不同用户群体，预设的初始距离以及显示比例的步进值不同，且在使用者与电子设备之间的距离不变的情况下无法进行显示界面的缩放。

发明内容

本发明提供一种基于旋转角度和距离的三维笔式交互界面缩放方法，在三维大空间人机交互中引入方向控制及距离控制实现对用户界面显示比例大小的连续性选择，可实现任意位置处通过旋转智能笔控制界面显示比例的功能。

本发明采取的技术方案是，包括下列步骤：

1)长按智能笔的定位按键，读取智能笔的初始状态信息，计算智能笔与主机之间的距离D；所述智能笔的初始状态信息包括智能笔尖的三维坐标A＝(x₀,y₀,z₀)及智能笔的姿态角信息；

2)旋转智能笔，读取智能笔的输入信息，计算智能笔的旋转角度△θ，所述智能笔的旋转角度是旋转前后智能笔在三维坐标系中XZ平面上的投影量与X轴正方向夹角的相对角度变化量；

3)、判断智能笔旋转角度的所属控制范围，当△θ<-80°时，用户界面直接缩小至最小显示比例；当△θ>80°时，用户界面直接放大至最大显示比例；

当旋转角度属于可控角度范围内时，计算虚拟标尺的长度L，所述虚拟标尺是智能笔与主机之间的距离在三维坐标系中XY平面上的映射量；

计算缩放比例系数k，确定缩放比例大小，将用户界面缩放至相应的显示比例。

本发明所述智能笔的姿态角信息是初始状态下智能笔在三维坐标系中XZ平面上的投影量与X轴正方向的夹角θ₁。

本发明所述步骤1)中智能笔与主机之间的距离D的计算方法如下：

计算智能笔与主机之间的距离：

其中d是智能笔尖到三维坐标系中XY平面的距离：d＝|z₀|，z₀是智能笔尖在三维坐标系中Z轴方向的坐标，λ是调整系数的初始参数，disAdjust是距离调整量的初始参数，是智能笔与三维坐标系中Y轴正方向的夹角，θ₁是智能笔在三维坐标系中XZ平面上的投影量与X轴正方向的夹角。

本发明所述步骤2)中智能笔的输入信息是旋转之后智能笔在三维坐标系中XZ平面上的投影量与X轴正方向的夹角θ₂。

本发明所述步骤2)中智能笔的旋转角度△θ的计算方法如下：

1)获取初始状态下智能笔在三维坐标系中XZ平面上的投影量与X轴正方向的夹角θ₁及旋转之后在三维坐标系中XZ平面上的投影量与X轴正方向的夹角θ₂；

2)计算智能笔的旋转角度：△θ＝θ₂-θ₁。

本发明所述所述步骤3)中可控角度范围是-80°≤△θ≤80°。

本发明所述步骤3)中虚拟标尺的长度L的计算方法如下：

1)计算初始状态下智能笔与主机之间的距离D以及智能笔的旋转角度△θ的正切值tan(△θ)；

2)计算虚拟标尺的长度：L＝D·tan(△θ)。

本发明所述步骤3)中缩放比例系数k的计算方法如下：

计算缩放比例系数：k＝L/lengthF；

其中，lengthF是长度因子的初始参数，L是虚拟标尺的长度。

本发明所述步骤3)中缩放比例的确定方法如下：

1)当k>0时，用户界面的显示比例为原来的k+1倍，即放大；

2)当k<0时，用户界面的显示比例为原来的1/(|k|+1)倍，即缩小；

3)当k＝0时，用户界面显示比例不发生变化。

本发明的优点在于：基于智能笔的旋转角度及智能笔与主机之间的距离完成舒适角度下界面显示比例的选择，智能笔在执行绘画或交互任务时，无需中断任务，可同时通过调整智能笔的旋转角度或用户的空间位置来连续的控制用户界面的显示比例，可充分利用三维大空间笔式交互过程中的距离优势，简化操作，提高调整速率，同时用户可以自主的控制界面调整的幅度及速度，减小调整中显示界面的抖动频率，从而既可节省功耗又可降低用户的视觉负担。

附图说明

图1A智能笔旋转角度控制界面显示比例大小示意图；

图1B智能笔与主机之间的距离控制界面显示比例大小示意图；

图2缩放比例随智能笔的旋转角度及距离的变化曲线图；

图3主机组成框图；

图4智能笔结构示意图；

图5笔式交互实现方法框图；

图6A智能笔旋转角度和距离计算的三维坐标系原理图；

图6B智能笔及其投影量示意图；

图6C智能笔旋转角度示意图；

图7计算智能笔与主机之间的距离的方法图；

图8缩放方法的状态转换图。

具体实施方式

为了使本技术领域的人员更好的理解本发明，下面结合附图和实施方式对本发明作进一步的详细说明。

图3和图4为本发明应用的三维大空间人机交互系统的组成示意图，包括主机300和智能电子笔400两部分，主机300主要由平板电视屏幕/白板301和超声三维定位模块302组成，超声三维定位模块302包括3个不在一条直线上的超声传感器3021构成的三维超声定位阵列及2个红外传感器3022，智能电子笔400主要包括笔尖401、PVDF超声薄膜402、红外发射管403、按键404、MEMS六轴加速度/陀螺仪传感器405和蓝牙通信芯片406等。具体的笔式交互实现方法500可参考图5：

1)、长按智能笔的定位按键404时，PVDF超声薄膜402及红外发射管403分别发射超声信号及红外信号，通过按键404和笔尖401在三维空间内无需接触板面即可触发超声波和红外信号，以红外信号作为测距同步信号，通过三维超声定位技术对电子笔进行三维实时定位501，进而判断是否获得三维定位坐标502，若没有获得则重复上述过程，若已获得三维坐标，进行超声三维笔记跟踪503，利用MEMS六轴加速度/陀螺仪405完成加速度和角速度信号的提取504，主机300通过蓝牙通信芯片406实现加速度笔迹跟踪505，获得智能笔的初始状态信息506，包括智能笔尖的三维坐标A＝(x₀,y₀,z₀)、智能笔与Y轴正方向的夹角及智能笔在三维坐标系中XZ平面上的投影量与X轴正方向的夹角θ₁6061，其中x₀、y₀、z₀分别为智能笔尖在三维坐标系中X轴、Y轴、Z轴方向的坐标；

2)、首先参照图6A，图6A是三维笛卡尔坐标系下实现智能笔旋转角度和距离计算的原理图600，智能笔400与主机300之间的距离D605是智能笔400在XZ平面上的投影量601的旋转中心点602到X轴的直线距离，距离D605的计算700可参考图7，其步骤如下：

计算智能笔与主机之间的距离D605，需要用到如下参数：智能笔尖的三维坐标A＝(x₀,y₀,z₀)，智能笔4001与三维坐标系中Y轴正方向的夹角智能笔4001在三维坐标中XZ平面上的投影量6011与X轴正方向的夹角θ₁6061，智能笔尖到三维坐标系中XY平面的距离d604，获取距离调整量disAdjust及调整系数λ的初始参数702，距离调整量disAdjust的初始参数由智能笔400的长度决定，调整系数λ的初始参数由智能笔尖到旋转中心点602的长度和智能笔的长度的比值决定。

智能笔400与主机300之间的距离D605的计算步骤如下：

计算智能笔尖到三维坐标系中XY平面的距离d＝|z₀|703；

计算的正弦值及θ₁6061的正弦值sin(θ₁)704；

智能笔400与主机300之间的距离：

旋转智能笔400，读取智能笔4002在三维坐标系中XZ平面上的投影量[6012]与X轴正方向的夹角θ₂[6062]，计算智能笔[400]的旋转角度[6063]。智能笔[400]的旋转角度[6063]是旋转前后智能笔在三维坐标系中XZ平面上的投影量[601]的相对角度变化量：△θ＝θ₂-θ₁；

3)、判断智能笔旋转角度6063的所属控制范围，当△θ<-80°时，用户界面直接缩小至最小显示比例；当△θ>80°时，用户界面直接放大至最大显示比例；

当-80°≤△θ≤80°时，旋转角度属于可控角度-80°≤△θ≤80°范围内，计算虚拟标尺的长度，虚拟标尺是智能笔400与主机300之间的距离605在三维坐标系中XY平面上的映射量：L＝D·tan(△θ)，用户界面显示比例的最大、最小值由平板电视屏幕/白板301和显示内容的尺寸决定，可依实际情况给定；

基于旋转角度和距离的三维笔式交互界面缩放方法的状态转换过程，如图8所示800；

状态1：激活定位801；

状态2：用户界面缩小至最小显示比例802，此时智能笔的旋转角度6063△θ<-80°，不属于可控角度范围，无需计算缩放比例，直接缩小至预设定的最小显示比例，最小显示比例需根据实际情况设定；

状态3：用户界面缩放至相应显示比例804，此时智能笔的旋转角度6063-80°≤△θ≤80°，属于可控角度范围，计算虚拟标尺的长度L；

计算缩放比例系数k的大小，确定缩放比例大小，将用户界面缩放至相应的显示比例，缩放比例系数k的计算方法及缩放比例大小的确定方法如下：

计算缩放比例系数k，需要用到如下参数：智能笔与主机之间的距离D605，笔设备的旋转角度△θ6063，虚拟标尺的长度L，获取长度因子lengthF的初始参数；lengthF的值决定了缩放比例在不同距离区间的变化速率，其值需要根据平板电视屏幕/白板301的大小设定，当平板电视屏幕/白板301的面积为S₀＝L₁×L₂＝1.5m×2m时，lengthF的初始参数设定为1dm，其中，L₁、L₂分别是平板电视屏幕/白板301的宽和长；当L₁、L₂同时变为原先的K(K>0)倍时，lengthF的值设定为

缩放比例系数的计算步骤如下：

计算智能笔旋转角度△θ[6063]的正切值tan(△θ)；

计算虚拟标尺的长度：L＝D·tan(△θ)；

计算缩放比例系数：k＝L/lengthF。

缩放比例大小的确定方法如下：

当k>0时，用户界面的显示比例为原来的k+1倍，即放大；

当k<0时，用户界面的显示比例为原来的1/(|k|+1)倍，即缩小；

当k＝0时，用户界面显示比例不发生变化。

进一步的，智能笔400具体的缩放比例随旋转角度△θ6063及距离D 605的变化曲线200如图2所示，所述旋转角度△θ6063属于可控角度范围；当用户与主机300的位置一定，控制智能笔400向右旋转，即旋转角度-80°≤△θ≤0°时，不同旋转角度下的显示界面缩放比例如图2中的(a)所示201；当用户控制智能笔400向左旋转，即旋转角度0°≤△θ≤80°时，不同旋转角度下的显示界面缩放比例如图2中的(b)所示202。当用户先对智能笔400进行旋转，然后保持智能笔姿态不变，改变空间位置时，-80°≤△θ≤0°时不同距离下的显示界面缩放比例如图2中的(c)所示203；0°≤△θ≤80°时不同距离下的显示界面缩放比例如图2中的(d)所示204。可以看出，当距离一定，向左旋转智能笔，显示界面比例增大；向右旋转智能笔，显示界面比例减小。当用户先向左旋转智能笔，然后保持智能笔姿态不变时，用户远离主机时显示界面比例增大，靠近主机时显示界面比例减小；当用户先向右旋转智能笔，然后保持智能笔姿态不变时，用户远离主机时显示界面比例减小，靠近主机时显示界面比例增大。

状态4：用户界面放大至最大显示比例803，此时智能笔的旋转角度△θ>80°6063，不属于可控角度范围，无需计算缩放比例，直接放大至预设定的最大显示比例，最大显示比例同样需根据实际情况设定。

本发明针对用户界面显示比例进行连续性选择，图1示意性地给出根据本发明一个实施例的界面显示比例放大方法。为了控制用户界面显示比例的大小，用户无需中断当前交互任务，只需旋转智能笔或通过空间移动来连续的调整用户界面的显示比例。例如，当用户正在执行书空(用智能笔在空中虚划字形)任务，同时想要放大界面显示比例时，无需结束当前任务，有两种控制方法可以实现目的。第一种如图1A所示，用户保持位置不变，向左旋转智能笔，界面显示比例即可随旋转角度△θ的变大连续放大；第二种如图1B所示，用户向左旋转智能笔之后，保持智能笔姿态不变，向后移动空间位置，界面显示比例会随着用户与主机之间的距离D的增大连续放大。具体的缩放倍数随智能笔的旋转角度△θ及用户与主机之间的距离D的变化曲线如图2所示。

下边通过具体实例来进一步说明状态转换全过程：

1)长按智能笔定位按键701，智能笔处于状态1，定位被激活801，获取智能笔的初始状态信息702，在此过程中，笔的旋转方向及旋转角度信息决定了笔的下一个状态；

2)旋转智能笔，获取笔的旋转角度△θ6063，当△θ<-80°时，智能笔处于状态2，用户界面直接由当前比例缩小至最小显示比例802；此时，若继续旋转智能笔，则更新θ₂6062的值为θ₂'6064，重新计算△θ'6065；当△θ'<-80°时，智能笔仍处于状态2；当-80°≤△θ'≤80°时，智能笔转至状态3；

3)旋转智能笔，获取笔的旋转角度△θ6063，当-80°≤△θ≤80°时，智能笔处于状态3，计算当前虚拟标尺的长度L及缩放比例系数k的值，调整用户界面到相应的显示比例804，此时，若继续旋转智能笔，则更新θ₂6062的值为θ₂'6064，重新计算△θ'6065，当△θ'<-80°时，智能笔转至状态2；当-80°≤△θ'≤80°时，智能笔仍处于状态3；当△θ'>80°时，智能笔转至状态4；

旋转智能笔，获取笔的旋转角度△θ6063，当△θ>80°时，智能笔处于状态4，用户界面直接由当前比例放大至最大显示比例803；此时，若继续旋转智能笔，则更新θ₂6062的值为θ₂'6064，重新计算△θ'6065；当-80°≤△θ'≤80°时，智能笔转至状态3；当△θ'>80°时，智能笔仍处于状态4。

在用户界面的显示比例设计方面，若长按智能笔的按键404不松开，则始终视为一次操作控制，无论智能笔400在旋转过程中是否停顿、回转，始终以智能笔的当前状态为旋转终态，所参考初始状态始终为按下定位按键时智能笔的状态。若结束按键操作，则用户界面的显示比例固定为取消按键动作时的缩放比例，也即下一次操作时的初始界面显示比例。

Claims (5)

1.一种基于旋转角度和距离的三维笔式交互界面缩放方法，其特征在于包括下列步骤：

1)长按智能笔的定位按键，读取智能笔的初始状态信息，计算智能笔与主机之间的距离D；所述智能笔的初始状态信息包括智能笔尖的三维坐标A＝(x₀,y₀,z₀)及智能笔的姿态角信息；

2)旋转智能笔，读取智能笔的输入信息，计算智能笔的旋转角度△θ，所述智能笔的旋转角度是旋转前后智能笔在三维坐标系中XZ平面上的投影量与X轴正方向夹角的相对角度变化量；

3)判断智能笔旋转角度的所属控制范围，当△θ<-80°时，用户界面直接缩小至最小显示比例；当△θ>80°时，用户界面直接放大至最大显示比例；

当旋转角度属于可控角度范围内时，该可控角度范围是-80°≤△θ≤80°，计算虚拟标尺的长度L，所述虚拟标尺是智能笔与主机之间的距离在三维坐标系中XY平面上的映射量，所述虚拟标尺的长度L的计算方法如下：

1)计算初始状态下智能笔与主机之间的距离D以及智能笔的旋转角度△θ的正切值tan(△θ)；

2)计算虚拟标尺的长度：L＝D·tan(△θ)；

计算缩放比例系数k的方法如下：

k＝L/lengthF；

其中，lengthF是长度因子的初始参数，L是虚拟标尺的长度；

确定缩放比例大小，将用户界面缩放至相应的显示比例，方法如下：

1)当k>0时，用户界面的显示比例为原来的k+1倍，即放大；

2)当k<0时，用户界面的显示比例为原来的1/(|k|+1)倍，即缩小；

3)当k＝0时，用户界面显示比例不发生变化。

2.如权利要求1所述的一种基于旋转角度和距离的三维笔式交互界面缩放方法，其特征在于：所述智能笔的姿态角信息是初始状态下智能笔在三维坐标系中XZ平面上的投影量与X轴正方向的夹角θ₁。

3.如权利要求1所述的一种基于旋转角度和距离的三维笔式交互界面缩放方法，其特征在于：步骤1)中智能笔与主机之间的距离D的计算方法如下：

计算智能笔与主机之间的距离：

其中d是智能笔尖到三维坐标系中XY平面的距离：d＝|z₀|，z₀是智能笔尖在三维坐标系中Z轴方向的坐标，λ是调整系数的初始参数，disAdjust是距离调整量的初始参数，是智能笔与三维坐标系中Y轴正方向的夹角，θ₁是智能笔在三维坐标系中XZ平面上的投影量与X轴正方向的夹角。

4.如权利要求1所述的一种基于旋转角度和距离的三维笔式交互界面缩放方法，其特征在于：所述步骤2)中智能笔的输入信息是旋转之后智能笔在三维坐标系中XZ平面上的投影量与X轴正方向的夹角θ₂。

5.如权利要求4所述的一种基于旋转角度和距离的三维笔式交互界面缩放方法，其特征在于：步骤2)中智能笔的旋转角度△θ的计算方法如下：

1)获取初始状态下智能笔在三维坐标系中XZ平面上的投影量与X轴正方向的夹角θ₁及旋转之后在三维坐标系中XZ平面上的投影量与X轴正方向的夹角θ₂；

2)计算智能笔的旋转角度：△θ＝θ₂-θ₁。