CN105700707B - 一种面向大屏显示设备的双层光标点选交互方法 - Google Patents

Abstract

本发明公开了一种面向大屏显示设备的双层光标点选交互方法。本方法为：1)初始化大屏幕交互界面时，服务器端创建一外层光标；2)交互设备将传感器采集的运动信息发送给服务器端，控制该外层光标在大屏幕上移动；3)当该外层光标移动到目标区域后，通过触摸该交互设备的屏幕产生一光标控制切换信息发送给该服务器端，该服务器端在该外层光标的边界区域内生成一内层光标；其中，该内层光标的移动范围限定在该外层光标的边界区域范围内；4)该交互设备将其屏幕上的触摸移动信息发送给服务器端，控制该内层光标在大屏幕上移动；当移动到要选取的目标后，通过设定方式进行确认。本发明能有效平衡远距离大屏幕目标选择问题中的精确度与速度问题。

Description

一种面向大屏显示设备的双层光标点选交互方法

技术领域

本发明属于人机交互领域，具体地涉及一种面向大屏显示设备的双层光标点选交互方法。

背景技术

近年来，随着技术的发展，大幅面、高分辨率的显示设备在我们日常工作和生活中越来越常见，以设计规划，决策可视化为代表的群组工作中，大屏显示设备更是不可或缺的设施。大屏显示设备的大幅面特性使其能够一次呈现二维图像、三维图形等对象的全景全貌，而高分辨率特性使其能够同时呈现更多的局部细节，但另一方面，大幅面、高分辨率的特性增加了人们对显示设备上的特定目标进行点选操作的难度，点选操作是基于WIMP范式的交互界面中最为常用的交互行为，在交互方式上可分为直接点选和间接点选，显然由于人手臂可达范围的限制，直接点选不适合这种大幅面、高分辨率的显示设备。间接点选的交互方式可分为两个步骤，先将光标移至要操作的目标元素上，然后进行选中操作。传统的鼠标、键盘、触摸板等间接点选交互设备的灵活性、机动性较差，在控制显示增益较大的情况下，很难在短时间内完成点选任务，在这种情形下，人们急切需要一种新的交互技术来解决大屏显示设备的点选问题。

智能手机、平板电脑等手持移动设备的计算能力和图形显示能力在持续的增强，并且集成了触摸屏、摄像头、惯性传感器、陀螺仪和磁力计等多种传感器，能感知周边环境和用户的行为动作，这就为基于手持移动设备的大屏幕交互方法的实现提供了技术基础。随着智能手机在我们生活中的普及，运用智能手机作为交互设备实现自然的人机交互方式的思路应运而生。

现有的大屏幕点选交互技术可归为三类，分别是基于智能手机摄像头、基于光线投射和基于智能手机触屏的交互方式。第一类技术利用智能手机的摄像头进行目标的跟踪和定位，然后将目标投射到手机屏幕上进行后续操作，这种交互方式需要使用者长时间双手持握手机，容易疲劳，缺乏灵活性和实时性；第二类技术利用红外激光笔、三维鼠标、头部跟踪仪等特制设备对目标进行直接点选，这种交互方式容易受颤动、遮挡等问题的影响，对设备精度以及操作距离要求高，且价格高昂，不易推广。第三类技术尝试利用手持移动设备作为交互设备，这种方式存在的问题是，在控制显示增益较大的情况下，使用触摸屏进行长距离的运动，需要进行反复离合，才能利用手指在小屏幕的短距离运动控制指针在大屏幕上的长距离运动，导致稳定性和效率低。

此外，以上所述的技术中，对选中目标的操作命令多采用延迟或特殊装置来触发，这就增加了目标点选任务的完成时间，且增加了使用者的学习成本。

上述方法存在的另一个缺点是，均未涉及多用户协同操作的问题。

针对上述大屏交互方法中存在的问题，本发明提出一种基于手持移动设备的面向大屏幕的多重控制的双层光标点选方法。

发明内容

本发明的主要目的是，克服现有技术中存在的诸多问题，提供一种造价低、操作简便、快速准确的大屏幕点选交互方法。本发明不受距离、遮挡等问题影响，同时支持单手操作，不易产生疲劳感。本发明的另一个目的是，满足公共场合下多人同时操作大屏幕的需求，即支持多人交互。本发明采用智能手持移动设备作为大屏幕交互设备，采用双层光标交互技术，把交互设备的传感器和触摸屏两个输入通道相结合，最大限度克服传感器指针的漂移问题，同时降低触摸屏需要反复离合的时间损耗，提升准确度和交互效率。

本发明解决其技术问题所采用的技术方案是：

一种面向大屏显示设备的双层光标点选交互方法，其步骤为：

1)初始化大屏幕交互界面时，服务器端创建一外层光标；该外层光标为具有设定边界区域的光标；

2)交互设备将传感器采集的运动信息发送给服务器端，服务器端根据该运动信息控制该外层光标在大屏幕上移动；

3)当该外层光标移动到目标区域后，通过触摸该交互设备的屏幕产生一光标控制切换信息发送给该服务器端，该服务器端在该外层光标的边界区域内生成一内层光标，进入内层光标控制阶段；其中，该内层光标的移动范围限定在该外层光标的边界区域范围内；

4)在内层光标控制阶段，该交互设备将其屏幕上的触摸移动信息发送给服务器端，控制该内层光标在大屏幕上移动；当移动到要选取的目标后，通过设定方式进行确认。

进一步的，所述设定方式为手指按压屏幕或者手指触摸延迟。

进一步的，所述外层光标为一具有矩形边缘的光标。

进一步的，该外层光标的宽度其中，y为交互设备的屏幕宽度，D_res为大屏幕的分辨率，S_res为交互设备触摸屏的分辨率，CD_gain为控制显示增益；该外层光标的高度根据交互设备屏幕的宽高比确定。

进一步的，当该交互设备未检测到其屏幕上的触摸移动信息时，该交互设备控制光标进入外层光标控制阶段，然后根据交互设备的传感器采集的运动信息控制该外层光标在大屏幕上移动，并隐藏内层光标。

进一步的，该交互设备通过蓝牙或Wifi与该服务器端通信。

本发明将点选交互任务分解为三个阶段、三种交互控制模式的交互过程，如图2所示，三个阶段分别为粗略定位(远距离)阶段、精确定位(短距离)目标阶段和选中目标阶段，所采用的交互控制模式分别为传感器控制模式、触摸屏控制模式、触摸屏按压控制模式，这三种模式以手指在屏状态的转换进行切换，根据手指是否接触屏幕以及以何力度接触屏幕，可将手指的在屏状态分为“抬离”、“接触”以及“按压”三种状态，切换过程是，当手指“抬离”屏幕时，触发粗略定位阶段；当手指“接触”屏幕时，触发精确定位阶段；而当手指以一定力度“按压”屏幕时，触发选中目标命令。上述交互过程又分为三种交互动作，分别是肘腕运动，手指触摸运动，手指按压运动。

本发明面向大屏显示设备的双层光标交互方法包含的具体步骤如下(如图6)：

步骤S1：粗略定位，初始化大屏幕交互界面时，创建一个矩形光标作为双层光标的外层光标，肘腕旋转运动可控制外层光标快速远距离移动，用于框选目标；双层光标的交互界面如图1所示；

步骤S2：精确定位，在步骤S1框选目标之后，通过拇指接触屏幕事件，触发精确定位阶段，此时内层光标出现，在外层光标内激活，即内层光标的活动范围被限定在外层光标的矩形边缘所确定的范围内，拇指在屏运动可控制内层光标精确定位目标；

步骤S3：选中目标，在步骤S2定位到目标之后，采用手指按压屏幕或者手指按压延迟的交互方式选中目标。

进一步的，步骤S1中所述的粗略定位的交互方式，是通过手持移动设备的传感器交互通道采集到的肘腕运动的角度变化，通过角度-位移解算算法将该角度变化映射为指针在大屏幕上的位移变化(如图3)。

进一步的，步骤S1和S2的状态切换和步骤S3中的选中操作均是通过手指的在屏状态触发的，手指在屏状态分为“抬离”、“接触”以及“按压”三种状态，即当手指“抬离”屏幕时，触发粗略定位阶段，此时肘腕运动控制外层光标移动；当手指“接触”屏幕时，触发精确定位阶段，此时手指通过在屏滑动的运动控制内层光标移动；而当手指以一定力度“按压”屏幕时，触发选中目标命令。

进一步的，步骤S1中所述的矩形外层光标的宽高比例和数量分别由手持设备触摸屏的宽高比以及最佳控制显示增益范围确定，即矩形外层光标的宽高比与触摸屏的可触控范围一致，外层光标的宽度数值可由如下公式确定：

其中，x为外层光标的宽度，y为手持设备屏幕宽度，D_res为大屏显示设备的分辨率，单位为DPI，S_res为手持设备触摸屏的分辨率，单位为DPI，CD_gain为控制显示增益，由指针显示速率与指针控制速率的比值确定，本发明中，CD_gain的取值可选2～8的范围，具体实施时，可通过对比实验确定最佳CD_gain范围。然后根据手机屏幕的宽高比确定外层光标的高度。

与现有技术方案相比，本发明的有益效果是：

双层光标的交互方式的系统搭建简单，手机等手持交互设备取材方便，两者结合的面向大屏幕的交互框架具有定位准确快速，模式切换便捷等特性，能有效平衡远距离大屏幕目标选择问题中的精确度与速度问题，同时解决多用户协作以及单手操作的问题。

附图说明

图1为双层光标交互界面示意图。

(a)外层光标操作，(b)内外层光标切换，(c)内层光标操作；

图2为双层光标状态转换示意图。

图3为旋转-位移映射原理图。

图4为本发明实施例系统布局图。

图5为双层光标交互过程示意图。

(a)外层光标初始位置，(b)外层光标选取区域，(c)内层光标选取目标；

图6为本发明实施例交互系统流程图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图4所示，为了实现本发明的方法，实施使用的大屏幕采用4块1920*1080的LCD显示屏搭建而成，总分辨率为3840*2160的(包含角点)，100dpi，采用4台带有独立显卡的计算机控制(大屏幕控制端，运行交互界面程序，控制大屏幕显示)；服务器端的CPU主频是3.2GHz，内存是8G，操作系统为MicrosoftWindows7；手持移动设备采用小米3智能手机，屏幕尺寸为5英寸，屏幕高和宽分别为110mm，62mm，分辨率为441dpi，处理器为高通骁龙600四核，主频1.7GHz，内存2GB，操作系统为Android 4.2.1。实施例系统布局如图4所示，本实施例的效果是，用户通过持握交互设备，运用肘腕运动与拇指在屏运动完成交互任务，其中，肘腕运动与拇指运动通过拇指在屏状态进行切换，当拇指定位到目标后，通过拇指按压屏幕触发选择目标命令或完成其他交互意图(如图5)，实施例的系统布局如图4所示。

本发明方法实施例的具体交互系统的搭建步骤如下：

步骤S1：在大屏幕控制端预置交互界面显示程序，该程序的功能是创建和维护双层光标交互对象，并将交互结果反馈给服务器端。

步骤S2：在手机端预置客户端程序，该程序的功能是监听并维护手持设备的输入输出通道，封装触摸屏和传感器输入通道采集的数据信息，并将其发送到服务器端；

步骤S3：在服务器端预置服务器程序，该程序负责维护手持设备客户端与大屏幕控制端的异步通信通道，通信协议可选蓝牙或Wifi，通过多线程技术同时维护与解析多对手持设备客户端与大屏幕控制端的交互数据包。

步骤S4：服务端接收到客户端的数据包后，根据角度-位移解算算法计算设备姿态变化旋转矩阵，得到角度-位移映射结果，并发送给大屏幕控制端，大屏幕控制端根据数据解析结果更新双层光标的内外层光标的位置，从而达到点选交互目的。

在搭建好系统后，本实施例的具体操作步骤如下(如图5)：

步骤S1：用户1通过手持设备1与服务器建立连接，并开始交互；

步骤S2：在初始状态时，手指未接触屏幕，外层光标被激活，内层光标隐藏，用户通过肘腕运动通过传感器通道向服务器发送交互数据包，服务器解析后，将肘腕旋转运动映射为外层光标的位移；

步骤S3：当外层光标移动到目标区域附近后，通过拇指落在触摸屏上(切换模式的动作，即产生一光标控制切换信息)来激活精细操作模式，此时外层光标固定，内层光标出现，用户通过拇指在触摸屏幕上移动来控制内层光标的运动，即内层光标在外层光标限定的范围内移动；

步骤S4：当内层光标定位到目标后，用户将拇指向垂直于屏幕的方向施加向下的压力，即采用拇指按压的方式来选择目标。特别要说明的是，若触摸屏非压感屏，则可采用延时的方式选中目标。

步骤S5：用户2通过手持设备2与服务器端建立连接，并经过步骤2至步骤4与大屏幕目标进行交互，用户1与用户2的操作互不干扰。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种面向大屏显示设备的双层光标点选交互方法，其步骤为：

1)初始化大屏幕交互界面时，服务器端创建一外层光标；该外层光标为边界区域的矩形边界边框；

2)交互设备将传感器采集的运动信息发送给服务器端，服务器端根据该运动信息控制该外层光标在大屏幕上移动；

3)当该外层光标移动到目标区域后，通过触摸该交互设备的屏幕固定外层光标且产生一光标控制切换信息发送给该服务器端，该服务器端在该外层光标对应的边界区域内生成一内层光标，进入内层光标控制阶段；其中，该内层光标的移动范围限定在该外层光标对应的边界区域范围内；

4)在内层光标控制阶段，该交互设备将其屏幕上的触摸移动信息发送给服务器端，控制该内层光标在大屏幕上移动；当移动到要选取的目标后，通过设定方式进行确认。

2.如权利要求1所述的方法，其特征在于，所述设定方式为手指按压屏幕或者手指触摸延迟。

3.如权利要求1所述的方法，其特征在于，该外层光标的宽度其中，y为交互设备的屏幕宽度，D_res为大屏幕的分辨率，S_res为交互设备触摸屏的分辨率，CD_gain为控制显示增益；该外层光标的高度根据交互设备屏幕的宽高比确定。

4.如权利要求1所述的方法，其特征在于，当该交互设备未检测到其屏幕上的触摸移动信息时，该交互设备控制光标进入外层光标控制阶段，然后根据交互设备的传感器采集的运动信息控制该外层光标在大屏幕上移动，并隐藏内层光标。

5.如权利要求1所述的方法，其特征在于，该交互设备通过蓝牙或Wifi与该服务器端通信。