CN104780264B - 基于传感器的手持设备的交互控制方法 - Google Patents

Abstract

本发明公开了基于传感器的手持设备的交互控制方法，包括：S1、设置传感器数据检测频率；S2、调用手持设备的API传感器事件，获取传感器返回的连续数据，实时地更新并保存三维方向传感数据和三维加速度传感数据；S3、设置手持设备的基准点；S4、根据实时的三维方向传感数据计算手持设备相对于基准点的实时偏移量，进而实时地在手持设备的触控屏上显示标识对象；S5、根据实时的三维加速度传感数据获得用户对手持设备的操作动作并执行该操作动作。本发明不会对手持设备的屏幕内容有任何遮挡，控制精度高、误差小，减少了手持设备对触控屏的依赖，增加了操作方式的多样性，实现成本低，可广泛应用于手持设备的控制领域中。

Description

基于传感器的手持设备的交互控制方法

技术领域

本发明涉及手持设备的交互控制领域，特别是涉及一种基于传感器的手持设备的交互控制方法。

背景技术

手机等手持设备的应用量巨大并呈持续增长趋势，而且大部分手持设备为触控设备，基本操作方式是通过人手触摸大触摸屏的方式。这种方式的主要不足如下：1、手指操作时会遮挡到屏幕内容，影响使用体验，而且操作不方便、容易引起误操作；2、用手指触摸触控屏进行点击操作，舒适度差、不利手指健康；3、操作方式与PC不一致，兼容性差，不符合用户的使用习惯；4、操作依赖于玻璃触控屏，方式单一。虽然目前市场上出现过蓝牙手机鼠标、以摇晃控制的手机应用、摇晃控制手机操作的方法等技术，但是也存在以下不足：1、需要增加额外的操作设备或定义麻烦琐碎的操作方式，缺乏方便性、实用性；2、这些技术大都只支持限定应用、提供限定功能，缺乏系统性、完整性、标准化；3、识别精度粗糙、动作幅度大、误差大，缺乏可用性、普适性、可推广性。

发明内容

为了解决上述的技术问题，本发明的目的是提供基于传感器的手持设备的交互控制方法。

本发明解决其技术问题所采用的技术方案是：

基于传感器的手持设备的交互控制方法，包括：

S1、设置传感器数据检测频率；

S2、调用手持设备的API传感器事件，获取传感器返回的连续数据，实时地更新并保存三维方向传感数据和三维加速度传感数据；

S3、设置手持设备的基准点；

S4、根据实时的三维方向传感数据计算手持设备相对于基准点的实时偏移量，进而实时地在手持设备的触控屏上显示标识对象；

S5、根据实时的三维加速度传感数据获得用户对手持设备的操作动作并执行该操作动作。

进一步，所述步骤S3，其具体为：

获取手持设备的初始的三维方向传感数据作为手持设备的基准点，同时计算手持设备相对于基准点的实时偏移量并判断实时偏移量是否超出预设范围，若是，则根据该时刻的三维方向传感数据动态调整手持设备的基准点。

进一步，所述步骤S5，其具体为：

根据实时的三维加速度传感数据，计算获得三维加速度传感数据的实时变化波形，并将获得的实时变化波形与预设指令数据库进行比对后，获得对手持设备的操作动作并执行该操作动作。

进一步，所述步骤S5，其具体为：

滤除幅度过大的晃动，以接近静止态为基准状态，根据实时的三维加速度传感数据，计算获得三维加速度传感数据的呈一定变化规律的实时变化波形，并将获得的实时变化波形与预设指令数据库进行比对，根据该实时变化波形的变化规律，获得对手持设备的操作动作并执行该操作动作。

进一步，所述手持设备上设有平面触感压感式的操作按键，所述步骤S1之前还包括以下步骤：

S0、实时检测操作按键是否存在触感信息，若是，则执行步骤S1，否则继续执行本步骤。

进一步，所述步骤S5，其具体为：

检测用户对操作按键的按压动作，进而将获得的按压动作与预设指令数据库进行比对，进而获得用户对手持设备的操作动作并执行该操作动作。

进一步，所述预设范围包括横向跨度Dx和纵向跨度Dy，所述根据该时刻的三维方向传感数据动态调整手持设备的基准点的步骤，其具体为：

根据实时偏移量超出预设范围的具体情况，按照以下公式，结合该时刻的三维方向传感数据动态调整手持设备的基准点：

当实时偏移量超出预设范围的右边界时：STnew= xyz[0]-Dx/2；

当实时偏移量超出预设范围的左边界时：STnew= xyz[0]+Dx/2；

当实时偏移量超出预设范围的上边界时：STnew= xyz[1]-Dy/2；

当实时偏移量超出预设范围的下边界时：STnew= xyz[1]+Dy/2；

上述各公式中，STnew代表调整后的新的基准点，Dx和Dy分别代表预设范围的横向跨度和纵向跨度，xyz[0]表示该时刻的三维方向传感数据的x坐标，xyz[1]表示该时刻的三维方向传感数据的y坐标。

进一步，所述步骤S5，其具体为：

根据实时的三维加速度传感数据，分别计算最后5组三维加速度传感数据的变化值后，分别将5组变化值与两个以上预设区间进行比较从而获得5组变化值所处的区间结果，进而将获得的区间结果与预设指令数据库进行比对后，获得对手持设备的操作动作并执行该操作动作。

本发明的有益效果是：本发明的基于传感器的手持设备的交互控制方法，包括：S1、设置传感器数据检测频率；S2、调用手持设备的API传感器事件，获取传感器返回的连续数据，实时地更新并保存三维方向传感数据和三维加速度传感数据；S3、设置手持设备的基准点；S4、根据实时的三维方向传感数据计算手持设备相对于基准点的实时偏移量，进而实时地在手持设备的触控屏上显示标识对象；S5、根据实时的三维加速度传感数据获得用户对手持设备的操作动作并执行该操作动作。本交互控制方法通过检测手持设备的微晃动对手持设备进行交互控制，不会对手持设备的屏幕内容有任何遮挡，对目标的选择和操作将更加准确，控制精度高、误差小，减少了手持设备对触控屏的依赖，增加了操作方式的多样性，而且无需增加额外的操作设备，实现成本低。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明的基于传感器的手持设备的交互控制方法的流程图；

图2是本发明的一具体实施例所采用的手持设备的操作按键的位置示意图。

具体实施方式

参照图1，本发明提供了一种基于传感器的手持设备的交互控制方法，包括：

S1、设置传感器数据检测频率；

S2、调用手持设备的API传感器事件，获取传感器返回的连续数据，实时地更新并保存三维方向传感数据和三维加速度传感数据；

S3、设置手持设备的基准点；

S4、根据实时的三维方向传感数据计算手持设备相对于基准点的实时偏移量，进而实时地在手持设备的触控屏上显示标识对象；

S5、根据实时的三维加速度传感数据获得用户对手持设备的操作动作并执行该操作动作。

进一步作为优选的实施方式，所述步骤S3，其具体为：

获取手持设备的初始的三维方向传感数据作为手持设备的基准点，同时计算手持设备相对于基准点的实时偏移量并判断实时偏移量是否超出预设范围，若是，则根据该时刻的三维方向传感数据动态调整手持设备的基准点。

进一步作为优选的实施方式，所述步骤S5，其具体为：

根据实时的三维加速度传感数据，计算获得三维加速度传感数据的实时变化波形，并将获得的实时变化波形与预设指令数据库进行比对后，获得对手持设备的操作动作并执行该操作动作。

进一步作为优选的实施方式，所述步骤S5，其具体为：

滤除幅度过大的晃动，以接近静止态为基准状态，根据实时的三维加速度传感数据，计算获得三维加速度传感数据的呈一定变化规律的实时变化波形，并将获得的实时变化波形与预设指令数据库进行比对，根据该实时变化波形的变化规律，获得对手持设备的操作动作并执行该操作动作。

进一步作为优选的实施方式，所述手持设备上设有平面触感压感式的操作按键，所述步骤S1之前还包括以下步骤：

S0、实时检测操作按键是否存在触感信息，若是，则执行步骤S1，否则继续执行本步骤。

进一步作为优选的实施方式，所述步骤S5，其具体为：

检测用户对操作按键的按压动作，进而将获得的按压动作与预设指令数据库进行比对，进而获得用户对手持设备的操作动作并执行该操作动作。

进一步作为优选的实施方式，所述预设范围包括横向跨度Dx和纵向跨度Dy，所述根据该时刻的三维方向传感数据动态调整手持设备的基准点的步骤，其具体为：

根据实时偏移量超出预设范围的具体情况，按照以下公式，结合该时刻的三维方向传感数据动态调整手持设备的基准点：

当实时偏移量超出预设范围的右边界时：STnew= xyz[0]-Dx/2；

当实时偏移量超出预设范围的左边界时：STnew= xyz[0]+Dx/2；

当实时偏移量超出预设范围的上边界时：STnew= xyz[1]-Dy/2；

当实时偏移量超出预设范围的下边界时：STnew= xyz[1]+Dy/2；

上述各公式中，STnew代表调整后的新的基准点，Dx和Dy分别代表预设范围的横向跨度和纵向跨度，xyz[0]表示该时刻的三维方向传感数据的x坐标，xyz[1]表示该时刻的三维方向传感数据的y坐标。

进一步作为优选的实施方式，所述步骤S5，其具体为：

根据实时的三维加速度传感数据，分别计算最后5组三维加速度传感数据的变化值后，分别将5组变化值与两个以上预设区间进行比较从而获得5组变化值所处的区间结果，进而将获得的区间结果与预设指令数据库进行比对后，获得对手持设备的操作动作并执行该操作动作。

以下结合具体实施例对本发明作进一步说明：

实施例一

参照图1，一种基于传感器的手持设备的交互控制方法，包括：

S1、设置传感器数据检测频率；一般设为每秒采集6次传感器数据；

S2、调用手持设备的API传感器事件，获取传感器返回的连续数据，实时地更新并保存三维方向传感数据和三维加速度传感数据；这里，按照控制方法所需的准确度与延时，来选择保存的三维加速度传感数据的情况，一般保存最后5组三维加速度传感数据；

显然本方法是针对具有三维加速度传感器的手持设备的交互控制方法，关于三维加速度传感数据的具体获取方法是现有技术中比较成熟的内容，这里不再赘述；

S3、设置手持设备的基准点；

本实施例中，步骤S3具体为：

获取手持设备的初始的三维方向传感数据作为手持设备的基准点，同时计算手持设备相对于基准点的实时偏移量并判断实时偏移量是否超出预设范围，若是，则根据该时刻的三维方向传感数据动态调整手持设备的基准点。

预设范围包括横向跨度Dx和纵向跨度Dy，采用ST代表基准点，STx表示基准点的横坐标，STy表示基准点的纵坐标，xyz[0]表示当前时刻的三维加速度传感数据，判断实时偏移量是否超出预设范围的公式如下：

xyz[0] - STx>Dx/2，表示实时偏移量即手持设备晃动超出预设范围的右边界；

STx - xyz[0] >Dx/2，表示手持设备晃动超出预设范围的左边界；

xyz[0] - STy>Dy/2，表示手持设备晃动超出预设范围的上边界；

Sty- xyz[0]>Dy/2，表示手持设备晃动超出预设范围的下边界；

对应的，对基准点进行调整的具体调整过程如下：根据该时刻的三维方向传感数据动态调整手持设备的基准点的步骤，其具体为：

根据实时偏移量超出预设范围的具体情况，按照以下公式，结合该时刻的三维方向传感数据动态调整手持设备的基准点：

当实时偏移量超出预设范围的右边界时：STnew= xyz[0]-Dx/2；

当实时偏移量超出预设范围的左边界时：STnew= xyz[0]+Dx/2；

当实时偏移量超出预设范围的上边界时：STnew= xyz[1]-Dy/2；

当实时偏移量超出预设范围的下边界时：STnew= xyz[1]+Dy/2；

上述各公式中，STnew代表调整后的新的基准点，Dx和Dy分别代表预设范围的横向跨度和纵向跨度，xyz[0]表示该时刻的三维方向传感数据的x坐标，xyz[1]表示该时刻的三维方向传感数据的y坐标。

S4、根据实时的三维方向传感数据计算手持设备相对于基准点的实时偏移量，进而实时地在手持设备的触控屏上显示标识对象；

根据计算获得的手持设备相对于基准点的实时偏移量，计算获得手持设备的标识对象在移动后的标识坐标x、y，然后在新的标识坐标的位置显示标识对象；同时根据手持设备的显示模式进行显示：若手持设备为鼠标模式，则在标识坐标x、y的位置显示鼠标，若手持设备为焦点模式，则将距离标识坐标x、y最近的焦点对象进行高亮显示。

横向偏移量为_x = xyz[0] - STx，纵向偏移量为：_y= xyz[1] - STy。

以左下角为坐标原点，W = 屏幕宽，H = 屏幕高，则新的标识坐标为：

标识坐标x = W * (Dx / 2 + _x) / Dx，y = Y * (Dy / 2 + _y) / Dy。

由于使用相对值，基准点可以设为任何位置；有可能需要对跨边界值及横向或仰视进行修正。

S5、根据实时的三维加速度传感数据获得用户对手持设备的操作动作并执行该操作动作。

本实施例中，步骤S5具体为：

根据实时的三维加速度传感数据，计算获得三维加速度传感数据的实时变化波形，并将获得的实时变化波形与预设指令数据库进行比对后，获得对手持设备的操作动作并执行该操作动作。

更具体的，步骤S5详细如下：

滤除幅度过大的晃动，以接近静止态为基准状态，根据实时的三维加速度传感数据，计算获得三维加速度传感数据的呈一定变化规律的实时变化波形，并将获得的实时变化波形与预设指令数据库进行比对，根据该实时变化波形的变化规律，获得对手持设备的操作动作并执行该操作动作。

本方法是通过检测手持设备的微晃动来实现交互控制的，手持设备的同种晃动动作对应的实时变化波形为非常相似的、有规律的、可重现的波形，不同晃动动作的实时变化波形具有明显的差异，因此，通过预先定义好不同的实时变化波形对应不同的操作动作根据对应关系建立预设指令数据库，然后通过检测手持设备的实时变化波形，识别出各种微晃动，获得对手持设备的操作动作，进而按照预先的定义执行该对应的操作动作。

步骤S5的一个详细的实施方式为：

1）根据应用的设计和精确度及延时性需要，本实施例设计时已确定以实时的最后5组数据为“微晃动操作”的识别数据。

2）通过足够的统计实验，分析归纳出各所需识别的“微晃动操作”的特征数据范围。如通过大量实验测试，得到“轻握（轻捏）”操作的特征数据范围为 (设序号为0至4)：

Δ0 = abs(v2-v4)，Δ1 = abs(v0-v1)，Δ2 = abs(v1-v2)，Δ3 = abs(v2-v3)，Δ4 = abs(v3-v4)

其中v为x、y、z方向上的加速度传感数据与基准值的相对值，Δ为上面公式所示的v相对关系（差绝对值）。

其中Δ0、Δ3、Δ4在本例中反应了操作动作特征波形，Δ1、Δ2在本例中反应了操作动作前的是否近似静止状态（否则认为是非稳定状态，即过滤跳过放弃本次判断）。

x特征数据范围：{Δ0 < 0.4，Δ1 < 0.5，Δ2 < 0.5，Δ3 < 2.0，Δ4 < 2.0}；

y特征数据范围：{Δ0 < 0.5，Δ1 < 0.5，Δ2 < 0.5，Δ3 >0.2 && Δ3 < 2.0，Δ4 >0.2 &&Δ4 < 2.0}；

z特征数据范围：{本实施例的精确度已足够，故忽略z特征数据范围}。

3）实时记录检测传感器返回的最后5组数据，在x、y、z（按情况可能省略其中一组）方向上与上述预设（已定义好）的特征数据范围比对，若全部符合即确定为相应“微晃动操作”发生，否则进行其它比对或忽略。

例如实时数据为：

x：{0.2，0.2，0.6，1.2，0.8}，

y：{0.1，0.1，0.3，1.2，0.5}，

z：{0.3，0.3，0.9，1.9，0.9}。

其中x方向加速度变化值为vx0=0.2，vx1=0.2，vx2=0.6，vx3=1.2，vx4=0.8，同样的可以获得对应的vy、vz的值。因此，获得相应的Δ值为：

Δx：{0.2，0.0，0.4，0.6，0.4}，

Δy：{0.2，0.0，0.2，0.9，0.7}，

Δz：{0.0，0.0，0.6，1.0，1.0}。

其中Δx的详细计算过程如下：Δx0=abs(vx2- vx4)，Δx1= abs(vx0- vx1)，Δx2= abs(vx1- vx2)，Δx3= abs(vx2- vx3)，Δx4= abs(vx3- vx4)。Δy、Δz的详细计算过程与Δx类同。

根据上述计算获得的Δ值，判断其符合预设的特征数据范围，确定为当前进行了“轻握（轻捏）”操作。

具体判断依据：Δx0<0.4，Δx1<0.5，Δx2<0.5，Δx3<2.0，Δx4<2.0，Δy0<0.5，Δy1<0.5，Δy2<0.5，Δy3>0.2 && Δy3<2.0，Δy4>0.2 && Δy4<2.0，本例情况下忽略Δz组的判断。

同理判断其他操作，其中轻握、轻甩、轻转或其它扩展操作的特征数值范围，皆可通过统计分析获得。

上述步骤S5的本实施例中，预设的特征数据范围相当于前述的预设区间，本实施例是根据5组变化值与5个预设的特征数据范围的比较结果来获得对手持设备的操作动作，进而执行该操作动作的。

另外，还可以在记录加速度连续数据时，同步记录对应坐标或焦点数据，以修正连续数据分析产生的延时影响。

通过本实施例的交互控制方法检测手持设备的微晃动对手持设备进行交互控制，不会对手持设备的屏幕内容有任何遮挡，对目标的选择和操作将更加准确，控制精度高、误差小，减少了手持设备对触控屏的依赖，增加了操作方式的多样性，而且无需增加额外的操作设备，实现成本低。

实施例二

本实施例中所采用的手持设备上设有平面触感压感式的操作按键，通过传感器数据以及操作按键的操作来实现对手持设备的交互控制；参照图2，本实施例采用的手持设备的操作按键设置在手持设备的左侧或右侧对应人手拇指的位置，该操作按键实际为“拇指专用键”，通过拇指进行操作，提高了操作使用的方便性。

本实施例的一种基于传感器的手持设备的交互控制方法，包括：

S0、实时检测操作按键是否存在触感信息，若是，则执行步骤S1，否则继续执行本步骤；本步骤在检测到用户对手持设备的操作按键的触感信息后再执行以下的步骤，可以减少手持设备的耗电，节约能源；

S1、设置传感器数据检测频率；一般设为每秒采集6次传感器数据；

S2、调用手持设备的API传感器事件，获取传感器返回的连续数据，实时地更新并保存三维方向传感数据和三维加速度传感数据；

S3、设置手持设备的基准点；

本实施例中，步骤S3，其具体为：获取手持设备的初始的三维方向传感数据作为手持设备的基准点，同时计算手持设备相对于基准点的实时偏移量并判断实时偏移量是否超出预设范围，若是，则根据该时刻的三维方向传感数据动态调整手持设备的基准点。

关于如何判断实时偏移量超出预设范围以及如何调整手持设备的基准点，采用与实施例一同样的方法，可参照实施例一的描述。

S4、根据实时的三维方向传感数据计算手持设备相对于基准点的实时偏移量，进而实时地在手持设备的触控屏上显示标识对象；本步骤的详细执行情况可参照实施例一的描述。

S5、根据实时的三维加速度传感数据获得用户对手持设备的操作动作并执行该操作动作，具体为：检测用户对操作按键的按压动作，进而将获得的按压动作与预设指令数据库进行比对，进而获得用户对手持设备的操作动作并执行该操作动作。这里的按压动作是指单击、双击等操作，可定义为与笔记本鼠标板左右键操作相同。

本实施例中手持设备的平面触感压感式的操作按键可以是另外设置的，也可以直接采用手持设备上的按键，例如音量键。

通过本实施例的交互控制方法通过检测手持设备的微晃动对手持设备进行交互控制，不会对手持设备的屏幕内容有任何遮挡，对目标的选择和操作将更加准确，控制精度高、误差小，减少了手持设备对触控屏的依赖，增加了操作方式的多样性，而且实现成本低。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.基于传感器的手持设备的交互控制方法，其特征在于，包括：

S1、设置传感器数据检测频率；

S2、调用手持设备的API传感器事件，获取传感器返回的连续数据，实时地更新并保存三维方向传感数据和三维加速度传感数据；

S3、设置手持设备的基准点；

S4、根据实时的三维方向传感数据计算手持设备相对于基准点的实时偏移量，进而实时地在手持设备的触控屏上显示标识对象；

S5、根据实时的三维加速度传感数据获得用户对手持设备的操作动作并执行该操作动作；

所述步骤S3，其具体为：

获取手持设备的初始的三维方向传感数据作为手持设备的基准点，同时计算手持设备相对于基准点的实时偏移量并判断实时偏移量是否超出预设范围，若是，则根据该时刻的三维方向传感数据动态调整手持设备的基准点；

所述步骤S5，其具体为：

根据实时的三维加速度传感数据，计算获得三维加速度传感数据的实时变化波形，并将获得的实时变化波形与预设指令数据库进行比对后，获得对手持设备的操作动作并执行该操作动作。

2.根据权利要求1所述的基于传感器的手持设备的交互控制方法，其特征在于，所述步骤S5，其具体为：

滤除幅度过大的晃动，以接近静止态为基准状态，根据实时的三维加速度传感数据，计算获得三维加速度传感数据的呈一定变化规律的实时变化波形，并将获得的实时变化波形与预设指令数据库进行比对，根据该实时变化波形的变化规律，获得对手持设备的操作动作并执行该操作动作。

3.根据权利要求1所述的基于传感器的手持设备的交互控制方法，其特征在于，所述手持设备上设有平面触感压感式的操作按键，所述步骤S1之前还包括以下步骤：

S0、实时检测操作按键是否存在触感信息，若是，则执行步骤S1，否则继续执行本步骤。

4.根据权利要求3所述的基于传感器的手持设备的交互控制方法，其特征在于，所述步骤S5，其具体为：

检测用户对操作按键的按压动作，进而将获得的按压动作与预设指令数据库进行比对，进而获得用户对手持设备的操作动作并执行该操作动作。

5.根据权利要求1所述的基于传感器的手持设备的交互控制方法，其特征在于，所述预设范围包括横向跨度Dx和纵向跨度Dy，所述根据该时刻的三维方向传感数据动态调整手持设备的基准点的步骤，其具体为：

根据实时偏移量超出预设范围的具体情况，按照以下公式，结合该时刻的三维方向传感数据动态调整手持设备的基准点：

当实时偏移量超出预设范围的右边界时：STnew＝xyz[0]-Dx/2；

当实时偏移量超出预设范围的左边界时：STnew＝xyz[0]+Dx/2；

当实时偏移量超出预设范围的上边界时：STnew＝xyz[1]-Dy/2；

当实时偏移量超出预设范围的下边界时：STnew＝xyz[1]+Dy/2；

上述各公式中，STnew代表调整后的新的基准点，Dx和Dy分别代表预设范围的横向跨度和纵向跨度，xyz[0]表示该时刻的三维方向传感数据的x坐标，xyz[1]表示该时刻的三维方向传感数据的y坐标。

6.根据权利要求1所述的基于传感器的手持设备的交互控制方法，其特征在于，所述步骤S5，其具体为：

根据实时的三维加速度传感数据，分别计算最后5组三维加速度传感数据的变化值后，分别将5组变化值与两个以上预设区间进行比较从而获得5组变化值所处的区间结果，进而将获得的区间结果与预设指令数据库进行比对后，获得对手持设备的操作动作并执行该操作动作。