CN110488971B - 一种安卓系统体感应用交互实现方法及系统 - Google Patents

Abstract

本发明涉及一种安卓系统体感应用交互实现方法及系统，方法包括：启动安卓系统，启动体感设备，检测并生成用户体感状态和手部空间坐标；安卓应用被启动时，为此安卓应用注册界面活动生命周期回调接口，当应用窗口启动时，注册当前启动的窗口；检测应用窗口中的可交互UI组件，生成可交互UI组件集合；使用用户体感状态和手部空间坐标对可交互UI组件集合中的元素进行判定，经过系统匹配，得到可交互UI组件和要执行的交互命令；根据可交互UI组件和要执行的交互命令，调用对应的安卓接口进行事件触发。本发明从系统层面支持了应用的体感操控，能够明显的降低体感应用的开发成本，提高体感应用生态的应用数量，并使用户获得一致的体感交互体验。

Description

一种安卓系统体感应用交互实现方法及系统

技术领域

本发明属于智能电视安卓应用领域，具体而言，涉及一种安卓系统体感应用交互实现方法及系统。

背景技术

当前市场上已经有相当多的体感设备，越来越多的智能电视厂商以及安卓应用开发者也发布了各具特色的体感交互应用，这些应用为广大用户增加了新的娱乐方式，也带给安卓应用生态不同的发展方向。

但是现有的体感应用对体感交互的支持需要开发者自行处理，智能电视厂商也并未原生支持体感功能，大大增加了体感应用的开发成本，这对体感应用生态的发展十分不利，行业亟需统一的体感应用交互方案，能够低成本将适合智能电视使用的应用转化为体感应用，提高体感应用数量，增强体感体验。

发明内容

为解决上述问题，本发明提供了一种安卓系统体感应用交互实现方法及系统，增加了一个对不支持体感交互的应用进行体感操作的机制。

为实现上述目的，本发明的技术方案如下：

如图1所示，一种安卓体感应用交互实现方法，包括步骤：

A、启动安卓系统，启动体感设备，检测并生成用户体感状态和手部空间坐标；

B、在一个安卓应用被启动时，为此安卓应用注册界面活动生命周期回调接口，当该应用的窗口启动时，注册当前启动的窗口；

C、检测步骤B中应用窗口中的可交互UI组件，生成可交互UI组件集合；

D、使用步骤A中获得的用户体感状态和手部空间坐标对步骤C中获得的可交互UI组件集合中的元素进行判定，经过系统匹配，得到可交互UI组件和要执行的交互命令；

E、根据步骤D中得到的可交互UI组件和要执行的交互命令，调用对应的安卓接口进行事件触发。

本技术方案中，优选地，步骤A中，体感设备实时获取用户的体感状态和手部空间坐标。

优选地，所述步骤B中，当该应用的窗口启动时，会调用活动生命周期回调接口onActivityResumed方法，注册当前启动的窗口。

优选地，所述步骤C中，应用窗口中的可交互UI组件包含进行点击、滑动、拖拽交互的组件，UI组件通过系统标准方法getLocationOnScreen获取在屏幕上的坐标位置和区域，并且记录。

优选地，所述步骤D中，系统匹配方法为将手部空间坐标转换为屏幕上的坐标，转换方法要根据不同的摄像头定义的方法和相关光心参数计算，得到手部屏幕坐标后，遍历UI组件集合中每个UI组件在屏幕上的位置和区域后，判断手部屏幕坐标是否在该区域内，如果在该区域内，匹配该UI组件，得到匹配的可交互UI组件和要执行的交互命令。

优选地，所述步骤E中，事件触发包括在指定位置触发点击、滑动和拖拽事件。

如图2所示，一种安卓体感应用交互实现系统，包括：

体感设备模块，用于实时检测并获取用户体感状态和手部空间坐标；

应用窗口注册模块，用于获得窗口中可进行交互的UI组件，应用窗口注册模块被配置成当一个安卓窗口被启动时，获得当前窗口中可进行交互的UI组件和生成可交互UI组件集合；

焦点选择模块，用于使用体感设备模块获取的用户体感状态和手部空间坐标对应用窗口注册模块获得的可交互UI组件集合中的元素进行判定，当可交互UI组件满足交互条件时，根据用户体感状态和手部空间坐标生成体感交互命令；

事件分发模块，用于根据生成的体感交互命令，调用对应的安卓接口进行事件触发。

优选地，体感设备模块被配置成在安卓系统启动时，跟随安卓系统启动。

优选地，应用窗口注册模块获得的窗口中可进行交互的UI组件包含进行点击、滑动、拖拽交互的组件。

优选地，事件分发模块被配置成根据体感交互命令在指定位置触发点击、滑动和拖拽事件。

本技术方案中，在安卓系统中增加了一个对不支持体感交互的应用进行体感操作的机制。当安卓系统启动时，会启动体感设备用于实时获取用户体感数据和手部空间坐标，当一个不支持体感交互的应用被启动时，安卓系统会获取当前显示的应用窗口，并将该窗口中可进行交互的UI组件传递给焦点选择模块，当满足交互条件时，由事件分发模块负责触发安卓系统的交互操作，如点击、滑动、拖拽等。这样从系统层面支持了应用的体感操控，能够明显的降低体感应用的开发成本，提高体感应用生态的应用数量，并使用户获得一致的体感交互体验。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明一种安卓系统体感应用交互实现方法的流程图。

图2为本发明一种安卓系统体感应用交互实现系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种安卓体感应用交互实现方法，包括步骤：

A、启动安卓系统，启动体感设备模块，体感设备模块检测并生成用户体感状态和手部空间坐标，并将用户体感状态和手部空间坐标传递给焦点选择模块；

B、在一个安卓应用被启动时，为此安卓应用注册界面活动生命周期回调接口，当该应用的窗口启动时，将当前启动的窗口注册到应用窗口注册模块；

C、应用窗口注册模块检测步骤B中应用窗口中的可交互UI组件，生成可交互UI组件集合，该集合中的UI组件通过系统标准方法getLocationOnScreen获取在屏幕上的坐标位置和区域并记录后将可交互UI组件集合发送给焦点选择模块；

D、焦点选择模块使用步骤A中获得的用户体感状态和手部空间坐标对步骤C中获得的可交互UI组件集合中的元素进行判定和匹配，具体的匹配方法是将手部空间坐标转换屏幕上的坐标，具体的，转换方法要根据不同的摄像头定义的方法和相关光心参数计算，得到手部屏幕坐标后，遍历UI组件集合每个UI组件在屏幕上的位置和区域判断手部屏幕坐标是否在该区域内，如果在该区域内，即匹配该UI组件，得到匹配的可交互UI组件和要执行的交互命令，并将结果发送到事件分发模块；

E、事件分发模块根据步骤D中得到的可交互UI组件和要执行的交互命令，调用对应的安卓接口进行事件触发。

步骤A中，体感设备实时获取用户的体感状态和手部空间坐标。

步骤B中，当该应用的窗口启动时，会调用活动生命周期回调接口onActivityResumed方法，将当前启动的窗口注册到应用窗口注册模块。

步骤C中，应用窗口中的可交互UI组件包含进行点击、滑动、拖拽交互的组件。

步骤E中，事件触发包括在指定位置触发点击、滑动和拖拽事件。

本实施例以悬停触发点击为体感交互动动作，具体的安卓系统体感应用交互实现方法如下：

步骤S1：安卓系统启动，体感设备模块跟随安卓系统启动，并实时获取体感状态和手部空间坐标。

步骤S2：启动一个应用A，在应用A的Application的onCreate方法中调用registerActivityLifecycleCallbacks方法注册窗口生命周期回调方法。

步骤S3：应用A启动一个活动Activity，触发回调方法onActivityResumed，通过该回调方法获取当前页面的Window，遍历当前Window中的所有子View，判断View的viewFlags属性中CLICKABLE，LONG_CLICKABLE，CONTEXT_CLICKABLE，ENABLED_MASK标志位是否为1，如为1则保存该view，并且为该Window注册OnLayoutChangeListener以便及时更新可交互UI组件集合。

步骤S4：以悬停触发点击为例，首先将步骤1获得的手部空间坐标转换为屏幕二维坐标vector2(x,y)，遍历步骤S3中获取的UI组件集合vi，先获取每个UI组件的可见区域，该可见区域形状为矩形，矩形区域的左上角坐标是(x,y)，矩形区域的宽高为(width,height)，判断体感操作时的手部坐标映射成屏幕中的坐标是否在UI组件的可见矩形区域范围内，若在范围内，则使vi生成获取焦点命令，若vi当前已获取到焦点，则生成悬停命令。

步骤S5：若步骤S4生成获取焦点命令，则通过安卓标准方法requestFocus使得该组件获取焦点，若步骤S4生成悬停命令，则记录悬停命令触发次数。

步骤S6：当步骤S5中悬停命令触发次数达到某个预设的阈值，则通过安卓标准接口dispatchTouchEvent将点击操作发送给安卓系统，由系统完成点击事件的逐层分发。

基于以上方法，提供了一种安卓系统体感应用交互实现系统，其包括：体感设备模块，应用窗口注册模块，焦点选择模块和事件分发模块。

体感设备模块，用于实时检测并获取用户体感状态和手部空间坐标，体感设备模块被配置成在安卓系统启动时，跟随安卓系统启动。

应用窗口注册模块，用于获得窗口中可进行交互的UI组件，应用窗口注册模块被配置成当一个安卓窗口被启动时，获得当前窗口中可进行交互的UI组件和生成可交互UI组件集合，应用窗口注册模块获得的窗口中可进行交互的UI组件包含进行点击、滑动、拖拽交互的组件。

焦点选择模块，用于使用体感设备模块获取的用户体感状态和手部空间坐标对应用窗口注册模块获得的可交互UI组件集合中的元素进行判定，当可交互UI组件满足交互条件时，根据用户体感状态和手部空间坐标生成体感交互命令；

事件分发模块，用于根据生成的体感交互命令，调用对应的安卓接口进行事件触发，事件分发模块被配置成根据体感交互命令在指定位置触发点击、滑动和拖拽事件。

从以上具体实施方式能够看出，本发明在安卓系统中增加了一个对不支持体感交互的应用进行体感操作的机制。具体地，当安卓系统启动时，会启动体感设备用于实时获取用户体感数据和手部空间坐标，当一个不支持体感交互的应用被启动时，安卓系统会获取当前显示的应用窗口，并将该窗口中可进行交互的UI组件传递给焦点选择模块，当满足交互条件时，由事件分发模块负责触发安卓系统的交互操作，如点击、滑动、拖拽等。这样从系统层面支持了应用的体感操控，能够明显的降低体感应用的开发成本，提高体感应用生态的应用数量，并使用户获得一致的体感交互体验。

上述实施例仅用以说明本发明的技术方案而非对其限制，制作方法上实际可采用的制作方案是很多的，凡依本发明的权利要求所做的均等变化与装饰，均属于本发明的涵盖范围。

Claims (10)

1.一种安卓体感应用交互实现方法，其特征在于，包括步骤：

A、启动安卓系统，启动体感设备，检测并生成用户体感状态和手部空间坐标；

B、在一个安卓应用被启动时，为此安卓应用注册界面活动生命周期回调接口，当该应用的窗口启动时，注册当前启动的窗口；

C、检测步骤B中应用窗口中的可交互UI组件，生成可交互UI组件集合；

D、使用步骤A中获得的用户体感状态和手部空间坐标对步骤C中获得的可交互UI组件集合中的元素进行判定，经过系统匹配，得到可交互UI组件和要执行的交互命令；

E、根据步骤D中得到的可交互UI组件和要执行的交互命令，调用对应的安卓接口进行事件触发。

2.根据权利要求1所述的安卓体感应用交互实现方法，其特征在于：所述步骤A中，体感设备实时获取用户的体感状态和手部空间坐标。

3.根据权利要求1所述的安卓体感应用交互实现方法，其特征在于：所述步骤B中，当该应用的窗口启动时，会调用活动生命周期回调接口onActivityResumed方法，注册当前启动的窗口。

4.根据权利要求1所述的安卓体感应用交互实现方法，其特征在于：所述步骤C中，应用窗口中的可交互UI组件包含进行点击、滑动、拖拽交互的组件，UI组件通过系统标准方法getLocationOnScreen获取在屏幕上的坐标位置和区域，并且记录。

5.根据权利要求1所述的安卓体感应用交互实现方法，其特征在于：所述步骤D中，系统匹配方法为将手部空间坐标转换为屏幕上的坐标，转换方法要根据不同的摄像头定义的方法和相关光心参数计算，得到手部屏幕坐标后，遍历UI组件集合中每个UI组件在屏幕上的位置和区域后，判断手部屏幕坐标是否在该区域内，如果在该区域内，匹配该UI组件，得到匹配的可交互UI组件和要执行的交互命令。

6.根据权利要求1所述的安卓体感应用交互实现方法，其特征在于：所述步骤E中，事件触发包括在指定位置触发点击、滑动和拖拽事件。

7.一种安卓体感应用交互实现系统，其特征在于，包括：

体感设备模块，用于实时检测并获取用户体感状态和手部空间坐标；

应用窗口注册模块，用于获得窗口中可进行交互的UI组件，所述应用窗口注册模块被配置成当一个安卓窗口被启动时，获得当前窗口中可进行交互的UI组件和生成可交互UI组件集合；

焦点选择模块，用于使用体感设备模块获取的用户体感状态和手部空间坐标对应用窗口注册模块获得的可交互UI组件集合中的元素进行判定，当可交互UI组件满足交互条件时，根据用户体感状态和手部空间坐标生成体感交互命令；

事件分发模块，用于根据生成的体感交互命令，调用对应的安卓接口进行事件触发。

8.根据权利要求7所述的安卓体感应用交互实现系统，其特征在于：

所述体感设备模块被配置成在安卓系统启动时，跟随安卓系统启动。

9.根据权利要求7所述的安卓体感应用交互实现系统，其特征在于：

所述应用窗口注册模块获得的窗口中可进行交互的UI组件包含进行点击、滑动、拖拽交互的组件。

10.根据权利要求7所述的安卓体感应用交互实现系统，其特征在于：所述事件分发模块被配置成根据体感交互命令在指定位置触发点击、滑动和拖拽事件。

Images