CN112987924A - 用于设备交互的方法、装置、设备和存储介质 - Google Patents

Abstract

本公开实施例提供了一种用于设备交互的方法、装置、设备和存储介质，包括：获取第一终端的姿态变化信息，之后根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，并在用户界面中确定与调整后的操作点对应的目标对象，而后若第一终端接收到用户针对至少两个触控键中任一触控键的触控操作，则响应于触控操作生成对目标对象的控制指令，最后对目标对象执行控制指令，以更新用户界面。本公开实施例，通过第一终端设置的至少两个触控键可以控制第二终端的用户界面的显示，从而使得第一终端和第二终端在配合使用时，利用第一终端已有的功能结构实现了手柄的功能来控制第二终端的显示，充分利用了第一终端。

Description

用于设备交互的方法、装置、设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种用于设备交互的方法、装置、设备和存储介质。

背景技术

近年来随着计算机软硬件技术的发展，出现了各种形式的可穿戴式智能设备，例如智能手表、头戴式电子设备和智能运动鞋等，这些可穿戴式智能设备在工业、医疗健康、军事、教育、娱乐等许多领域表现出了广阔的应用前景。

头戴式电子设备作为其中最具代表性的穿戴式智能设备，在使用时可以与手机等终端设备连接。例如，头戴式电子设备可以与手机连接，头戴式电子设备可以作为手机的扩展屏使用。还例如，手机可以作为头戴式电子设备的计算单元使用，为头戴式电子设备提供计算功能。可见，手机等终端设备与头戴式电子设备经常需要相互配合使用，此种情况下如何尽可能的利用终端设备实现头戴式电子设备更多的功能成为人们关注的问题。

发明内容

本公开提供了一种用于设备交互的方法、装置、设备和存储介质。

第一方面，本公开实施例提供了一种用于设备交互的方法，包括：获取第一终端的姿态变化信息，其中，姿态变化信息用于表征第一终端在空间中的姿态变化，第一终端设置有至少两个触控键；根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象；若第一终端接收到用户针对触控键的触控操作，则响应于触控操作生成对目标对象的控制指令；对目标对象执行控制指令，以更新用户界面。

第二方面，本公开实施例提供了一种用于设备交互的装置，包括：第一处理模块，用于获取第一终端的姿态变化信息，其中，姿态变化信息用于表征第一终端在空间中的姿态变化，第一终端设置有至少两个触控键；定位模块，用于根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象；检测模块，用于若第一终端接收到用户针对触的触控操作，则响应于触控操作生成对目标对象的控制指令；执行模块，用于对目标对象执行控制指令，以更新用户界面。

第三方面，本公开实施例提供了一种设备，包括头戴式的显示终端和移动终端，显示终端与移动终端可进行通信，移动终端包括：处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现如第一方面的用于设备交互的方法。

第四方面，本公开实施例提供了一种设备，包括头戴式的显示终端和移动终端，显示终端与移动终端可进行通信，显示终端包括：处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现如第一方面的用于设备交互的方法。

第五方面，本公开实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如第一方面的用于设备交互的方法步骤。

本公开提供的技术方案，首先获取第一终端的姿态变化信息，之后根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，并在用户界面中确定与调整后的操作点对应的目标对象，而后若第一终端接收到用户针对至少两个触控键中任一触控键的触控操作，则响应于触控操作生成对目标对象的控制指令，最后对目标对象执行控制指令，以更新用户界面。本申请中在利用终端设备与头戴式电子设备进行交互的过程中，通过第一终端设置的至少两个触控键可以控制第二终端的用户界面的显示，从而使得第一终端和第二终端在配合使用时，利用第一终端已有的结构实现了手柄的功能来控制第二终端的显示，充分利用了第一终端。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为适用于本申请的用于设备交互的方法或用于设备交互的装置的系统结构示意图；

图2为根据本申请的用于设备交互的方法的第一实施例的流程示意图；

图3为根据本申请的用于设备交互的方法的第二实施例的流程示意图；

图4为根据本申请的用于设备交互的方法的第三实施例的流程示意图；

图5为根据本申请的用于设备交互的方法的第四实施例的流程示意图；

图6为根据本申请的用于设备交互的方法的第五实施例的流程示意图；

图7为根据本申请的用于设备交互的装置的模块组成示意图；

图8为根据本申请的用于设备交互的电子设备的结构示意图。

图例说明：

200-第一终端，300-第二终端，201-第一触控区域，202-第二触控区域。

具体实施方式

本公开实施例提供了一种用于设备交互的方法、装置及电子设备。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

如图1所示，图1为适用于本申请的用于设备交互的方法或用于设备交互的装置的系统结构示意图。该系统可以包括第一终端(如智能手机)200、第二终端(如头戴式电子设备)300。第一终端200和第二终端300可以通过各种方式连接，例如有线、无线通信链路或者光纤电缆等等。第一终端200和第二终端300可以进行交互，以发送或接收信息等。

应该理解，图1中的第一终端200可以是硬件，也可以是软件。当第一终端200为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机等等。当第一终端200为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。图1中的第二终端300可以是头戴式电子设备，该头戴式电子设备可以是在空间中指定位置处显示待操作的用户界面的电子设备，包括但不限于AR眼镜、VR眼镜等。

需要说明的是，上述第一终端200可以设置有至少两个触控键，如图1所示，且至少两个触控键按照功能可以划分成至少两种类型。例如，如图1所示，可以将显示在上述第一终端的用户操作界面中的触控屏划分为第一触控区域201和第二触控区域202。其中，上述第一触控区域201可以设置第一触控键，该第一触控区域201可以为触摸板区域，该触摸板区域可以接收用户的触控操作来辅助实现在界面中的选中等功能，触控操作可以如单击、双击、滑动等。上述第二触控区域202可以设置第二触控键，该第二触控区域202可以设置预设功能的按键如home键，例如，用户可以通过单击该home键从而执行返回主界面等功能。

上述第一终端200可以是提供各种服务功能的电子设备。例如，对获取到的第一终端200的姿态变化信息进行分析等处理，并将处理结果(如，根据第一终端在第二终端的用户界面指向的位置调整得到的操作点)反馈给第二终端。

需要说明的是，本申请实施例所提供的用于设备交互的方法一般由第一终端200执行，相应地，用于设备交互的装置一般设置于第一终端200中。

还需要指出的是，第二终端300也可以是提供各种服务功能的电子设备，例如，对从第一终端获取的姿态变化信息进行分析等处理，根据处理结果可以调整第二终端的用户界面中显示的操作点等。相应地，用于设备交互的装置可以设置于第二终端300中。

应该理解，图1中的第一终端200和第二终端300的数目仅仅是示意性的。根据实现需要，可以具有任意数目的第一终端200和第二终端300。例如，图1中可以包括两个第一终端200和一个第二终端300，此时两个第一终端200均可以与第二终端300交互，以实现更新第二终端300的用户界面。

如图2所示，图2示出了根据本申请的用于设备交互的方法的第一实施例的流程示意图。该用于设备交互的方法，包括以下步骤：

在步骤S102中，获取第一终端的姿态变化信息。

在本实施例中，用于设备交互的方法的执行主体(例如，图1中的第一终端200)可以通过各种方式获取第一终端的姿态变化信息。其中，姿态变化信息可以表征第一终端在空间中的姿态变化。这里，第一终端在空间中的姿态变化可以理解为第一终端在空间中多个方向上自由运动的变化。作为示例，上述第一终端可以通过其上安装的传感器直接获取自身的姿态变化信息，此种情况下，上述执行主体可以从第一终端直接获取第一终端的姿态变化信息。需要说明的是，上述第一终端可以为包括触控显示屏的终端设备。例如，第一终端可以为手机。并且上述第一终端的触控显示屏上可以设置有至少两个触控键。作为示例，上述触控键可以包括功能键，该功能键可以是单独的执行某种操作功能的按键，例如home键等，通过单击home键可以返回至主屏幕等操作，上述触控键还可以包括辅助键，该辅助键可以辅助用户触控操作，例如，通过接收到单击、双击、滑动等操作来对应执行打开应用程序、关闭应用程序、打开某应用程序的菜单等。

通常，上述第一终端可以安装有用于采集多个自由度(degree of freedom)信息的传感器。作为示例，上述第一终端的传感器可以为3dof或是6dof的传感器的移动设备，其中，3dof可以指有3个转动角度的自由度，而6dof可以指除了3个转动角度外，再加上上下、前后、左右3个位置相关的自由度。上述姿态变化信息可以表征第一终端在空间中位置的变化和第一终端在空间中方向的变化。例如，第一终端在空间中的姿态由水平状态变化为竖直状态，或者，还可以为第一终端在空间中的姿态由水平状态变化为与水平方向倾斜一定的角度的状态等。上述第一终端的姿态变化信息可以通过上述3dof的传感器或是6dof的传感器来确定。可以理解的是，若第一终端安装有6dof传感器，那么第一终端在空间中移动时可以直接采集6dof信息来确定出姿态变化信息。此时，上述执行主体可以直接获取第一终端的姿态变化信息。

在步骤S104中，根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象。

在本实施例中，上述第二终端可以是头戴式电子设备，该第二终端可以将用户界面显示在空间中指定位置处。在第一终端和第二终端交互的过程中，第一终端在空间中的姿态可以与用户界面中的操作点对应，因此第一终端在空间中的姿态发生变化时，相应地第二终端的用户界面中的操作点也相应地发生变化。上述执行主体在获取姿态变化信息之后，可以对姿态变化信息进行分析，从而可以对第二终端显示的用户界面中的操作点进行调整。上述执行主体可以在用户界面中确定出调整后的操作点所指示的对象，并将该对象确定为目标对象。

作为示例，对于第一终端在空间中当前位姿，第二终端显示的用户界面中操作点所在位置指示第一APP图标，上述执行主体在根据位姿变化信息可以调整第二终端显示的用户界面中操作点，从当前第一APP图标所在的位置调整到第二APP图标所在的位置，从而可以在用户界面中确定与调整后的操作点对应的目标对象为第二APP。

在步骤S106中，若第一终端接收到用户针对触控键的触控操作，则响应于触控操作生成对目标对象的控制指令。

在本实施例中，用户可以对第一终端上设置的触控键进行触控操作。因此，在第一终端接收到用户针对触控键的触控操作的情况下，响应于该触控操作，上述执行主体可以生成针对目标对象的触控指令。具体地，上述执行主体为第一终端，则该第一终端在接收到用户针对触控键的触控操作时，可以响应于触控操作生成针对上述目标对象的触控指令。或者上述执行主体为第二终端，则在第一终端接收到用户针对触控键的触控操作时，第二终端可以获取该触控操作(例如，针对某一触控键的单击操作)，并生成针对该目标对象的触控指令。

作为示例，上述目标对象可以为显示在用户界面的第二APP，上述第一终端在接收到用户针对辅助触控键的双击操作时，上述执行主体响应于该双击操作可以生成针对该第二APP的打开指令，以便于可以在第二终端的用户界面中打开第二APP。

在步骤S108中，对目标对象执行控制指令，以更新用户界面。

本实施例中，基于步骤S106生成的控制指令，上述执行主体可以对上述目标对象执行该控制指令，并生成相应的操作结果数据。然后，上述执行主体可以在上述第二终端显示的用户界面中显示上述操作结果数据，从而可以更新第二终端的用户界面。作为示例，若上述控制指令为第二APP的打开指令，则上述操作结果数据可以为该第二APP打开后的界面数据，第二终端的用户界面可显示该界面数据。

需要说明的是，本申请公开的方法，第一终端(例如，手机)和第二终端(例如，头戴式电子设备)交互的过程中，当用户需要对第二终端的用户界面显示的目标对象进行操作时，无需移动第二终端，第二终端的用户界面可以直接显示待操作的目标对象，而后用户移动第一终端即可以移动用户界面上显示的操作点，直到操作点移动至目标对象为止。

进一步的，第一终端和第二终端在交互的过程中，第二终端的移动通常不会改变用户界面显示的信息，从而提高了交互过程中用户界面显示的稳定性。例如，上述第二终端为智能眼镜，第一终端为手机，用户在佩戴智能眼镜时，采用手机与智能眼镜进行交互的过程中，若需要对目标对象进行操作，可以直接移动手机，使得智能眼镜的用户界面的操作点调整到目标对象即可，无需用户移动头部佩戴的智能眼镜。可以理解的是，用户佩戴智能眼镜时，用户一般很难保证头部固定不动，如果移动头部就会使得智能眼镜显示的内容发生变化，那么智能眼镜的用户界面会出现显示内容不根据实际的需求变化的情况，从而导致智能眼镜和手机交互的过程中，智能眼镜的用户界面显示不稳定。

本公开的上述实施例提供的用于设备交互的方法，首先获取第一终端的姿态变化信息，之后根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，并在用户界面中确定与调整后的操作点对应的目标对象，而后若第一终端接收到用户针对至少两个触控键的触控操作，则响应于触控操作生成对目标对象的控制指令，最后对目标对象执行控制指令，以更新用户界面。本申请中在利用终端设备与头戴式电子设备进行交互的过程中，通过第一终端设置的至少两个触控键可以控制第二终端的用户界面的显示，从而使得第一终端和第二终端在配合使用时，利用第一终端已有的结构实现了手柄的功能来控制第二终端的显示，充分利用了第一终端。该实施例中的第一终端，利用触控屏上设置的触控键和姿态变化信息可以实现手柄的功能，从而使得第一终端具有了新用户，从而充分利用了第一终端。

进一步的，考虑到第二终端的用户界面在显示不同的界面类型时所适用的触控键的布局方式可能是不同的。因此，为了便于用户操作，在一些可选的实施例中，可以预先设置多种触控键的布局方式。此种情况下，上述方法还可以包括下述步骤A2-步骤A4的具体处理过程。

在步骤A2中，确定第二终端的用户界面显示的界面类型信息。

其中，上述界面类型信息可以指第二终端的用户界面所显示的不同界面类型所对应的信息。例如，上述用户界面类型可以包括音乐播放界面、视频播放界面、游戏操作界面等。在本实现方式中，上述执行主体可以确定出第二终端的用户界面显示的内容，而后对所获取的内容进行分析可以确定出用户界面所显示的界面类型信息。

在步骤A4中，根据界面类型信息，确定触控键在第一终端的触控屏上的布局。

考虑到不同的界面类型，其所对应的界面中设置的触控键的布局(包括如触控键的数量、触控键的种类、触控键的分布情况等)往往也是不同的。为了便于用户操作，可以给上述第一终端预先设置多种触控键的布局方式。具体的，可以根据不同界面所对应的界面类型信息，预先设置与上述各界面类型对应的触控键的布局方式。上述执行主体可以根据确定的上述第二终端显示的用户界面的界面类型信息，确定触控键在上述第一终端的触控屏上的布局。这样，用户在针对第二终端显示的用户界面进行操作的过程中，可以通过操作预先设置的与当前用户界面匹配的触控按键，进一步提高用户对触控按键的触控效率，同时提高了用户的使用体验。

其中，上述步骤A2的处理方法可以多种多样，在一些可选的实现方式中，以下再提供一种可选的处理方法，具体可以参见下述步骤A22-步骤A24的具体处理过程。

在步骤A22中，确定用户界面中的可控制对象的特征信息。

在本实现方式中，上述可控制对象可以是第二终端显示的用户界面的某应用程序。或者，上述可控制对象也可以是界面中可控制控件。该可控制控件可以包括能够调整界面大小的控件、能够播放声音的控件等。上述特征信息可以是界面中可控制控件的属性信息。该属性信息可以是上述可控制控件的控制功能属性，或者，可以是可控制控件的显示形式属性，或者，还可以是可控制控件的大小属性，或者，还可以是可控制控件的数量属性等。

可选地，上述执行主体可以预先基于所安装的应用程序，通过基于各应用程序所对应的属性信息确定出各应用程序所对应的用户界面所包含的可控制对象。然后通过上述可控制对象的属性信息确定出上述可控制对象的特征信息。

在步骤A24中，基于可控制对象的特征信息，确定用户界面的界面类型信息。

在本实现方式中，可以预先基于上述可控制对象的特征信息，设置与满足预设条件的可控制对象的特征信息相匹配的用户界面的界面类型信息。例如，上述预设条件可以为可控制对象的特征信息包括：可控制控件的数量小于5个，且上述可控制控件的控制功能包括控制音量播放、控制音量暂停、控制单曲循环等控制功能。这样，若上述执行主体在检测到上述可控制对象的特征信息包括：可控制控件的数量小于5个，且上述可控制控件的控制功能包括控制音量播放、控制音量暂停、控制单曲循环等控制功能时，则可以确定与上述满足预设条件的可控制对象的特征信息相匹配的用户界面的界面类型信息为音乐播放界面类型信息。

这样，通过确定用户界面中的可控制对象的特征信息，可以快速有效的确定出用户界面的界面类型信息，进而可以根据上述界面类型信息，确定触控键在第一终端的触控屏上的布局，从而有效提高了上述执行主体确定触控键在第一终端的触控屏上的布局效率。

可选地，上述可控制对象的特征信息包括以下至少一种：

上述可控制对象响应的操作指令类型的数量。这里，可以通过可控制对象响应的操作指令类型的数量来确定用户界面的预设界面类型信息。作为示例，该预设界面类型可以包括第一界面类型和第二界面类型。其中，第一界面类型可以为对应的界面中可控制对象的操作指令类型数量小于预设阈值的界面，第一界面类型信息可以为与第一界面类型相关的界面信息。类似地，第二界面类型可以为对应的界面中可控制对象的操作指令类型数量大于或等于预设阈值的界面，第二界面类型信息可以为与第二界面类型相关的界面信息。这样可以根据确定出的可控制对象对应的操作指令类型的数量来确定对应的界面类型信息。

作为示例，上述预设阈值为5，上述第一界面类型信息所对应的可控制对象的操作指令类型数量为小于5的界面所对应的界面类型信息。上述第二界面类型信息所对应的可控制对象的操作指令类型数量为大于或等于5的界面所对应的界面类型信息。这样，当上述执行主体检测到上述可控制对象响应的操作指令类型的数量大于或等于5时，则可以将上述第二界面类型确定为上述用户界面的界面类型信息。

通过上述根据确定出的可控制对象响应的操作指令类型的数量来确定对应的界面类型信息。在确定出上述可控制对象响应的操作指令类型的数量小于预设阈值时，将第一界面类型确定为用户界面的界面类型信息。在确定出上述可控制对象响应的操作指令类型的数量大于预设阈值时，将第二界面类型确定为用户界面的界面类型信息。然后，上述执行主体可以根据上述确定的界面类型信息来确定上述触控键在上述第一终端的触控屏上的布局。这样，通过检测出可控制对象响应的操作指令类型的数量，可以快速有效的确定出用户界面的界面类型信息，进而可以根据上述界面类型信息，确定触控键在第一终端的触控屏上的布局，进一步有效提高了上述执行主体确定触控键在第一终端的触控屏上的布局效率。

上述用户界面中第一终端具备控制权限的可控制对象的数量。这里，可以通过用户界面中第一终端具备控制权限的可控制对象的数量，来确定用户界面的预设界面类型信息。其中，该预设界面类型可以包括第一界面类型和第二界面类型。第一界面类型可以为第一终端具备控制权限的可控制对象的数量小于预设阈值的界面类型，第一界面类型信息可以为第一界面类型相关的界面信息。类似地，第二界面类型可以为第一终端具备控制权限的可控制对象的数量大于或等于预设阈值的界面类型，第二界面类型信息可以为第二界面类型相关的界面信息。这样可以根据确定出的用户界面中第一终端具备控制权限的可控制对象的数量来确定对应的界面类型信息。

例如，上述预设阈值为5，上述第一界面类型信息包括第一终端具备控制权限的可控制对象的数量为小于5的界面类型的相关信息。上述第二界面类型信息包括第一终端具备控制权限的可控制对象的数量为大于或等于5的界面类型的相关信息。这样，当上述执行主体检测到上述第一终端具备控制权限的可控制对象的数量大于或等于5时，则可以将上述用户界面的界面类型确定为第一界面类型。

通过确定出的第一终端具备控制权限的可控制对象的数量来确定界面对应的界面类型信息。在确定出上述第一终端具备控制权限的可控制对象的数量小于预设阈值时，将第一界面类型确定为用户界面的界面类型。在确定出上述第一终端具备控制权限的可控制对象的类型的数量大于或等于预设阈值时，将第二界面类型确定为用户界面的界面类型。然后，上述执行主体可以根据所确定的界面类型相关的信息来确定上述触控键在上述第一终端的触控屏上的布局。这样，通过检测出第一终端具备控制权限的可控制对象的数量，可以快速有效的确定出用户界面的界面类型，进而根据所确定的界面类型的相关信息，可以确定触控键在第一终端的触控屏上的布局，提高了第一终端的触控屏上触控键布局的合理性，进一步有效提高了上述执行主体确定触控键在第一终端的触控屏上布局的效率。

可以理解的是，上述执行主体除了可以通过可控制对象的数量来确定触控键的布局，还可以通过其他方式来确定触控键的布局，这里没有唯一的限定。

在一些可选的实施例中，上述方法还可以包括下述步骤B2-步骤B6的处理过程，具体可以参见下述步骤B2-步骤B6的具体处理过程。

在步骤B2中，响应于接收到用户界面初始化指令，获取第二终端当前在空间中的姿态信息。其中，上述初始化指令可以用于初始化第二终端的用户界面在当前显示空间中的位置。

在步骤B4中，根据所获取的姿态信息，确定用户界面在空间中的当前显示位置信息。

在步骤B6中，将用户界面显示在当前显示位置信息所指示的位置处。

在本实施例中，上述执行主体可以在不同场景下接收用户界面初始化指令。而后，上述执行主体可以获取第二终端在空间中的位姿信息，例如，可以获取第二终端在空间的坐标位置信息和第二终端的方向信息。

作为示例，第二终端可以为用户佩戴的智能眼镜，智能眼镜中的惯性单元传感器IMU可以感知智能眼镜的角速度和加速度数据，智能眼镜的灰度相机可以采集周围环境中的灰度图像。然后，分析角速度、加速度数据和灰度图像可以确定智能眼镜在空间中的坐标位置和朝向(该朝向通常可以表示佩戴智能眼镜的用户面部的朝向，以便于将智能眼镜的用户界面设置在用户的前方)。

可以理解的是，可以预先设置第二终端与第二终端显示的用户界面的距离(例如2米)，并将该距离确定为预设距离。上述执行主体在确定出第二终端的位姿信息后，可以对位姿信息进行分析，在空间中确定出第二终端所朝向的方向上预设距离处的位置，并将该位置确定为用户界面显示的位置。

作为示例，在上述第一终端和第二终端从未连接状态转为连接状态场景下，可以调用上述初始化指令。该场景具体可以为：安装在上述第一终端或第二终端中的某预定应用程序检测到上述第一终端与第二终端连接成功时，可以通过该应用程序调用初始化指令，上述执行主体在接收到初始化指令之后即可以获取第二终端的姿态信息，进而可以在空间中确定第二终端的用户界面所处的位置。

在上述示例中，由于上述预先设定的用户界面与当前第二终端之间的相对距离，为预设距离。这样，用户在启动上述第一终端和第二终端进行交互的过程中，通过对上述第二终端显示的用户界面的位置进行初始化操作，可以使得上述第二终端显示的用户界面显示在空间中的预设位置处，使得用户在使用上述第二终端观看到的用户界面的视觉效果较好，进一步提高了用户的使用体验。

当然可以理解的是，上述执行主体还可以通过其他方式设置第二终端的用户界面在空间中的位置，例如，可以根据第一终端在空间中的姿态信息确定第二终端的用户界面设置在空间中的位置，这里没有唯一的限定。

在一些实施例中，考虑到在对上述第二终端显示的用户界面在空间中的位置进行初始化之后，佩戴第二终端的用户在走动时，该第二终端和第二终端在空间中显示的用户界面之间的相对位置会发生变化。例如，佩戴第二终端的用户在往第二终端显示的用户界面方向靠近时，会导致用户与用户界面之间的距离逐渐减小，从而可能会影响用户的视觉效果。为了解决上述问题，本方法还可以包括下述步骤C2-步骤C8的处理过程，具体可以参见下述步骤C2-步骤C8的具体处理过程。

在步骤C2中，若第一终端接收到针对目标触控键的第二预设触控操作，则响应于第二预设触控操作生成用户界面初始化指令。

作为示例，上述目标触控键可以为预设的功能键(如home键等)，上述第二预设触控操作可以为对该预设功能键的双击操作等。用户可以通过对上述预设的功能键执行该第二预设触控操作来实现生成用户界面初始化指令。

可选地，当用户在佩戴第二终端走动时，例如，用户在向第二终端显示的用户界面方向移动时，会导致用户与用户界面之间的距离逐渐减小(如小于2米)，此时，如果需要将第二终端显示的用户界面与所佩戴的第二终端的相对位置恢复为初始状态(如相对距离为2米)，则可以通过预设的重置功能，如通过双击第一终端上的目标触控键(如home键)，生成用户界面初始化指令来重置用户界面在空间中的位置。

在步骤C4中，执行用户界面初始化指令，获取第二终端当前在空间中的姿态信息。

当上述执行主体在通过上述步骤C2的处理，响应于第二预设触控操作生成用户界面初始化指令后，可以执行用户界面初始化指令，通过设置在上述第二终端自带的IMU传感器以及灰度摄像机等，可以重新采集IMU传感数据和灰度图像数据等来确定当前第二终端在空间中的姿态信息。可以理解的是，上述第二终端还可以通过其他方式来感应其在空间中的姿态信息，这里没有唯一的限定。

在步骤C6中，根据所获取的姿态信息，更新用户界面在空间中的当前显示位置信息。

在步骤C8中，将用户界面显示在更新后的当前显示位置信息所指示的位置处。

通过上述方法，当用户在佩戴第二终端移动导致用户通过上述第二终端观看到的用户界面的视觉效果降低的情况下，可以通过预设的重置功能，如通过双击第一终端上的目标触控键(如home键)。这样，在上述执行主体接收到上述针对目标触控键的第二预设触控操作的情况下，可以响应于第二预设触控操作生成用户界面初始化指令来对用户界面的位置进行重置，以使上述第二终端显示的用户界面显示在空间中指定的优选位置处，从而提升了用户的视觉体验效果，提高了用户的使用体验。

在一些可选的实施例中，在第一终端和第二终端在交互时，第一终端可以控制特定的应用软件在第二终端的用户界面显示。上述执行主体可以通过多种方式选择上述特定的应用软件。如图3所示，在上述步骤S102之前，上述方法还可以包括下述步骤S002-步骤S008的处理过程，具体可以参见下述步骤S002-步骤S008的具体处理过程。

在步骤S002中，获取预先存储的应用软件的白名单。

其中，上述白名单可以是预先存储的、可以显示在第二终端的用户界面中的应用软件的名单信息。上述白名单的确定方式可以多种多样。例如，可以是根据满足预设条件的应用软件来确定白名单。该预设条件可以为第一终端检测到用户在历史时段(如1天)内使用某应用软件的使用时长大于预设时长。作为示例，上述白名单可以实时地被更新，具体地，可以将第一终端检测到的满足上述预设条件的应用软件实时地自动添加到上述白名单中。或者，上述预设条件也可以为在预设历史时段(如1周)内使用次数超过预设阈值，这里没有唯一的限定。

在步骤S004中，基于白名单，从第一终端确定待显示在第二终端的信息。

在步骤S006中，将待显示在第二终端的信息按照预设的显示模式进行设置，得到主用户界面。

其中，上述显示模式可以包括2D显示模式或3D显示模型等。或者，上述显示模式还可以包括待显示的信息的排列方式等，例如，待显示的信息为从白名单选出的应用软件，上述显示模式可以为将所选择的应用软件分为不同组的显示模式。这里，对于上述显示模式没有唯一的限定。

在步骤S008中，将主用户界面确定为第二终端显示的用户界面。

这样，通过获取预先存储的应用软件的白名单，从第一终端确定待显示在第二终端的信息，并将待显示在第二终端的信息按照预设的显示模式进行设置，从而可以得到主用户界面。最后，可以将上述主用户界面确定为上述第二终端显示的用户界面，以便于用户可以通过第一终端对显示在第二终端主用户界面中的应用软件进行操控。

在一些可选的实施例中，如图4所示，在上述步骤S102之前，上述方法还可以包括下述步骤S010-步骤S016的处理过程，具体可以参见下述步骤S010-步骤S016的具体处理过程。

在步骤S010中，针对第一终端安装的多个应用软件中的应用软件，响应于确定出该应用软件包括目标软件开发工具包，将该应用软件确定为目标应用软件。

在步骤S012中，基于目标应用软件，从第一终端确定待显示在第二终端的信息。

在步骤S014中，将待显示在第二终端的信息按照预设的显示模式进行设置，得到主用户界面。

在步骤S016中，将主用户界面确定为第二终端显示的用户界面。

这样，通过将确定出的使用目标软件开发工具包的应用软件确定为目标应用软件，目标应用软件与第二终端适配效果更好。然后，可以从第一终端确定出目标应用软件作为待显示在第二终端的信息，并将待显示在第二终端的信息按照预设的显示模式进行设置，从而可以得到主用户界面。最后，可以将上述主用户界面确定为上述第二终端显示的用户界面，以便于用户可以通过第一终端对显示在第二终端主用户界面中的应用软件进行操控。该实施例使得用户可以在第二终端显示的用户界面中查找到目标应用软件，满足了用户的多样化的需求，提高了用户的使用体验。

在一些可选的实施例中，如图5，上述步骤S102的处理方法可以多种多样，以下再提供一种可选的处理方法，具体可以参见下述步骤S1022-步骤S1024的具体处理过程。

在步骤S1022中，获取第一终端的方向变化信息。

在步骤S1024中，根据预设的基准点和方向变化信息，确定第一终端的姿态变化信息。

其中，基准点可以为基于第二终端的使用者确定的相对位置点。这里，上述执行主体可以获取第一终端在空间中的方向变化信息。作为示例，第一终端可以设置有陀螺仪等传感器，第一终端在空间中移动后可以通过该传感器采集第一终端的方向变化信息。然后，在空间中选择一个位置点作为基准点。例如，该基准点可以为空间中与用户面部中的某一点之间满足预设条件的点，如以用户下巴的某个相对位置点为基准点。根据该基准点以及上述确定出的第一终端的方向变化信息，可以确定出该第一终端的姿态变化信息。

在一些可选的实施例中，如图6所示，上述第二终端显示的用户界面可以为三维用户界面，上述步骤S104的具体处理过程可以多种多样，以下再提供一种可选的处理方法，具体可以参见下述步骤S1042-步骤S1044的具体处理过程。

在步骤S1042中，根据姿态变化信息，调整预设的射线在空间中的延伸方向。其中，射线的延伸方向可以用于表征第一终端在空间中的方向。

在步骤S1044中，确定射线与第二终端显示的用户界面的交点，将交点确定为操作点，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象。

当然可以理解的是，上述第二终端显示的用户界面可以为二维用户界面，此时，第二终端的用户界面中的操作点还可以通过箭头等形式表示，这里没有具体的限定。

进一步的，上述至少两个触控键可以通过如下步骤D2-步骤D4的方式设置：

在步骤D2中，将第一终端的触控屏划分为第一触控区域和至少一个第二触控区域。

在步骤D4中，在第一触控区域和第二触控区域分别设置第一触控键和第二触控键。其中，第一触控键用于实现辅助触控功能，第二触控键用于实现预设功能。

其中，上述辅助触控功能可以是通用的触控功能，如通过单击、双击、滑动等操作就可以实现相应的触控功能。该辅助触控功能不需要设置单独的功能按键。上述第二触控键可以是指具有预设功能的按键，该第二触控按键可以为home键或快捷照等可以执行某预定功能的按键。例如，通过点击home键可以实现将第二终端显示的当前用户界面返回主界面，通过单击快捷照键可以实现拍照。

这样，通过将第一终端的触控屏划分为第一触控区域和至少一个第二触控区域，在第一触控区域和第二触控区域分别设置第一触控键和第二触控键。用户通过对第一触控键和第二触控键操作即可以实现对第二终端的操控，并将在第一终端的触控屏上设置至少一个第二触控键可以降低交互操控的复杂度，便于用户操作，降低了用户的学习成本。

在一些可选的实现方式中，上述第一终端显示的第一触控键和第二触控键还可以按照需求进行重新排布。具体地，可以对第一终端显示屏的第一触控区域和至少一个第二触控区域重新划分，并在重新划分后的第一触控区域和第二触控区域分别设置第一触控键和第二触控键。例如，在用户使用第一终端中的第一触控键和第二触控键对第二终端进行操控时，如出现左右手调换时，可以对第一触控键和第二触控键进行重新排布。

上述至少两个触控键可以通过如下步骤E2-步骤E4的方式重新设置：

在步骤E2中，响应于接收到第一控制指令，按照第一控制指令所指示的划分方式重新划分触控屏的第一触控区域和至少一个第二触控区域。

作为示例，上述第一控制指令可以是用户通过长按触控屏达到第一预设时长时第一终端所接收到的指令。该第一控制指令可以携带有重新划分触控区域的信息。例如，可以预先设置当第一终端接收到的长按触控屏时长达到第一预设时长时，该第一控制指令所指示的划分方式为重新划分触控屏的第一触控区域和至少一个第二触控区域。

可选地，当用户通过长按触摸屏达到第一预设时长时，可以向上述第一终端发出第一触控指令，这样，上述第一终端可以接收到该第一控制指令，并响应于接收到的上述第一控制指令，按照第一控制指令所指示的划分方式重新划分触控屏的第一触控区域和至少一个第二触控区域。

在步骤E4中，响应于接收到第二控制指令，按照第二触控指令所指示的触控键的展示形式在第一触控区域和第二触控区域分别重新设置第一触控键和第二触控键。

作为示例，上述第二控制指令可以是用户通过长按触控屏达到第二预设时长时第一终端所接收到的指令，该第二控制指令可以携带有触控键的展示形式信息。例如，当用户通过长按触摸屏达到第二预设时长时，上述执行主体可以接收到该第二控制指令。而后，按照第二控制指令所指示的触控键的展示形式在第一触控区域和第二触控区域分别重新设置第一触控键和第二触控键。

这样，用户可以根据自己的实际需求，通过长按触摸屏达到预设时长等方式来向上述执行主体发出控制指令。上述执行主体可以根据接收到的控制指令，按照控制指令所指示的触控屏的划分方式或触控键的展示形式进行重新设置，以实现对触控屏上的触控区域以及触控按键的展示形式进行更新，用户可以自由选择适合自己的触控屏的展示形式，进一步提高了用户的使用体验。

进一步地，考虑到用户在使用上述执行主体来对触控键进行触控操作的过程中，可能会经常使用某些按键来完成某项特定的功能，为了提高用户在对这类按键触发的触发效率，上述方法还可以包括下述步骤F2-步骤F4的处理过程。

在步骤F2中，若第一终端接收到针对目标触控键的第一预设触控操作，则响应于第一预设触控操作生成返回主用户界面指令。

其中，上述目标触控按键为具有某种功能的功能按键。例如，该目标触控按键可以为home键，上述第一预设触控操作可以为对该目标按键的单击操作。

在步骤F4中，执行返回主用户界面指令，将第二终端当前显示的用户界面更新为主用户界面。

这里，可以预先设定对目标触控键执行第一预设触控操作与返回主用户界面指令对应。以上述目标触控键为home键，第一预设触控操作为单击操作为例，当用户单击触控屏上的home键时，上述执行主体可以生成返回主用户界面指令，执行该返回主用户界面指令可以将第二终端当前显示的用户界面更新为主用户界面。

这样，通过预先将用户使用较为频繁的按键设置成目标触控键，若上述执行主体接收到针对目标触控键的第一预设触控操作，则响应于第一预设触控操作生成返回主用户界面指令。然后，执行返回主用户界面指令，将第二终端当前显示的用户界面更新为主用户界面。该方法，提高了用户在使用上述第一终端和第二终端进行交互的交互效率，提升了用户的使用体验。

在一些可选的实施例中，上述实施例提供的用于设备交互的方法还可以包括第一终端和第二终端建立通信连接后，上述执行主体启动预先安装的应用程序，而后上述执行主体执行上述实施例公开的方法。

对应上述实施例提供的用于设备交互的方法，基于相同的技术构思，本公开实施例还提供了一种用于设备交互的装置，图7为本公开实施例提供的用于设备交互的装置的模块组成示意图，该用于设备交互的装置用于执行图1至图6描述的用于设备交互的方法，如图7所示，该用于设备交互的装置包括：第一处理模块701，用于获取第一终端的姿态变化信息，其中，姿态变化信息用于表征第一终端在空间中的姿态变化，第一终端设置有至少两个触控键；定位模块702，用于根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象；检测模块703，用于若第一终端接收到用户针对触的触控操作，则响应于触控操作生成对目标对象的控制指令；执行模块704，用于对目标对象执行控制指令，以更新用户界面。

可选地，上述装置还包括：第一确定模块，用于确定第二终端显示的用户界面的界面类型信息；第二确定模块，用于根据界面类型信息，确定触控键在第一终端的触控屏上的布局。

可选地，第一确定模块，包括：第一确定单元，用于确定用户界面中的可控制对象的特征信息；第二确定单元，用于基于可控制对象的特征信息，确定用户界面的界面类型信息。

可选地，可控制对象的特征信息包括以下至少一种：可控制对象响应的操作指令类型的数量；用户界面中第一终端具备控制权限的可控制对象的数量。

可选地，上述装置还包括：第二处理模块，用于响应于接收到用户界面初始化指令，获取第二终端当前在空间中的姿态信息；第三确定模块，用于根据所获取的姿态信息，确定用户界面在空间中的当前显示位置信息；第一显示模块，用于将用户界面显示在当前显示位置信息所指示的位置处。

可选地，上述装置还包括：获取模块，用于获取预先存储的应用软件的白名单；第四确定模块，用于基于白名单，从第一终端确定待显示在第二终端的信息；第一设置模块，用于将待显示在第二终端的信息按照预设的显示模式进行设置，得到主用户界面；第五确定模块，用于将主用户界面确定为第二终端显示的用户界面。

可选地，上述装置还包括：第六确定模块，用于针对第一终端安装的多个应用软件中的应用软件，响应于确定出该应用软件包括目标软件开发工具包，将该应用软件确定为目标应用软件；第七确定模块，用于基于目标应用软件，从第一终端确定待显示在第二终端的信息；第二设置模块，用于将待显示在第二终端的信息按照预设的显示模式进行设置，得到主用户界面；第八确定模块，用于将主用户界面确定为第二终端显示的用户界面。

可选地，第一处理模块，包括：第一获取单元，用于获取第一终端的方向变化信息；第三确定单元，用于根据预设的基准点和方向变化信息，确定第一终端的姿态变化信息，其中，基准点为基于第二终端的使用者确定的相对位置点。

可选地，第二终端显示的用户界面为三维用户界面；上述定位模块，包括：调整单元，用于根据姿态变化信息，调整预设的射线在空间中的延伸方向，其中，射线的延伸方向用于表征第一终端在空间中的方向；第四确定单元，用于确定射线与第二终端显示的用户界面的交点，将交点确定为操作点。

可选地，至少两个触控键通过如下方式设置：将第一终端的触控屏划分为第一触控区域和至少一个第二触控区域；在第一触控区域和第二触控区域分别设置第一触控键和第二触控键，其中，第一触控键用于实现辅助触控功能，第二触控键用于实现预设功能。

可选地，至少两个触控键通过如下方式设置：响应于接收到第一控制指令，按照第一控制指令所指示的划分方式重新划分触控屏的第一触控区域和至少一个第二触控区域；响应于接收到第二控制指令，按照第二触控指令所指示的触控键的展示形式在第一触控区域和第二触控区域分别重新设置第一触控键和第二触控键。

可选地，上述装置还包括：第三处理模块，用于若第一终端接收到针对目标触控键的第一预设触控操作，则响应于第一预设触控操作生成返回主用户界面指令；第四处理模块，用于执行返回主用户界面指令，将第二终端当前显示的用户界面更新为主用户界面。

可选地，上述装置还包括：第五处理模块，用于若第一终端接收到针对目标触控键的第二预设触控操作，则响应于第二预设触控操作生成用户界面初始化指令；第六处理模块，用于执行用户界面初始化指令，获取第二终端当前在空间中的姿态信息；更新模块，用于根据所获取的姿态信息，更新用户界面在空间中的当前显示位置信息；第二显示模块，用于将用户界面显示在更新后的当前显示位置信息所指示的位置处。

本公开实施例提供的用于设备交互的装置能够实现上述用于设备交互的方法对应的实施例中的各个过程，为避免重复，这里不再赘述。

需要说明的是，本公开实施例提供的用于设备交互的装置与本公开实施例提供的用于设备交互的方法基于同一发明构思，因此该实施例的具体实施可以参见前述用于设备交互的方法的实施，重复之处不再赘述。

对应上述实施例提供的用于设备交互的方法，基于相同的技术构思，本公开实施例还提供了一种设备，该设备用于执行上述的用于设备交互的方法，图8为实现本公开各个实施例的一种设备的结构示意图，如图8所示。该设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在电子设备上执行存储器802中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入输出接口805，一个或一个以上键盘806。

具体在本实施例中，该设备包括有处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现以下方法步骤：获取第一终端的姿态变化信息，其中，姿态变化信息用于表征第一终端在空间中的姿态变化，第一终端设置有至少两个触控键；根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在用户界面中确定与调整后的操作点对应的目标对象；若第一终端接收到用户针对触控键的触控操作，则响应于触控操作生成对目标对象的控制指令；对目标对象执行控制指令，以更新用户界面。

本公开实施例提供的技术方案，首先获取第一终端的姿态变化信息，之后根据姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，并在用户界面中确定与调整后的操作点对应的目标对象，而后若第一终端接收到用户针对至少两个触控键中任一触控键的触控操作，则响应于触控操作生成对目标对象的控制指令，最后对目标对象执行控制指令，以更新用户界面。本申请中在利用终端设备与头戴式电子设备进行交互的过程中，通过第一终端设置的至少两个触控键可以控制第二终端的用户界面的显示，从而使得第一终端和第二终端在配合使用时，使得第一终端实现了手柄控制第二终端显示的功能，第一终端具有新用途，提高了第一终端的利用率。

进一步地，对应上述实施例提供的用于设备交互的方法，本说明书实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器803执行时实现如上述用于设备交互的方法实施例的各步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于用于设备交互的方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的用于设备交互的方法的实施，重复之处不再赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

可以理解的是，本说明书实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本说明书上述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本说明书实施例上述功能的模块(例如过程、函数等)来实现本说明书实施例上述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、商品或者设备中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本说明书各个实施例上述的方法。

上面结合附图对本说明书的实施例进行了描述，但是本说明书并不局限于上述的具体实施方式，上述具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本说明书的启示下，在不脱离本说明书宗旨和权利要求所保护的范围情况下，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (17)

1.一种用于设备交互的方法，其中，所述方法包括：

获取第一终端的姿态变化信息，其中，所述姿态变化信息用于表征所述第一终端在空间中的姿态变化，所述第一终端设置有至少两个触控键；

根据所述姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在所述用户界面中确定与调整后的所述操作点对应的目标对象；

若所述第一终端接收到用户针对所述触控键的触控操作，则响应于所述触控操作生成对所述目标对象的控制指令；

对所述目标对象执行所述控制指令，以更新所述用户界面。

2.根据权利要求1所述的方法，其中，所述方法还包括：

确定所述第二终端的所述用户界面显示的界面类型信息；

根据所述界面类型信息，确定所述触控键在所述第一终端的触控屏上的布局。

3.根据权利要求2所述的方法，其中，所述确定所述第二终端显示的所述用户界面的界面类型信息，包括：

确定所述用户界面中的可控制对象的特征信息；

基于所述可控制对象的特征信息，确定所述用户界面的界面类型信息。

4.根据权利要求3所述的方法，其中，所述可控制对象的特征信息包括以下至少一种：

所述可控制对象响应的操作指令类型的数量；

所述用户界面中所述第一终端具备控制权限的可控制对象的数量。

5.根据权利要求1所述的方法，其中，所述方法还包括：

响应于接收到用户界面初始化指令，获取所述第二终端当前在空间中的姿态信息；

根据所获取的姿态信息，确定所述用户界面在空间中的当前显示位置信息；

将所述用户界面显示在所述当前显示位置信息所指示的位置处。

6.根据权利要求1所述的方法，其中，在获取所述第一终端的姿态变化信息之前，所述方法还包括：

获取预先存储的应用软件的白名单；

基于所述白名单，从所述第一终端确定待显示在所述第二终端的信息；

将待显示在所述第二终端的信息按照预设的显示模式进行设置，得到主用户界面；

将所述主用户界面确定为所述第二终端显示的用户界面。

7.根据权利要求1所述的方法，其中，在获取所述第一终端的姿态变化信息之前，所述方法还包括：

针对所述第一终端安装的多个应用软件中的应用软件，响应于确定出该应用软件包括目标软件开发工具包，将该应用软件确定为目标应用软件；

基于所述目标应用软件，从所述第一终端确定待显示在所述第二终端的信息；

将待显示在所述第二终端的信息按照预设的显示模式进行设置，得到主用户界面；

将所述主用户界面确定为所述第二终端显示的用户界面。

8.根据权利要求1所述的方法，其中，所述获取所述第一终端的姿态变化信息，包括：

获取所述第一终端的方向变化信息；

根据预设的基准点和所述方向变化信息，确定所述第一终端的姿态变化信息，其中，所述基准点为基于所述第二终端的使用者确定的相对位置点。

9.根据权利要求1所述的方法，其中，所述第二终端显示的所述用户界面为三维用户界面；

所述根据所述姿态变化信息，对第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，包括：

根据所述姿态变化信息，调整预设的射线在空间中的延伸方向，其中，所述射线的延伸方向用于表征所述第一终端在空间中的方向；

确定所述射线与所述第二终端显示的所述用户界面的交点，将所述交点确定为所述操作点。

10.根据权利要求1所述的方法，其中，所述至少两个触控键通过如下方式设置：

将所述第一终端的触控屏划分为第一触控区域和至少一个第二触控区域；

在所述第一触控区域和所述第二触控区域分别设置第一触控键和第二触控键，其中，所述第一触控键用于实现辅助触控功能，所述第二触控键用于实现预设功能。

11.根据权利要求10所述的方法，其中，所述至少两个触控键通过如下方式设置：

响应于接收到第一控制指令，按照所述第一控制指令所指示的划分方式重新划分所述触控屏的第一触控区域和所述至少一个第二触控区域；

响应于接收到第二控制指令，按照所述第二触控指令所指示的触控键的展示形式在所述第一触控区域和所述第二触控区域分别重新设置所述第一触控键和所述第二触控键。

12.根据权利要求6或7所述的方法，其中，所述方法还包括：

若所述第一终端接收到针对目标触控键的第一预设触控操作，则响应于所述第一预设触控操作生成返回主用户界面指令；

执行所述返回主用户界面指令，将所述第二终端当前显示的用户界面更新为所述主用户界面。

13.根据权利要求5所述的方法，其中，所述方法还包括：

若所述第一终端接收到针对目标触控键的第二预设触控操作，则响应于所述第二预设触控操作生成所述用户界面初始化指令；

执行所述用户界面初始化指令，获取所述第二终端当前在空间中的姿态信息；

根据所获取的姿态信息，更新所述用户界面在空间中的当前显示位置信息；

将所述用户界面显示在更新后的所述当前显示位置信息所指示的位置处。

14.一种用于设备交互的装置，其中，所述装置包括：

第一处理模块，用于获取所述第一终端的姿态变化信息，其中，所述姿态变化信息用于表征所述第一终端在空间中的姿态变化，所述第一终端设置有至少两个触控键；

定位模块，用于根据所述姿态变化信息，对所述第二终端显示在空间中指定位置处的用户界面中的操作点进行调整，在所述用户界面中确定与调整后的所述操作点对应的目标对象；

检测模块，用于若所述第一终端接收到用户针对所述触的触控操作，则响应于所述触控操作生成对所述目标对象的控制指令；

执行模块，用于对所述目标对象执行所述控制指令，以更新所述用户界面。

15.一种设备，所述设备包括头戴式的显示终端和移动终端，所述显示终端与所述移动终端可进行通信，所述移动终端包括：

处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如权利要求1至13中任一项所述的用于设备交互的方法。

16.一种设备，所述设备包括头戴式的显示终端和移动终端，所述显示终端与所述移动终端可进行通信，所述显示终端包括：

处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如权利要求1至13中任一项所述的用于设备交互的方法。

17.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述的用于设备交互的方法。

Images