CN114422644A - 设备控制方法、装置、用户设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种设备控制方法、装置、用户设备和计算机可读存储介质，用户设备响应于图像采集指令，显示包括现实场景图像以及叠加显示在现实场景图像上的现实场景中的连接设备的控制子界面的第一界面；然后，基于控制子界面获取触发操作，根据触发操作控制目标可连接设备。由于用户设备显示的第一界面中包括了显示场景图像以及叠加在该显示场景图像上的可连接设备，使得用户可以在采集现实场景图像之后，可以通过该第一界面快速感知当前场景中都有哪些可连接设备；进一步地，由于第一界面上包括了可连接设备的控制子界面，用户可以通过对目标可连接设备的控制子界面执行触发操作，完成对目标可连接设备的控制，简化对可连接设备的控制操作。

Description

设备控制方法、装置、用户设备和计算机可读存储介质

技术领域

本申请涉及终端技术领域，特别是涉及一种设备控制方法、装置、用户设备和计算机可读存储介质。

背景技术

目前，用户在使用蓝牙音箱、智能电视等设备时，可以在手机的设备搜索界面上查询可连接设备的名称，然后对其进行连接。

然而，随着可连接的智能设备越来越多，用户可能需要临时连接一些设备。例如，用户来到相对陌生的环境(比如酒店等)，在不清楚该环境中可连接设备的名称等信息的情况下，需要通过查询使用说明对该环境中的各个设备进行连接，导致用户对设备的连接操作较为繁琐。

发明内容

本申请实施例提供了一种设备控制方法、装置、用户设备和计算机可读存储介质，可以降低设备控制的复杂度。

第一方面，一种设备控制方法，包括：

响应于图像采集指令，显示第一界面；第一界面包括现实场景图像以及叠加显示在现实场景图像上的现实场景中可连接设备的控制子界面；

基于控制子界面获取触发操作，根据触发操作控制目标可连接设备。

第二方面，一种设备控制装置，包括：

显示模块，用于响应于图像采集指令，显示第一界面；第一界面包括现实场景图像以及叠加显示在现实场景图像上的现实场景中可连接设备的控制子界面；

控制模块，用于基于控制子界面获取触发操作，根据触发操作控制目标可连接设备。

第三方面，一种用户设备，包括存储器及处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行上述设备控制方法的步骤。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述设备控制方法的步骤。

第五方面，一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述设备控制方法的步骤。

上述设备控制方法、装置、用户设备和计算机可读存储介质，用户设备响应于图像采集指令，显示包括现实场景图像以及叠加显示在现实场景图像上的现实场景中可连接设备的控制子界面的第一界面；然后，基于控制子界面获取触发操作，根据触发操作控制目标可连接设备。由于用户设备显示的第一界面中包括了显示场景图像以及叠加在该显示场景图像上的可连接设备，使得用户可以在采集现实场景图像之后，可以通过该第一界面快速感知当前场景中都有哪些可连接设备；进一步地，由于第一界面上包括了可连接设备的控制子界面，用户可以通过对目标可连接设备的控制子界面执行触发操作，完成对目标可连接设备的控制，简化对可连接设备的控制操作。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一个实施例中设备控制方法的应用环境图。

图2为本申请一个实施例中设备控制方法的流程图。

图3为本申请一个实施例中第一界面的示意图。

图4为本申请一个实施例中第一界面的示意图。

图5为本申请一个实施例中控制子界面的示意图。

图6为本申请一个实施例中第二操作子界面的示意图。

图7为本申请一个实施例中控制子界面的示意图。

图8为本申请一个实施例中设备控制方法的流程图。

图9为本申请一个实施例中设备控制方法的流程图。

图10为本申请一个实施例中设备控制方法的流程图。

图11为本申请一个实施例中设备控制方法的示意图。

图12为本申请一个实施例中设备控制方法的示意图。

图13为本申请一个实施例中设备控制方法的流程图。

图14为本申请一个实施例中设备控制方法的示意图。

图15为本申请一个实施例中设备控制方法的示意图。

图16为本申请一个实施例中设备控制方法的示意图。

图17为本申请一个实施例中设备控制方法的流程图。

图18为本申请一个实施例中设备控制装置的结构框图。

图19为本申请一个实施例中设备控制装置的结构框图。

图20为本申请一个实施例中用户设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的设备控制方法，可以应用于如图1所示的应用环境中。其中，用户设备100可以通过网络与当前场景中的可连接设备200进行通信连接。上述用户设备100可以是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备；上述便携式可穿戴设备可以是智能手表、智能手环、头戴设备等。上述可连接设备200可以是智能音箱、智能电视、智能空调、智能车载设备等物联网设备。

在一个实施例中，如图2所示，提供了一种设备控制方法，以该方法应用于图1中的用户设备100为例进行说明，包括：

S102、响应于图像采集指令，显示第一界面；第一界面包括现实场景图像以及叠加显示在现实场景图像上的现实场景中可连接设备的控制子界面。

其中，上述图像采集指令可以是用户在用户设备的摄像头操作控件上触发的指令。上述摄像头操作控件可以是用户设备上的实体控件，也可以是用户设备的显示屏上显示的虚拟控件，在此不做限定。上述摄像头操作控件可以设置于用户设备的应用程序中的控件，也可以是设置于用户设备的操作窗口中的控件，在此不做限定。例如，上述摄像头操作控件可以是设置于用户设备中用于连接外部设备的应用程序中的控件。

用户发送上述图像采集指令之后，用户设备可以采集摄像头视场范围内的现实场景图像，并将现实场景中的可连接设备的控制子界面叠加显示在显示场景图象上，生成第一界面后向用户展示。

其中，上述可连接设备可以是设置于当前场景中的物联网设备，可以是智能音箱、智能电视、智能空调、智能台灯、智能窗帘等；上述物联网设备还可以是智能汽车中的车载设备、车机系统等，对于物联网设备的类型在此不做限定。上述可连接设备可以与用户设备建立通信连接，上述通信连接可以是蓝牙连接，也可以是通过蜂窝网络连接，还可以是通过WiFi连接，在此不做限定。

上述控制子界面可以用于对可连接设备进行控制。上述控制子界面可以包括对可连接设备进行控制的控件，上述控制子界面还可以包括可连接设备的剩余电量标识、网络连接状态标识、可连接设备的当前工作状态等；对于控制子界面的显示方式在此不做限定。需要说明的是，不同类型的可连接设备对应的控制子界面可以不同。

用户设备可以接收各个可连接设备发送的广播消息，根据广播消息确定当前场景下有哪些可连接设备；进一步地，用户设备可以根据广播消息中携带的内容，确定对应的控制子界面，然后将可连接设备的控制子界面叠加显示摄像头拍摄的现实场景图像上，生成第一界面并显示。用户设备可以将当前场景下所有的可连接设备的控制子界面均叠加显示在现实场景图像上，也可以显示部分可连接设备的控制子界面，在此不做限定。在一种实现方式中，上述第一界面上显示的控制子界面，可以是位于摄像头的视场范围内的可连接设备对应的控制子界面。

上述现实场景图像可以是用户设备采集并存储的静态图像，也可以是用户设备的图像采集窗口中显示的预览图像，在此不做限定。例如，用户进入当前场景之后，可以触发图像采集指令，使得用户设备上显示第一界面；上述第一界面上显示的可以是摄像头的视场范围内的预览图像，上述预览图像上叠加显示当前视场范围内存在的可连接设备，可以是设备A和设备B；当用户移动用户设备，将摄像头的视场范围调整至另一位置之后，第一界面上显示的可以是调整后的视场范围内存在的可连接设备，可以是设备B和设备C。

各个可连接设备的控制子界面可以按照列表方式叠加显示在现实场景图像上，如图3所示。可选地，上述控制子界面在现实场景图像中的显示位置可以与可连接设备在现实场景中的位置对应。如图4所示，现实场景中包括的可连接设备可以为设备A和设备B，设备A的控制子界面可以位于现实场景图像中设备A所在位置处；设备B的控制子界面可以位于现实场景图像中设备B所在位置处。

S104、基于控制子界面获取触发操作，根据触发操作控制目标可连接设备。

用户设备可以基于控制子界面，获取用户在控制子界面上执行的触发操作。用户设备可以将用户操作的控制子界面对应的可连接设备确定为目标设备，并根据上述触发操作对上述目标可连接设备进行控制。用户设备对可连接设备进行控制时，控制类型可以包括连接控制、断开连接、设备操作、系统更新、休眠等，在此不做限定。

用户设备可以通过与目标可连接设备之间的信令交互，对目标可连接设备进行控制；或者，还可以通过服务器等其它设备对目标可连接设备进行控制，对于上述控制方式，在此不做限定。

上述设备控制方法，用户设备响应于图像采集指令，显示包括现实场景图像以及叠加显示在现实场景图像上的现实场景中的可连接设备的控制子界面的第一界面；然后，基于控制子界面获取触发操作，根据触发操作控制目标可连接设备。由于用户设备显示的第一界面中包括了显示场景图像以及叠加在该显示场景图像上的可连接设备，使得用户可以在采集现实场景图像之后，可以通过该第一界面快速感知当前场景中都有哪些可连接设备；进一步地，由于第一界面上包括了可连接设备的控制子界面，用户可以通过对目标可连接设备的控制子界面执行触发操作，完成对目标可连接设备的控制，简化对可连接设备的控制操作。

在一个实施例中，如图5所示，本实施例涉及第一界面上显示的一种控制子界面，上述控制子界面可以包括可连接设备的设备信息，以及用于连接可连接设备的连接控件。

上述设备信息可以为表征可连接设备的设备类型的图表，也可以是描述可连接设备信息的文字，在此不做限定。可选地，上述设备信息可以包括可连接设备的设备名称，和/或，可连接设备的设备类型。

用户可以通过点击、双击、拖动等方式触发上述连接控件。若用户设备检测到连接控件被触发，则生成连接请求；并将上述连接请求发送至目标可连接设备。其中，上述连接请求用于请求与目标可连接设备建立通信连接，上述连接请求可以包括用户设备的名称，还可以包括目标可连接设备的名称、目标可连接设备的IP地址等，在此不做限定。

在上述连接控件被触发，用户设备与目标可连接设备建立通信连接之后，该目标可连接设备的控制子界面上可以呈现已连接状态。例如，该控制子界面上的连接控件可以切换为不可触发状态；或者，该控制子界面上可以切换至已连接状态的提示界面；或者，该控制子界面的背景颜色可以切换为目标颜色，以通过目标颜色标识该可连接设备已与用户设备建立连接；或者，该控制子界面上可以显示断开连接控件，以通过该控件获取用户的断开连接指令；对于上述已连接状态的呈现方式在此不做限定。

在一种实现方式中，在用户设备与目标可连接设备建立通信连接之后，用户设备可以从第一界面切换至第二界面。其中，上述第二界面包括现实场景图像以及叠加显示在现实场景图像上的目标可连接设备的第二操作子界面，如图6所示。上述第二操作子界面包括与目标可连接设备的设备类型匹配的操作项。

其中，上述操作项可以用于对目标可连接设备进行操作控制。上述操作控制可以控制可连接设备的开关，例如智能台灯的开关；也可以控制可连接设备的工作模式，对于上述操作项的类型在此不做限定。对于不同类型的可连接设备对应的操作项可以不同。例如，智能电视的操作项可以用于进行输入源的选择、电视节目选择、音量控制、屏幕亮度控制等；智能台灯的控制项可以用于选择台灯的开启和关闭状态，以及调节台灯的亮度。

上述设备控制方法，可连接设备的控制子界面上包括连接控件，使得用户可以基于该连接控件与可连接设备建立通信连接，而不需要通过搜索查询可连接设备的名称之后再建立连接，简化了设备连接的操作步骤；尤其是对于用户进入不熟悉的场景时，通过该第一界面上的控制子界面，可以在未提前获知设备名称的情况下连接设备，提升用户的操作体验。进一步地，当用户设备与目标可连接设备建立通信连接之后，将第一界面切换至第二界面，使得用户可以在第二界面上对已连接的可连接设备进行操作控制，既可以通过界面切换的方式向用户显示该设备已连接，又可以在第二界面上进一步获取用户对已连接设备的操作，进一步简化了用户的操作控制步骤。

在一个实施例中，在上述实施例的基础上，本实施例涉及一种控制子界面的显示方式。如图7所示，上述控制子界面还可以包括可连接设备对应的操作控件。若用户设备检测到操作控件被触发，则可以显示目标可连接设备的第一操作子界面。其中，上述第一操作子界面可以包括与目标可连接设备的设备类型匹配的操作项。上述操作项的具体限定可以参见上述实施例，在此不做赘述。对于同一个可连接设备，其对应的第一操作子界面和第二操作子界面上显示的操作项可以相同。第一操作子界面和第二操作子界面不同可以在于，上述第二操作子界面是用户设备与目标可连接设备建立通信连接之后，叠加显示在现实场景图像上的，使得用户可以在上述第二操作子界面上选择对应的操作项，此时用户可能需要进一步操作目标可连接设备，也可能不需要对其进行进一步操作；而上述第一操作子界面是用户触发可连接设备的操作控件，确定用户需要对可连接设备进行操作控制之后显示的界面，上述第一操作子界面可以叠加显示在现实场景图像上，也可以直接从现实场景图像所在的第一界面切换为上述第一操作子界面。

由于上述控制子界面中包括了连接控件与操作控件，用户设备与目标可连接设备建立通信连接的情况下，或者用户设备未与目标可连接设备建立通信连接的情况下，均可以通过该操作控件获取用户的触发操作，对目标可连接设备进行操作控制。例如，上述目标可连接设备可以是智能台灯，在一种情况下用户设备已与智能台灯建立蓝牙连接，当用户触发该操作控件之后，用户设备可以对智能台灯的开关进行控制；在另一种情况下，用户设备未与智能台灯建立蓝牙连接时，当用户触发该操作控件之后，用户设备也可以通过服务器等其它设备对智能台灯的开关进行控制。

上述设备控制方法，第一界面上的控制子界面上包括连接控件和操作控件，为用户提供了多种控制选择，使得用户对可连接设备的控制更加灵活。

图8为一个实施例中设备控制方法的流程示意图，本实施例涉及用户设备可以通过上述第一操作子界面或第二操作子界面上的操作项，获取用户的触发操作之后的处理方式，在上述实施例的基础上，如图8所示，上述方法还包括：

S202、若检测到操作项被触发，则生成与被触发的操作项对应的操作控制信号。

上述操作控制信号可以与操作项一一对应，例如若开关操作项被触发，则生成开关控制信号；若音量操作项被触发，则生成音量控制信号。

S204、根据操作控制信号对目标可连接设备进行操作控制。

用户设备根据操作控制信号对目标可连接设备进行操作控制，在一种实现方式中，用户设备与目标可连接设备已建立通信连接的情况下，可以通过与可连接设备之间的通信连接，向目标可连接设备发送操作控制信号。上述操作控制方式可以减少多设备之间的数据交互，简化控制流程。

在另一种实现方式中，无论用户设备与目标可连接设备是否已建立向服务器发送操作控制信号，以通过服务器对目标可连接设备进行操作控制。例如，用户设备可以与服务器连接，目标可连接设备也可以与服务器连接；用户设备生成操作控制信号之后，可以将操作控制信号发送至服务器，通过服务器传递至目标可连接设备，对目标可连接设备进行操作控制。上述操作控制方式可以在用户设备与目标可连接设备未建立通信连接的情况下，实现对目标可连接设备的操作控制，使得对目标可连接设备的操作控制更便利。

上述操作控制信号还可以通过多种路径发送至目标可连接设备，用户设备可以将操作控制信号同时发送至服务器和目标可连接设备，服务器可以将接收到的操作控制信号传递至目标可连接设备。

上述设备控制方法，用户设备可以根据用户的触发操作生成操作控制信号，然后通过不同的路径将操作控制信号传递至目标可连接设备，可以对不同连接状态下的可连接设备进行操作控制，使得操作控制更灵活。

图9为一个实施例中设备控制方法的流程示意图，本实施例涉及用户设备生成第一界面的一种方式，在上述实施例的基础上，如图9所示，上述S102之前，还包括：

S302、获取当前场景中各个可连接设备的位置信息；位置信息包括可连接设备与用户设备之间的距离，以及可连接设备相对于用户设备的方位信息。

用户设备可以通过测量，计算各个可连接设备的位置信息，也可以直接接收各个可连接设备的位置信息，在此不做限定。

上述位置信息可以包括可连接设备与用户设备之间的距离，以及可连接设备相对于用户设备的方位信息。上述方位信息可以是可连接设备与用户设备的连线，与用户设备的焦平面法线矢量之间的夹角。

在一种实现方式中，用户设备可以获取用户设备自身的坐标、可连接设备的坐标、以及用户设备的焦平面法线矢量，确定上述可连接设备的位置信息。上述坐标可以为以用户设备为参考的坐标系下的坐标，也可以是以当前场景为参考的坐标系下的坐标，还可以是地球坐标等，在此不做限定。

在另一种实现方式中，若用户设备具有高精度的测角能力，例如超宽带(UltraWide Band，简称UWB)测角能力，且用户设备的测角敏感方向与摄像头的焦平面法线矢量方向一致，在可连接设备设置了UWB信标的情况下，用户设备可以在不知道自身坐标的前提下测得用户设备与可连接设备的相对位置，获得可连接设备的位置信息。

S304、根据各位置信息以及用户设备的视场范围，确定位于视场范围内的候选可连接设备。

在确定了各个可连接设备的位置信息的基础上，用户设备可以根据当前视场范围，确定哪些可连接设备是位于视场范围内的候选可连接设备。

S306、将候选可连接设备的控制子界面，按照位置信息叠加显示在视场范围内的现实场景图像上，生成第一界面。

在上述步骤的基础上，用户设备可以将候选可连接设备的实际空间坐标，对应到现实场景图像上的图像坐标上，并将候选可连接设备的控制子界面按照上述图像坐标叠加在现实场景图像上，生成第一界面。

上述设备控制方法，用户设备通过将控制子界面按照位置信息叠加显示在现实场景图像上，使得用户可以更直观地看到哪些位置上设置有可连接设备，进而可以对需要控制的可连接设备进行控制。

图10为一个实施例中设备控制方法的流程示意图，本实施例涉及用户设备获取可连接设备的位置信息的一种方式，在上述实施例的基础上，如图10所示，上述S302包括：

S402、获取设置于当前场景中的多个定位信标发送的多个定位坐标。

当前场景下可以设置多个UWB信标，用户设备获取上述多个UWB信标的定位坐标。用户设备可以通过访问服务器获取当前场景下各个UWB信标的定位坐标，也可以接收各个UWB信标发送的广播消息，从广播消息中获取上述定位坐标，对于定位坐标的获取方式在此不做限定。上述广播消息可以是低功耗蓝牙(Bluetooh Low Energy，简称BLE)广播，也可以是WiFi广播，在此不做限定。

S404、根据多个定位坐标确定用户设备的第一坐标。

用户设备可以测量用户设备与各个UWB信标之间的距离，进而解算用户设备自身的第一坐标。以图11为例，用户设备可以通过3个UWB信标的定位坐标，以及与上述UWB信标之间的距离R1、R2、R3，确定用户设备在二维平面上的坐标。对于三维空间坐标，用户设备需获取至少4个UWB信标的定位坐标以及与该4个UWB信标之间的距离。

S406、获取可连接设备的第二坐标；第二坐标为根据可连接设备发送的广播信息确定的，或，根据服务器发送的定位信息确定的。

上述可连接设备可以包括位置固定的可连接设备，以及位置可变的可连接设备。对于位置固定的可连接设备，其坐标也是固定的；用户设备可以通过接收上述可连接设备发送的广播消息获得可连接设备的第二坐标，也可以通过访问服务器，接收服务器发送的定位信息，从上述定位信息中获取可连接设备的第二坐标。对于位置可变的可连接设备，可连接设备可以采用与用户设备相同的方式，通过多个UWB信标解算自身的第二坐标，可以将上述第二坐标通过广播信息发送至用户设备，也可以将上述第二坐标发送至服务器，使得用户设备可以从服务器获取到上述第二坐标。

S408、获取用户设备的摄像头的焦平面法线矢量。

用户设备在获取自身的坐标之后，还需要获取摄像头的焦平面法线矢量。在一种实现方式中，用户设备可以显示提示信息，上述提示信息用于提示用户按照预设路径移动用户设备；然后获取用户设备在移动过程中的多个移动坐标，并根据多个移动坐标确定用户设备的摄像头朝向；最后，根据摄像头朝向以及摄像头的俯仰角度，获得焦平面法线矢量。

其中，上述预设路径可以是以用户为中心，用户设备的摄像头朝向原理用户的一侧，旋转用户设备，如图12所示。上图中用户设备从初始位置移动至终了位置，用户设备可以解算出移动轨迹，从而根据轨迹确定用户设备的内侧和外侧，也就是朝向用户的一侧以及远离用户的一侧；进而将远离用户的一侧确定为摄像头朝向。

用户设备确定摄像头朝向之后，可以根据用户设备上设置的传感器，例如旋转矢量传感器，获得摄像头的俯仰角度。在获得摄像头朝向以及俯仰角度的基础上，用户设备可以确定摄像头的焦平面法线矢量。

S410、根据第一坐标、第二坐标以及焦平面法线矢量，确定可连接设备的位置信息。

在上述步骤的基础上，用户设备可以根据第一坐标、第二坐标以及焦平面法线矢量，确定可连接设备的位置信息。

上述设备控制方法，当前场景设置定位信标的情况下，用户设备可以获取自身的第一坐标、可连接设备的第二坐标以及摄像头的焦平面法线矢量，可以获得更准确的可连接设备的位置信息，提高了现实场景图像上叠加控制子界面的精确度。

图13为一个实施例中设备控制方法的流程示意图，本实施例涉及用户设备获取可连接设备的位置信息的一种方式，在上述实施例的基础上，如图13所示，上述S302包括：

S502、采集现实场景图像，识别现实场景图像中的定位基准线；定位基准线包括垂直基准线。

用户设备可以在获取图像采集指令之后，采集现实场景图像。进一步地，用户设备可以采用AR场景理解，识别现实场景图像中的定位基准线。以室内场景为例，上述定位基准线可以是相邻墙面之间的交界线，例如天花板、地板和墙壁之间的连接线。上述定位基准线可以包括垂直基准线，上述垂直基准线可以是垂直于地面的墙面连接线。

S504、根据预设的当前场景的模型参数，确定定位基准线的尺寸。

对于大部分的室内场景，室内空间可以是一个近似的长方体，服务器中可以预设室内场景的模型参数。上述模型参数可以包括室内空间的各个尺寸，例如墙面高度、地面长度等。用户设备可以从服务器获取当前场景的模型参数。

用户设备可以将模型参数与上述识别到的定位基准线进行对应，获得定位基准线的尺寸。

S506、根据预设的摄像头参数、基准线的尺寸以及摄像头的俯仰角，确定用户设备的第三坐标以及用户设备的摄像头的焦平面法线矢量。

在上述步骤的基础上，用户设备可以根据预设的摄像头参数、基准线的尺寸以及摄像头的俯仰角，确定用户设备的第三坐标。

用户设备可以根据摄像头的俯仰角度以及摄像头参数，确定用户设备的高度，以及用户设备与各垂直基准线之间的距离。如图14所示，图中O可以标识用户设备的摄像头，图中AB可以为当前场景中的垂直基准线，图中A′B′C′可以表示摄像头的成像。已知焦距f和垂直基准线AB的长度，在成像图像中计算A′B′的大小，那么摄像头距离垂直基准线AB的距离OC可以为：(f×AB)/A′B′。对于用户设备的高度，可以通过(B′C′×AB)/A′B′得到。

进一步地，用户设备可以根据用户设备与至少两个垂直基准线之间的距离，确定用户设备在水平面的坐标。如图15所示，用户设备可以同时拍摄到两条垂直基准线，根据用户设备与两条垂直基准线之间的距离R1和R2，计算出用户设备在水平面的坐标。在获得用户设备的水平面坐标、用户设备的高度的基础上，用户设备根据水平面的坐标以及用户设备的高度获得用户设备的第三坐标。

用户设备可以根据预设的摄像头参数、基准线的尺寸以及摄像头的俯仰角，确定用户设备的摄像头的焦平面法线矢量。如图16所示，用户设备可以根据垂直基准线AB距离成像中心的距离，计算焦平面法线矢量相对于垂直基准线在水平面上的偏转。垂直基准线AB偏离了相机透镜轴线之后，其成像A′B′偏离成像中心一定距离。相机轴线相对于垂直基准线AB的偏转角度可以为arctan(PC/OC)；其中，P点是垂直基准线的成像与成像中心之间的交点。若物距远大于相距，则OC为摄像头的焦距f，偏转角度可以为arctan(PC/f)。

S508、根据第三坐标、可连接设备的第四坐标以及焦平面法线矢量，确定可连接设备的位置信息。

用户设备还可以获取可连接设备的第四坐标。上述可连接设备可以包括位置固定的可连接设备，以及位置可变的可连接设备。对于位置固定的可连接设备，其坐标也是固定的；用户设备可以通过接收上述可连接设备发送的广播消息获得可连接设备的第四坐标，也可以通过访问服务器，接收服务器发送的定位信息，从上述定位信息中获取可连接设备的第四坐标。对于位置可变的可连接设备，上述可连接设备上可以设置有UWB信标；用户设备可以在多个空间位置上测量与可连接设备之间的距离，然后根据测量到的多个距离值确定可连接设备的第四坐标。

在上述步骤的基础上，用户设备可以根据第三坐标、可连接设备的第四坐标以及焦平面法线矢量，确定可连接设备的位置信息。

上述设备控制方法，用户设备可以在不存在UWB信标的场景中，获取可连接设备的位置信息，提高了设备控制方法的适用性。

在一个实施例中，提供一种设备控制方法，如图17所示，上述方法包括：

S602、获取当前场景中各个可连接设备的位置信息。

S604、根据各所述位置信息以及所述用户设备的视场范围，确定位于所述视场范围内的候选可连接设备。

S606、将所述候选可连接设备的控制子界面，按照所述位置信息叠加显示在所述视场范围内的现实场景图像上，生成所述第一界面。

S608、响应于图像采集指令，显示第一界面。

S610、若检测到第一界面上的连接控件被触发，则生成连接请求。

S612、将所述连接请求发送至所述目标可连接设备。

S614、若检测到所述操作控件被触发，则显示所述目标可连接设备的第一操作子界面。

S616、若检测到所述第一操作子界面上的操作项被触发，则生成与被触发的操作项对应的操作控制信号。

S618、根据所述操作控制信号对所述目标可连接设备进行操作控制。

上述设备控制方法，其实现原理和技术效果参见上述实施例，在此不做赘述。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的设备控制方法的设备控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个设备控制装置实施例中的具体限定可以参见上文中对于设备控制方法的限定，在此不再赘述。

在一个实施例中，如图18所示，提供了一种设备控制装置，包括：

显示模块10，用于响应于图像采集指令，显示第一界面；第一界面包括现实场景图像以及叠加显示在现实场景图像上的现实场景中可连接设备的控制子界面；

控制模块20，用于基于控制子界面获取触发操作，根据触发操作控制目标可连接设备。

在一个实施例中，在上述实施例的基础上，上述控制子界面包括可连接设备的设备信息以及用于连接可连接设备的连接控件。

在一个实施例中，在上述实施例的基础上，上述设备信息包括可连接设备的设备名称，和/或，可连接设备的设备类型。

在一个实施例中，在上述实施例的基础上，上述控制模块20具体用于：若检测到连接控件被触发，则生成连接请求；连接请求用于请求与目标可连接设备建立通信连接；将连接请求发送至目标可连接设备。

在一个实施例中，在上述实施例的基础上，控制子界面还包括可连接设备对应的操作控件；上述控制模块20具体用于：若检测到操作控件被触发，则显示目标可连接设备的第一操作子界面；第一操作子界面包括与目标可连接设备的设备类型匹配的操作项。

在一个实施例中，在上述实施例的基础上，上述控制模块20还用于：在与目标可连接设备建立通信连接之后，从第一界面切换至第二界面；第二界面包括现实场景图像以及叠加显示在现实场景图像上的目标可连接设备的第二操作子界面；第二操作子界面包括与目标可连接设备的设备类型匹配的操作项。

在一个实施例中，在上述实施例的基础上，上述控制模块20还用于：若检测到操作项被触发，则生成与被触发的操作项对应的操作控制信号；根据操作控制信号对目标可连接设备进行操作控制。

在一个实施例中，在上述实施例的基础上，上述控制模块20具体用于：通过与可连接设备之间的通信连接，向目标可连接设备发送操作控制信号。

在一个实施例中，在上述实施例的基础上，上述控制模块20具体用于：向服务器发送操作控制信号，以通过服务器对目标可连接设备进行操作控制。

在一个实施例中，在上述实施例的基础上，控制子界面在现实场景图像中的显示位置与可连接设备在现实场景中的位置对应。

在一个实施例中，在上述实施例的基础上，如图19所示，上述装置还包括生成模块30，用于：获取当前场景中各个可连接设备的位置信息；位置信息包括可连接设备与用户设备之间的距离，以及可连接设备相对于用户设备的方位信息；根据各位置信息以及用户设备的视场范围，确定位于视场范围内的候选可连接设备；将候选可连接设备的控制子界面，按照位置信息叠加显示在视场范围内的现实场景图像上，生成第一界面。

在一个实施例中，在上述实施例的基础上，生成模块30具体用于：获取设置于当前场景中的多个定位信标发送的多个定位坐标；根据多个定位坐标确定用户设备的第一坐标；获取可连接设备的第二坐标；第二坐标为根据可连接设备发送的广播信息确定的，或，根据服务器发送的定位信息确定的；获取用户设备的摄像头的焦平面法线矢量；根据第一坐标、第二坐标以及焦平面法线矢量，确定可连接设备的位置信息。

在一个实施例中，在上述实施例的基础上，生成模块30具体用于：显示提示信息；提示信息用于提示用户按照预设路径移动用户设备；获取用户设备在移动过程中的多个移动坐标，并根据多个移动坐标确定用户设备的摄像头朝向；根据摄像头朝向以及摄像头的俯仰角度，获得焦平面法线矢量。

在一个实施例中，在上述实施例的基础上，生成模块30具体用于：采集现实场景图像，识别现实场景图像中的定位基准线；定位基准线包括垂直基准线；根据预设的当前场景的模型参数，确定定位基准线的尺寸；根据预设的摄像头参数、基准线的尺寸以及摄像头的俯仰角，确定用户设备的第三坐标以及用户设备的摄像头的焦平面法线矢量；根据第三坐标、可连接设备的第四坐标以及焦平面法线矢量，确定可连接设备的位置信息。

在一个实施例中，在上述实施例的基础上，生成模块30具体用于：根据摄像头的俯仰角度以及摄像头参数，确定用户设备的高度，以及用户设备与垂直基准线之间的距离；根据用户设备与至少两个垂直基准线之间的距离，确定用户设备在水平面的坐标，并根据水平面的坐标以及用户设备的高度获得用户设备的第三坐标；根据垂直基准线在摄像头的成像平面上距离成像中心的距离，计算摄像头的焦平面法线矢量。

上述设备控制装置，其实现原理和技术效果参见上述方法实施例，在此不做赘述。

上述设备控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种用户设备，其内部结构图可以如图20所示。该用户设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该用户设备的处理器用于提供计算和控制能力。该用户设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该用户设备的输入/输出接口用于处理器与外部设备之间交换信息。该用户设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种设备控制方法。该用户设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图20中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行设备控制方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行设备控制方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (19)

1.一种设备控制方法，其特征在于，包括：

响应于图像采集指令，显示第一界面；所述第一界面包括现实场景图像以及叠加显示在所述现实场景图像上的现实场景中可连接设备的控制子界面；

基于所述控制子界面获取触发操作，根据所述触发操作控制目标可连接设备。

2.根据权利要求1所述的方法，其特征在于，所述控制子界面包括所述可连接设备的设备信息以及用于连接所述可连接设备的连接控件。

3.根据权利要求2所述的方法，其特征在于，所述设备信息包括所述可连接设备的设备名称，和/或，所述可连接设备的设备类型。

4.根据权利要求2所述的方法，其特征在于，所述基于所述控制子界面获取触发操作，根据所述触发操作控制目标可连接设备，包括：

若检测到所述连接控件被触发，则生成连接请求；连接请求用于请求与目标可连接设备建立通信连接；

将所述连接请求发送至所述目标可连接设备。

5.根据权利要求2所述的方法，其特征在于，所述控制子界面还包括所述可连接设备对应的操作控件；所述基于所述控制子界面获取触发操作，根据所述触发操作控制目标可连接设备，包括：

若检测到所述操作控件被触发，则显示所述目标可连接设备的第一操作子界面；所述第一操作子界面包括与所述目标可连接设备的设备类型匹配的操作项。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在与所述目标可连接设备建立通信连接之后，从所述第一界面切换至第二界面；所述第二界面包括所述现实场景图像以及叠加显示在所述现实场景图像上的所述目标可连接设备的第二操作子界面；所述第二操作子界面包括与所述目标可连接设备的设备类型匹配的操作项。

7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

若检测到所述操作项被触发，则生成与被触发的操作项对应的操作控制信号；

根据所述操作控制信号对所述目标可连接设备进行操作控制。

8.根据权利要求7所述的方法，其特征在于，所述根据所述操作控制信号对所述目标可连接设备进行操作控制，包括：

通过与所述可连接设备之间的通信连接，向所述目标可连接设备发送所述操作控制信号。

9.根据权利要求7所述的方法，其特征在于，所述根据所述操作控制信号对所述目标可连接设备进行操作控制，包括：

向服务器发送所述操作控制信号，以通过所述服务器对所述目标可连接设备进行操作控制。

10.根据权利要求1-6任一项所述的方法，其特征在于，所述控制子界面在所述现实场景图像中的显示位置与所述可连接设备在所述现实场景中的位置对应。

11.根据权利要求10所述的方法，其特征在于，所述响应于图像采集指令，显示第一界面之前，还包括：

获取当前场景中各个可连接设备的位置信息；所述位置信息包括所述可连接设备与用户设备之间的距离，以及所述可连接设备相对于所述用户设备的方位信息；

根据各所述位置信息以及所述用户设备的视场范围，确定位于所述视场范围内的候选可连接设备；

将所述候选可连接设备的控制子界面，按照所述位置信息叠加显示在所述视场范围内的现实场景图像上，生成所述第一界面。

12.根据权利要求11所述的方法，其特征在于，所述获取当前场景中各个可连接设备的位置信息，包括：

获取设置于当前场景中的多个定位信标发送的多个定位坐标；

根据所述多个定位坐标确定所述用户设备的第一坐标；

获取所述可连接设备的第二坐标；所述第二坐标为根据可连接设备发送的广播信息确定的，或，根据服务器发送的定位信息确定的；

获取所述用户设备的摄像头的焦平面法线矢量；

根据所述第一坐标、第二坐标以及所述焦平面法线矢量，确定所述可连接设备的位置信息。

13.根据权利要求12所述的方法，其特征在于，所述获取所述用户设备的摄像头的焦平面法线矢量，包括：

显示提示信息；所述提示信息用于提示用户按照预设路径移动所述用户设备；

获取所述用户设备在移动过程中的多个移动坐标，并根据所述多个移动坐标确定所述用户设备的摄像头朝向；

根据所述摄像头朝向以及所述摄像头的俯仰角度，获得所述焦平面法线矢量。

14.根据权利要求11所述的方法，其特征在于，所述获取当前场景中各个可连接设备的位置信息，包括：

采集所述现实场景图像，识别所述现实场景图像中的定位基准线；所述定位基准线包括垂直基准线；

根据预设的当前场景的模型参数，确定所述定位基准线的尺寸；

根据预设的摄像头参数、所述基准线的尺寸以及摄像头的俯仰角，确定所述用户设备的第三坐标以及所述用户设备的摄像头的焦平面法线矢量；

根据所述第三坐标、所述可连接设备的第四坐标以及所述焦平面法线矢量，确定所述可连接设备的位置信息。

15.根据权利要求14所述的方法，其特征在于，所述根据预设的摄像头参数、所述基准线的尺寸以及摄像头的俯仰角，确定所述用户设备的第三坐标以及所述用户设备的摄像头的焦平面法线矢量，包括：

根据所述摄像头的俯仰角度以及所述摄像头参数，确定所述用户设备的高度，以及所述用户设备与所述垂直基准线之间的距离；

根据所述用户设备与至少两个垂直基准线之间的距离，确定所述用户设备在水平面的坐标，并根据所述水平面的坐标以及所述用户设备的高度获得所述用户设备的第三坐标；

根据所述垂直基准线在所述摄像头的成像平面上距离成像中心的距离，计算所述摄像头的焦平面法线矢量。

16.一种设备控制装置，其特征在于，应用于用户设备，包括：

显示模块，用于响应于图像采集指令，显示第一界面；所述第一界面包括现实场景图像以及叠加显示在所述现实场景图像上的现实场景中可连接设备的控制子界面；

控制模块，用于基于所述控制子界面获取触发操作，根据所述触发操作控制目标可连接设备。

17.一种用户设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至15中任一项所述的设备控制方法的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15中任一项所述的方法的步骤。

19.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。

Images