CN114549974B - 基于用户的多智能设备的交互方法 - Google Patents

Abstract

本发明提供了一种基于用户的多智能设备的交互方法，涉及设备交互技术领域。本发明通过第二智能设备拍摄含有目标设备的第一图像，从中识别出目标型号，再基于预设区域中目标型号对应的第一智能设备，得到备选设备，并基于第二智能设备的视野范围从备选设备中筛选出位于视野范围内的第一智能设备作为目标设备，最终完成两者的配对。因此，本发明的方法只需要用户拍摄想要配对的目标设备，后台会智能的从预设区域中识别出对应的第一智能设备，并完成配对。使得用户所需操作大幅简化，使用体验显著提升。

Description

基于用户的多智能设备的交互方法

技术领域

本发明涉及智能交互技术领域，具体涉及一种基于用户的多智能设备的交互方法。

背景技术

在多智能设备的交互中，如何令智能设备进行快速配对是影响用户使用体验的重要一步。

目前的配对常见的方法包括NFC触碰配对、基于周围智能设备手动完成配对。

上述方法无法根据用户的操作来智能的完成智能设备的配对工作，简化智能设备间的配对操作。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于用户的多智能设备的交互方法，解决了现有配对步骤繁琐，用户体验较差的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于用户的多智能设备的交互方法，该方法包括：

构建预设区域中各个第一智能设备的位置信息；

当第二智能设备拍摄含有目标设备的第一图像时，获取第二智能设备的位置信息；所述第一智能设备和第二智能设备在同一局域网络下；

识别所述第一图像中的所有第一智能设备的型号，并从中筛选出目标型号；

获取预设区域中目标型号对应的第一智能设备作为备选设备；若备选设备数量大于1，则基于第二智能设备的位置信息计算其视野范围，并从目标型号对应的所有第一智能设备中筛选出位于视野范围内的第一智能设备作为目标设备；

令第二智能设备与所述目标设备配对。

进一步的，所述构建预设区域中各个第一智能设备的位置信息，包括：

采集预设区域的全局影像；

利用目标识别模型识别所述全局影像中的所有第一智能设备的型号；

获取各个第一智能设备在预设区域内的坐标作为其位置信息。

进一步的，所述第一智能设备在预设区域内的坐标，包括：

第i个第一智能设备在预设区域内的坐标记为p_i＝(x_i,y_i,z_i)，得到预设区域中所有第一智能设备的坐标集合{p_i}；

其中，i∈I，I表示预设区域内第一智能设备的数量；

x_i,y_i表示第一智能设备在空间中的投影地面的坐标；

z_i表示第一智能设备在空间中的高度。

进一步的，所述识别所述第一图像中的所有第一智能设备的型号，并从中筛选出目标型号，包括：

利用目标识别模型识别所述第一图像中的所有第一智能设备在第一图像中的位置信息；

选择最靠近第一图像中心的第一智能设备的型号作为目标型号。

进一步的，该方法还包括：

若备选设备数量等于1，则令所述目标型号对应的第一智能设备作为目标设备，并将其从待机状态切换为待配对状态。

进一步的，所述基于第二智能设备的位置信息计算其视野范围，并从目标型号对应的所有第一智能设备中筛选出位于视野范围内的第一智能设备作为目标设备，包括：

所述第二智能设备的位置信息包括第二智能设备在预设区域内的坐标p₀＝(x₀,y₀,z₀)和拍摄方向f_x,y,z；

计算第二智能设备的拍摄方向f_x,y,z与水平面的夹角θ，以及第一智能设备间的最大高度差Δz_max；

若θ小于第一阈值且Δz_max小于第二阈值，则获取第二智能设备的拍摄视场角α，以及拍摄方向f_x,y,z在水平面的投影函数f_x,y，并构建第二智能设备的视野范围V＝{v₁,v₂}；

其中，v₁,v₂表示视角两侧的边缘函数，

分别表示两侧的边缘函数是分别由f_x,y旋转

和

后得到的函数；

删除备选设备的高度信息，得到备选设备的二维坐标集合；再筛选出位于视野范围内的备选设备作为目标设备。

(三)有益效果

本发明提供了一种基于用户的多智能设备的交互方法。与现有技术相比，具备以下有益效果：

本发明通过第二智能设备拍摄含有目标设备的第一图像，从中识别出目标型号，再基于预设区域中目标型号对应的第一智能设备，得到备选设备，并基于第二智能设备的视野范围从备选设备中筛选出位于视野范围内的第一智能设备作为目标设备，最终完成两者的配对。因此，本发明的方法只需要用户拍摄想要配对的目标设备，后台会智能的从预设区域中识别出对应的第一智能设备，并完成配对。使得用户所需操作大幅简化，使用体验显著提升。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的流程图；

图2为本发明实施例的构建的空间坐标系示意图；

图3为本发明实施例的第二智能设备的拍摄方向f_x,y,z与水平面的夹角θ的示意图；

图4为本发明实施例的视野范围示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种基于用户的多智能设备的交互方法，解决了现有配对步骤繁琐，用户体验较差的问题。

本申请实施例中的技术方案为解决上述技术问题，总体思路如下：

假设在客厅的使用环境下，用户躺在床上或沙发上，想要将手机与前方的电视柜上的智能蓝牙音响配对。现有的方法主要包括如下两种：

①手动配对：需要用户手动开启手机和音响的蓝牙开关，再从手机的可配对蓝牙设备列表选择对应的设备，完成配对。

②基于NFC模块触碰配对：需要设备均具有NFC模块，且需要用户离开当前位置，将手机与智能蓝牙音响的NFC靠近，完成配对。

显然，上述的现有方法在操作上存在不便，主要是需要用户操作的步骤较多。

针对上述问题，本发明通过第二智能设备拍摄含有目标设备的第一图像，从中识别出目标型号，再基于预设区域中目标型号对应的第一智能设备，得到备选设备，并基于第二智能设备的视野范围从备选设备中筛选出位于视野范围内的第一智能设备作为目标设备，最终完成两者的配对。因此，本发明的方法只需要用户拍摄想要配对的目标设备，后台会智能的从预设区域中识别出对应的第一智能设备，并完成配对。使得用户所需操作大幅简化，使用体验显著提升。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例：

如图1所示，本发明提供了一种基于用户的多智能设备的交互方法，该方法包括：

构建预设区域中各个第一智能设备的位置信息；

当第二智能设备拍摄含有目标设备的第一图像时，获取第二智能设备的位置信息；所述第一智能设备和第二智能设备在同一局域网络下；

识别所述第一图像中的所有第一智能设备的型号，并从中筛选出目标型号；

获取预设区域中目标型号对应的第一智能设备作为备选设备；若备选设备数量大于1，则基于第二智能设备的位置信息计算其视野范围，并从目标型号对应的所有第一智能设备中筛选出位于视野范围内的第一智能设备作为目标设备；

令第二智能设备与所述目标设备配对。

本实施例的有益效果为：

本发明实施例通过第二智能设备拍摄含有目标设备的第一图像，从中识别出目标型号，再基于预设区域中目标型号对应的第一智能设备，得到备选设备，并基于第二智能设备的视野范围从备选设备中筛选出位于视野范围内的第一智能设备作为目标设备，最终完成两者的配对。因此，本发明的方法只需要用户拍摄想要配对的目标设备，后台会智能的从预设区域中识别出对应的第一智能设备，并完成配对。使得用户所需操作大幅简化，使用体验显著提升。

下面对本发明实施例的实现过程进行详细说明：

在本实施例中，配对状态可以为两个智能设备的蓝牙配对，也可以是投屏操作。

第一智能设备可以为智能音箱、智能电视等智能家电或是家用智能设备。

第二智能设备可以为用户的智能手机、平板电脑等智能移动终端。

且所述第一智能设备和第二智能设备在同一局域网络下。

预设区域可以为一个房间区域。

因此，本发明提供了一种基于用户的多智能设备的交互方法，该方法包括：

S1、构建预设区域中各个第一智能设备的位置信息。

在具体实施时，可采用如下步骤：

S11、采集预设区域的全局影像；

S12、利用目标识别模型识别所述全局影像中的所有第一智能设备的型号；

S13、获取各个第一智能设备在预设区域内的坐标作为其位置信息。

具体的，在S11中，可通过安装在预设区域(房间)内的智能监控摄像头拍摄整个房间的全局影像。在S12中，所述目标识别模型可采用现有的商品识别算法，对模型进行训练后得到，使目标识别模型能够识别出画面中商品的型号。在S13中，由于智能监控摄像头的位置相对固定，可以基于此构建房间内的空间坐标系，进而可以得到房间内各个第一智能设备在房间内的位置信息。

举例说明：

第i个第一智能设备在预设区域内的坐标记为p_i＝(x_i,y_i,z_i)，则预设区域中所有第一智能设备的坐标集合{p_i}；

其中，i∈I，I表示预设区域内第一智能设备的数量；

x_i,y_i表示第一智能设备在空间中的投影地面的坐标；

z_i表示第一智能设备在空间中的高度。

例如，如图2所示构建空间坐标系，房间内的第一智能设备的坐标为(530cm，90cm，150cm)，即表示该第一智能设备在x轴上的坐标是530cm，在y轴上的坐标是90cm，在z轴上的坐标是150cm。即在xy轴构成的坐标平面上，该第一智能设备放置的位置为(530cm，90cm)，且放置的高度为150cm。

S2、当第二智能设备拍摄含有目标设备的第一图像时，获取第二智能设备的位置信息。

在具体实施时，第二智能设备为手机时，可在用户在软件内调用后置摄像头时，标记为第二智能设备正在拍摄含有目标设备的第一图像，此时即可采集智能设备的位置信息。

具体的，所述第二智能设备的位置信息包括用于表达手机空间位置的第二智能设备在预设区域内的坐标p₀＝(x₀,y₀,z₀)以及用于表达手机姿态的拍摄方向f_x,y,z。

S3、识别所述第一图像中的所有第一智能设备的型号，并从中筛选出目标型号。

在具体实施时，可采用如下步骤：

S31、利用目标识别模型识别所述第一图像中的所有第一智能设备在第一图像中的位置信息；

S32、选择最靠近第一图像中心的第一智能设备的型号作为目标型号。

具体的，所述目标识别模型与S12中的可采用同一个。而目标识别模型在识别第一图像中的第一智能设备型号时，可得到对应的识别框，因此，可以基于该识别框的顶点在第一图像中的坐标来表达第一智能设备在第一图像中的位置。

举例说明，若第一智能设备采集的第一图像的分辨率为1920*1080，并基于此建立二维平面坐标系，即可得到每个识别框的对角线端点坐标；基于对角线端点坐标，即可计算出每个识别框距第一图像中心的距离，考虑到人们拍照的习惯，从中选择最靠近第一图像中心的识别框对应的第一智能设备的型号作为目标型号。

S4、获取预设区域中目标型号对应的第一智能设备作为备选设备；

若备选设备数量大于1，则基于第二智能设备的位置信息计算其视野范围，并从目标型号对应的所有第一智能设备中筛选出位于视野范围内的第一智能设备作为目标设备。

在具体实施时，备选设备数量大于1表示房间内存在多个相同型号的设备，例如组成多声道的多个智能蓝牙音箱，若用户只需要与其中一个进行单独配对时，此时仅通过型号识别无法唯一确定目标设备，因此，确定目标设备可采用如下步骤：

S41、计算第二智能设备的拍摄方向f_x,y,z与水平面的夹角θ，以及第一智能设备间的最大高度差Δz_max；

S42、若θ小于第一阈值且Δz_max小于第二阈值，表示各个第一智能设备间的高度差较小，同时手机拍摄倾斜程度不大，则获取第二智能设备的拍摄视场角α，以及拍摄方向f_x,y,z在水平面的投影函数f_x,y，并构建第二智能设备的视野范围V＝{v₁,v₂}；

其中，v₁,v₂表示视角两侧的边缘函数，

分别表示两侧的边缘函数是分别由f_x,y旋转

和

后得到的函数；

S43、删除备选设备的高度信息，得到备选设备的二维坐标集合；再筛选出位于视野范围内的备选设备作为目标设备。

具体的，第二智能设备的拍摄方向f_x,y,z与水平面的夹角θ如图3所示，具有十字填充图案的平面是垂直于xy轴所在平面，且拍摄方向f_x,y,z处于该平面内，而投影函数f_x,y则位于两个平面的相交线上。

第一智能设备间的最大高度差的计算公式为：

Δz_max＝z_max-z_min

其中，z_max、z_min分别表示在集合{p_i}中，在z轴上的最大值和最小值。

而构建的视野范围V＝{v₁,v₂}如图4所示，在删除备选设备的高度信息(即z_i)后，备选设备的二维坐标(x_i,y_i)的可映射在图4中构建的坐标系中，因此，所要寻找的目标设备就是位于阴影区域内的备选设备。

此外，若备选设备数量等于1，表示此时通过型号即可确定目标设备，即令所述目标型号对应的第一智能设备作为目标设备，并将其从待机状态切换为待配对状态。

S5、令第二智能设备与所述目标设备配对。

综上所述，与现有技术相比，本发明具备以下有益效果：

①本发明通过第二智能设备拍摄含有目标设备的第一图像，从中识别出目标型号，再基于预设区域中目标型号对应的第一智能设备，得到备选设备，并基于第二智能设备的视野范围从备选设备中筛选出位于视野范围内的第一智能设备作为目标设备，最终完成两者的配对。因此，本发明的方法只需要用户拍摄想要配对的目标设备，后台会智能的从预设区域中识别出对应的第一智能设备，并完成配对。使得用户所需操作大幅简化，使用体验显著提升。

②本发明还考虑到用户的普遍的使用场景，提供了一种目标设备的筛选方法，通过第二智能设备的位置信息计算其视野范围，能够智能的从图像中确定视野范围内想要配对的目标设备。

需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种基于用户的多智能设备的交互方法，其特征在于，该方法包括：

构建预设区域中各个第一智能设备的位置信息；包括：

通过安装在预设区域内的智能监控摄像头拍摄整个预设区域的全局影像；利用目标识别模型识别所述全局影像中的所有第一智能设备的型号；基于智能监控摄像构建预设区域内的空间坐标系，得到预设区域内各个第一智能设备在预设区域内的位置信息；

当第二智能设备拍摄含有目标设备的第一图像时，获取第二智能设备的位置信息；所述第一智能设备和第二智能设备在同一局域网络下；所述第二智能设备的位置信息包括第二智能设备在所述空间坐标系内的坐标p₀＝(x₀,y₀,z₀)以及拍摄方向f_x,y,z；

识别所述第一图像中的所有第一智能设备的型号，并从中筛选出目标型号；包括：

利用目标识别模型识别所述第一图像中的所有第一智能设备在第一图像中的位置信息；选择最靠近第一图像中心的第一智能设备的型号作为目标型号；

获取预设区域中目标型号对应的第一智能设备作为备选设备；

若备选设备数量大于1，则基于第二智能设备的位置信息计算其视野范围，包括：

计算第二智能设备的拍摄方向f_x,y,z与所述空间坐标系的x轴和y轴构成平面的夹角θ，以及第一智能设备间的最大高度差Δz_max；若θ小于第一阈值且Δz_max小于第二阈值，则获取第二智能设备的拍摄视场角α，以及拍摄方向f_x,y,z在所述空间坐标系的x轴和y轴构成平面的投影函数f_x,y，并构建第二智能设备的视野范围V＝{v₁,v₂}；其中，v₁,v₂表示视角两侧的边缘函数，

分别表示两侧的边缘函数是分别由f_x,y旋转

和

后得到的函数；

并从目标型号对应的所有第一智能设备中筛选出位于视野范围内的第一智能设备作为目标设备；

令第二智能设备与所述目标设备配对。

2.如权利要求1所述的一种基于用户的多智能设备的交互方法，其特征在于，所述第一智能设备在预设区域内的坐标，包括：

第i个第一智能设备在预设区域内的坐标记为p_i＝(x_i,y_i,z_i)，得到预设区域中所有第一智能设备的坐标集合{p_i}；

其中，i∈I，I表示预设区域内第一智能设备的数量；

x_i,y_i表示第一智能设备在空间中的投影地面的坐标；

z_i表示第一智能设备在空间中的高度。

3.如权利要求1所述的一种基于用户的多智能设备的交互方法，其特征在于，该方法还包括：

若备选设备数量等于1，则令所述目标型号对应的第一智能设备作为目标设备，并将其从待机状态切换为待配对状态。

Images