CN115268726A - 智能设备的控制方法、装置、终端设备及存储介质 - Google Patents
智能设备的控制方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN115268726A CN115268726A CN202110484999.1A CN202110484999A CN115268726A CN 115268726 A CN115268726 A CN 115268726A CN 202110484999 A CN202110484999 A CN 202110484999A CN 115268726 A CN115268726 A CN 115268726A
- Authority
- CN
- China
- Prior art keywords
- intelligent
- information
- position information
- intelligent equipment
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 abstract description 9
- 238000004891 communication Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/02—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开是关于智能设备的控制方法、装置、终端设备及存储介质,所述方法包括:在运行预设应用状态下,确定智能设备的第一位置信息,其中,所述预设应用具有AR功能,所述第一位置信息用于表征:所述智能设备在所述预设应用中虚拟空间世界坐标系的坐标;根据所述第一位置信息,在所述预设应用的取景界面内显示图标控件,所述图标控件与所述智能设备相对应;根据所述图标控件上的操作指令,控制所述智能设备。使用本公开的方法,终端设备可确定智能设备的第一位置信息,在AR的显示界面创建图标控件。以图标控件实现在AR程序内控制智能设备,提升智能设备控制过程中的便捷性。控制过程不需用户输入智能设备相关信息,有效简化用户操作。
Description
技术领域
本公开涉及终端领域,尤其涉及一种智能设备的控制方法、装置、终端设备及存储介质。
背景技术
随着科技的发展,智能家居产品为人们生活带来了极大便利,如智能音箱、智能空调、智能冰箱等。而随着智能家居产品的增多,相关技术中为便捷有效的控制智能家居产品,采用智能音箱、手机等终端设备来控制家中的多个智能家居产品。
但在相关技术中,控制智能家居产品的方式,至少存在智能设备的绑定或控制过程中,用户操作较多的技术问题。
发明内容
为克服相关技术中存在的问题,本公开提供一种智能设备的控制方法、装置、终端设备及存储介质。
根据本公开实施例的第一方面,提出了一种智能设备的控制方法,应用于终端设备,所述方法包括:
在运行预设应用状态下,确定智能设备的第一位置信息,其中,所述预设应用具有AR功能,所述第一位置信息用于表征:所述智能设备在所述预设应用中虚拟空间世界坐标系的坐标;
根据所述第一位置信息,在所述预设应用的取景界面内显示图标控件,所述图标控件与所述智能设备相对应;
根据所述图标控件上的操作指令,控制所述智能设备。
可选地,所述终端设备包括UWB模组,所述确定智能设备的第一位置信息,包括:
接收所述智能设备的UWB模块发送的数据包,所述数据包包括:所述智能设备的基础信息、协议信息以及方位信息,所述方位信息为所述智能设备相对于所述终端设备中UWB模组的距离和/或角度;
根据所述数据包中的方位信息,确定智能设备的第二位置信息,其中,所述第二位置信息用于表征:智能设备在现实空间坐标系中相对于终端设备的坐标;
根据所述第二位置信息,确定所述第一位置信息。
可选地,所述根据所述第二位置信息,确定所述第一位置信息,包括:
获取数据转换信息;
根据所述数据转换信息和所述第二位置信息,确定所述第一位置信息。
可选地,所述根据所述第一位置信息,在所述预设应用的取景界面内显示图标控件,包括:
根据所述第一位置信息,确定与所述智能设备绑定的锚点;
在所述锚点处显示图标控件。
可选地,所述确定与所述智能设备绑定的锚点,包括:
根据所述第一位置信息,确定所述锚点的建立位置;
根据所述智能设备发送的数据包中的基础信息和协议信息,在所述建立位置创建与所述智能设备关联的锚点;或者,根据识别到的所述智能设备上的信息标识表征的设备信息,在所述建立位置创建与所述智能设备关联的锚点。
可选地,所述方法还包括:
在取景界面中,响应于取景界面中采集到所述智能设备,以第一方式显示提示标识;或者,
响应于取景界面中未采集到所述智能设备,以第二方式显示提示标识。
可选地,所述图标控件包括方向标识,所述在所述预设应用的取景界面内显示图标控件,包括:
响应于取景界面中未采集到所述智能设备,在取景界面显示所述方向标识,所述方向标识用于指示所述智能设备所在的方向。
根据本公开实施例的第二方面,提出了一种智能设备的控制装置,应用于终端设备,所述装置包括:
确定模块,用于在运行预设应用状态下,确定智能设备的第一位置信息,其中,所述预设应用具有AR功能,所述第一位置信息用于表征:所述智能设备在所述预设应用中虚拟空间世界坐标系的坐标;
显示模块,用于根据所述第一位置信息,在所述预设应用的取景界面内显示图标控件,所述图标控件与所述智能设备相对应;
控制模块,用于根据所述图标控件上的操作指令,控制所述智能设备。
可选地,所述终端设备包括UWB模组,所述确定模块用于:
接收所述智能设备的UWB模块发送的数据包,所述数据包包括:所述智能设备的基础信息、协议信息以及方位信息,所述方位信息为所述智能设备相对于所述终端设备中UWB模组的距离和/或角度;
根据所述数据包中的方位信息,确定智能设备的第二位置信息,其中,所述第二位置信息用于表征:智能设备在现实空间坐标系中相对于终端设备的坐标;
根据所述第二位置信息,确定所述第一位置信息。
可选地,所述确定模块用于:
获取数据转换信息;
根据所述数据转换信息和所述第二位置信息,确定所述第一位置信息。
可选地,所述显示模块用于:
根据所述第一位置信息,确定与所述智能设备绑定的锚点;
在所述锚点处显示图标控件。
可选地,所述显示模块用于:
根据所述第一位置信息,确定所述锚点的建立位置;
根据所述智能设备发送的数据包中的基础信息和协议信息,在所述建立位置创建与所述智能设备关联的锚点;或者,根据识别到的所述智能设备上的信息标识表征的设备信息,在所述建立位置创建与所述智能设备关联的所述锚点。
可选地,所述显示模块还用于:
在取景界面中,响应于取景界面中采集到所述智能设备,以第一方式显示提示标识;或者,
响应于取景界面中未采集到所述智能设备,以第二方式显示提示标识。
可选地,所述图标控件包括方向标识,所述显示模块还用于:
响应于取景界面中未采集到所述智能设备,在取景界面显示所述方向标识,所述方向标识用于指示所述智能设备所在的方向。
根据本公开实施例的第三方面,提出了一种终端设备,包括:
处理器;
用于存储处理器的可执行指令的存储器;
其中,所述处理器被配置为执行如上任一项所述的智能设备的控制方法。
根据本公开实施例的第四方面,提出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行如上任一项所述的智能设备的控制方法。
本公开的实施例提供的技术方案可以包括以下有益效果:使用本公开的方法,用户打开终端设备中具有AR功能的应用程序后,终端设备可确定智能设备的第一位置信息,在AR的显示界面创建图标控件。以图标控件实现在AR程序内控制智能设备,提升智能设备控制过程中的便捷性。控制过程不需用户输入智能设备相关信息,有效简化用户操作。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的方法的流程图。
图2是根据一示例性实施例示出的方法的流程图。
图3是根据一示例性实施例示出的方法的流程图。
图4是根据一示例性实施例示出的方法的流程图。
图5是根据一示例性实施例示出的方法的交互示意图。
图6是根据一示例性实施例示出的取景界面示意图。
图7是根据一示例性实施例示出的取景界面示意图。
图8是根据一示例性实施例示出的取景界面示意图。
图9是根据一示例性实施例示出的装置的框图。
图10是根据一示例性实施例示出的终端设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
随着科技的发展,智能家居产品为人们生活带来了极大便利,如智能音箱、智能空调、智能冰箱等。而随着智能家居产品的增多,相关技术中为便捷有效的控制智能家居产品,采用智能音箱、手机等终端设备来控制家中的多个智能家居产品。
但在相关技术中,控制智能家居产品的方式,至少存在如下技术问题:
第一,以智能音箱控制智能家居产品时,智能音箱可识别语音的距离有限、以及对不同用户语音识别的准确性有限。
第二,以手机等可视化终端设备控制智能家居产品时,终端设备与智能家居产品的绑定连接较为繁琐复杂。比如,需要借助一些专用的APP,用户在APP内设置智能设备的信息、路由信息等,实现智能设备的绑定或连接,用户操作较多。
为解决相关技术中的技术问题,本公开实施例提出了一种智能设备的控制方法,应用于终端设备,方法包括:在运行预设应用状态下,确定智能设备的第一位置信息,其中,预设应用具有AR功能,第一位置信息用于表征:智能设备在预设应用中虚拟空间世界坐标系的坐标。根据第一位置信息,在预设应用的取景界面内显示图标控件,图标控件与智能设备相对应。根据图标控件上的操作指令,控制智能设备。使用本公开的方法,用户打开终端设备中具有AR功能的应用程序后,终端设备可确定智能设备的第一位置信息,在AR的显示界面创建图标控件。以图标控件实现在AR程序内控制智能设备,提升智能设备控制过程中的便捷性。控制过程不需用户输入智能设备相关信息,有效简化用户操作。
在一个示例性的实施例中,本实施例的智能设备的控制方法,应用于终端设备。其中,终端设备比如可以是手机、平板电脑、笔记本电脑等可运行AR应用程序的电子设备。
如图1所示,本实施例的方法可以包括如下示例步骤:
S110、在运行预设应用状态下,确定智能设备的第一位置信息。
S120、根据第一位置信息,在预设应用的取景界面内显示图标控件。
S130、根据图标控件上的操作指令,控制智能设备。
其中,在步骤S110中,预设应用具有AR(增强现实技术)功能,预设应用比如可以是:单独安装于终端设备中的第三方应用程序,如AR应用程序。或者是,终端设备中已经安装的、集成有AR功能的应用程序,如相机程序或具有AR功能的第三方应用程序。预设应用具有调用终端设备摄像结构的权限。
本步骤中,第一位置信息用于表征:智能设备在预设应用中虚拟空间世界坐标系的坐标。在预设应用中,会创建AR虚拟空间中的世界坐标系。虚拟空间世界坐标系可认为以摄像头在终端设备中的位置为原点。第一位置信息可以是根据智能设备的物理位置确定的。示例地,可以通过UWB模块确定智能设备的第一位置信息。
在步骤S120中,根据智能设备在虚拟空间中的坐标,终端设备可控制在预设应用内显示图标控件。
本步骤中,图标控件与智能设备相对应,比如是指:图标控件为与智能设备形状对应的图标模型,且图标控件与智能设备绑定。若在取景界面中存在多个智能设备,则取景界面中显示有每个智能设备对应的图标控件。
在步骤S130中,操作指令比如可以是用户在图标控件上的点击、双击、滑动等操作,终端设备根据接收到的不同的操作指令,产生不同的控制指令,控制智能设备按控制指令运行。
或者,本步骤中也可以是,当用户点击图标控件,终端设备可控制显示操作菜单,该操作菜单可以为与智能设备关联的功能菜单,用户在操作菜单上进一步操作,终端设备根据操作产生控制智能设备的控制指令。
在一个示例性的实施例中,本实施例中终端设备包括UWB(超宽带天线)模组。如图2所示,本实施例中步骤S110可以包括如下示例步骤:
S111、接收智能设备的UWB模块发送的数据包。
S112、根据数据包中的方位信息,确定智能设备的第二位置信息。
S113、根据第二位置信息,确定第一位置信息。
其中,在步骤S111中,数据包可以包括:智能设备的基础信息、协议信息以及方位信息,方位信息为智能设备相对于终端设备中UWB模组的距离和/或角度。智能设备的UWB模块可以按设定的频率以广播的方式发送数据包,以同步智能设备自身的信息,终端设备的UWB模组可获得智能设备的设备信息。
终端设备在接收到智能设备发送的数据包后,可以对数据包内容进行解析,获取所需的信息。
本步骤中,基础信息比如可以包括:智能设备的ID号、类型、名称等设备自身的类别信息。协议信息比如可以包括:智能设备的连接协议和通信协议,基于智能设备的协议信息,终端设备可以建立与智能设备的通信连接。基于智能设备的基础信息和协议信息,终端设备可以与智能设备绑定并连接。
方位信息比如可以包括:智能设备所在位置距离当前终端设备的UWB模组所在处的距离、仰视角(pitch)和偏航角(yaw)。
在步骤S112中,第二位置信息可以用于表征:智能设备在现实空间坐标系中相对于终端设备的坐标,比如,现实世界坐标系可以以UWB模组所在位置为原点。
本步骤中,第二位置信息可以理解为智能设备相对于终端设备中UWB模组的相对物理坐标,可以反应智能设备的物理位置。根据数据包中的方位信息,终端设备可根据智能设备的距离、仰视角和偏航角确定智能设备的物理位置坐标,即第二位置信息。
在步骤S113中,终端设备根据智能设备的物理位置,可以以数据转换的方式确定AR空间中的第一位置信息。本步骤中,如图3所示,可以包括如下示例步骤:
S1131、获取数据转换信息。
本步骤中,数据转换信息比如是转换矩阵,用于将现实空间坐标系的坐标转换为AR空间坐标系的坐标。转换矩阵可以是在终端设备出厂过程中预存的,每个终端设备具有一个对应的转换矩阵,转换矩阵与终端设备中摄像结构的位置和UWB模组的位置相关。
S1132、根据数据转换信息和第二位置信息,确定第一位置信息。
本步骤中,以第二位置信息表征的坐标与数据转换信息表征的转换矩阵的乘积,作为第一位置信息表征的坐标。
比如,第二位置信息表征的智能设备在现实空间坐标系中的坐标为P-u,数据转换信息表征的转换矩阵为M-ua,则第一位置信息表征的智能设备在虚拟空间世界坐标系中的坐标P-a为:P-a=M-ua*P-u。
在一个示例性的实施例中,如图4所示,本实施例中步骤S120可以包括如下示例步骤:
S1201、根据第一位置信息,确定与智能设备绑定的锚点。
S1202、在锚点处显示图标控件。
其中,在步骤S1201中,锚点在取景界面中可以隐藏或显示。锚点可以是在确定第一位置信息后创建的,也可以是预设应用为智能设备预先创建的。
在一个示例中,锚点可以是在:确定第一位置信息后,在第一位置信息表征的坐标处创建。比如,获知智能设备在AR虚拟空间世界坐标系中的坐标后,预设应用可基于CloudAnchor(云锚)技术为智能设备创建锚点(Anchor)。
在另一个示例中,锚点可以是:预先创建的,在获知第一位置信息后,对锚点的位置进行调节,与第一位置信息表征的坐标适配。比如,预设应用预先为智能设备创建了对应的锚点,获知智能设备在AR虚拟空间世界坐标系中的坐标后,在预设应用内令锚点与对应的智能设备重合。
在步骤S1202中,图标控件比如可以是与智能设备形状相同的图标模型。示例地,图标控件可以与智能设备的图像融合处理后在取景界面内显示。当用户持终端设备移动取景过程中,图标控件应显示在:取景界面中智能设备附近的预设范围内。示例地,在步骤S1202中,可以在锚点相邻的预设范围内显示图标控件。
基于图标控件,用户可以发布相应的操作指令,预设应用根据用户的操作指令控制智能设备。例如,根据用户在图标控件上的操作指令,预设应用可控制与智能设备的连接、断开连接,或者控制智能设备执行开启、关闭、功能操作等指令。如图8所示,为对图标控件的点击操作。
在一个示例性的实施例中,步骤S1201比如可以包括如下步骤:
S1201-1、根据第一位置信息,确定锚点的建立位置。
S1201-2、根据智能设备发送的数据包中的基础信息和协议信息,在建立位置创建与智能设备关联的锚点。或者,根据识别到的智能设备上的信息标识表征的设备信息,在建立位置创建与智能设备关联的锚点。
其中,在步骤S1201-1中,将锚点建立在第一位置信息表征的位置。
在步骤S1201-2中,锚点可基于智能设备的设备信息实现与智能设备的绑定。比如,锚点基于智能设备的基础信息(ID号、类型、名称等)和协议信息(连接协议和通信协议)与智能设备绑定关联。
在一个示例中,根据智能设备发送的数据包中的基础信息和协议信息,在建立位置创建与智能设备关联的锚点。
本示例中,基于UWB技术实现终端设备接收智能设备的数据包(设备信息)。本示例中,在完成第一次绑定关联后,每次打开预设应用,当预设应用采集到智能设备,即可自动实现锚点与智能设备的连接。
在另一个示例中,智能设备上可以设置有信息标识,电子设备可识别采集到的信息标识,并根据信息标识表征的设备信息,创建与电子设备关联绑定的锚点。
本示例中,信息标识比如可以是条形码或二维码等包含智能设备设备信息的标识,预设应用调用摄像结构采集智能设备,并可识别其上的信息标识,获知设备信息后将智能设备与锚点绑定。
在一个示例性的实施例中,用户使用终端设备控制智能设备过程中,可能处于移动状态。取景界面会发生变化,在上述步骤S120的基础上,本实施例中的方法还可以包括如下步骤:
S140、在取景界面中,响应于取景界面中采集到智能设备,以第一方式显示提示标识。或者,响应于取景界面中未采集到智能设备,以第二方式显示提示标识。
其中,在本步骤中,提示标识比如可以是具有设定形状的图标标识,如图6至图8所示的圆形标识。
第一方式和第二方式的显示不同。比如,第一方式与第二方式中,提示标识的渲染颜色不同,例如第一方式中渲染颜色可以为绿色、第二方式中渲染颜色可以为红色。或者,第一方式以不变的颜色显示提示标识,第二方式以闪烁的方式显示提示标识。
用户移动过程中,当能够采集到智能设备,图标控件在界面显示上与智能设备融合或在智能设备附近的预设范围内,第一方式显示提示标识的目的在于:提示用户智能设备始终在取景界面。示例地,在取景界面中采集到智能设备的情况下,智能设备与终端设备建立连接,该第一方式显示提示标识,以便于告知用户智能设备处于连接状态。
当取景界面中未采集到智能设备,第二方式显示提示标识的目的在于:以醒目的方式提示用户,在移动过程中,取景界面已采集不到智能设备。及时提示用户调整移动状态。
本实施例中,基于智能设备与对应的锚点在绑定状态下,步骤S120比如还可以包括如下步骤:
S1201、响应于取景界面中未采集到智能设备,在取景界面显示方向标识。
其中,本步骤中,当取景界面中未采集到智能设备,图标控件可以包括方向标识,方向标识用于指示智能设备所在的方向。方向标识比如可以是箭头。基于智能设备对应的锚点,在预设应用内,可利用锚点感知智能设备的方向或位置。
在用户移动终端设备造成取景界面变化的场景中,取景界面中可能会采集不到智能设备。此时,预设应用可根据锚点感知的智能设备的方向或位置,在取景界面中显示方向标识,如图6所示,以告知用户智能设备的当前方位。
本步骤中,当取景界面中未采集到智能设备,终端设备也可断开与智能设备的连接。
比如,在一个设定的时间范围内,始终未采集到智能设备,则终端设备断开与智能设备的连接,停止二者的通信数据传输。此时可不用显示方向标识,或者保持方向标识的显示状态。示例地,响应于取景界面中未采集到智能设备,终端设备断开与智能设备的连接,此时,可以通过取景界面显示的与该智能设备关联的图标控件(例如方向标识),建立终端设备与智能设备的连接,例如响应于对图标控件(例如方向标识)的点击操作指令,建立终端设备与智能设备的通信连接。
在一个示例性的实施例中,如图5所示,本实施例中终端设备与智能设备的通信可以包括如下步骤:
根据用户的操作,终端设备打开预设应用(AR)和UWB模组。智能设备开启UWB模块。
S1、智能设备的UWB模块发送的数据包。其中,数据包包括:智能设备的基础信息、协议信息以及方位信息。
S2、终端设备的UWB模组接收数据包。
S3、终端设备的预设应用根据数据包中的方位信息,确定智能设备的第二位置信息,进一步确定第一位置信息。
S4、终端设备的预设应用根据第一位置信息,确定与智能设备绑定关联的锚点。
可以理解的,终端设备还可以与智能设备建立连接,比如根据数据包中的基础信息和协议信息,建立与智能设备的连接,或者基于UWB直接连接,或者基于WIFI或蓝牙技术连接。并能接收智能设备基于连接成功的反馈消息。
S5、显示图标控件,以图标控件控制智能设备。
本实施例中的方法,基于AR技术和UWB技术,精确实现智能设备的定位,同时基于AR技术进一步实现智能设备的绑定与控制。在可以精确获知智能设备方位的前提下,准确控制智能设备。
在一个示例性的实施例中,本公开实施例还提出了一种智能设备的控制装置,应用于终端设备,如图9所示,本实施例的装置可以包括:确定模块110、显示模块120、控制模块130。其中,本实施例的装置用于实现如图1所示的方法。其中,确定模块110用于在运行预设应用状态下,确定智能设备的第一位置信息,其中,预设应用具有AR功能,第一位置信息用于表征:智能设备在预设应用中虚拟空间世界坐标系的坐标。显示模块120用于根据第一位置信息,在预设应用的取景界面内显示图标控件,图标控件与智能设备相对应。控制模块130用于根据图标控件上的操作指令,控制智能设备。
在一个示例性的实施例中,本实施例中,终端设备包括UWB模组,依旧参照图9所示,本实施例中的装置用于实现如图2至图3所示的方法。其中,确定模块110可以用于:接收智能设备的UWB模块发送的数据包,数据包包括:智能设备的基础信息、协议信息以及方位信息,方位信息为智能设备相对于终端设备中UWB模组的距离和/或角度。根据数据包中的方位信息,确定智能设备的第二位置信息,其中,第二位置信息用于表征:智能设备在现实空间坐标系中相对于终端设备的坐标。根据第二位置信息,确定第一位置信息。本实施例中,确定模块110可以用于:获取数据转换信息。根据数据转换信息和第二位置信息,确定第一位置信息。
在一个示例性的实施例中,依旧参照图9,本实施例中的装置用于实现如图4所示的方法。其中,显示模块120可以用于:根据第一位置信息,确定与智能设备绑定的锚点。在锚点处显示图标控件。本实施例中,显示模块120可以用于:根据第一位置信息,确定锚点的建立位置;根据智能设备发送的数据包中的基础信息和协议信息,在建立位置创建与智能设备关联的锚点;或者,根据识别到的智能设备上的信息标识表征的设备信息,在建立位置创建与智能设备关联的锚点。
在一个示例性的实施例中,依旧参照图9,本实施例中显示模块120还用于:在取景界面中,响应于取景界面中采集到智能设备,以第一方式显示提示标识;或者,响应于取景界面中未采集到智能设备,以第二方式显示提示标识。本实施例中,图标控件包括方向标识,显示模块还用于:响应于取景界面中未采集到智能设备,在取景界面显示方向标识,方向标识用于指示智能设备所在的方向。
如图10所示是一种终端设备的框图。本公开还提供了一种终端设备,例如,设备500可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
设备500可以包括以下一个或多个组件:处理组件502,存储器504,电力组件506,多媒体组件508,音频组件510,输入/输出(I/O)的接口512,传感器组件514,以及通信组件516。
处理组件502通常控制设备500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在设备500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件506为设备500的各种组件提供电力。电力组件506可以包括电源管理系统,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当设备500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510还包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为设备500提供各个方面的状态评估。例如,传感器组件514可以检测到设备500的打开/关闭状态,组件的相对定位,例如组件为设备500的显示器和小键盘,传感器组件514还可以检测设备500或设备500一个组件的位置改变,用户与设备500接触的存在或不存在,设备500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于设备500和其他设备之间有线或无线方式的通信。设备500可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的方法。
本公开另一个示例性实施例中提供的一种非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由设备500的处理器520执行以完成上述方法。例如,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行上述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (16)
1.一种智能设备的控制方法,其特征在于,应用于终端设备,所述方法包括:
在运行预设应用状态下,确定智能设备的第一位置信息,其中,所述预设应用具有AR功能,所述第一位置信息用于表征:所述智能设备在所述预设应用中虚拟空间世界坐标系的坐标;
根据所述第一位置信息,在所述预设应用的取景界面内显示图标控件,所述图标控件与所述智能设备相对应;
根据所述图标控件上的操作指令,控制所述智能设备。
2.根据权利要求1所述的控制方法,其特征在于,所述终端设备包括UWB模组,所述确定智能设备的第一位置信息,包括:
接收所述智能设备的UWB模块发送的数据包,所述数据包包括:所述智能设备的基础信息、协议信息以及方位信息,所述方位信息为所述智能设备相对于所述终端设备中UWB模组的距离和/或角度;
根据所述数据包中的方位信息,确定智能设备的第二位置信息,其中,所述第二位置信息用于表征:智能设备在现实空间坐标系中相对于终端设备的坐标;
根据所述第二位置信息,确定所述第一位置信息。
3.根据权利要求2所述的控制方法,其特征在于,所述根据所述第二位置信息,确定所述第一位置信息,包括:
获取数据转换信息;
根据所述数据转换信息和所述第二位置信息,确定所述第一位置信息。
4.根据权利要求1所述的控制方法,其特征在于,所述根据所述第一位置信息,在所述预设应用的取景界面内显示图标控件,包括:
根据所述第一位置信息,确定与所述智能设备绑定的锚点;
在所述锚点处显示图标控件。
5.根据权利要求4所述的控制方法,其特征在于,所述确定与所述智能设备绑定的锚点,包括:
根据所述第一位置信息,确定所述锚点的建立位置;
根据所述智能设备发送的数据包中的基础信息和协议信息,在所述建立位置创建与所述智能设备关联的锚点;或者,根据识别到的所述智能设备上的信息标识表征的设备信息,在所述建立位置创建与所述智能设备关联的锚点。
6.根据权利要求1所述的控制方法,其特征在于,所述方法还包括:
在取景界面中,响应于取景界面中采集到所述智能设备,以第一方式显示提示标识;或者,
响应于取景界面中未采集到所述智能设备,以第二方式显示提示标识。
7.根据权利要求1所述的控制方法,其特征在于,所述图标控件包括方向标识,所述在所述预设应用的取景界面内显示图标控件,包括:
响应于取景界面中未采集到所述智能设备,在取景界面显示所述方向标识,所述方向标识用于指示所述智能设备所在的方向。
8.一种智能设备的控制装置,其特征在于,应用于终端设备,所述装置包括:
确定模块,用于在运行预设应用状态下,确定智能设备的第一位置信息,其中,所述预设应用具有AR功能,所述第一位置信息用于表征:所述智能设备在所述预设应用中虚拟空间世界坐标系的坐标;
显示模块,用于根据所述第一位置信息,在所述预设应用的取景界面内显示图标控件,所述图标控件与所述智能设备相对应;
控制模块,用于根据所述图标控件上的操作指令,控制所述智能设备。
9.根据权利要求8所述的控制装置,其特征在于,所述终端设备包括UWB模组,所述确定模块用于:
接收所述智能设备的UWB模块发送的数据包,所述数据包包括:所述智能设备的基础信息、协议信息以及方位信息,所述方位信息为所述智能设备相对于所述终端设备中UWB模组的距离和/或角度;
根据所述数据包中的方位信息,确定智能设备的第二位置信息,其中,所述第二位置信息用于表征:智能设备在现实空间坐标系中相对于终端设备的坐标;
根据所述第二位置信息,确定所述第一位置信息。
10.根据权利要求9所述的控制装置,其特征在于,所述确定模块用于:
获取数据转换信息;
根据所述数据转换信息和所述第二位置信息,确定所述第一位置信息。
11.根据权利要求8所述的控制装置,其特征在于,所述显示模块用于:
根据所述第一位置信息,确定与所述智能设备绑定的锚点;
在所述锚点处显示图标控件。
12.根据权利要求11所述的控制装置,其特征在于,所述显示模块用于:
根据所述第一位置信息,确定所述锚点的建立位置;
根据所述智能设备发送的数据包中的基础信息和协议信息,在所述建立位置创建与所述智能设备关联的锚点;或者,根据识别到的所述智能设备上的信息标识表征的设备信息,在所述建立位置创建与所述智能设备关联的锚点。
13.根据权利要求8所述的控制装置,其特征在于,所述显示模块还用于:
在取景界面中,响应于取景界面中采集到所述智能设备,以第一方式显示提示标识;或者,
响应于取景界面中未采集到所述智能设备,以第二方式显示提示标识。
14.根据权利要求13所述的控制装置,其特征在于,所述图标控件包括方向标识,所述显示模块还用于:
响应于取景界面中未采集到所述智能设备,在取景界面显示所述方向标识,所述方向标识用于指示所述智能设备所在的方向。
15.一种终端设备,其特征在于,包括:
处理器;
用于存储处理器的可执行指令的存储器;
其中,所述处理器被配置为执行如权利要求1至7任一项所述的智能设备的控制方法。
16.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行如权利要求1至7任一项所述的智能设备的控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110484999.1A CN115268726A (zh) | 2021-04-30 | 2021-04-30 | 智能设备的控制方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110484999.1A CN115268726A (zh) | 2021-04-30 | 2021-04-30 | 智能设备的控制方法、装置、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115268726A true CN115268726A (zh) | 2022-11-01 |
Family
ID=83746055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110484999.1A Pending CN115268726A (zh) | 2021-04-30 | 2021-04-30 | 智能设备的控制方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115268726A (zh) |
-
2021
- 2021-04-30 CN CN202110484999.1A patent/CN115268726A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3144915B1 (en) | Method and apparatus for controlling device, and terminal device | |
EP3035738B1 (en) | Method for connecting appliance to network and corresponding device | |
EP3136793B1 (en) | Method and apparatus for awakening electronic device | |
EP3131258A1 (en) | Smart household equipment control methods and corresponding apparatus | |
EP3062196A1 (en) | Method and apparatus for operating and controlling smart devices with hand gestures | |
EP3113466A1 (en) | Method and device for warning | |
CN106790043B (zh) | 直播应用中发送消息的方法及装置 | |
EP3379805B1 (en) | Method, apparatus for controlling a smart device and computer storage medium | |
EP3264774A1 (en) | Live broadcasting method and device for live broadcasting | |
EP3048508A1 (en) | Methods, apparatuses and devices for transmitting data | |
CN109451341B (zh) | 视频播放方法、视频播放装置、电子设备及存储介质 | |
EP3001305A1 (en) | Method and device for controlling display of video | |
CN107885016B (zh) | 全息投影方法及装置 | |
CN107797662B (zh) | 视场角控制方法、装置及电子设备 | |
EP3614711A1 (en) | Method for outputting networking authentication information, networking method, apparatus and storage medium | |
EP3896982A1 (en) | Method and apparatus for inputting information on display interface, and storage medium | |
CN111010721A (zh) | 无线配网方法、无线配网装置及计算机可读存储介质 | |
CN108718439B (zh) | 数据传输方法及装置 | |
EP3236717A1 (en) | Method, device and system for controlling smart light | |
CN108925016A (zh) | 智能电灯的状态显示方法、装置及计算机可读存储介质 | |
CN110121148B (zh) | 对讲机组队方法及装置 | |
CN112261453A (zh) | 一种传输字幕拼接图的方法、装置及存储介质 | |
CN112269551A (zh) | 一种跨设备显示信息的方法、装置及存储介质 | |
EP3128722A1 (en) | File transmission method and apparatus, computer program and recording medium | |
CN108650412B (zh) | 一种显示方法、显示装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |