CN114095525B - 一种设备控制方法、装置、电子设备和存储介质 - Google Patents

一种设备控制方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114095525B
CN114095525B CN202010763013.XA CN202010763013A CN114095525B CN 114095525 B CN114095525 B CN 114095525B CN 202010763013 A CN202010763013 A CN 202010763013A CN 114095525 B CN114095525 B CN 114095525B
Authority
CN
China
Prior art keywords
user
uwb
equipment
csi
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010763013.XA
Other languages
English (en)
Other versions
CN114095525A (zh
Inventor
唐建中
王帅
侯伟波
杨自成
魏江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202010763013.XA priority Critical patent/CN114095525B/zh
Publication of CN114095525A publication Critical patent/CN114095525A/zh
Application granted granted Critical
Publication of CN114095525B publication Critical patent/CN114095525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Abstract

本申请实施例提供一种设备控制方法、装置和电子设备。方法包括:基于UWB定位,根据用户携带的UWB定位设备以及所述UWB定位设备周边的其他UWB设备,定位所述UWB定位设备,以确认所述用户的用户位置;针对所述用户位置进行人体姿态动作识别,获取动作识别结果;根据所述动作识别结果生成对应的控制指令;将所述控制指令发送到受控设备。根据本申请一实施例的方法,可以通过识别用户动作来控制受控设备,相较于现有技术,本申请实施例的方法既不依赖APP的交互界面,也不需要发出任何指令性声音,不仅大大简化了设备控制的流程,而且大大拓展了设备控制的应用场景,从而提高了用户体验。

Description

一种设备控制方法、装置、电子设备和存储介质
技术领域
本申请涉及智能终端技术领域,特别涉及一种设备控制方法、装置和电子设备。
背景技术
随着智能家居设备的逐渐普及,越来越多的智能物联网(Internet of Things,IOT)设备进入到家庭应用场景中。相比传统的电子设备,智能IOT设备的操控更加简单。用户可以根据自己不同的诉求,轻松调整智能IOT设备的工作模式、设定智能IOT设备定时工作等,从而充分的让人们感受到科技的进步所带来的生活的便捷。
目前,市场上绝大多数的智能IOT设备都是通过不同厂商专属的应用程序(Application,APP)进行远程控制,以完成一系列控制操作。但是随着现在终端设备上的APP越来越多,找到对应设备的APP并非易事,就算是同一厂商的集成APP,也需要用户点开层层界面,找到对应的功能。因此原本便捷的交互方式现在反而变成了一种新的负担。
因此,需要一种新的设备控制方法以控制智能IOT设备。
发明内容
针对现有技术中存在的智能IOT设备控制流程繁琐的问题,本申请提供了一种设备控制方法、装置和电子设备,本申请还提供一种计算机可读存储介质。
本申请实施例采用下述技术方案:
第一方面,本申请提供一种设备控制方法,包括:
基于超宽带(Ultra Wide Band,UWB)定位,根据用户携带的UWB定位设备以及所述UWB定位设备周边的其他UWB设备,定位所述UWB定位设备,以确认所述用户的用户位置;
针对所述用户位置进行人体姿态动作识别,获取动作识别结果;
根据所述动作识别结果生成对应的控制指令;
将所述控制指令发送到受控设备。
在上述第一方面的一种可行的实现方式中,所述基于用户携带的UWB定位设备以及所述UWB定位设备周边的其他UWB设备,定位所述用户位置,包括:
当所述用户触发所述UWB定位设备的UWB设备扫描时,所述UWB定位设备按照预设频率向周围发射UWB脉冲信号,与所述UWB定位设备周边的其他UWB设备进行测距;
根据所述UWB定位设备与所述UWB定位设备周边的其他UWB设备的测距结果,以及,所述UWB定位设备周边的其他UWB设备的位置,计算所述UWB定位设备以确定所述用户位置。
在上述第一方面的一种可行的实现方式中,所述根据所述动作识别结果生成对应的控制指令,包括,基于所述受控设备的预设控制策略,根据所述动作识别结果生成对应的控制指令。
在上述第一方面的一种可行的实现方式中,所述根据所述动作识别结果生成对应的控制指令之前,所述方法还包括:
基于UWB指向确定所述UWB定位设备所指向的设备以确定所述受控设备。
在上述第一方面的一种可行的实现方式中,所述根据所述动作识别结果生成对应的控制指令之前,所述方法还包括:
根据所述动作识别结果确定所述用户指向的UWB设备以确定所述受控设备。
在上述第一方面的一种可行的实现方式中,所述针对所述用户位置进行人体姿态动作识别,获取动作识别结果,包括:
使用路由器监测所述用户位置处WiFi的杂波抑制干涉测量(ClutterSuppression Interferometry,CSI)信息,根据所述CSI信息的变化判断所述用户所执行的动作,以获取所述动作识别结果。
在上述第一方面的一种可行的实现方式中,所述使用路由器监测所述用户位置处WiFi的CSI信息,根据所述CSI信息的变化判断所述用户所执行的动作,以获取所述动作识别结果,包括:
在定位所述用户位置时,获取所述用户位置处的所述CSI信息以获取CSI原始数据;
在获取到所述CSI原始数据后,实时监测所述用户位置处的所述CSI信息,以获取CSI实时数据;
对比所述CSI原始数据以及所述CSI实时数据,根据对比结果进行动作检测以提取可以代表用户动作的CSI特征值;
调用预设的分类模型,对所述CSI特征值进行动作分类以获取所述动作识别结果。
在上述第一方面的一种可行的实现方式中,在对比所述CSI原始数据以及所述CSI实时数据之前,对所述CSI原始数据和/或所述CSI实时数据进行滤波去噪以降低白噪信号的干扰。
在上述第一方面的一种可行的实现方式中,所述针对所述用户位置进行人体姿态动作识别,获取动作识别结果,包括:
使用图像采集设备针对所述用户位置进行图像采集,获取图像采集结果;
对所述图像采集结果进行人体动作识别,以获取所述动作识别结果。
第二方面,本申请提供一种设备控制装置,包括:
定位模块,其用于基于UWB定位,根据用户携带的UWB定位设备以及所述UWB定位设备周边的其他UWB设备,定位所述用户位置;
动作识别模块,其用于针对所述用户位置进行人体姿态动作识别,获取动作识别结果;
控制指令确定模块,其用于根据所述动作识别结果生成对应的控制指令;
控制指令发送模块,其用于将所述控制指令发送到受控设备。
第三方面,本申请提供一种电子设备,所述电子设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发所述电子设备执行如本申请实施例所述的方法步骤。
第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请实施例的方法。
根据本申请实施例所提出的上述技术方案,至少可以实现下述技术效果:
根据本申请一实施例的方法,可以通过识别用户动作来控制受控设备,相较于现有技术,本申请实施例的方法既不依赖APP的交互界面,也不需要发出任何指令性声音,不仅大大简化了设备控制的流程,而且大大拓展了设备控制的应用场景,从而提高了用户体验;
进一步的,相较于现有技术,根据本申请一实施例的方法,在识别用户动作前首先定位用户位置,不仅大大降低了识别用户动作所需的数据处理量,而且大大提高了识别用户动作的准确性。
进一步的,相较于现有技术,根据本申请一实施例的方法,基于UWB定位技术定位用户位置,大大降低了系统硬件的实现难度。
附图说明
图1所示为根据本申请一实施例的设备控制方法流程图;
图2所示为根据本申请一实施例的设备控制应用场景图;
图3所示为根据本申请一实施例的设备控制方法部分流程图;
图4所示为根据本申请一实施例的降噪后的CSI信息变化曲线;
图5所示为根据本申请一实施例的用户动作示意图;
图6所示为根据本申请一实施例的设备控制方法流程图;
图7所示为根据本申请一实施例的设备控制应用场景图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
针对现有技术中存在的智能IOT设备控制流程繁琐的问题,在本申请一实施例中,一种可行的解决方案是:不通过对加载在用户终端上的APP进行输入操作来控制智能IOT设备,而是通过对用户的动作进行识别,从而确定用户想要进行的操控行为。这样,用户只需要做出用于操控智能IOT设备的动作就可以实现对智能IOT设备的控制,而不需要打开控制APP,在控制APP的输入界面上输入控制操作。
在实际应用场景中,识别用户动作的可行方案之一是基于定位标签的用户动作识别方案。在基于定位标签的用户动作识别方案中,用户在动作部位上穿戴定位标签,动作识别装置通过捕捉定位标签的位置变化来捕捉用户的动作。例如,当需要识别用户手臂挥舞的动作时,则需要在用户手臂上绑上定位标签;当需要识别用户手指这类微小手势时,同时也需要在用户手指上绑上定位标签。由于定位标签的存在,使得基于定位标签的用户动作识别方案在执行流程上十分繁琐(需要用户穿戴定位标签),大大限制了基于定位标签的用户动作识别方案的应用场景。
在实际应用场景中,识别用户动作的另一可行方案是基于传感器的用户动作识别方案。在基于传感器的用户动作识别方案中,用户在动作部位佩戴包含动作传感器的可穿戴/携带设备(例如,手机、智能手环、智能手表等),可穿戴/携带设备通过获取自身动作传感器的反馈数据来确定自身的运动状态,从而确认用户动作。然而,类似基于定位标签的用户动作识别方案,基于传感器的用户动作识别方案需要用户穿戴包含动作传感器的可穿戴/携带设备。例如,当需要识别用户手臂挥舞的动作时,则需要在用户手臂上佩戴可穿戴/携带设备(例如智能手环或智能手表)或要求用户手持可穿戴/携带设备(例如手机);当需要识别用户手指这类微小手势时,同时也需要在用户手指上佩戴可穿戴/携带设备(例如智能指环)。这就使得基于传感器的用户动作识别方案在执行流程上依然十分繁琐,大大限制了基于定位标签的用户动作识别方案的应用场景。并且,由于可穿戴/携带设备的穿戴/携带位置是由用户决定的,因此,在基于可穿戴/携带设备自身的运动状态来判断用户的动作时,经常会出点判断错误的情况。
针对上述用户动作识别方案存在的问题,在某些应用场景中,采用不依赖定位标签/传感器的用户动作捕捉方案。例如,基于计算机视觉(Computer Vision,CV)的用户动作识别方案,其主要执行流程是:利用摄像头录制一段用户行为,然后对视频流进行分割,提取每一帧的图片中的用户图像,再结合机器学习算法,识别用户的行为。
然而,对于不依赖定位标签/传感器的用户动作捕捉方案,其需要消耗大量数据运算以从采集到的数据中分离用户数据以确定目标用户的肢体位置。这不仅增加了设备的硬件处理压力,而且,受限于识别算法,还存在目标用户界定不准的问题。例如,在捕捉用户动作时,将目标用户旁边的其他物体识别为目标用户的一部分,或者,将目标用户以外的其他物体识别为目标用户,或者,在多用户场景中将其他用户识别为目标用户。而目标用户的界定错误最终会导致用户动作识别错误。
以基于CV的用户动作识别方案为例,在多用户场景中,由于计算机无法识别摄像头图像采集范围内哪一个用户为目标用户,无法从每一帧的图片中正确的提取目标用户的图像,因此也就无法正确识别目标用户的动作。例如,摄像头图像采集范围内存在用户A、B、C三人,目标用户是用户C。计算机从第一帧图片中提取了用户A的图像,从第二帧图片中提取了用户B的图像。
针对由于目标用户界定不准而导致用户动作识别错误的问题,在本申请一实施例中,在目标用户期望基于自身动作控制受控设备(智能IOT设备)之前,首先定位目标用户位置。然后针对目标用户位置进行人体姿态动作识别,以准确的识别目标用户的动作。基于识别出的目标用户的动作生成用于控制受控设备的控制指令,从而实现对受控设备的正确控制。
进一步的,在现有技术中,超宽带(Ultra Wide Band,UWB)技术是一种无线载波通信技术,它不采用正弦载波,而是利用纳秒级的非正弦波窄脉冲传输数据,因此其所占的频谱范围很宽。UWB技术具有系统复杂度低,工程简单造价便宜,发射信号功率谱密度低,对信道衰落不敏感,截获率低/安全性高,数据传输速度高、功耗低、多径分辨能力强,定位精度高(能提供数厘米的定位精度)等优点,尤其适用于室内等密集多径场所的高速无线接入。
由于UWB技术易于实现并且具有较高的定位精度,因此,在本申请一实施例中,基于UWB技术定位目标用户位置,从而简单快捷的实现对受控设备的控制。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1所示为根据本申请一实施例的设备控制方法流程图。在本申请一实施例中,如图1所示,执行下述步骤以实现对受控设备的控制:
步骤110,基于UWB定位,根据用户携带的UWB定位设备(例如,内置有UWB模块的手机、智能手环、智能手表等)以及该UWB定位设备周边的其他UWB设备,定位该UWB定位设备,以确认用户的用户位置;
步骤120,针对用户位置进行人体姿态动作识别,获取动作识别结果;
步骤130,根据动作识别结果生成对应的控制指令;
步骤140,将控制指令发送到受控设备。
根据图1所示实施例的方法,可以通过识别用户动作来控制受控设备,既不依赖APP的交互界面,也不需要发出任何指令性声音,不仅大大简化了设备控制的流程,而且大大拓展了设备控制的应用场景,从而提高了用户体验。
进一步的,相较于现有技术,根据图1所示实施例的方法,在识别用户动作前首先定位用户位置,不仅大大降低了识别用户动作所需的数据处理量,而且大大提高了识别用户动作的准确性。
进一步的,根据图1所示实施例的方法,基于UWB定位技术定位用户位置,大大降低了系统硬件的实现难度。
进一步的,在实际应用场景中,图1所示实施例的各个步骤可以采用多种不同的实现方式。本领域的技术人员可以根据实际场景需求采用适合的实现方式以实现图1所示实施例的各个步骤。
具体的,为了降低UWB定位设备的处理消耗,在本申请一实施例中,仅在用户有控制受控设备的需求时定位用户位置。例如,在一应用场景中,当用户有控制受控设备的需求时触发UWB定位设备的UWB设备扫描,UWB定位设备基于UWB设备扫描的扫描结果定位自身的位置。
优选的,在步骤110的一种实现方式中:
当用户触发UWB定位设备的UWB设备扫描时,UWB定位设备按照预设频率向周围发射UWB脉冲信号,与UWB定位设备周边的其他UWB设备进行测距;
根据UWB定位设备与UWB定位设备周边的其他UWB设备的测距结果,以及,UWB定位设备周边的其他UWB设备的位置,计算UWB定位设备以确定用户位置。
图2所示为根据本申请一实施例的设备控制应用场景图。在本申请一实施例中,如图2所示,房间中存在支持UWB的开关201、灯202、灯203以及冰箱204。
用户A2携带支持UWB的手机。当用户A2试图控制某一受控设备(可以为房间内的开关201、灯202、灯203以及冰箱204,也可以为房间内的其他设备或者其他房间的设备)时,用户A2触发手机的UWB设备扫描时,手机按照预设频率向周围发射UWB脉冲信号。基于UWB脉冲信号,手机与开关201、灯202、灯203以及冰箱204进行测距。
根据手机与开关201、灯202、灯203以及冰箱204的测距结果,以及,开关201、灯202、灯203以及冰箱204的位置,就可以计算手机的位置从而确定用户A2的位置。
进一步的,在实际应用场景中,可能会同时存在多个可以控制的受控设备,基于不同受控设备的控制策略,同一用户动作可能对应不同受控设备的不同设备操作。例如,针对电视,用户的抬手动作可以被定义为对应开机操作;针对电灯,用户的抬手动作可以被定义为对应关灯操作。在步骤130的一种实现方式中,基于受控设备的控制策略,根据动作识别结果生成对应的控制指令。
因此,为实现步骤130,需要首先确定用户当前期望控制的受控设备。即,用户在做动作控制受控设备之前,首先需要指定受控设备。
进一步的,为实现步骤130以及步骤140,需要首先确定用户当前期望控制的受控设备。即,用户在做动作控制受控设备之前,首先需要指定受控设备。为了简化设备控制流程,在本申请一实施例中,基于对用户的动作识别来确定用户指定的受控设备。具体的,在本申请一实施例中,在执行步骤130之前,还需要:根据步骤120的动作识别结果确定用户指向的设备以确定受控设备。
然而,根据步骤120的动作识别结果确定用户指向的设备不仅需要额外消耗大量的计算量,而且,由于动作识别精度的限制,根据步骤120的动作识别结果确定用户指向的设备存在相当的识别误差。
进一步的,考虑到UWB技术本身就具备指向判定功能,因此,为了简化设备控制流程,降低数据处理量,提高设备控制准确度,在本申请一实施例中,在执行步骤130之前,基于UWB指向确定UWB定位设备所指向的UWB设备以确定受控设备。
具体的,在本申请一实施例中:
在用户需要控制受控设备时,用户触发UWB定位设备的UWB设备扫描,并且,用户将UWB定位设备指向受控设备;
当用户触发UWB定位设备的UWB设备扫描时,UWB定位设备基于周边的其他UWB设备,定位自身的位置以确定用户的用户位置;并且,UWB定位设备扫描出前方出现的UWB设备,根据UWB信号计算自身指向的UWB设备以确认用户需要控制的受控设备。
具体的,在步骤120的一种实现方式中,基于CV识别用户动作。例如,使用图像采集设备针对用户位置进行图像采集,获取图像采集结果;对图像采集结果进行人体动作识别,以获取动作识别结果。
然而,在实际应用场景中,基于CV的动作识别存在以下问题:
基于CV的动作识别需要对视频流进行分割处理,提取每一帧的内容,再对每一帧的图片进行处理。例如,对于一个30fps的视频流,每一秒的视频内容需要分割出30张图片,等于说每一秒都需要处理30张图片来检测用户行为,这需要大量的计算,因此对芯片的计算要求能力较高;
基于CV的动作识别,在录制视频的过程中,不可避免的会将与用户动作无关的内容一起存储起来,对于家庭这种隐私敏感场景,会让许多用户感到难以接受,特别是当存储的内容被泄露时,用户被侵犯隐私的风险极高;
基于CV的动作识别无法进行穿墙识别,这会大大限制设备控制的应用场景,例如,对于处于卧室的用户想要控制客厅的家电,在该方案中无法实现。
针对基于CV的动作识别方案存在的上述问题,优选的,在本申请一实施例中,基于杂波抑制干涉测量(Clutter Suppression Interferometry,CSI)信号的变化来识别用户的动作。具体的,在步骤120的一种实现方式中,使用路由器监测用户位置处WiFi的CSI信息,根据CSI信息的变化判断用户所执行的动作,以获取动作识别结果。相较于基于CV识别用户动作,基于CSI信息的变化来识别用户动作,不仅可以大大减少数据处理量,而且可以有效避免采集到与用户动作无关的内容。进一步的,由于CSI信息可以穿墙采集,因此,CSI信息的变化来判断用户动作,可以实现穿墙识别,这就大大拓展了设备控制的应用场景。与此同时,由于在基于CSI信息的变化来识别用户动作之前,首先确定用户位置,因此,基于CSI信息的变化来识别用户动作的识别准确度也可以得到有效的保证。
具体的,图3所示为根据本申请一实施例的设备控制方法部分流程图。在本申请一实施例中,如图3所示,在步骤120的一种实现方式中,路由器执行下述步骤以实现识别用户动作:
步骤310,在定位用户位置后,启动收集用户位置处WiFi的CSI信息;
步骤320,监测用户位置处的CSI信息,以获取CSI信息变化,例如,以时间滑窗的方式监控CSI信息变化;
步骤330,利用CSI信息变化识别用户动作,例如:
针对CSI信息变化进行动作检测以提取可以代表用户动作的CSI特征值;
调用预设的分类模型,对CSI特征值进行动作分类以获取动作识别结果。
进一步的,在本申请一实施例中,为了基于CSI信息的变化准确识别用户动作,执行步骤330之前,还对CSI信息进行滤波去噪以降低白噪信号的干扰。
例如,图4所示为根据本申请一实施例的降噪后的CSI信息变化曲线。图5所示为根据本申请一实施例的用户动作示意图。当用户进行如图5所示的动作时,用户位置处降噪后的CSI信息变化曲线如图4所示。从图4可以看出,在用户动作的时间节点,CSI信息出现明显的波动(虚线框401以及402所示)。
进一步的,在本申请一实施例中,步骤130的执行可以由进行用户动作识别的设备来完成,例如,由基于CSI信息进行动作识别的路由器基于自身获取的动作识别结果生成对应的控制指令。在本申请一实施例中,步骤130的执行也可以由其他设备来完成,例如,路由器将动作识别结果反馈给UWB定位设备,由UWB定位设备生成控制指令。
同样,在步骤140中,控制指令可以由生成控制指令的设备发送到受控设备,也可以由生成控制指令的设备发送到到其他设备来,由其他设备将控制指令转发到受控设备。例如,路由器根据动作识别结果生成控制指令,由路由器将控制指令发送到受控设备;或者,路由器将动作识别结果反馈给UWB定位设备,由UWB定位设备生成控制指令,由UWB定位设备发送到受控设备;或者,路由器根据动作识别结果生成控制指令,由路由器将控制指令发送到UWB定位设备,由UWB定位设备发送到受控设备。
图6所示为根据本申请一实施例的设备控制方法流程图。在本申请一实施例中,如图6所示,执行下述步骤以实现对受控设备的控制:
步骤600,在用户需要控制受控设备时,用户触发UWB定位设备的UWB设备扫描,并且,用户将UWB定位设备指向受控设备;
步骤610,当用户触发UWB定位设备的UWB设备扫描时,UWB定位设备扫描出前方出现的UWB设备;
步骤611,UWB定位设备根据UWB信号计算自身指向的UWB设备以确认用户需要控制的受控设备,获取受控设备的设备标识;
步骤620,当用户触发UWB定位设备的UWB设备扫描时,UWB定位设备基于周边的其他UWB设备,定位自身的位置以确定用户的用户位置;
步骤630,UWB定位设备将受控设备的设备标识以及用户位置发送到路由器;
步骤640,路由器在接收到用户位置后,启动收集用户位置处WiFi的CSI信息;
步骤641,路由器以时间滑窗的方式监控CSI信息变化;
步骤642,路由器利用CSI信息变化识别用户动作,获取动作识别结果;
步骤650,路由器根据受控设备的设备标识,确定受控设备;
步骤651,路由器调用受控设备的控制策略,基于受控设备的控制策略,根据动作识别结果生成对应的控制指令;
步骤660,路由器将控制指令发送到受控设备。
图7所示为根据本申请一实施例的设备控制应用场景图。在本申请一实施例中,如图7所示,房间Z1中存在支持UWB的开关701、灯702、灯703、冰箱704以及路由器705,房间Z2中存在支持UWB的灯706、灯707以及电视708。用户A7在房间Z1中并携带支持UWB的手机H,用户B7在房间Z2中并携带支持UWB的手环S。
在一应用场景中,当用户A7试图控制灯702时,用户A7触发手机H的UWB设备扫描并将手机H指向灯702。
手机H的UWB设备扫描被触发后,手机H向周围发射UWB脉冲信号,基于UWB脉冲信号,手机H与开关701、灯702、灯703、冰箱704、路由器705、灯706、灯707以及电视708进行测距。手机H根据测距结果确定自身的位置,从而确定用户A7的位置。
手机H的UWB设备扫描被触发后,手机H扫描前方的UWB设备,确定自身指向的设备为灯702。
手机H将用户A7的位置以及灯702的设备标识发送到路由器705。
路由器705监控用户A7的位置处的CSI信息变化。
假设用户希望关灯,并且,灯702的关灯操作对应的用户动作为抬手。则,在用户A7触发手机H的UWB设备扫描后,用户A7抬手。路由器705根据用户A7的位置处的CSI信息变化识别用户动作为抬手。
路由器705根据手机H发送的设备标识确定灯702,基于灯702的控制策略,路由器705生成对应抬手动作的关灯指令。将关灯指令发送到灯702。灯702接收到关灯指令后关闭。
在一应用场景中,当用户B7试图控制电视708时,用户B7触发手环S的UWB设备扫描并将手环S指向电视708。
手环S的UWB设备扫描被触发后,手环S向周围发射UWB脉冲信号,基于UWB脉冲信号,手环S与开关701、灯702、灯703、冰箱704、路由器705、灯706、灯707以及电视708进行测距。手环S根据测距结果确定自身的位置,从而确定用户B7的位置。
手环S的UWB设备扫描被触发后,手环S扫描前方的UWB设备,确定自身指向的设备为电视708。
手环S将用户B7的位置以及电视708的设备标识发送到路由器705。
由于路由器705可以实现穿墙CSI信息采集,因此路由器705监控用户B7的位置处的CSI信息变化(穿墙识别)。
假设用户B7希望打开电视,并且,电视708的开机操作对应的用户动作为招手。则,在用户B7触发手环S的UWB设备扫描后,用户B7招手。路由器705根据用户B7的位置处的CSI信息变化识别用户动作为招手。
路由器705根据手环S发送的设备标识确定电视708,路由器705根据电视708的预设控制策略生成对应招手动作的开机指令。路由器705将开机指令发送到电视708,电视708接收到开机指令后开机。
在一应用场景中,当用户A7试图控制灯706时,用户A7触发手机H的UWB设备扫描并将手机H指向灯706的方向。虽然灯706不在用户A7所处的房间,但是,由于UWB支持穿墙定位,因此,手机H依然可以确定受控设备为灯706,从而实现穿墙设备控制。
可以理解的是,上述实施例中的部分或全部步骤骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
进一步的,基于本申请一实施例中提出的设备控制方法,本申请一实施例还提出了一种设备控制装置。设备控制装置包括:
定位模块,其用于基于UWB定位,根据用户携带的UWB定位设备以及UWB定位设备周边的其他UWB设备,定位用户位置;
动作识别模块,其用于针对用户位置进行人体姿态动作识别,获取动作识别结果;
控制指令确定模块,其用于根据动作识别结果生成对应的控制指令;
控制指令发送模块,其用于将控制指令发送到受控设备。
进一步的,在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(FieldProgrammable Gate Array,FPGA))就是这样一种集成电路,其逻辑功能由访问方对器件编程来确定。由设计人员自行编程来把一个数字装置“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera HardwareDescription Language)、Confluence、CUPL(Cornell University ProgrammingLanguage)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等,目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在本申请实施例的描述中,为了描述的方便,描述装置时以功能分为各种模块/单元分别描述,各个模块/单元的划分仅仅是一种逻辑功能的划分,在实施本申请实施例时可以把各模块/单元的功能在同一个或多个软件和/或硬件中实现。
具体的,本申请实施例所提出的装置在实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块以软件通过处理元件调用的形式实现,部分模块通过硬件的形式实现。例如,检测模块可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,ASIC),或,一个或多个数字信号处理器(Digital Singnal Processor,DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,FPGA)等。再如,这些模块可以集成在一起,以片上装置(System-On-a-Chip,SOC)的形式实现。
本申请一实施例还提出了一种电子设备,电子设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发电子设备执行如本申请实施例所述的方法步骤。
具体的,在本申请一实施例中,上述一个或多个计算机程序被存储在上述存储器中,上述一个或多个计算机程序包括指令,当上述指令被上述设备执行时,使得上述设备执行本申请实施例所述的方法步骤。
具体的,在本申请一实施例中,电子设备的处理器可以是片上装置SOC,该处理器中可以包括中央处理器(Central Processing Unit,CPU),还可以进一步包括其他类型的处理器。具体的,在本申请一实施例中,电子设备的处理器可以是PWM控制芯片。
具体的,在本申请一实施例中,涉及的处理器可以例如包括CPU、DSP、微控制器或数字信号处理器,还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units,NPU)和图像信号处理器(Image Signal Processing,ISP),该处理器还可包括必要的硬件加速器或逻辑处理硬件电路,如ASIC,或一个或多个用于控制本申请技术方案程序执行的集成电路等。此外,处理器可以具有操作一个或多个软件程序的功能,软件程序可以存储在存储介质中。
具体的,在本申请一实施例中,电子设备的存储器可以是只读存储器(read-onlymemory,ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory,RAM)或可存储信息和指令的其它类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备,或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何计算机可读介质。
具体的,在本申请一实施例中,处理器可以和存储器可以合成一个处理装置,更常见的是彼此独立的部件,处理器用于执行存储器中存储的程序代码来实现本申请实施例所述方法。具体实现时,该存储器也可以集成在处理器中,或者,独立于处理器。
进一步的,本申请实施例阐明的设备、装置或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。
本领域内的技术人员应明白,本申请实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
具体的,本申请一实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请实施例提供的方法。
本申请一实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行本申请实施例提供的方法。
本申请中的实施例描述是参照根据本申请实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可以是单个,也可以是多个。
本申请实施例中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以意识到,本申请实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种设备控制方法,其特征在于,包括:
基于UWB定位,根据用户携带的UWB定位设备以及所述UWB定位设备周边的其他UWB设备,定位所述UWB定位设备,以确认所述用户的用户位置;
针对所述用户位置进行人体姿态动作识别,获取动作识别结果,包括,监测所述用户位置处的CSI信息,根据所述CSI信息的变化判断所述用户所执行的动作,以获取所述动作识别结果;
基于UWB指向确定所述UWB定位设备所指向的设备以确定所述受控设备,或者,根据所述动作识别结果确定所述用户指向的UWB设备以确定所述受控设备;
根据所述动作识别结果生成对应的控制指令;
将所述控制指令发送到受控设备。
2.根据权利要求1所述的方法,其特征在于,所述基于用户携带的UWB定位设备以及所述UWB定位设备周边的其他UWB设备,定位所述用户位置,包括:
当所述用户触发所述UWB定位设备的UWB设备扫描时,所述UWB定位设备按照预设频率向周围发射UWB脉冲信号,与所述UWB定位设备周边的其他UWB设备进行测距;
根据所述UWB定位设备与所述UWB定位设备周边的其他UWB设备的测距结果,以及,所述UWB定位设备周边的其他UWB设备的位置,计算所述UWB定位设备以确定所述用户位置。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述动作识别结果生成对应的控制指令,包括,基于所述受控设备的预设控制策略,根据所述动作识别结果生成对应的控制指令。
4.根据权利要求1~3中任一项所述的方法,其特征在于,所述针对所述用户位置进行人体姿态动作识别,获取动作识别结果,包括:
使用路由器监测所述用户位置处WiFi的CSI信息,根据所述CSI信息的变化判断所述用户所执行的动作,以获取所述动作识别结果。
5.根据权利要求4所述的方法,其特征在于,所述使用路由器监测所述用户位置处WiFi的CSI信息,根据所述CSI信息的变化判断所述用户所执行的动作,以获取所述动作识别结果,包括:
在定位所述用户位置时,获取所述用户位置处的所述CSI信息以获取CSI原始数据;
在获取到所述CSI原始数据后,实时监测所述用户位置处的所述CSI信息,以获取CSI实时数据;
对比所述CSI原始数据以及所述CSI实时数据,根据对比结果进行动作检测以提取可以代表用户动作的CSI特征值;
调用预设的分类模型,对所述CSI特征值进行动作分类以获取所述动作识别结果。
6.根据权利要求5所述的方法,其特征在于,在对比所述CSI原始数据以及所述CSI实时数据之前,对所述CSI原始数据和/或所述CSI实时数据进行滤波去噪以降低白噪信号的干扰。
7.根据权利要求1~3中任一项所述的方法,其特征在于,所述针对所述用户位置进行人体姿态动作识别,获取动作识别结果,包括:
使用图像采集设备针对所述用户位置进行图像采集,获取图像采集结果;
对所述图像采集结果进行人体动作识别,以获取所述动作识别结果。
8.一种设备控制装置,其特征在于,包括:
定位模块,其用于基于UWB定位,根据用户携带的UWB定位设备以及所述UWB定位设备周边的其他UWB设备,定位所述用户位置;
动作识别模块,其用于针对所述用户位置进行人体姿态动作识别,获取动作识别结果,包括,监测所述用户位置处的CSI信息,根据所述CSI信息的变化判断所述用户所执行的动作,以获取所述动作识别结果;
控制指令确定模块,其用于:基于UWB指向确定所述UWB定位设备所指向的设备以确定所述受控设备,或者,根据所述动作识别结果确定所述用户指向的UWB设备以确定所述受控设备;根据所述动作识别结果生成对应的控制指令;
控制指令发送模块,其用于将所述控制指令发送到受控设备。
9.一种电子设备,其特征在于,所述电子设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发所述电子设备执行如权利要求1~7中任一项所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如权利要求1-7中任一项所述的方法。
CN202010763013.XA 2020-07-31 2020-07-31 一种设备控制方法、装置、电子设备和存储介质 Active CN114095525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010763013.XA CN114095525B (zh) 2020-07-31 2020-07-31 一种设备控制方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010763013.XA CN114095525B (zh) 2020-07-31 2020-07-31 一种设备控制方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114095525A CN114095525A (zh) 2022-02-25
CN114095525B true CN114095525B (zh) 2023-07-21

Family

ID=80295091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010763013.XA Active CN114095525B (zh) 2020-07-31 2020-07-31 一种设备控制方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114095525B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105807935A (zh) * 2016-04-01 2016-07-27 中国科学技术大学苏州研究院 一种基于WiFi的手势控制人机交互系统
CN106062777A (zh) * 2014-03-28 2016-10-26 英特尔公司 基于雷达的姿势识别
CN108846848A (zh) * 2018-06-25 2018-11-20 广东电网有限责任公司电力科学研究院 一种融合uwb定位与视频识别的作业现场预警方法及装置
CN109272708A (zh) * 2018-10-30 2019-01-25 中国地质大学(武汉) 一种基于uwb技术的浴室摔倒报警方法及装置
CN110263723A (zh) * 2019-06-21 2019-09-20 王森 室内空间的姿态识别方法、系统、介质、设备
CN110532909A (zh) * 2019-08-16 2019-12-03 成都电科慧安科技有限公司 一种基于三维uwb定位的人体行为识别方法
CN111161354A (zh) * 2019-12-30 2020-05-15 广东博智林机器人有限公司 相机位姿确定方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657768B2 (en) * 2012-06-22 2020-05-19 Zonal Systems, Llc System and method for placing virtual geographic zone markers

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106062777A (zh) * 2014-03-28 2016-10-26 英特尔公司 基于雷达的姿势识别
CN105807935A (zh) * 2016-04-01 2016-07-27 中国科学技术大学苏州研究院 一种基于WiFi的手势控制人机交互系统
CN108846848A (zh) * 2018-06-25 2018-11-20 广东电网有限责任公司电力科学研究院 一种融合uwb定位与视频识别的作业现场预警方法及装置
CN109272708A (zh) * 2018-10-30 2019-01-25 中国地质大学(武汉) 一种基于uwb技术的浴室摔倒报警方法及装置
CN110263723A (zh) * 2019-06-21 2019-09-20 王森 室内空间的姿态识别方法、系统、介质、设备
CN110532909A (zh) * 2019-08-16 2019-12-03 成都电科慧安科技有限公司 一种基于三维uwb定位的人体行为识别方法
CN111161354A (zh) * 2019-12-30 2020-05-15 广东博智林机器人有限公司 相机位姿确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114095525A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US20190302714A1 (en) Systems and methods to operate controllable devices with gestures and/or noises
CN103353935B (zh) 一种用于智能家居系统的3d动态手势识别方法
CN108052079A (zh) 设备控制方法、装置、设备控制装置及存储介质
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
CN109766043A (zh) 电子设备的操作方法和电子设备
US8687848B2 (en) Techniques for context-enhanced confidence adjustment for gesture
CN111366939B (zh) 距离传感器的校准方法、装置、终端及存储介质
US20170045948A1 (en) Controlling target devices
KR100918094B1 (ko) 이동식 영상 카메라를 구비한 제스처 인식 시스템
EP2922212A2 (en) Method, apparatus and system for controlling emission
KR101937823B1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP2015170175A (ja) 情報処理装置、および情報処理方法
CN109964478A (zh) 一种拍摄方法以及电子装置
KR20070030398A (ko) 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
CN109151428A (zh) 自动白平衡处理方法、装置以及计算机存储介质
KR102163996B1 (ko) 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치
US11216066B2 (en) Display device, learning device, and control method of display device
CN105700277B (zh) 一种投影亮度调整方法和装置
Malik et al. EyeCom-an innovative approach for computer interaction
CN114095525B (zh) 一种设备控制方法、装置、电子设备和存储介质
CN110198421A (zh) 视频处理方法及相关产品
JP6492330B2 (ja) 電子機器、および画像の提供方法
JPWO2017134732A1 (ja) 入力装置、入力支援方法および入力支援プログラム
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
CN113641237A (zh) 用于电子设备中的特征操作模式控制的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant