CN114384997A - 传感器不可知姿势检测 - Google Patents
传感器不可知姿势检测 Download PDFInfo
- Publication number
- CN114384997A CN114384997A CN202111218288.6A CN202111218288A CN114384997A CN 114384997 A CN114384997 A CN 114384997A CN 202111218288 A CN202111218288 A CN 202111218288A CN 114384997 A CN114384997 A CN 114384997A
- Authority
- CN
- China
- Prior art keywords
- gesture
- computer
- sensors
- data
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 76
- 230000009471 action Effects 0.000 claims abstract description 34
- 238000003860 storage Methods 0.000 claims description 36
- 230000001133 acceleration Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 4
- 239000003795 chemical substances by application Substances 0.000 description 30
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013501 data transformation Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000001152 differential interference contrast microscopy Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Abstract
描述了用于传感器不可知姿势检测的技术。技术包括将使用来自第一用户设备的传感器输出的姿势记录到与普遍存在的姿势代理相关联的第一用户简档。技术还包括将姿势与以下各项相关联:指示姿势并且基于传感器输出的触发阈值和能由与用户简档相关联的多个用户设备中的一个用户设备执行的处理器可执行动作。技术还包括将触发阈值转换成用于不同类型的传感器的对应触发阈值。技术还包括使用来自不同类型的传感器的满足对应触发阈值的数据来识别姿势。技术还包括由多个用户设备中的一个用户设备实施与姿势相关联的处理器可执行动作。
Description
背景技术
本公开涉及物联网(IoT),并且更具体地涉及IoT环境中的传感器不可知(agnostic)姿势检测。
IoT是指嵌入有传感器、软件和/或其他数据处理能力的物理对象的网络,所述传感器、软件和/或其他数据处理能力共同实现物理对象与其他设备之间的数据交换以用于各种目的。用户越来越多地被具有IoT能力的设备包围。因此,具有IoT能力的设备越来越多地用来促进人机接口处的可用性。
发明内容
本公开的各方面涉及一种计算机实现的方法,所述方法包括将使用来自第一用户设备的传感器输出的姿势记录到与普遍存在的(ubiquitous)姿势代理相关联的第一用户简档。所述方法进一步包括将所述姿势与指示所述姿势且基于所述传感器输出的触发阈值和能由与用户简档相关联的多个用户设备中的一个用户设备执行的处理器可执行动作相关联。所述方法进一步包括将所述触发阈值转换成用于不同类型的传感器的对应触发阈值。所述方法进一步包括使用来自所述不同类型的传感器的满足所述对应触发阈值的数据来识别所述姿势。所述方法进一步包括由所述多个用户设备中的所述一个用户设备实施与所述姿势相关联的所述处理器可执行动作。
本发明的附加方面涉及被配置成执行上述方法的系统和计算机程序产品。本发明内容不是旨在说明本公开的每个方面、每个实现方式、和/或每个实施例。
附图说明
包括在本申请中的附图被结合到说明书中并且形成说明书的一部分。它们说明了本公开的实施例,并且与说明书一起用来解释本公开的原理。这些附图仅说明某些实施例并且不限制本公开。
图1图示根据本公开的一些实施例的包括普遍存在的姿势代理的示例计算环境的框图。
图2图示根据本公开的一些实施例的用于采用普遍存在的姿势代理的示例方法的流程图。
图3图示根据本公开的一些实施例的用于使用普遍存在的姿势代理来定义姿势的示例方法的流程图。
图4图示根据本公开的一些实施例的用于使用与最初与姿势相关联的传感器相同或不同的传感器来识别姿势的示例方法的流程图。
图5图示根据本公开的一些实施例的示例计算机的框图。
图6描绘根据本公开的一些实施例的云计算环境。
图7描绘根据本公开的一些实施例的抽象模型层。
虽然本公开可进行各种修改和替代形式,但是其细节已经通过举例在附图中示出并且将被详细描述。然而,应当理解,并不旨在将本公开限制于所描述的具体实施例。相反,旨在覆盖落入本公开的精神和范围内的所有修改、等同物和替代物。
具体实施方式
本公开的各方面涉及物联网(IoT),并且更具体地涉及IoT环境中的传感器不可知姿势检测。虽然不限于这样的应用,但是鉴于上述背景可以更好地理解本公开的实施例。
姿势是身体的一个或多个部分(通常是手或头部)的表达想法或意思的运动。姿势可用来触发具有能够检测姿势的传感器的设备中的预编程功能、或在通信上与具有能够检测姿势的传感器的设备耦合的设备中的预编程功能。例如,设备可包括但不限于智能手表、智能电话、耳塞、钥匙(例如,车辆、房子等)、健康监视器等。检测到的预编程的姿势可被配置成实现设备上的动作。动作可包括例如解锁智能电话、联系紧急服务、发出紧急信号、拨打电话、发送消息、与应用交互(例如,在健康相关的应用中开始或停止锻炼)、访问远程服务器(例如,将数据写入到远程服务器和/或从远程服务器检索数据)、激活物理致动器(例如,解锁门)等等。总而言之,将姿势与预编程动作相关联可有益于改善IoT环境中的各种设备的可用性。
与预编程姿势相关联的一个挑战涉及分别与不同设备相关联的不同姿势。换言之,如果摇晃智能手表的姿势通常用来触发智能电话上的应用,但是用户忘记了他或她的智能手表,则该姿势是无用的。为了解决与预编程姿势相关联的该挑战和其他挑战,本公开的各方面涉及用于传感器不可知姿势检测的方法、系统和计算机程序产品。
本公开的各方面通过使用普遍存在的姿势代理来存储各种所记录的姿势及其相关联的动作来实现传感器不可知姿势检测。普遍存在的姿势代理可以随后将由来自第一设备的第一类型的传感器输出定义的姿势转换成可由来自第二设备的第二类型的传感器输出测量的经转换的输出。例如,继续摇晃智能手表的先前示例,普遍存在的姿势代理可以将与智能手表相关联的加速度计数据转换成与智能电话相关联的加速度计数据。以此方式,代替摇晃智能手表,用户可代替地摇晃智能电话以实现类似结果(例如,激活应用)。作为另一示例,普遍存在的姿势代理可以将与智能手表相关联的加速度计数据转换成与相机(例如,智能建筑物中的相机,其中用户可以选择采用智能建筑物的IoT能力)相关联的运动数据。以此方式,代替摇晃智能手表,用户可代替地摇晃他们的手,手在被智能建筑物的相机检测到时将向普遍存在的代理传送指令,普遍存在的代理进而将使智能电话执行动作(例如,激活应用)。
因此,本公开的各方面实现了许多优点和改进。作为一个一般实例,本发明的各方面通过使得用户能够采用姿势来改进可用性,即使在没有通常或最初检测到那些姿势的设备的情况下。更具体地,本公开的各方面可以将可由一种类型的传感器检测的触发阈值转换成可由另一种类型的传感器检测的对应触发阈值。更进一步,本公开的各方面采用云托管的普遍存在的姿势代理来实现该功能。使用云托管的普遍存在的姿势代理提供几乎连续的可用性,而无需消耗来自用户设备的计算资源。此外,普遍存在的姿势代理促进了与智能建筑物和/或其他IoT资源的简化交互,这使得用户能够利用其区域中的IoT资源。总而言之,这些改进、优点和功能可被概括为传感器不可知姿势检测。
现在参考附图,图1图示根据本公开的一些实施例的示例计算环境。计算环境包括经由网络138通信地耦合到与用户简档102相关联的多个用户设备132和一个或多个环境传感器136的普遍存在的姿势代理100。普遍存在的姿势代理100可以被配置为提供实现传感器不可知姿势检测的功能。换言之,普遍存在的姿势代理100可以提供使得由第一传感器1134-1记录并且可由第一传感器1134-1检测的姿势能够由不同类型的传感器检测,诸如例如传感器2134-2(例如,与用户简档102相关联的另一传感器)或环境传感器136(例如,与不同用户简档(未示出)相关联但是仍然能够经由普遍存在的姿势代理100向用户简档102提供功能的传感器)。
普遍存在的姿势代理100可以包括许多用户简档,诸如用户简档102。用户简档可以与个体用户(例如,个人)、企业、公司、市政府、商业建筑物、住宅建筑物等相关联。用户简档102可包括所记录的姿势104。所记录的姿势104可包括传感器ID106,传感器ID106标识与提供表示所记录的姿势104的传感器输出108的多个用户设备132中的至少一个用户设备相关联的至少一个传感器134。传感器输出108可以表示从至少一个传感器134收集的表示所记录的姿势104的原始数据。值类别110可以标识原始数据的类型和/或与来自传感器输出108的原始数据相关联的测量单位。作为示例,值类别110可以分别将“加速度”和/或“米/秒2”列出为原始数据的类型和/或与原始数据相关联的测量单位。
用户简档102还可包括阈值112。阈值112可被配置成摄取传感器ID106、传感器输出108和/或值类别110以生成对识别所记录的姿势104有用的阈值。因此,阈值112可以包括净化后的数据114、归一化的数据116、和/或缩放后的数据118。净化后的数据114可经由移除错误的、异常的或不必要的数据来生成。净化后的数据114还可用于根据传感器输出108推断其他数据。例如,如果传感器输出108测量加速度,则净化后的数据114可将原始加速度测量值转换成相应的加速度的改变,其中加速度的改变可以是比加速度数据本身更有用的用于识别所记录的姿势104的度量。归一化的数据116可被配置成将传感器输出108归一化在0和1之间(包括0和1)。缩放后的数据118是归一化的数据116的替代。缩放后的数据118可被配置成将传感器输出108移位以使得传感器输出108的均值(或中值)被设定为零。归一化的数据116和/或缩放后的数据118两者可以简化和/或标准化数据评估。
不管是否或如何可以使用净化后的数据114、归一化的数据116、和/或缩放后的数据118来清理和简化传感器输出108,阈值112最终生成触发阈值120。触发阈值120是来自传感器ID 106的识别所记录的姿势104的值、值序列或值模式。例如,为了根据智能手表(例如,多个用户设备132中的一个)的加速度计数据(例如,来自传感器1134-1)检测摇晃,触发阈值120可包括阈值时间量内的阈值数量的加速度改变,其中每个加速度改变满足阈值幅度。
有利地,本公开的各方面还生成一个或多个对应触发阈值122。对应触发阈值122是可以使用一个或多个不同类型的传感器来识别所记录的姿势104的阈值。例如,对应触发阈值122中的一个触发阈值可以与不同的传感器2134-2相关联,不同的传感器2134-2与多个用户设备132中的不同的用户设备(例如,智能电话)相关联。在该示例中,对应触发阈值122可以将触发阈值120转换成可由不同的传感器2134-2(诸如不同类型的运动传感器(例如,重力传感器、陀螺仪、线性加速度计等))检测的对应触发阈值122。作为另一个示例,另一个对应触发阈值122可以与一个或多个环境传感器136相关联。例如,环境传感器136可以是在智能建筑物中生成视频数据的相机。在该实例中,对应触发阈值122可将基于加速度数据的触发阈值120转换成可用于根据视频数据推断加速度的运动阈值。以此方式,本公开的各方面使得所记录的姿势104能够被除了原始地创建所记录的姿势104的设备和传感器之外的附加类型的设备和传感器识别。
在一些实施例中,可以通过采用机器学习算法来自动地生成阈值112。机器学习算法可以包括但不限于决策树学习、关联规则学习、人工神经网络(ANN)、递归神经网络(RNN)、深度学习、归纳逻辑编程、支持向量机、聚类、贝叶斯网络、强化学习、表示学习、相似性/度量训练、稀疏字典学习、基因算法、基于规则的学习和/或其他机器学习技术。
例如,机器学习算法可以采用以下示例技术中的一个或多个:K最近邻(KNN)、学习向量量化(LVQ)、自组织映射(SOM)、逻辑回归、普通最小二乘回归(OLSR)、线性回归、逐步回归、多元自适应回归样条(MARS)、脊回归、最小绝对收缩和选择算子(LASSO)、弹性网、最小角回归(LARS)、概率分类器、朴素贝叶斯分类器、二元分类器、线性分类器、分层分类器、典型相关分析(CCA)、因子分析、独立成分分析(ICA)、线性判别分析(LDA)、多维缩放(MDS)、非负度量因子分解(NMF)、偏最小二乘回归(PLSR)、主成分分析(PCA)、主成分回归(PCR)、萨蒙(Sammon)映射、t分布式随机邻居嵌入(t-SNE)、引导聚集、整体平均、梯度提升决策树(GBRT)、梯度提升机器(GBM)、归纳偏置算法、Q学习、状态-动作-奖励-状态-动作(SARSA)、时间差(TD)学习、先验算法、等价类变换(ECLAT)算法、高斯过程回归、基因表达编程、数据分组处理方法(GMDH)、归纳逻辑编程、基于实例的学习、逻辑模型树、信息模糊网络(IFN)、隐马尔可夫模型、高斯朴素贝叶斯、多项式朴素贝叶斯、平均单依赖估计器(AODE)、贝叶斯网络(BN)、分类和回归树(CART)、卡方自动交互检测(CHAID)、期望最大化算法、前馈神经网络、逻辑学习机、自组织映射、单链接聚类、模糊聚类、层次聚类、玻尔兹曼机、卷积神经网络、循环神经网络、分层时间记忆(HTM)和/或其他机器学习技术。
总而言之,机器学习算法可以用来生成净化后的数据114、归一化的数据116、缩放后的数据118、触发阈值120、和/或对应触发阈值122。尽管未示出,但是在一些实施例中,机器学习算法可被用来识别传感器输出108的显著特征(有时被称为特征检测或特征选择)。
用户简档102还可以包括与每个记录的姿势104相关联的处理器可执行动作124。处理器可执行动作124可以包括但不限于激活致动器(例如,锁定或解锁门)、访问远程服务器(例如,读取、写入或以其他方式访问、传送和/或刷新数据)、以及在智能电话上实施动作(例如,解锁智能电话、在智能电话上发送消息、使用智能电话拨打电话、使用智能电话发出紧急信号、打开可由智能电话执行的应用或与可由智能电话执行的应用交互等)。处理器可执行动作124可以与多个用户设备132中的一个相关联。处理器可执行动作124可包括标识该动作的动作ID126、标识要执行处理器可执行动作124的设备的目标128、以及包括被配置成由目标128实现处理器可执行动作124的逻辑的一个或多个功能130。
与用户简档102相关联的多个用户设备132可以包括现在已知的或以后开发的任何数量的用户设备。例如,多个用户设备132可以包括智能电话、智能手表、智能服装、家庭、电器、门、相机、车辆、可穿戴设备、健康监测设备、配饰(例如,戒指、耳环、头带等)等。传感器134(指传感器1134-1、传感器2134-2和/或传感器N134-N中的任何一个或多个)可以是指能够收集数据的任何各种硬件和/或软件设备。传感器134可包括但不限于温度传感器、化学传感器、湿度传感器、压力传感器、角或线性运动传感器(例如,加速度计、线性加速度计、步进计数器、陀螺仪、重力传感器等)、旋转传感器、角或线性移动传感器、角或线性速度传感器、生物计量传感器、麦克风、相机等。
环境传感器136可以是与由普遍存在的姿势代理100存储的不是用户简档102的其他用户简档相关联的传感器。换言之,环境传感器136可以是在与用户简档102相关联的用户附近的传感器,尽管不属于用户简档102的用户。环境传感器136可以是上述传感器134中的任何一个。在一些实施例中,环境传感器136可以是与智能建筑物相关联的相机。有利地,如果用户简档102已经选择使用可用的环境传感器136,则普遍存在的姿势代理100使得用户简档102能够利用在用户简档102的用户附近的具有IoT能力的传感器。
现在参见图2,图示了根据本公开的一些实施例的用于采用普遍存在的姿势代理的方法200的流程图。在一些实施例中,方法200可以由处理器、计算机、服务器、图1的普遍存在的姿势代理100、或硬件和/或软件的其他配置来实现。
操作202包括将使用来自第一用户设备的传感器输出的姿势注册到与普遍存在的姿势代理相关联的第一用户简档。作为示例,姿势可以是如由来自容纳在智能手表(例如,第一用户设备)中的加速度计的加速度计数据(例如,传感器输出)所检测到的摇晃手。
操作204包括将姿势与触发阈值和动作相关联。继续以上示例,触发阈值可包括阈值时间间隔内的阈值数量的加速度改变,其中每个加速度改变高于阈值幅度。在一些实施例中,动作可以是处理器可执行动作,诸如先前关于图1所讨论的处理器可执行动作。下文关于图3更详细地讨论操作204。
操作206包括将触发阈值转换成用于不同类型的传感器的对应触发阈值。继续以上示例,基于由智能手表的加速度计输出的加速度数据的触发阈值可以被转换成基于由在智能建筑物中起作用并且经由普遍存在的姿势代理对用户简档可用的摄像机所生成的视频数据的对应触发阈值。
操作208包括使用来自不同类型的传感器的数据来识别姿势。继续以上示例,操作208包括在用户没有穿戴他或她的智能手表或智能手表发生故障的情形下基于来自摄像机的视频数据来识别用户摇晃他或她的手。
操作210包括响应于使用来自不同类型的传感器的数据识别姿势而实施与姿势相关联的动作。有利地,即使当用户忘记通常用来识别姿势的特定设备时,操作210也使得用户能够成功地采用姿势来控制设备。
图3图示根据本公开的一些实施例的用于使用普遍存在的姿势代理来定义姿势的示例方法的流程图。在一些实施例中,方法300可以由处理器、计算机、服务器、图1的普遍存在的姿势代理100、或硬件和/或软件的其他配置来实现。在一些实施例中,方法300是图2的操作204的子方法。
操作302包括通过在姿势记录间隔期间记录来自与一个或多个用户设备相关联的一个或多个传感器的传感器输出来定义所记录的姿势。在一些实施例中,用户可操纵一个或多个用户设备以发起和终止姿势记录间隔,其中在发起和终止之间从与一个或多个用户设备相关联的一个或多个传感器收集的数据可构成表示所记录的姿势的传感器输出。
操作304包括将所记录的姿势与标识符、传感器输出、类别和处理器可执行动作相关联。在一些实施例中,操作304可通过用户向如下设备提供用户输入来实现,该设备提供用于定义姿势并且将姿势与不同的处理器可执行动作相关联的接口。
操作306包括将数据转换应用于传感器输出,以便使传感器输出可由不同类型的传感器检测到。数据转换可包括数据净化、数据归一化和/或数据缩放等。此外,数据转换可以包括例如将加速度数据转换成位置数据或其他类型的数据转换。在一些实施例中,操作306采用机器学习算法将数据转换应用于传感器输出,以适于使传感器输出可由不同类型的传感器检测到。
操作308包括基于数据转换来定义用于各种传感器的触发阈值和多个对应触发阈值。有利地,操作308使得使用一个传感器(或一组传感器)记录的姿势能够被不同类型的传感器(或不同的一组传感器)检测到,从而实现传感器不可知姿势检测。
图4图示根据本公开的一些实施例的用于使用与最初与姿势相关联的传感器相同或不同的传感器来识别姿势的示例性方法的流程图。在一些实施例中,方法400可以由处理器、计算机、服务器、图1的普遍存在的姿势代理100、或硬件和/或软件的其他配置来实现。在一些实施例中,方法400是图2的操作208的子方法。
操作402包括从来自多个用户设备的多个传感器和/或环境传感器收集传感器数据。可以连续地、半连续地或在预定轮询间隔期间收集传感器数据。
操作404包括确定是否从所收集的传感器数据中缺失了任何传感器和/或对应的用户设备。如果没有(404:否),则方法400进行到操作408,并且确定所收集的传感器数据中的任何传感器数据是否匹配触发阈值。然而,如果从所收集的传感器数据中缺失了任何传感器和/或对应的用户设备(404:是),则方法400进行到操作406,并且将所收集的传感器数据与对应触发阈值进行交叉参考,以确定是否检测到本应由一个或多个缺失的传感器和/或对应的用户设备检测到的任何姿势。
操作408包括确定在所收集的传感器数据中的任何传感器数据与触发阈值或对应触发阈值中的任何触发阈值之间是否存在匹配。如果不是(408:否),则方法400返回到操作402并且继续收集传感器数据。如果是(408:是),则方法400继续到操作410。
操作410包括识别与匹配相关联的姿势。有利地,方法400可通过利用与其他用户设备的其他传感器和/或环境传感器相关联的对应触发阈值,在传统上用来检测姿势的传感器和/或用户设备不可用的情况下识别姿势。
图5图示根据本公开的一些实施例的示例计算机500的框图。在各种实施例中,计算机500可执行图2-图4中描述的方法的任何部分或所有部分和/或实施图1中讨论的功能。在一些实施例中,计算机500通过经由网络550从远程数据处理系统下载处理器可执行指令来接收与前述方法和功能相关的指令。在其他实施例中,计算机500将用于上述方法和/或功能的指令提供给客户端机器,使得客户端机器基于由计算机500提供的指令执行该方法或该方法的一部分。在一些实施例中,计算机500被结合到(或者类似于计算机500的功能被虚拟地供应到)计算环境的一个或多个实体(例如,普遍存在的姿势代理100)和/或本公开的其他方面。
计算机500包括存储器525、贮存器530、互连件520(例如,总线)、一个或多个CPU505(本文中也被称为处理器)、I/O设备接口510、I/O设备512和网络接口515。
每个CPU505检索并且执行存储在存储器525或贮存器530中的编程指令。互连件520用来在CPU505、I/O设备接口510、贮存器530、网络接口515和存储器525之间移动数据,诸如编程指令。互连件520可以使用一个或多个总线来实现。在各种实施例中,CPU505可以是单个CPU、多个CPU或具有多个处理核的单个CPU。在一些实施例中,CPU505可以是数字信号处理器(DSP)。在一些实施例中,CPU505包括一个或多个3D集成电路(3DIC)(例如,3D晶圆级封装(3DWLP)、基于3D中介层的集成、3D堆叠IC(3D-SIC)、单片3DIC、3D异构集成、3D系统级封装(3DSiP)和/或层叠封装(PoP)CPU配置)。存储器525一般被包括为代表随机存取存储器(例如,静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或闪存)。贮存器530一般被包括为代表非易失性存储器,诸如硬盘驱动器、固态设备(SSD)、可移动存储卡、光学贮存器或闪存设备。在替选实施例中,贮存器530可以由存储区域网络(SAN)装置、云或经由I/O设备接口510连接到计算机500或经由网络接口515连接到网络550的其他设备来代替。
在一些实施例中,存储器525存储指令560。然而,在各种实施例中,指令560被部分地存储在存储器525中并且被部分地存储在贮存器530中,或者它们被完全地存储在存储器525中或被完全地存储在贮存器530中,或者它们经由网络接口515通过网络550被访问。
指令560可以是用于执行图2-图4的方法的任何部分或全部和/或实施图1的任何部分中所讨论的功能的计算机可读和计算机可执行指令。尽管在存储器525中示出了指令560,但是指令560可以包括共同存储在众多计算机可读存储媒质上并且可由一个或多个CPU505执行的程序指令。
在各种实施例中,I/O设备512包括能够呈现信息并且接收输入的接口。例如,I/O设备512可以向与计算机500交互的用户呈现信息并且从用户接收输入。
计算机500经由网络接口515连接到网络550。网络550可以包括物理的、无线的、蜂窝的或不同的网络。
应当理解,尽管本公开包括关于云计算的详细描述,但是本文中记载的教导的实现不限于云计算环境。相反,本发明的实施例能够结合现在已知的或以后开发的任何其他类型的计算环境来实现。
云计算是一种服务递送模型,用于实现对可配置计算资源(例如,网络、网络带宽、服务器、处理、存储器、贮存器、应用、虚拟机和服务)的共享池的方便的、按需的网络访问,所述可配置计算资源可以用最小的管理工作或与服务提供者的交互来快速供应和发布。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
特性如下:
按需自助服务:云消费者可按需自动地单方面供应计算能力,诸如服务器时间和网络存储,而无需与服务的提供者的人类交互。
广泛的网络接入:能力在网络上是可用的并且通过标准机制来访问,所述标准机制促进由异构的瘦或胖客户端平台(例如,移动电话、膝上型计算机和PDA)的使用。
资源池化:提供者的计算资源被池化以使用多租户模型来服务于多个消费者,其中不同的物理和虚拟资源根据需要被动态地指派和重新指派。存在位置独立性的感觉,因为消费者通常对所提供的资源的确切位置不具有控制或了解,但是可能能够在较高抽象级别(例如,国家、州或数据中心)指定位置。
快速弹性:可以快速且弹性地(在一些情况下,自动地)供应能力,以快速向外扩展并且快速发布以快速向内扩展。对于消费者,可用于供应的能力通常显得是无限的,并且可以在任何时间以任何数量购买。
测量的服务:云系统通过在适合于服务类型(例如,存储、处理、带宽和活动用户账户)的某种抽象级别上利用计量能力来自动控制和优化资源使用。可监视、控制和报告资源使用,从而为所采用的服务的提供者和消费者两者提供透明度。
服务模型如下:
软件即服务(SaaS):提供给消费者的能力是使用在云基础设施上运行的提供者的应用。应用可通过诸如web浏览器(例如,基于web的电子邮件)的瘦客户端接口从各种客户端设备来访问。消费者不管理或控制包括网络、服务器、操作系统、存储或甚至个体应用能力的底层云基础结构,可能的例外是有限的特定于用户的应用配置设定。
平台即服务(PaaS):提供给消费者的能力是将消费者创建或获取的应用部署到云基础设施上,所述应用是使用由提供者所支持的编程语言和工具来创建的。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施,但是具有对所部署的应用和可能的应用托管环境配置的控制。
基础设施即服务(IaaS):提供给消费者的能力是供应处理、存储、网络和其他基本计算资源,消费者能够在其中部署和运行可包括操作系统和应用的任意软件。消费者不管理或控制底层云基础设施,但是具有对操作系统、存储、所部署的应用的控制,以及对所选择的联网组件(例如,主机防火墙)的可能有限的控制。
部署模型如下:
私有云:云基础设施仅为组织操作。它可由组织或第三方管理,并且可存在于场所内或场所外。
社区云:云基础设施由若干组织共享并且支持具有共享的关注(例如,任务、安全要求、策略和合规性考虑)的特定社区。它可由组织或第三方管理,并且可存在于场所内或场所外。
公共云:使云基础设施对公众或大型产业组可用,并且由销售云服务的组织拥有。
混合云:云基础设施是两个或多个云(私有云、社区云或公共云)的组合,这些云保持唯一实体但是通过标准化或专有技术而绑定在一起,该技术实现数据和应用便携性(例如,用于云之间的负载平衡的云突发)。
云计算环境是面向服务的,关注于无状态性、低耦合、模块性和语义互操作性。云计算的核心是包括互连节点的网络的基础设施。
现在参见图6,描绘了说明性云计算环境50。如图所示,云计算环境50包括一个或多个云计算节点10,由云消费者使用的本地计算设备(诸如例如个人数字助理(PDA)或蜂窝电话54A、台式计算机54B、膝上型计算机54C和/或汽车计算机系统54N)可与一个或多个云计算节点10通信。节点10可以彼此通信。它们可以被物理地或虚拟地分组(未示出)在一个或多个网络中,诸如上文描述的私有云、社区云、公共云或混合云或其组合。这允许云计算环境50提供基础设施、平台和/或软件作为云消费者不需要维护本地计算设备上的资源的服务。应当理解,图6中所示的计算设备54A-54N的类型仅旨在是说明性的,并且计算节点10和云计算环境50可通过任何类型的网络和/或网络可寻址连接(例如,使用web浏览器)与任何类型的计算机化设备通信。
现在参见图7,示出了由云计算环境50(图6)提供的一组功能抽象层。应预先理解,图7中所示的组件、层和功能旨在仅是说明性的,并且本发明的实施例不限于此。如所描绘的,提供了以下层和对应的功能:
硬件和软件层60包括硬件和软件组件。硬件组件的示例包括:主机61;基于RISC(精简指令集计算机)架构的服务器62;服务器63;刀片服务器64;存储设备65;以及网络和联网组件66。在一些实施例中,软件组件包括网络应用服务器软件67和数据库软件68。
虚拟化层70提供抽象层,从该抽象层可以提供虚拟实体的以下示例:虚拟服务器71;虚拟存储72;虚拟网络73,包括虚拟专用网络;虚拟应用和操作系统74;以及虚拟客户端75。
在一个示例中,管理层80可提供下文所描述的功能。资源供应81提供用来执行云计算环境内的任务的计算资源和其他资源的动态获取。计量和定价82在云计算环境内采用资源时提供成本跟踪,并且针对这些资源的消费进行计费或开发票。在一个示例中,这些资源可以包括应用软件许可证。安全性提供对云消费者和任务的身份验证、以及对数据和其他资源的保护。用户门户83为消费者和系统管理员提供对云计算环境的访问。服务级别管理84提供云计算资源分配和管理,使得满足所需的服务级别。服务水平协议(SLA)规划和履行85提供云计算资源的预安排和采购,根据SLA预期对这些云计算资源的未来要求。
工作负载层90提供可以采用云计算环境的功能的示例。可以从该层提供的工作负载和功能的示例包括:测绘和导航91;软件开发和生命周期管理92;虚拟教室教育交付93;数据分析处理94;事务处理95;以及传感器不可知姿势检测96。
本发明的实施例可以是处于任何可能的集成技术细节水平的系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。
计算机可读存储介质可以是可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述各项的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下:便携式计算机盘,硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)、存储棒、软盘、机械编码设备(诸如穿孔卡片或其上记录指令的凹槽中的凸起结构)、以及前述各项的任意合适的组合。如本文中所使用的计算机可读存储介质不应被解释为暂态信号本身,诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,通过光纤电缆的光脉冲)、或通过导线传输的电信号。
本文中所述的计算机可读程序指令可从计算机可读存储介质下载到相应的计算/处理设备,或经由网络(例如,因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令,并且转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设定数据、用于集成电路的配置数据、或以一种或多种编程语言(包括面向对象的编程语言(诸如Smalltalk、C++等)和过程式编程语言(诸如“C”编程语言或类似的编程语言))的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为独立的软件包执行、部分在用户计算机上且部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情形中,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机,或者可以连接到外部计算机(例如,通过使用因特网服务提供商的因特网)。在一些实施例中,电子电路(包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA))可以通过采用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化,以便执行本发明的各方面。
本文中参考根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图说明和/或框图来描述本发明的各方面。应当理解,流程图说明和/或框图中的每个方框以及流程图说明和/或框图中的各方框的组合都可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以被提供给通用计算机的处理器、专用计算机或其他可编程数据处理装置以产生机器,使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图中的一个或多个方框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在可以引导计算机、可编程数据处理装置和/或以特定方式起作用的其他设备的计算机可读存储介质中,使得其中存储有指令的计算机可读存储介质包括制品,该制品包括实现流程图和/或框图中的一个或多个方框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置、或其他设备上,以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现的处理,使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中指定的功能/动作。
附图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这方面,流程图或框图中的每个方框可以表示模块、段或指令子集,其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实现方式中,方框中所标注的功能可以不以图中所标注的顺序发生。例如,取决于所涉及的功能,连续示出的两个方框实际上可以基本上同时执行,或者这些方框有时可以以相反的顺序执行。还将注意的是,框图和/或流程图说明中的每个方框、以及框图和/或流程图说明中的各方框的组合可以由基于专用硬件的系统来实现,所述基于专用硬件的系统执行指定的功能或动作或执行专用硬件与计算机指令的组合。
虽然应当理解,处理软件(例如,存储在图5的指令560中的任何指令和/或被配置成执行关于图2-图4所描述的方法的任何部分和/或实现图1中所讨论的功能的任何部分的任何软件)可以通过经由加载存储介质(诸如CD、DVD等)手动地将其直接加载到客户端、服务器和代理计算机中来部署,还可以通过将处理软件发送到中央服务器或一组中央服务器来将处理软件自动或半自动地部署到计算机系统中。然后,将处理软件下载到将执行该处理软件的客户端计算机中。替选地,经由电子邮件将处理软件直接发送到客户端系统。然后,通过执行将处理软件分离到目录的一组程序指令,将处理软件分离到目录或加载到目录中。另一个替代方案是直接将处理软件发送到客户端计算机硬盘驱动器上的目录。当存在代理服务器时,该处理将选择代理服务器代码,确定在哪些计算机上放置代理服务器代码,传输代理服务器代码,然后在代理计算机上安装代理服务器代码。处理软件将被传输到代理服务器,并且然后它将被存储在代理服务器上。
本发明的实施例还可以作为与客户端公司、非盈利性组织、政府实体、内部组织结构等的服务参与的一部分来交付。这些实施例可以包括配置计算机系统来执行和部署实现本文中描述的方法中的一些或全部的软件、硬件和网络服务。这些实施例还可以包括:分析客户端的操作,响应于该分析来创建推荐,构建实现所述推荐的子集的系统,将系统集成到现有处理和基础设施中,计量所述系统的使用,将费用分配给系统的用户,以及计费、开发票(例如,生成发票),或以其他方式接收对系统的使用的支付。
本文中使用的术语仅用于描述特定实施例的目的,并且不是旨在限制各种实施例。如本文中所使用的,单数形式“一个/一种(a/an)”和“该(the)”旨在也包括复数形式,除非上下文另外清楚地指示。将进一步理解的是,当在本说明书中使用术语“包括”和/或“包含”时,其指定所陈述的特征、整体、步骤、操作、元件和/或组件的存在,但不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组的存在或附加。在各个实施例的示例实施例的先前详细描述中,参考附图(其中相同的标号表示相同的元件),附图形成详细描述的一部分,并且其中通过图示的方式示出其中可以实践各个实施例的特定示例实施例。足够详细地描述了这些实施例以使得本领域技术人员能够实践这些实施例,但是可以使用其他实施例,并且可以在不偏离各个实施例的范围的情况下进行逻辑改变、机械改变、电气改变和其他改变。在前面的描述中,阐述了许多具体细节以提供对各个实施例的透彻理解。但是可以在没有这些具体细节的情况下实践各个实施例。在其他实例中,为了不模糊实施例,未详细示出公知的电路、结构和技术。
如在本说明书中所使用的词语“实施例”的不同实例不一定指代相同的实施例,但是它们可以指代相同的实施例。本文中图示或描述的任何数据和数据结构仅是示例,并且在其他实施例中,可以使用不同的数据数量、数据类型、字段、字段的数量和类型、字段名称、行的数量和类型、记录、条目或数据组织。另外,任何数据可与逻辑组合,使得单独的数据结构可能不是必需的。因此,先前的详细描述不应被视为限制性的。
已经出于说明的目的呈现了本公开的各个实施例的描述,但是并不旨在是穷举的或限于所公开的实施例。在不偏离所描述的实施例的范围和精神的情况下,许多修改和变型对本领域的普通技术人员而言将是明显的。选择本文中使用的术语以最佳地解释实施例的原理、实际应用或在市场上找到的技术上的技术改进,或使得本领域普通技术人员能够理解本文中公开的实施例。
尽管已根据具体实施例描述了本公开,但是预期其改变和修改对于本领域技术人员而言将变得明显。因此,以下权利要求旨在被解释为覆盖落入本公开的真实精神和范围内的所有这样的改变和修改。
在本公开中讨论的任何优点都是示例优点,并且在保持在本公开的精神和范围内的同时,可存在实现任何所讨论的优点的全部、一些或者没有实现任何所讨论的优点的本公开的实施例。
下文提供示例的非限制性列表以演示本公开的一些方面。示例1是一种计算机实现的方法。该方法包括:将使用来自第一用户设备的传感器输出的姿势记录到与普遍存在的姿势代理相关联的第一用户简档;将所述姿势与以下各项相关联:指示所述姿势并且基于所述传感器输出的触发阈值;和处理器可执行动作,所述处理器可执行动作能由与用户简档相关联的多个用户设备中的一个用户设备执行;将所述触发阈值转换成用于不同类型的传感器的对应触发阈值;使用来自所述不同类型的传感器的满足所述对应触发阈值的数据来识别所述姿势;以及由所述多个用户设备中的所述一个用户设备实施与所述姿势相关联的所述处理器可执行动作。
示例2包括如示例1所述的方法,包括或排除可选的特征。在该示例中,所述普遍存在的姿势代理被托管在公共云环境中。
示例3包括如示例1至2中任一项所述的方法,包括或排除可选特征。在该示例中,所述不同类型的传感器与第一用户简档相关联。
示例4包括如示例1至2中任一项所述的方法,包括或排除可选特征。在该示例中,所述不同类型的传感器与存储在所述普遍存在的姿势代理中的不同用户简档相关联。
示例5包括如示例1至4中任一项所述的方法,包括或排除可选特征。在该示例中,所述不同类型的传感器是智能建筑物中的相机。可选地,所述传感器输出包括来自加速度计的加速度数据,并且其中,所述对应触发阈值是基于从来自所述智能建筑物中的所述相机的视频数据推断的加速度。
示例6包括如示例1至5中任一项所述的方法,包括或排除可选特征。在该示例中,所述处理器可执行动作选自由以下各项组成的组:激活致动器、访问远程服务器、以及在智能电话上实现动作。
示例7包括如示例1至6中任一项所述的方法,包括或排除可选特征。在该示例中,所述方法由一个或多个计算机根据从远程数据处理系统下载到所述一个或多个计算机的软件来执行。可选地,所述方法进一步包括:计量所述软件的使用;以及基于计量所述使用来生成发票。
示例8是一种系统。所述系统包括一个或多个处理器以及存储程序指令的一个或多个计算机可读存储介质,所述程序指令在由所述一个或多个处理器执行时被配置成使所述一个或多个处理器执行根据示例1至7中任一项所述的方法。
示例9是一种计算机程序产品。所述计算机程序产品包括一个或多个计算机可读存储介质以及共同地存储在所述一个或多个计算机可读存储介质上的程序指令,所述程序指令包括被配置成使一个或多个处理器执行根据示例1至7中任一项所述的方法的指令。
Claims (11)
1.一种计算机实现的方法,包括:
将使用来自第一用户设备的传感器输出的姿势记录到与普遍存在的姿势代理相关联的第一用户简档;
将所述姿势与以下各项相关联:
指示所述姿势并且基于所述传感器输出的触发阈值;和
处理器可执行动作,所述处理器可执行动作能由与用户简档相关联的多个用户设备中的一个用户设备来执行;
将所述触发阈值转换成用于不同类型的传感器的对应触发阈值;
使用来自所述不同类型的传感器的满足所述对应触发阈值的数据来识别所述姿势;以及
由所述多个用户设备中的所述一个用户设备实施与所述姿势相关联的所述处理器可执行动作。
2.如权利要求1所述的方法,其中,所述普遍存在的姿势代理被托管在公共云环境中。
3.如权利要求1所述的方法,其中,所述不同类型的传感器与第一用户简档相关联。
4.如权利要求1所述的方法,其中,所述不同类型的传感器与存储在所述普遍存在的姿势代理中的不同用户简档相关联。
5.如权利要求1所述的方法,其中,所述不同类型的传感器是智能建筑物中的相机。
6.如权利要求5的方法,其中,所述传感器输出包括来自加速度计的加速度数据,并且其中,所述对应触发阈值是基于从来自所述智能建筑物中的所述相机的视频数据推断的加速度。
7.如权利要求1所述的方法,其中,所述处理器可执行动作选自于由以下各项组成的组:激活致动器、访问远程服务器、以及在智能电话上实现动作。
8.如权利要求1所述的方法,其中,所述方法由一个或多个计算机根据从远程数据处理系统下载到所述一个或多个计算机的软件来执行。
9.如权利要求8所述的方法,其中,所述方法进一步包括:
计量所述软件的使用;以及
基于计量所述使用来生成发票。
10.一种系统,包括:
一个或多个处理器;以及
存储程序指令的一个或多个计算机可读存储介质,所述程序指令在由所述一个或多个处理器执行时被配置成使所述一个或多个处理器执行如权利要求1-9之一所述的方法。
11.一种计算机程序产品,包括一个或多个计算机可读存储介质和共同地存储在所述一个或多个计算机可读存储介质上的程序指令,所述程序指令包括被配置成使一个或多个处理器执行如权利要求1-9之一所述的方法的指令。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/075,741 | 2020-10-21 | ||
US17/075,741 US11789542B2 (en) | 2020-10-21 | 2020-10-21 | Sensor agnostic gesture detection |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114384997A true CN114384997A (zh) | 2022-04-22 |
Family
ID=78497874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111218288.6A Pending CN114384997A (zh) | 2020-10-21 | 2021-10-20 | 传感器不可知姿势检测 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11789542B2 (zh) |
JP (1) | JP2022068123A (zh) |
CN (1) | CN114384997A (zh) |
DE (1) | DE102021123285A1 (zh) |
GB (1) | GB2601408B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11726553B2 (en) | 2021-07-20 | 2023-08-15 | Sony Interactive Entertainment LLC | Movement-based navigation |
US11786816B2 (en) | 2021-07-30 | 2023-10-17 | Sony Interactive Entertainment LLC | Sharing movement data |
US20230051703A1 (en) * | 2021-08-16 | 2023-02-16 | Sony Interactive Entertainment LLC | Gesture-Based Skill Search |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100188328A1 (en) * | 2009-01-29 | 2010-07-29 | Microsoft Corporation | Environmental gesture recognition |
CN103105926A (zh) * | 2011-10-17 | 2013-05-15 | 微软公司 | 多传感器姿势识别 |
CN103576902A (zh) * | 2013-09-18 | 2014-02-12 | 酷派软件技术(深圳)有限公司 | 控制终端设备的方法及系统 |
US20140282282A1 (en) * | 2013-03-15 | 2014-09-18 | Leap Motion, Inc. | Dynamic user interactions for display control |
US20150091790A1 (en) * | 2013-09-30 | 2015-04-02 | Qualcomm Incorporated | Classification of gesture detection systems through use of known and yet to be worn sensors |
US20160198322A1 (en) * | 2015-01-06 | 2016-07-07 | VectorWatch SRL | Systems And Methods For Determining A User Context By Correlating Acceleration Data From Multiple Devices |
CN106104424A (zh) * | 2014-03-15 | 2016-11-09 | 微软技术许可有限责任公司 | 可训练的基于传感器的姿势识别 |
CN206698298U (zh) * | 2017-05-15 | 2017-12-01 | 东北大学秦皇岛分校 | 一种智能手机 |
CN108496166A (zh) * | 2016-01-26 | 2018-09-04 | 无限增强现实以色列有限公司 | 用于生成姿势和手势的综合数据库的方法和系统 |
US20200167001A1 (en) * | 2018-11-27 | 2020-05-28 | International Business Machines Corporation | Wearable device control |
US20200274877A1 (en) * | 2019-02-25 | 2020-08-27 | International Business Machines Corporation | Intelligent cluster learning in an internet of things (iot) computing environment |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10242255B2 (en) | 2002-02-15 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
US7301526B2 (en) * | 2004-03-23 | 2007-11-27 | Fujitsu Limited | Dynamic adaptation of gestures for motion controlled handheld devices |
US9569001B2 (en) * | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
US8451853B2 (en) * | 2009-10-30 | 2013-05-28 | Nokia Corporation | Method and apparatus for selecting a receiver in an electronic device |
US20120131513A1 (en) | 2010-11-19 | 2012-05-24 | Microsoft Corporation | Gesture Recognition Training |
US9778747B2 (en) | 2011-01-19 | 2017-10-03 | Hewlett-Packard Development Company, L.P. | Method and system for multimodal and gestural control |
CN103576847B (zh) | 2012-08-09 | 2016-03-30 | 腾讯科技(深圳)有限公司 | 获取账号信息的方法和装置 |
SG11201504814VA (en) | 2013-01-03 | 2015-07-30 | Saurav Suman | A method and system enabling control of different digital devices using gesture or motion control |
US9134952B2 (en) * | 2013-04-03 | 2015-09-15 | Lg Electronics Inc. | Terminal and control method thereof |
US20150084859A1 (en) * | 2013-09-23 | 2015-03-26 | Yair ITZHAIK | System and Method for Recognition and Response to Gesture Based Input |
CN104699244B (zh) | 2015-02-26 | 2018-07-06 | 小米科技有限责任公司 | 智能设备的操控方法及装置 |
US9881144B2 (en) * | 2015-06-15 | 2018-01-30 | International Business Machines Corporation | Identifying usage of code |
US11587559B2 (en) * | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US9661470B1 (en) * | 2015-10-05 | 2017-05-23 | Google Inc. | Methods and systems for locating an actor within an environment |
DK179415B1 (en) * | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
EP3340103A1 (en) * | 2016-12-21 | 2018-06-27 | Axis AB | Method for identifying events in a motion video |
US11367198B2 (en) * | 2017-02-07 | 2022-06-21 | Mindmaze Holding Sa | Systems, methods, and apparatuses for tracking a body or portions thereof |
US10401181B2 (en) * | 2017-08-09 | 2019-09-03 | Mapbox, Inc. | Detection of travel mode associated with computing devices |
US20200257372A1 (en) * | 2019-02-11 | 2020-08-13 | Sage Senses Inc. | Out-of-vocabulary gesture recognition filter |
US20220089179A1 (en) * | 2019-02-13 | 2022-03-24 | Hitachi Astemo, Ltd. | Vehicle control device and electronic control system |
EP4038477A1 (en) * | 2019-11-08 | 2022-08-10 | Apple Inc. | Machine-learning based gesture recognition using multiple sensors |
US20210405759A1 (en) * | 2020-06-24 | 2021-12-30 | AR & NS Investment, LLC | Cross-correlation system and method for spatial detection using a network of RF repeaters |
-
2020
- 2020-10-21 US US17/075,741 patent/US11789542B2/en active Active
-
2021
- 2021-09-08 DE DE102021123285.6A patent/DE102021123285A1/de active Pending
- 2021-10-01 GB GB2114077.7A patent/GB2601408B/en active Active
- 2021-10-19 JP JP2021170704A patent/JP2022068123A/ja active Pending
- 2021-10-20 CN CN202111218288.6A patent/CN114384997A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100188328A1 (en) * | 2009-01-29 | 2010-07-29 | Microsoft Corporation | Environmental gesture recognition |
CN103105926A (zh) * | 2011-10-17 | 2013-05-15 | 微软公司 | 多传感器姿势识别 |
US20140282282A1 (en) * | 2013-03-15 | 2014-09-18 | Leap Motion, Inc. | Dynamic user interactions for display control |
CN103576902A (zh) * | 2013-09-18 | 2014-02-12 | 酷派软件技术(深圳)有限公司 | 控制终端设备的方法及系统 |
US20150091790A1 (en) * | 2013-09-30 | 2015-04-02 | Qualcomm Incorporated | Classification of gesture detection systems through use of known and yet to be worn sensors |
CN106104424A (zh) * | 2014-03-15 | 2016-11-09 | 微软技术许可有限责任公司 | 可训练的基于传感器的姿势识别 |
US20160198322A1 (en) * | 2015-01-06 | 2016-07-07 | VectorWatch SRL | Systems And Methods For Determining A User Context By Correlating Acceleration Data From Multiple Devices |
CN108496166A (zh) * | 2016-01-26 | 2018-09-04 | 无限增强现实以色列有限公司 | 用于生成姿势和手势的综合数据库的方法和系统 |
CN206698298U (zh) * | 2017-05-15 | 2017-12-01 | 东北大学秦皇岛分校 | 一种智能手机 |
US20200167001A1 (en) * | 2018-11-27 | 2020-05-28 | International Business Machines Corporation | Wearable device control |
US20200274877A1 (en) * | 2019-02-25 | 2020-08-27 | International Business Machines Corporation | Intelligent cluster learning in an internet of things (iot) computing environment |
Also Published As
Publication number | Publication date |
---|---|
GB202114077D0 (en) | 2021-11-17 |
US20220121289A1 (en) | 2022-04-21 |
JP2022068123A (ja) | 2022-05-09 |
GB2601408B (en) | 2023-06-28 |
DE102021123285A1 (de) | 2022-04-21 |
US11789542B2 (en) | 2023-10-17 |
GB2601408A (en) | 2022-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10990810B2 (en) | Automated facial recognition detection | |
US11575697B2 (en) | Anomaly detection using an ensemble of models | |
US11789542B2 (en) | Sensor agnostic gesture detection | |
CN110659740A (zh) | 基于边缘节点处的数据输入对机器学习模型排序和更新 | |
US11093320B2 (en) | Analysis facilitator | |
US20210211831A1 (en) | Geofence selection and modification | |
JP2023542469A (ja) | キーポイント検出に基づくコンピュータによる自動化された相互作用活動認識 | |
US20220122000A1 (en) | Ensemble machine learning model | |
US11086743B2 (en) | Context based IoT device management | |
US11030015B2 (en) | Hardware and software resource optimization | |
TWI792923B (zh) | 使用基於用戶互動歷史之模型來增強移動設備中之用戶驗證之電腦實施方法、電腦系統及電腦程式產品 | |
US11714637B1 (en) | User support content generation | |
US11854264B2 (en) | Speculative actions based on predicting negative circumstances | |
US10007531B2 (en) | System, method, and recording medium for adaptive interface for illiterate | |
US11481113B1 (en) | Shortcut generation | |
US11740726B2 (en) | Touch sensitivity management | |
TWI822290B (zh) | 相關於用於訓練機器學習模型之聯合學習之電腦實施方法、電腦系統及電腦程式產品 | |
US11657189B2 (en) | Object loss prevention using cognitive computing | |
US11182460B2 (en) | Lost detection for paired mobile devices | |
US11163988B2 (en) | Selective interactive event tracking based on user interest | |
US20220198268A1 (en) | Estimated online hard negative mining via probabilistic selection and scores history consideration | |
US20230177424A1 (en) | Personal protective equipment (ppe) management | |
US20220300822A1 (en) | Forgetting data samples from pretrained neural network models | |
US20220284259A1 (en) | Computer automated classification of non-structured data streams | |
US20220164370A1 (en) | Label-based document classification using artificial intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |