CN111033445B - 用于手势辨识的系统和方法 - Google Patents

用于手势辨识的系统和方法 Download PDF

Info

Publication number
CN111033445B
CN111033445B CN201880054240.6A CN201880054240A CN111033445B CN 111033445 B CN111033445 B CN 111033445B CN 201880054240 A CN201880054240 A CN 201880054240A CN 111033445 B CN111033445 B CN 111033445B
Authority
CN
China
Prior art keywords
gesture
condition
iot
iot system
gestures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880054240.6A
Other languages
English (en)
Other versions
CN111033445A (zh
Inventor
M·M·图迈赫
E·C·朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111033445A publication Critical patent/CN111033445A/zh
Application granted granted Critical
Publication of CN111033445B publication Critical patent/CN111033445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明揭示物联网IoT系统和相关方法。一种方法包括确定第一条件是否成立，所述第一条件为所述IoT系统的条件；响应于触发，执行所述IoT系统的功能，其中所述触发为所述第一条件成立的确定；基于从图像传感器接收的图像数据辨识手势，及基于所述用户反馈数据重新配置所述IoT系统以用于将来执行所述功能。

Description

用于手势辨识的系统和方法
背景技术
本发明的各方面大体来说涉及电信，且更特定来说涉及在共享无线接入环境中用户设备与其它装置之间的交互。
因特网为互连计算机和计算机网络的全球系统，所述计算机网络使用标准因特网协议套(例如，传输控制协议(TCP)和因特网协议(IP))彼此通信。物联网(IoT)，有时也被称为万物互联(IoE)，是基于即日常对象(不仅计算机和计算机网络)可经由IoT通信网络(例如，临时系统或因特网)进行读取、辨识、定位、寻址和控制的思想。
许多市场趋势正在推动IoT装置的发展。例如，能源成本的不断增加正推动政府对智能电网进行战略投资和支持将来的消费，例如电动汽车和公共充电站。医疗保健费用和老龄化人口的不断增加正推动远程/连接医疗保健和健身服务的发展，其中医生可例如远程监控患者的健康而人们可追踪健身计划的进展。家庭技术革命正在推动新的“智能”服务的发展，其中智能家居和建筑物可实际上集中控制家庭或办公室中的任何装置或系统，从家用电器到插电式电动汽车(PEV)安全系统。作为降低企业设施运营成本的一种手段，建筑物变得越来越智能和便捷。在资产追踪领域中，企业、医院、工厂和其它大型组织可以准确追踪高价值设备、患者、运载工具等的位置。
如此，在不久的将来，IoT系统的不断发展将导致在家中、在车辆中、在工作中以及许多其它位置大量IoT装置围绕用户。因此，存在对以有用方式利用大量杂乱数据的IoT管理装置的需求。
发明内容
以下发明内容为仅提供用以辅助描述本发明的各种方面的概述且仅提供用于说明方面且并非对其的限制。
在一个实例中，揭示一种在物联网(IoT)系统中执行的方法。所述方法可包含例如确定第一条件是否成立，所述第一条件为IoT系统的条件；响应于触发而执行IoT系统的功能，其中所述触发为所述第一条件成立的确定；基于从图像传感器接收的图像数据辨识手势；解释所辨识手势以生成用户反馈数据；及基于用户反馈数据重新配置IoT系统以用于将来执行所述功能。
在另一实例中，揭示一种IoT系统。IoT系统可包含例如经配置以存储数据和/或指令的存储器系统，以及耦合到所述存储器系统的处理系统。所述处理系统可经配置以确定第一条件是否成立，所述第一条件为IoT系统的条件；响应于触发而执行IoT系统的功能，其中所述触发为所述第一条件成立的确定；基于从图像传感器接收的图像数据辨识手势；解释所辨识手势以生成用户反馈数据；及基于用户反馈数据重新配置IoT系统以用于将来执行所述功能。
在又另一实例中，揭示另一IoT系统。所述IoT系统可包含例如用于确定第一条件是否成立的装置，所述第一条件为IoT系统的条件；用于响应于触发而执行IoT系统的功能的装置，其中所述触发为所述第一条件成立的确定；用于基于从图像传感器接收的图像数据辨识手势的装置；用于解释所辨识手势以生成用户反馈数据的装置；及用于基于用户反馈数据重新配置IoT系统以用于将来执行所述功能的装置。
在又一实例中，揭示一种包括代码的非暂时性计算机可读媒体。当由处理器执行时，代码可致使处理器在物联网(IoT)系统中执行操作。所述非暂时性计算机可读媒体可包括例如用于确定第一条件是否成立的代码，所述第一条件为IoT系统的条件；用于响应于触发而执行IoT系统的功能的代码，其中所述触发为所述第一条件成立的确定；用于基于从图像传感器接收的图像数据辨识手势的代码；用于解释所辨识手势以生成用户反馈数据的代码；及用于基于用户反馈数据重新配置IoT系统以用于将来执行所述功能的代码。
附图说明
当结合随附图式考量时通过由参考以下详细描述，将容易获得本发明的方面及本发明的伴随优点中的众多者的更全面了解且同样地更好地理解，这些随附图式仅呈现用于说明而非对本发明的限制，且其中：
图1说明根据本发明的方面的无线通信系统的高级系统架构。
图2A说明根据本发明的方面的示范性IoT装置。
图2B说明根据本发明的方面的示范性无源IoT装置。
图2C说明根据本发明的其它方面的示范性无源IoT装置。
图3说明根据本发明的方面的用户设备(UE)的实例。
图4A大体上说明第一场景，其中各种IoT装置与管理者装置，彼此和/或IoT系统的用户交互。
图4B大体上说明与第一场景不同的第二场景。
图5大体上说明用于配置和/或重新配置IoT系统以响应于上下文数据来执行功能的方法。
图6大体上说明供在图5中所描绘的方法中使用的重新配置算法的实例实施方案。
图7大体上说明用于配置和/或重新配置IoT系统以响应于上下文数据来执行功能的另一方法。
图8大体上说明另一重新配置算法的实例实施方案。
图9大体上说明用于配置和/或重新配置IoT系统以响应于上下文数据来执行功能的又另一方法。
具体实施方式
例如，智能家居中的IoT系统可经预先编程以使用一或多个IoT装置执行一或多个IoT功能。根据编程，可以通过由IoT系统识别的一或多个上下文条件来触发IoT功能的每一次执行。可以使用从网络下载的数据和/或使用与IoT系统相关联的IoT传感器直接感测到的数据来识别上下文条件。IoT系统可能因例如以下操作而发生故障：执行IoT系统用户不许可的功能，在错误的时间执行功能，响应于错误的上下文条件集执行功能等。
将一些用于训练和/或重新配置IoT系统的算法并入到IoT系统中可能会很有用。IoT系统可基于来自用户的反馈来学习用户是否许可或不许可由IoT系统执行的特定功能。因此，提供许多不同的机制来提供反馈可能是有用的。
图1到3大体上涉及IoT系统。根据本发明的各方面，图1到3中的IoT系统可以配备有手势识别算法，所述手势识别算法分析所接收图像数据并将所述图像数据翻译成用户反馈数据。图4A到4B描绘其中可以将姿势识别算法用于训练目的的场景。使用手势识别算法生成的用户反馈数据可随后用于重新配置IoT系统，从而提高用户满意度(例如，通过最大化肯定的用户反馈量)。重新配置可包含置信度调整，新上下文条件的监控，触发条件的调整或任何其它合适的重新配置，如有关图5到9的说明中更详细描述的。
图1说明根据本发明的方面的IoT系统100的高级系统架构。IoT系统100包含多个IoT装置，其包含图像传感器110、太阳能电池板111、HVAC单元112(其中HVAC代表“加热、通风和空调”)、灯113、恒温器114、冰箱116以及洗衣机和干衣机118。
如本文中所使用的，术语“物联网装置”(或“IoT装置”)可以指具有可寻址接口(例如，因特网协议(IP)地址、蓝牙标识符(ID)、近场通信(NFC)ID等)的任何对象(例如，器具、传感器等)，且可通过有线或无线连接将信息传输到一或多个其它IoT装置。IoT系统可包括IoT装置的任何组合。
参考图1，IoT装置110到118经配置以经由物理通信接口或层与接入网络(例如，接入点120)通信。如图1中所展示，通信接口可以为空中接口122和/或直接有线连接124。空中接口122可以符合例如IEEE 802.11的无线因特网协议(IP)。尽管图1说明经由空中接口122进行通信的IoT装置110到118以及经由直接有线连接124进行通信的洗衣机和干衣机118，但应理解，每一IoT装置可经由有线或无线连接或两者进行通信。
因特网130包含多个路由代理和处理代理(为方便起见，在图1中未展示)。因特网130为由互连的计算机和计算机网络的全球系统，所述计算机网络使用标准因特网协议套(例如，传输控制协议(TCP)和IP)在不同装置/网络之间进行通信。TCP/IP提供端到端的连接性，所述连接性指定应如何在目的地格式化、寻址、传输、路由和接收数据。
在图1中，计算机140，例如台式机或个人计算机(PC)，经展示为直接连接到因特网130(例如，经由以太网连接或基于Wi-Fi或基于802.11的网络)。计算机140可以具有到因特网130的有线连接，例如到调制解调器或路由器的直接连接，在实例中，调制解调器或路由器可以对应于接入点120本身(例如，对于具有有线和无线连接线两者的Wi-Fi路由器)。替代地，计算机140可经由空中接口122或另一无线接口连接到接入点120，且经由空中接口122接入因特网130，而不是经由有线连接连接到接入点120和因特网130。尽管被说明为台式计算机，但计算机140可为膝上型计算机、平板计算机、PDA、智能电话等。计算机140可为IoT装置和/或包含用于管理IoT网络/组(例如IoT装置110到118的网络/组)的功能。
接入点120可经由例如例如FiOS的光通信系统、电缆调制解调器、数字用户线(DSL)调制解调器等连接到因特网130。接入点120可以使用标准因特网协议(例如，TCP/IP)与IoT装置110到118和因特网130通信。
参考图1，IoT服务器150经展示为连接到因特网130。IoT服务器150可以被实现为多个结构上分离的服务器，或可替代地对应于单个服务器。在一方面中，IoT服务器150为任选的，且IoT装置110到118的组可为对等(P2P)网络。在此状况下，IoT装置110到118可经由空中接口122和/或直接有线连接124直接彼此通信。替代地或另外地，一些或全部的IoT装置110到118可经配置以具有独立于空中接口122和直接有线连接124的通信接口。例如，如果空中接口122对应于Wi-Fi接口，那么IoT装置110到118中的一或多个可以具有用于彼此直接通信的蓝牙或NFC接口或其它支持蓝牙或NFC的装置。在对等网络中，服务发现方案可以多播节点、其功能和组成员关系的存在。对等装置可以基于此信息建立关联和随后交互。
IoT系统100可以任选地包含监督器装置160。在本发明的一方面中，监督器装置160通常可以观察、监控、控制或以其它方式管理IoT系统100中的各种其它组件。例如，监督器装置160可以经由空中接口122和/或直接有线连接124与接入网络(例如，接入点120)通信，以监控或管理与IoT系统100中的各种IoT装置110到118相关联的属性、活动或其它状态。监督器装置160可以具有到因特网130以及任选地到IoT服务器150的有线或无线连接。监督器装置160可从因特网130和/或IoT服务器150获得信息，所述信息可用于进一步监控或管理与各种IoT装置110到118相关联的属性、活动或其它状态。监督器装置160可为独立装置(如所展示)，但将理解，监督器装置可包含IoT装置110到118、接入点120、计算机140，或任何其它电子装置(智能手机、平板电脑等)中的一个或被包含在其中。例如，监督器装置160可为IoT空调上的面板，或智能手机或平板上的应用程序。监督器装置160可为物理装置或在物理装置上运行的软件应用程序。监督器装置160可包含用户接口，所述用户接口可输出与和IoT装置110到118相关联的属性、活动或其它状态的信息且接收输入信息来控制或以其它方式管理与其相关联的属性、获得或其它状态。因此，监督器装置160通常可包含各种组件，且支持各种有线和无线通信接口以观察、监控、控制或以其它方式管理IoT系统100中的各种组件。
除了各种IoT装置110到118之外，图1中所展示的IoT系统100可进一步包含一或多个无源IoT装置(与有源IoT装置110到118相反)，所述一或多个无源IoT装置可耦合到IoT系统100或以其它方式成为其一部分。通常，无源IoT装置可包含条形码装置、蓝牙装置、射频(RF)装置、RFID标记装置、红外线(IR)装置、NFC标记装置或可当经由短程接口查询时向另一装置提供其标识符和属性的任何其它合适装置。有源IoT装置可检测、存储、通信、作用和/或类似方法来改变无源IoT装置的属性。
例如，第一无源IoT装置可包含咖啡杯和橙汁的第二无源IoT装置容器。每一个可具有RFID标签或条形码。橱柜IoT装置可能具有适当的扫描仪或读取器，所述扫描仪或读取器可以读取RFID标签或条形码，以检测何时从橱柜IoT装置添加或移除咖啡杯。冰箱IoT装置116可具有适当的扫描仪或读取器，所述扫描仪或读取器可以读取RFID标签或条形码以检测何时从冰箱IoT装置116添加或移除橙汁的容器。响应于橱柜IoT装置检测到咖啡杯的移除且冰箱IoT装置116检测到橙汁容器的移除，监督器装置160可以接收与在橱柜IoT装置和冰箱IoT装置116处检测到的活动有关的一或多个信号。然后，监督器装置160可推断出用户正在从咖啡杯中喝橙汁和/或喜欢从咖啡杯中喝橙汁。
尽管前述将无源IoT装置描述为具有某种形式的RFID标签或条形码通信接口，但无源IoT装置可包含一或多个不具有此通信能力的装置或其它物理对象。例如，某些IoT装置可能具有适当的扫描仪或读取器机制，所述扫描仪或读取器机制可以检测与无源IoT装置相关联的形状、大小、颜色和/或其它可观察特征，以识别无源IoT装置。以此方式，任何合适的物理对象都可以传递其身份和属性，并成为IoT系统100的一部分，并由监督器装置160进行观察、监控、控制或以其它方式进行管理。此外，无源IoT装置可耦合到图1中的IoT系统100或以其它方式成为IoT系统100的一部分，且以实质上类似的方式被观察、监控、控制或以其它方式进行管理。
图2A说明根据本发明的方面的IoT装置200A的高级实例。虽然IoT装置之间的外观和/或内部组件可能显著不同，但许多IoT装置将具有某一类型的用户接口，其可包括显示器和用于用户输入的装置。无用户接口的IoT装置可以经由有线或无线网络与例如图1中的空中接口122远程通信。
如在图2A中所展示，在IoT装置200A的实例配置中，IoT装置200A的外部壳体可经配置有显示器226、电源按钮222以及两个控制按钮224A和224B，以及其它组件，如此项技术中已知的。显示器226可为触摸屏显示器，在此状况下，控制按钮224A和224B可能并非必需的。虽然未明确展示为IoT装置200A的一部分，但IoT装置200A可包含一或多个外部天线和/或内置在外部壳体中的一或多个集成天线，包含但不限于Wi-Fi天线、蜂窝天线、卫星定位系统(SPS)天线(例如，全球定位系统(GPS)天线)等。
虽然可以用不同的硬件配置来体现IoT装置(例如，IoT装置200A)的内部组件，但内部硬件组件的基本高级配置在图2A中展示为平台202。平台202可以接收并执行经由例如图1中的空中接口122和/或有线接口之类的网络接口传输的软件应用程序、数据和/或命令。平台202还可以独立地执行本地存储应用程序。平台202可包含经配置用于进行有线和/或无线通信的一或多个收发器206(例如，Wi-Fi收发器、蓝牙收发器、蜂窝式收发器、卫星收发器、GPS或SPS接收器等)，所述收发器可操作地耦合到处理系统208，所述处理系统208包含一或多个处理装置，例如微控制器、微处理器、专用集成电路、数字信号处理器(DSP)、可编程逻辑电路或其它数据处理装置。处理系统208可以在IoT装置200A的存储器系统212内执行应用程序编程指令。存储器系统212可包含只读存储器(ROM)、随机存取存储器(RAM)、电可擦除可编程ROM(EEPROM)、快闪存储卡或计算机平台通用的任何存储器中的一或多个。一或多个输入/输出(I/O)接口214可经配置以允许处理系统208与各种I/O装置进行通信并从其进行控制，所述I/O装置例如显示器226、电源按钮222、如所说明的控制按钮224A和224B、以及任何其它装置(例如，与IoT装置200A相关联的传感器、致动器、继电器、阀、开关等)。
因此，本发明的一方面可包含具有执行本文中所描述的功能的能力的IoT装置(例如，IoT装置200A)。如所属领域的技术人员将了解，各种逻辑元件可以体现在离散元件、在处理器(例如，处理系统208)上执行的软件模块或软件与硬件的任何组合中，以实现本文中所揭示的功能。例如，收发器206、处理系统208、存储器系统212和I/O接口214可全部合作用于加载、存储和执行本文中所揭示的各种功能，且因此可以在各种元件上方分配执行这些功能的逻辑。替代地，功能性可并入到一个离散组件中。因此，图2A中的IoT装置200A的特征仅被认为是说明性的，且本发明不限于所说明的特征或布置。
IoT装置200A还可包含始终启用视觉传感器210。始终启用视觉传感器210可能够检测对象和/或手势，以允许IoT装置200A与用户和/或环境进行更智能的交互，例如，允许IoT装置200A接收来自用户的肯定和否定的用户反馈。在一个实例中，始终启用视觉传感器210可能够计数房间内的人体的数目，且例如响应于此指示HVAC系统打开或关闭。在另一实例中，始终启用视觉传感器210可以将用户手势检测为反馈，如将在下文进一步论述。在一个实施方案中，视觉传感器210包含传感器元件阵列(例如，图像传感器、相机等)、专用CV计算硬件和专用微处理器。在各种实施方案中，始终启用视觉传感器210内的专用CV计算硬件可以在数字或模拟域中执行CV计算，且此CV计算硬件的实例在此项技术中为已知的。CV计算硬件从其为经设计为几乎没有除了计算CV特征外的功能性的硬件的意义上说为专用CV计算硬件。在一些实施方案中，专用CV计算硬件可以使用与传感器元件或像素的块相关联的信号的组合、总和或平均值。因此，任选地，始终启用视觉传感器210还可包含二维集成硬件。在一些实施方案中，由二维集成硬件生成的积分图像(其可为由传感器元件阵列采样的图像的仅一部分或采样窗口的积分图像)可存储在硬件扫描窗口阵列中，所述硬件说明窗口阵列还可任选地包含在始终启用视觉传感器210中。在一个实例中，硬件扫描窗口阵列包含随机存取存储器(RAM)阵列或用于存储积分图像的其它形式的模拟或数字存储器。返回到专用CV计算硬件，例如，在专用CV计算硬件的局部二进制模式(LBP)实施方案中，CV计算硬件可包含接收与图像信号(或图像信号的组合、总和或平均值的硬件(例如使用积分图像所产生))相对应的信号值并基于所述图像信号生成数字LBP标签的硬件。尽管上文将所提及专用CV计算硬件描述为与专用微处理器分开，但应理解，在一些实施方案中，专用CV计算硬件可在专用微处理器内的硬件中实施。与在处理器(例如，通用处理器，例如应用程序处理器或甚至专用微处理器)中计算CV特征(例如，上文所论述的LBP标签)相比，在专用硬件中生成所述CV特征可降低始终启用视觉传感器210的功率。然而，始终启用视觉传感器210仍然可包含耦合到CV计算硬件的专用微处理器。专用微处理器从CV计算硬件接收硬件计算CV特征，并可以执行更高级别的计算机视觉操作，例如对象类别检测(其中可以将面部检测视为特定状况)，其中任务为查找属于给定类别的图像中所有对象的位置和大小，以及其它计算机视觉操作。此外，专用微处理器可以将控制信号提供到始终启用视觉传感器210的各种子组件，包含上文所提及那些和为简洁起见没有提及的那些。在一些实施方案中，为了执行对象类别检测或其它计算机视觉操作，专用微处理器可以使用级联分类器算法来执行对象类别检测，例如面部检测或手势识别。然而，通过在硬件中实施级联分类器，可能进一步节省功率，以进一步减轻微处理器的计算负担。任选的级联分类器硬件包含级联分类器的硬件实施方案。级联分类器可经配置以基于由专用CV计算硬件计算的CV特征检测扫描窗口阵列中所存储的样本窗口内的参考对象(例如，人脸、特定人脸、用以确定房间中的人数的人体或上身、动物面部或身体)或参考手势(其可以视为时间上的参考对象序列)的存在。在一些实施方案中，使用机器学习技术在图像数据集上训练级联分类器，所述图像数据集包含将训练级联分类器的参考对象的实例以及非对象的实例，例如面部和非面部的图像。包含硬件级联分类器的始终启用视觉传感器210的操作细节可在美国专利公开案第2016/0094814和2016/0110603中找到，所述美国专利公开案两者全部内容并入本文中。在替代实施方案中，IoT装置200A可不包含始终启用视觉传感器210，而是可与始终启用视觉传感器210通信，如参考图1中的图像传感器110所展示(其中图像传感器110连接到多个装置，所述装置可包含例如IoT装置200A)。
图2B说明根据本发明的方面的无源IoT装置200B的高级实例。一般来说，图2B中所展示的无源IoT装置200B可包含与图2A中所展示的IoT装置200A相同和/或实质上类似的各种组件，所述IoT装置200A在上文更详细描述。特定来说，IoT装置200B可包含始终启用视觉传感器210。如此，为了简洁和便于描述，与图2B中所展示的无源IoT装置200B中的某些组件有关的各种细节在本文中可以被省略，其程度为上文已经相对于图2A中所说明的IoT装置200A提供相同或相似的细节。
图2B中所展示的无源IoT装置200B通常可与图2A中所展示的IoT装置200A不同之处在于无源IoT装置200B可以不具有处理系统208、存储器系统212或某些其它组件。相反，在一个方面中，无源IoT装置200B可仅包含I/O接口214或其它合适的机制，其允许在受控IoT网络内观察、监控、控制、管理或以其它方式知道无源IoT装置200B。例如，在一个方面中，与无源IoT装置200B相关联的I/O接口214可包含条形码、蓝牙接口、射频(RF)接口、RFID标签、IR接口、NFC接口或任何其它合适的I/O接口，所述I/O接口当经由短程接口进行查询时可以向另一装置(例如，可检测、存储、通信、作用或以其它方式处理与和无源IoT装置200B相关联的属性有关的信息的有源IoT设备，例如IoT装置200A)提供与无源IoT装置200B相关联的标识符和属性。在IoT装置200A和200B的特定实施方案中，始终启用视觉传感器210识别的对象或手势可传递给适当的装置，例如图1的监督器装置160或IoT系统的用于训练IoT系统的其它适当组件，或者，在具有机载处理能力的IoT装置200A的状况下，此类反馈可用于本地训练，而无需与监督器装置进行通信。在替代实施方案中，始终启用视觉传感器210可以集成在监督器装置160内，其中监督器装置160接收用户反馈，而IoT装置200A和200B经训练或基于来自监督器装置160的训练来接收配置。
尽管前述将无源IoT装置200B描述为具有RF、条形码或其它I/O接口214的某一形式，但无源IoT装置200B可包括不具有此I/O接口214或其它物理对象。例如，某些IoT装置可以具有可以检测与无源IoT装置200B相关联的形状、大小、颜色和/或其它可观察特征的适当扫描仪或读取器机制。可以基于所检测的可观察特征来识别无源IoT装置200B。以此方式，任何合适的物理对象都可以传递其身份和属性，且可以在受控的IoT网络内对其进行观察、监控、控制或以其它方式进行管理。返回到较早的实例，咖啡杯可以具有可辨识的形状、大小、颜色等，且橱柜IoT装置可以确定已将所辨识咖啡杯从橱柜取出或已将其放入到橱柜中。
图3说明根据本发明的方面的UE(即，客户端装置)的实例。参考图3，UE 300A经说明为呼叫中的电话，且UE 300B经说明为触摸屏装置(例如，智能电话、平板计算机等)。如图3中所展示，UE 300A的外部壳体经配置有天线305A、显示器310A、至少一个按钮315A(例如，PTT按钮、电源按钮、音量控制按钮等)和小键盘330A，以及其它组件，如在此项技术中已知。此外，UE 300B的外部壳体经配置有触摸屏显示器305B、外围按钮310B、315B、320B和325B(例如，电源控制按钮、音量或振动控制按钮、飞行模式切换按钮等)，至少一个前面板按钮330B(例如，主页按钮等)，以及其它组件，如在此项技术中已知。虽然未明确展示为UE 300B的一部分，但UE 300B可包含一或多个外部天线和/或内置在UE 300B的外部壳体中的一或多个集成天线，包含但不限于Wi-Fi天线、蜂窝天线、卫星定位系统(SPS)天线(例如，全球定位系统(GPS)天线)等。
尽管可以利用不同的硬件配置来体现例如UE 300A和300B的UE的内部组件，但用于内部硬件组件的基本高级UE配置在图3中展示为平台302。平台302可以接收并执行从因特网130和/或其它远程服务器和网络(例如，IoT服务器150、网络URL等)发送的软件应用程序、数据和/或命令。平台302可包含可操作地耦合到处理系统308的收发器306，处理系统308包含专用集成电路(ASIC)、微处理器、逻辑电路、其它数据处理装置或其任何组合。处理系统308或其它处理器执行与UE 300A和300B的存储器系统312中的任何驻留程序接口的应用程序编程接口(API)310层。存储器系统312可由只读或随机存取存储器(RAM和ROM)、EEPROM、快闪存储卡或计算机平台共有的任何存储器构成。平台302还可包含本地数据库314，其可以存储在存储器系统312中未积极使用的应用程序以及其它数据。本地数据库314通常为快闪存储器单元，但可为如此项技术中所已知的任何次要存储装置，例如磁性媒体、EEPROM、光学媒体、磁带、软碟或硬碟，等等。
因此，本发明的一方面可包含用户设备(UE)，所述用户设备包含执行本文中所描述的功能的能力，例如用作类似于图1的监督器装置160的监督器装置。此外，UE 300A和/或300B可包含能够接收用户反馈(包含来自用户的用于训练IoT系统的手势)的集成式始终启用视觉传感器210。如所属领域的技术人员将了解，各种逻辑元件可以体现在离散元件、在处理器上执行的软件模块或软件与硬件的任何组合中，以实现本文中所揭示的功能。例如，处理系统308、存储器系统312、API 310和本地数据库314可以全部合作地用于加载、存储和执行本文中所揭示的各种功能，且用以执行这些功能的逻辑可以分布在各种元件上方。替代地，功能性可并入到一个离散组件中。因此，图3中的UE 300A和300B的特征仅被认为是说明性的，且本发明不限于所说明的特征或布置。
往返于UE 300A和/或300B的无线通信可以基于不同的技术，例如CDMA、W-CDMA、时分多址(TDMA)、频分多址(FDMA)、正交频分多路复用(OFDM)、GSM或其它可以在无线通信网络或数据通信网络中使用的协议。如上文中所论述和此项技术中已知，可以使用各种网络和配置将语音传输和/或数据传输到UE。因此，本文中所提供的说明并非旨在限制本发明的各方面，而仅旨在帮助描述本发明的各方面。
图4A到4B大体说明不同的场景，其中各种IoT装置与监督器装置，彼此和/或IoT系统的用户交互。
在图4A中，在配备有类似于图1中所描绘的IoT系统100的IoT系统的家庭的地下室中描绘用户401。在地下室中设置有图像传感器410(类似于图1中所描绘的图像传感器110和/或图2A的始终启用视觉传感器210)，以及灯413(类似于图1中所描绘的灯113)。图像传感器410和灯413可以经配置以与监督器装置460(与图1中所描绘的监督器装置160类似)交互。尽管展示直接有线连接(类似于图1中所描绘的直接有线连接124)，但将理解，图像传感器410和灯413可以本发明所阐述的任何合适方式与监督器装置460通信。另外或替代地，图像传感器410和监督器装置460可以集成到单个装置中。此外，在一些实施方案中，监督器装置460可以被集成到其控制的装置中，在此实例中，灯413。从对IoT装置200A、200B和UE300A、300B的先前讨论中可以了解，其中的每一个可以用作监督器装置460。
在图4A中所描绘的场景中，用户401已下楼梯到黑暗的地下室中。图像传感器410确定用户401已进入地下室，且激活灯413。如上文所述，图像传感器410可以任何合适的方式(例如，直接使用对等通信或与监督器装置460合作)与灯413进行交互。用户401注意到灯413已被激活的事实，且以例如手势、面部姿态或任何其它合适的动作来发信号通知其许可。图像传感器410和/或监督器装置460可经配置以辨识和解释手势。
假设辨识和解释手势的能力，图4A中所描述的IoT系统可直接从用户401获得实时反馈。特定来说，当用户401用手势表示其许可时，IoT系统可辨识手势且将所述手势解释为许可的标志。
基于肯定的反馈，IoT系统可经配置以得出结论，即用户401可能更偏好在用户401进入地下室时激活灯413。因此，将IoT系统将来可在用户401进入地下室时激活灯413，或增加当用户401进入地下室时触发灯413的激活的可能性。
在图4B中，用户401被描绘在具有一或多个大窗户的日光室中。在图4B所描绘的场景中，用户401已进入日光室，所述日光室由自然阳光明亮地照亮。图像传感器410确定用户401已进入日光室，且激活灯413。
用户401得出结论，在阳光明媚的晴天在日光室中激活灯413是浪费的，且可能不许可灯413的激活。用户401用手势来发信号通知其不许可，且图像传感器410和/或监督器装置460辨识所述手势并将其解释为不许可的标志。因此，IoT系统将来可避免当用户401进入日光室时灯413的激活，或降低当用户401进入日光室时将触发灯413的激活的可能性。
在一个实例情景中，可以训练IoT系统仅当多云或黑暗时才激活日光室中的灯413。在一些实施方案中，IoT系统可能够使用太阳能电池板411(类似于图1中所描绘的太阳能电池板111)来确定日光室中是否有足够的阳光。在其它实施方案中，IoT系统可依赖于光传感器、内部时钟和/或经由因特网130接收的天气指示符。替代地或另外地，在图4B的实例中，IoT系统可以辨识不许可手势与日光室已经很明亮之间的相关性。例如，当房间黑暗且灯被激活时，用户401先前已发信号通知其许可灯413的激活。如此，IoT系统辨识在日光室黑暗时许可灯413的激活与在日光室明亮时不许可灯413启动之间的相关性。因此，当用户在晴天进入日光室时或当房间内的环境光线充足时，IoT系统将来可避免灯413的激活和/或降低这样做的可能性，但保持在日光室黑暗的同时激活灯413的可能性。因此，IoT系统可以获取其可用的所有传感器数据的输入，包含例如环境光传感器。
因此，用户401可通过提供肯定的用户反馈(在晴天时)和否定的用户反馈(在多云或黑暗时)的混合来训练IoT系统。可通过辨识用户401的手势并解释所辨识的手势来完成训练。例如，将所辨识手势识别为指示肯定的用户反馈、否定的用户反馈或任何其它合适类型的反馈。所述训练可通过以下操作来推动：注意上下文条件(例如，由太阳能电池板411检测到日照水平)，且响应于所述上下文条件重新配置用于执行灯413激活的触发。
图5大体上说明用于配置和/或重新配置IoT系统以响应于上下文数据来执行功能的方法500A。方法500A可以由例如类似于图1中所描绘的IoT系统100的IoT系统的一或多个组件来执行。如将在下文更详细地论述，根据本发明的方面，方法500A可经重新配置任何次数。可从方法500A的重新配置出现的方法的实例包含图7中所描绘的方法500B和图9中所描绘的方法500C。
在510，方法500A识别一或多个触发条件，确定一或多个触发条件是否成立，并在发生触发时进行到550。例如，如果第一条件C1成立(即，C1＝真)，那么方法500A继续进行到550(在510处为“是”)。如果C1不成立(即，C1＝假)，那么方法500A返回到510(在510处为“否”)。因此，C1＝真构成继续进行到550的触发条件。
如本文中所使用，条件可是指由IoT系统感测到的任何上下文条件，无论是通过使用IoT系统内的适当传感器直接检测条件，还是从网络或因特网130接收的数据。所述条件可为IoT系统所处环境的特性(例如，如果用户401存在于地下室中，C1＝真)，或可为所检测到的在环境内发生的条件(例如，事件或转换)的改变(例如，用户401进入地下室，致使存在指示器从假转换为真)。
出于说明目的，本文中将C1描述为真或假，但其它布置也为可能的。例如，C1可以为通过恒温器114感测到的温度(例如，从0°到200°的温度范围内的值)，或由太阳能电池板411产生的瓦特数(例如，在从0W到1,000W的瓦特数范围内的值)。在一些实施方案中，可使用阈值将C1的值映射到真/假确定。例如，C1可经设置使得在所感测温度大于阈值温度75°的情况下C1＝真，且在所感测温度不大于阈值温度的情况下C1＝假。
在550处，方法500A响应于510处的触发(即，确定C1成立)而执行IoT系统的功能。返回到先前实例，C1可为用户401存在于图4A中所描绘的地下室中。IoT系统可确定地下室中存在图4A中所描绘的用户401(即，C1＝真)，因此触发IoT系统激活地下室中的灯413。
在560处，方法500A从图像传感器(例如，在图4A到4B中所描绘的图像传感器410)接收图像数据。图像传感器410可被包含为图4A到4B中所描绘的独立图像传感器ad，但可另外或替代地包含在类似于IoT装置200A、200B和/或200C的IoT装置中(类似于图像传感器210)，或在能够将数据发送到例如UE 300A和/或300B的IoT系统的移动装置中。图像数据可包含例如图像帧序列。在一些实施方案中，图像数据可由图像传感器410和/或在类似于图4A到图4B中所描绘的监督器装置460的监督器装置处接收和处理。在一些实施方案中，可在具有预定持续时间的有限时间窗口(例如，在510处触发发生时开始且在预定时间量(或帧数)之后终止的时间窗口)期间捕获图像数据。时间窗口的持续时间可反映期望接收用户反馈的时间量，例如二十秒。
在570处，方法500A辨识在560处接收的图像数据中的手势。IoT系统可仅能够辨识单个手势，或替代地可辨识任何数目个不同手势。可使用任何合适的图像处理技术来执行辨识。在一些实施方案中，手势可存在于单个图像帧中，例如，微笑的脸、皱着眉头的脸、竖起拇指、拇指向下或能够在单个图像帧中捕获的其它手势。在其它实施方案中，手势可为在不同图像帧中具有一系列不同手势分量的多分量手势，例如用户点头、从左向右移动头、手势，或在不同图像帧中具有一系列不同手势分量的其它多分量手势。
在580处，方法500A解释所辨识手势以生成用户反馈数据。如上文所述，IoT系统可能能够辨识任何数目个不同手势。IoT系统可经配置以在任何数目个不同手势之间进行区分，且可进一步经配置以将特定所辨识手势转换为特定类型的反馈。在图4A的实例中，IoT系统辨识第一手势并将所辨识第一手势解释为表示许可(即，肯定的用户反馈)。结果为可在存储器系统中生成和/或记录的肯定的用户反馈数据。在图4B的实例中，IoT系统辨识与第一手势不同的第二手势，并将所辨识第二手势解释为表示不许可(即，否定的用户反馈)。结果为可在存储器系统中生成和/或记录的否定的用户反馈数据。如将在下文更详细地论述，根据本发明的方面，用户反馈数据(肯定、否定或其它)可用于重新配置IoT系统。为此，IoT系统可存储所生成用户反馈数据以供稍后使用。
在590处，方法500A基于用户反馈数据重新配置IoT系统以用于将来在550处执行功能，所述用户反馈数据又是使用来自一或多个用户的所辨识手势来生成。如此，方法500A包含基于570的所辨识手势来重新配置IoT系统以用于将来执行功能。
在一些实施方案中，重新配置可包括增加与当前使用的触发条件相关联的置信度。例如，在图4A的实例中，用户401进入地下室，灯413被激活，且用户401向图像传感器410发信号通知其许可。IoT系统可追踪执行功能的实例(如果C1＝真那么激活灯413，C1为用户401存在)与接收肯定的用户反馈的实例之间的相关性。IoT系统可使用第一相关性得分S1来追踪相关性。S1的值可在–1与+1之间，其中–1表示最大负相关，且+1表示最大正相关。S1＝0的值可指示C1与执行功能的许可之间的相关性为未知、不明确和/或不存在。当用户401向图像传感器410发信号通知其许可时，IoT系统可能相对于其先前值增加S1(即，趋向+1)。
在其它实施方案中，重新配置可包括降低与当前使用的触发条件相关联的置信度。例如，在图4B的实例中，用户401进入自然照明的日光室，灯413被激活，且用户401向图像传感器410发信号通知其不许可。当用户401向图像传感器410发信号通知其不许可时，IoT系统可能相对于其先前值降低S1(即，趋向-1)。
作为方法500A的一或多个重新配置的结果，可出现一种新的方法500B，如下文将参考图7更详细地论述。除增加和/或减少S1外或作为其替代，重新配置可包括开始监控超出第一条件C1的额外上下文条件，如将在下文参考图6更详细地论述。
图6大体上说明重新配置算法的实例实施方案。图6中所描绘的重配置算法可为图5的590处所描绘的重配置算法的实例实施方案。
在610处，已辨识并解释手势的重配置算法(在570和580处)确定所识别的手势为肯定的用户反馈还是否定的用户反馈。(为了简化说明，将假设IoT系统能够辨识两个手势，这两个手势包括表示许可的肯定的反馈手势和表示不许可的否定的反馈手势。)如果所辨识手势为肯定的(610处为“(+)”)，那么重新配置算法继续进行到612。如果所辨识手势为否定的(610处为“(-)”)，那么重新配置算法继续进行到614。
在612处，增加第一相关性得分S1。相比之下，在614处，减小第一相关性得分S1。如上文所述，S1可反映与响应于由IoT系统当前使用的触发(即C1＝真)确定在550处是否应执行功能而将来在550处执行功能相关联的置信度。
增加和减少可为以任何适当的增量或减量，且可基于任何适当的技术。在一些实施方案中，S1可以预定间隔(例如，±0.1)增大或减小。在其它实施方案中，可以计算统计相关性。统计相关性可基于任何数目个反馈实例，例如，十个最新实例、二十个最新实例或所有先前记录的实例。
在一些实施方案中，相关性得分可是指记录在存储器中的显式值。在其它实施方案中，相关性得分可为不可直接检索的隐式值。例如，相关性得分可为与机器学习算法有关的一或多个因素。在一些实施方案中，相关性得分基于加权反馈。例如，相比更多的远程反馈(其可经指派较低权重系数)，较新的反馈可以经更重地加权(例如，经指派较高的权重系数)。
如上文所述，在610处执行的辨识可与在两个(或更少)所辨识手势之间进行区分一样简单。然而，将理解，根据本发明的方面，更复杂的确定为可能的，例如，三个或更多个手势的辨识。例如，第三所辨识手势可能会被解释为强烈不许可(致使S1相对较大的增加)，而第四所辨识手势可能会被解释为强烈不许可(致使S1的相对较大降低)。在一些实施方案中，如果用户401未做出所辨识手势，那么这可以解释为表示默许许可的轻微肯定的反馈(致使S1的相应的轻微增加)。
在650处，重新配置算法可确定第一相关性得分S1是否超过置信度阈值。如果S1超过置信度阈值(在650为“是”)，那么图5中的590处所描绘的重新配置可能完成，且方法500A可返回到510，如图5中所描绘。如果S1没有超过置信度阈值(在650处为“否”)，那么重新配置算法可在返回到510之前继续进行到660。
在660处，重新配置算法开始监控第二条件C2。如将从图6理解，IoT系统最初假定对第一条件C1的了解足以确定是否在550处执行功能。然而，在从用户401接收到一定量的否定的反馈之后，IoT系统可能会失去对C1＝真作为在510处所使用的唯一触发条件的置信度。此置信度的损失可以任何合适的方式反映，例如，反映为降低低于置信度阈值的第一相关性得分S1。
如上文所述，受监控条件的数目仅受IoT系统的存储和处理能力限制。因此，尽管本发明的其余部分仅参考两个条件C1和C2，但将理解，可监控任何数目的条件C3、C4、…CN。
在一些实施方案中，IoT系统可能具有有限的存储和/或处理能力。因此，直到需要改进IoT系统的性能(即，当S1下降低于置信度阈值时)，IoT系统才可能开始监控第二条件C2。如上文所述，这是图6中所描绘的方法。然而，在具有过多存储和/或处理能力的IoT系统中，可始终监控每个可监控条件，且可无限期地记录和/或存储结果，即使其在被记录和/或存储到IoT系统的任何功能时尚未知晓任何相关性。因此，代替开始监控第二条件C2(如在660处)，IoT系统可简单地收集与C2、C3、C4、…CN或其任何组合相关的已记录数据。然后IoT系统可基于所记录数据来生成相应相关性得分S2、S3、S4、…SN，且识别用于确定是否应触发在550处执行功能。另外或替代地，IoT系统还可基于所记录数据来生成任何数目个组合相关性得分，且识别在其下应执行550的功能的条件的最佳组合。组合相关性得分可基于成对的不同条件(例如，C1和C2)，但应理解，组合相关性得分也可基于三个一组(C1、C2和C3)，四个一组(C1、C2、C3，和C4)，等等。
图7大体上说明用于配置和/或重新配置IoT系统以响应于上下文数据来执行功能的方法500B。方法500B可以由例如类似于图1中所描绘的IoT系统100的IoT系统的一或多个组件来执行。方法500B可在一些方面中与方法500A类似，且在一些实施方案中，可构成在图5和/或图6中的590处执行的重新配置的结果。例如，类似于方法500A，方法500B可包含在510处确定，在550处执行功能，在560处接收图像数据，在570处进行辨识，在580处进行解释以及在590处进行重新配置。然而，与方法500A不同，方法500B不响应于确定C1＝真(在510处为“是”)而直接继续进行到在550处执行功能。替代地，方法500B在继续进行到在550处执行功能之前继续进行到720。
在720处，方法500B确定第二条件C2是否成立。在720处的确定可进一步包含在存储器系统中记录和/或存储与C2相关联的数据(例如，C2的特定值)。应理解，可能已插入在720处确定，作为图6中所描绘的重新配置算法的结果，所述确定已被插入到先使用方法500A中以便产生当前使用方法500B。
作为方法500B的一或多个重新配置的结果，可出现新的方法500C，如下文将参考图9更详细地论述。
图8大体上说明另一重新配置算法的实例实施方案。图8中所描绘的重配置算法可为图7中所描绘的590处的重新配置的实例实施方案。
一旦IoT系统开始监控额外条件(例如，图7中所描绘的C2)，IoT系统也可开始追踪每一额外条件的相关性得分(例如，第二相关性得分S2)。在图8中，重新配置算法追踪S1和S2。然后，IoT系统使用相关性得分来确定是否可细化触发条件(其当前使用C1＝真作为唯一触发条件)(例如，通过根据C2或C1和C2的组合来表达触发条件)。这些细化可能会增加在560到580收到肯定的用户反馈的可能性。
在810处，已辨识并解释手势(在560到580处)的重配置算法确定所辨识手势为肯定的用户反馈还是否定的用户反馈。如果所辨识手势为肯定的(810处为“(+)”)，那么重新配置算法继续进行到812。如果所辨识手势为否定的(810处为“(-)”)，那么重新配置算法继续进行到814。
在812处，增加第一相关性得分S1，且然后辨识算法继续进行到820A。相比之下，在814处，减小第一相关性得分S1，且然后辨识算法继续进行到820B。如上文所述，响应于当前使用的触发条件(即，C1＝真)，S1可以反映与将来在550处执行功能相关联的置信度)。
在820A处，辨识算法确定第二条件C2为真还是假。如果C2＝真，那么重新配置算法继续进行到822。如果C2＝假，那么重新配置算法继续进行到824。
在820B处，辨识算法做出关于第二条件C2为真还是假的相同确定，但与820A处的确定不同地继续进行。特定来说，如果C2＝假，那么重新配置算法继续进行到822。如果C2＝真，那么重新配置算法继续进行到824。
在822处，增加第二相关性得分S2。相比之下，在824处，减小第二相关性得分S2。如上文所述，响应于触发C2＝真，S2可以反映与未来在550处执行功能相关联的置信度。
在830处，辨识算法任选地确定对应于不同的条件组合的一或多个组合相关性得分Scombo1、Scombo2、Scombo3和/或Scombo4。例如，一或多个组合相关性得分可与表1中所展示的条件的特定组合相关联。
表1
相关性得分 C1 C2
Scombo1 真 真
Scombo2 真 假
Scombo3 假 真
Scombo4 假 假
如上文所述，一或多个组合相关性得分Scombo1、Scombo2、Scombo3，和/或Scombo4可反映与响应于混合触发将来在550处执行功能相关联的置信度。为了简洁起见，在图8中未描绘在830处的确定的细节。然而，应理解，可使用类似于如上文关于820A、820B、822和824所描述的S2的增加和/或减少的方法来确定任何特定组合相关性得分。例如，假设在810处接收到肯定的反馈。为了在830处确定Scombo2，辨识算法可首先确定是否((C1＝真)与(C2＝假))＝真。
如果((C1＝真)与(C2＝假))为真，那么Scombo2可能会在类似于在812处的增加和/或在822处的增加的操作中增加。相比之下，如果((C1＝真)与(C2＝假))不为真，那么Scombo2可能会在类似于在814处的增加和/或在824处的降低的操作中降低。
在850处，重新配置算法可确定任何替代相关性得分(即，S2和/或ScomboX)是否超过置信度阈值。置信阈值可设置为例如在812或814确定的第一相关性得分S1，或任何其它合适值。如果任何替代相关性得分超过置信度阈值(在850处为“是”)，那么重新配置算法可在返回到510之前继续进行到860。如果额外相关性得分均未超过置信度阈值(在850处为“否”)，那么方法500A可直接返回到510，如图8中所描绘。
将理解，在850处的确定为对额外条件中的一个(例如，C2＝假)还是条件的特定组合(例如，C1＝真和C2＝假)的查询较之当前使用的触发条件(当前使用的触发条件仅依赖于第一条件C1)将为肯定的用户反馈的更佳预测值。如果S2和/或ScomboX大于S1，则此可指示C1应不是唯一的触发条件。如将在下文更详细地论述，重新配置算法可重新配置IoT系统，使得除了C1以外的至少一个条件被用作用于确定是否在550处执行功能的基础。
在860处，重新配置算法可为将来执行功能(在550处执行)重新配置触发条件。例如，在图5中，方法500A根据触发条件C1＝真继续进行在550处执行功能。同样对于图7中所描绘的方法500B。然而，在860处执行重新配置之后，在继续进行在550处执行功能之前，可以检查一或多个额外条件(例如，C2)。在图9中描绘此重新配置的一种可能结果，如将在下文更详细地论述。
图9大体上说明用于配置和/或重新配置IoT系统以响应于上下文数据来执行功能的方法500C。方法500C可以由例如类似于图1中所描绘的IoT系统100的IoT系统的一或多个组件来执行。方法500C在某些方面可以类似于方法500A和/或方法500B，且在一些实施方式中，可以构成在图5到8中的一或多个中在590处执行的重新配置的结果。例如，类似于方法500A和方法500B，方法500C可包含在510处确定，在550处执行功能，在560处接收图像数据，在570处进行辨识，在580处进行解释以及在590处进行重新配置。然而，与方法500A和方法500B不同，方法500C并未响应于确定C1＝真(在510处为“是”)而继续进行在550处执行功能。相反，方法500C继续进行到920。
在920处，方法500C确定第二条件C2是否成立。特定来说，如果C2＝假，那么方法500A继续进行到550(在920为“是”)。但，如果C2＝真，那么方法500C返回到510(在920处为“否”)。因此，((C1＝真)与(C2＝假)＝真)构成继续进行到550的触发，且C1和C2的任何其它组合致使返回到510。
在920处的确定可进一步包含在存储器系统中记录和/或存储与C2相关联的数据(例如，C2的特定值或C2的真/假条件)，类似于在图7中所描绘的720处的确定。
回想一下，在图8中，IoT系统在850处确定至少一个额外相关性得分(例如，Scombo2)是否超过置信度阈值，且在超过置信度阈值(在850处为‘是’)时继续进行到860。进一步回想一下，在860处，IoT系统重新配置将来执行功能(在550处执行)的触发条件。图9中所描绘的方法500C可表示所述重新配置的一种可能结果。在方法500C中，触发条件不再仅基于C1＝真的确定(如在方法500A和方法500B中)。相反，为了在550处执行功能，IoT系统必须做出两个确定：在510处C1＝真的第一确定和在920处C2＝假的第二确定。
现在，将返回到图4A到4B的实例情景，以说明在一个特定情景中，如何使用手势辨识来训练IoT系统。
在图4A中所描绘的场景中，用户401已下楼梯到黑暗的地下室中，且IoT系统响应于确定存在用户401来激活灯413(C1＝真)。现在考虑如果IoT系统根据图5中所描绘的方法500A起作用，其将如何表现。在510处，IoT系统将在510处确定用户401是否存在。当方法500A检测到存在用户401(C1＝真)时，IoT系统将继续进行到550，其中其将执行激活灯413的功能。图像传感器410然后将接收图像数据(在560处)，且手势将在图像数据中被辨别(在570处)。所辨别手势将被解释为肯定的用户反馈(在580处)，且响应于确定用户401已进入地下室(例如，如在图6中的612处所描绘，增加第一置信度得分S1)，通过增加与灯413的激活相关联的置信度来重新配置IoT系统。
在图4B中所描绘的情景中，用户401已进入自然照明的日光室，且IoT系统响应于确定存在用户401(C1＝真)来激活灯413。现在考虑如果IoT系统根据图5中所描绘的方法500A起作用，其将如何表现。在510处，IoT系统将在510处确定用户401是否存在。当方法500A检测到存在用户401(C1＝真)时，其将继续进行到550，其中其将执行激活灯413的功能。图像传感器410然后将接收图像数据(在560处)，且手势将在图像数据中被辨别(在570处)。所辨别手势将被解释为否定的用户反馈(在580处)，且响应于确定用户401已进入日光室(例如，如在图6中的614处所描绘，减少第一置信度得分S1)，通过减少与灯413的激活相关联的置信度来重新配置IoT系统。
现在考虑IoT系统在其执行图6中所描绘的辨识算法的情况下将如何表现。在610处，每当用户401在黑暗和/或多云时进入日光室时，IoT系统将辨识许可手势。此外，每当用户401在晴天进入日光室时，IoT系统将辨识不许可手势。如果在给定的时间段内有足够否定的反馈，那么第一相关性得分S1将减小。例如，如果大约一半的反馈为肯定的反馈，且另一半的反馈为否定的反馈，那么S1将趋向于零(指示没有相关性)。在S1下降到零的某一时间点，其可能会下降低于置信度阈值，例如+0.4。因此，IoT系统将在660处开始监控第二条件C2。IoT系统将放弃方法500A，而支持图7中所描绘的方法500B。
在图7中所描绘的方法500B中，仍然响应于确定C1＝真来执行在550处的灯413的激活。然而，这方法并未产生一致的肯定的反馈，因此正在监控C2以确定其它方法是否会更成功。
作为一个实例，假设第二条件C2为由太阳能电池板411测量的太阳能水平。现在考虑IoT系统在执行图8中所描绘的辨识算法时开始监控C2(如在720处)的情况下将如何表现。为了说明的清楚，在本实例中将日照水平映射到本实例中的简单的真/假确定。特定来说，如果太阳能水平为100W或更高，那么C2＝真，而如果太阳能水平低于100W，那么C2＝假。
在810处，当用户401在晚上(C2＝假)进入日光室(C1＝真)时，IoT系统将辨识许可手势。因此，S1将在812处增加，S2将在822处增加，且Scombo2将在830处增加。然而，一段时间之后，当用户401在晴天(C2＝真)时进入日光室(C1＝真)时，IoT系统将辨识不许可手势)。因此，S1将在812处减少，S2将在822处增加，且Scombo2将在830处增加。随着时间的流逝，由于在C1＝真时，IoT系统继续接收混合的用户反馈，因此第一相关性得分S1会稳定减少到零。相比之下，Scombo2将趋向于+1，指示当(C1＝真)和(C2＝假)时肯定的用户反馈的强可能性。因此，在某一时间点，Scombo2的值可能会超过S1的值。响应于在850处确定Scombo2超过S1的值，辨识算法继续进行到860。在860处，再次重新配置IoT系统，以便根据方法500C表现。
由于Scombo2已被证明为肯定的用户反馈的最佳预测值(由于其值最接近+1)，因此将方法500C中所使用的触发条件重新配置以便采用与Scombo2相关联的条件组合作为触发条件。特定来说，仅当C1为真(用户401存在)且C2为假(太阳能水平低于100W)时，方法500C才继续进行激活灯413。
通过响应于由用户提供的反馈来重新配置IoT系统，IoT系统从图5中所描绘的方法500A继续进行到图7中所描绘的方法500B(其中其试图识别新的更好的方法)。在一些数据收集之后，IoT系统从方法500B继续进行到图9中所描绘的方法500C(其中实践更佳方法)。除非用户的偏好改变(或将新的相关条件测量技术添加到IoT系统)，否则IoT系统将继续执行方法500C。尽管已参考图5到9说明IoT系统的重新配置，但应理解，可使用合并用户反馈的其它方法，包含各种机器学习方法。各种方法允许IoT系统随着时间的流逝响应肯定和否定的用户反馈，以允许IoT系统根据用户的偏好更好地控制各种装置和器具。虽然在用于激活灯的IoT系统的上下文中论述图4A和4B以及参考图5到9的随后论述，但应理解，IoT系统可在其它上下文下使用肯定和否定的用户反馈，包含自动水龙头、自动马桶、自动肥皂分配器，以及图1中提及的各种装置，例如用于调节室温的恒温器114、冰箱116以及洗衣机和干衣机118，仅举一些非限制性实例。此外，虽然本文中的揭示内容已参考IoT系统，但可以上文所描述的方式基于用户反馈重新配置智能传感器系统，所述智能传感器系统包含能够控制灯或HVAC系统的视觉传感器(例如图2A的始终启用视觉传感器210)或其它种类的装置、器具或系统，即使其无法经由因特网寻址且因此严格地说并非IoT装置。虽然前述揭示内容展示本发明的说明性方面，但请注意，可在本文中作出各种改变及修改而不脱离如随附权利要求书所界定的本发明的范围。根据本文中所描述的本发明的方面的方法权利要求书的功能、步骤及/或动作不需要以任何特定次序执行。此外，尽管本发明的元件可以单数形式进行描述或主张，但涵盖复数形式，除非明确地陈述对单数形式的限制。
在以下描述和相关附图中揭示各个方面，以展示与IoT系统的示范性方面有关的特定实例。替代的方面对于所属领域的技术人员来说在阅读本发明之后将为显而易见的，且在不脱离本发明的范围或精神的情况下可以被构造和实践。另外，众所周知元件将不详细描述或可被省略以便不混淆本文中所揭示方面的相关细节。
措词“示范性”在本文中用于意指“用作实例、例子或说明”。本文中描述为“示范性”的任一方面未必解释为比其它方面较佳或有利。同样地，术语“方面”不需要所有方面包含所论述的特征、优点或操作模式。
本文中所使用的术语仅描述特定方面，且不应解释为限制本文中所揭示的任何方面。如本文中所使用，除非上下文另有明确指示，否则单数形式“一”及“所述”意欲包含复数形式。将进一步理解，术语“包括(comprise)”、“包括(comprising)”、“包含(include)”和/或“包含(including)”在本文中使用时规定所述特征、整数、步骤、操作、元件及/或组件的存在，但不排除存在或添加一或多个其它特征、整数、步骤、操作、元件、组件及/或其群组。类似地，本文中所使用的短语“基于”不一定排除其它因素的影响，且在所有状况下都应解释为“至少部分基于”，而不是例如“仅基于”或“仅基于”。
此外，许多方面是就由(例如)计算装置的元件执行系列动作方面加以描述。将认识到，本文中所描述的各种动作可以由特定电路(例如，一或多个通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任意组合)执行。将进一步认识到，本文中所描述的各种动作可通过执行程序指令来执行。另外，可认为本文中所描述的动作序列完全体现在包括任何形式的计算机可读存储媒体(例如，RAM、快闪存储器、ROM、EPROM、EEPROM、寄存器、硬盘、可移动磁盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体)的存储器系统内。存储器系统可存储和/或提供用于致使处理系统执行本文中所描述的对应功能性的代码。因此，所属领域的技术人员将了解，结合本文中所揭示的方面描述的各种说明性的逻辑块、模块、电路和算法可以实施为电子硬件、计算机软件或两者的组合。此类功能性是实施为硬件还是软件还是两者取决于特定应用和施加在整个系统上的设计约束。

Claims (20)

1.一种在物联网IoT系统中执行学习的方法，其包括：
确定第一条件是否成立，所述第一条件为由所述IoT系统的第一IoT传感器感测到的上下文条件，其中所述上下文条件包括所述IoT系统所处的环境的特性或所检测到的在所述环境内发生的改变；
响应于触发而执行所述IoT系统的功能，其中所述触发为确定所述第一条件成立；
基于从图像传感器接收的图像数据来辨识手势，所述手势指示响应于所述功能的执行的用户反馈，所述手势包括许可手势或不许可手势，其中辨识手势进一步包括辨识一组手势，所述组手势对应于执行所述IoT系统的所述功能的不同相应实例；
基于所述所辨识手势，重新配置所述IoT系统以用于将来执行所述功能，所述功能的将来执行响应于所述触发，其中所述重新配置包括将所述所辨识手势解释为：
与所述许可手势相关联的肯定的反馈手势，其中肯定的用户反馈数据基于所述肯定的反馈手势而被生成，或者
与所述不许可手势相关联的否定的反馈手势，其中否定的用户反馈数据基于所述否定的反馈手势而被生成；
确定第二条件是否成立，所述第二条件为由所述IoT系统的第二IoT传感器感测到的与所述第一条件不同的另一上下文条件；以及
确定所述组手势为混合的一组手势，所述混合的一组手势包含与肯定的用户反馈数据相关联的一或多个手势和与否定的反馈手势相关联的一或多个手势，其中所述第二条件是否成立的所述确定响应于所述组手势为所述混合的一组手势的所述确定。
2.根据权利要求1所述的方法，其中所述重新配置包含调整指示所述第一条件与所述所辨识手势之间的相关性的第一相关性得分。
3.根据权利要求2所述的方法，其中调整所述第一相关性得分包括：
响应于所述所辨别手势为肯定的反馈手势的确定而增加所述第一相关性得分；及
响应于所述所辨别手势为否定的反馈手势的确定而减少所述第一相关性得分。
4.根据权利要求1所述的方法，其中：
基于使用与所述IoT系统相关联的所述第一IoT传感器收集的第一条件数据来确定所述第一条件是否成立；且
基于使用与所述IoT系统相关联的所述第二IoT传感器收集的第二条件数据来确定所述第二条件是否成立。
5.根据权利要求2所述的方法，其中所述重新配置进一步包括以下一者或多者：
调整指示所述所辨识手势与所述第二条件之间的相关性的第二相关性得分；或
调整指示在所述所辨识手势与所述第一条件和所述第二条件的组合之间的相关性的组合相关性得分。
6.根据权利要求5所述的方法，其中所述重新配置进一步包括：
对所述第一相关性得分与所述第二相关性得分和/或所述组合相关性得分进行比较；
确定所述第二相关性得分和/或所述组合相关性得分超过所述第一相关性得分；及
响应于所述确定，重新配置用于执行所述IoT系统的功能的所述触发，使得所述触发为：
所述第二条件成立的确定；或
所述第一条件和所述第二条件两者均成立的确定。
7.根据权利要求1所述的方法，其进一步包括：
根据所述IoT系统的所述重新配置，第二次执行所述IoT系统的所述功能。
8.一种物联网IoT系统，所述IoT系统包括：
存储器系统，其经配置以存储数据和/或指令；及
处理系统，其耦合到所述存储器系统，所述处理系统经配置以：
确定第一条件是否成立，所述第一条件为由所述IoT系统的第一IoT传感器感测到的上下文条件，其中所述上下文条件包括所述IoT系统所处的环境的特性或所检测到的在所述环境内发生的改变；
响应于触发而执行所述IoT系统的功能，其中所述触发为确定所述第一条件成立；
基于从图像传感器接收的图像数据来辨识手势，所述手势指示响应于所述功能的执行的用户反馈，所述手势包括许可手势或不许可手势，其中辨识手势包括辨识一组手势，所述组手势对应于执行所述IoT系统的所述功能的不同相应实例；
基于所述所辨识手势，重新配置所述IoT系统以用于将来执行所述功能，所述功能的将来执行响应于所述触发，其中重新配置所述IoT系统包括将所述所辨识手势解释为：
与所述许可手势相关联的肯定的反馈手势，其中肯定的用户反馈数据基于所述肯定的反馈手势而被生成，或者
与所述不许可手势相关联的否定的反馈手势，其中否定的用户反馈数据基于所述否定的反馈手势而被生成；
确定第二条件是否成立，所述第二条件为由所述IoT系统的第二IoT传感器感测到的与所述第一条件不同的另一上下文条件；及
确定所述组手势为混合的一组手势，所述混合的一组手势包含与肯定的用户反馈数据相关联的一或多个手势和与否定的反馈手势相关联的一或多个手势，其中确定所述第二条件是否成立是响应于所述组手势为所述混合的一组手势的所述确定的。
9.根据权利要求8所述的IoT系统，其中为了重新配置所述IoT系统，所述处理系统经进一步配置以：
调整指示所述第一条件与所述所辨识手势之间的相关性的第一相关性得分。
10.根据权利要求9所述的IoT系统，其中为了调整所述第一相关性得分，所述处理系统经进一步配置以：
响应于所述所辨别手势为肯定的反馈手势的确定而增加所述第一相关性得分；及
响应于所述所辨别手势为否定的反馈手势的确定而减少所述第一相关性得分。
11.根据权利要求8所述的IoT系统，其中：
所述IoT系统的所述第一IoT传感器经配置以收集第一条件数据；及
所述IoT系统的所述第二IoT传感器经配置以收集第二条件数据；
其中所述处理系统经进一步配置以：
基于所述第一条件数据确定所述第一条件是否成立；且
基于所述第二条件数据确定所述第二条件是否成立。
12.根据权利要求9所述的IoT系统，其中为了重新配置所述IoT系统，所述处理系统经进一步配置以：
调整指示所述所辨识手势与所述第二条件之间的相关性的第二相关性得分；及
调整指示在所述所辨识手势与所述第一条件和所述第二条件的组合之间的相关性的组合相关性得分。
13.根据权利要求12所述的IoT系统，其中为了重新配置所述IoT系统，所述处理系统经进一步配置以：
对所述第一相关性得分与所述第二相关性得分和/或所述组合相关性得分进行比较；
确定所述第二相关性得分和/或所述组合相关性得分超过所述第一相关性得分；及
响应于确定所述第二相关性得分和/或所述组合相关性得分超过所述第一相关性得分，重新配置所述触发以用于执行所述IoT系统的功能，使得所述触发为：
所述第二条件成立的确定；或
所述第一条件和所述第二条件两者均成立的确定。
14.根据权利要求8所述的IoT系统，其中所述处理系统经进一步配置以根据所述IoT系统的所述重新配置来第二次执行所述IoT系统的所述功能。
15.一种物联网IoT系统，所述IoT系统包括：
用于确定第一条件是否成立的装置，所述第一条件为由所述IoT系统的第一IoT传感器感测到的上下文条件，其中所述上下文条件包括所述IoT系统所处的环境的特性或所检测到的在所述环境内发生的改变；
用于响应于触发而执行所述IoT系统的功能的装置，其中所述触发为确定所述第一条件成立；
用于基于从图像传感器接收的图像数据来辨识手势的装置，所述手势指示响应于所述功能的执行的用户反馈，所述手势包括许可手势或不许可手势，其中用于辨识手势的装置包括用于辨识一组手势的装置，所述组手势对应于执行所述IoT系统的所述功能的不同相应实例；
用于基于所述所辨识手势，重新配置所述IoT系统以用于将来执行所述功能的装置，所述功能的将来执行响应于所述触发，其中用于重新配置所述IoT系统的装置包括：
用于将所述手势解释为与所述许可手势相关联的肯定的反馈手势的装置，其中肯定的用户反馈数据基于所述肯定的反馈手势而被生成，以及
将所述手势解释为与所述不许可手势相关联的否定的反馈手势的装置，其中否定的用户反馈数据基于所述否定的反馈手势而被生成；
用于确定第二条件是否成立的装置，所述第二条件为由所述IoT系统的第二IoT传感器感测到的与所述第一条件不同的另一上下文条件；及
用于确定所述组手势为混合的一组手势的装置，所述混合的一组手势包含与肯定的用户反馈数据相关联的一或多个手势和与否定的反馈手势相关联的一或多个手势，其中所述第二条件是否成立的所述确定响应于所述组手势为所述混合的一组手势的所述确定。
16.根据权利要求15所述的IoT系统，其中用于重新配置的装置包括用于调整指示所述第一条件与所述所辨识手势之间的相关性的第一相关性得分的装置。
17.根据权利要求15所述的IoT系统，其中用于执行所述IoT系统的所述功能的所述装置包括：
用于根据所述IoT系统的所述重新配置，第二次执行所述IoT系统的所述功能的装置。
18.一种包括代码的非暂时性计算机可读介质，所述代码在由处理器执行时致使所述处理器在物联网IoT系统中执行操作，所述非暂时性计算机可读介质包括：
用于确定第一条件是否成立的代码，所述第一条件为由所述IoT系统的第一IoT传感器感测到的上下文条件，其中所述上下文条件包括所述IoT系统所处的环境的特性或所检测到的在所述环境内发生的改变；
用于响应于触发而执行所述IoT系统的功能的代码，其中所述触发为所述第一条件成立的确定；
用于基于从图像传感器接收的图像数据来辨识手势的代码，所述手势指示响应于所述功能的执行的用户反馈，所述手势包括许可手势或不许可手势，其中用于辨识手势的代码包括用于辨识一组手势的代码，所述组手势对应于执行所述IoT系统的所述功能的不同相应实例；
用于基于所述所辨识手势，重新配置所述IoT系统以用于将来执行所述功能的代码，所述功能的将来执行响应于所述触发，其中用于重新配置所述IoT系统的代码包括：
用于将所述手势解释为与所述许可手势相关联的肯定的反馈手势的装置，其中肯定的用户反馈数据基于所述肯定的反馈手势而被生成，以及
将所述手势解释为与所述不许可手势相关联的否定的反馈手势的装置，其中否定的用户反馈数据基于所述否定的反馈手势而被生成；
用于确定第二条件是否成立的代码，所述第二条件为由所述IoT系统的第二IoT传感器感测到的与所述第一条件不同的另一上下文条件；及
用于确定所述组手势为混合的一组手势的代码，所述混合的一组手势包含与肯定的用户反馈数据相关联的一或多个手势和与否定的反馈手势相关联的一或多个手势，其中所述第二条件是否成立的所述确定响应于所述组手势为所述混合的一组手势的所述确定。
19.根据权利要求18所述的非暂时性计算机可读介质，其中用于重新配置的代码包括用于调整指示所述第一条件与所述所辨识手势之间的相关性的第一相关性得分的代码。
20.根据权利要求18所述的非暂时性计算机可读介质，其中用于执行所述IoT系统的所述功能的所述代码包括：
用于根据所述IoT系统的所述重新配置，第二次执行所述IoT系统的所述功能的代码。
CN201880054240.6A 2017-08-25 2018-07-03 用于手势辨识的系统和方法 Active CN111033445B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/687,430 US10838505B2 (en) 2017-08-25 2017-08-25 System and method for gesture recognition
US15/687,430 2017-08-25
PCT/US2018/040744 WO2019040188A1 (en) 2017-08-25 2018-07-03 SYSTEM AND METHOD FOR GESTURE RECOGNITION

Publications (2)

Publication Number Publication Date
CN111033445A CN111033445A (zh) 2020-04-17
CN111033445B true CN111033445B (zh) 2024-04-26

Family

ID=63080515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880054240.6A Active CN111033445B (zh) 2017-08-25 2018-07-03 用于手势辨识的系统和方法

Country Status (3)

Country Link
US (1) US10838505B2 (zh)
CN (1) CN111033445B (zh)
WO (1) WO2019040188A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924480B2 (en) 2018-02-28 2021-02-16 Cisco Technology, Inc. Extended trust for onboarding
CN108509029B (zh) * 2018-03-09 2021-07-02 苏州佳世达电通有限公司 非接触式输入方法及非接触式输入系统
US11068876B2 (en) * 2018-03-30 2021-07-20 Norton LifeLock Securing of internet of things devices based on monitoring of information concerning device purchases
US11244176B2 (en) * 2018-10-26 2022-02-08 Cartica Ai Ltd Obstacle detection and mapping
US11144748B2 (en) * 2018-12-07 2021-10-12 IOT Technology, LLC. Classification system
US11883206B2 (en) 2019-07-29 2024-01-30 Hologic, Inc. Personalized breast imaging system
JP7465342B2 (ja) 2019-09-27 2024-04-10 ホロジック， インコーポレイテッド ２ｄ／３ｄ乳房画像を精査するための読み取り時間および読み取り複雑性を予測するためのａｉシステム
US11481038B2 (en) * 2020-03-27 2022-10-25 Hologic, Inc. Gesture recognition in controlling medical hardware or software
EP4083851A1 (en) * 2021-04-28 2022-11-02 Inter IKEA Systems B.V. Method and device for controlling a smart device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103890695A (zh) * 2011-08-11 2014-06-25 视力移动技术有限公司 基于手势的接口系统和方法
CN103890696A (zh) * 2011-10-12 2014-06-25 高通股份有限公司 经认证的手势辨识
CN104254817A (zh) * 2012-04-16 2014-12-31 高通股份有限公司 快速手势重新约定
CN105074684A (zh) * 2013-02-25 2015-11-18 高通股份有限公司 异构物联网（iot）设备之间的上下文知悉式动作
CN105579994A (zh) * 2013-07-11 2016-05-11 纽拉公司 用于物联网集成平台的互操作性机制

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI412392B (zh) * 2005-08-12 2013-10-21 Koninkl Philips Electronics Nv 互動式娛樂系統及其操作方法
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US20130080898A1 (en) 2011-09-26 2013-03-28 Tal Lavian Systems and methods for electronic communications
US8687848B2 (en) * 2012-01-04 2014-04-01 Cisco Technology, Inc. Techniques for context-enhanced confidence adjustment for gesture
US9646200B2 (en) * 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
US9208676B2 (en) * 2013-03-14 2015-12-08 Google Inc. Devices, methods, and associated information processing for security in a smart-sensored home
US20140101137A1 (en) 2012-10-10 2014-04-10 Salesforce.Com, Inc. System and method for a contact persona-based group in a social media network
US9961639B2 (en) * 2013-02-19 2018-05-01 Thomson Licensing Method and apparatus for notifying missed events
US20150088283A1 (en) * 2013-09-24 2015-03-26 Fibar Group sp. z o.o. Touch-less swipe control
WO2015131045A1 (en) 2014-02-28 2015-09-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging providing ratio pixel intensity
US10613642B2 (en) * 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
US9414115B1 (en) 2014-03-28 2016-08-09 Aquifi, Inc. Use of natural user interface realtime feedback to customize user viewable ads presented on broadcast media
US10409382B2 (en) * 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US9821470B2 (en) * 2014-09-17 2017-11-21 Brain Corporation Apparatus and methods for context determination using real time sensor data
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
CN111414222A (zh) 2014-12-11 2020-07-14 微软技术许可有限责任公司 能够实现可动作的消息传送的虚拟助理系统
US9685059B2 (en) * 2015-02-12 2017-06-20 Google Inc. Devices and methods for providing heat-source alerts
US20170289337A1 (en) * 2016-04-05 2017-10-05 Google Inc. Faster Text Entry on Mobile Devices Through User-Defined Stroke Patterns
WO2018009897A1 (en) * 2016-07-07 2018-01-11 Harman International Industries, Incorporated Portable personalization
US10157613B2 (en) * 2016-11-17 2018-12-18 BrainofT Inc. Controlling connected devices using a relationship graph
US11019709B2 (en) * 2016-12-09 2021-05-25 Lutron Technology Company Llc Measuring lighting levels using a visible light sensor
US10496879B2 (en) * 2017-08-25 2019-12-03 Qualcomm Incorporated Multiple-detection gesture recognition
US11080775B2 (en) * 2017-09-01 2021-08-03 International Business Machines Corporation Recommending meals for a selected group

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103890695A (zh) * 2011-08-11 2014-06-25 视力移动技术有限公司 基于手势的接口系统和方法
CN103890696A (zh) * 2011-10-12 2014-06-25 高通股份有限公司 经认证的手势辨识
CN104254817A (zh) * 2012-04-16 2014-12-31 高通股份有限公司 快速手势重新约定
CN105074684A (zh) * 2013-02-25 2015-11-18 高通股份有限公司 异构物联网（iot）设备之间的上下文知悉式动作
CN105579994A (zh) * 2013-07-11 2016-05-11 纽拉公司 用于物联网集成平台的互操作性机制

Also Published As

Publication number Publication date
US10838505B2 (en) 2020-11-17
CN111033445A (zh) 2020-04-17
US20190064929A1 (en) 2019-02-28
WO2019040188A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
CN111033445B (zh) 用于手势辨识的系统和方法
Akkaya et al. IoT-based occupancy monitoring techniques for energy-efficient smart buildings
Liu et al. Occupancy inference using pyroelectric infrared sensors through hidden Markov models
US11353218B2 (en) Integrated management method and system for kitchen environment using artificial intelligence
US10593174B1 (en) Automatic setup mode after disconnect from a network
US11252378B1 (en) Batteryless doorbell with rectified power delivery
WO2016000460A1 (zh) 移动终端的天线的控制方法和移动终端
US10803719B1 (en) Batteryless doorbell with energy harvesters
EP3639565B1 (en) Ble communications system and method
CN107994960A (zh) 一种室内活动检测方法及系统
US11483172B2 (en) Integrated control method and system for home appliance using artificial intelligence
US11271629B1 (en) Human activity and transition detection
KR20180037956A (ko) 다수의 전력 소비 모드들을 갖는 상황 인식 시스템
JeyaPadmini et al. Effective power utilization and conservation in smart homes using IoT
Savazzi et al. Cellular data analytics for detection and discrimination of body movements
US11412189B1 (en) Batteryless doorbell with multi-load power delivery
US10496879B2 (en) Multiple-detection gesture recognition
CN107958434B (zh) 智能看护方法、装置、电子设备及存储介质
CN107643692B (zh) 能效管理系统及方法
US11423762B1 (en) Providing device power-level notifications
Nkabiti et al. A deep bidirectional LSTM recurrent neural networks for identifying humans indoors using channel state information
US11032762B1 (en) Saving power by spoofing a device
Curran Hybrid passive and active approach to tracking movement within indoor environments
Devidas et al. A system for energy conservation through personalized learning mechanism
Wu et al. Enabling privacy-preserving first-person cameras using low-power sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant