CN113507501B - 物理认知动作触发 - Google Patents

物理认知动作触发 Download PDF

Info

Publication number
CN113507501B
CN113507501B CN202110637906.4A CN202110637906A CN113507501B CN 113507501 B CN113507501 B CN 113507501B CN 202110637906 A CN202110637906 A CN 202110637906A CN 113507501 B CN113507501 B CN 113507501B
Authority
CN
China
Prior art keywords
event
action
physical entity
physical
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110637906.4A
Other languages
English (en)
Other versions
CN113507501A (zh
Inventor
弗格斯·杰勒德·赫尔利
罗宾·杜瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202110637906.4A priority Critical patent/CN113507501B/zh
Publication of CN113507501A publication Critical patent/CN113507501A/zh
Application granted granted Critical
Publication of CN113507501B publication Critical patent/CN113507501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0257—User requested
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0259—Targeted advertisements based on store location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0267—Wireless devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19669—Event triggers storage or change of storage policy
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Alarm Systems (AREA)

Abstract

本公开涉及物理认知动作触发。本发明提供了用于定义和监视物理实体的事件以及响应于事件的发生的动作的执行的方法、系统和装置。一种方法包括：接收指示物理实体的事件的数据，所述事件部分地由数据处理装置要监视事件的发生的物理环境特征指定；接收指示与所述事件相关联并且将响应于所述事件的发生而采取的动作的数据；监视所述物理实体的所述事件的发生；以及响应于所述事件的发生，使得与所述事件相关联的所述动作被执行。

Description

物理认知动作触发
分案说明
本申请属于申请日为2016年8月19日的中国发明专利申请201680029203.0的分案申请。
背景技术
过去十年，基于云的服务、搜索引擎、移动应用和位置感知设备的出现大大扩展了移动用户设备的实用性。许多这样的用户设备现在除了语音和数据访问之外，还提供场境感知服务和应用。此外，随着处理系统的最新进展，许多以前迥然不同的应用和服务现在能够一起工作来提供增强的功能和用户体验。
用户可以使用的许多应用服务通过使用命令输入而实例化。一种这样的服务是创建动作触发。例如，用户可以在智能手机中说出(或键入)输入“提醒我今晚买牛奶”，智能手机使用命令解析应用(或者替代地，与命令解析服务通信)会调用动作触发进程，动作触发进程可以创建提醒、创建消息和/或日历条目，并从用户那里请求附加信息。如果用户期望在某个时间执行动作触发，则该信息可以是时间，和/或如果用户期望在用户到达一个位置时执行动作触发，则该信息可以是该位置。虽然这种动作触发的设置是非常有用而且相对流畅的用户体验，但是可用的触发过去限于由应用或服务提供的选项集合。
发明内容
本说明书涉及定义和监视物理实体的事件和响应于事件发生而执行动作。
在一个方面中，一种方法包括：接收指示物理实体的事件的数据，所述事件部分地由数据处理装置要监视事件的发生的物理环境特征指定；接收指示与所述事件相关联并将响应于所述事件的发生而采取的动作的数据；监视所述物理实体的所述事件的发生；以及响应于所述事件的发生，使得与所述事件相关联的动作被执行。这个方面的其它实施例包括被配置为执行该方法的动作的对应的系统、装置和在计算机存储设备上编码的计算机程序。
在另一个方面中，一种方法包括：接收指定要监视物理实体的事件的物理环境特征的数据；响应于指定所述环境特征的数据，提供使得用户设备显示动作触发菜单的数据，所述动作触发菜单显示与物理环境特征相关联的一个或多个事件中的每个事件的相应事件选择输入；接收指定在所述用户设备处选择所述事件选择输入之一以指定事件的数据；将响应于所述事件的发生而采取的动作与所述事件相关联；以及提供指示所述物理实体的事件的数据和指示与所述事件相关联的动作的数据。这个方面的其它实施例包括被配置为执行该方法的动作的对应的系统、装置和在计算机存储设备上编码的计算机程序。
事件和动作可以与物理实体无关，因为它们不需要从依赖于物理实体的列表中选择，而是可以由用户根据一个或多个输入来定义。同样，事件和动作也可以彼此无关，因为特定事件不需要在类别、语义上或以其它方式与要执行的动作相关。事实上，从数据关系的角度来看，事件和动作的关联可能完全是任意的。这使开发人员无需在软件应用和服务中预定义关联和动作触发的集合。此外，由用户定义的作为结果的事件和关联由简单的规则结构实施，并且不需要当在预定义的事件和触发集合内工作时将需要(如果可能的话)的多个复杂的依赖关系。例如，用户可能想要洗车，但是当准备这样做时，他意识到他没有浓缩汽车清洗液了，因此从在线零售商那里订购一瓶浓缩清洗液。用户然后可以通过使用本说明书中描述的系统将事件定义为在用户家门口存在包裹的事件，并且可能与事件相关联的动作可以是洗车提醒。因此，假设用户并不预计会接收到除洗涤剂之外的任何包裹，则在用户家门口检测到包裹，将引起呈现洗车提醒的动作。
因此，该系统促进将多个物理实体与多个不同的可能事件和多个不同的动作关联。这允许用户以前所未有的灵活性根据从用户的独特需求出现的完全独特且迄今未发现的实体和任务关系来安排任务、时间表和动作。这样的能力可以避免需要复杂的结构化规则集，所述复杂的结构化规则集如果可能的话，将需要复杂的潜在动作集和触发来覆盖多个不同用户的这样不同并且不可预测的需求。因此，要保存大量的数据存储。此外，消除了原本覆盖用户许多紧急需求所需要的规则更新和软件更新，从而节省了开发成本并节省了带宽。
用户可以基于比迄今为止可能的更广泛的发生情况或事件来创建动作触发。触发可以调用用户提醒，使得基于这样的触发要采取的动作根据提醒的提示而手动进行。替代地，触发可以简单地针对用户的兴趣提供信息，而不一定暗示进一步的动作。作为另一个替代方案，用户可以设置触发来自动采取某个动作。作为又一个替代方案，用户可以设置触发，以在发生事件时呈现单个核准动作以核准后续动作，并且在这样的核准后执行后续动作。在又一个替代方案中，第三方应用或可以与在此描述的系统通信的系统可以采取自动化动作。
可以通过专用的提醒应用或者从诸如浏览器或日历的另一个应用或者从被配置为接收用户输入以用于建立动作触发和相关联的动作的某种其它类型的系统来设置基于事件和在事件发生时要执行的动作的动作触发。后面的这些系统可以包括搜索引擎、包括基于语音的助理的电子助理等等。此外，触发和通知系统可以被配置为与原本独立的用户界面前端通信，使得用户指令和通知可以由用户界面前端来管理。
触发可以基于单个发生情况或事件。或者，可以将多个发生情况或事件分组在一起以定义触发。例如，用户可以创建触发，以在用户家门口检测到包裹时，只有当用户在家时才提醒用户洗车。
对物理实体的事件的监视可以用各种方式完成，并取决于要执行的监视。例如，对于存在监视(这是对物理实体的存在的监视)，可以从用于监视特定位置的摄像机或者来自特定位置的源的语音识别等等获得数据。在实体识别的情况下，例如监视在家门口递送的箱子的情况下，可以访问机器学习模型来进行对象识别。因此，可以处理图像以区分多个对象，诸如一个或多个人、一个或多个动物、一个或多个盒子等。
存在监视也可以由让人知道位置的特定的物理实体来完成。例如，用户可以让触发基于快餐车在特定位置的特定距离内(例如，在用户的工作地址的街区内)的事件。快餐车可以经由无线通信协议将其位置提供给监视服务，并且监视服务确定何时满足用户指定的事件。在这个实施方案的变型中，用户可以让触发基于快餐车在用户的位置的一定距离内的事件，并且用户的位置和快餐车的位置都由监视服务来监视。
对于监视物理实体的状况监视，物理实体可以向监视服务提供描述其状况的数据。例如，用户的家里可能有监视土壤的湿度的智能供水系统。用户可以定义在土壤湿度水平下降到一定水平以下时接到通知或者当喷洒器自动打开时(并且可选地在喷洒器随后关闭时)接到通知的触发。同样，用户可能会有另一个动作，当下雨的几率是80％(根据从天气服务收到的数据)和喷洒器已被禁用等等时触发。举另一个例子，触发被定义为当土壤湿度水平下降到一定百分比时，喷洒器自动打开，并且向用户发送通知。
在一些实施方案中，系统可以基于与事件相关的数据自动修改事件。例如，用于激活喷洒器的事件也可以考虑天气数据。因此，即使湿度水平低于一定的百分比，如果天气数据显示未来二十四小时内有降雨，则系统也可能不会确定事件已经发生(或不会使得执行动作)。
在本说明书中描述的主题的一个或多个实施例的细节在附图和下面的描述中阐述。主题的其它特征、方面和优点将从描述、附图和权利要求中变得显而易见。
附图说明
图1是监视动作触发以执行相关联的动作的示例环境的框图。
图2A是用于为物理实体创建事件并将要执行的动作与该事件相关联的示例过程的流程图。
图2B是用于监视物理实体的事件的关联并基于事件的发生执行动作的示例过程的流程图。
图3A至图3C是用户设备上的用户界面的图示，并且其中创建动作触发并且显示正在执行的动作的结果。
图4A至图4C是用户设备上的用户界面的图示，并且其中创建另一个动作触发并且显示正在执行的动作的结果。
图5是示例移动计算设备的框图。
各图中相同的附图标记和标号指示相同的元件。
具体实施方式
图1是监视动作触发事件以执行相关联的动作的示例环境100的框图。诸如互联网或其组合的计算机网络102提供电子设备和系统之间的数据通信。计算机网络102还可以包括一个或多个无线网络103，或者通过一个或多个网关与一个或多个无线网络103进行数据通信。
物理数据源104是提供关于物理实体的数据的设备、系统或服务。例如，物理数据源104可以是通过指定物理实体的状况的数据信号来报告其自身状况的物理物品。例如，提供自身的操作状态和诸如土壤湿度水平的传感器读数的喷洒器、提供描述自身是否被锁定或解锁的数据的门锁、提供自身位置的汽车等等。替代地，物理数据源104可以是提供关于其自身、其位置等等的数据的系统。系统的示例包括监视家庭的安全系统、建筑物中的照明控制系统、停车场占用检测和监视系统等等。这些仅仅是物理数据源的几个示例，并且可以使用提供关于物理实体的数据的任何其它物理数据源104。
如本说明书中所使用的，物理实体是物理环境特征可被物理数据源104监视的有形实体。物理实体可以是物理数据源104本身，或者可以是物理数据源104正在监视的东西。在后一种情况下，物理实体可以由用户指定，例如如果用户希望监视某个位置处的包裹的存在，则用户可以指定物理实体是包裹；如果用户希望监视特定停车位置中的汽车的存在或不存在，则用户可以指定物理实体是汽车，等等。同样，物理环境特征可以是与用户想要用于触发动作的实体相关的特征。
用户设备106是受到用户控制并且能够通过网络102请求和接收资源而且还能够执行其它动作的电子设备。示例用户设备106包括可以通过网络102发送和接收数据的个人计算机、移动通信设备、可穿戴设备和其它设备。在图1的示例中，用户设备106是智能手机。下文参照图5描述示例智能手机。用户设备106可以通过网络102和103分别通过与网络102和103的有线连接和无线连接通信。用户设备106还可以是通过中间设备和诸如WiFi、蓝牙等的短距离无线收发器来访问网络102的设备。如参照图5所述，用户设备可能能够针对各种程序和功能执行设备动作集合。
用户设备106可以与诸如由提供多个服务的云服务提供者112托管的账户的用户账户相关联。这些服务可以包括搜索(web、内联网、文档和应用等)、web邮件、日历、社交网络、消息接发、文档存储和编辑、电子助理服务等。账户数据114可以存储用户设备106的账户特有的数据。此外，虽然图1中仅示出了一个用户设备106，但是该环境中可以包括多个用户设备106。
在一些实施方案中，用户设备106的用户可以指定事件触发并将它们与动作相关联。事件触发(或简单地就是“事件”)的发生使得执行相关联的动作。可以通过各种用户界面、语音命令处理系统和交互模型来促进事件和动作的指定。通常，用户将指定事件与动作的关联，如下面将更详细描述的。
动作触发处理系统120接收事件和动作的关联，并将动作触发存储在动作触发数据存储126中。如本说明书中所使用的，事件和动作的关联被称为“动作触发”。尽管动作触发处理系统120在图1中示出为单独的实体，但是动作触发处理系统120可以在云服务提供者112中实施，或者通过每个第三方作为单独系统来实施。在某些实施例中，动作触发处理系统120或其子部分可以形成用户设备106的一部分或被存储在用户设备106上。
动作触发处理器124访问事件数据128以确定哪些事件被满足，以及是否执行与被确定满足的事件相关联的动作。如本文所使用的，事件数据128是可以用于确定事件是否已经发生的任何数据，并且在这个特定应用中包括由物理数据源104报告的数据。例如，包括由物理数据源104报告的数据的事件数据128可以是由第三方提供给动作触发处理系统120的数据，或者可以是由动作触发处理系统120周期性地请求的数据。
动作触发处理器124将把动作触发存储在动作触发数据存储126中。可以存在存储在动作触发数据126中的多个动作触发AT1，AT2，...ATn。可以在用户设备106处查看动作触发组(例如，由用户创建或先前实施的触发)，并且用户可以随时在用户设备106处对动作触发进行改变(例如，添加、删除、修改)。多个动作触发中的每一个可以具有一个或多个与动作相关联的事件E1,E2,...En。在事件发生时，动作触发处理器124可以使得动作被执行。该动作可以是以下一个或多个：呈现事件发生的通知；部分地或完全地自动并与用户设备分离地执行动作(例如，例如通过第三方应用或系统通过向其发出命令)；或者呈现执行另一个动作的提示。
该动作也可以是由另一个物理实体执行的动作，或与另一个物理实体(例如机器人实体)相关的动作。例如，在给定特定天气状况的事件的情况下，例如，下午不下雨的预报，动作可能是使得机器人割草设备修剪草坪。
在一些实施方案中，动作触发处理系统120包括指定用户凭证并且用于授权某些动作的执行的凭证数据130。例如，代表用户购买或建立某个其它财务或法律义务的行为可能要求用户提供凭证。可能当事件已经触发时需要凭证，或者可能在建立事件和动作的关联时需要凭证。示例凭证可以包括用户标识符、密码等。此外，在一些实施方式中，可以在先前已经提供凭证(例如，当用户已经建立与安全网络的认证连接)时授权用户。
用户还可以指定仅应在用户能够查看和响应通知的适当时间期间提供通知。例如，用户还可以设置根据用户日历基于用户是否可用在用户不可用的情况下不通知用户的条件。因此，当用户的日历指示用户当前有事务安排时，例如，如果按照用户的工作日历上的计划用户正在开会，则可以延迟通知的呈现。除了指定的事件发生之外，还可以使用执行动作的其它条件。
如上所述，动作触发处理系统120允许创建和监视物理实体的事件。参照图2A描述创建动作触发的过程，图2A是用于为物理实体创建事件并将要执行的动作与事件相关联的示例过程200的流程图。过程200可以由诸如用户设备的电子设备执行，或者替代地，可以由服务器系统响应于从用户设备接收到选择数据来执行。
过程200接收指定要监视物理实体的事件的物理环境特征的数据(202)。物理实体可以以各种方式来识别。可以从用户设备或用户与之交互的某个其它设备接收数据。例如，用户可以指定物理实体，例如通过输入物理实体的描述，从物理实体的列表中选择物理实体，或通过某种其它方式。替代地，物理实体可以识别自身。例如，快餐车可以与用户设备通信并且识别自身并且向用户提供创建动作触发的机会。
物理环境特征描述物理实体本身或物理实体的环境。后者的示例是物理实体可以位于其中的位置或一系列位置。例如，对于特定汽车(或任何汽车)的物理实体，物理环境特征可以是特定的停车位。同样，对于运输集装箱的物理实体，物理环境特征可以是家门口。类似地，对于喷洒器系统的物理实体，物理环境特征可以是系统的状态。在又一示例中，利用与动作触发处理系统通信的带无线功能的系统的快餐车可以提供与快餐车的位置相关的各种环境特征的列表。所描述的物理环境特征可以由用户选择。
过程200响应于指定环境特征的数据，提供使得设备显示动作触发菜单的数据，该菜单显示一个或多个事件中的每一个的输入(204)。例如，一旦用户指定了物理实体和对应的环境特征，就可以向用户呈现定义物理实体和物理环境特征的事件的选项。继续上述示例，对于特定汽车(或任何汽车)的物理实体，事件可以是在特定停车位中存在汽车(替代地，不存在汽车)。同样，对于运输集装箱的物理实体，事件可能是在家门口存在运输集装箱。类似地，对于喷洒器系统的物理实体，事件可以是系统的特定状态，例如喷洒器系统的激活。最后，对于快餐车的物理实体，事件可以是快餐车相对于当前位置、地址或用户未来位置的位置。
在一些实施方案中，基于物理环境特征与和物理实体和环境特征相对应的事件的关联，确定事件列表并呈现给用户。例如，当选择物理实体和位置的环境特征时，事件可以是该位置处存在或不存在该实体。同样，当选择了物理实体和物理实体的状态(例如，打开、关闭等)的环境特征时，事件可以是物理实体的特定状态。
过程200接收指定在设备处选择事件选择输入之一以指定事件的数据(206)。用户可以选择事件之一，并且通过这样做，动作触发处理器124将被配置为监视事件的发生。还可以选择附加事件和条件。例如，可以选择时间窗口，使得仅当事件在时间窗口期间发生时才可以确定事件发生；如果事件在时间窗口之外发生，则动作触发处理器将确定事件未发生。继续上述示例之一，在特定停车位中存在汽车的事件的进一步的条件可以是在上午8:00至下午5:00之间的任何时间在停车位中存在汽车。因此，如果汽车在上午7:30到达停车位，并在那里停留一个小时，则该事件将被确定为在上午8:00发生。
过程200将响应于事件的发生而要采取的动作与事件相关联(208)。动作是当确定事件的发生时用户希望执行的动作。该动作可以是例如呈现做某件事的提醒，或者呈现代表用户做某件事的确认命令，或者在无需提醒或确认执行动作的情况下完全或部分地自动执行的动作。
在一些实施方案中，可以从可用动作的列表中选择动作。例如，在快餐车的情况下，可以有各种可用的动作，例如自动订购和购买食品、或者通知快餐车的位置、或这两者的组合。在其它实施方案中，用户可以与事件无关地定义动作。例如，在快餐车的情况下，用户可能想要被接到一条通知，其中显示“Ask Julia if she wants to grab lunch withyou(问茱莉亚她想不想跟你一起吃午饭)”。
过程200提供指示物理实体的事件的数据和指示与事件相关联的动作的数据(210)。一旦用户定义了事件和要采取的动作，系统(例如，用户设备106或动作触发处理系统120)就将数据作为动作触发存储，该动作触发是事件和动作的关联，并且在动作触发数据存储中存储动作触发。然后，系统访问数据存储设备以进行监视。
图2B是用于监视物理实体的事件的关联并基于事件的发生执行动作的示例过程250的流程图。过程250可以由用户设备执行,或者替代地，可以由服务器系统响应于从用户设备接收到选择数据来执行。
过程250访问动作触发数据存储中的动作触发，并确定要监视的事件和要执行的动作(252)。每个动作触发包括定义要监视的事件和基于监视到事件的发生而要执行的动作的数据。
过程250对于物理实体监视事件的发生(254)。事件可以由动作触发处理器124周期性地例如每N分钟监视一次，或者当动作触发处理器124从第三方接收到事件已经发生的通知时，可以确定发生该事件。在后一种情况下，第三方可以利用一个或多个API来与动作触发处理器进行通信或以其它方式向其登记该事件。例如，在上述快餐车的情况下，快餐车公司可以利用动作触发处理系统120提供的服务，并向动作触发处理系统120提供数据。
过程250响应于事件的发生，使得与事件相关联的动作被执行(256)。如上所述，动作可以是呈现做某件事的提醒。该动作也可以是呈现代表用户执行另一个动作的确认命令。替代地，动作可以是在没有执行动作的提醒或确认的情况下而自动执行的动作。动作可以由用户设备执行，或者替代地可以由单独的系统执行。
在通知的情况下，用户还可以指定应当仅在用户能够查看和响应通知的适当时间期间提供通知。例如，用户还可以设置如果基于用户的日历用户正在开会则将不通知用户的条件。因此，当用户的日历指示用户当前有事务安排时，例如，如果按照用户的工作日历上的计划用户正在开会，则可以延迟通知的呈现。可以使用各种通知类型，包括移动操作系统(OS)推送通知、文本消息、电子邮件、web或数字助理提醒或其它形式的通知。在数字助理提醒的情况下，数字助理可以确定通知用户或代表用户采取动作的合适的时间、地点和方法。例如，如果用户正在参加商务会议，则数字助理可以等到用户开完会或者在用户的工作日结束之后再通知用户。
此外，在一些实施方案中，用户定义的动作或用户定义的动作的执行的呈现可以被提供给除了用户设备106之外的设备。例如，呈现可以被提供给被确定为接近用户的设备或者用户将看到或正在看的设备。例如，如果用户的用户设备106在阈值时间段内没有被用户使用、并且用户正在使用另一个设备，则动作处理系统120可以确定将用户定义的动作呈现给用户正在使用的设备。
可以使用各种用户界面和交互模型来促进动作触发的创建以及正在执行的动作的结果的呈现。图3A至图3C和图4A至图4C是几个用户界面的示例。
图3A至图3C是用户设备300上的用户界面302、322和340的图示，并且其中创建动作触发并且显示正在执行的动作的结果。在这个示例中，创建快餐车的物理实体的动作触发。物理环境特征是快餐车的位置，并且事件是在该位置存在快餐车，或者在该位置的阈值距离内存在快餐车。执行的动作是向用户发出通知。
图3A描绘了用户界面302，其中呈现生成动作触发的提示304。可以使用户设备300以各种方式呈现提示。例如，如果用户设备用于完成从供应商处购买，则可以自动呈现提示。替代地，用户可以导航到网站或发起使得呈现提示的本地应用。在又一示例中，用户设备可以使用NFC/蓝牙或其它个人区域RF技术与快餐车上的系统通信。在后一个示例中，用户可以设置允许为了建立动作触发而“发现”用户设备300的偏好，并且快餐车可以包括广播数据信号的设备，该数据信号识别快餐车，并且可选地，向任何附近的用户设备触发消息，使得用户设备显示用户界面以促进创建触发。在又一个示例中，用户设备可以扫描快餐车上的代码(例如，QR码或条形码)，或者贴近快餐车上的显示“tap your phone on thefood truck sign in order to be alerted when it is here next(将您的手机贴近快餐车标志，以便快餐车下一次在这里时提醒您)”的标志，这使得用户设备经由近距离RF信令协议接收数据信号。
呈现两个选项-选择第一选项306，将继续到图3B的用户界面，并且选择第二选项308，将结束该过程。现在转向图3B，用户界面322包括第二提示324和三个选项326、328和330，每个选项与物理环境特征的事件相对应。第一选项326定义当快餐车再次靠近快餐车当前占据的位置时发生的事件。第二选项328定义当快餐车靠近用户指定的位置时发生的事件。第三选项330定义当快餐车靠近用户的位置时发生的事件。用户的位置由用户设备300的位置确定。
假定用户选择第三选项330。这将创建一个动作触发，其指定快餐车下一次到用户附近时发生的事件。尽管未示出，但是可以允许用户指定附加条件，例如，事件可能仅在工作日并且在上午11:30至下午1:00之间发生，并且监视可以直到第二天才启动。然后将动作触发提供给动作触发处理系统120进行监视。
为了确定事件是否已经发生，动作触发处理系统120可以通过请求或通过推送来接收快餐车和用户设备的位置数据。位置数据指定物理实体快餐车的当前位置以及用户设备的位置的物理环境特征。动作触发处理系统120确定快餐车的当前位置与用户设备的位置的接近度是否小于阈值接近度。阈值接近度可以由用户设置，或者可以由系统120自动设置。例如，可以使用一定距离的半径。当接近度小于阈值接近度时，系统120确定事件已经发生。
可以确定位置数据的另一种方式是通过从视觉跟踪系统接收数据。例如，当用户指定特定快餐车时，可以通过例如具有跟踪这种物理实体的能力的卫星系统来监视和跟踪快餐车的位置，借此确定特定快餐车的位置。卫星系统(或任何其它基于视觉的跟踪系统)然后可以将位置数据提供给动作触发处理系统120用于监视和处理。
图3C描绘了响应于确定事件已经发生而呈现通知342的用户界面340。代替通知342或除了通知342之外，还可以执行其它动作，诸如提前购买菜单项等。
图4A至图4C是用户设备300上的用户界面402、420和440的图示，并且其中创建另一个动作触发并且显示正在执行的动作的结果。在这个示例中，创建递送物品的物理实体的动作触发。物理环境特征是家门口的位置，并且事件是在家门口存在递送物品。执行的动作是向用户发出通知。
在图4A中，用户已经调用了促进生成动作触发的用户界面。用户设备300可以能够从例如用户的安全系统接收数据，并且用户已经选择了用户的前门的视频馈送，如图像404中所示。提示406描述了用户已经选择了特定的摄像机，提供用于接收通知的选项408、410、412和414。
动作触发处理系统120(或者替代地，用户设备400)可以包括已经被训练以识别诸如在选项408、410和412中列出的各种对象的机器学习系统。用户还可以选择选项414来描述不同的对象。各种机器学习图像识别模型可以用来检测特定的对象。
最后，如果用户想要指定要执行的不同动作，则可以选择选项416。这些不同的动作可以包括当检测到对象时带有在家门口处的对象的图像的电子邮件，或者门铃的自动响铃，或者可以与事件关联的任何其它动作。
假定在这个示例中，用户可能想要洗车，但发现他没有浓缩汽车清洗液了。用户从网上零售商处订购了一瓶浓缩清洗液，正在等待送货，并希望在包裹递送时提醒他洗车。因此，用户选择选项408。
响应于对选项408的选择，显示图4B的用户界面420。用户界面420包括确认消息和提示422。输入显示424示出用户正在通过使用麦克风输入426生成的提醒命令消息。一旦用户输入完成，就会生成对应的动作触发。
然后，将动作触发发送到动作触发处理系统120(或者，替代地，如果用户设备执行监视功能，则仅将其保存到用户设备300)。
系统然后监视事件的发生。在这个示例中，系统可以迭代地接收家门口位置的物理环境特征的图像，例如视频帧。对于每次迭代，执行图像处理以确定是否在图像内描绘了送货箱物理实体。当确定图像中存在送货箱时，系统确定事件已经发生并且执行呈现提醒的相关动作。
图4C描绘了响应于确定事件已经发生而呈现通知446的用户界面440。用户界面包括图像442，并且在图像中描绘的是家门口的集装箱444。通知446描述事件并且包括用户指定的提醒。
如上所述，在一些实施方案中，正在被监视的事件可以由系统120自动改变，并且动作也可以由系统120自动改变。这些变化可能是影响与事件或动作相关联的值的条件的结果。例如，返回快餐车的示例，系统可以分析当阈值距离是1000米时提供的通知的反馈。系统120可以确定，当被提供通知时离快餐车的距离大于500米的用户光临快餐车的比率远远低于被提供通知时离快餐车的距离小于500米的用户。因此，系统可以将事件发生从1000米改变成500米。同样，动作也可以由系统120自动改变。
此外，用户不需要利用特定的用户设备来建立触发。相反，任何可以让用户输入与用户相关联的设备都可以用来建立触发。例如，用户可以简单地在白天离开时对着安全摄像机讲话。由于安全摄像机被绑定到与用户的用户账户相关联的系统，因此所得到的语音命令可以用于为用户建立动作触发。回到汽车清洁剂的示例，用户出去上班的时候，可以简单地对着摄像机说：“Let me know when a box is delivered(包裹送到时告诉我)”。系统120利用现有的语义和语音命令算法，可以解析用户的语音命令并为用户建立动作触发。
在一些实施方案中，用户可以指定动作对象是另一个用户的动作。例如，回到汽车清洁剂的示例，用户出去上班的时候可以对摄像机说：“Notify Jack Child to get thecar detergent at the door and then wash my car when a box is delivered(包裹送到时通知孩子杰克在家门口拿汽车清洁剂然后帮我洗车)”。系统120可以访问用户的联系人信息并确定孩子杰克是用户的儿子，并且当包裹送到时将在与孩子杰克相关联的设备上生成所需的通知，例如“Please get the car detergent at the door and wash yourdad’s car(请在家门口拿汽车清洁剂，并帮你爸爸洗车)”。
另外，当确定一个事件后面跟着一个动作时，不需要指定动作。基于例如用户历史，或者基于将动作与事件相关联的实体关系模型，可以确定一个动作跟在一个事件后面。例如，用户可以将宠物放出去放到被围栏圈起来的花园，并发出语音命令“watch for thedog at the door(注意门口的狗)”。根据先前动作触发的用户历史(例如，“Let the dogin when you see him at the door(当你在门口看到狗的时候让他进来)”，“notify mewhen the dog is at the door(当狗在门口时通知我)”等)，系统可以推断在它稍后检测到狗在门口时通知用户的动作，或者替代地可以自动开门让狗进来然后关门，只要门设置成能这样远程启动即可。
在一些实施方案中，可以在执行动作之后或者在执行动作之后的一段延迟之后再次监视事件。这允许在没有用户干预的情况下“重置”动作触发，并且在基于重复事件的重复动作的场境下是有用的。例如，带有摄像机的冰箱电器可以监视某些杂货物品，例如牛奶盒。当牛奶盒只有1/3满的时候，系统可以执行订购附加一盒牛奶的动作。系统还可以学习响应时间并自动调整事件触发。例如，如果牛奶的交货时间使得牛奶盒到达之前用户就用完了牛奶(冰箱里没有牛奶盒时检测到的)，那么系统可以监视牛奶盒空了一半而不是空了2/3，并在牛奶盒空了一半时下订单。
系统还可以基于指示应当调整触发的其它数据来调整触发。这样的数据包括可以指示通过一个动作满足的用户的特定需要可能在执行动作之后变得未满足的数据。例如，可以基于指示消费速度的数据来调整满足消费需求的动作。举例而言，假定系统通过访问用户的日历来识别用户将有客人要待一周。基于客人的人数，系统可以确定当客人在时，应当将事件从牛奶1/3满改变成半满，以便下订单。同样，如果系统识别出用户家中长时间有其他人，则系统可以相应地调整动作触发。
在这里讨论的系统收集关于用户的个人信息或者可以利用个人信息的情况下，可以向用户提供控制程序或特征是否收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好、用户的当前位置、位置轨迹、推断的位置(例如家/工作)、推断的场境、日历数据、电子邮件中的即将发生的事件/预订等等的信息)，或者控制是否和/或如何从内容服务器接收可能与用户更相关的内容的机会。此外，可以在存储或使用某些数据之前以一种或多种方式处理该数据，以便去除个人可识别信息。例如，可以对用户的身份进行处理，使得不能对于用户确定个人可识别信息，或者在获得位置信息(例如城市、邮政编码或州级别)的情况下，可以将用户的地理位置泛化，使得用户的特定位置不能被确定。因此，用户可以控制内容服务器如何收集关于用户的信息和使用该信息。
图5是示例移动计算设备的框图。在这个图示中，移动计算设备510被描绘为手持移动电话(例如，智能手机或应用电话)，其包括用于向移动计算设备510的用户呈现内容并且接收基于触摸的用户输入的触摸屏显示设备512。还可以提供其它视觉、触觉和听觉输出组件(例如，LED灯，用于触觉输出的振动机构，或者用于提供音调输出、语音生成输出或录音输出的扬声器)，也可以提供各种不同的输入组件。
移动计算设备510可以包括机械或触敏按钮518a-d。另外，移动计算设备可以包括用于调整由一个或多个扬声器520输出的音量的按钮，以及用于打开或关闭移动计算设备的按钮。麦克风522允许移动计算设备510将可听声音转换成电信号，该电信号可以被数字编码并存储在计算机可读存储器中，或者被传输到另一个计算设备。移动计算设备510还可以包括数字罗盘、加速度计、接近度传感器和环境光传感器。
移动计算设备510可以用触摸屏512呈现图形用户界面。图形用户界面是一个或多个图形界面元素的集合，并且可以是静态的(例如，显示在一段时间内看起来始终是相同的)，或者可以是动态的(例如，图形用户界面包括没有用户输入时有动画效果的图形界面元素)。
移动计算设备510可以包括其它应用、计算子系统和硬件。语音识别服务572可以接收由移动计算设备的麦克风522接收的语音通信数据，并且将语音通信翻译成对应的文本数据或者执行语音识别。
移动计算设备510可以与一个或多个网络进行无线通信以提供各种服务，诸如语音和数据服务。
本说明书中所描述的主题和操作的实施例可以在数字电子电路或计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等效物)或其中的一个或多个的组合中实施。本说明书中描述的主题的实施例可以实施为在计算机存储介质上编码的一个或多个计算机程序，即，计算机程序指令的一个或多个模块，用于由数据处理装置执行或者控制数据处理装置的操作。
计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备或者它们中的一个或多个的组合，或者可以包括在其中。而且，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个单独的物理组件或介质(例如，多个CD、磁盘或其它存储设备)或包括在其中。
本说明书中描述的操作可以被实施为由数据处理装置对存储在一个或多个计算机可读存储设备上的数据或从其它源接收的数据执行的操作。术语“数据处理装置”涵盖用于处理数据的所有类型的装置、设备和机器，例如包括可编程处理器、计算机、片上系统或者前述各项中的多个或其组合。该装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置还可以包括为所涉及的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时间环境、虚拟机或其中一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础设施，web服务、分布式计算和网格计算基础设施。
举例而言，适用于执行计算机程序的处理器包括通用微处理器和专用微处理器以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备(例如，磁盘、磁光盘或光盘)，或者操作性地耦合到这些大容量存储设备以从其接收数据或向其传送数据或者这两种操作。但是，计算机不需要有这样的设备。
本说明书中描述的主题的实施例可以在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有图形用户界面或web浏览器的用户计算机，用户可以通过该图形用户界面或web浏览器与本说明书中描述的主题的实施方案交互)或者一个或多个这样的后端、中间件或前端组件的任何组合的计算系统中实施。系统的组件可以通过任何数字数据通信形式或介质(例如通信网络)相互连接。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如互联网)和对等网络(例如，对等点对点网络)。
尽管本说明书包含许多具体的实施细节，但是这些不应该被解释为对任何发明或者可以要求保护的范围的限制，而是作为特定发明的特定实施例特有的特征的描述。在本说明书中在独立的实施例的场境中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的场境中描述的各种特征也可以分开地或以任何合适的子组合在多个实施例中实施。此外，虽然上文可能将特征描述为以某些组合起作用并且甚至最初如此要求保护，但是所要求保护的组合中的一个或多个特征可以在一些情况下从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变型。
类似地，尽管在附图中以特定的顺序描述了操作，但是这不应该被理解为要求以所示出的特定顺序或依次顺序执行这样的操作或者要执行所有示出的操作以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应当被理解为在所有上述实施例中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。
因此，已经描述了主题的特定实施例。其它实施例也在所附权利要求书的范围内。在一些情况下，权利要求书中列举的动作可以按不同的顺序执行并且仍然实现期望的结果。另外，附图中描绘的过程不一定需要所示出的特定顺序或依次顺序才能实现期望的结果。在某些实施方案中，多任务和并行处理可能是有利的。

Claims (26)

1.一种由一个或多个处理器实现的方法，所述方法包括：
基于在用户设备处提供的一个或多个用户输入，生成初始事件触发和响应于所述初始事件触发而要自动执行的动作，
其中，所述初始事件触发指定物理实体的物理环境特征，以及
其中，要自动执行的所述动作包括自动订购所述物理实体的附加实例；
监视所述初始事件触发的发生；
基于附加数据来确定将所述初始事件触发自动调整为经调整的事件触发；
响应于调整所述初始事件触发，代替所述初始事件触发而监视所述经调整的事件触发；以及
响应于检测到所述经调整的事件触发的发生，使所述动作被自动执行。
2.根据权利要求1所述的方法，其中，所述附加数据指示所述物理实体的消费速度。
3.根据权利要求2所述的方法，其中，所述物理环境特征反映所述物理实体的剩余量。
4.根据权利要求1所述的方法，其中，所述附加数据指示所述物理实体的所述附加实例的交货时间。
5.根据权利要求4所述的方法，其中，所述物理环境特征反映所述物理实体的剩余量。
6.根据权利要求1所述的方法，其中，要自动执行的所述动作包括完全自动订购所述物理实体的所述附加实例。
7.根据权利要求6所述的方法，其中，使所述动作被自动执行包括与第三方系统交互。
8.一种由一个或多个处理器实现的方法，所述方法包括：
基于在用户设备处提供的一个或多个用户输入，生成初始事件触发和响应于所述初始事件触发而要自动执行的动作，
其中，所述初始事件触发指定物理实体的物理环境特征，以及
其中，要自动执行的所述动作包括自动订购所述物理实体的附加实例；
监视所述初始事件触发的发生；
响应于检测到所述初始事件触发的发生，使所述动作的第一实例被自动执行；
在使所述动作的所述第一实例被自动执行之后：
基于附加数据来确定将所述初始事件触发自动调整为经调整的事件触发；
响应于调整所述初始事件触发，代替所述初始事件触发而监视所述经调整的事件触发的发生；
响应于检测到所述经调整的事件触发的发生，使所述动作的附加实例被自动执行。
9.根据权利要求8所述的方法，其中，所述附加数据指示所述物理实体的消费速度。
10.根据权利要求9所述的方法，其中，所述物理环境特征反映所述物理实体的剩余量。
11.根据权利要求8所述的方法，其中，所述附加数据指示所述物理实体的所述附加实例的交货时间。
12.根据权利要求11所述的方法，其中，所述物理环境特征反映所述物理实体的剩余量。
13.根据权利要求8所述的方法，其中，要自动执行的所述动作包括完全自动订购所述物理实体的所述附加实例。
14.根据权利要求13所述的方法，其中，使所述动作被自动执行包括与第三方系统交互。
15.一种系统，包括：
处理器；以及
计算机可读介质，所述计算机可读介质耦合到所述处理器并在所述计算机可读介质上存储有指令，所述指令在由所述处理器执行时，使所述处理器执行操作，所述操作包括：
基于在用户设备处提供的一个或多个用户输入，生成初始事件触发和响应于所述初始事件触发而要自动执行的动作，
其中，所述初始事件触发指定物理实体的物理环境特征，以及
其中，要自动执行的所述动作包括自动订购所述物理实体的附加实例；
监视所述初始事件触发的发生；
基于附加数据来确定将所述初始事件触发自动调整为经调整的事件触发；
响应于调整所述初始事件触发，代替所述初始事件触发而监视所述经调整的事件触发；以及
响应于检测到所述经调整的事件触发的发生，使所述动作被自动执行。
16.一种方法，包括：
由数据处理装置接收数据信号，所述数据信号识别物理实体并且指定所述物理实体的物理环境特征，其中，所述数据信号由所述物理实体生成；
响应于所述数据信号的接收，向用户设备提供使所述用户设备显示动作触发菜单的数据，所述动作触发菜单显示与所述物理实体和所述物理环境特征相关联的一个或多个事件中的每个事件的相应事件选择输入；
由所述数据处理装置接收指定在所述用户设备处对来自与所述物理实体和所述物理环境特征相关联的所述一个或多个事件中的事件的选择的数据；
由所述数据处理装置接收指示与所述事件相关联并且将响应于所述事件的发生而被采取的动作的数据；
监视所述物理实体和所述物理环境特征的所述事件的发生；
在所述监视期间：
由所述数据处理装置接收指定所述物理实体的当前位置的位置数据，
确定所述物理实体的所述当前位置与所述物理环境特征的位置的接近度，以及
基于所述接近度满足阈值接近度来确定所述事件已经发生；以及
响应于确定所述事件已经发生，使与所述事件相关联的所述动作被执行。
17.根据权利要求16所述的方法，进一步包括：
将指定所述事件和将响应于所述事件的发生而采取的所述动作的所述数据存储在动作触发数据存储中；以及
其中，监视所述物理环境特征的所述事件的发生包括基于存储在所述动作触发数据存储中的所述数据来监视所述物理环境特征的所述事件的发生。
18.根据权利要求16所述的方法，进一步包括：
基于事件与多个动作的关联和所述事件来确定与所述事件相关联的对应动作；
向所述用户设备提供使所述用户设备在所述动作触发菜单内显示针对与所述事件相关联的每个对应动作的相应动作选择输入的数据；
其中，由所述用户设备接收的指示与所述事件相关联的所述动作的所述数据是响应于对于所述用户设备的所述用户选择的所述动作选择输入中的一个动作选择输入的选择。
19.根据权利要求16所述的方法，进一步包括由所述数据处理装置基于所述事件来推断要执行的所述动作。
20.根据权利要求16所述的方法，其中，所述动作是向所述用户呈现通知；以及
使与所述事件相关联的所述动作被执行包括：
基于一个或多个通知条件来确定是否延迟向所述用户呈现所述通知。
21.根据权利要求16所述的方法，其中，通过所述物理环境特征的图像来描述所述物理环境特征。
22.根据权利要求21所述的方法，其中，所述物理环境特征的所述图像是没有所述物理实体的位置的图像，并且所述事件是在所述位置处存在所述物理实体。
23.根据权利要求21所述的方法，其中，监视所述物理实体的所述事件的发生包括：
迭代地接收所述物理环境特征的图像；
对于每次迭代，通过图像处理来确定所述图像内是否描绘了所述物理实体；以及
进一步基于确定在所述图像内描绘了所述物理实体来确定所述事件已经发生。
24.根据权利要求16所述的方法，其中：
所述数据信号包括指示与所述物理实体的位置无关的所述物理实体的状况的数据；
并且进一步包括：
接收指定所述物理实体的当前状况的物理实体数据；
确定所述物理实体的当前状况是否满足由所述事件指定的所述物理实体的状况；以及
进一步基于所述物理实体的当前状况满足由所述事件指定的所述物理实体的状况来确定所述事件已经发生。
25.根据权利要求16所述的方法，其中：
所述物理环境特征由所述用户设备检测到并且是另一物理实体的位置；并且
监视所述物理实体的所述事件的发生进一步包括：
接收指定所述用户设备的当前位置的用户设备位置数据；
确定所述用户设备的当前位置与所述另一物理实体的位置的附加接近度；以及
进一步基于所述接近度满足附加阈值接近度来确定所述事件已经发生。
26.一种系统，包括：
处理器；以及
计算机可读介质，所述计算机可读介质耦合到所述处理器并在所述计算机可读介质上存储有指令，所述指令在由所述处理器执行时，使所述处理器执行操作，所述操作包括：
接收数据信号，所述数据信号识别物理实体并且指定所述物理实体的物理环境特征，其中，所述数据信号由所述物理实体生成；
响应于所述数据信号的接收，向用户设备提供使所述用户设备显示动作触发菜单的数据，所述动作触发菜单显示与所述物理实体和所述物理环境特征相关联的一个或多个事件中的每个事件的相应事件选择输入；
接收指定在所述用户设备处对来自与所述物理实体和所述物理环境特征相关联的所述一个或多个事件中的事件的选择的数据；
接收指示与所述事件相关联并且将响应于所述事件的发生而被采取的动作的数据；
监视所述物理实体和所述物理环境特征的所述事件的发生；
在所述监视期间：
由所述数据处理装置接收指定所述物理实体的当前位置的位置数据，
确定所述物理实体的所述当前位置与所述物理环境特征的位置的接近度，以及
基于所述接近度满足阈值接近度来确定所述事件已经发生；以及
响应于确定所述事件已经发生，使与所述事件相关联的所述动作被执行。
CN202110637906.4A 2015-08-19 2016-08-19 物理认知动作触发 Active CN113507501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110637906.4A CN113507501B (zh) 2015-08-19 2016-08-19 物理认知动作触发

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/830,080 US10600296B2 (en) 2015-08-19 2015-08-19 Physical knowledge action triggers
US14/830,080 2015-08-19
PCT/US2016/047773 WO2017031425A1 (en) 2015-08-19 2016-08-19 Physical knowledge action triggers
CN202110637906.4A CN113507501B (zh) 2015-08-19 2016-08-19 物理认知动作触发
CN201680029203.0A CN107969167B (zh) 2015-08-19 2016-08-19 物理认知动作触发

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680029203.0A Division CN107969167B (zh) 2015-08-19 2016-08-19 物理认知动作触发

Publications (2)

Publication Number Publication Date
CN113507501A CN113507501A (zh) 2021-10-15
CN113507501B true CN113507501B (zh) 2024-04-23

Family

ID=58051063

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110637906.4A Active CN113507501B (zh) 2015-08-19 2016-08-19 物理认知动作触发
CN201680029203.0A Active CN107969167B (zh) 2015-08-19 2016-08-19 物理认知动作触发

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680029203.0A Active CN107969167B (zh) 2015-08-19 2016-08-19 物理认知动作触发

Country Status (9)

Country Link
US (3) US10600296B2 (zh)
EP (1) EP3278234A4 (zh)
JP (1) JP6499318B2 (zh)
KR (1) KR101972141B1 (zh)
CN (2) CN113507501B (zh)
DE (1) DE112016003769T5 (zh)
GB (1) GB2554269A (zh)
RU (1) RU2695506C1 (zh)
WO (1) WO2017031425A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727218B2 (en) * 2015-01-02 2017-08-08 Microsoft Technology Licensing, Llc Contextual browser frame and entry box placement
CN110476406B (zh) * 2017-03-29 2021-05-04 夏普株式会社 信息处理系统
DE102018211048A1 (de) * 2018-07-04 2020-01-09 BSH Hausgeräte GmbH Verfahren zum Bereithalten von Lebensmitteln in einem Haushaltskältegerät, sowie Haushaltskältegerät
US10728634B2 (en) * 2018-12-19 2020-07-28 Simmonds Precision Products, Inc. Configurable distributed smart sensor system
US11516296B2 (en) * 2019-06-18 2022-11-29 THE CALANY Holding S.ÀR.L Location-based application stream activation
KR102684057B1 (ko) * 2019-07-26 2024-07-12 한화비전 주식회사 복수의 카메라들을 포함하는 네트워크 시스템과 통신하는 컴퓨터 장치 및 그것의 동작 방법
US11635885B2 (en) 2020-12-02 2023-04-25 Samsung Electronics Co., Ltd. Electronic device for supporting automation services

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200406694A (en) * 2002-10-23 2004-05-01 Theodore C Lee Automated communication apparatus
CN102369724A (zh) * 2009-02-18 2012-03-07 谷歌公司 自动捕获信息，例如使用文档感知设备捕获信息
CN103657087A (zh) * 2012-09-19 2014-03-26 迪士尼企业公司 身临其境式叙事环境
US8849730B2 (en) * 2011-12-15 2014-09-30 Microsoft Corporation Prediction of user response actions to received data
CN104813378A (zh) * 2012-09-21 2015-07-29 谷歌公司 用于智能传感家庭的设备、方法、以及相关的信息处理

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204763B1 (en) * 1999-03-22 2001-03-20 Jujitsu Limited Household consumable item automatic replenishment system including intelligent refrigerator
US8126784B1 (en) * 1999-12-08 2012-02-28 Amazon.Com, Inc. Automatically initiating product replenishment
US6405178B1 (en) * 1999-12-20 2002-06-11 Xerox Corporation Electronic commerce enabled purchasing system
US7444383B2 (en) 2000-06-17 2008-10-28 Microsoft Corporation Bounded-deferral policies for guiding the timing of alerting, interaction and communications using local sensory information
US6988080B2 (en) * 2001-02-16 2006-01-17 Zack Robert E Automated security and reorder system for transponder tagged items
US7472396B2 (en) 2001-05-18 2008-12-30 Qualcomm Incorporated Extensible event notification mechanism
AU2001286697A1 (en) 2001-07-16 2003-03-03 America Online Incorporated Method and apparatus for calendaring reminders
US8321302B2 (en) * 2002-01-23 2012-11-27 Sensormatic Electronics, LLC Inventory management system
US20040019603A1 (en) 2002-05-29 2004-01-29 Honeywell International Inc. System and method for automatically generating condition-based activity prompts
US6691032B1 (en) * 2002-09-09 2004-02-10 Groundspeak, Inc. System and method for executing user-definable events triggered through geolocational data describing zones of influence
CA2476697A1 (en) 2003-08-19 2005-02-19 Karim Moheb Zaki Remote reminders application system
JP4885463B2 (ja) * 2005-03-03 2012-02-29 株式会社日立製作所 センサネットワークシステム、センサデータの処理方法及びプログラム
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
WO2006111935A1 (en) * 2005-04-21 2006-10-26 Koninklijke Philips Electronics, N.V. Activity-related document mangement
US7468662B2 (en) * 2006-06-16 2008-12-23 International Business Machines Corporation Method for spatio-temporal event detection using composite definitions for camera systems
US20080004926A1 (en) 2006-06-30 2008-01-03 Microsoft Corporation Methods and architectures for context-sensitive reminders and service facilitation
US8132151B2 (en) * 2006-07-18 2012-03-06 Yahoo! Inc. Action tags
US20090157672A1 (en) 2006-11-15 2009-06-18 Sunil Vemuri Method and system for memory augmentation
US8005689B2 (en) * 2007-07-23 2011-08-23 Walgreen Co. Method and system for aligning a plurality of prescription refills to multiple alignment dates
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US20100169370A1 (en) * 2008-12-31 2010-07-01 Mazzagatti Jane C Kstore event manager using triggers for K
US20100214428A1 (en) * 2009-02-25 2010-08-26 Research In Motion Limited Method and mobile computing device for setting a pictorial reminder
CN102440009A (zh) * 2009-03-09 2012-05-02 佐科姆有限公司 提供生活观察的移动终端和方法以及具有数据分析、分发以及终端指导特征的相关服务器布置和方法
US8591315B2 (en) * 2009-04-15 2013-11-26 Wms Gaming, Inc. Environmental effects for near win events
US20100271202A1 (en) 2009-04-23 2010-10-28 Bo-In Lin Reminder messages delivery from reminder device when triggered by reminder-required events
US8412662B2 (en) * 2009-06-04 2013-04-02 Motorola Mobility Llc Method and system of interaction within both real and virtual worlds
US10706373B2 (en) * 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US8893047B2 (en) * 2009-11-09 2014-11-18 International Business Machines Corporation Activity triggered photography in metaverse applications
US20140136366A1 (en) * 2012-11-12 2014-05-15 Restaurant Technology Inc. System and method for receiving and managing remotely placed orders
WO2012011910A1 (en) 2010-07-22 2012-01-26 Hewlett-Packard Development Company, L.P. Context-based item bookmarking
US20120232966A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Identifying predetermined objects in a video stream captured by a mobile device
EP2689572A4 (en) * 2011-03-23 2015-01-21 Ericsson Telefon Ab L M METHOD AND SYSTEM FOR CONTROLLING ACTIONS IN A NOTIFICATION SERVICE
US8766793B2 (en) 2011-03-25 2014-07-01 Microsoft Corporation Contextually-appropriate task reminders
KR20130121923A (ko) * 2011-06-14 2013-11-06 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 실제 상황으로부터의 시뮬레이션의 시작
US8659727B2 (en) 2011-07-27 2014-02-25 Citizen Finetech Miyota Co., Ltd. Barriers for reflective pixel electrodes of display devices and methods
US20130027561A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation System and method for improving site operations by detecting abnormalities
US8942729B2 (en) * 2012-02-02 2015-01-27 Apple Inc. Location based methods, systems, and program products for performing an action at a user device
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US10410177B2 (en) * 2012-06-30 2019-09-10 At&T Mobility Ii Llc Interactive inventory systems and methods
JP2014038374A (ja) 2012-08-10 2014-02-27 Sharp Corp 見守りシステム、サーバ、容器、情報端末、プログラム、および記録媒体
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
US9218587B2 (en) 2012-09-28 2015-12-22 Panasonic Intellectual Property Corporation Of America Information-providing method, and information-providing system
US20140100904A1 (en) 2012-10-04 2014-04-10 James Louis Wolf Adaptive reminder strategies for user activities
US9306660B2 (en) 2012-10-22 2016-04-05 Qualcomm Technologies International, Ltd. Dynamic interactive zone driven proximity awareness system
US9554050B2 (en) 2013-03-04 2017-01-24 Apple Inc. Mobile device using images and location for reminders
US20160012136A1 (en) * 2013-03-07 2016-01-14 Eyeducation A.Y. LTD Simultaneous Local and Cloud Searching System and Method
US9412086B2 (en) * 2013-03-07 2016-08-09 Bradd A. Morse Apparatus and method for customized product data management
TWI484409B (zh) * 2013-05-22 2015-05-11 Evermore Technology Inc 以條件觸發反應爲基礎的行動通訊裝置用應用程式之建置平台
US9639984B2 (en) * 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
US9871865B2 (en) * 2013-07-11 2018-01-16 Neura, Inc. Physical environment profiling through internet of things integration platform
US20150026002A1 (en) * 2013-07-16 2015-01-22 International Business Machines Corporation Smart home environment for shopping
US9843911B2 (en) * 2013-09-23 2017-12-12 At&T Intellectual Property I, L.P. Remotely activated monitoring service
CA2925542C (en) * 2013-10-17 2021-08-17 Adt Us Holdings, Inc. Portable system for managing events
US11030571B2 (en) * 2013-12-20 2021-06-08 Ebay Inc. Managed inventory
US9406213B2 (en) 2013-12-27 2016-08-02 Google Inc. Notification engine
US9989942B2 (en) * 2013-12-30 2018-06-05 Qualcomm Incorporated Preemptively triggering a device action in an Internet of Things (IoT) environment based on a motion-based prediction of a user initiating the device action
US9760856B2 (en) * 2013-12-31 2017-09-12 Tata Consultancy Services Limited Inventory management
AU2015214298B2 (en) 2014-02-10 2018-05-10 Google Llc Smart camera user interface
US10438276B2 (en) * 2014-04-16 2019-10-08 Ebay Inc. Smart recurrent orders
US10373234B2 (en) * 2014-06-16 2019-08-06 Amazon Technologies, Inc. Electronic device for re-ordering items
CN104202353B (zh) * 2014-07-09 2018-02-13 武汉领傲科技有限公司 一种物联网互联协作系统的云事件处理方法及装置
US10817885B2 (en) * 2015-03-18 2020-10-27 Quidsi, Inc. Dynamically adjusted automated item replenishment
US11416810B2 (en) * 2017-04-04 2022-08-16 OrderGroove, Inc. Electronic messaging to distribute items based on adaptive scheduling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200406694A (en) * 2002-10-23 2004-05-01 Theodore C Lee Automated communication apparatus
CN102369724A (zh) * 2009-02-18 2012-03-07 谷歌公司 自动捕获信息，例如使用文档感知设备捕获信息
US8849730B2 (en) * 2011-12-15 2014-09-30 Microsoft Corporation Prediction of user response actions to received data
CN103657087A (zh) * 2012-09-19 2014-03-26 迪士尼企业公司 身临其境式叙事环境
CN104813378A (zh) * 2012-09-21 2015-07-29 谷歌公司 用于智能传感家庭的设备、方法、以及相关的信息处理

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
事件驱动、面向服务的物联网服务提供方法;乔秀全;章洋;吴步丹;程渤;赵帅;马华东;陈俊亮;;中国科学:信息科学(第10期);41-65 *

Also Published As

Publication number Publication date
US10600296B2 (en) 2020-03-24
US20170054812A1 (en) 2017-02-23
RU2695506C1 (ru) 2019-07-23
KR101972141B1 (ko) 2019-04-24
EP3278234A1 (en) 2018-02-07
KR20170125403A (ko) 2017-11-14
US20200168064A1 (en) 2020-05-28
CN113507501A (zh) 2021-10-15
GB2554269A (en) 2018-03-28
JP6499318B2 (ja) 2019-04-10
DE112016003769T5 (de) 2018-05-03
WO2017031425A1 (en) 2017-02-23
CN107969167A (zh) 2018-04-27
EP3278234A4 (en) 2018-12-12
US20210287504A1 (en) 2021-09-16
US11055974B2 (en) 2021-07-06
CN107969167B (zh) 2021-06-22
GB201717836D0 (en) 2017-12-13
JP2018525699A (ja) 2018-09-06

Similar Documents

Publication Publication Date Title
CN113507501B (zh) 物理认知动作触发
US11663217B2 (en) World knowledge triggers
US20220027703A1 (en) Virtual assistant configured to recommended actions in furtherance of an existing conversation
JP6965359B2 (ja) 受領者位置検出を用いた宅配便配達
JP6144256B2 (ja) 実行するタスクを表すタスク項目の生成及び処理
US20160335139A1 (en) Activity triggers
US10841896B2 (en) Selectively sending notifications to mobile devices using device filtering process
US20140149308A1 (en) Automated package tracking
US11972362B2 (en) Inferred user intention notifications
US20190036720A1 (en) Method and device to select an electronic device based on delivery attributes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant