CN110235476A - 利用强化学习的自适应功率节省 - Google Patents

利用强化学习的自适应功率节省 Download PDF

Info

Publication number
CN110235476A
CN110235476A CN201880009259.9A CN201880009259A CN110235476A CN 110235476 A CN110235476 A CN 110235476A CN 201880009259 A CN201880009259 A CN 201880009259A CN 110235476 A CN110235476 A CN 110235476A
Authority
CN
China
Prior art keywords
ito
power mode
wake
predictive wake
predictive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880009259.9A
Other languages
English (en)
Other versions
CN110235476B (zh
Inventor
S·霍姆乔德忽里
P·K·延干特
B·内蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110235476A publication Critical patent/CN110235476A/zh
Application granted granted Critical
Publication of CN110235476B publication Critical patent/CN110235476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0258—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity controlling an operation mode according to history or models of usage information, e.g. activity schedule or time of day
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0212—Power saving arrangements in terminal devices managed by the network, e.g. network or access point is master and terminal is slave
    • H04W52/0216—Power saving arrangements in terminal devices managed by the network, e.g. network or access point is master and terminal is slave using a pre-established activity schedule, e.g. traffic indication frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0225—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0254—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity detecting a user operation or a tactile contact or a motion of the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/04—TPC
    • H04W52/18—TPC being performed according to specific parameters
    • H04W52/22—TPC being performed according to specific parameters taking into account previous information or commands
    • H04W52/226—TPC being performed according to specific parameters taking into account previous information or commands using past references to control power, e.g. look-up-table
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0284—Traffic management, e.g. flow control or congestion control detecting congestion or overload during communication
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

描述了用于无线通信的方法、系统和设备。站可以在第一活跃通信时段期间与接入点进行通信。该通信可以在第一功率模式中执行。该站可以切换到第二功率模式以转换到睡眠时段。该站可以基于(诸)话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式。

Description

利用强化学习的自适应功率节省
交叉引用
本专利申请要求由Homchaudhuri等人于2017年2月1日提交的题为“AdaptivePower Save With Reinforcement Learning(利用强化学习的自适应功率节省)”的美国临时专利申请号62/453,489、以及由Homchaudhuri等人于2018年1月31日提交的题为“Adaptive Power Save With Reinforcement Learning(利用强化学习的自适应功率节省)”的美国专利申请号15/885,003的优先权；其中的每一件申请均被转让给本申请受让人。
背景
下文一般涉及无线通信，尤其涉及利用强化学习的自适应功率节省。
无线通信系统被广泛部署以提供诸如语音、视频、分组数据、消息接发、广播等各种类型的通信内容。这些系统可以是能够通过共享可用系统资源(例如，时间、频率和功率)来支持与多个用户的通信的多址系统。无线网络(例如，无线局域网(WLAN)，诸如Wi-Fi(即，电气电子工程师协会(IEEE)802.11)网络可以包括可与一个或多个站(STA)或移动设备通信的接入点(AP)。AP可耦合到网络(诸如因特网)，并且可使得移动设备能够经由该网络通信(或与耦合到该接入点的其他设备通信)。无线设备可与网络设备双向地通信。例如，在WLAN中，STA可经由下行链路(DL)和上行链路(UL)与相关联的AP通信。DL(或前向链路)可以是指从AP到站的通信链路，而UL(或反向链路)可以是指从站到AP的通信链路。
STA可以在处于活跃功率模式中时与AP通信，并且可以通过进入睡眠模式来节省通信之间的功率。在一些情形中，在要发送或接收后续分组的情形中，STA可以在传送或接收分组之后延迟转换到睡眠模式。例如，STA可以在进入睡眠模式之前等待不活跃超时(ITO)期满。
无论STA正在传送或接收的话务类型如何，STA都可以使用ITO。但是ITO的使用可能使STA保持在活跃模式中的时间长于某些类型的话务所必需的时间。例如，对于某些类型的话务，当在周期性调度的分组之间一般不发送关于该类型的话务的分组时，STA可能消耗功率以在周期性调度的分组之间保持处于活跃模式。处于活跃模式时的功率消耗可能会缩短STA的电池寿命并负面地影响STA的性能。
概述
所描述的技术涉及支持利用强化学习的自适应功率节省的改进的方法、系统、设备或装置。一般而言，所描述的技术提供了一种基于话务指示符度量来在各功率模式之间进行切换的无线设备(诸如无线站(STA))。话务指示符度量可以基于无线站的话务活跃水平、话务拥塞水平、下行链路和/或上行链路话务活动、(诸)吞吐量水平(例如，下行链路吞吐量和/或上行链路吞吐量水平)等。相应地，无线设备可以确定是否执行推测性唤醒以查看是否在接入点(AP)处为无线站缓冲数据。当无线设备确定执行推测性唤醒时，无线设备可以切换到活跃功率模式(例如，第一功率模式)并且向AP传送数据NULL(空)消息。数据NULL(空)消息可包括功率模式指示符比特，其被选择以提供无线设备处于活跃功率模式的指示。
在一些方面，无线设备可以附加地或替换地适配不活跃超时(ITO)查找表(LUT)。ITO LUT可被STA用来调整ITO时段的历时。然而，可能存在可以调整LUT自身的实例。因此，在一些方面，无线设备可以应用强化学习，例如，基于针对回报的多维成本函数最大化来使用闭环反馈以便调整ITO LUT。成本度量可包括设备在观察窗口期间监视的(诸)度量。这些度量可以与无线设备在观察窗口期间接收到的数据话务指示消息(DTIM)的数目、导致数据通信的推测性唤醒的数目等相关联。相应地，无线设备可以通过改变在推测性唤醒期间使用的(诸)不活跃定时器的长度等来使用(诸)度量来更新ITO LUT。
描述了一种无线通信方法。该方法可包括：在处于第一功率模式中时在第一活跃通信时段期间与AP通信；切换到第二功率模式以转换到睡眠时段；以及至少部分地基于话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式。
描述了一种用于无线通信的设备。该设备可包括：用于在处于第一功率模式中时在第一活跃通信时段期间与AP通信的装置；用于切换到第二功率模式以转换到睡眠时段的装置；以及用于至少部分地基于话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式的装置。
描述了用于无线通信的另一装置。该装置可包括处理器、与该处理器处于电子通信的存储器、以及存储在该存储器中的指令。这些指令可操作用于使该处理器：在处于第一功率模式中时在第一活跃通信时段期间与AP通信；切换到第二功率模式以转换到睡眠时段；以及至少部分地基于话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式。
描述了一种用于无线通信的非瞬态计算机可读介质。该非瞬态计算机可读介质可包括可操作用于使处理器进行以下操作的指令：在处于第一功率模式中时在第一活跃通信时段期间与AP通信；切换到第二功率模式以转换到睡眠时段；以及至少部分地基于话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定执行推测性唤醒以及切换到第一功率模式的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于传送包括功率管理比特的数据空消息的过程、特征、装置或指令，该功率管理比特被设为零以促成切换到第一功率模式。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定第一活跃通信时段期间的话务活跃水平可能已经超过阈值的过程、特征、装置或指令，其中该话务指示符度量可至少部分地基于该话务活跃水平超过该阈值。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定话务拥塞水平可能已经超过阈值的过程、特征、装置或指令，其中该话务指示符度量可至少部分地基于该话务拥塞水平超过该阈值。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于标识与多个推测性唤醒相关联的观察窗口的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定该多个推测性唤醒中的预定数目的推测性唤醒期间的下行链路活跃水平是否可能已经超过第一阈值的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定该多个推测性唤醒中的预定数目的推测性唤醒期间的上行链路活跃水平是否可能已经超过第二阈值的过程、特征、装置或指令，其中该话务指示符度量可至少部分地基于下行链路和上行链路活跃水平超过第一和第二阈值。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于标识与多个推测性唤醒相关联的观察窗口的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定该多个推测性唤醒中的预定数目的推测性唤醒期间的下行链路吞吐量水平是否可能已经超过第一阈值的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定该多个推测性唤醒中的预定数目的推测性唤醒期间的上行链路吞吐量水平是否可能已经超过第二阈值的过程、特征、装置或指令，其中该话务指示符度量可至少部分地基于下行链路和上行链路吞吐量水平超过第一和第二阈值。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于标识与多个推测性唤醒相关联的观察窗口的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定该观察窗口期间的下行链路活跃水平是否已经超过第一阈值的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定该观察窗口期间的上行链路活跃水平是否已经超过第二阈值的过程、特征、装置或指令，其中该话务指示符度量可至少部分地基于下行链路和上行链路活跃水平超过第一和第二阈值。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于标识与多个推测性唤醒相关联的观察窗口的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定该观察窗口期间的下行链路吞吐量水平是否已经超过第一阈值的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定该观察窗口期间的上行链路吞吐量水平是否已经超过第二阈值的过程、特征、装置或指令，其中该话务指示符度量可至少部分地基于下行链路和上行链路吞吐量水平超过第一和第二阈值。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定先前推测性唤醒未能导致数据通信的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定不执行推测性唤醒以及切换到第一功率模式的过程、特征、装置或指令。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于使用与第一活跃通信时段相关联的第一不活跃超时(ITO)的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于使用与推测性唤醒相关联的第二ITO的过程、特征、装置或指令，其中第二ITO可以在时间上短于第一ITO。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定可在推测性唤醒期间传达数据的过程、特征、装置或指令。上述方法、设备、装置和非瞬态计算机可读介质的一些示例可进一步包括用于在推测性唤醒期间从第二ITO切换到第一ITO的过程、特征、装置或指令。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于确定信标传输时间可在自睡眠时段结束起的预定义时间段内的过程、特征、装置、或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于至少部分地基于信标传输时间来确定不执行推测性唤醒以及切换到第一功率模式的过程、特征、装置或指令。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于在睡眠时段期间检测语音呼叫可能正在进行的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于至少部分地基于正在进行的语音呼叫来确定执行推测性唤醒以及切换到第一功率模式的过程、特征、装置或指令。
描述了一种无线通信方法。该方法可包括：在无线站处和在观察窗口期间监视与功率模式改变相关联的一个或多个度量；基于该一个或多个度量来更新ITO LUT中的一个或多个值；以及至少部分地基于经更新的ITO LUT来更新ITO时段。
描述了一种用于无线通信的设备。该设备可包括：用于在无线站处和在观察窗口期间监视与功率模式改变相关联的一个或多个度量的装置；用于基于该一个或多个度量来更新ITO LUT中的一个或多个值的装置；以及用于至少部分地基于经更新的ITO LUT来更新ITO时段的装置。
描述了用于无线通信的另一装置。该装置可包括处理器、与该处理器处于电子通信的存储器、以及存储在该存储器中的指令。这些指令可操作用于使该处理器：在无线站处和在观察窗口期间监视与功率模式改变相关联的一个或多个度量；基于该一个或多个度量来更新ITO LUT中的一个或多个值；以及至少部分地基于经更新的ITO LUT来更新ITO时段。
描述了一种用于无线通信的非瞬态计算机可读介质。该非瞬态计算机可读介质可包括可操作用于使处理器进行以下操作的指令：在无线站处和在观察窗口期间监视与功率模式改变相关联的一个或多个度量；基于该一个或多个度量来更新ITO LUT中的一个或多个值；以及至少部分地基于经更新的ITO LUT来更新ITO时段。
在上述方法、设备和非瞬态计算机可读介质的一些示例中，监视与功率模式改变相关联的一个或多个度量进一步包括：在观察窗口期间监视供无线站接收的TIM消息的数目。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于至少部分地基于供无线站接收的TIM消息的数目来更新用于执行推测性唤醒的速率的过程、特征、装置或指令。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于基于TIM消息的数目超过阈值来更新ITO LUT以延长ITO时段的过程、特征、装置或指令。
在上述方法、设备和非瞬态计算机可读介质的一些示例中，监视与功率模式改变相关联的一个或多个度量进一步包括：在观察窗口期间监视导致数据通信的推测性唤醒的数目。
在上述方法、设备和非瞬态计算机可读介质的一些示例中，监视与功率模式改变相关联的一个或多个度量进一步包括：在观察窗口期间监视与无线站相关联的数据通信的等待时间。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于至少部分地基于与无线站相关联的数据通信的等待时间来更新用于执行推测性唤醒的速率的过程、特征、装置或指令。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于基于导致数据通信的推测性唤醒的数目低于阈值来更新ITO LUT以缩短ITO时段的过程、特征、装置或指令。
在上述方法、设备和非瞬态计算机可读介质的一些示例中，监视与功率模式改变相关联的一个或多个度量进一步包括：在观察窗口期间监视去往和来自无线站的话务的往返时间(RTT)。
上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于监视话务拥塞度量的过程、特征、装置或指令。上述方法、设备和非瞬态计算机可读介质的一些示例可进一步包括用于基于话务拥塞度量来查询ITO LUT表以确定经更新的ITO时段的过程、特征、装置或指令。
附图简述
图1解说了根据本公开的各方面的支持利用强化学习的自适应功率节省的无线通信系统的示例。
图2解说了根据本公开的各方面的支持利用强化学习的自适应功率节省的过程的示例。
图3解说了根据本公开的各方面的支持利用强化学习的自适应功率节省的功率节省配置的示例。
图4解说了根据本公开的各方面的支持利用强化学习的自适应功率节省的功率节省配置的示例。
图5解说了根据本公开的各方面的支持利用强化学习的自适应功率节省的功率节省配置的示例。
图6解说了根据本公开的各方面的支持利用强化学习的自适应功率节省的过程的示例。
图7至9示出了根据本公开的各方面的支持利用强化学习的自适应功率节省的设备的框图。
图10解说了根据本公开的各方面的包括支持利用强化学习的自适应功率节省的无线站(STA)的系统的框图。
图11至14解说了根据本公开的各方面的用于利用强化学习的自适应功率节省的方法。
详细描述
所描述的特征一般涉及用于无线设备(例如，无线站(STA))的改进的功率节省。STA可以通过检测实时和/或在观察窗口期间观察到的度量来基于这些度量选择性地进入不同的功率模式来降低功率消耗。例如，STA可以进入功率节省模式并监视这些度量以确定是否和/或何时执行推测性唤醒规程，在推测性唤醒规程中该STA切换到活跃功率模式并等待接收数据。在未接收到数据时，STA可以等待不活跃超时(ITO)时段，并随后切换回功率节省模式。在一些示例中，STA可以在无执照频谱上与接入点(AP)进行通信。例如，STA可以使用Wi-Fi上语音(VoWi-Fi)来参与同AP的语音呼叫。
STA可以能够在各种功率模式中操作，这些功率模式消耗不同的功率量并且支持不同的传输方案。例如，STA可以在第一功率模式中操作，该第一功率模式支持响应于发送到AP的单个轮询而接收多个分组。第一功率模式可以比第二功率模式(诸如睡眠模式)消耗相对更多的功率。在第二功率模式中，在一些示例中，STA可以支持从AP接收单个分组。附加地，第一功率模式可以禁止进入功率塌陷(power collapse)(例如，睡眠模式)，并且第二功率模式可以促成进入功率塌陷。能够接收或传送分组的STA在本文中可被称为处于活跃模式。因此，STA可以在第一或第二功率模式中的任一者中处于活跃模式，并且STA可以从第二功率模式进入睡眠模式。
STA可以在处于第一功率模式中时进行通信(例如，利用由第一功率模式支持的高下行链路数据速率)并保留第二功率模式以用于转换到睡眠模式。例如，在第一功率模式中传送或接收分组之间，STA可以切换到第二功率模式，使得该STA能进入睡眠模式，从而节省功率。在一些情形中，STA可以在分组通信之后且在切换到第二功率模式之前等待不活跃超时(ITO)。例如，STA可以等待以查看在ITO期间是否传达分组，并且如果未接收到分组，则该STA可以进入睡眠模式。但是如果ITO历时未被设为恰适的值，则STA可能错过进入睡眠模式的机会或者可能在传入话务到达时休眠。例如，如果ITO太短，则STA可能在接收到分组之后过早地进入睡眠模式，从而丢失后续分组。在此种场景中，参与数据通信的AP可以缓冲分组直到STA苏醒，这可在通信中引入等待时间。替换地，如果ITO历时太长，则STA可能延迟进入睡眠模式并且这样做会消耗过多的功率，或者在一些情形中完全错过进入睡眠模式的机会，其中ITO长度延伸至经缓冲的数据分组。
在一些情形中，STA可以使用ITO而不管其参与的通信类型。例如，STA可以在其中根据周期性调度来发送语音分组的语音呼叫期间使用ITO。在此种情形中，STA排他地在第一功率模式中进行通信并且(例如，在ITO之后)转换到第二功率模式以便进入睡眠模式。因此，STA在其每次进入睡眠模式时在功率模式之间转换。在功率模式之间转换以及等待ITO延迟进入睡眠模式，这可能导致STA消耗过多的功率。
根据本文所描述的技术，STA可以监视与其正在参与的通信相关联的(诸)度量，并调整其功率模式以容适这些度量。例如，STA可以监视当前唤醒时段期间的传送/接收(TX/RX)活跃性，以查看该TX/RX活跃性是否持续超过总活跃时间的预定百分比。附加地或替换地，STA可确定当前拥塞水平是否高于阈值量(例如，取决于通信场景)。在一些方面，度量可以基于观察窗口期间的观察，例如，唤醒时段是否导致与AP的TX/RX，基于唤醒的总数目等。
STA可以使用这些度量来确定是否执行唤醒规程以监视附加数据。
附加地或替换地，STA可以使用某些观察来导出成本/收益分析并基于该成本/收益分析来更新ITO查找表(LUT)。更新ITO LUT可以在进行中的基础上发生，使得STA持续地学习要执行的推测性唤醒规程的最佳数目和/或推测性唤醒ITO的最佳历时。
本公开的各方面通过并且参照与利用强化学习的自适应功率节省相关的装置示图、系统示图、以及流程图来进一步解说和描述。
图1解说了根据本公开的各个方面来配置的无线局域网(WLAN)100(也被称为Wi-Fi网络)。WLAN 100可包括AP 105和多个相关联的STA 115，其可代表诸如移动站、个人数字助理(PDA)、其他手持式设备、上网本、笔记本计算机、平板计算机、膝上型设备、显示设备(例如，TV、计算机监视器等)、打印机等设备。AP 105和相关联的站115可表示基本服务集(BSS)或扩展服务集(ESS)。网络中的各个STA 115能够通过AP 105彼此通信。还示出了AP105的覆盖区域110，其可以表示WLAN 100的基本服务区域(BSA)。与WLAN 100相关联的扩展网络站(未示出)可连接至可允许在ESS中连接多个AP 105的有线或无线分发系统。
尽管未在图1中示出，但STA 115可位于不止一个覆盖区域110的相交处并且可与不止一个AP 105相关联。单个AP 105和相关联的STA 115集合可被称为BSS。ESS是已连通BSS的集合。分发系统(未示出)可被用来连接ESS中的AP 105。在一些情形中，AP 105的覆盖区域110可被划分成扇区(也未示出)。WLAN 100可包括不同类型(例如，城市区域、家庭网络等)的具有不同和交叠的覆盖区域110的AP 105。两个STA 115还可经由直接无线链路125来直接通信，而不管这两个STA 115是否在相同的覆盖区域110中。直接无线链路120的示例可包括Wi-Fi直接连接、Wi-Fi隧穿直接链路设立(TDLS)链路、以及其他的群连接。STA 115和AP 105可根据来自IEEE 802.11及各种版本(包括但不限于802.11b、802.11g、802.11a、802.11n、802.11ac、802.11ad、802.11ah、802.11ax等)的物理和MAC层的WLAN无线电和基带协议来进行通信。在其他实现中，可以在WLAN 100内实现对等连接或自组织(ad hoc)网络。
在一些情形中，STA 115(或AP 105)可被中央AP 105检测到，而可能不被中央AP105的覆盖区域110中的其他STA 115检测到。例如，一个STA 115可以处于中央AP 105的覆盖区域110的一端，而另一STA 115可以处于另一端。由此，这两个STA 115可以与AP 105通信，但可能无法接收彼此的传输。这可能导致基于竞争的环境中的两个STA 115的冲突传送(例如，载波侦听多址/冲突避免(CSMA/CA))，因为各STA 115可能不会抑制在彼此之上传送。其传输不能被标识但是处于相同覆盖区域110内的STA 115可被称为隐藏节点。CSMA/CA可以通过由发送方STA 115(或AP 105)传送的请求发送(RTS)分组和由接收方STA 115(或AP 105)传送的清除发送(CTS)分组的交换来补充。这可以提醒在发送方和接收方的射程内的其他设备在主传输的历时内不要进行传送。由此，RTS/CTS可以帮助缓解隐藏节点问题。
在一些情形中，STA 115可以通过在传输之间关闭其传送路径来节省功率。STA115可以通过进入其中STA 115关闭其接收路径的功率节省模式来进一步节省功率。STA115可以通过向AP 105发送指示(例如，通过发送其中功率管理比特被置位的空分组)来向AP 105通知STA 115将处于功率节省模式的时间量。在接收到该指示之际，AP 105可以存储定址到STA 115的分组。在一些情形中，AP 105可以在信标中发送话务指示映射(TIM)，其向STA 115通知在AP 105处缓冲的数据。STA 115可以间歇性地苏醒(例如，根据监听区间)以检查和/或接收TIM。响应于TIM，STA 115可以向AP发送消息，指示STA 115准备好接收经缓冲的数据。AP 105可以响应于该消息而向STA 115发送下行链路分组。STA 115可以通过向AP 105发送指示(例如，通过向AP 105传送其中功率管理比特被清除的空分组)来退出功率节省模式。在一些情形中，STA 115可以通过进入功率模式来增大接收下行链路数据的速率，该功率模式支持AP 105自行决定接收多个排队的下行链路分组，而不是每传输一个下行链路分组。因此，取决于STA 115的功率模式，AP 105可以向STA 115发送多个分组、单个分组或无分组。
如本文所述，在一些情形中，STA 115可以实现推测性唤醒规程。该唤醒可以是推测性的，因为即使STA 115不知晓AP 105是否具有要传送的数据，STA 115也从睡眠模式切换到活跃模式。推测性唤醒可包括STA 115传送其中功率管理比特被置位的空消息以指示STA 115处于活跃功率模式。例如，STA 115可以在处于第一功率模式中时在第一活跃通信时段期间与AP通信。STA 115可以切换到第二功率模式以转换到睡眠时段。STA 15可以至少部分地基于话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式。
附加地或替换地，STA 115可以在观察窗口期间监视与功率模式改变相关联的(诸)度量。STA 115可以基于(诸)度量来更新ITO LUT中的一个或多个值。STA 115可以至少部分地基于经更新的ITO LUT来更新ITO时段。
图2解说了根据本公开的各个方面的支持利用强化学习的自适应功率节省的过程200的示例。过程200可实现图1的WLAN 100的(诸)方面。过程200可包括STA 205和AP 210，它们可以是本文中描述的对应设备的示例。
传统的功率节省技术依赖于功率节省轮询(PS-Poll)消息来取回在AP 210处缓冲的数据。这些技术例如使用来自AP 210的话务拥塞和TIM消息来确定何时传送(诸)推测性PS-Poll消息。然而，由于诸如AP未对经调度和/或未经调度的PS-Poll消息作出反应、AP在接收一定数目(在一些实例中甚至一个)的未经调度的PS-Poll消息时崩溃之类的问题，此类技术遭受故障和AP锁定。作为响应，这些AP被配置成禁用功率节省模式并回复到固定ITO区间(例如，200ms)。
在一些传统系统中，在接收到PS-Poll并且没有数据要发送时进入崩溃状态的AP可能导致拒绝服务并使整个网络崩溃。在一些传统系统中，能处理常规PS-Poll但不能处理推测性PS-Poll的AP可能无法响应推测性PS-Poll，从而对数据服务产生影响。其他AP在一些实例中响应推测性PS-Poll，但并非在每个实例中都如此。可能不一致地响应PS-Poll的一些AP可能导致峰值关键性能指示符测试期间的性能降级。
广义地，过程200解说了其中STA 205使用服务质量(QoS)空值(例如，包括设为0的功率模式比特(PM))来从AP 210取回经缓冲数据的示例。STA 205可包括多组ITO LUT并基于自适应学习而在各ITO LUT之间进行选择。STA 205可以使用基于学习的办法，该办法连续地监视多个度量并且决定是否应该执行功率模式改变。推测性唤醒可以在从PM0到PM1的任何转换之后执行(取决于度量)，而不是响应于到STA 205的TIM消息。在一些方面，ITO时段可被设为最小值，例如，15毫秒(ms)。
一般而言，STA 205可以根据第一功率模式和第二功率模式来操作，该第一功率模式在本文中可被称为PM0(或PM＝0)，该第二功率模式在本文中可被称为PM1(或PM＝1)。在PM0中操作的STA 205可能比在PM1中操作时消耗更多的功率。此外，在PM0中操作的STA 205可用于从AP 210接收多个分组(例如，数据)，而在PM1中操作的STA 205可能不从AP 210接收分组。
在215，STA 205可以在第一活跃通信时段期间与AP 210通信。该通信可以在STA205处于第一功率模式时执行。该通信可以响应于从AP 210接收的TIM消息、响应于导致数据通信的先前推测性唤醒规程等。第一功率模式可以是PMO模式，其中STA 205向STA 210传送其中功率管理(PM)比特被设为零的消息。
在220，STA 205可以切换到第二功率模式以转换到睡眠时段。第二功率模式可以是PM1模式。在一些方面，在处于第二功率模式中时，STA 205可能未被配置成与AP 210进行通信，例如，交换数据分组。在一些方面，在处于第二功率模式中时，STA 205可能被配置用于与AP 210进行有限通信，例如，STA 205可以监视由AP 210传送的信标。
在225，STA 205可以确定是否执行推测性唤醒以及切换回第一功率模式。该确定可以基于(诸)话务指示符度量。在一些方面，STA 205可以在每次转换到PM＝1之后确定是否需要推测性唤醒(对于PM从1变为0)。
在一些方面，如果当前唤醒时段中的TX/RX活动已经持续超过总活跃时间的预定义百分比，则可以执行推测性唤醒。例如，如果STA 205在当前唤醒时段中花费超过总活跃时间的25％、30％、50％或某个其他百分比来执行与AP 210的活跃通信，则STA 205可以确定推测性唤醒可以是有益的。这可以滤除针对偶发性话务的不必要的推测性唤醒并节省STA 205的功率。
在一些方面，如果当前拥塞阈值大于预定义百分比(其也可以取决于操作配置)，则可以执行推测性唤醒。在一些示例中，可以针对不同的操作模式标识不同的预定义百分比。作为一个非限制性示例，当在2G中操作时，话务拥塞超过50％可以指示推测性唤醒是有益的，而当在5G中操作时，话务拥塞超过30％可以指示推测性唤醒是有益的。这可以解决典型的开放模式/拥塞环境使用场景。
在一些方面，推测性唤醒可以基于观察窗口期间的观察来执行。例如，STA 205可以标识其中监视某些度量的观察窗口。在一个非限制性示例中，观察窗口可跨越两秒的时段。如果在观察窗口期间存在至少一定数目的唤醒，例如六次唤醒，则可以在该观察窗口期间执行推测性唤醒。附加地或替换地，如果传送活动下的唤醒次数大于第一阈值并且如果接收活动下的唤醒次数大于第二阈值被满足，则可以执行推测性唤醒。这可以标识双向低吞吐量使用情形以处置请求/响应类型的使用情形(这可以帮助等待时间/Wi-Fi上语音使用情形等)。
话务指示符度量还可以基于吞吐量度量。例如，如果传送吞吐量大于第一阈值并且接收吞吐量大于第二阈值，则可以执行推测性唤醒。这可以标识使用传输控制协议(TCP)的典型实际应用，诸如文件下载、视频流送等。由于TCP是双向的且等待时间敏感的，因此涉及执行推测性唤醒的这种优先级处理可以支持等待时间配置。
在一些方面，STA 205可以确定不执行推测性唤醒。例如，如果当前唤醒继续为推测性唤醒(例如，在当前推测性唤醒期间没有TX/RX活动)，则可以避免推测性唤醒。在一些方面，在当前ITO大于阈值时段时，可以避免推测性唤醒。
在一些方面，推测性唤醒可包括替换ITO。例如，由于功率管理改变/唤醒本质上是推测性的，因此使用主ITO可能不是功率高效或性能高效的。因此，如果不存在TX/RX活动，则STA 205可以在推测性唤醒期间使用替换ITO。替换ITO值可以基于所描述的学习技术(例如，基于话务指示符度量)而比(从)主ITO更小(缩短)或更大(拉伸)。如果在当前推测性唤醒期间发生任何TX/RX活动，则STA 205可以从替换ITO切换到主ITO。如可以领会的，一旦发生这种切换，当前唤醒将不再被认为是推测性唤醒。
在一些方面，如果下一个目标信标传送时间(TBTT)在自推测性唤醒起的预定义时间段内，则也可以避免(或不执行)推测性唤醒。这可以基于该信标包括是否存在针对STA205的数据话务。
图3解说了根据本公开的各个方面的支持利用强化学习的自适应功率节省的功率节省配置300的示例。功率节省配置300可以实现上述WLAN 100和/或过程200的(诸)方面。功率节省配置300可由STA和/或AP来实现，它们可以是本文中所描述的对应设备的示例。
功率节省配置300示出了两个示例功率节省配置：旧式功率节省配置以及根据所描述的技术的功率节省配置(标识为PS 3.0，其也可被称为QPower 3.0)。广义地，功率节省配置PS 3.0包括在AP处缓冲的数据在信标中被通告。STA获取数据并执行一次推测性唤醒。
旧式功率节省模式可包括AP传送多个信标305，其中信标305-a、305-b和305-c作为示例示出。信标305-a可以是TIM信标，其包括向STA指示AP具有为该STA缓冲的数据的指示。响应于TIM信标305-a，STA可以传送功率模式改变310，其包括设为零的功率模式比特(例如，第一功率模式)。在STA传送功率模式改变310时，该STA切换到活跃模式302，其中该STA使用增大的功率量。作为响应，AP和STA可以在数据时段315-a期间交换数据。然而，在数据时段315-a期间可能未交换所有数据，并且STA可在ITO时段320-a期间进入固定ITO(例如，200ms ITO)。然而，由于AP仍然具有要与STA交换的数据，因此ITO时段320-a可被在数据时段315-b期间交换数据中断。一旦数据己被交换，STA可以再次进入固定ITO时段(例如，ITO时段320-b)。在STA进入睡眠模式之前，ITO时段320-b可以运行整个固定时段。一旦ITO时段320-b完成，STA就进入睡眠模式304，其中节省了功率。如在功率节省配置300中所解说的，旧式功率节省模式包括STA处于活跃模式302达延长的时间段，这是STA功率资源的低效使用。
然而，对应于当前描述的技术的功率节省模式提供了对STA的资源的更高效使用并且减少了STA在活跃模式302中花费的时间量。功率节省3.0模式可包括AP传送多个信标305，其中信标305-d、305-e和305-f作为示例示出。然而，信标305-d可以是TIM信标，其包括向STA指示AP具有为该STA缓冲的数据的指示。响应于TIM信标305-d，STA可以传送功率模式改变325-a，其包括设为零的功率模式比特(例如，第一功率模式)。在STA传送功率模式改变325-a时，该STA切换到活跃模式302。作为响应，AP和STA可以在数据时段330-a期间交换数据。然而，在数据时段330-a期间可能未交换所有数据，并且STA可例如在ITO时段335-a期间进入第一ITO时段，其是缩短的ITO时段(例如，短于200ms)。STA可以在ITO时段335-a之后切换到第二功率模式并进入睡眠模式304。AP可能仍具有要与STA交换的数据，但可不在ITO时段335-a期间传送该数据。相应地，STA可以切换到睡眠模式304达睡眠时段以节省功率。AP可以为STA缓冲在数据时段330-a期间未交换的数据。
随后，STA可以根据所描述的技术来确定执行推测性唤醒。例如，STA可以在处于睡眠模式304中时监视话务指示符度量并且确定是否(以及何时)执行推测性唤醒。推测性唤醒可包括STA向AP传送功率模式改变325-b。相应地，可以在数据时段330-b期间在AP与STA之间交换数据。一旦STA开始与AP交换数据，当前唤醒将不再被认为是推测性唤醒。一旦在数据时段330-b期间交换数据，STA就可以在ITO时段335-b期间等待附加数据。ITO时段335-b可以类似于ITO时段335-a，并且可以为STA提供比用固定ITO时段更快地从活跃模式302切换到睡眠模式304。
随后，STA可以根据所描述的技术来再次确定执行推测性唤醒。因此，STA可以向AP传送其中功率管理比特被设为零的功率模式改变325-c。STA可以随后在替换ITO时段340期间等待数据交换。替换ITO时段340可以基于根据所描述的技术持续更新的ITO LUT。在替换ITO时段340结束并且没有数据被交换时，STA可以再次切换到睡眠模式304以节省功率。
图4解说了根据本公开的各个方面的支持利用强化学习的自适应功率节省的功率节省配置400的示例。功率节省配置400可以实现上述WLAN 100、过程200和/或功率节省配置300的(诸)方面。功率节省配置400可由STA和/或AP来实现，它们可以是本文中所描述的对应设备的示例。
功率节省配置400可包括AP传送各信标405，其中信标405-a、405-b、405-c和405-d作为示例示出。AP可以接收为STA缓冲的数据410。相应地，信标405-b可以是TIM信标，其传达AP具有为STA存储的数据的指示。
STA可以接收TIM信标405-b并且通过向AP传送功率模式改变415来作出响应。功率模式改变405可包括或者是数据空消息，其包括被设为零的功率模式比特以指示STA已进入活跃模式。响应于功率模式改变415，在数据时段420期间，AP可以传送并且STA可以接收数据。在该示例中，在数据时段420期间接收在AP处缓冲的所有数据。一旦数据已被交换，STA可以在ITO时段425期间发起不活跃定时器。ITO时段425可以是共用ITO时段，其可以短于固定ITO时段(例如，如在旧式功率节省配置中所使用的)，但是可以长于替换ITO时段。在ITO时段425结束并且没有数据被交换时，STA可以向AP传送功率模式改变430，其指示该STA正进入睡眠模式。例如，功率模式改变430可包括被设为一的功率模式比特以指示STA正进入睡眠模式。
随后，STA可以根据所描述的技术来确定执行推测性唤醒。例如，STA可以在处于睡眠模式中时监视话务指示符度量并且确定是否以及何时执行推测性唤醒。因此，STA可以向AP传送其中功率管理比特被设为零的功率模式改变435。STA可以随后在替换ITO时段440期间等待数据交换。替换ITO时段440可以基于根据所描述的技术持续更新的ITO LUT。在替换ITO时段440结束并且没有数据被交换时，STA可以再次切换到睡眠模式以节省功率。
图5解说了根据本公开的各个方面的支持利用强化学习的自适应功率节省的功率节省配置500的示例。功率节省配置500可以实现上述WLAN 100、过程200和/或功率节省配置300/400的(诸)方面。功率节省配置500可由STA和/或AP来实现，它们可以是本文中所描述的对应设备的示例。
功率节省配置500可包括AP传送各信标505，其中信标505-a、505-b、505-c和505-d作为示例示出。AP可以接收为STA缓冲的数据510。相应地，信标505-b可以是TIM信标，其传达AP具有为STA存储的数据的指示。
STA可以接收TIM信标505-b并且通过向AP传送功率模式改变520来作出响应。功率模式改变520可包括或者是数据或QoS空消息，其包括被设为零的功率模式比特以指示STA已进入活跃模式。响应于功率模式改变520，在数据时段525期间，AP可以传送并且STA可以接收数据。在该示例中，在数据时段525期间接收在AP处缓冲的所有数据。一旦数据已被交换，STA就可以在ITO时段530期间发起不活跃定时器。ITO时段530可以是共用ITO时段，其可以短于固定ITO时段(例如，如在旧式功率节省配置中所使用的)，但是可以长于替换ITO时段。在ITO时段530结束并且没有数据被交换时，STA可以向AP传送功率模式改变535，其指示该STA正进入睡眠模式。例如，功率模式改变535可包括被设为一的功率模式比特以指示STA正进入睡眠模式。
AP可以接收给STA的附加数据515。随后，但在AP传送TIM信标(例如，原本是信标505-c)之前，STA可以根据所描述的技术来确定执行推测性唤醒。例如，STA可以在处于睡眠模式中时监视话务指示符度量并且确定是否以及何时执行推测性唤醒。因此，STA可以向AP传送功率模式改变540。功率模式改变540可包括数据或QoS空消息，其包括被设为零的功率模式比特以指示STA已进入活跃模式。响应于功率模式改变540，在数据时段545期间，AP可以传送并且STA可以接收数据。在该示例中，在数据时段545期间接收在AP处缓冲的所有数据。一旦数据已被交换，STA就可以在ITO时段550期间发起不活跃定时器。ITO时段550可以是共用ITO时段，其可以短于固定ITO时段(例如，如在旧式功率节省配置中所使用的)，但是可以长于替换ITO时段。在ITO时段550结束并且没有数据被交换时，STA可以向AP传送功率模式改变555，其指示该STA正进入睡眠模式。例如，功率模式改变555可包括被设为一的功率模式比特以指示STA正进入睡眠模式。
随后，STA可以根据所描述的技术来再次确定执行推测性唤醒。例如，STA可以向AP传送其中功率管理比特被设为零的功率模式改变560。STA可以随后在替换ITO时段565期间等待数据交换。替换ITO时段565可以基于根据所描述的技术持续更新的ITO LUT。在替换ITO时段565结束并且没有数据被交换时，STA可以再次切换到睡眠模式以节省功率。
图6解说了根据本公开的各个方面的支持利用强化学习的自适应功率节省的过程600的示例。过程600可以实现本文所描述的WLAN 100、过程200和/或功率节省配置300/400/500的(诸)方面。过程600可包括STA 605和AP 610，它们可以是本文中描述的对应设备的示例。
广义地，过程600解说了STA 605通过导出与执行推测性唤醒相关联的成本/收益分析并将强化学习应用于该分析来适配或更新ITO LUT的一个示例。该分析可包括基于针对回报的多维成本函数最大化的闭环反馈。
在615，STA 605可以在观察窗口期间监视与功率模式改变相关联的(诸)度量。功率模式改变可以指STA 605从活跃模式切换到睡眠模式，反之亦然。
在第一成本度量的一个示例中，当在给定观察窗口内到STA 605的TIM通告的数目较高(或正逐渐增加)时，这可以指示STA 605较频繁地处于睡眠模式并且这可能导致减少的吞吐量或影响等待时间敏感的应用。该度量可被用于确定更频繁地执行推测性唤醒和/或延长替换ITO LUT中的ITO时段。STA 605可以基于其例如在观察窗口内接收到的TIM消息的数目来更新其执行推测性唤醒的速率。在一些方面，STA 605可以确定数据通信的等待时间并基于该等待时间来更新其执行推测性唤醒的速率。例如，这可以解决在STA 605在执行推测性唤醒时过于激进(或不够激进)的情况下的等待时间影响。
在度量的另一示例中，当在给定观察窗口内的预定义百分比的推测性唤醒不导致数据被交换时，这可以指示STA 605正在执行过多数目的推测性唤醒，这可能导致功率惩罚。该度量可被用于确定减少推测性唤醒的频率和/或数目和/或缩短替换ITO LUT中的ITO时段。
在度量的另一示例中，当DTIM区间较高时，主ITO时段或共用ITO时段可以延长以在不存在功率模式改变时减少往返时间(RTT)。
在620，STA 605可以基于诸度量来更新ITO LUT中的(诸)值。ITO LUT可以指对应于共用ITO时段和/或替换ITO时段的ITO时间值，如本文所述。更新(诸)值可包括延长或缩短与推测性唤醒时段相关联的时段(例如，替换ITO时段)。在一些方面，更新(诸)值可包括确定更频繁或更不频繁地执行推测性唤醒。
在625，STA 605可以基于经更新的ITO LUT来更新ITO时段。ITO时段可以指本文描述的共用ITO时段和/或替换ITO时段。
图7示出了根据本公开的各个方面的支持利用强化学习的自适应功率节省的无线设备705的框图700。无线设备705可以是如参照图1描述的STA 115的各方面的示例。无线设备705可包括接收机710、功率节省管理器715、以及发射机720。无线设备705还可以包括处理器。这些组件中的每一者可彼此处于通信(例如，经由一条或多条总线)。
接收机710可接收信息，诸如分组、用户数据、或与各种信息信道相关联的控制信息(例如，控制信道、数据信道、以及与利用强化学习的自适应功率节省相关的信息等)。信息可被传递到该设备的其他组件。接收机710可以是参照图10所描述的收发机1035的各方面的示例。
功率节省管理器715可以是参照图10描述的功率节省管理器1015的各方面的示例。
功率节省管理器715和/或其各个子组件中的至少一些子组件可以在硬件、由处理器执行的软件、固件、或其任何组合中实现。如果在由处理器执行的软件中实现，则功率节省管理器715和/或其各个子组件中的至少一些的功能可以由通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本公开中描述的功能的任何组合来执行。功率节省管理器715和/或其各个子组件中的至少一些可物理地位于各个位置处，包括被分布成使得功能的各部分由一个或多个物理设备在不同物理位置处实现。在一些示例中，功率节省管理器715和/或其各个子组件中的至少一些可以是根据本公开的各个方面的分开且相异的组件。在其他示例中，根据本公开的各方面，功率节省管理器715和/或其各种子组件中的至少一些子组件可以与一个或多个其他硬件组件(包括但不限于I/O组件、收发机、网络服务器、另一计算设备、本公开中所描述的一个或多个其他组件或其组合)组合。
功率节省管理器715可以在处于第一功率模式中时在第一活跃通信时段期间与AP通信。功率节省管理器715可以切换到第二功率模式以转换到睡眠时段。功率节省管理器715可以基于话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式。
附加地或替换地，功率节省管理器715还可以在无线站处和在观察窗口期间监视与功率模式改变相关联的一个或多个度量。功率节省管理器715可以基于该一个或多个度量来更新ITO LUT中的一个或多个值。功率节省管理器715可以基于经更新的ITO LUT来更新ITO时段。
发射机720可传送由该设备的其他组件生成的信号。在一些示例中，发射机720可与接收机710共处于收发机模块中。例如，发射机720可以是参照图10所描述的收发机1035的各方面的示例。发射机720可包括单个天线，或者它可包括一组天线。
图8示出了根据本公开的各个方面的支持利用强化学习的自适应功率节省的无线设备805的框图800。无线设备805可以是如参照图1到7描述的无线设备705或STA 115的各方面的示例。无线设备805可包括接收机810、功率节省管理器815、以及发射机820。无线设备805还可以包括处理器。这些组件中的每一者可彼此处于通信(例如，经由一条或多条总线)。
接收机810可接收信息，诸如分组、用户数据、或与各种信息信道相关联的控制信息(例如，控制信道、数据信道、以及与利用强化学习的自适应功率节省相关的信息等)。信息可被传递到该设备的其他组件。接收机810可以是参照图10所描述的收发机1035的各方面的示例。
功率节省管理器815可以是参照图10描述的功率节省管理器1015的各方面的示例。功率节省管理器815还可包括活跃通信管理器825、功率模式切换管理器830、推测性唤醒管理器835、观察窗口管理器840和ITO管理器845。
活跃通信管理器825可以在处于第一功率模式中时在第一活跃通信时段期间与AP通信。功率模式切换管理器830可以切换到第二功率模式以转换到睡眠时段。
推测性唤醒管理器835可以基于话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式。推测性唤醒管理器835可以确定执行推测性唤醒以及切换到第一功率模式。推测性唤醒管理器835可以确定先前的推测性唤醒未能导致数据通信。推测性唤醒管理器835可以确定不执行推测性唤醒以及切换到第一功率模式。推测性唤醒管理器835可以基于信标传输时间来确定不执行推测性唤醒以及切换到第一功率模式。
观察窗口管理器840可以标识与一组推测性唤醒相关联的观察窗口。观察窗口管理器840可以在无线站处和在观察窗口期间监视与功率模式改变相关联的一个或多个度量。在一些情形中，监视与功率模式改变相关联的一个或多个度量进一步包括：在观察窗口期间监视导致数据通信的推测性唤醒的数目。
ITO管理器845可以使用与第一活跃通信时段相关联的第一ITO。ITO管理器845可以使用与推测性唤醒相关联的第二ITO，其中第二ITO在时间上短于第一ITO。ITO管理器845可以确定在推测性唤醒期间正在传达数据。ITO管理器845可以在推测性唤醒期间从第二ITO切换到第一ITO。ITO管理器845可以基于该一个或多个度量来更新ITO LUT中的一个或多个值。ITO管理器845可以基于经更新的ITO LUT来更新ITO时段。ITO管理器845可以基于TIM消息的数目超过阈值来更新ITO LUT以延长ITO时段。ITO管理器845可以基于导致数据通信的推测性唤醒的数目低于阈值来更新ITO LUT以缩短ITO时段。
发射机820可传送由该设备的其他组件生成的信号。在一些示例中，发射机820可与接收机810共处于收发机模块中。例如，发射机820可以是参照图10所描述的收发机1035的各方面的示例。发射机820可包括单个天线，或者它可包括一组天线。
图9示出了根据本公开的各个方面的支持利用强化学习的自适应功率节省的功率节省管理器915的框图900。功率节省管理器915可以是参照图7、8和10描述的功率节省管理器715、功率节省管理器815、或功率节省管理器1015的各方面的示例。功率节省管理器915可包括活跃通信管理器920、功率模式切换管理器925、推测性唤醒管理器930、观察窗口管理器935、ITO管理器940、功率模式改变管理器945、话务度量管理器950、吞吐量管理器955、信标传输管理器960和语音呼叫管理器965。这些模块中的每一者可彼此直接或间接通信(例如，经由一条或多条总线)。
活跃通信管理器920可以在处于第一功率模式中时在第一活跃通信时段期间与AP通信。功率模式切换管理器925可以切换到第二功率模式以转换到睡眠时段。
推测性唤醒管理器930可以基于话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式。推测性唤醒管理器930可以确定执行推测性唤醒以及切换到第一功率模式。推测性唤醒管理器930可以确定先前的推测性唤醒未能导致数据通信。推测性唤醒管理器930可以确定不执行推测性唤醒以及切换到第一功率模式。推测性唤醒管理器930可以基于信标传输时间来确定不执行推测性唤醒以及切换到第一功率模式。
观察窗口管理器935可以标识与一组推测性唤醒相关联的观察窗口，以及在无线站处和在观察窗口期间监视与功率模式改变相关联的一个或多个度量。在一些情形中，监视与功率模式改变相关联的一个或多个度量进一步包括：在观察窗口期间监视导致数据通信的推测性唤醒的数目。在一些情形中，监视与功率模式改变相关联的一个或多个度量进一步包括：至少部分地基于接收到的TIM消息的数目来更新用于执行推测性唤醒的速率。观察窗口管理器935可以确定观察窗口期间的下行链路活跃水平是否已超过第一阈值；以及确定观察窗口期间的上行链路活跃水平是否已超过第二阈值，其中话务指示符度量部分地基于下行链路和/或上行链路活跃水平超过第一和第二阈值。观察窗口管理器935可以确定观察窗口期间的下行链路吞吐量水平是否已超过第一阈值；以及确定观察窗口期间的上行链路吞吐量水平是否已超过第二阈值，其中话务指示符度量部分地基于下行链路和/或上行链路吞吐量水平超过第一和第二阈值。
ITO管理器940可以使用与第一活跃通信时段相关联的第一ITO。ITO管理器940可以使用与推测性唤醒相关联的第二ITO，其中第二ITO在时间上短于第一ITO。ITO管理器940可以确定在推测性唤醒期间正在传达数据、在推测性唤醒期间从第二ITO切换到第一ITO。ITO管理器940可以基于该一个或多个度量来更新ITO LUT中的一个或多个值。ITO管理器940可以基于经更新的ITO LUT来更新ITO时段。ITO管理器940可以基于TIM消息的数目超过阈值来更新ITO LUT以延长ITO时段。ITO管理器940可以基于导致数据通信的推测性唤醒的数目低于阈值来更新ITO LUT以缩短ITO时段。
功率模式改变管理器945可以传送包括功率管理比特的数据空消息，该功率管理比特被设为零以促成切换到第一功率模式。在一些情形中，监视与功率模式改变相关联的一个或多个度量进一步包括：在观察窗口期间监视去往和来自无线站的话务的RTT。
话务度量管理器950可以确定在第一活跃通信时段期间的话务活跃水平已超过阈值，其中话务指示符度量基于该话务活跃水平超过该阈值。话务度量管理器950可以确定话务拥塞水平已超过阈值，其中话务指示符度量基于该话务拥塞水平超过该阈值。话务度量管理器950可以确定该组推测性唤醒中的预定数目的推测性唤醒期间的下行链路活跃水平是否已超过第一阈值。话务度量管理器950可以确定该组推测性唤醒中的预定数目的推测性唤醒期间的上行链路活跃水平是否已超过第二阈值，其中话务指示符度量基于下行链路和上行链路活跃水平超过第一和第二阈值。话务度量管理器950可以监视话务拥塞度量，以及基于该话务拥塞度量来更新ITO LUT表以确定经更新的ITO时段。在一些情形中，监视与功率模式改变相关联的一个或多个度量进一步包括：在观察窗口期间监视供无线站接收的话务指示符映射(TIM)消息的数目。
吞吐量管理器955可以确定该组推测性唤醒中的预定数目的推测性唤醒期间的下行链路吞吐量水平是否已超过第一阈值。吞吐量管理器955可以确定该组推测性唤醒中的预定数目的推测性唤醒期间的上行链路吞吐量水平是否已超过第二阈值，其中话务指示符度量基于下行链路和上行链路吞吐量水平超过第一和第二阈值。
信标传输管理器960可以确定信标传输时间在自睡眠时段结束起的预定义时间段内。
语音呼叫管理器965可以在睡眠时段期间检测语音呼叫正在进行。语音呼叫管理器965可以基于正在进行的语音呼叫来确定执行推测性唤醒以及切换到第一功率模式。
图10示出了根据本公开的各个方面的包括支持利用强化学习的自适应功率节省的设备1005的系统1000的示图。设备1005可以是如以上例如参照图1到8所描述的无线设备705、无线设备805或STA 115的各组件的示例或者包括这些组件。设备1005可包括用于双向语音和数据通信的组件，其包括用于传送和接收通信的组件，包括功率节省管理器1015、处理器1020、存储器1025、软件1030、收发机1035、天线1040、以及I/O控制器1045。这些组件可经由一条或多条总线(例如，总线1010)处于电子通信。
处理器1020可包括智能硬件设备(例如，通用处理器、DSP、中央处理单元(CPU)、微控制器、ASIC、FPGA、可编程逻辑器件、分立的门或晶体管逻辑组件、分立的硬件组件，或其任何组合)。在一些情形中，处理器1020可被配置成使用存储器控制器来操作存储器阵列。在其他情形中，存储器控制器可被集成到处理器1020中。处理器1020可被配置成执行存储器中所储存的计算机可读指令以执行各种功能(例如，支持利用强化学习的自适应功率节省的各功能或任务)。
存储器1025可包括随机存取存储器(RAM)和只读存储器(ROM)。存储器1025可存储包括指令的计算机可读、计算机可执行软件1030，这些指令在被执行时使得处理器执行本文所描述的各种功能。在一些情形中，存储器1025可尤其包含基本输入/输出系统(BIOS)，该BIOS可控制基本硬件和/或软件操作，诸如与外围组件或设备的交互。
软件1030可包括用于实现本公开的各方面的代码，包括用于支持利用强化学习的自适应功率节省的代码。软件1030可被存储在非瞬态计算机可读介质(诸如系统存储器或其他存储器)中。在一些情形中，软件1030可以是不能由处理器直接执行的，而是可以(例如，在被编译和执行时)使计算机执行本文中所描述的各功能。
收发机1035可经由一个或多个天线、有线或无线链路进行双向通信，如上所述。例如，收发机1035可表示无线收发机并且可与另一无线收发机进行双向通信。收发机1035还可包括调制解调器以调制分组并将经调制的分组提供给天线以供传输，以及解调从天线接收到的分组。
在一些情形中，无线设备可包括单个天线1040。然而，在一些情形中，该设备可具有不止一个天线1040，这些天线可以能够并发地传送或接收多个无线传输。
I/O控制器1045可管理设备1005的输入和输出信号。I/O控制器1045还可管理未被集成到设备1005中的外围设备。在一些情形中，I/O控制器1045可代表至外部外围设备的物理连接或端口。在一些情形中，I/O控制器1045可以利用操作系统，诸如 或另一已知操作系统。在其他情形中，I/O控制器1045可表示调制解调器、键盘、鼠标、触摸屏或类似设备或者与其交互。在一些情形中，I/O控制器1045可被实现为处理器的一部分。在一些情形中，用户可经由I/O控制器1045或者经由I/O控制器1045所控制的硬件组件来与设备1005交互。
图11示出了解说根据本公开的各个方面的用于利用强化学习的自适应功率节省的方法1100的流程图。方法1100的操作可由如本文描述的STA 115或其组件来实现。例如，方法1100的操作可由如参照图7到10所描述的功率节省管理器来执行。在一些示例中，STA115可以执行代码集来控制该设备的功能元件执行下文描述的功能。附加地或替换地，STA115可以使用专用硬件来执行以下描述的功能的各方面。
在框1105，STA 115可以在处于第一功率模式中时在第一活跃通信时段期间与AP通信。框1105的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1105的操作的各方面可由如参照图7到10描述的活跃通信管理器来执行。
在框1110，STA 115可以切换到第二功率模式以转换到睡眠时段。框1110的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1110的操作的各方面可以由如参照图7到10描述的功率模式切换管理器来执行。
在框1115，STA 1115可以至少部分地基于话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式。框1115的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1115的操作的各方面可由如参照图7到10描述的推测性唤醒管理器来执行。
图12示出了解说根据本公开的各个方面的用于利用强化学习的自适应功率节省的方法1200的流程图。方法1200的操作可由如本文描述的STA 115或其组件来实现。例如，方法1200的操作可由如参照图7到10所描述的功率节省管理器来执行。在一些示例中，STA115可以执行代码集来控制该设备的功能元件执行下文描述的功能。附加地或替换地，STA115可以使用专用硬件来执行以下描述的功能的各方面。
在框1205，STA 115可以在处于第一功率模式中时在第一活跃通信时段期间与AP通信。框1205的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1205的操作的各方面可由如参照图7到10描述的活跃通信管理器来执行。
在框1210，STA 115可以切换到第二功率模式以转换到睡眠时段。框1210的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1210的操作的各方面可以由如参照图7到10描述的功率模式切换管理器来执行。
在框1215，STA 1115可以至少部分地基于话务指示符度量来确定是否在睡眠模式结束时执行推测性唤醒以及切换到第一功率模式。框1215的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1215的操作的各方面可由如参照图7到10描述的推测性唤醒管理器来执行。
在框1220，STA 115可以确定执行推测性唤醒以及切换到第一功率模式。框1220的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1220的操作的各方面可由如参照图7到10描述的推测性唤醒管理器来执行。
在框1225，STA 115可以传送包括功率管理比特的数据空消息，该功率管理比特被设为零以促成切换到第一功率模式。框1225的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1225的操作的各方面可以由如参照图7到10描述的功率模式改变管理器来执行。
图13示出了解说根据本公开的各个方面的用于利用强化学习的自适应功率节省的方法1300的流程图。方法1300的操作可由如本文描述的STA 115或其组件来实现。例如，方法1300的操作可由如参照图7到10所描述的功率节省管理器来执行。在一些示例中，STA115可以执行代码集来控制该设备的功能元件执行下文描述的功能。附加地或替换地，STA115可以使用专用硬件来执行以下描述的功能的各方面。
在框1305，STA 115可以在无线站处和在观察窗口期间监视与功率模式改变相关联的一个或多个度量。框1305的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1305的操作的各方面可由如参照图7到10描述的观察窗口管理器来执行。
在框1310，STA 115可以基于该一个或多个度量来更新ITO LUT中的一个或多个值。框1310的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1310的操作的各方面可由如参照图7到10描述的ITO管理器来执行。
在框1315，STA 115可以至少部分地基于经更新的ITO LUT来更新ITO时段。框1315的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1315的操作的各方面可由如参照图7到10描述的ITO管理器来执行。
图14示出了解说根据本公开的各个方面的用于利用强化学习的自适应功率节省的方法1400的流程图。方法1400的操作可由如本文描述的STA 115或其组件来实现。例如，方法1400的操作可由如参照图7到10所描述的功率节省管理器来执行。在一些示例中，STA115可以执行代码集来控制该设备的功能元件执行下文描述的功能。附加地或替换地，STA115可以使用专用硬件来执行以下描述的功能的各方面。
在框1405，STA 115可以在无线站处和在观察窗口期间监视与推测性功率模式改变相关联的一个或多个度量。框1405的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1405的操作的各方面可由如参照图7到10描述的观察窗口管理器来执行。
在框1410，STA 115可以基于该一个或多个度量来更新ITO LUT中的一个或多个值。框1410的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1410的操作的各方面可由如参照图7到10描述的ITO管理器来执行。
在框1415，STA 115可以至少部分地基于经更新的ITO LUT来更新ITO时段。框1415的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1415的操作的各方面可由如参照图7到10描述的ITO管理器来执行。
在框1420，STA 115可以监视话务拥塞度量。框1420的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1420的操作的各方面可由如参照图7到10描述的话务度量管理器来执行。
在框1425，STA 115可以基于该话务拥塞度量来查询该ITO LUT表以确定经更新的ITO时段。框1425的操作可根据参照图1到6描述的方法来执行。在某些示例中，框1425的操作的各方面可由如参照图7到10描述的话务度量管理器来执行。
应注意，上述方法描述了可能的实现，并且各操作和步骤可被重新安排或以其他方式被修改且其他实现也是可能的。此外，来自两种或更多种方法的诸方面可被组合。
本文所描述的技术可被用于各种无线通信系统，诸如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交频分多址(OFDMA)、单载波频分多址(SC-FDMA)以及其他系统。术语“系统”和“网络”常被可互换地使用。码分多址(CDMA)系统可以实现诸如CDMA2000、通用地面无线电接入(UTRA)等无线电技术。CDMA2000涵盖IS-2000、IS-95和IS-856标准。IS-2000版本常可被称为CDMA2000 1X、1X等。IS-856(TIA-856)常被称为CDMA2000 1xEV-DO、高速率分组数据(HRPD)等。UTRA包括宽带CDMA(WCDMA)和其他CDMA变体。时分多址(TDMA)系统可实现诸如全球移动通信系统(GSM)之类的无线电技术。正交频分多址(OFDMA)系统可实现诸如超移动宽带(UMB)、演进UTRA(E-UTRA)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、Flash-OFDM等无线电技术。
本文所描述的一个或多个无线通信系统可以支持同步或异步操作。对于同步操作，各站可具有相似的帧定时，并且来自不同站的传输可在时间上大致对准。对于异步操作，各站可以具有不同的帧定时，并且来自不同站的传输可能在时间上并不对齐。本文所描述的技术可用于同步或异步操作。
本文所描述的下行链路传输还可被称为前向链路传输，而上行链路传输还可被称为反向链路传输。本文中所描述的每条通信链路(包括例如图1的无线通信系统100)可包括一个或多个载波，其中每个载波可以是由多个副载波构成的信号(例如，不同频率的波形信号)。
本文结合附图阐述的说明描述了示例配置而不代表可被实现或者落在权利要求的范围内的所有示例。本文所使用的术语“示例性”意指“用作示例、实例或解说”，而并不意指“优于”或“胜过其他示例”。本详细描述包括具体细节以提供对所描述的技术的理解。然而，可以在没有这些具体细节的情况下实践这些技术。在一些实例中，众所周知的结构和设备以框图形式示出以避免模糊所描述的示例的概念。
在附图中，类似组件或特征可具有相同的附图标记。此外，相同类型的各个组件可通过在附图标记后跟随短划线以及在类似组件之间进行区分的第二标记来加以区分。如果在说明书中仅使用第一附图标记，则该描述可应用于具有相同的第一附图标记的类似组件中的任何一个组件而不论第二附图标记如何。
本文所描述的信息和信号可使用各种各样的不同技艺和技术中的任一种来表示。例如，贯穿上面说明始终可能被述及的数据、指令、命令、信息、信号、比特、码元和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子、或其任何组合来表示。
结合本文中的公开描述的各种解说性框以及模块可以用设计成执行本文中描述的功能的通用处理器、DSP、ASIC、FPGA或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可被实现为计算设备的组合(例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器，或者任何其他此类配置)。
本文所描述的功能可以在硬件、由处理器执行的软件、固件、或其任何组合中实现。如果在由处理器执行的软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。其他示例和实现落在本公开及所附权利要求的范围内。例如，由于软件的本质，以上描述的功能可使用由处理器执行的软件、硬件、固件、硬连线或其任何组合来实现。实现功能的特征也可物理地位于各种位置，包括被分布以使得功能的各部分在不同的物理位置处实现。另外，如本文(包括权利要求中)所使用的，在项目列举(例如，以附有诸如“中的至少一个”或“中的一个或多个”之类的措辞的项目列举)中使用的“或”指示包含性列举，以使得例如A、B或C中的至少一个的列举意指A或B或C或AB或AC或BC或ABC(即，A和B和C)。同样，如本文所使用的，短语“基于”不应被解读为引述封闭条件集。例如，被描述为“基于条件A”的示例性步骤可基于条件A和条件B两者而不脱离本公开的范围。换言之，如本文所使用的，短语“基于”应当以与短语“至少部分地基于”相同的方式来解读。
计算机可读介质包括非瞬态计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。非瞬态存储介质可以是能被通用或专用计算机访问的任何可用介质。作为示例而非限定，非瞬态计算机可读介质可包括RAM、ROM、电可擦除可编程只读存储器(EEPROM)、压缩盘(CD)ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来携带或存储指令或数据结构形式的期望程序代码手段且能被通用或专用计算机、或者通用或专用处理器访问的任何其他非瞬态介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从网站、服务器、或其他远程源传送的，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括CD、激光碟、光碟、数字通用碟(DVD)、软盘和蓝光碟，其中盘常常磁性地再现数据而碟用激光来光学地再现数据。以上介质的组合也被包括在计算机可读介质的范围内。
提供本文中的描述是为了使得本领域技术人员能够制作或使用本公开。对本公开的各种修改对于本领域技术人员将是显而易见的，并且本文中所定义的普适原理可被应用于其他变形而不会脱离本公开的范围。由此，本公开并非被限定于本文中所描述的示例和设计，而是应被授予与本文所公开的原理和新颖特征相一致的最广范围。

Claims (48)

1.一种用于无线通信的方法，包括：
在处于第一功率模式中时在第一活跃通信时段期间与接入点(AP)通信；
切换到第二功率模式以转换到睡眠时段；以及
至少部分地基于话务指示符度量来确定是否在所述睡眠模式结束时执行推测性唤醒以及切换到所述第一功率模式。
2.根据权利要求1所述的方法，其特征在于，进一步包括：
确定执行所述推测性唤醒以及切换到所述第一功率模式；以及
传送包括功率管理比特的数据空消息，所述功率管理比特被设为零以促成切换到所述第一功率模式。
3.根据权利要求1所述的方法，其特征在于，进一步包括：
确定在所述第一活跃通信时段期间的话务活跃水平已超过阈值，其中所述话务指示符度量至少部分地基于所述话务活跃水平超过所述阈值。
4.根据权利要求1所述的方法，其特征在于，进一步包括：
确定话务拥塞水平已超过阈值，其中所述话务指示符度量至少部分地基于所述话务拥塞水平超过所述阈值。
5.根据权利要求1所述的方法，其特征在于，进一步包括：
标识与多个推测性唤醒相关联的观察窗口；
确定所述多个推测性唤醒中的预定数目的推测性唤醒期间的下行链路活跃水平是否已超过第一阈值；以及
确定所述多个推测性唤醒中的预定数目的推测性唤醒期间的上行链路活跃水平是否已超过第二阈值，其中所述话务指示符度量至少部分地基于所述下行链路和上行链路活跃水平超过所述第一和第二阈值。
6.根据权利要求1所述的方法，其特征在于，进一步包括：
标识与多个推测性唤醒相关联的观察窗口；
确定所述多个推测性唤醒中的预定数目的推测性唤醒期间的下行链路吞吐量水平是否已超过第一阈值；以及
确定所述多个推测性唤醒中的预定数目的推测性唤醒期间的上行链路吞吐量水平是否已超过第二阈值，其中所述话务指示符度量至少部分地基于所述下行链路和上行链路吞吐量水平超过所述第一和第二阈值。
7.根据权利要求1所述的方法，其特征在于，进一步包括：
标识与多个推测性唤醒相关联的观察窗口；
确定所述观察窗口期间的下行链路活跃水平是否已超过第一阈值；以及
确定所述观察窗口期间的上行链路活跃水平是否已超过第二阈值，其中所述话务指示符度量至少部分地基于所述下行链路和上行链路活跃水平超过所述第一和第二阈值。
8.根据权利要求1所述的方法，其特征在于，进一步包括：
标识与多个推测性唤醒相关联的观察窗口；
确定所述观察窗口期间的下行链路吞吐量水平是否已超过第一阈值；以及
确定所述观察窗口期间的上行链路吞吐量水平是否已超过第二阈值，其中所述话务指示符度量至少部分地基于所述下行链路和上行链路吞吐量水平超过所述第一和第二阈值。
9.根据权利要求1所述的方法，其特征在于，进一步包括：
确定先前的推测性唤醒未能导致数据通信；以及
确定不执行所述推测性唤醒以及切换到所述第一功率模式。
10.根据权利要求1所述的方法，其特征在于，进一步包括：
使用与所述第一活跃通信时段相关联的第一不活跃超时(ITO)；以及
使用与所述推测性唤醒相关联的第二ITO，其中所述第二ITO在时间上短于所述第一ITO。
11.根据权利要求10所述的方法，其特征在于，进一步包括：
确定在推测性唤醒期间正在传达数据；以及
在所述推测性唤醒期间从所述第二ITO切换到所述第一ITO。
12.根据权利要求1所述的方法，其特征在于，进一步包括：
确定信标传输时间在自所述睡眠时段结束起的预定义时间段内；以及
至少部分地基于所述信标传输时间来确定不执行推测性唤醒以及切换到所述第一功率模式。
13.根据权利要求1所述的方法，其特征在于，进一步包括：
在所述睡眠时段期间检测语音呼叫正在进行；以及
至少部分地基于所述正在进行的语音呼叫来确定执行所述推测性唤醒以及切换到所述第一功率模式。
14.一种用于无线通信的方法，包括：
在无线站处和在观察窗口期间监视与功率模式改变相关联的一个或多个度量；
基于所述一个或多个度量来更新不活跃超时(ITO)查找表(LUT)中的一个或多个值；以及
至少部分地基于经更新的ITO LUT来更新ITO时段。
15.根据权利要求14所述的方法，其特征在于：
监视与功率模式改变相关联的一个或多个度量进一步包括：在所述观察窗口期间监视供所述无线站接收的话务指示符映射(TIM)消息的数目。
16.根据权利要求15所述的方法，其特征在于，进一步包括：
至少部分地基于供所述无线站接收的所述TIM消息的数目来更新用于执行推测性唤醒的速率。
17.根据权利要求16所述的方法，其特征在于，进一步包括：
基于所述TIM消息的数目超过阈值来更新所述ITO LUT以延长所述ITO时段。
18.根据权利要求14所述的方法，其特征在于：
监视与功率模式改变相关联的一个或多个度量进一步包括：在所述观察窗口期间监视导致数据通信的推测性唤醒的数目。
19.根据权利要求18所述的方法，其特征在于，进一步包括：
基于所述导致数据通信的推测性唤醒的数目低于阈值来更新所述ITO LUT以缩短ITO时段。
20.根据权利要求14所述的方法，其特征在于，监视与功率模式改变相关联的一个或多个度量进一步包括：
在所述观察窗口期间监视与所述无线站相关联的数据通信的等待时间。
21.根据权利要求20所述的方法，其特征在于，进一步包括：
至少部分地基于与所述无线站相关联的所述数据通信的等待时间来更新用于执行推测性唤醒的速率。
22.根据权利要求14所述的方法，其特征在于：
监视与功率模式改变相关联的一个或多个度量进一步包括：在所述观察窗口期间监视去往和来自所述无线站的话务的往返时间(RTT)。
23.根据权利要求14所述的方法，其特征在于，进一步包括：
监视话务拥塞度量；以及
基于所述话务拥塞度量来查询所述ITO LUT表以确定经更新的ITO时段。
24.一种用于无线通信的装置，包括：
处理器；
存储器，所述存储器与所述处理器处于电子通信；以及
存储在所述存储器中的指令，所述指令在由所述处理器执行时能操作用于使所述装置：
在处于第一功率模式中时在第一活跃通信时段期间与接入点(AP)通信；
切换到第二功率模式以转换到睡眠时段；以及
至少部分地基于话务指示符度量来确定是否在所述睡眠模式结束时执行推测性唤醒以及切换到所述第一功率模式。
25.一种用于无线通信的设备，包括：
用于在处于第一功率模式中时在第一活跃通信时段期间与接入点(AP)通信的装置；
用于切换到第二功率模式以转换到睡眠时段的装置；以及
用于至少部分地基于话务指示符度量来确定是否在所述睡眠模式结束时执行推测性唤醒以及切换到所述第一功率模式的装置。
26.根据权利要求25所述的设备，其特征在于，进一步包括：
用于确定执行所述推测性唤醒以及切换到所述第一功率模式的装置；以及
用于传送包括功率管理比特的数据空消息的装置，所述功率管理比特被设为零以促成切换到所述第一功率模式。
27.根据权利要求25所述的设备，其特征在于，进一步包括：
用于确定在所述第一活跃通信时段期间的话务活跃水平已超过阈值的装置，其中所述话务指示符度量至少部分地基于所述话务活跃水平超过所述阈值。
28.根据权利要求25所述的设备，其特征在于，进一步包括：
用于确定话务拥塞水平已超过阈值的装置，其中所述话务指示符度量至少部分地基于所述话务拥塞水平超过所述阈值。
29.根据权利要求25所述的设备，其特征在于，进一步包括：
用于标识与多个推测性唤醒相关联的观察窗口的装置；
用于确定所述多个推测性唤醒中的预定数目的推测性唤醒期间的下行链路活跃水平是否已超过第一阈值的装置；以及
用于确定所述多个推测性唤醒中的预定数目的推测性唤醒期间的上行链路活跃水平是否已超过第二阈值的装置，其中所述话务指示符度量至少部分地基于所述下行链路和上行链路活跃水平超过所述第一和第二阈值。
30.根据权利要求25所述的设备，其特征在于，进一步包括：
用于标识与多个推测性唤醒相关联的观察窗口的装置；
用于确定所述多个推测性唤醒中的预定数目的推测性唤醒期间的下行链路吞吐量水平是否已超过第一阈值的装置；以及
用于确定所述多个推测性唤醒中的预定数目的推测性唤醒期间的上行链路吞吐量水平是否已超过第二阈值的装置，其中所述话务指示符度量至少部分地基于所述下行链路和上行链路吞吐量水平超过所述第一和第二阈值。
31.根据权利要求25所述的设备，其特征在于，进一步包括：
用于标识与多个推测性唤醒相关联的观察窗口的装置；
用于确定所述观察窗口期间的下行链路活跃水平是否已超过第一阈值的装置；以及
用于确定所述观察窗口期间的上行链路活跃水平是否已超过第二阈值的装置，其中所述话务指示符度量至少部分地基于所述下行链路和上行链路活跃水平超过所述第一和第二阈值。
32.根据权利要求25所述的设备，其特征在于，进一步包括：
用于标识与多个推测性唤醒相关联的观察窗口的装置；
用于确定所述观察窗口期间的下行链路吞吐量水平是否已超过第一阈值的装置；以及
用于确定所述观察窗口期间的上行链路吞吐量水平是否已超过第二阈值的装置，其中所述话务指示符度量至少部分地基于所述下行链路和上行链路吞吐量水平超过所述第一和第二阈值。
33.根据权利要求25所述的设备，其特征在于，进一步包括：
用于确定先前的推测性唤醒未能导致数据通信的装置；以及
用于确定不执行所述推测性唤醒以及切换到所述第一功率模式的装置。
34.根据权利要求25所述的设备，其特征在于，进一步包括：
用于使用与所述第一活跃通信时段相关联的第一不活跃超时(ITO)的装置；以及
用于使用与所述推测性唤醒相关联的第二ITO的装置，其中所述第二ITO在时间上短于所述第一ITO。
35.根据权利要求34所述的设备，其特征在于，进一步包括：
用于确定在推测性唤醒期间正在传达数据的装置；以及
用于在所述推测性唤醒期间从所述第二ITO切换到所述第一ITO的装置。
36.根据权利要求25所述的设备，其特征在于，进一步包括：
用于确定信标传输时间在自所述睡眠时段结束起的预定义时间段内的装置；以及
用于至少部分地基于所述信标传输时间来确定不执行推测性唤醒以及切换到所述第一功率模式的装置。
37.根据权利要求25所述的设备，其特征在于，进一步包括：
用于在所述睡眠时段期间检测语音呼叫正在进行的装置；以及
用于至少部分地基于所述正在进行的语音呼叫来确定执行所述推测性唤醒以及切换到所述第一功率模式的装置。
38.一种用于无线通信的设备，包括：
用于在无线站处和在观察窗口期间监视与功率模式改变相关联的一个或多个度量的装置；
用于基于所述一个或多个度量来更新不活跃超时(ITO)查找表(LUT)中的一个或多个值的装置；以及
用于至少部分地基于经更新的ITO LUT来更新ITO时段的装置。
39.根据权利要求38所述的设备，其特征在于，进一步包括：
用于监视与功率模式改变相关联的一个或多个度量的装置进一步包括：在所述观察窗口期间监视供所述无线站接收的话务指示符映射(TIM)消息的数目。
40.根据权利要求39所述的设备，其特征在于，进一步包括：
用于至少部分地基于供所述无线站接收的所述TIM消息的数目来更新用于执行推测性唤醒的速率的装置。
41.根据权利要求40所述的设备，其特征在于，进一步包括：
用于基于所述TIM消息的数目超过阈值来更新所述ITO LUT以延长所述ITO时段的装置。
42.根据权利要求38所述的设备，其特征在于，进一步包括：
用于监视与功率模式改变相关联的一个或多个度量的装置进一步包括：在所述观察窗口期间监视导致数据通信的推测性唤醒的数目。
43.根据权利要求42所述的设备，其特征在于，进一步包括：
用于基于所述导致数据通信的推测性唤醒的数目低于阈值来更新所述ITO LUT以缩短ITO时段的装置。
44.根据权利要求38所述的设备，其特征在于，所述用于监视与功率模式改变相关联的一个或多个度量的装置进一步包括：
用于在所述观察窗口期间监视与所述无线站相关联的数据通信的等待时间的装置。
45.根据权利要求44所述的设备，其特征在于，进一步包括：
用于至少部分地基于与所述无线站相关联的所述数据通信的等待时间来更新用于执行推测性唤醒的速率的装置。
46.根据权利要求38所述的设备，其特征在于，进一步包括：
用于监视与功率模式改变相关联的一个或多个度量的装置进一步包括：在所述观察窗口期间监视去往和来自所述无线站的话务的往返时间(RTT)。
47.根据权利要求38所述的设备，其特征在于，进一步包括：
用于监视话务拥塞度量的装置；以及
用于基于所述话务拥塞度量来查询所述ITO LUT表以确定经更新的ITO时段的装置。
48.一种存储用于无线通信的代码的非瞬态计算机可读介质，所述代码包括能由处理器执行以进行以下操作的指令：
在处于第一功率模式中时在第一活跃通信时段期间与接入点(AP)通信；
切换到第二功率模式以转换到睡眠时段；以及
至少部分地基于话务指示符度量来确定是否在所述睡眠模式结束时执行推测性唤醒以及切换到所述第一功率模式。
CN201880009259.9A 2017-02-01 2018-02-01 利用强化学习的自适应功率节省 Active CN110235476B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762453489P 2017-02-01 2017-02-01
US62/453,489 2017-02-01
US15/885,003 2018-01-31
US15/885,003 US11540221B2 (en) 2017-02-01 2018-01-31 Adaptive power save with reinforcement learning
PCT/US2018/016459 WO2018144734A2 (en) 2017-02-01 2018-02-01 Adaptive power save with reinforcement learning

Publications (2)

Publication Number Publication Date
CN110235476A true CN110235476A (zh) 2019-09-13
CN110235476B CN110235476B (zh) 2022-07-12

Family

ID=62980936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880009259.9A Active CN110235476B (zh) 2017-02-01 2018-02-01 利用强化学习的自适应功率节省

Country Status (4)

Country Link
US (2) US11540221B2 (zh)
CN (1) CN110235476B (zh)
TW (1) TW201834490A (zh)
WO (1) WO2018144734A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023097426A1 (en) * 2021-11-30 2023-06-08 Intel Corporation Methods and apparatus to improve sleep state demotion with hardware power monitor

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11418619B1 (en) * 2017-09-25 2022-08-16 Amazon Technologies, Inc. Scheduling data communication for devices
US11228979B2 (en) * 2018-09-20 2022-01-18 Mediatek Singapore Pte. Ltd. Method and apparatus for reducing power consumption with wake-up mechanism in mobile communications
CN108966330A (zh) * 2018-09-21 2018-12-07 西北大学 一种基于Q-learning的移动端音乐播放器动态调节能耗优化方法
US10939371B2 (en) * 2018-09-28 2021-03-02 Nxp Usa, Inc. Power save optimization for wireless connectivity
CN111315005B (zh) * 2020-02-21 2022-08-19 重庆邮电大学 一种无线传感器网络自适应休眠方法
CN114980156B (zh) * 2022-04-08 2024-04-19 重庆邮电大学 一种无蜂窝毫米波大规模mimo系统的ap开关切换方法
WO2023224864A1 (en) * 2022-05-18 2023-11-23 Intel Corporation Remote radio head low-power tuning procedure

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1684466A1 (en) * 2005-01-21 2006-07-26 Research In Motion Limited Power saving and handling broadcast as unicast traffic in a WLAN
US20070184809A1 (en) * 2006-02-06 2007-08-09 Alaa Muqattash Power save system and method
US7802118B1 (en) * 2006-12-21 2010-09-21 Nvidia Corporation Functional block level clock-gating within a graphics processor
US8102790B1 (en) * 2007-04-13 2012-01-24 Cisco Technology, Inc. Saving power in a wireless network in the presence of multicast or broadcast data
US20130028159A1 (en) * 2011-01-28 2013-01-31 Texas Instruments Incorporated Silent power-save mode for a wireless communication device
CN104335663A (zh) * 2012-04-02 2015-02-04 Lg电子株式会社 在wlan系统中接入信道的方法和设备
CN104737597A (zh) * 2012-10-24 2015-06-24 高通股份有限公司 将超低功率信号用于经调度功率节省模式的方法和装置
CN104885520A (zh) * 2012-10-29 2015-09-02 中兴通讯(美国)公司 在无线通信系统中支持基站进入和退出休眠模式
CN105050164A (zh) * 2015-01-16 2015-11-11 中国矿业大学 基于数据重要性的降低wifi功耗方法
US20150334592A1 (en) * 2012-04-02 2015-11-19 Lg Electronics Inc. Method and apparatus for accessing channel in wlan system
US20160295509A1 (en) * 2015-04-03 2016-10-06 Qualcomm Incorporated Determining inactivity timeout using distributed coordination function

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668129B2 (en) * 2006-03-30 2010-02-23 Intel Corporation Learning mechanism to configure power save parameters for automatic power save delivery
US7756103B2 (en) * 2006-03-31 2010-07-13 Intel Corporation Device, system and method of adjustment of a delivery mechanism according to access categories
EP2939463B1 (en) * 2013-01-31 2019-02-27 Apple Inc. Dynamic adaptation of a traffic inactivity timer
US9743275B2 (en) 2014-04-29 2017-08-22 Qualcomm Incorporated Multiple BSSID procedure with TIM encoding
WO2015170831A1 (ko) * 2014-05-08 2015-11-12 엘지전자 주식회사 무선랜에서 파워 세이브 모드 기반의 동작 방법 및 장치

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1684466A1 (en) * 2005-01-21 2006-07-26 Research In Motion Limited Power saving and handling broadcast as unicast traffic in a WLAN
US20070184809A1 (en) * 2006-02-06 2007-08-09 Alaa Muqattash Power save system and method
US7802118B1 (en) * 2006-12-21 2010-09-21 Nvidia Corporation Functional block level clock-gating within a graphics processor
US8102790B1 (en) * 2007-04-13 2012-01-24 Cisco Technology, Inc. Saving power in a wireless network in the presence of multicast or broadcast data
US20130028159A1 (en) * 2011-01-28 2013-01-31 Texas Instruments Incorporated Silent power-save mode for a wireless communication device
CN104335663A (zh) * 2012-04-02 2015-02-04 Lg电子株式会社 在wlan系统中接入信道的方法和设备
US20150334592A1 (en) * 2012-04-02 2015-11-19 Lg Electronics Inc. Method and apparatus for accessing channel in wlan system
CN104737597A (zh) * 2012-10-24 2015-06-24 高通股份有限公司 将超低功率信号用于经调度功率节省模式的方法和装置
CN104885520A (zh) * 2012-10-29 2015-09-02 中兴通讯(美国)公司 在无线通信系统中支持基站进入和退出休眠模式
CN105050164A (zh) * 2015-01-16 2015-11-11 中国矿业大学 基于数据重要性的降低wifi功耗方法
US20160295509A1 (en) * 2015-04-03 2016-10-06 Qualcomm Incorporated Determining inactivity timeout using distributed coordination function

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023097426A1 (en) * 2021-11-30 2023-06-08 Intel Corporation Methods and apparatus to improve sleep state demotion with hardware power monitor

Also Published As

Publication number Publication date
US20180220372A1 (en) 2018-08-02
TW201834490A (zh) 2018-09-16
WO2018144734A3 (en) 2018-09-07
US20230080467A1 (en) 2023-03-16
WO2018144734A2 (en) 2018-08-09
CN110235476B (zh) 2022-07-12
US11540221B2 (en) 2022-12-27

Similar Documents

Publication Publication Date Title
CN110235476A (zh) 利用强化学习的自适应功率节省
US20210099953A1 (en) Scheduled peer power save mode
US8989212B2 (en) Systems and methods for coexistence of WLAN and bluetooth networks
CN101925161B (zh) 无线通信系统中自适应调整非连续接收模式的方法和装置
KR100936190B1 (ko) 무선 통신 방법, 무선 통신 장치 및 무선 통신용 제품
CN104335663B (zh) 在wlan系统中接入信道的方法和设备
EP2161953B1 (en) Access point, wireless communication station, wireless communication system and wireless communication method
CN112788716A (zh) 一种多链路设备间的通信方法和装置
US9980219B2 (en) Power efficient PS-Poll
CN101971675A (zh) 包括后组播时间的无线网络
CN1941967A (zh) 通过控制侦听周期节省功率的方法和设备
KR102660048B1 (ko) 비동기식 채널 호핑 네트워크들에서의 슬리피 디바이스 동작
US20140281623A1 (en) Wireless device including system-on-a-chip having low power consumption
US9462549B2 (en) Systems and methods for optimizing power consumption associated with processing group addressed messages
US20120230319A1 (en) Communication device, communication system, communication device control method, and communication device control program
CN102740363A (zh) 一种无线传感器网络数据采集方法
WO2021180177A1 (zh) 一种应用于多链路通信中的功率节省方法和装置
Jung et al. Power-saving strategy for balancing energy and delay performance in WLANs
CN110326336A (zh) 对唤醒无线电单元同步信标的自适应传输
US20220225232A1 (en) Apparatus, systems, and methods for battery life based wireless communication scheduling
CN115209513A (zh) 用于移动接入点站点的装置和方法
KR20230116869A (ko) 절전 처리 방법, 장치 및 단말
Ullah RFID-enabled MAC protocol for WBAN
Xie et al. Centralized PSM: an AP-centric power saving mode for 802.11 infrastructure networks
Lim et al. Energy efficient quality-of-service for WLAN-based D2D communications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant