CN103299710B - 用于基于查找表进行多路径调度的方法 - Google Patents

Abstract

一种用于提供多路径调度器的方法可包括使得生成动作规则查找表，动作规则定义与各种不同的状态相对应的动作，其中状态中的每个状态是与数据接口相关联的性能测量的加权描述；以及使得能够在多路径通信环境中的通信期间利用查找表，以基于与多个可用数据接口相关联的当前性能测量来在多个可用数据接口之中识别被选择的数据接口。还提供了对应的装置和计算机程序产品。

Description

用于基于查找表进行多路径调度的方法

技术领域

本发明的实施例一般地涉及无线通信技术，并且更具体地，涉及用于提供数据接口使用的多路径调度的方法和装置。

背景技术

当今通信时代已经引起了对有线网络和无线网络的大规模扩展。计算机网络、电视网络和电话网络正在经历着由消费者需求引起的史无前例的技术扩展。无线联网技术和移动联网技术已经应对了相关的消费者需求，同时提供了对信息传送的更大的灵活性和即时性。

当前和未来的联网技术继续使信息传送变得容易并且向用户提供方便。需要提高信息传送的容易度的一个领域涉及向移动终端的用户传送服务。这些服务可以以用户所希望的特定媒体或通信应用的形式存在，例如音乐播放器、游戏机、电子书、短消息、电子邮件、内容共享、web浏览等。这些服务也可以以用户可以对网络设备做出响应以执行任务或者完成目标的交互应用的形式存在。这些服务可以从网络服务器或者其它网络设备处被提供，或者甚至是从移动终端处被提供，移动终端例如移动电话、移动电视、移动游戏系统、电子书或阅读设备等。

在很多情况下，用户可能希望与诸如移动终端之类的设备进行接口以实现对应用或服务的提供。在诸如web浏览或者通过内容的导航之类的特定应用期间的用户体验可以通过提供低延迟且高效的响应式通信信道而被改进。因而，可能希望开发这样的机制，通过机制实现当多个选择可用时对通过可用数据接口的高效且性能优越的网络路径的选择和管理。

发明内容

因此，一种方法、装置和计算机程序产品被提供以使得能够提供多路径调度器，该多路径调度器可以被配置为提供自适应调度。就此而言，例如，一些实施例可以允许使用定义与基于解决优化问题的各种不同状态相对应的动作的查找表。

在一个示例实施例中，提供了一种提供多路径调度器的方法。该方法可以包括使得生成动作规则查找表，动作规则定义与各种不同状态相对应的动作，其中状态中的每个状态是对与数据接口相关联的性能测量的加权描述；以及使得能够在多路径通信环境中的通信期间重复（例如按预定义周期或自适应周期）利用查找表，以基于与多个可用数据接口相关联的当前性能测量来在多个可用数据接口之中的识别被选择的数据接口。

在另一示例实施例中，提供了一种用于提供多路径调度的装置。该装置可以包括至少一个处理器和至少一个包括计算机程序代码的存储器。至少一个存储器和计算机程序代码可以被配置为与至少一个处理器一起使得装置至少执行以下步骤：使得生成动作规则查找表，动作规则定义与各种不同状态相对应的动作，其中状态中的每个状态是对与数据接口相关联的性能测量的加权描述；以及使得能够在多路径通信环境中的通信期间重复（例如按预定义周期或自适应周期）利用查找表，以基于与多个可用数据接口相关联的当前性能测量来在多个可用数据接口之中识别被选择的数据接口。

在一个示例实施例中，提供了另一种用于提供多路径调度器的装置。该装置可以包括用于使得生成动作规则查找表的部件，动作规则定义与各种不同的状态相对应的动作，其中所述状态中的每个状态是对与数据接口相关联的性能测量的加权描述；以及用于使得能够在多路径通信环境中的通信期间重复（例如按预定义周期或自适应周期）利用查找表，以基于与多个可用数据接口相关联的当前性能测量来在多个可用数据接口之中的识别被选择的数据接口的部件。

在一个示例实施例中，提供了一种用于提供多路径调度器的计算机程序产品。该计算机程序产品可以包括具有存储在其中的计算机可执行程序代码指令的至少一个计算机可读存储介质。计算机可执行程序代码指令可以包括用于执行以下步骤的程序代码指令，步骤即使得生成动作规则查找表，动作规则定义与各种不同状态相对应的动作，其中状态中的每个状态是对与数据接口相关联的性能测量的加权描述；以及使得能够在多路径通信环境中的通信期间重复（例如按预定义周期或自适应周期）利用查找表，以基于与多个可用数据接口相关联的当前性能测量来在多个可用数据接口之中识别被选择的数据接口。

本发明的示例实施例可以提供用于在移动环境或固定环境中部署的方法、装置和计算机程序产品。因此，例如，移动终端和其它计算设备用户可以有更高的能力来利用针对当前状况的最合适且最高效可用的通信流路径。

附图说明

已经总地描述了本发明的一些实施例，现在将参考附图，附图不一定是按尺寸绘制的，并且在附图中：

图1是根据本发明的示例实施例的无线通信系统的示意性框图；

图2图示了根据本发明的示例实施例的用于提供多路径调度器的装置的框图；以及

图3是根据本发明的示例实施例的根据用于提供多路径调度器的示例方法的流程图。

具体实施方式

下文中将参考附图来更全面地描述本发明的一些实施例，其中本发明的一些但不是全部实施例被示出。实际上，本发明的各种实施例可以体现为很多不同的形式，并且不应当被理解为局限于这里所给出的实施例；相反，这些实施例被提供以使得本公开将满足可适用的法定要求。在整个附图中，相似的参考标号指代相似的元件。如这里所使用的，术语“数据”、“内容”、“信息”和类似的术语可以被互换地使用，以指代根据本发明的一些实施例的能够被发送、接收和/或存储的数据。因而，任何这样的术语的使用不应当被视为是限制本发明的实施例的精神和范围。

此外，如这里所使用的，术语‘电路’指代（a）只有硬件的电路实现方式（例如利用模拟电路和/或数字电路的实现方式）；（b）电路和一个或多个计算机程序产品的组合，计算机程序产品包括被存储在一个或多个计算机可读存储器上的软件和/或固件指令，这些指令一起工作以使得装置执行这里所描述的一个或多个功能；以及（c）需要软件或固件以进行操作的电路（即使软件或固件并不是物理上存在的），例如一个或多个微处理器或一个或多个微处理器的一部分。这个‘电路’的定义适用于这里对该术语的全部使用，包括在任何权利要求中的使用。又例如，如这里所使用的，术语‘电路’还包括一种实现方式，该实现方式包括一个或多个处理器和/或处理器的一个或多个部分以及伴随的软件和/或固件。又例如，这里所使用的术语‘电路’还包括例如基带集成电路或用于移动电话的应用处理器集成电路，或服务器、蜂窝网络设备、其它网络设备和/或其它计算设备中类似的集成电路。

如这里所定义的指代非暂时性的物理存储介质（例如易失性存储器设备或非易失性存储器设备）的“计算机可读存储介质”可以与指代电磁信号的“计算机可读传输介质”区分开。

假设移动终端的用户通常希望利用在考虑到就功率和处理二者而言的移动终端的有限资源的情况下当前可用的最高效且延迟低的数据接口，则利用提供以下特征中的一个或多个的数据接口可能是优选的，特征即针对当前通信会话的需要的足够的吞吐量，结合相对较低的成本、低功率消耗和在当前状况下的低延迟。为了选择可能提供最佳用户体验的数据接口或网络，一个方法可以是在建立通信流之前检查每个（或至少多个）不同的数据接口的性能，然后选择性能最优的数据接口来提供所需要的通信流。然而，这个方法忽略了如下事实：在通信流可被提供的时间段中状况可能会改变。因而，在一个时刻处的最佳数据接口随着时间的推移可能不总是最佳的数据接口。

为了在整个时段上提供更好的性能，可能需要频繁地探索或测试其它接口，即使在当前通信流的提供期间也如此。然后，例如，如果接口被发现更好地满足正在进行的通信会话的性能需求，则通信流可能被切换到这个性能更好的接口上。然而，探索其它数据接口的性能也会占用资源，并且探索低效的数据接口必然浪费资源，因为探索需要一定程度的活动使用。而且，即使找到并利用最佳的接口，在未被观察的接口上的吞吐量值和电源效率在任意时间都可能无预期地改变，这使得需要更多的探索阶段。这个问题就数学术语而言被称为无休止赌博机问题（restless bandit problem），并且随着实际的有限状态机被考虑以包括不同的启动、超时和吞吐量状态，这个问题变得更加复杂。在现实中切换接口在某些情况下也可能是对功率不敏感的，因为在空闲接口上的保守超时（例如数十秒量级的）可能导致在传输已停止之后的高功率消耗。因而，出现的一个挑战可能是在探索与专用于探索的能量和资源消耗之间进行平衡，以实现提供整体的最大好处的很好的平衡。

另一个挑战是能够无缝地在不同接口和网络路径之间传送流。在没有在不同接口和网络路径之间无缝地传送流的能力的情况下，利用探索努力来确定哪个数据接口可以提供用于当前状况的最佳路径将不是有利的，因为超时、传输中的重置以及被中断的下载会浪费带宽和资源。传输控制协议（TCP）是从一个设备（或者设备上的程序或应用）向另一设备（或者设备上的程序或应用）提供有序的数据流传送的服务的一个示例。因此，TCP提供与直接在网络上的设备之间交换数据相关的服务。多路径TCP（MPTCP）尝试利用多个路径（例如多个不同的网络或数据接口）用于一个TCP连接。因而，MPTCP可以通过实现对资源的统计多路复用来提高冗余度并且提供更优化的资源使用，从而提高TCP吞吐量。因此，对MPTCP的有效利用可能是有益的。

如上所述，本发明的一些实施例可以涉及提供用于提供多路径调度器的机制。就此而言，例如一些示例实施例可以允许利用可以提供调度器以最优化多个可能的通信路径上的通信的调度的设备或机制。因此，多路径调度器可以被配置为支持MPTCP或其它多路径数据流服务（例如SCTP，流控制传输协议）以平衡对不同数据接口的探索并且使能通信流在不同路径之间的无缝传送以提高或优化资源使用和性能。

图1图示了一种通用系统框图，其中可以受益于本发明的一些实施例的诸如移动终端10之类的设备在示例性通信环境中被示出。如图1中所示，根据本发明的示例实施例的系统包括分别能够与网络30通信的第一通信设备（例如移动终端10）和第二通信设备20。第二通信设备20被提供作为示例，以说明针对可被包括在网络30中并且可以实施示例实施例的其它设备的实例的可能的多样性。系统的通信设备能够通过网络30与网络设备或者与彼此进行通信。在一些情况下，与系统的通信设备进行通信的网络设备可以包括服务平台40。在示例实施例中，移动终端10（和/或第二通信设备20）被使得能够与服务平台40通信，以提供、请求和/或接收与服务相关联的信息。

虽然移动终端10的示例实施例可以被图示，并且为了示例的目的在下文中被描述，但是各种类型的移动终端可以方便地利用本发明的示例实施例，移动终端例如便携式数字助理（PDA）、寻呼机、移动电视、移动电话、游戏设备、膝上型计算机、照相机、带照相机的电话、视频记录器、音频/视频播放器、无线电、电子书、全球定位系统（GPS）设备、导航设备或者以上所提到的设备的任意组合，以及其它类型的多媒体、语音和文本通信系统。此外，在一些情况下，不移动的设备也可以方便地利用本发明的示例实施例。因此，例如，第二通信设备20可以代表可利用示例实施例的固定电子设备的示例。例如，第二通信设备20可以是个人计算机（PC）或其它终端。

在一些实施例中，不是利用本发明的实施例的所有系统都可以包括这里图示和/或描述的所有设备。例如，虽然这里将描述的示例实施例中，移动用户设备（例如移动终端10）、固定用户设备（例如第二通信设备20）或网络设备（例如服务平台40）可以包括能够结合与网络30的通信执行一些示例实施例的装置，但是应当理解一些实施例可以不一起包括设备中的一个或多个设备或者网络30，而是简单地按单机模式在单一设备（例如移动终端10或第二通信设备20）上被实施。

在示例实施例中，网络30包括能够通过对应的有线和/或无线接口彼此通信的各种不同的节点、设备或功能的集合。因此，图1的图示应当被理解为系统的特定元件的宽泛视图的示例，而不是系统或网络30的全部包括的或详细的视图。虽然不是必要的，但是在一些实施例中，网络30能够支持根据多个第一代（1G）、第二代（2G）、2.5G、第三代（3G）、3.5G、3.9G、第四代（4G）移动通信协议、长期演进（LTE）等的通信。

诸如移动终端10和第二通信设备20之类的一个或多个通信终端能够通过网络30彼此通信，并且每个通信终端可以包括用于向基站点发送信号并从基站点接收信号的天线，基站点可以例如是作为一个或多个蜂窝或移动网络的一部分的基站或者可以被耦接到数据网络的接入点，数据网络例如局域网（LAN）、无线LAN（WLAN）、城域网（MAN）和/或诸如互联网之类的广域网（WAN）。这些设备中的每个设备可以是网络30所支持的数据接口的示例。反过来，诸如处理设备或元件之类的其它设备（例如个人计算机、服务器计算机等）可以通过网络30被耦接到移动终端10和第二通信设备20。通过直接或间接将移动终端10、第二通信设备20和其它设备连接到网络30，移动终端10和第二通信设备20可以被使能例如根据众多通信协议与其它设备（或彼此）通信，从而分别执行移动终端10和第二通信设备20的各种通信或其它功能。

此外，虽然在图1中未被示出，但是移动终端10和第二通信设备20可以根据例如射频（RF）、蓝牙（BT）、红外（IR）或者可以被网络30支持的多种不同的有线或无线通信技术中的任一种技术进行通信，技术包括通用串行总线（USB）、LAN、无线LAN（WLAN）、全球微波互联接入（WiMAX）、WiFi、超宽带（UWB）、Wibree技术等。因此，移动终端10和第二通信设备20可以被允许通过众多不同的接入机制中的任意机制与网络30以及彼此进行通信。例如，诸如宽带码分多路接入（W-CDMA）、CDMA2000、全球移动通信系统（GSM）、通用分组射频服务（GPRS）等之类的移动接入机制以及诸如WLAN、WiMAX等之类的无线接入机制和诸如数字用户线（DSL）、有线调制解调、以太网等之类的固定接入机制都可以被支持。

在示例实施例中，服务平台40可以是诸如服务器或其它处理设备之类的设备或节点。服务平台40可以具有任意个功能或与各种服务的关联。因此，例如，服务平台40可以是诸如与特定信息源或服务相关联的专用服务器（或服务器阵列）之类的平台，或者服务平台40可以是与一个或多个其它功能或服务相关联的后端服务器。因此，服务平台40代表针对多个不同的服务或信息源的可能的主机。在一些实施例中，服务平台40的功能通过被配置为根据已知技术进行操作以向通信设备的用户提供信息的硬件和/或软件组件来提供。然而，服务平台40所提供的功能中的至少一些可以是根据本发明的示例实施例所提供的信息。

在一些实施例中，移动终端10（或第二通信设备20）可以与彼此或者与服务平台40进行信息通信（例如通过网络30）。然而，由于网络30可以代表经由各种可用数据接口（例如3G、LTE、WLAN等）的多个可能的通信流路径，所以示例实施例可以提供多路径调度器45来控制对每个可用数据接口的探索以及对基于探索活动被选择的数据接口的使用（例如基于当前状况来选择最优的数据接口）。在一些示例中，多路径调度器45可以存在于网络30的边缘，以选择最优的一组用于MPTCP流量的接口。然而，在其它实施例中，多路径调度器45可以存在于移动终端10（和/或第二通信设备20）中。在另一些实施例中，多路径调度器45的部分可以存在于网络30的边缘处的代理设备和移动终端10（和/或第二通信设备20）两者，或者与多路径调度器45相关联的特定功能可以由在网络30的边缘处的代理设备和移动终端10（和/或第二通信设备20）两者执行。

图2图示了根据本发明示例实施例的用于提供多路径调度器的装置的示意性框图。现在将参考图2来描述本发明的示例实施例，其中用于提供多路径调度器的装置50的特定元件被显示。在一些情况下，图2的装置50例如可以在多路径调度器45上被使用。然而，在一些情况下，实施例可以以分布式的方式在设备的组合上使用。因此，本发明的一些实施例可以整体地体现在单一设备（例如移动终端10或者在网络边缘处的MPTCP代理服务器）上，或者体现为分布式的多个设备（例如移动终端10和在网络边缘处的MPTCP代理服务器）。此外，应当注意下面所描述的设备或元件不是强制性的，因而一些设备或元件在特定实施例中可以被省略。

现在参考图2，一种用于提供多路径调度器的装置被提供。装置50可以包括或者与处理器70、用户接口72、通信接口74和存储器设备76通信。在一些实施例中，处理器70（和/或协同处理器或者辅助处理器70或与处理器70相关联的任何其它处理电路）可以通过用于在装置50的组件之间传递信息的总线与存储器设备76通信。存储器设备76可以包括例如一个或多个易失性和/或非易失性存储器。换言之，例如，存储器设备76可以是电子存储设备（例如计算机可读存储介质），该存储设备包括被配置为存储可以被机器（例如像处理器70那样的计算设备）获取的数据（例如比特）的门。存储器设备76可以被配置为存储信息、数据、应用、指令等以允许装置执行根据本发明的示例实施例的各种功能。例如，存储器设备76可以被配置为缓存输入数据，以供处理器70处理。作为附加或者替换，存储器设备76可以被配置为存储供处理器70执行的指令。

在一些实施例中，装置50可以是多路径调度器45、代理设备（例如MPTCP代理）、移动终端10或者被配置为使用本发明的示例实施例的其它计算设备。然而，在一些实施例中，装置50可体现为芯片或芯片组。换言之，装置50可以包括一个或多个物理封装（例如芯片），物理封装包括在结构装配（例如基板）上的材料、组件和/或线路。结构装配可以为其上所包括的组件电路提供物理强度、尺寸的保留和/或电相互作用的限制。因此，在一些情况下，装置50可以被配置为在单一芯片上或者作为单一“片上系统”实现本发明的实施例。因此，在一些情况下，芯片或芯片组可以构成用于执行一个或多个操作以提供这类所描述的功能的装置。

处理器70可以体现为多种不同的方式。例如，处理器70可以用硬件被体现为各种处理装置中的一个或多个处理装置，例如协同处理器、微处理器、控制器、数字信号处理器（DSP）、有伴随的DSP的处理元件或没有伴随的DSP的处理元件或者包括集成电路的各种其它处理电路，集成电路例如ASIC（专用集成电路）、FPGA（现场可编程门阵列）、微控制器单元（MCU）、中央处理单元（CPU）、硬件加速器、向量处理器、图形处理单元（GPU）、专用计算机芯片等。因此，在一些实施例中，处理器70可以包括被配置为独立执行的一个或多个处理核。多核处理器可以实现在单一物理封装内的多进程处理。作为附加或替换，处理器70可以包括经由总线串联配置的一个或多个处理器以使能指令的独立执行、流水线和/或多线程。

在示例实施例中，处理器70可以被配置为执行存储在存储器设备76中的或者处理器可访问的指令。作为替换或附加，处理器70可以被配置为执行硬编码的功能。因此，不管是通过硬件方法或软件方法还是通过硬件方法和软件方法的组合来配置，处理器70都可以代表在被相应地配置时能够执行根据本发明的实施例的操作的实体（例如用电路物理地实现的实体）。因而，例如，当处理器70被实现为ASIC、FPGA等时，处理器70可以是用于执行这里所描述的操作的专门配置的硬件。或者，作为另一示例，当处理器70被实现为软件指令的执行器时，指令可以专门配置处理器70，以在指令被执行时执行这里所描述的算法和/或操作。然而，在一些情况下，处理器70可以是特定设备（例如多路径调度器）的处理器，特定设备被适配为通过用于执行这里所描述的算法和/或操作的指令来进一步配置处理器70，从而使用本发明的实施例。处理器70可以包括被配置为支持处理器70的操作的时钟、算术逻辑单元（ALU）和逻辑门。

用户接口72（如果被使用的话）可以与处理器70通信，以接收关于在用户接口72处的用户输入的指示，以及/或者向用户提供可听输出、可视输出、机械输出或其它输出。因此，用户接口72可以包括例如键盘、鼠标、游戏杆、显示器、触摸屏、软按键、麦克风、扬声器或其它输入/输出机制。在其中装置被体现为服务器或一些其它物理设备的示例性实施例中，用户接口72可以被限制或去除。然而，在其中装置被实现为通信设备（例如移动终端10或第二通信设备20）的实施例中，用户接口72可以包括扬声器、麦克风、显示器和键盘等中的任一个或全部。就此而言，例如，处理器70可以包括被配置为控制诸如扬声器、响铃、麦克风、显示器等之类的用户接口的一个或多个元件的至少一些功能的用户接口电路。处理器70和/或包括处理器70的用户接口电路可以被配置为通过存储在处理器70可访问的存储器（例如存储器设备76等）上的计算机程序指令（例如软件和/或固件）来控制用户接口的一个或多个组件的一个或多个功能。

同时，通信接口74可以是被配置为从/向网络和/或与装置通信的任何其它设备或模块接收和/或发送数据的任意装置，例如体现为硬件或硬件和软件的组合的设备或电路。就此而言，通信接口74例如可以包括用于使能与一个或多个无线通信网络的通信的天线（或多个天线）和支持硬件和/或软件。在一些环境下，通信接口74可以作为选择地或者同时支持有线通信。因此，例如，通信接口74可以包括用于支持经由线缆、数字订户线（DSL）、通用串行总线（USB）或其它机制的通信的通信调制解调器和/或其它硬件/软件。

在示例性实施例中，处理器70可以被体现为包括或者控制策略管理器80，在一些实施例中，该策略管理器80可以利用Markov决策过程。因此，在一些实施例中，处理器70可以被说成是导致、引导或控制归于如这里所描述的策略管理器80的各种功能的执行或发生。策略管理器80可以是诸如根据软件进行操作的或者用硬件或硬件和软件的组合实现的设备或电路之类的任何装置（例如在软件控制下操作的处理器70，该处理器70被体现为专门被配置为执行这里所描述的操作的ASIC或FPGA或者它们的组合），从而配置设备或电路执行如这里所描述的策略管理器80的对应功能。因而，在其中软件被使用的示例中，执行软件的设备或电路（例如一个示例中的处理器70）构成与这种装置相关联的结构。

在示例实施例中，策略管理器80可以被配置为访问（或测量）连接信息和上下文信息，以使得基于连接信息和上下文信息来生成多路径流使用策略。在示例实施例中，查找表82可以被提供以供策略管理器80使用，将测得的状态变量映射到与哪些可用数据接口要使用以及哪些数据接口要保持空闲有关的相应的调度动作。在实践中，多路径调度器45可以将调度动作提供给处理核，该处理核基于策略管理器80的输出来通知MPTCP模块哪些接口优先用于传输。然后，所有的MPTCP流可以被告知关于之后的调度策略决定，并且流可以被相应地提供。

在示例实施例中，策略管理器80可以监控或接收指示空闲和活动数据接口的信息。因而，例如，如果数据接口从空闲切换为活动，则新的子流可以利用标准的握手协议（例如SYN、SYN/ACK、ACK三方握手）经由相应的数据接口被建立，并且关于数据接口将作为哪个连接的一部分的指示可以被提供（例如通过JOIN选项）。同时，对于数据接口从活动状态到空闲状态的转变，相应的子流可以通过头字段中的删除地址选项被关闭（例如经由FIN、FIN/ACK交换）。在一些情况下，使用子流或不使用子流的明确指令可以在用于结合示例实施例使用的协议中被定义。

查找表82可以采用能够为可被处理器70访问以按这里所描述的方式使用的状态和相应的动作的提供存储的任何形式。因而，查找表82不需要被局限于任何特定格式或结构。在示例实施例中，查找表82可以被生成以减少（或者可能的话最小化）诸如能量或资源消耗和成本之类的某些特性，并且增大（或者可能的话最大化）诸如针对统计用户行为的整体时间上的吞吐量和可靠性之类的特性。在一些情况下，决定这些特性之间的平衡的问题可以被定义为Markov决策过程（MDP）。MDP理论提供了高效地解决以查找表82的形式存在的一组最优调度规则或策略的工具。在一些示例中，调度规则（或者采用MDP的语言：状态→动作规则）可以通过运行值迭代算法被确定。此外，在一些情况下，查找表82和/或策略管理器80的其它操作可能受被记录在能量模型84（存储与基于设备状态的设备能量消耗相关联的信息）和/或用户模型86（存储与用户输入、用户偏好和/或用户活动相关联的信息）中的信息的影响。

在一些示例中，MDP包括状态空间和状态空间中的动作以及每个状态中所赢得的奖励。因而，MDP可以通过定义混合状态和动作空间以及针对特定问题的目标函数被调整用于特定问题。移动设备的状态可以包括针对以下项的值：

－I(i):针对接口I所采取的前一个调度决定（接口启用＝1，接口不启用＝0）；

－t(i,j,k)：在结束于k秒前的j秒测量期间针对接口i的平均吞吐量信息（来自用户模型86）；以及

－e(i)：接口i的能量状态（来自能量模型84）。附加的可选状态值可以包括但不局限于：

－app：活动应用或所需要的数据对象等；

－f(i)：接口i的信道状态（例如信号强度）；

－d(i,j,k)：在结束于k秒前的j秒测量期间接口i上所经历的平均延迟；

－a(i)：接口i此时被连接到的接入点或基站；以及

－t：日期和时间

状态s可以被写作n元组。例如，在移动终端10利用GPRS调制解调器和WiFi接口的情况下，关于前一个调度规则、前一秒中的平均吞吐量、当前接入点和下一个被请求的web站点、设备的状态空间的状态信息可以用8元组来描述：（I(1),I(2),t(1,1,0),t(2,1,0),e(1),e(2),a(1),a(2),app）。一个示例状态可以是（1,0,300kbps,0kbps,传输中,FACH_超时_6s,“基站n-951”,“WiFi-热点”,YouTube）。诸如接入点名称之类的敏感状态信息也可以通过使用诸如MD5哈希之类的哈希值被变成匿名的。

针对具有k个可访问接口的调度器的动作或调度规则可以被定义为k元组\in{0,1}^k，指定哪些接口要使用（1）或者保持空闲（0），直到下一个调度决定被做出为止。在一些实施例中，策略管理器80可以被配置为按预定的间隔或者响应于预定的事件做出调度决定。因而，例如，调度决定可以在固定的时间间隔中被做出或者每当有事件发生时（例如每当网站被改变时，因为不同的网站可能具有平均来说不同的吞吐量特征，导致就针对每个相应的网站的能量消耗而言的不同的最优接口）被做出，或者在调度器所决定的其它时间自适应地被做出。

在示例实施例中，在给定动作下不同状态之间的转变概率（例如概率（（状态0，在时间t_i处的动作0）导致（在时间t_i+1处的状态1）））可以基于体验被了解或确定，因为这些概率可以通过直接测量或者通过将分布适配于所测得的值被生成。在每个调度决定之间，由负能量消耗、吞吐量、负延迟、负成本和负断开连接惩罚之间的加权权衡构成的反馈或所谓的“奖励”可以被赢得。因此，要解决的优化问题可以是最大化整体时间上的总的折扣后的奖励：

－在具有(状态)->(动作)\gamma\in[0,1]的形式的所有调度规则中期望值[\总和\极限{时间t=0}^{\无穷大}\gamma^t奖励(在时间t处的状态)|给定起始状态s_0]的最大值是所谓的折扣变量（discountvariable），该变量在要优化的时间尺度上进行调整。当gamma→1时，策略管理器80所考虑的时间范围可以延伸到无限大。为了实现平均奖励的优化，gamma可以被选择为接近于1的值。

在一些实施例中，优化问题可以利用源自优化控制理论的技术离线地被解决，例如值迭代算法。这种解决方案可以产生定义具有（状态）－>（动作）的形式的最优决策规则的查找表82。然后，调度规则的查找表82可以被装载到移动终端10上，该移动终端可以利用查找表82来监控其接口的状态，并且利用文件中所建议的调度规则来基于被应用于查找表82中的调度规则的当前条件来选择接口。因此，在一些实施例中，多路径调度器45可以是确定被提供给移动终端10的查找表82的网络设备。然而，在其它实施例中，多路径调度器45可以在移动终端10中体现，并且在移动终端10本身上建立查找表82以供在线应用。

在一些替代实施例中，近似的启发式解决方案可以例如通过只考虑过程的接下来的步骤中的一些而不是过程的全部将来的步骤而被生成。这可以在一定程度上简化多路径调度器45，并且允许更快速地为移动终端10或者由移动终端10生成查找表82。例如，如果所使用的之前的应用是通常涉及流内容并且用户是大流量在线流用户的应用，并且下一个的应用是与之前的应用相比通常被预期为以短时突发的形式被使用的搜索引擎，则切换数据接口以支持下一个应用可能不是所希望的。就此而言，由于下一个会话与之前的会话（以及任何后续会话）相比可能是很短的，所以忍受与执行切换相关联的超时可能不是所希望的。用户的整个历史可能不被需要以做出这个决定。

在示例实施例中，查找表82可以被构建，以利用修改相应的不同状态的加权值来定义针对相应的不同状态的动作。因而，对于被更重地加权的特定状态而言，与那些状态相关联的相应动作将更可能是查找表82所针对的。在一些情况下，权重可以来自于能量模型84和用户模型86。这些权重可以是静态的或者可选择的。

在使用用户模型86中的静态权重的情况下，权重值可以基于普通用户或者就一个特性或另一特性而言具有所希望的特点的另一用户被离线地确定。类似地，能量模型84中的静态权重可以与针对给定设备的平均能量消耗预期相关联。

对于用户模型86中的可选择权重，权重可以基于特定用户的行为或者基于来自特定用户的输入数据被修改。因而，例如用户数据可以被收集，以便针对上述优化问题修改输入用户数据，以使得当查找表82被导出时，查找表82实质上被调整为用于针对其的数据被收集的特定用户。在其中不同的网络想要为设备的对应的不同能量状态提供不同的权重的情况下，也可能利用针对能量模型84的可选择权重。

因此，一些示例实施例可以应用用户可选择的权重（或者基于用户行为选择的权重）来执行自适应调度。因此，查找表82可以是可适配用于特定用户的，而不是简单地针对普通用户或者其它预定义的用户类型而生成的。上述优化问题可以利用可选择地加权的值来解决，可选择地加权的值在一些情况下可以在移动终端10的使用期间被收集。优化可以在线地或离线地、本地地或远程地（例如经由服务平台40）被执行。性能测量可以针对诸如能量、吞吐量、延迟和弹性之类的值而被进行。

在一些情况下，不同的查找表82可以针对对应的不同的权重组合而被生成和上载。因而，例如，不同的查找表82可以被提供用于不同的状态→动作规则。虽然上述优化问题不变，但是具有不同的加权值可以针对每组加权值提供对应的不同的查找表。因此，实质上可以有针对每种不同的可能的权重组合定义的不同的调度器。不同的权重组合可以被预先计算并装载到移动终端10上以供使用。

在示例实施例中，用户可以被提供选项，以监控与优化问题中所使用的状态变量（例如所使用的应用、吞吐量信息等）相对应的使用模式。因而，用户可以上载指示用户的使用模式的使用数据，然后（例如从服务平台40）下载基于所上载的使用数据生成以对应于用户自己的使用模式的个性化查找表，以具有更加个人化调整的多路径调度器性能特征。或者，用户可以使服务平台40辅助进行调度器训练或指导移动终端10本身上的训练。在一些情况下，在移动终端10被连接到干线电源并且处于空闲模式的时段期间，调度训练活动和使用模式的装载可能是有利的。用户数据可以与平均用户行为数据混合或者，如果有足够的用户数据，则用户数据可以在没有来自平均用户行为数据的贡献的情况下被使用。

因此，一些示例实施例使得所有数据接口的特征能够被同时组合以基于联合优化特征（例如吞吐量、延迟、能量、弹性、成本等）来有选择地使用。此外，一些实施例无需改变现有应用或基础结构而被实现。一些实施例还可以使得调度器能够被适配用于特定用户以避免只适用于普通用户的行为，使得用户可以受益于针对其特定通信习惯优化的更加个性化调度器。示例实施例可以实现针对由移动设备单独控制的上行链路和/或下行链路数据的调度。因而，例如，对于上行链路上的调度，移动设备可以简单地选择在当前环境下的最佳接口上发送分组。

图3是根据本发明的示例实施例的方法和程序产品的流程图。应当理解，流程图的每个方框和流程图中的方框的组合可以用各种装置来实现，例如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其它设备。例如，上述过程中的一个或多个过程可以用计算机程序指令来体现。就此而言，实现上述这些过程的计算机程序指令可以被用户终端或网络设备的存储器设备存储，并且由用户终端或网络设备中的处理器执行。可以理解，任何这样的计算机程序指令可以被装载到计算机或其它可编程装置（例如硬件）上，以产生一种机器，使得在计算机或其它可编程装置上执行的指令创建用于实现一个或多个流程图方框中所指定的功能的装置。这些计算机程序指令也可以被存储在可以引导计算机或其它可编程装置按特定方式工作的计算机可读存储器中，使得存储在计算机可读存储器中的指令产生实现一个或多个流程图方框中所指定的功能的制品。计算机程序指令也可以被装载到计算机或其它可编程装置上，以使得一系列操作在计算机或其它可编程装置上被执行，以产生计算机实现的过程，其使得在计算机或其它可编程装置上执行的指令实现一个或多个流程图方框中所指定的功能。

因此，流程图的方框支持用于执行指定功能的装置的组合和用于执行指定功能的操作的组合。还将理解流程图的一个或多个方框以及流程图中的方框的组合可以用执行指定功能的基于硬件的专用计算机系统或者专用硬件和计算机指令的组合来实现。

就此而言，如图3中所示的根据本发明的一个实施例的方法可以包括在操作100处，使得生成动作规则查找表，动作规则定义与各种不同状态相对应的动作，其中状态中的每个状态是与数据接口相关联的性能测量的加权描述；以及在操作110处，使得能够在多路径通信环境中的通信期间重复（例如按预定义周期或自适应周期）利用查找表，以基于与多个可用数据接口相关联的当前性能测量在多个可用数据接口中识别出被选择的数据接口。

在一些实施例中，以上操作中的某些操作可以按下述方式被修改或进一步放大。此外，在一些实施例中，附加的可选操作也可以被包括（这些操作的一些示例在图3中用虚线显示）。应当理解，以下的每个修改、可选附加或放大可以单独结合以上的操作或者与这里所描述的特征中的任何其它特征相组合地被包括。在一些实施例中，方法还包括在操作120处实现所选择的数据接口，至少直到预定义周期或自适应周期为止，在周期中另一关于数据接口选择的决定被执行；并且/或者在操作130处，使得用户能够上传个人的使用数据，并且下载与用户的使用模式相对应的个性化查找表。在示例实施例中，使得生成查找表可以包括在网络设备处使得生成查找表，以用于传送至移动终端，或者在移动终端处使得生成查找表，以供在移动终端处使用。在一些情况下，使得生成查找表可以包括针对性能测量中的至少一个基于用户可选择的权重来生成查找表。在示例实施例中，使得生成查找表可以包括利用对应的不同的权重组合来生成多个查找表。在各种不同的实施例中的一些实施例中，查找表可以在线地或离线地被生成。

在示例实施例中，用于执行以上的图3的方法的装置可以包括被配置为执行上述操作（100-130）中的一些操作或每个操作的处理器（例如处理器70）。该处理器例如可被配置为通过执行硬件实现的逻辑功能、执行被存储的指令或者执行用于执行每个操作的算法来执行操作（100-130）。或者，该装置可以包括用于执行上述每个操作的部件。就此而言，根据示例实施例，用于执行操作100-130的部件的示例可以包括例如策略管理器80。作为附加或替代，至少鉴于处理器70可以被配置为控制或者甚至被体现为策略管理器80这一事实，处理器70和/或用于执行指令或者执行用于处理如上的信息的算法的设备或电路也可以构成用于执行操作100-130的示例部件。

在一些情况下，上述操作（100-130）以及任何修改可以实现在这样一种方法中，其涉及辅助对至少一个接口的访问，以允许经由至少一个网络对至少一个服务进行访问。在这些情况下，至少一个服务可以被说成是执行至少操作100至130。

这些发明所属于的领域中的技术人员在前述说明书和相关联的附图中所呈现的教导的启发下，将会想到这里所给出的发明的很多修改例和其它实施例。因此，应当理解这些方法不局限于所公开的具体实施例，并且修改和其它实施例意图被包括在所附权利要求的范围内。此外，虽然之前的描述和相关附图描述了在特定的元件和/或功能的示例性组合的上下文中的一些示例实施例，但是应当理解，不同的元件和/或功能的组合可以由替代实施例提供，而不脱离所附权利要求的范围。就此而言，例如，与以上明确描述的那些组合不同的元件和/或功能的组合也被考虑为所附权利要求中的一些权利要求中所提出的。虽然这里使用了特定的术语，但是这些术语按通用和描述性的意思被使用，而不是为了限制的目的。

Claims (18)

1.一种用于多路径调度的方法，包括：

使得生成动作规则查找表，所述动作规则定义与各种不同的状态相对应的动作，其中所述状态中的每个状态是对与数据接口相关联的性能测量的加权描述；以及

使得能够在多路径通信环境中的通信期间重复利用所述查找表，以基于与多个可用数据接口相关联的当前性能测量来在所述多个可用数据接口之中识别被选择的数据接口。

2.根据权利要求1所述的方法，其中使得生成所述查找表还包括在网络设备处使得生成所述查找表，以用于传送给至少一个移动终端。

3.根据权利要求1或2所述的方法，其中使得生成所述查找表还包括在移动终端处使得生成所述查找表，以用于在所述移动终端处使用。

4.根据权利要求1所述的方法，还包括实现所述被选择的数据接口，至少直到预定义周期或自适应周期为止，在所述周期中执行另一关于数据接口选择的确定。

5.根据权利要求1所述的方法，其中使得生成所述查找表还包括基于针对所述性能测量中的至少一个性能测量的用户可选择的权重来生成所述查找表。

6.根据权利要求1所述的方法，其中使得生成所述查找表还包括利用对应的不同权重的组合来生成多个查找表。

7.根据权利要求1所述的方法，其中使得生成所述查找表还包括在线或离线地生成所述查找表。

8.根据权利要求1所述的方法，还包括使得用户能够上传使用数据并且下载基于所述用户的所述使用数据生成的个性化查找表。

9.根据权利要求1所述的方法，其中使得生成所述查找表还包括基于平均用户数据或用户个性化数据来使得生成所述查找表。

10.一种用于多路径调度的装置，包括：

用于使得生成动作规则查找表的部件，所述动作规则定义与各种不同的状态相对应的动作，其中所述状态中的每个状态是对与数据接口相关联的性能测量的加权描述；以及

用于使得能够在多路径通信环境中的通信期间重复利用所述查找表，以基于与多个可用数据接口相关联的当前性能测量来在所述多个可用数据接口之中识别被选择的数据接口的部件。

11.根据权利要求10所述的装置，其中用于使得生成所述查找表的部件还包括用于在网络设备处使得生成所述查找表以用于传送给至少一个移动终端的部件。

12.根据权利要求10或11所述的装置，其中用于使得生成所述查找表的部件还包括用于在移动终端处使得生成所述查找表以用于在所述移动终端处使用的部件。

13.根据权利要求10所述的装置，还包括用于实现所述被选择的数据接口，至少直到预定义周期或自适应周期为止的部件，在所述周期中执行另一关于数据接口选择的确定。

14.根据权利要求10所述的装置，其中用于使得生成所述查找表的部件还包括用于基于针对所述性能测量中的至少一个性能测量的用户可选择的权重来生成所述查找表的部件。

15.根据权利要求10所述的装置，其中用于使得生成所述查找表的部件还包括用于利用对应的不同权重的组合来生成多个查找表的部件。

16.根据权利要求10所述的装置，其中用于使得生成所述查找表的部件还包括用于在线或离线地生成所述查找表的部件。

17.根据权利要求10所述的装置，还包括用于使得用户能够上传使用数据并且下载基于所述用户的所述使用数据生成的个性化查找表的部件。

18.根据权利要求10所述的装置，其中用于使得生成所述查找表的部件还包括用于基于平均用户数据或用户个性化数据来使得生成所述查找表的部件。