CN103314543A - 对用于优化无线通信系统的操作的动态环境参数的预测 - Google Patents

Abstract

本发明的示例性实施例的一个方面是一种方法，该方法包括接收来自多个在空间上分布的用户设备（10）的信息，其中该信息至少包括对每个用户设备（10）的环境的观察结果。基于所接收到的信息，该方法针对多个空间位置创建时空地图（12E）的时间演进模型。该方法还包括基于时空地图（12E）的时间演进模型来创建策略，并且将策略发送给多个用户设备（10）。本发明的示例性实施例的另一方面是一种方法，该方法包括至少基于对用户设备（10）的无线电环境的观察结果来生成概率模型；将概率模型发送给无线通信网络的网络接入节点（12）；接收来自网络接入节点（12）的信息；以及至少部分基于所接收到的信息来操作用户设备（10）。还描述了根据上述方法操作的装置（10,12）和计算机程序产品。

Description

对用于优化无线通信系统的操作的动态环境参数的预测

技术领域

本发明的示例性和非限制性实施例一般地涉及无线通信系统、方法、装置、设备和计算机程序，并且更具体地，多方面地涉及干扰图、导航、感知无线电、位置确定、数据库、机器学习和预测、无线接入，以及用于实现移动无线电和无线网络基础设施之间的连接优化的技术。

背景技术

这一部分意在提供权利要求中所引述的本发明的背景或上下文。这里的描述可以包括可以被推行的概念，而不一定是之前已经构想、实现或描述的概念。因此，除非这里另外指明，这一部分中所描述的内容并不是本申请中的描述和权利要求的现有技术，并且不因为包括在这一部分中而被承认是现有技术。

感知无线电是一种用于无线通信的技术，其中网络或无线节点在避免与许可和/或未许可用户的干扰的同时，改变要传输的发送参数或接收参数。对参数的改变是基于对无线电环境的积极监视，所述无线电环境例如射频频谱，用户行为，以及无线网络的状态。

一个感兴趣的出版物是：Joni Pajarinen,Jaakko Peltonen,Mikko A.Uusitalo和Ari Hottinen的Latent state models of primary user behaviorfor opportunistic spectrum access，其出现在2009年9月在日本东京举办的IEEE个人、室内和移动无线电通信国际会议（IEEEInternational Symposium on Personal,Indoor and Mobile RadioCommunications）的论文集中。作者陈述由于存在有限量的射频频谱，因而对频谱的更高效的使用对于避免拥塞来说是很重要的。拥塞一部分是因为很多无线系统中的硬性资源分配。感知无线电系统旨在通过机会主义频谱使用来提高频谱效率：这些系统针对无线电环境进行适配，并且学会在保护主要用户（信道上的现有设备）的同时将未被充分利用的无线电信道用于它们自己的通信。

在所谓的智能电话中可用的卫星导航系统是可被用于针对移动用户计算路由和时间表的公知的应用。基于这些信息，这种智能电话设备的将来位置可以以准确且可靠的方式被预测。

发明内容

通过利用本发明的示例性实施例，前述及其它问题被克服，并且其它优点被实现。

在本发明的第一方面，本发明的示例性实施例提供了一种方法，该方法包括接收来自多个在空间上分布的用户设备的信息，所述信息至少根据对每个用户设备的环境的观察结果得出；基于接收到的信息，针对多个空间位置创建时空地图的时间演进模型；基于所述时空地图的所述时间演进模型来创建策略；以及将所述策略发送给所述多个用户设备。

在本发明的另一方面，本发明的示例性实施例提供了一种装置，该装置包括至少一个处理器以及包括计算机程序代码的至少一个存储器。所述存储器和计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少接收来自多个在空间上分布的用户设备的信息，所述信息至少根据对每个用户设备的环境的观察结果得出；基于接收到的信息，针对多个空间位置创建时空地图的时间演进模型；基于所述时空地图的所述时间演进模型来创建策略；以及将所述策略发送给所述多个用户设备。

在本发明的另一方面，本发明的示例性实施例提供了一种方法，该方法包括至少基于根据对用户设备的环境的观察结果所导出的信息来生成概率模型；将所述概率模型发送给无线通信网络的网络接入节点；接收来自所述网络接入节点的信息；以及至少部分基于接收到的信息来操作所述用户设备。

在本发明的另一方面，本发明的示例性实施例提供了一种装置，该装置包括至少一个处理器以及包括计算机程序代码的至少一个存储器。所述存储器和计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少基于根据对用户设备的环境的观察结果所导出的信息来生成概率模型；将所述概率模型发送给无线通信网络的网络接入节点；接收来自所述网络接入节点的信息；以及至少部分基于所接收到的信息来操作所述用户设备。

附图说明

在附图中：

图1示出了适合用于实施本发明的示例性实施例的各种电子设备的简化框图。

图2示出了基于被表示为时空地图的计算出的概率参数模型来计算用于感知无线电的策略的系统和方法。

图3是图2中所示的时空地图的图示。

图4是示出了根据本发明的示例性实施例的方法的操作以及在计算机可读存储器上体现的计算机程序指令的执行结果的逻辑流程图。

图5是示出了进一步根据本发明的示例性实施例的方法的操作以及在计算机可读存储器上体现的计算机程序指令的执行结果的逻辑流程图。

具体实施方式

图1示出了可被用于实现本发明的示例性实施例的装置的非限制性实施例。在图1中，无线网络1被适配用于通过无线网络接入节点与诸如移动通信设备之类的装置在无线链路11上的通信，所述移动通信设备可以被称为感知无线电，或者感知设备，或者简单地称为用户设备10，所述无线网络接入节点在这里为了方便被称为（但并非限制为）基站12。基站12可以通过一个或多个附加的无线网络组件来提供与诸如电话网络和/或数据通信网络（例如互联网）之类的其它网络的连接。用户设备10包括控制器，例如至少一个计算机或数据处理器（DP）10A，被体现为存储计算机指令的程序（PROG）10C的存储器（MEM）10B的至少一个非暂时性计算机可读存储介质，以及用于通过一个或多个天线与基站12进行双向无线通信的至少一个射频（RF）发射机和接收机对，或者收发器10D。基站12还包括控制器，例如至少一个计算机或数据处理器（DP）12A，被体现为存储计算机指令的程序（PROG）12C的存储器（MEM）12B的至少一个计算机可读存储介质，以及用于通过一个或多个天线与用户设备10进行通信的至少一个合适的RF收发器12D。基站12可以通过在图1中被总地显示为网络14的一个或多个广域、局域和/或射频通信网络被直接或间接地连接到其它系统/网络。

在用户设备10的无线电环境中通常有能够在许可或未许可射频频带中发送射频信号的其它设备16。这些其它设备16可以是作为非限制性示例的其它用户设备10和其它基站，所述其它用户设备例如蜂窝电话、个人数字助理（PDA）、计算机、无线调制解调器和基于平板电脑的计算设备之类的，所述其它基站例如宏基站（例如蜂窝基站）和诸如毫微微基站和微微基站之类的较小的基站（例如个人基站、住宅基站）。其它设备16中的一些可以是由相同基站12或者由其它基站服务的其它用户设备10。来自这些其它设备16的射频传输可能会干扰用户设备10的无线电发送和接收。

出于描述示例性实施例的目的，用户设备10的各种硬件和软件可以被认为是使用户设备10作为感知无线电进行操作和工作。

出于描述本发明的示例性实施例的目的，用户设备10可以被假定为还包括某种类型的位置确定系统，例如全球定位卫星（GPS）接收机10E。

程序10C和12C中的至少一个被假定为包括在被关联的DP执行时使得设备能够根据本发明的示例性实施例进行操作的程序指令，如下面将更详细讨论的。就是说，本发明的示例性实施例可以至少部分地通过可由用户设备10的数据处理器10A和/或基站12的数据处理器12A执行的计算机软件、或者通过硬件或者通过软件和硬件（以及固件）的组合来实现。

一般来说，用户设备10的各种实施例可以包括但不限于蜂窝电话、具有无线通信能力的PDA、具有无线通信能力的便携式计算机、具有无线通信能力的诸如数字相机之类的图像捕获设备、具有无线通信能力的游戏设备、具有无线通信能力的音乐存储和重放装置、允许无线互联网接入和浏览的互联网装置，以及融合了这些功能的组合的便携式单元或终端。在一些实施例中，用户设备10可以被认为是智能电话。

计算机可读存储器10B和12B可以是适合于本地技术环境的任何类型的计算机可读存储器，并且可以用任何合适的数据存储技术来实现，例如基于半导体的存储器设备、随机访问存储器、只读存储器、可编程只读存储器、闪存、磁存储设备和系统、光存储设备和系统、固定存储器和可移除存储器。数据处理器10A和12A可以是适合于本地技术环境的任何类型的数据处理器，并且可以包括作为非限制性示例的通用计算机、专用计算机、微处理器、数字信号处理器（DSP）和基于多核处理器体系结构的处理器中的一个或多个。

在用户设备10的操作期间，可以收集关于诸如无线电干扰水平和其它无线电参数之类的环境参数的信息。这可以在具有若干空间和时间分辨率的若干种细节尺度级别上被完成。在用户设备10操作期间，也可能收集关于人、车辆和其它感兴趣的对象的运动的信息。结果可以被表示为地图10F，该地图可以被称为本地地图，其表示这些参数相对于空间位置和时间位置的关系（从过去到现在的时间点，以及到将来的未被观察的值）。地图10F可以被体现为存储在用户设备10的存储器10B中的一个或多个数据结构。不同的网络运营商可能有不同的参数（例如在每个时间和空间位置处的不同的无线电干扰水平），并且因而可能发现希望建立它们自己的参数地图。一个这样的地图被显示为存储在基站12处的地图12E，但是该地图也可以在无线网络基础设施中的任何其它地方被存储和维护。地图12E可以被称为时空地图。被测量参数的未来发展可以利用机器学习（例如创建对地图将来的演进的概率模型）被预测并被用于优化连接和/或路由。

一般来说，由用户设备10生成并被发送给基站12的信息可以包括由对用户设备10的环境的观察结果所导出的信息。所述观察结果可以是但不限于关于用户设备10的无线电环境的观察结果。

在路由发现期间，可以从连接性和避免干扰的角度来确定最佳路由（例如找到从点A到点B的行进路由，以使得沿整个路由的每个点的干扰最小）。在路由发现期间，也可以确定从点A到点B的最佳路由以避免遇见特定的人或遇到某个事物。在路由发现期间，也可以确定从点A到点B的最佳路由，以确保遇见特定的人或遇到某个事物。

就路由发现而言，除了无线电参数以外的更多量值/参数可能被需要。例如，进一步至少考虑感兴趣的人或物的位置可能是有益的，或者对他们的位置的观察结果（具有变化的可靠性程度）随后将需要被发送。这些观察结果随后可被用于路径发现，以根据目的是避免还是确保遇见感兴趣的人或物来针对离感兴趣的人或物太远或太近来创建惩罚。因此，用户设备10也可以观察针对其有合适的传感器（例如GPS10E和/或照相机）可用的任何其它量值（参数）。用于观察感兴趣的参数（包括来自用户的交互输入）的其它技术也可以根据示例性实施例而被使用。就此而言，作为非限制性示例，感兴趣的参数可以包括人的运动或车辆的运动。

干扰预测可以针对各种目的被使用。例如，干扰预测可以被用于改变在不同位置和不同时间使用射频频谱的价格，假定这样的价格变动是规章允许的（例如频谱拍卖被允许）。又例如，干扰预测可以被用于改变连接成本，以匹配服务级别和/或将流量引向最佳的连接路由。又例如，干扰预测可以被用于重新放置可移动基站或其它链路（例如机载链路），以优化连接配置。又例如，干扰预测可以被用于改变基站12的功率输出以优化连接，以及选择用于实现用户设备10与基站12之间的连接的正确方法。

在操作期间，特定的信息可以按集中化的方式被收集并存储到单独的数据库或联合的数据库中，或者信息可以在本地被收集和存储。对所收集的信息的分析可以按下述方式来完成。分析的最终结果可以被反馈给将受益于所述分析的全部设备。

现在参考图2，其所提供的是对系统20的示例概览，该系统基于所计算出的概览参数模型（时空地图12E）来计算用于感知无线电（例如用户设备10）的策略。这可以在对多步骤过程的执行期间被实现。

在第一步骤（A）中，感知无线电10向基站（BS）12或多个基站12发送根据观察结果计算出的模型。这些模型（可以是如下所讨论的马尔可夫模型）的示例可以包括但不限于干扰模型、传输模型、针对所观察的通信流量价格的模型中的一个或多个。感知无线电10也可以发送运动的当前方向，针对运动的将来方向的模型，以及关于计划的行进目的的信息。

在第二步骤（B）中，并且作为接收到模型的响应，基站12或者与基站12相连接的一些其它集中设置的节点（在图2中被显示为公共网络节点18）创建时空地图12E的时间演进的（概率）模型。这个模型包括关于地图12E的不确定性的信息，并且可被用于预测将来某个时间的参数的值。

图3是图2中所示的时空地图12的图示。时空地图12E可以包含表示多个空间位置（L1,L2等）的数据，每个空间位置具有相关联的参数集合，每个参数集合包含一个或多个感兴趣的参数。针对给定位置的参数集合可以包括例如在以上的第一步骤（A）中由各个在空间上分布的感知无线电10报告的干扰水平和/或连接成本。时空地图12E还具有包含演进到将来时所预测的参数集值的时间范围（例如用时间t1,t2,t3等表示）。

在第三步骤（C）中，各个基站12或者公共网络节点18或者基站12与公共网络节点18协同创建考虑了用于感知无线电10的时空地图12E的时间演进的联合策略，并且该策略随后被发送给感知无线电10。这个策略可以被优化，以例如在要被优化的函数中利用正值奖励以减少现在和将来对感知无线电的干扰，利用负值惩罚以遇见不希望遇见的人或物（或地方），或者奖励以遇见希望遇见的人或物（或地方）。

如下面将针对路径发现进一步详细讨论的，可以通过找到函数的最大值来优化函数，进而找到特定路径。奖励意指正值被分配给函数，而惩罚意指负值被分配。

参数（图3的参数集合）向将来的演进可以通过概率模型来描述，例如描述转移概率的马尔可夫模型，针对在每个空间位置处的每个参数，从在时间t处的值到在时间t+1处的值。参数向将来的演进也可以利用任何合适的更复杂的概率模型来完成。

可以被预测为在某个特定时间存在于某个特定位置的参数可以包括但不限于干扰水平，不同运营者提供的价格，以及导航相关的参数。虽然干扰和价格被提供作为示例性的特定示例，但是本发明也可以用于估计其它参数。

现在所描述的是参数时空地图12E的构建。

如图2的第一步骤中，每个无线电（用户）设备10在其当前位置处创建并更新概率模型。例如，隐马尔可夫模型（HMM）描述了针对从一个状态移至另一状态的概率以及针对在特定状态下观察到特定的观察结果的概率。HMM可以例如通过收集一系列时间上的观察结果并随后应用公知的Baum-Welch算法来估计HMM参数来构建。

Baum-Welch算法（L.E.Baum,T.Petrie,G.Soules和N.Weiss的“A maximization technique occurring in the statistical analysis ofprobabilistic functions of Markov chains”，其出现在1970年的数理统计年报（Ann.Math.Statist.），第41卷，No.1，第164B171页）被用于找到HMM的未知参数。该算法利用前向-后向算法。Baum-Welch算法是广义期望最大化（GEM）算法的特例。当只有发射值（emissions）被提供作为训练数据时，该算法才可以计算针对HMM的参数（转移和发射概率）的最大可能性估计和后验模式估计。Baum-Welch算法有两个步骤：（1）计算针对每个HMM状态的前向概率和后向概率；以及（2）基于这个计算结果确定转移-发射对的值的频率并除以整个串的概率。这相当于计算特定的转移-发射对的期望数。每当特定的转移被发现时，转移除以整个串的概率的商值增大，并且这个值随后可以被作为转移的新值。

关于此可以参考L.R.Rabiner和B.H.Huang的“An Introductionto Hidden Markov Models”，其出现在1986年1月的IEEE ASSP杂志第3卷，No.1，第4-16页中。

在本发明的示例性实施例中，被用于构建HMM的观察结果可以是例如干扰水平或者频谱价格。除了当前的干扰水平或价格以外，HMM的状态还定义对于将来观察结果的可能组合而言将来最可能是什么样的。

每个无线电设备10还可以创建并更新其自己的分组传输的隐马尔可夫模型。当网络流量是突发流量时，具有若干状态的马尔可夫模型是针对网络流量的合适的模型。

每个无线电设备10还将其所计划的行进目的地（如果知道的话）传送给基站12。

无线电设备10将马尔可夫模型传送给基站12并且基站12（某些集中放置的节点，或者与基站12相连接的某个节点）将这些模型组合成单一模型。这对应于图2的步骤2。

HMM可以被组合成一个大概率模型（模型12E），该模型预测在各个位置处的参数的将来值。作为示例，概率分布、信念可以在世界状态上被保持。从无线电设备10接收到的HMM可以被用于在给定对周围世界的观察结果的情况下计算参数状态上的概率分布如何变化的。对于其中参数是无线电设备传输状态的情况，每个无线电设备10的传输状态可以是作为三个非限制性示例的“传输”、“空闲”或“冲撞”。对于干扰参数而言，这些状态定义干扰的水平。此外例如，价格参数可以被使用。

为了计算在特定空间位置处时间步进t处的参数，以下操作可以被执行。作为近似，可以通过只考虑最可能的观察结果来针对t个时间步进仿真每个无线电设备10的马尔可夫模型。这产生在时间步进t处所有状态上的概率分布。根据这个分布，在特定空间位置处的最可能的参数值可以被计算。对于射频传输的情况，处于“传输”状态中的状态可以被假定为对干扰水平起作用。此外，环境干扰（环境干扰HMM可以与射频传输HMM类似地被仿真）对干扰的整体水平起作用。

为了将来自单独的用户设备10的模型组合成在时间步进t处所有状态上的概率分布的统一估计，具有不同复杂度的一个或若干个计算推理技术可以被使用。一个相对简单的技术是针对t个时间步进仿真每个射频设备10的马尔可夫模型，并且对在仿真期间所记录的所有设备的数据（可变值）应用标准的估计技术。注意，仿真中所包括的各个设备10将对彼此的动作和这些动作对环境造成的变化做出应对。例如，如果一个设备10在仿真期间选择了与另一设备10干扰的动作，这可能会在之后影响其它设备在相同的时间步进或将来的时间步进中所接收到的观察结果。在这种情况下，根据这个仿真估计的组合模型可以考虑设备之间的交互。为了减少这种仿真的计算复杂度，可以只考虑在每个时间步进处针对每个设备10的最可能的观察结果。

作为干扰示例，考虑在每个空间位置和时间步进处的干扰为环境干扰（例如除了作为系统的一部分的射频设备10以外，由图1的其它设备16中的一个或多个设备和/或由自然环境造成的干扰）与无线电设备10本身所造成的干扰的总和。

作为价格示例，考虑每个无线电设备10观察在其当前空间位置处的频谱价格，并且形成描述价格变化的时间上的模型并将该模型传送给基站12。

所预测的感知无线电10的行进目标和路径可以在形成参数时空地图12E的同时被考虑，从而提高时空地图12E的整体准确性。

现在所描述的是关于时空地图12E的使用的非限制性示例。

在一个实施例中，基站12可以利用干扰地图和对感知无线电10的干扰观察结果预测外部干扰源的位置，所述外部干扰源例如不是系统1的一部分的无线电。例如，干扰源的最可能的位置可以根据所预测的将来的干扰观察结果被进行三角测量。

在另一实施例中，能够运动的那些基站12可以移动到时空地图12E上被预测为将来最合适的位置。例如，将特定的基站12移动到其中干扰被预测要增大的位置可能是有利的，以使得在所述位置处的通信成为可能。这个问题可以通过将其考虑成部分可观察的马尔可夫决策过程（POMDP）问题来解决，例如：将移动基站12考虑成代理的动作（所述代理遵循通过POMDP优化的策略），向用户分配对最小化干扰的奖励，以及使用HMM作为POMDP中的概率模型。

关于部分可观察的马尔可夫决策过程（POMDP），可以参考例如以上所参考的文献：Joni Pajarinen,Jaakko Peltonen,Mikko A.Uusitalo和Ari Hottinen的“Latent state models of primary user behaviorfor opportunistic spectrum access”，其出现在2009年9月在日本东京举办的IEEE个人、室内和移动无线电通信国际会议论文集中，以及参考Q.Zhao,L.Tong,A.Swami,以及Y.Chen的“Decentralizedcognitive MAC for opportunistic spectrum access in ad hoc networks:APOMDP framework”，其出现在IEEE通信领域杂志（IEEE J.Sel.Areas Commun.），第25卷，no.3，第589B600页，2007年4月。如Pajarinen et al.中所述，在POMDP学习中，辅用户（SU）基于包括可能的状态和转移概率的马尔可夫模型来优化其动作策略。由于马尔可夫模型只对真实信道行为进行近似，所以这些模型被用作简化模型，允许对动作策略进行直觉上的并计算上可行的优化。模型与真实信道行为匹配得越好，优化后的策略在现实中的性能就越好。对于机会主义频谱接入的典型的POMDP解决方案使用简单的两个状态的信道模型：信道处于空闲或者有主用户（PU）发送，并且这两个状态之间的转移概率只取决于前一状态；如果SU与PU同时发送，则动作会引起惩罚。离散的POMDP（例如参见P.Poupart,“Exploiting structure to efficiently solve large scale partially observableMarkov decision processes”，Ph.D论文,多伦多大学，多伦多，加拿大，2005）由有限状态集S、动作A、观察结果O、转移概率P(s'|s,a)，观察概率P(o|s',a)和奖励R(s,a)构成。

在本发明的示例性实施例中，基站12可以计算用于基站12的联合策略，以选择在每个将来的时间步进处的最合适的功率水平，同时考虑干扰地图预期如何随时间而演进。例如，如果在两个基站12之间的空间位置处的干扰预期将来会增大，则两个基站12可以利用一致同意的策略来提高它们各自的功率水平，这两个基站可以在不与彼此通信的情况下提高它们各自的功率水平。因而，这个方法可以大大减少基站之间的通信量，因为每个基站可以基于它们各自对联合策略的理解半自主地采取动作。

在本发明的示例性实施例中，时空地图12E可以被形成为价格地图。例如，某个商业实体可以告知感知无线电10其在当前位置和当前时间进行发送的成本是多少。每个感知无线电10形成在其当前位置处的成本的概率模型，并且将该模型传送给基站12。一个或多个基站12形成可被用于预测在各个空间位置处的价格的时空地图12E。这些预测结果随后可以被用于引导感知无线电10从当前位置到较便宜的位置。

企业位置可以使用时空地图12E的预测结果来动态地向空间位置分配成本或价格。例如，通过了解有多少感知无线电用户被预测将在某个位置处以及将有多大的干扰产生，企业可以根据其商业模式为传输分配成本。

在本发明的示例性实施例中，时空地图12E可以被用于确定最佳连接方法。例如，如果时空地图12E是基于例如多个频率被估计的，则感知无线电10可以利用地图12E的预测结果将通信卸载到当前所使用的频率以外的频率上，并且/或者在多个频率之间加载平衡的通信。这可能是有利的，因为干扰水平在不同的频率之间可能有相当大的变化。

如之前所讨论的，除了静态干扰以外，时空地图12E还可以被用于为动态干扰建模。这基于感知无线电10在其相应的本地环境中所进行的观察，并且从感知无线电10接收到的本地模型10F被组合成全局模型。与仅仅使用静态干扰模型相比，这允许考虑诸如流量和天气状况之类的各种环境因素。

本发明的示例性实施例还允许在优化多个目标的同时实现路径发现。路径发现任务的目标可以用数学方式被设置。例如，一个目标可以是最小化设备10的用户从点A行进到点B所花费的时间长度，以及最小化用户设备10在行进的每一步所体验到的干扰。这些目标可以被形成到每个时间步进处的奖励中。例如，干扰水平是惩罚（负奖励），与点B的距离也是惩罚。应当注意针对任何动作的总的奖励或惩罚涉及所述动作针对多个目标（达到目标，避免干扰，以及用户的其它可能的目标）的‘仁慈（goodness）’。

给定参数演进的模型和针对路径发现任务的奖励模型，为用户计划好的或最佳的路径可以被表示为加强学习任务，该任务可以利用部分可观察的马尔可夫决策过程（POMDP）模型来解决。在每个时刻，基于关于参数的已知的观察结果（在地图上某些位置处所获得的观察结果，例如在用户设备10的位置处所测得的干扰值），POMDP模型将地图上的参数的当前值估计为可能值上的概率分布。POMDP模型还针对用户设备10选择运动，这会产生立即的奖励（或惩罚）并且也会影响将来的奖励（因为，例如，将用户设备10移动到更加远离点B（端点）的地方可能会暂时性地提高电话接收效果但是会增加经过该路径所花费的时间长度）。

在路径发现期间，用户设备10的用户可以通过用户接口（例如视觉显示和/或语音合成）被提示遵从所建议的路径。

对于不确定世界中的路径发现问题的一个普遍感兴趣的出版物是Samuel Prentice和Nicholas Roy的“The Belief Roadmap:EfficientPlanning in Belief Space by Factoring the Covariance”，其出现在2009年的机器人研究国际杂志（International Journal of Robotics Research）第28卷，no.11-12，第1448-1465页中。

本发明的示例性实施例可以利用POMDP算法族来完成以下任务，所述任务即优化空间导航，以实现取决于随时间本地动态地变化的时空无线电环境的目标。在该上下文中，某些修改可以被做出，以考虑在时空地图12E上所测量的特定参数以及用户设备10的特定目标。因而，与基于在路径发现环境上的不同位置处存在不随时间变化的固定干扰水平的假设的更传统的无线电相关的路径发现不同，属性已经被很好地表征的现有POMDP方法族可以被修改以在干扰及其它射频参数动态变化的环境下实现路径发现。更具体而言：干扰水平的时间演进可以利用马尔可夫模型来表征。这些马尔可夫模型的状态将描述实际的干扰水平以及干扰水平将来可能呈现的轨迹的概率。然后，当干扰水平的状态转移概率（＝马尔可夫模型）已知时，POMDP方法可以被用来优化将来时间步进上的总奖励。利用关于干扰水平的时间演进的更复杂的概率模型将允许POMDP方法通过仅仅基于其已累积的当前知识来预测将来的干扰水平而实现更大的奖励。当干扰水平被假定为静态的时，低干扰机会被减少，并且高干扰的情形不能被准确地预测。

基于之前的描述，应当清楚本发明的示例性实施例提供了一种方法、装置和一个或多个计算机程序，以在至少成本、速度、连接和提供两个或多个点之间的最佳路由方面提供改进的用户体验。

图4是示出了根据本发明的示例性实施例的方法的操作和计算机程序指令的执行结果的逻辑流程图。根据这些示例性实施例，一种方法在框4A处执行从多个在空间上分布的用户设备接收信息的步骤，所述信息至少根据对每个用户设备的环境的观察结果被导出。在框4B处，基于所接收的信息创建针对多个空间位置的时空地图的时间演进模型的步骤被执行。框4C处是基于时空地图的时间演进模型创建策略的步骤。框4D处是将所述策略发送给多个用户设备的步骤。

根据图4中所示的方法，其中所述信息在至少一个基站处被接收，并且其中所述模型在所述至少一个基站处被创建。

根据图4中所示的方法，其中所述信息在多个基站处被接收，并且其中所述模型在所述多个基站共用的无线网络节点处被创建。

根据图4中所示的方法，其中所接收到的信息包括本地干扰水平和使用射频频谱的本地成本中的至少一个。

根据图4中所示的方法，其中所接收到的信息还包括用户设备的当前运动方向，用户设备的预期将来运动方向，以及用户设备的目标位置中的至少一个。

根据图4中所示的方法，其中所接收到的信息包括用户设备的当前传输状态。

根据图4中所示的方法，其中来自特定用户设备的所接收到的信息基于在所述特定用户设备处创建的概率模型。

根据图4和之前的段落中所示的方法，其中所述概率模型是隐马尔可夫模型。

根据图4和之前的段落中所示的方法，其中创建时空地图的时间演进模型包括组合从多个用户设备接收的概率模型。

根据图4中所示的方法，其中所述模型被用于预测在空间位置处的参数的将来值。

根据图4和之前的段落中所示的方法，还包括根据所预测的将来值来改变至少一个基站的空间位置。

根据图4和之前的段落中所示的方法，还包括根据所预测的将来值来改变至少一个基站的发射功率水平。

根据图4和之前的段落中所示的方法，其中所述策略是在多个基站之间共享的联合策略，并且其中多个基站基于所述联合策略自主地改变它们各自的发射功率水平。

根据图4中所示的方法，其中所述被发送的策略包括至少一个奖励或至少一个惩罚，所述至少一个奖励或至少一个惩罚被配置为影响用户设备的当前操作，用户设备的当前运动，用户设备的将来操作，以及用户设备的将来运动中的至少一个。

根据图4中所示的方法，其中所述被发送的策略被配置为影响用户设备在两个空间位置之间所采用的路径，以实现以下效果中的至少一个：减少用户设备所体验到的无线电干扰、减少针对用户设备的射频连接成本、增大遇到人或物的可能性，以及增大避过人或物的可能性，并且其中增大遇到和避过的可能性可以至少部分基于用户设备所观察到的除无线电相关的参数以外的参数。

根据图4中所示的方法，其中所述被发送的策略被配置为影响用户设备在两个空间位置之间所采用的路径，以至少减少其它用户设备所体验到的无线电干扰。

根据图4中所示的方法，其中所述被发送的策略被配置为影响所述用户设备对通信频率的选择。

根据图4中所示的方法，其中所述被发送的策略至少部分通过使用部分可观察的马尔可夫决策过程模型被配置。

根据图4中所示的方法，其中所述时空地图包括无线电相关的参数，所述无线电相关的参数包括动态无线电干扰和静态无线电干扰中的至少一个。

图5是示出了进一步根据本发明的示例性实施例的方法的操作和计算机程序指令的执行结果的逻辑流程图。根据这些示例性实施例，一种方法在框5A处执行至少基于根据对用户设备的环境的观察结果所得到的信息生成概率模型的步骤。框5B处是将所述概率模型发送给无线通信网络的网络接入节点的步骤。框5C处是接收来自所述网络接入节点的信息的步骤。框5D处是至少部分基于所接收到的信息操作用户设备的步骤。

根据图5中所示的方法，其中所述观察结果包括本地干扰水平和使用射频频谱的本地成本中的至少一个。

根据图5中所示的方法，其中所述概率模型包括与用户设备的当前运动方向，用户设备的预期将来运动方向，以及用户设备的目标位置中的至少一个相关的信息。

根据图5中所示的方法，其中所述概率模型包括与用户设备的传输状态相关的信息。

根据图5中所示的方法，其中所述概率模型是隐马尔可夫模型。

根据图5中所示的方法，其中所述接收到的信息包括至少一个奖励或至少一个惩罚，所述至少一个奖励或至少一个惩罚被配置为影响用户设备的当前操作，用户设备的当前运动，用户设备的将来操作和用户设备的将来运动中的至少一个，并且其中所述将来运动可以被配置为增大遇到人或物的可能性以及增大避过人或物的可能性，并且其中增大遇到和避过的可能性可以至少部分基于用户设备所观察到的除无线电相关的参数以外的参数。

根据图5中所示的方法，其中所接收到的信息影响用户设备在两个空间位置之间所采用的路径，以实现以下效果中的至少一个：减少用户设备所体验到的无线电干扰，减少针对用户设备的射频连接成本，减少其它用户设备所体验到的无线电干扰，以及影响用户设备对通信频率的选择。

示例性实施例还涵盖包含软件程序指令的非暂时性计算机可读介质，其中利用至少一个数据处理器执行所述软件程序指令导致以下操作的执行，所述操作包括图4和图5以及描述图4和图5中所示的方法的各个段落中所示的方法的执行。

图4和图5中所示的各个框可以被视为方法的步骤和/或由于计算机程序代码的运行所导致的操作和/或被构建以执行一个或多个相关的功能的多个被耦接的逻辑电路单元。

一般来说，各个示例性实施例可以用硬件、专用电路、软件、逻辑或者它们的任意组合来实现。例如，一些方面可以用硬件来实现，而其它方面可以用可被控制器、微处理器或其它计算设备执行的固件或软件来实现，但是本发明不局限于此。虽然本发明的示例性实施例的各个方面可以被图示和描述为框图、流程图或者使用一些其它的图形表示方式，但是应当理解，这里所描述的这些框图、装置、系统、技术或方法可以用作为非限制性示例的硬件、软件、固件、专用电路或逻辑、专用硬件或控制器或其它计算设备或者它们的组合来实现。

因而应当理解本发明的示例性实施例的至少一些方面可以用诸如集成电路芯片和模块之类的各种组件来实现，并且本发明的示例性实施例可以在体现为集成电路的装置中被实现。集成电路可以包括用于体现可配置为根据本发明的示例性实施例进行操作的数据处理器、数字信号处理器、基带电路和射频电路中的至少一个或多个的电路（也可能是固件）。

示例性实施例因而还涵盖一种装置，该装置包括至少一个处理器和至少一个包括计算机程序代码的存储器。所述存储器和计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少接收来自多个在空间上分布的用户设备的信息，所述信息至少根据对每个用户设备的环境的观察结果而被得到；基于所接收到的信息，针对多个空间位置创建时空地图的时间演进模型；基于所述时空地图的时间演进模型创建策略；并且将所述策略发送给所述多个用户设备。

示例性实施例因而还涵盖一种装置，该装置包括用于从多个在空间上分布的用户设备接收信息的部件（例如收发器12D），所述信息至少包括对每个用户设备的无线电环境的观察结果；用于响应于所接收到的信息，针对多个空间位置创建时空地图的时间演进模型的部件（例如数据处理器12A与存储器12B和程序12C的组合）；用于基于所述时空地图的时间演进模型来创建策略的部件（例如数据处理器12A与存储器12B和程序12C的组合）；以及用于将所述策略发送给所述多个用户设备的部件（例如收发器12D）。

示例性实施例因而还涵盖一种装置，该装置包括至少一个处理器和至少一个包括计算机程序代码的存储器。所述存储器和计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少基于对用户设备的无线电环境的观察结果来生成概率模型；将所述概率模型发送给无线通信网络的网络接入节点；接收来自所述网络接入节点的信息；以及至少部分基于所接收到的信息来操作用户设备。

示例性实施例因而涉及一种装置，该装置包括用于基于对用户设备的无线电环境的观察结果生成概率模型的部件（例如数据处理器12A与存储器12B和程序12C的组合）；用于将所述概率模型发送给无线通信网络的网络接入节点的部件（例如收发器10D）；用于接收来自所述网络接入节点的信息的部件（例如收发器10D）；以及用于至少部分基于所接收到的信息操作用户设备的部件（例如数据处理器12A与存储器12B和程序12C的组合）。

相关领域的技术人员在结合附图阅读之前的描述的情况下将清楚对本发明的前述示例性实施例的各种修改和适配。然而，任何及全部修改仍将落在本发明的非限制性的示例性实施例的范围内。

应当理解本发明的示例性实施例不局限于结合任一种类型的无线通信系统来使用，这些实施例可以被用于在各种类型的无线通信系统中以及结合不同类型的无线通信系统的组合体验它们的优点。

应当注意术语“被连接”、“被耦接”或者它们的任意变形指两个或更多个元件之间的任意直接或间接的连接或耦接，并且可以包括在“被连接”或“被耦接”在一起的两个元件之间的一个或多个中间元件的存在。元件之间的耦接或连接可以是物理的、逻辑的或者物理和逻辑的组合。如这里所使用的，作为若干个非限制性和非排他性的示例，两个元件可以被认为是利用一个或多个线路、线缆和/或印刷电连接以及利用电磁能量“被连接”或“被耦接”在一起的，所述电磁能量例如具有在射频区域、微波区域和光（可见光和不可见光）区域内的波长的电磁能量。

本发明的示例性实施例不局限于结合以上所提到的各个算法（例如HMM、Baum-Welch、POMDP）来使用。这些只是合适的算法的示例。

此外，本发明的各种非限制性的示例性实施例的一些特征可以被用于在没有对其它特征的相应使用的情况下体现其优点。因此，之前的描述应当被认为只是说明本发明的原理、教导和示例性实施例，而非对本发明的限制。

Claims (53)

1.一种方法，包括：

接收来自多个在空间上分布的用户设备的信息，所述信息至少从对每个用户设备的环境的观察结果得出；

基于接收到的信息，针对多个空间位置创建时空地图的时间演进模型；

基于所述时空地图的所述时间演进模型来创建策略；以及

将所述策略发送给所述多个用户设备。

2.根据权利要求1所述的方法，其中所述信息在至少一个基站处被接收，并且其中所述模型在所述至少一个基站处被创建。

3.根据权利要求1所述的方法，其中所述信息在多个基站处被接收，并且其中所述模型在所述多个基站共用的无线网络节点处被创建。

4.根据权利要求1所述的方法，其中所述接收到的信息包括本地干扰水平和使用射频频谱的本地成本中的至少一个。

5.根据权利要求1所述的方法，其中所述接收到的信息还包括用户设备的当前运动方向、所述用户设备的预期将来运动方向、以及所述用户设备的目标位置中的至少一个。

6.根据权利要求1所述的方法，其中所述接收到的信息包括所述用户设备的当前传输状态。

7.根据权利要求1所述的方法，其中来自特定用户设备的所述接收到的信息基于在所述特定用户设备处创建的概率模型。

8.根据权利要求7所述的方法，其中所述概率模型是隐马尔可夫模型。

9.根据权利要求7所述的方法，其中创建所述时空地图的所述时间演进模型包括组合从所述多个用户设备接收的所述概率模型。

10.根据权利要求1所述的方法，其中所述模型被用于预测在所述空间位置处的参数的将来值。

11.根据权利要求10所述的方法，还包括根据所预测的将来值来改变至少一个基站的空间位置。

12.根据权利要求10所述的方法，还包括根据所预测的将来值来改变至少一个基站的发射功率水平。

13.根据权利要求10所述的方法，其中所述策略是在多个基站之间共享的联合策略，并且其中多个基站基于所述联合策略自主地改变它们各自的发射功率水平。

14.根据权利要求1所述的方法，其中所发送的策略包括至少一个奖励或至少一个惩罚，所述至少一个奖励或至少一个惩罚被配置为影响所述用户设备的当前操作、所述用户设备的当前运动、所述用户设备的将来操作、以及所述用户设备的将来运动中的至少一个。

15.根据权利要求1所述的方法，其中所发送的策略被配置为影响用户设备在两个空间位置之间所采用的路径，以实现以下各项中的至少一个：减少所述用户设备所体验到的无线电干扰，减少针对所述用户设备的无线电连接成本、增大遇到人或物的可能性，以及增大避过人或物的可能性，并且其中增大遇到和避过的所述可能性能够至少部分地基于用户设备所观察到的除无线电相关参数以外的参数。

16.根据权利要求1所述的方法，其中所发送的策略被配置为影响用户设备在两个空间位置之间所采用的路径，以至少减少其它用户设备所体验到的无线电干扰。

17.根据权利要求1所述的方法，其中所发送的策略被配置为影响所述用户设备对通信频率的选择。

18.根据权利要求1所述的方法，其中所发送的策略至少部分地通过使用部分可观察的马尔可夫决策过程模型来配置。

19.根据权利要求1所述的方法，其中所述时空地图包括无线电相关参数，所述无线电相关参数包括动态无线电干扰和静态无线电干扰中的至少一个。

20.一种非瞬态计算机可读介质，所述非瞬态计算机可读介质包含软件程序指令，其中利用至少一个数据处理器执行所述软件程序指令导致以下操作的执行，所述操作包括根据权利要求1-19中的任一项所述的方法的执行。

21.一种装置，包括：

至少一个处理器；以及

包括计算机程序代码的至少一个存储器，其中所述至少一个存储器和计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少：接收来自多个在空间上分布的用户设备的信息，所述信息至少从对每个用户设备的环境的观察结果得出；基于接收到的信息，针对多个空间位置创建时空地图的时间演进模型；基于所述时空地图的所述时间演进模型来创建策略；以及将所述策略发送给所述多个用户设备。

22.根据权利要求21所述的装置，其中所述信息在至少一个基站处被接收，并且其中所述模型在所述至少一个基站处被创建。

23.根据权利要求21所述的装置，其中所述信息在多个基站处被接收，并且其中所述模型在所述多个基站共用的无线网络节点处被创建。

24.根据权利要求21所述的装置，其中所述接收到的信息包括本地干扰水平和使用射频频谱的本地成本中的至少一个。

25.根据权利要求21所述的装置，其中所述接收到的信息包括用户设备的当前运动方向、所述用户设备的预期将来运动方向、以及所述用户设备的目标位置中的至少一个。

26.根据权利要求21所述的装置，其中所述接收到的信息包括所述用户设备的当前传输状态。

27.根据权利要求21所述的装置，其中来自特定用户设备的所述接收到的信息基于在所述特定用户设备处创建的概率模型，并且其中创建所述时空地图的所述时间演进模型包括组合从所述多个用户设备接收的所述概率模型。

28.根据权利要求27所述的装置，其中所述概率模型是隐马尔可夫模型。

29.根据权利要求21所述的装置，其中所述模型被用于预测在所述空间位置处的参数的将来值。

30.根据权利要求29所述的装置，还包括根据所预测的将来值来改变至少一个基站的空间位置。

31.根据权利要求29所述的装置，还包括根据所预测的将来值来改变至少一个基站的发射功率水平。

32.根据权利要求21所述的装置，其中所述策略是在多个基站之间共享的联合策略，并且其中多个基站基于所述联合策略自主地改变它们各自的发射功率水平。

33.根据权利要求21所述的装置，其中所发送的策略包括至少一个奖励或至少一个惩罚，所述至少一个奖励或至少一个惩罚被配置为影响所述用户设备的当前操作、所述用户设备的当前运动、所述用户设备的将来操作、以及所述用户设备的将来运动中的至少一个。

34.根据权利要求21所述的装置，其中所发送的策略被配置为影响用户设备在两个空间位置之间所采用的路径，以实现以下各项中的至少一个：减少所述用户设备所体验到的无线电干扰，减少针对所述用户设备的无线电连接成本，增大遇到人或物的可能性，以及增大避过人或物的可能性，并且其中增大遇到和避过的所述可能性能够至少部分地基于用户设备所观察到的除无线电相关参数以外的参数。

35.根据权利要求21所述的装置，其中所发送的策略被配置为影响用户设备在两个空间位置之间所采用的路径，以至少减少其它用户设备所体验到的无线电干扰。

36.根据权利要求21所述的装置，其中所发送的策略被配置为影响所述用户设备对通信频率的选择。

37.根据权利要求21所述的装置，其中所发送的策略至少部分地通过使用部分可观察的马尔可夫决策过程模型来配置。

38.根据权利要求21所述的装置，其中所述时空地图包括无线电相关参数，所述无线电相关参数包括动态无线电干扰和静态无线电干扰中的至少一个。

39.一种方法，包括：

至少基于从对用户设备的环境的观察结果得出的信息来生成概率模型；

将所述概率模型发送给无线通信网络的网络接入节点；

接收来自所述网络接入节点的信息；以及

至少部分地基于接收到的信息来操作所述用户设备。

40.根据权利要求39所述的方法，其中所述观察结果包括本地干扰水平和使用射频频谱的本地成本中的至少一个。

41.根据权利要求39所述的方法，其中所述概率模型包括与所述用户设备的当前运动方向、所述用户设备的预期将来运动方向、以及所述用户设备的目标位置中的至少一个相关的信息。

42.根据权利要求39所述的方法，其中所述概率模型包括与所述用户设备的传输状态相关的信息。

43.根据权利要求39所述的方法，其中所述概率模型是隐马尔可夫模型。

44.根据权利要求39所述的方法，其中所述接收到的信息包括至少一个奖励或至少一个惩罚，所述至少一个奖励或至少一个惩罚被配置为影响所述用户设备的当前操作、所述用户设备的当前运动、所述用户设备的将来操作、以及所述用户设备的将来运动中的至少一个，并且其中所述将来运动能够被配置为增大遇到人或物的可能性、增大避过人或物的可能性，并且其中增大遇到和避过的所述可能性能够至少部分地基于所述用户设备所观察到的除无线电相关参数以外的参数。

45.根据权利要求39所述的方法，其中所述接收到的信息影响所述用户设备在两个空间位置之间所采用的路径，以实现以下各项中的至少一个：减少所述用户设备所体验到的无线电干扰，减少针对所述用户设备的无线电连接成本，减少其它用户设备所体验到的无线电干扰，以及影响所述用户设备对通信频率的选择。

46.一种非瞬态计算机可读介质，所述非瞬态计算机可读介质包含软件程序指令，其中利用至少一个数据处理器执行所述软件程序指令导致以下操作的执行，所述操作包括根据权利要求39-45中的任一项所述的方法的执行。

47.一种装置，包括：

至少一个处理器；以及

包括计算机程序代码的至少一个存储器，其中所述至少一个存储器和计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少：基于从对用户设备的环境的观察结果得出的信息来生成概率模型；将所述概率模型发送给无线通信网络的网络接入节点；接收来自所述网络接入节点的信息；以及至少部分地基于接收到的信息来操作所述用户设备。

48.根据权利要求47所述的装置，其中所述观察结果包括本地干扰水平和使用射频频谱的本地成本中的至少一个。

49.根据权利要求47所述的装置，其中所述概率模型包括与所述用户设备的当前运动方向、所述用户设备的预期将来运动方向、以及所述用户设备的目标位置中的至少一个相关的信息。

50.根据权利要求47所述的装置，其中所述概率模型包括与所述用户的传输状态相关的信息。

51.根据权利要求47所述的装置，其中所述概率模型是隐马尔可夫模型。

52.根据权利要求47所述的装置，其中所述接收到的信息包括至少一个奖励或至少一个惩罚，所述至少一个奖励或至少一个惩罚被配置为影响所述用户设备的当前操作、所述用户设备的当前运动、所述用户设备的将来操作、以及所述用户设备的将来运动中的至少一个，并且其中所述将来运动能够被配置为增大遇到人或物的可能性、增大避过人或物的可能性，并且其中增大遇到和避过的所述可能性能够至少部分地基于所述用户设备所观察到的除无线电相关参数以外的参数。

53.根据权利要求47所述的装置，其中所述接收到的信息影响所述用户设备在两个空间位置之间所采用的路径，以实现以下各项中的至少一个：减少所述用户设备所体验到的无线电干扰，减少针对所述用户设备的无线电连接成本，减少其它用户设备所体验到的无线电干扰，以及影响所述用户设备对通信频率的选择。

Images