CN115801860A - 配电网边侧终端之间的边边通信方法和装置 - Google Patents

Abstract

本发明实施例提供一种配电网边侧终端之间的边边通信方法和装置，属于配电和物联网领域。该边边通信方法包括：确定主边侧终端和目的边侧终端之间直接通信的链路信噪比；比较所确定的链路信噪比与预设链路信噪比阈值；根据比较结果判定所述主边侧终端是否能与所述目的边侧终端直接通信；在所述主边侧终端能与所述目的边侧终端直接通信的情况下，在所述主边侧终端和所述目的边侧终端之间建立直接通信链路，以进行边边通信；以及在所述主边侧终端不能与所述目的边侧终端直接通信的情况下，确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端，建立间接通信链路，以进行边边通信。藉此，实现了仅通过边侧终端进行通信的边边通信。

Description

配电网边侧终端之间的边边通信方法和装置

技术领域

本发明涉及配电和物联网领域，具体地涉及一种配电网边侧终端之间的边边通信方法和装置。

背景技术

目前配电网建设遵循“云、管、边、端”的物联网技术架构，台区智能融合终端是低压配电物联网边侧的核心设备，作为数据汇聚与边缘计算中心，可灵活接入并采集本台区智能电表、各类用电采集终端、充电桩、三相不平衡治理装置、漏电保护器等各类低压智能设备运行数据，实现设备间即插即用、互联互通，支持营配数据同源采集，通过边缘计算赋能，支撑营配业务应用，提升客户服务水平。全国已规模化应用100万台，有力促进配电物联网快速落地，提高供电稳定性。目前融合终端配置为“一台区一终端”，各个台区独立管理，融合终端直接与主站通信，相互之间不连通，如图1所示。

随着配电物联网建设，配电网规模迅猛扩大，配电网形态正从“单向、单源”向“双向、多源”转变，新能源、储能、配网海量设备精益管理，分布式电源充分消纳、电动汽车等新型负荷接入，对台区间进行信息和指令的交互提出新的需求。传统的边侧台区智能终端之间的通信需要通过上传到云端进行协同任务分配。

发明内容

本发明实施例的目的是提供一种配电网边侧终端之间的边边通信方法和装置，其可解决或至少部分解决上述问题。

为了实现上述目的，本发明实施例的一个方面提供一种配电网边侧终端之间的边边通信方法，该边边通信方法包括：确定主边侧终端和目的边侧终端之间直接通信的链路信噪比；比较所确定的链路信噪比与预设链路信噪比阈值；根据比较结果判定所述主边侧终端是否能与所述目的边侧终端直接通信；在所述主边侧终端能与所述目的边侧终端直接通信的情况下，在所述主边侧终端和所述目的边侧终端之间建立直接通信链路，以进行边边通信；以及在所述主边侧终端不能与所述目的边侧终端直接通信的情况下，确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端，建立间接通信链路，以进行边边通信。

可选地，在所述主边侧终端不能与所述目的边侧终端直接通信的情况下确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端包括：基于时延成本确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端。

可选地，在所述主边侧终端不能与所述目的边侧终端直接通信的情况下确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端包括：将当前通信节点处于所述主边侧终端初始化为当前状态；从可选状态集合中选取当前状态的下一状态，其中，所述可选状态集合包括预设边侧终端集合中除去当前通信节点处于的边侧终端外的剩余边侧终端对应的状态的集合；从可选动作集合中确定出最佳动作，其中，所述可选动作集合包括从当前状态转移到可用状态的动作的集合，所述可用状态为已建立通信链路中的所述边侧终端对应的状态，所述已建立通信链路为从所述主边侧终端至所述下一状态对应的所述边侧终端建立的通信链路；判断执行所确定的最佳动作后到达的所述边侧终端是否是所述目的边侧终端；在执行所确定的最佳动作后到达的所述边侧终端不是所述目的边侧终端的情况下，将所确定出的最佳动作对应的所述可用状态更新为所述当前状态；重复选取下一状态、确定最佳动作及判断是否是目的边侧终端的过程，直到执行所确定的最佳动作后到达的所述边侧终端是所述目的边侧终端，以确定从所述主边侧终端至所述目的边侧终端的中继边侧终端集合；重复确定所述中继边侧终端集合的过程，直到确定出预设值个中继边侧终端集合；计算预设值个中继边侧终端集合中的每一中继边侧终端集合对应的时延成本；以及将最小的时延成本对应的中继边侧终端集合确定最佳中继边侧终端集合，以确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端。

可选地，从可选动作集合中确定出最佳动作包括：基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出最佳动作。

可选地，基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出确定最佳动作包括：基于预设贝尔曼方程，确定所述可选动作集合中的每一动作对应的动作值；以及将最小的动作值对应的动作确定为所述最佳动作。

相应地，本发明实施例的另一方面提供一种配电网边侧终端之间的边边通信装置，该边边通信装置包括：链路信噪比确定模块，用于确定主边侧终端和目的边侧终端之间直接通信的链路信噪比；比较模块，用于比较所确定的链路信噪比与预设链路信噪比阈值；以及通信链路建立模块，用于：根据比较结果判定所述主边侧终端是否能与所述目的边侧终端直接通信；在所述主边侧终端能与所述目的边侧终端直接通信的情况下，在所述主边侧终端和所述目的边侧终端之间建立直接通信链路，以进行边边通信；以及在所述主边侧终端不能与所述目的边侧终端直接通信的情况下，确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端，建立间接通信链路，以进行边边通信。

可选地，所述通信链路建立模块在所述主边侧终端不能与所述目的边侧终端直接通信的情况下确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端包括：基于时延成本确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端。

可选地，所述通信链路建立模块在所述主边侧终端不能与所述目的边侧终端直接通信的情况下确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端包括：将当前通信节点处于所述主边侧终端初始化为当前状态；从可选状态集合中选取当前状态的下一状态，其中，所述可选状态集合包括预设边侧终端集合中除去当前通信节点处于的边侧终端外的剩余边侧终端对应的状态的集合；从可选动作集合中确定出最佳动作，其中，所述可选动作集合包括从当前状态转移到可用状态的动作的集合，所述可用状态为已建立通信链路中的所述边侧终端对应的状态，所述已建立通信链路为从所述主边侧终端至所述下一状态对应的所述边侧终端建立的通信链路；判断执行所确定的最佳动作后到达的所述边侧终端是否是所述目的边侧终端；在执行所确定的最佳动作后到达的所述边侧终端不是所述目的边侧终端的情况下，将所确定出的最佳动作对应的所述可用状态更新为所述当前状态；重复选取下一状态、确定最佳动作及判断是否是目的边侧终端的过程，直到执行所确定的最佳动作后到达的所述边侧终端是所述目的边侧终端，以确定从所述主边侧终端至所述目的边侧终端的中继边侧终端集合；重复确定所述中继边侧终端集合的过程，直到确定出预设值个中继边侧终端集合；计算预设值个中继边侧终端集合中的每一中继边侧终端集合对应的时延成本；以及将最小时延成本对应的中继边侧终端集合确定最佳中继边侧终端集合，以确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端。

可选地，从可选动作集合中确定出最佳动作包括：基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出确定最佳动作。

可选地，基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出最佳动作包括：基于预设贝尔曼方程，确定所述可选动作集合中的每一动作对应的动作值；以及将最小动作值对应的动作确定为所述最佳动作。

此外，本发明实施例的另一方面还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的边边通信方法。

另外，本发明实施例的另一方面还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行上述的边边通信方法。

通过上述技术方案，确定主边侧终端和目的边侧终端之间的链路信噪比，基于所确定的链路信噪比与预设链路信噪比阈值的大小关系在主边侧终端和目的边侧终端之间建立直接通信链路或者确定使用的中继边侧终端进而通过中继边侧终端建立间接通信链路以进行边边通信，如此，实现了仅通过边侧终端进行通信的边边通信，不需要借助云端进行通信。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是现有技术中融合终端与主站之间的通信示意图；

图2是本发明一实施例提供的配电网边侧终端之间的边边通信方法的流程图；

图3是本发明另一实施例提供的配电网边侧终端之间的边边通信方案示意图；以及

图4是本发明另一实施例提供的配电网边侧终端之间的边边通信装置的结构框图。

附图标记说明

1、链路信噪比确定模块；2、比较模块；3、通信链路建立模块。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

本发明实施例的一个方面提供一种配电网边侧终端之间的边边通信方法。

图2是本发明一实施例提供的配电网边侧终端之间的边边通信方法的流程图。如图2所示，该边边通信方法包括以下内容。其中，在本发明实施例中，边边通信中的每一边侧终端部署有协同管理APP。

在步骤S20中，确定主边侧终端和目的边侧终端之间直接通信的链路信噪比。其中，主边侧终端为通信链路的起始节点，目的边侧终端为通信链路的终止节点。

在步骤S21中，比较所确定的链路信噪比与预设链路信噪比阈值，也就是确定所确定的链路信噪比与预设链路信噪比阈值的大小关系。

在步骤S22中，根据比较结果判定主边侧终端是否能与目的边侧终端直接通信。其中，若所确定的链路信噪比大于或等于预设链路信噪比阈值，则主边侧终端能与目的边侧终端直接通信；若所确定的链路信噪比小于预设链路信噪比阈值，则主边侧终端不能与目的边侧终端直接通信。若主边侧终端能与目的边侧终端直接通信，则执行步骤S23；若主边侧终端不能与目的边侧终端直接通信，则执行步骤S24。

在步骤S23中，在主边侧终端能与目的边侧终端直接通信的情况下，在主边侧终端和目的边侧终端之间建立直接通信链路，以进行边边通信，也就是主边侧终端和目的边侧终端可以直接通信，不需要借助中继边侧终端。

在步骤S24中，在主边侧终端不能与目的边侧终端直接通信的情况下，确定主边侧终端和目的边侧终端之间通信使用的中继边侧终端，建立间接通信链路，以进行边边通信。其中，中继边侧终端为辅助在主边侧终端和目的边侧终端之间进行通信的边侧终端。可选地，可以是基于时延成本来确定中继边侧终端。

通过上述技术方案，确定主边侧终端和目的边侧终端之间的链路信噪比，基于所确定的链路信噪比与预设链路信噪比阈值的大小关系在主边侧终端和目的边侧终端之间建立直接通信链路或者确定使用的中继边侧终端进而通过中继边侧终端建立间接通信链路以进行边边通信，如此，实现了仅通过边侧终端进行通信的边边通信，不需要借助云端进行通信。

可选地，在本发明实施例中，在主边侧终端不能与目的边侧终端直接通信的情况下确定主边侧终端和目的边侧终端之间通信使用的中继边侧终端可以包括以下内容。将当前通信节点处于主边侧终端初始化为当前状态。在本发明实施例中，状态指的是通信节点处于边侧终端上，某一状态指的是某一通信节点处于某一边侧终端上，当前状态指的是当前通信节点处于某一边侧终端上。开始时，将当前通信节点处于主边侧终端设置为当前状态。从可选状态集合中选取当前状态的下一状态，其中，可选状态集合包括预设边侧终端集合中除去当前通信节点处于的边侧终端外的剩余边侧终端对应的状态的集合。其中，预设边侧终端集合指的是预先设置的可以用于实现边边通信的边侧终端的集合，边边通信指的是仅仅基于边侧终端实现的边侧终端之间的通信。某一边侧终端对应的状态为通信节点处于该边侧终端上时的状态，剩余边侧终端对应的状态指的是通信节点处于剩余边侧终端上时的状态，剩余边侧终端指的是预设边侧终端集合中的除去当前通信节点处于的边侧终端外的边侧终端，剩余边侧终端可能有一个或多个；可选状态集合指的是通信节点处于剩余边侧终端时的状态的集合。选取当前状态的下一状态，从可选状态集合中随机选取一个状态作为下一状态；选取当前状态的下一状态，也就是确定下一通信节点处于的边侧终端。从可选动作集合中确定出最佳动作，其中，可选动作集合包括从当前状态转移到可用状态的动作的集合，可用状态为已建立通信链路中的边侧终端对应的状态，已建立通信链路为从主边侧终端至下一状态对应的边侧终端建立的通信链路。此外，在本发明实施例中，动作为从一个状态转移到另一状态，执行动作即为完成从一个状态转移到另一状态，也就是当前通信节点发生转移。例如，预设边侧终端集合包括边侧终端1、边侧终端2、边侧终端3、边侧终端4、边侧终端5、边侧终端6，其中，边侧终端1为主边侧终端，边侧终端6为某次建立边边通信链路的目的边侧终端，当前状态为边侧终端1对应的状态，选取的下一状态为边侧终端3对应的状态，则已建立通信链路为边侧终端1、边侧终端3，边侧终端1对应的状态或者边侧终端3对应的状态均为可选状态，可选动作集合包括从边侧终端1对应的状态转移到边侧终端1对应的状态的动作及从边侧终端1对应的状态转移到边侧终端3对应的状态的动作。可选地，在本发明实施例中，可以基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出确定最佳动作。判断执行所确定的最佳动作后到达的边侧终端是否是目的边侧终端，也就是判断执行最佳动作后，当前通信节点到达的边侧终端是否是目的边侧终端。例如，基于上述示例，假设确定的最佳动作是从边侧终端1对应的状态转移到边侧终端3对应的状态的动作，则执行最佳动作后，当前通信节点来到边侧终端3，判断边侧终端3是否是目的边侧终端，若是则说明此次想要建立的通信链路建立完成，若不是则说明还需要继续确定中继边侧终端。在执行所确定的最佳动作后到达的边侧终端不是目的边侧终端的情况下，将所确定出的最佳动作对应的可用状态更新为当前状态。若执行最佳动作后到达的边侧终端不是目的边侧终端，则说明还需要继续确定下一中继边侧终端，最佳动作对应的状态成为当前状态。例如，基于上述示例，假设确定的最佳动作是从边侧终端1对应的状态转移到边侧终端3对应的状态的动作，则最佳动作对应的状态为边侧终端3对应的状态，边侧终端3对应的状态成为当前状态。重复选取下一状态、确定最佳动作及判断是否是目的边侧终端的过程，直到执行所确定的最佳动作后到达的边侧终端是所述目的边侧终端，以确定从主边侧终端至目的边侧终端的中继边侧终端集合。更新了当前状态后，重复上述实施例中所述的过程，选取下一状态，确定最佳动作、判断是否是目的边侧终端，直到执行所确定的最佳动作后到达的边侧终端是目的边侧终端，说明建立了一条从主边侧终端至目的边侧终端的通信链路。重复确定中继边侧终端集合的过程，直到确定出预设值个中继边侧终端集合。也就是，设置确定中继边侧终端集合的迭代次数，直到确定中继边侧终端集合的过程执行的次数达到所设置的迭代次数。计算预设值个中继边侧终端集合中的每一中继边侧终端集合对应的时延成本。其中，针对任一中继边侧终端集合，可以根据以下内容计算时延成本。根据以下时延成本计算公式计算该中继边侧终端集合对应的通信链路中的任意相邻两边侧终端对应的状态之间进行转移时的时延成本。其中，某一中继边侧终端集合对应的通信链路指的是，从主边侧终端到中继边侧终端集合中的中继边侧终端再到目的边侧终端构成的通信链路。时延成本计算公式为：

，其中，

为执行动作a时从状态x转移到状态y的时延成本；

表示执行动作a时从状态x转移到状态y的状态转移过程中的代价；

表示在状态x之前阶段连接过的所有边侧终端的集合；

为拉格朗日乘子；

为符号函数，

；

为边边通信边侧终端的通信质量是否符合，如果状态x下信道质量不符合则

=1，否则为0；

为边边通信边侧终端的通信质量是否符合，如果状态y下信道质量不符合则

=1，否则为0。将根据上述时延成本计算公式得到的时延成本相加，得到总时延成本，该总时延成本即为中继边侧终端集合对应的时延成本。将最小的时延成本对应的中继边侧终端集合确定最佳中继边侧终端集合，以确定主边侧终端和目的边侧终端之间通信使用的中继边侧终端。

可选地，在本发明实施例中，基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出最佳动作可以包括以下内容。基于预设贝尔曼方程，确定可选动作集合中的每一动作对应的动作值；以及将最小的动作值对应的动作确定为最佳动作。可选地，预设贝尔曼方程为

，其中，

表示执行动作a时从状态x转移到状态y的时延成本；

表示在采取动作a的前提下从状态x转移到状态y的状态转移概率；

表示可选动作集合；

表示在策略A(·)下的无约束目标函数；A(·)表示策略；

，是预设贝尔曼方程中的折扣因子；

为拉格朗日乘子。需要说明的是，在使用上述预设贝尔曼方程计算动作对应的动作值时，当前状态为状态x，可用状态为状态y。另外，在采取动作a的前提下从状态x转移到状态y的状态转移概率可以使用以下公式进行计算：

。其中，

表示符合通信质量概率；

表示在状态y之前阶段连接过的所有边侧终端的集合；

表示在状态x之前阶段连接过的所有边侧终端的集合；

表示边侧终端之间通信成功的概率；m表示从状态x转移到状态y过程中新增的已通信节点。其他不满足Case 1、Case 2、Case 3、Case 4这4种情况的状态转移概率为0。

图3是本发明另一实施例提供的配电网边侧终端之间的边边通信方案示意图。下面结合图3对本发明实施例提供的技术方案进行示例性介绍。其中，在该实施例中，边侧终端为融合终端。

在本发明实施例中，为了实现边侧终端之间的直接互连和提升边侧终端之间的协调性，提出一种配电网中边侧终端之间的边边通信方法，2个或多个边侧终端之间通过单跳或多跳的边边通信即可完成交互和协作任务，减少对网络和云端资源的占用。此外，在本发明实施例中，提出一种基于“符合通信质量概率”约束寻找动态系统最小时延成本的边边通信中继终端的选择策略的方法，将以符合通信质量概率（PMCQ）为约束的边边通信时延最小路径选择问题建模为寻找动态系统最小时延成本的控制策略问题，运用实时动态规划算法得到最优的中继终端选择算法，实时选择最优中继终端，优化平均延时。

在本发明实施例中，每台融合终端部署协同管理APP。协同管理APP存储终端交互策略，用于对互联系统指定优化调度指令等。协同管理APP由云平台下发至融合终端。云平台根据“终端分区表”将注册的融合终端进行分块管理，划分区域，本区域融合终端群组实现边边通信，各区域之间不进行交叉通信。其中，本发明实施例中所述的预设边侧终端集合可以是某区终端群组中包括的融合终端组成的集合。在任一区域，融合终端群组中由云平台指定一个融合终端作为主融合终端，在该主融合终端上配置从属融合终端IP地址。所有融合终端根据是否有从属融合终端IP地址判断主从机模式。主融合终端先判断与欲连接的目的融合终端建立通信链路是否需要中继终端的参与，判断方法可以包括以下内容。在本发明实施例中，使用频谱共享模式下通信系统，此系统有一个基站、M个蜂窝用户、N对边边通信用户，蜂窝用户资源被划分为多个子信道，每对边边通信用户具有频谱认知能力，灵活的实现模式选择和资源调度。当两个欲实现边边通信的融合终端可以建立直接通信时，通信链路的链路信噪比应该大于或等于预设链路信噪比阈值，

（1）。在式（1）中，

表示链路信噪比，

表示预设链路信噪比阈值，

是第n个边边通信的融合终端在信道m上的传输功率，

为对应的信道增益，

表示第m个蜂窝用户到基站的发射功率，

表示第m个蜂窝用户到第n个边边用户的信道增益，

为高斯白噪声。当两个欲实现边边通信的融合终端不可以建立直接通信，链路信噪比应该小于预设链路信噪比阈值，

（2）。如果符合式（1），则主融合终端可以直接与目的融合终端建立直接通信链路，实现边边通信；否则满足式（2）则主融合终端与目的融合终端之间不能建立直接通信链路，需要中继终端。如图3所示，建立的边边通信方式为主融合终端与融合终端C直接通信；主融合终端与融合终端D通过融合终端B进行中继后通信。

在本发明实施例中，中继终端选择可以参见以下内容。具体地，以最小时延成本为目标，以预设贝尔曼方程为基础，运用实时动态规划算法得到最优路径，也就是，确定出主融合终端和目的融合终端之间使用的中继融合终端，确定出最优中继策略。

在本发明实施例中，基于马尔科夫决策模型，首先根据信道资源推导出链路的符合通信质量概率，将以符合通信质量概率为约束的边边通信时延最小路径选择问题转换为寻找动态系统最小时延成本的控制策略问题进行建模，采用拉格朗日乘子法将该优化问题转换为无约束优化问题，并根据贝尔曼优化理论中的价值迭代算法，进一步简化为求解贝尔曼方程，从而得到预设贝尔曼方程。具体地，可以参照以下内容。

1）系统模型

计算通信成功概率及符合通信质量概率。若要融合终端之间能直接实现边边通信，应满足式（1），则可获得从主融合终端到目的融合终端的通信成功概率：

（3），其中，

表示通信成功概率。同时，为了保证与基站直接通信终端的通信质量，需要满足式（4），

（4），其中，

为第n个边边通信终端到第m个子信道上与基站直接通信的信道增益，

为每个子信道能够容忍的峰值干扰功率。由此，可推导出符合通信质量概率计算公式为：

（5），其中，N表示终端总数；n表示第n个边边通信的融合终端；

表示符合通信质量概率。

假定已知中继融合终端个数

，则整条通信链路的符合通信质量概率为：

（6）。其中，

为由初始状态到吸收状态的动作集；

为第i次状态转移时，在所有从属终端中选择的动作。

2）计算马尔科夫状态转移概率

系统状态x由

这两个因素决定，

为在状态x之前阶段连接过的所有终端的集合，

为边边通信终端的通信质量是否符合要求。如果在x状态下信道质量不符合，则

，否则为0。

A(·)表示调度策略，即在某一状态下可以建立连接的终端。

此时，马尔科夫链从状态x转移到另一个状态y是一个随机事件，具体取决于在x状态下的动作

。

为在采取动作

的前提下，从状态x转移到状态y的状态转移概率。

，其中，

表示符合通信质量概率；

表示在状态y之前阶段连接过的所有边侧终端的集合；

表示在状态x之前阶段连接过的所有边侧终端的集合；

表示边侧终端之间通信成功的概率；m表示从状态x转移到状态y过程中新增的已通信节点。其他不满足Case 1、Case 2、Case 3、Case 4这4种情况的状态转移概率为0。

3）优化模型

基于马尔科夫状态转移概率表达式，根据通信成功概率表达式及符合通信质量概率表达式，建立优化模型，获得在满足符合通信质量概率约束的条件下最小平均时延的中继传输策略，用跳数来描述时延，得到优化模型：

（7），其中，目标函数定义为平均时延，

为第

次状态转移；

为在第

次状态转移后的通信终端集合；E[•]为数学期望；c[•]为状态转移过程中的代价；

为全部终端组的集合；

表示状态

之前阶段连接过的所有终端的集合；

表示调度策略；

表示目标节点；D与

含义一样；

表示调度策略。

在式（7）中，第一个约束条件为通信质量约束，

为整条链路的PMCQ，平均PMCQ的阈值为

，该约束条件根据离散马尔科夫链模型对符合通信质量概率进行了重新定义：

（8），其中，

为初始状态；

为第

个状态，

表示符合通信质量概率。其中，

表示符号函数，

，

表示边边通信融合终端的通信质量是否符合，如果状态

下信道质量不符合则

，否则为0；

表示边边通信融合终端的通信质量是否符合，如果状态

下信道质量不符合则

，否则为0。

在式（7）中，第二个约束条件为时延约束，目标终端完成通信时的时延为0，否则为1。

在式（7）中，第三个约束条件为策略约束，A集合表示在没有平均PMCQ约束条件下的所有可能策略集。

4）基于马尔科夫链的低时延中继终端选择算法

式（7）优化模型可以采用贝尔曼理论转化为贝尔曼方程解决，考虑拉格朗日乘子法，将PMCQ约束整合到成本函数中，并寻求最优路径选择策略和拉格朗日乘子

的联合优化。对于任何

，如果策略

满足以下最小化问题

（9）；那么对于任何策略A(·)，

能够最小化目标函数

，使得

。其中，

表示目标函数；

表示符合通信质量概率；

表示平均PMCQ的阈值为

。

对于给定

，选取动作a时状态x转移到状态y的时延成本函数为：

（10）。其中，

表示执行动作a时从状态x转移到状态y的状态转移过程中的代价；

表示在状态x之前阶段连接过的所有边侧终端的集合；

为拉格朗日乘子；

为符号函数，

；

为边边通信边侧终端的通信质量是否符合，如果状态x下信道质量不符合则

，否则为0；

为边边通信边侧终端的通信质量是否符合，如果状态y下信道质量不符合则

，否则为0。相应的，给定

的无约束目标函数

为

（11），其中，

表示无约束目标函数；

表示执行动作

时从状态

转移到状态

的时延成本。根据贝尔曼优化理论中的价值迭代，可获得贝尔曼方程：

（12），其中，

表示无约束目标函数；

表示在状态x之前阶段连接过的所有融合终端的集合；

是贝尔曼方程中的折扣因子，

；

表示状态x的邻居状态集合；

表示在策略A(·)下的无约束目标函数；A(·)表示策略；

表示在采取动作a的前提下从状态x转移到状态y的状态转移概率，

；

表示执行动作a时从状态x转移到状态y的时延成本。其中，

为本发明实施例中用于计算时延成本的预设贝尔曼方程。

此外，在本发明实施例中，实时动态规划算法可以包括以下内容。步骤1，根据式（3）、式（5）计算主融合终端和目的融合终端所在区域内的任意两个融合终端之间的的通信成功概率和符合通信质量概率。步骤2，将当前通信节点处于主融合终端初始化为当前状态S，从可选状态集合中随机选取一个状态S'作为当前状态S的下一状态。其中，可选状态集合包括本区域融合终端群组中除去当前通信节点处于的融合终端外的剩余融合终端对应的状态的集合。步骤3，根据预设贝尔曼方程，计算可选动作集合中的每一动作对应的动作值，选取最小的动作值对应的动作为最佳动作。其中，可选动作集合包括从当前状态转移到可用状态的动作的集合，可用状态为已建立通信链路中的融合终端对应的状态，已建立通信链路为从主融合终端至下一状态对应的融合终端建立的通信链路。步骤4，执行选取的最佳动作，当前通信节点发生转移，判断当前通信节点到达的融合终端是否是目的融合终端。若不是目的融合终端，则将执行选取的最佳动作后达到的融合终端对应的状态更新为当前状态，回到步骤2继续执行步骤2及步骤2后的操作。若是目的融合终端，则转到步骤5。步骤5，得到该次中继融合终端探索过程的中继融合终端集合及时延成本。步骤6，根据设定的迭代次数，重复步骤2-5，比较所有计算得到的时延成本，将最小的时延成本对应的中继融合终端集合确定为最佳中继融合终端集合，由此，确定出从主融合终端至目的融合终端使用的中继融合终端。

综上所述，本发明实施例提供的技术方案实现了边侧融合终端之间的双线通信，可以提升资源利用效率和能量优化管理。

相应地，本发明实施例的另一方面提供一种配电网边侧终端之间的边边通信装置。

图4是本发明另一实施例提供的配电网边侧终端之间的边边通信装置的结构框图。如图4所示，边边通信装置包括链路信噪比确定模块1、比较模块2和通信链路建立模块3。其中，链路信噪比确定模块1用于确定主边侧终端和目的边侧终端之间直接通信的链路信噪比；比较模块2用于比较所确定的链路信噪比与预设链路信噪比阈值；通信链路建立模块3用于：根据比较结果判定主边侧终端是否能与目的边侧终端直接通信；在主边侧终端能与目的边侧终端直接通信的情况下，在主边侧终端和目的边侧终端之间建立直接通信链路，以进行边边通信；以及在主边侧终端不能与目的边侧终端直接通信的情况下，确定主边侧终端和目的边侧终端之间通信使用的中继边侧终端，建立间接通信链路，以进行边边通信。

可选地，在本发明实施例中，通信链路建立模块在主边侧终端不能与目的边侧终端直接通信的情况下确定主边侧终端和目的边侧终端之间通信使用的中继边侧终端包括：基于时延成本确定主边侧终端和目的边侧终端之间通信使用的中继边侧终端。

可选地，在本发明实施例中，通信链路建立模块在主边侧终端不能与目的边侧终端直接通信的情况下确定主边侧终端和目的边侧终端之间通信使用的中继边侧终端包括：将当前通信节点处于主边侧终端初始化为当前状态；从可选状态集合中选取当前状态的下一状态，其中，可选状态集合包括预设边侧终端集合中除去当前通信节点处于的边侧终端外的剩余边侧终端对应的状态的集合；从可选动作集合中确定出最佳动作，其中，可选动作集合包括从当前状态转移到可用状态的动作的集合，可用状态为已建立通信链路中的边侧终端对应的状态，已建立通信链路为从主边侧终端至下一状态对应的边侧终端建立的通信链路；判断执行所确定的最佳动作后到达的边侧终端是否是目的边侧终端；在执行所确定的最佳动作后到达的边侧终端不是目的边侧终端的情况下，将所确定出的最佳动作对应的可用状态更新为当前状态；重复选取下一状态、确定最佳动作及判断是否是目的边侧终端的过程，直到执行所确定的最佳动作后到达的边侧终端是目的边侧终端，以确定从主边侧终端至目的边侧终端的中继边侧终端集合；重复确定中继边侧终端集合的过程，直到确定出预设值个中继边侧终端集合；计算预设值个中继边侧终端集合中的每一中继边侧终端集合对应的时延成本；以及将最小时延成本对应的中继边侧终端集合确定最佳中继边侧终端集合，以确定主边侧终端和目的边侧终端之间通信使用的中继边侧终端。

可选地，在本发明实施例中，从可选动作集合中确定出最佳动作包括：基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出确定最佳动作。

可选地，在本发明实施例中，基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出最佳动作包括：基于预设贝尔曼方程，确定可选动作集合中的每一动作对应的动作值；以及将最小动作值对应的动作确定为最佳动作。

本发明实施例提供的配电网边侧终端之间的边边通信装置的具体工作原理及益处与本发明实施例提供的配电网边侧终端之间的边边通信方法的具体工作原理及益处相似，这里将不再赘述。

所述边边通信装置包括处理器和存储器，上述链路信噪比确定模块、比较模块和通信链路建立模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现边边通信。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

此外，本发明实施例的另一方面还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述实施例中所述的边边通信方法。

另外，本发明实施例的另一方面还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行上述实施例中所述的边边通信方法。

此外，本发明实施例的另一方面还提供一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下上述实施例中所述的边边通信方法的步骤。本文中的设备可以是服务器、PC、PAD、手机等。

另外，本发明实施例的另一方面还提供一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述实施例中所述的边边通信方法步骤的程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种配电网边侧终端之间的边边通信方法，其特征在于，该边边通信方法包括：

确定主边侧终端和目的边侧终端之间直接通信的链路信噪比；

比较所确定的链路信噪比与预设链路信噪比阈值；

根据比较结果判定所述主边侧终端是否能与所述目的边侧终端直接通信；

在所述主边侧终端能与所述目的边侧终端直接通信的情况下，在所述主边侧终端和所述目的边侧终端之间建立直接通信链路，以进行边边通信；以及

在所述主边侧终端不能与所述目的边侧终端直接通信的情况下，确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端，建立间接通信链路，以进行边边通信。

2.根据权利要求1所述的边边通信方法，其特征在于，在所述主边侧终端不能与所述目的边侧终端直接通信的情况下确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端包括：

基于时延成本确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端。

3.根据权利要求2所述的边边通信方法，其特征在于，在所述主边侧终端不能与所述目的边侧终端直接通信的情况下确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端包括：

将当前通信节点处于所述主边侧终端初始化为当前状态；

从可选状态集合中选取当前状态的下一状态，其中，所述可选状态集合包括预设边侧终端集合中除去当前通信节点处于的边侧终端外的剩余边侧终端对应的状态的集合；

从可选动作集合中确定出最佳动作，其中，所述可选动作集合包括从当前状态转移到可用状态的动作的集合，所述可用状态为已建立通信链路中的所述边侧终端对应的状态，所述已建立通信链路为从所述主边侧终端至所述下一状态对应的所述边侧终端建立的通信链路；

判断执行所确定的最佳动作后到达的所述边侧终端是否是所述目的边侧终端；

在执行所确定的最佳动作后到达的所述边侧终端不是所述目的边侧终端的情况下，将所确定出的最佳动作对应的所述可用状态更新为所述当前状态；

重复选取下一状态、确定最佳动作及判断是否是目的边侧终端的过程，直到执行所确定的最佳动作后到达的所述边侧终端是所述目的边侧终端，以确定从所述主边侧终端至所述目的边侧终端的中继边侧终端集合；

重复确定所述中继边侧终端集合的过程，直到确定出预设值个中继边侧终端集合；

计算预设值个中继边侧终端集合中的每一中继边侧终端集合对应的时延成本；以及

将最小的时延成本对应的中继边侧终端集合确定最佳中继边侧终端集合，以确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端。

4.根据权利要求3所述的边边通信方法，其特征在于，从可选动作集合中确定出最佳动作包括：

基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出确定最佳动作。

5.根据权利要求4所述的边边通信方法，其特征在于，基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出最佳动作包括：

基于预设贝尔曼方程，确定所述可选动作集合中的每一动作对应的动作值；以及

将最小的动作值对应的动作确定为所述最佳动作。

6.一种配电网边侧终端之间的边边通信装置，其特征在于，该边边通信装置包括：

链路信噪比确定模块，用于确定主边侧终端和目的边侧终端之间直接通信的链路信噪比；

比较模块，用于比较所确定的链路信噪比与预设链路信噪比阈值；以及

通信链路建立模块，用于：

根据比较结果判定所述主边侧终端是否能与所述目的边侧终端直接通信；

在所述主边侧终端能与所述目的边侧终端直接通信的情况下，在所述主边侧终端和所述目的边侧终端之间建立直接通信链路，以进行边边通信；以及

在所述主边侧终端不能与所述目的边侧终端直接通信的情况下，确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端，建立间接通信链路，以进行边边通信。

7.根据权利要求6所述的边边通信装置，其特征在于，所述通信链路建立模块在所述主边侧终端不能与所述目的边侧终端直接通信的情况下确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端包括：

基于时延成本确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端。

8.根据权利要求7所述的边边通信装置，其特征在于，所述通信链路建立模块在所述主边侧终端不能与所述目的边侧终端直接通信的情况下确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端包括：

将当前通信节点处于所述主边侧终端初始化为当前状态；

从可选状态集合中选取当前状态的下一状态，其中，所述可选状态集合包括预设边侧终端集合中除去当前通信节点处于的边侧终端外的剩余边侧终端对应的状态的集合；

从可选动作集合中确定出最佳动作，其中，所述可选动作集合包括从当前状态转移到可用状态的动作的集合，所述可用状态为已建立通信链路中的所述边侧终端对应的状态，所述已建立通信链路为从所述主边侧终端至所述下一状态对应的所述边侧终端建立的通信链路；

判断执行所确定的最佳动作后到达的所述边侧终端是否是所述目的边侧终端；

在执行所确定的最佳动作后到达的所述边侧终端不是所述目的边侧终端的情况下，将所确定出的最佳动作对应的所述可用状态更新为所述当前状态；

重复选取下一状态、确定最佳动作及判断是否是目的边侧终端的过程，直到执行所确定的最佳动作后到达的所述边侧终端是所述目的边侧终端，以确定从所述主边侧终端至所述目的边侧终端的中继边侧终端集合；

重复确定所述中继边侧终端集合的过程，直到确定出预设值个中继边侧终端集合；

计算预设值个中继边侧终端集合中的每一中继边侧终端集合对应的时延成本；以及

将最小时延成本对应的中继边侧终端集合确定最佳中继边侧终端集合，以确定所述主边侧终端和所述目的边侧终端之间通信使用的中继边侧终端。

9.根据权利要求8所述的边边通信装置，其特征在于，从可选动作集合中确定出最佳动作包括：

基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出确定最佳动作。

10.根据权利要求9所述的边边通信装置，其特征在于，基于贝尔曼优化理论中的价值迭代从可选动作集合中确定出最佳动作包括：

基于预设贝尔曼方程，确定所述可选动作集合中的每一动作对应的动作值；以及

将最小动作值对应的动作确定为所述最佳动作。

11.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-5中任一项所述的方法。

12.一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行权利要求1-5中任一项所述的方法。

Images