CN109819037B - 一种自适应计算与通信的方法和系统 - Google Patents

Abstract

本发明涉及计算与通信领域，具体涉及一种自适应计算与通信的方法与系统，其中方法包括：获取业务原始数据；根据业务类型、业务所需计算量和业务对应通信负荷，以及网络中计算节点的计算载荷和通信连接的传输速率，划分业务的计算任务和通信任务；根据划分得到的所述计算任务和通信任务，控制网络中计算节点完成计算任务，通信连接完成通信任务，实现业务的计算和通信。本发明根据业务类型及特性，及网络中设备的当前状态，自适应划分业务的计算任务和通信任务，并分配相匹配的计算节点和通信连接完成相应任务，充分利用网络中计算资源和通信资源，提高业务完成质量和完成效率，提高业务服务质量保障及业务质量体验。

Description

一种自适应计算与通信的方法和系统

【技术领域】

本发明涉及计算与通信领域，具体涉及一种自适应计算与通信的方法与系统。

【背景技术】

随着网络的发展和网络业务需求的增长，导致业务类型增多、业务计算量和通信负荷增大、网络中不同计算载荷的计算设备及不同传输速率的通信设备类型增多，网络尤其是无线网络中计算设备和通信设备数量、类型和连接关系频繁变化、各计算设备计算载荷与通信设备的传输速率频繁变化，从而使业务的划分与分配变得复杂困难。

为了解决网络中计算资源和通信资源分配问题，目前通常使用分布式计算技术和动态网络资源分配技术。但是，针对某些特定业务，或某些业务的特定场景，现有技术无法提供足够有针对性的解决方案，无法高效准确的划分计算任务和通信任务，无法高效准确的控制网络中计算节点完成计算任务、通信连接完成通信任务，降低业务的完成质量和完成效率。

鉴于此，如何克服该现有技术所存在的缺陷，进一步提高业务服务质量保障及业务质量体验，是本技术领域亟待解决的问题。

【发明内容】

针对现有技术的以上缺陷或改进需求，本发明解决了某些场景下现有技术业务完成质量和完成效率低的问题。

本发明实施例采用如下技术方案:

第一方面，本发明提供一种自适应计算与通信的方法，包括以下步骤：

获取业务原始数据；

根据业务类型、业务所需计算量和业务对应通信负荷，以及网络中计算节点的计算载荷和通信连接的传输速率，划分业务的计算任务和通信任务；

根据划分得到的所述计算任务和通信任务，控制网络中计算节点完成计算任务，通信连接完成通信任务，实现业务的计算和通信。

优选的，所述控制网络中计算节点完成计算任务，通信连接完成通信任务，实现业务的计算和通信，具体包括：

根据业务类型、业务原始数据的数据量、划分得到的计算任务所需计算量、计算节点当前的计算载荷或通信连接当前的传输速率，选取相匹配的计算节点进行计算；

根据业务类型、业务原始数据的数据量、划分得到的通信任务所需通信负荷，以及不同通信连接的传输速率，选取相匹配的数据源及通信连接进行传输；

所述计算节点和通信连接增加减少时，或计算节点计算载荷和通信连接的传输速率变化时，或计算节点间的连接关系变化时，重新划分和分配业务的计算任务和通信任务。

优选的，根据业务类型、业务原始数据的数据量、划分得到的计算业务所需计算量、计算节点的计算载荷或通信连接的传输速率，选取相匹配的计算节点进行计算，具体包括：

判断当前网络中计算节点和通信节点是否满足如下条件：当网络中存在第一计算节点和第二计算节点，所述第一计算节点可通过通信连接A将业务数据传输至第二计算节点；

当所属判断条件成立时，当通信连接A未进行通信任务时，先分配通信连接A完成通信任务，再分配第二计算节点执行计算任务；当通信连接A正在进行通信任务时，先分配第一计算节点完成计算任务，等待通信连接A空闲后再分配通信连接A完成通信任务，或分配网络中其它通信连接完成通信任务；

和/或，当所述判断条件成立时，通信连接A正在进行通信任务时，再次划分所述第一计算节点与第二计算节点之间的通信任务，对所述再次划分得到的通信任务分配不同于通信连接A的通信连接进行数据传输；

和/或，当所述判断条件成立时，对第一计算节点增加数据压缩任务，所述数据压缩任务完成后，将压缩后的数据传输至第二计算节点，分配第二计算节点完成计算任务。

优选的，所述根据业务类型、业务原始数据的数据量、数据的通信负荷或计算业务所需的数据量，以及不同通信连接的传输速率，选取相匹配的数据源进行传输，具体包括：

判断业务原始数据的数据量及业务所需主要数据内容是否满足如下条件：预设计算载荷阈值A和计算载荷阈值B，所述计算载荷阈值A>＝计算载荷阈值B，预设通信速率阈值A和通信速率阈值B，所述通信速率阈值A>＝通信速率阈值B，网络中存在多于一个第一数据内容的第一数据源和第二数据源，和多于一个第二数据内容的第三数据源和第四数据源，所述第一数据源数据量>＝第二数据源数据量，所述第三数据源数据量>＝第四数据源数据量；

当所述判断条件成立时，业务需要的主要数据内容为第一数据内容、次要内容为第二数据内容时，选择第一数据源和第四数据源作为业务数据，并对第一数据源分配网络现有计算节点中计算载荷高于所述计算载荷阈值A的计算节点进行计算任务、分配网络现有传输连接中传输速率高于所述传输速率阈值A的通信连接进行通信传输，对第四数据源分配网络现有计算节点中计算载荷低于所述计算载荷阈值B的计算节点进行计算任务、分配网络现有传输连接中传输速率低于所述传输速率阈值B的通信连接进行通信传输；

和/或，当所述判断条件成立时，业务需要的业务数据量低于预设数据量阈值，对业务数据实时性要求高于预设时间精度阈值时，选择所述第二数据源作为业务数据，并对第二数据源分配网络现有传输连接中传输速率高于预设速率阈值A的通信连接进行通信传输；

和/或，当所述判断条件成立时，业务需要的业务数据量高于预设数据量阈值，对业务数据实时性要求低于预设时间精度阈值时，选择所述第一数据源作为业务数据，并对第一数据源分配网络现有传输连接中传输速率低于预设速率阈值B的通信连接进行通信传输。

优选的，所述根据业务类型、业务原始数据的数据量、数据的通信负荷或计算业务所需的数据量，以及不同通信连接的传输速率，选取相匹配的数据源进行传输，具体包括：

判断业务数据是否为视频数据，预设通信负荷阈值A和通信负荷阈值B，所述通信负荷阈值A>＝通信负荷阈值B，当网络中存在内容相同的通信负荷高于所述通信负荷阈值A的第一视频数据源和通信负荷低于所述通信负荷阈值B的第二视频数据源，以及传输速率高的第一通信连接和传输速率低的第二通信连接时，由第一通信连接传输第一视频数据源的数据，第二通信连接传输第二视频数据源的数据，所述第一视频数据源数据与第二视频数据源数据传输时按照预定的配比进行视频帧交叉传输。

优选的，所述根据业务类型、业务所需计算量和业务对应通信负荷，以及网络中计算节点的计算载荷和通信连接的传输速率，划分业务的计算任务和通信任务，还包括：

记录不同业务类型和业务场景下各计算节点和通信连接的历史状态及任务划分和分配历史数据，将完成时间最短或完成结果正确率最高的任务划分组合作为业务划分模板，

开始新一项业务时，根据所述业务划分模板，以及计算任务的计算量和通信任务通信负荷，划分业务的计算任务和通信任务，并记录任务划分和分配数据，

业务完成后，判断本次业务完成时间是否低于预设的完成时间阈值，或判断本次业务计算结果准确度是否高于预设的计算结果准确度阈值，若都满足，则继续使用本次业务划分模板，若不满足，则将此次划分和分配数据加入所述任务划分和分配的历史数据，再次生成新的业务划分模板。

优选的，记录不同业务类型和业务场景下各计算节点和通信连接的历史状态及任务划分和分配历史数据，生成业务划分模板，还包括：

分析所述各计算节点和通信连接的历史状态及任务分配历史数据，判断是否经常存在一项或多项通信任务，所述通信任务需要将大量单一类型业务数据由第一计算节点通过通信连接A传输至第二计算节点，

若所述通信任务存在，在划分任务时，将所述通信任务划分为至少2个新通信任务，将所述新通信任务分配至通信连接A和通信连接B完成，所述通信连接B为所述第一计算节点与第二计算节点间的直接连接或经网络中其它通信节点中转的间接连接，所述通信连接B可为一条或多条通信连接；

和/或，若所述通信任务存在，在所述第一计算节点与第二计算节点之间分配数据缓存节点，所述第一计算节点通过通信连接C与所述缓存节点通信，所述缓存节点通过所述通信连接A与第二计算节点通信，当通信连接A忙碌时，先将数据由所述第一传送节点经通信连接C传输至所述数据缓存节点，等待所述通信连接A空闲后再将数据由数据缓存节点传输至第二计算节点，所述通信连接C可为一条或多条所述第一计算节点和所述数据缓存节点间的直接或间接通信连接；

和/或，若所述通信任务存在，在所述第一计算节点与第二计算节点之间分配数据缓存节点，所述第一计算节点通过所述通信连接A与所述缓存节点通信，所述缓存节点通过通信连接D与所述第二计算节点通信，当通信连接A空闲时，将所述第一计算节点的预先设置时间段内的数据或预先设置数据量的数据传输至所述数据缓存节点，当所述第二计算节点计算任务开始时，通过通信连接D从所述数据缓存节点获取所需业务数据。

优选的，所述缓存节点通过所述通信连接A与第二计算节点通信，当通信连接A忙碌时，先将数据由所述第一传送节点经通信连接C传输至所述数据缓存节点，等待所述通信连接A空闲后再将数据由数据缓存节点传输至第二计算节点，还包括：

判断所述计算任务是否需要使用实时数据、以及当前业务数据是否正确或可用，若所述计算任务不需要使用实时数据、且当前业务数据不正确或不可用，将所述不正确或不可用的当前业务数据丢弃，从所述数据缓存节点获取已存在的正确业务数据或下一份正确的业务数据作为本次计算任务的业务数据使用。

另一方面，本发明提供了一种自适应计算与通信的系统，包括以下组成部分：

至少一个计算节点，所述计算节点间由至少一条通信连接相连，所述通信连接组成通信网络，

所述自适应计算与通信的系统中包含至少一个自适应计算控制实体，

所述自适应计算控制实体与所述通信网络间有通信连接，

所述自适应计算控制实体包含至少一个处理设备或模块，所述处理设备或模块完成如权利要求1-8所述划分业务的计算任务和通信任务，以及控制网络中计算节点完成计算任务，通信连接完成通信任务的方法。

优选的，所述自适应计算与通信的系统中包含至少一个移动边缘计算实体，

所述移动边缘计算实体与所述通信网络间有通信连接，

所述移动边缘计算实体具有至少一个处理设备或模块，所述处理设备或模块执行计算业务。

与现有技术相比，本发明实施例的有益效果在于：本发明的自适应计算与通信的方法，首先判断业务类型、业务所需计算量和业务对应通信负荷，以及网络中计算节点的计算载荷和通信连接的传输速率，然后根据当前业务和资源状况选择不同的任务划分方式和资源分配方式，最后根据划分的任务控制计算节点和通信连接完成业务。通过该自适应计算与通信方法，能够满足不同应用场景下业务不同的需求，提高业务完成质量和完成效率，提高业务服务质量保障及业务质量体验。

本发明提供了一种自适应计算与通信的方法和系统，其目的在于该计算与通信的方法能够根据不同业务类型的特征、计算节点当前的计算载荷和通信连接当前的通信负荷自适应动态划分业务的计算任务和通信任务，高效准确的控制网络中计算节点完成计算任务、通信连接完成通信任务，提高实现业务的计算和通信效率。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种自适应计算与通信的方法的流程示意图；

图2是本发明实施例提供的另一种自适应计算与通信的方法的流程示意图；

图3是本发明实施例提供的一种具体实施方式流程示意图；

图4是本发明实施例提供的另一种具体实施方式流程示意图；

图5是本发明实施例提供的另一种具体实施方式流程示意图；

图6是本发明实施例提供的另一种具体实施方式流程示意图；

图7是本发明实施例提供的一种自适应计算与通信系统的系统结构示意图；

图8是本发明实施例提供的另一种自适应计算与通信系统的系统结构示意图；

图9是本发明实施例中一种具体的计算任务划分方式示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明是一种特定功能系统的体系结构，因此在具体实施例中主要说明各结构模组的功能逻辑关系，并不对具体软件和硬件实施方式做限定。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。

实施例1：

随着网络的发展和网络业务需求的增长，网络业务类型增多、网络业务的计算量和通信负荷增大、网络设备种类增多、通信连接的关系变化频繁，导致现有技术针对某些特定业务无法高效准确的划分和分配计算任务和通信任务，降低业务的完成质量和完成效率。为了解决前述问题，本发明提出一种自适应计算与通信的方法，该方法可根据业务类型、业务所需计算量和业务对应通信负荷，以及网络中计算节点的计算载荷和通信连接的传输速率，更高效准确的划分和分配计算任务和通信任务，提高业务的完成质量和完成效率。

下面结合图1、图2说明本实施例自适应计算与通信的方法，该自适应计算与通信的方法具体步骤如下：

步骤1：获取业务原始数据。

在实际应用场景中，所述业务原始数据的来源可为网络中某一个或多个存储节点获取已存在的数据。所述存储节点是指某一个或多个具备存储功能的计算节点，或与计算节点间有直接或间接通信连接的其它具有存储功能的设备。

所述业务原始数据的来源也可为数据输入设备在业务开始时输入的即时数据，所述即时数据可由具备网络传输功能的设备通过直接或间接的通信连接传输至网络中。

同样内容的业务原始数据可存在一个或多个完全相同的副本，或多个不同格式、不同数据量的副本，本说明书中将所述完全相同或不同的副本简称为数据源。如，同样场景的图片，可有存在多光谱图、彩色图、灰度图等多个不同的数据源。进一步的，灰度图还可存在bmp、tiff等多个不同的数据源。进一步的，bmp格式灰度图还可存在多个不同分辨率、不同像素深度的数据源。

获取业务原始数据的过程具体为，在网络中的所有存储节点中进行查找，记录下找到的包含业务所需内容的所有数据源信息，数据源信息包括：数据源的保存位置、数据源对应的业务类型、每一数据源的数据量等。数据源信息是划分和分配业务计算任务和通信任务的依据。

进一步的，可建立数据源索引表，数据源索引表中保存网络中现有数据源信息，索引表可根据数据源信息将数据源分类。在业务开始时根据索引表快速查找所需数据源，若数据源索引表中不存在所需数据源，则在网络中的所有存储节点中查找所需数据源，并将找到的数据源信息增加进数据源索引表。进一步的，也可在每个预设时间点扫描网络中所有存储节点，根据扫描到的数据源信息对数据源索引表进行更新。所述数据源索引表可由哈希表、分布式记账等技术实现。该方式可进一步提高获取业务原始数据的速度和准确率，从而提高业务的执行效率和准确度。

步骤2：根据业务类型、业务所需计算量和业务对应通信负荷，以及网络中计算节点的计算载荷和通信连接的传输速率，划分业务的计算任务和通信任务。

在实际应用场景中，针对不同的业务类型，或针对同类型业务的不同应用场景，会采用不同的划分策略。在本发明实施例中，简单列举几种典型策略如下：

(1)在某一具体实施方式中，业务要求实时性较高，业务中全部计算量可分为10个能够互相独立进行计算的部分，每一个部分称为一个计算单元。当前网络中有至少5个计算节点数量且每个计算节点都有足够的计算载荷。此时，将全部计算量划分为5个计算任务，每个计算任务包含2个计算单元。该划分策略以并行计算的方式缩短业务的计算时间，增加业务的实时性。

(2)在另一具体实施方式中，业务要求数据可靠性较高但要求实时性并不高，业务中全部通信负荷可分为10个能够互相独立进行通信传输的部分，每一个部分称为一个通信单元。当前网络中有至少2条通信连接且每条通信连接都有足够的传输速率。此时，将全部通信负荷划分为2个以上通信任务，每个通信任务中都包含全部10个通信单元，全部通信任务完成后再对所有通信任务中的数据进行校验整合。该划分策略以多路径备份传输方式保证了数据可靠性，防止因通信线路变化等原因引起的业务数据错误。

(3)在另一具体实施方式中，业务包含5个计算单元和5个通信单元，其中每1个计算单元需要使用1个通信单元传输的数据，每个计算单元和每个传输单元需要花费时间T。当前网络中包含1个计算载荷为1个计算单元的计算节点C1和1个计算载荷为10个计算单元的计算节点C2，包含向C1传输数据的通信连接L1，向C2传输数据的通信连接L2。将全部计算量划分为3个计算任务，其中计算任务A包含1个计算单元、计算任务B包含1个计算单元、计算任务C包含3个计算单元。将全部通信负荷划分为3个通信任务，其中通信任务A包含计算任务1所需的1个通信单元，通信任务B包含计算任务2所需的1个通信单元，通信任务C包含计算任务3所需的3个计算单元。L1完成通信任务A，L2完成通信任务C，两项通信任务同时开始。传输完成后，C1进行计算任务A，C2进行计算任务C，两项计算任务同时开始。通信任务A完成后，若C1有足够的存储空间，L1开始通信任务2，若没有足够的存储空间，等待C1完成计算任务A后开始通信任务2。若不划分计算任务，全部计算任务都由有足够计算载荷的C2承担，则数据传输和计算最大执行时间为20T。划分计算任务并合理分配至不同计算节点和通信连接中完成后，数据传输和计算最大执行时间为4T，缩短了业务执行时间，提高了业务执行效率。

步骤3：根据划分得到的所述计算任务和通信任务，控制网络中计算节点完成计算任务，通信连接完成通信任务，实现业务的计算和通信。

控制控制网络中计算节点完成计算任务并通信连接完成通信任务的具体过程为：根据业务类型、业务原始数据的数据量、划分得到的计算任务所需计算量、计算节点当前的计算载荷或通信连接当前的传输速率，选取相匹配的计算节点进行计算。并根据业务类型、业务原始数据的数据量、划分得到的通信任务所需通信负荷，以及不同通信连接的传输速率，选取相匹配的数据源及通信连接进行传输，具体如下：

(1)在其中的一个具体实施方式中，业务要求实时性较高，即使划分得到的计算任务计算量较小、通信任务通信负荷较小，也选择计算载荷较高的计算节点进行计算和传输速率较高的通信连接进行传输，而不选择刚好满足计算量需求的计算节点和刚好满足通信速率要求的通信连接。该方法虽对资源有一定浪费，但缩短了业务的执行时间、提高了业务的执行效率，更能满足业务本身的需求。

(2)在另一个具体实施方式中，业务要求数据可靠性较高，且网络中存在足够的计算节点和通信节点。对每一个计算任务都分配备用的计算节点，对每一个通信任务都分配备用的通信连接。计算节点和通信连接是否能够正常完成所分配的任务，若出现异常状态，则将任务重新分配给备用的计算节点和通信连接完成。所述异常状态是指通信连接断开、计算节点任务阻塞等无法完成计算任务的情况。该方法通过分配备用计算节点和备用通信连接，进一步增加了业务处理的容错性，保证了业务数据可靠性，提高业务完成质量。

(3)在另一个具体实施方式中，系统中计算节点的数量和通信连接的连接方式变化频繁。每个计算任务或通信任务完成后，判断整个业务是否完成。若业务未完成，则重新获取系统中计算节点和通信连接的当前状态，判断计算节点和通信连接数量是否变化，或计算节点计算载荷和通信连接的传输速率是否变化，或计算节点间的连接关系是否变化，若其中一项或多项发生变化，且变化使得本项计算任务或通信任务未正确完成或下一项计算任务或通信任务无法完成，则重新划分和分配业务的计算任务和通信任务。该方法能够更好的适应频繁变化的网络环境，使具体设备的变化不会影响到业务的完成，提高业务完成质量。

在本发明实施例中，通常还可根据系统的业务量、系统规模等，选择不同的调度算法来对计算节点和通信连接进行控制。

(1)在其中的一个具体实施方式中，系统的业务量很小、计算节点很少、通信连接稳定单一，可使用简单的多级反馈队列算法等简单策略。该方法在对任务分配和控制效率影响不大的前提下，减少了任务分配本身所带来的计算消耗，提高任务分配效率，进而提升业务的完成效率。

(2)在另一个具体实施方式中，需要处理海量数据、计算节点数量巨大、并且网络连接情况复杂多变，可使用Hadoop架构、动态网络资源分配等复杂技术。该方法能够在大规模复杂系统中以更合理的方案分配资源，对系统中资源利用更充分，从而提高整个系统的运行效率，也相应的提升了系统中每一项业务的完成质量和完成效率。

实施例2

网络中通常会存在相互间有通信连接的多个计算节点，对于这类计算节点，现有技术中一般会将其视作相互独立的计算节点进行使用。针对某些业务类型，或某些业务类型的特定使用场景，这种分配方案会带来计算资源的浪费，也可能因通信连接的传输延迟而导致业务效率降低。为了解决前述问题，本发明提出一种自适应计算与通信的方法，根据业务需求，在划分和分配计算任务和通信任务时，将多个计算节点的计算载荷和所述计算节点间的通信速率作为互相关联的因素进行分配，更高效准确的划分和分配计算任务和通信任务，提高业务的完成质量和完成效率。

下面结合图3说明本实施例自适应计算与通信的方法，该自适应计算与通信的方法具体步骤如下：

步骤21：判断当前网络中计算节点和通信节点是否满足如下条件：当网络中存在第一计算节点和第二计算节点，所述第一计算节点可通过通信连接A将业务数据传输至第二计算节点。

当通信连接A未进行通信任务时：

步骤22-1：分配通信连接A完成通信任务。

步骤23-1：分配第二计算节点执行计算任务。

当通信连接A正在进行通信任务时：

步骤22-2：分配第一计算节点完成计算任务。

步骤23-2：等待通信连接A空闲后，分配通信连接A完成通信任务。

其中，步骤23-2在实际应用场景中也可更改为不等待通信连接A空闲，直接分配网络中其它通信连接完成通信任务。

该方法将多个计算节点与其间的通信连接情况综合考虑，减少因通信连接堵塞而造成的等待，减少业务完成时间，提高业务完成效率。

在本发明实施例中，还可使用其它方式进一步提高业务完成效率。

(1)在其中的一个具体实施方式中，如图4，若所述计算任务只能由第二计算节点完成，再次划分所述第一计算节点与第二计算节点之间的通信任务，查找第一计算节点和第二计算节点间空闲的通信连接，该通信连接可为直接连接，也可为经过其它通信节点的间接通信连接，对所述再次划分得到的通信任务分配新找到的通信连接进行数据传输。该方法对网络资源利用更充分，进一步减少了通信任务的等待时间，从而减少业务完成时间，提高业务执行效率。

(2)在其中的一个具体实施方式中，如图5，也可增加一项计算任务，任务内容为将通信任务所需的数据进行压缩，或在分配第一计算节点执行完计算任务后对计算结果进行压缩。将原有通信任务传输的数据改变为压缩后的数据进行传输。该方法减少了通信任务传输的数据量，减少了通信任务完成的时间，从而减少业务执行时间，提高业务执行效率。

在本发明实施例中，具体的，如果存在k项业务，还可采用流水线技术进行调度。即将每一项业务计算量都分为n个计算任务D(x)。k、n为大于0的正整数，x＝1、2、3……n。每一项计算任务都需要在上一次计算任务完成后开始。将这些计算任务依次分配给计算节点C(x)。当第x项业务的D(x)完成并开始执行D(x+1)时，计算节点C(x)出现空闲，此时将第(x+1)项业务的D(x)分配给计算节点C(x)。直至完成第k项业务的C(n)。当每一项计算业务执行时间为T时，该方法可将业务执行时间由k*n*T减少为(n+k-1)*T，减少了多项业务的总执行时间，提高网络整体工作效率。

在本发明实施例中，具体的，如果所述计算节点C(x)的计算负载不同，还可通过动态规划方法进一步优化计算任务划分，为每个计算任务划分不同计算量。

实施例3

目前，因为输入设备和存储设备类型众多，处理数据的软件种类也非常多，因此网络中存在大量不同格式的数据源。针对不同业务，或业务的不同场景，使用某些数据源可能会导致业务效率降低，而使用另一些数据源可能会导致业务完成质量降低，不同数据源和计算节点、通信连接之间也可能不合适。为了解决前述问题，本发明提出一种自适应计算与通信的方法，该方法可根据业务类型、业务所需计算量和业务对应通信负荷，以及网络中计算节点的计算载荷和通信连接的传输速率，选择出适合业务场景的数据源、并对特定数据源分配合适的计算节点和通信连接，提高业务的完成质量和完成效率。

在实际应用场景中，针对不同的业务类型，或针对同类型业务的不同应用场景，会采用不同的数据源、计算节点、通信连接选择方式。在本发明实施例中，简单列举几种典型分配方式如下：

本发明实施例的一个应用场景为：网络中存在内容1的数据源D1和D2，内容2的数据源D3和D4，所述D1的数据量大于D2，D3的数据量大于D4。业务主要需求数据内容为内容1，次要数据内容为内容2。预设计算载荷阈值A＝计算载荷阈值B＝D1的计算载荷＝D3的计算载荷。还存在通信连接L1和通信连接L2，其中L1的传输速率>L2的传输速率，预设L1的传输速率>传输速率阈值A＝传输速率阈值B>L2的传输速率。

(1)在其中一个具体实施方式中，选择D1作为业务主要内容数据源，选择L1传输D1；选择D4作为业务次要内容数据源，选择L2传输D2。该方法为业务主要内容选择了数据量大的数据源、传输速率高的通信连接，对业务次要内容选择了数据量小的数据源、传输速率低的通信连接，在节省了系统资源的同时保证了业务主要内容的执行效率和执行指令。

(2)在另一个具体实施方式中，业务实时性要求较高，D2数据精度>预设的数据精度阈值。选择D2作为业务主要内容数据源，选择L1传输D1；选择D4作为业务次要内容数据源，选择L2传输D2。该方法在满足业务质量的前提下，选择数据量更小的数据源，减少数据传输时间，从而减少业务执行时间。

(3)在另一个具体实施方式中，业务对数据量要求较高，对实时性要求很低。选择D1作为业务主要内容数据源，D3作为业务次要内容数据源，可选择L1、L2或网络中其它传输速率低于预设速率阈值B的通信连接进行数据传输。该方法选择数据量大的数据源，保证了业务对数据量的要求，由于业务实时性很低所以并不影响业务效率，但提高了业务质量。

在本发明实施例中，某些具体实施方式中，数据源为视频数据。预设通信负荷阈值A＝通信负荷阈值B＝x，存在内容相同的通信负荷为a的数据源D1和通信负荷为b的数据源D2，所述a>x>b。存在通信连接A传输速率L1，通信连接B传输速率L2，所述L1>L2。由L1传输D1，由L2传输D2。D1和D2可按照预定的配比进行视频帧交叉传输，在下一计算节点将数据整合为新的数据源。

在本发明实施例中，某些具体实施方式中，数据采集设备产生的数据源根据采集设备的不同具有不同的格式，比如多光谱图像、全色图像、流媒体视频、测量结果数据等。同样格式的数据又根据采集设备设置等原因具有不同数据量，比如表现同一副画面内容的bmp格式图片，可同时有图像深度分别为lbit、4bit、8bit、24bit的多个数据源。

实施例4

目前，因为业务类型数量可能很多，网络中计算节点和通信连接的数量也可能很大，对每项业务都重新划分任务、重新分配计算节点和通信连接，都需要花费一定时间、消耗一定资源。若存在多个相同类型的业务，重新划分和分配就会造成时间和资源的浪费。为了解决前述问题，本发明提出一种自适应计算与通信的方法，该方法可根据业务类型、业务所需计算量和业务对应通信负荷建立任务划分和分配模板，并根据网络中计算节点的计算载荷和通信连接的传输速率变化自适应调整模板，通过模板快速进行任务划分和分配，提高业务的完成质量和完成效率。

下面结合图6，说明本实施例自适应计算与通信的方法，该自适应计算与通信的方法具体步骤如下：

步骤11：根据业务类型、计算任务的计算量和通信任务通信负荷等特征，查找是否有相匹配的业务模板。

若找到相匹配的模板：

步骤12-1：根据模板划分计算任务和通信任务，并为每个任务分配计算节点和通信连接。

若未找到相匹配的模板：

步骤12-2-1：根据当前业务类型、业务计算量、业务通信负荷等，以及当前网络中计算节点的计算载荷和网络连接的传输速率等，划分计算任务和通信任务，并为每个任务分配计算节点和通信连接。

步骤12-2-2：将划分所得的计算任务和通信任务、分配的计算节点和通信连接保存为此类型业务的新模板。

步骤13：根据划分的计算任务和通信任务，控制分配的计算节点和通信连接完成业务。

判断业务完成效率和完成准确度是否高于阈值。

若业务完成效率和完成准确度低于阈值，则增加:

步骤14：将此次划分和分配数据加入任务划分和分配的历史数据，更新模板。

在本发明实施例中，某些具体实施方式中，在某一特定业务类型中，可能会存在一项通信任务，该通信任务的内容为将大量数据从一个特定计算节点传输至另一个特定计算节点。在不记录历史数据、无模板的情况下，这些数据传输很可能只会被划分为一项通信任务、只分配一条通信连接完成，完成大量数据传输需消耗较多时间。记录历史数据后，则可针对以上场景进行更合理的任务划分和分配。在本发明实施例中，简单列举几种典型策略如下：

(1)在某一具体实施方式中，在通信任务划分模板中将这些数据传输直接划分为多个通信任务，由多条通信连接完成，减少了数据传输时间，提高了业务执行效率。

(2)在另一具体实施方式中，在需传输数据的两个计算节点之间分配数据缓存节点，当两计算节点间的通信连接忙碌时，在两计算节点间增加数据缓存节点，先将数据保存至数据缓存节点，当通信连接空闲后，再将数据传输至下一计算节点。该方法通过增加数据缓存节点，降低了通信连接忙碌对于数据传输时间的影响，也降低了前一计算节点的存储资源占用，防止前一计算节点因无足够的存储资源而无法再次被分配计算任务，提高了业务完成效率和完成质量。

(3)在另一具体实施方式中，在需传输数据的两个计算节点之间分配数据缓存节点，定时将前一计算节点产生的数据传输至数据缓存节点，后一计算节点需要使用数据时，根据通信连接状况，可选择从前一计算节点或数据缓存节点获取数据，也可同时从前一计算节点和数据缓存节点获取数据。该方法充分利用了通信连接资源，减少通信连接忙碌对于数据传输时间的影响，同时通过数据缓存提高了数据安全性，提高业务执行效率和完成质量。

(4)在另一具体实施方式中，业务并不需要使用实时数据，且业务数据经常因为各种原因产生错误，在需传输数据的两个计算节点之间分配数据缓存节点，将前一计算节点产生的数据存放至数据缓存节点。若当前业务数据产生错误，则将当前业务数据丢弃，使用缓存中保存的之前的正确业务数据，或等待下一份正确的业务数据。该方法可进一步的增加业务的容错能力，通过缓存数据保证业务执行过程中数据的正确性，减少错误数据导致的等待，提高业务执行效率和业务执行质量。

实施例5

随着网络的发展和网络业务需求的增长，网络业务类型增多、网络业务的计算量和通信负荷增大、网络设备种类增多、通信连接的关系变化频繁，导致现有技术针对某些特定业务无法高效准确的划分和分配计算任务和通信任务，降低业务的完成质量和完成效率。为了解决前述问题，本发明提出一种自适应计算与通信的系统，该系统包含自适应计算控制实体，该自适应计算控制实体可，可根据业务类型、业务所需计算量和业务对应通信负荷，以及网络中计算节点的计算载荷和通信连接的传输速率，高效准确的划分和分配计算任务和通信任务，控制网络中计算节点完成计算任务、通信节点完成通信任务，从而提高业务的完成质量和完成效率。

图7本发明实施例提供的一种自适应计算与通信的系统的体系结构示意图，具体的：

所述计算节点是指具备数据运算功能的设备或模块，可完成业务所需计算任务。计算节点可能还具备数据采集、数据存储等功能。图9中网络终端、业务节点都可视为计算节点。进一步的，网络中所有可被自适应计算控制实体获得运行状态、分配计算任务、获得计算任务结果的设备或模块，都可视为计算节点。

所述通信连接是指具备数据发送、传输、接受功能的设备或模块，可完成业务所需通信任务。通信节点可为两个计算节点之间的直接连接，也可为经过其他设备或模块中转的间接连接。进一步的，任意两个接入经有线或无线通信接入局域网或互联网的计算节点间，经过一系列网络通信设备或模块间建立的，可被自适应计算控制实体读取状态并分配通信任务的数据传输通路，都可视为一条通信连接。视业务类型不同，图9中网络终端经互联网连接至业务节点的数据传输通路，可视为一个通信连接，也可视为经互联网中不同网络设备或模块中转的不同通信连接。

所述自适应计算控制实体包含至少一个处理设备或模块，可获取所有计算节点和通信连接的状况，可获取业务类型、业务计算量、业务通信负荷等，可完成计算任务和通信任务划分，可控制计算节点和通信连接完成业务。自适应计算控制实体可为单独的一个或多个设备或模块，或由某个或多个能满足所述功能的计算实体兼任。

该系统在现有的网络系统上增加了自适应计算控制实体，根据不同业务的需求自适应划分业务的计算任务和通信任务，高效合理的分配网络中计算节点和通信连接的资源，充分利用网络中的计算资源和通信资源，提高业务的执行效率和执行质量。

下面结合图8，说明本实施例自适应计算与通信系统的一个具体实施方式：

在本发明某些具体实施方式中，若所述网络为无线网络，可在所述系统中增加一个或多个移动边缘计算实体，移动边缘计算实体与无线网络汇聚节点间有通信连接相连。移动边缘计算实体能够完成所述计算节点的功能。在网络系统中增加移动边缘计算实体，能够在无线网络侧增加计算、存储、处理等功能，可将传统的无线基站升级为智能化基站。面向业务层面(如物联网、视频、医疗、零售等)，移动边缘计算实体能够针对不同业务完成定制化、差异化服务，进而提升网络利用效率和增值价值。

在本发明某些具体实施方式中，所述网络终端具体可能包括：至少一个多谱成像传感器、至少一个图像前处理单元和至少一个无线通讯终端机。所述多谱成像传感器采集部分主要由光学系统和成像传感设备构成。所述一个或多个网络终端通过汇聚节点和核心网与外网相连，所述外网包括但不限于Internet、企业内部Intranet等。该类型网络终端通过多谱成像传感器获取业务原始数据，经图像前处理单元完成一项或多项计算任务，并通过无线通讯终端与互联网相连，可将多谱成像传感器采集到的多光谱图像数据传输至网络中，把原本由图像前处理单元完成的计算任务分配至计算性能更强的多个计算节点，减少计算任务执行时间，提高业务执行效率及执行质量。

所述自适应计算与通信系统包含以下部分：无线终端TERM(TERMinal)、基站BS(Base Station)、汇聚节点HUBN(HUB Node)、移动边缘计算实体MECE(Mobile EdgeComputing Entity)、核心网CN(Core Network)、互联网INTERNET、用户网络UNET(UserNET)、MIFE自适应计算控制实体MACE(MIFE Adaptive Control Entity)、用户业务节点USN(User Service Node)以及业务终结点SINK构成。

无线终端的图像前处理模块、移动边缘计算实体、用户业务节点等可视为计算节点。

多谱成像传感器与图像前处理模块间的数据传输通路L0、TERM与BS之间的数据传输通路L1、BS与HUBN之间的数据传输通路L2、汇聚节点与移动边缘计算实体间的数据传输通路L41和L42、CN内部数据传输通路L5、INTERNET和UNET间的数据传输通路L6、UNET和USN间的数据传输通路L7、USN和SINK间的数据传输通路L8等，可视为通信连接。

多谱成像传感器产生多路视频信号，构成业务原始数据，，数据速率设B0。

多谱图像业务主要包括图像采集、前端处理和后台计算三大部分。根据所述图像采集部分通过所述网络终端获取业务原始数据，即多谱图像数据。

如图9，MACE根据多谱图像业务特性，将业务前端计算划分为图像融合计算、图像增强计算、图像智能计算以及图像处理辅助计算等计算任务。将业务后台计算划分为存储、显示、剪辑、编排等计算任务。并对所需传输的数据划分传输任务。

MACE控制自适应计算与通信系统内各个计算节点执行相应计算任务，控制各个通信连接完成通信任务。

各计算节点和通信连接完成的任务如下：

业务原始数据通过连接L0输出到图像前处理模块，图像前处理模块完成图像前处理业务，将业务原始数据转换为传输速率B1的业务数据。业务数据经通信连接L1输出到无线通讯终端机。

无线通讯终端机将业务数据转为速率为B2的通信数据，通过无线链路L2上传至BS。若干BS汇聚到HUBN，汇聚链路为L3，汇聚链路的传输能力为B3。

HUBN将传输速率为B41的业务数据通过L41连接传输到MECE，MECE完成所分配的计算任务，MECE计算结果通过L42连接以B42的速率传回到HUBN，再由HUBN通过速率能力为B5的L5连接将业务数据传到INTERNET。再经过速率能力为B6的L6连接将数据传输至UNET。

用户业务节点USN完成所有前置计算节点(图像前处理模块、MECE等)未完成的业务前端计算任务。最后USN将业务通过数据传输能力为B8的L8连接，将业务转到SINK。

SINK完成业务后台计算任务，如后台计算与存储等。

该系统针对多谱图像业务的特性，根据多谱图像业务的计算需求和通信需求，对计算任务进行合理划分，将原本只由单一一个计算节点完成的计算量划分为多个计算任务，将划分得到的计算任务合理分配至所有能够执行任务的计算节点中，提高了计算任务的执行效率。并对通信任务进行合理划分或合理的前处理，充分利用通信连接，提高了通信任务的执行效率。另外，增加网络边缘计算节点，提高了业务整体的计算效率和数据安全性。该系统充分利用了网络中的计算资源和通信资源，提高了多谱图像业务的执行效率和执行质量。

Claims (10)

1.一种自适应计算与通信的方法，其特征在于，包括以下步骤：

获取业务原始数据；

根据业务类型、业务所需计算量和业务对应通信负荷，以及网络中计算节点的计算载荷和通信连接的传输速率将业务划分为至少一个能够互相独立进行计算的计算单元和至少一个能够互相独立进行通信传输的通信单元，并将至少一个计算单元划分为一个计算任务，将至少一个通信单元划分为一个通信任务；

根据划分得到的所述计算任务和通信任务，根据业务类型、业务原始数据的数据量、划分得到的计算任务所需计算量、计算节点当前的计算载荷或通信连接当前的传输速率，选取相匹配的计算节点进行计算，根据业务类型、业务原始数据的数据量、划分得到的通信任务所需通信负荷，以及不同通信连接的传输速率，选取相匹配的数据源及通信连接进行传输，实现业务的计算和通信。

2.根据权利要求1所述自适应计算与通信的方法，其特征在于，还包括以下步骤：

所述计算节点和通信连接增加减少时，或计算节点计算载荷和通信连接的传输速率变化时，或计算节点间的连接关系变化时，重新划分和分配业务的计算任务和通信任务。

3.根据权利要求2所述自适应计算与通信的方法，其特征在于，所述根据业务类型、业务原始数据的数据量、划分得到的计算业务所需计算量、计算节点的计算载荷或通信连接的传输速率，选取相匹配的计算节点进行计算，具体包括：

判断当前网络中计算节点和通信节点是否满足如下条件：当网络中存在第一计算节点和第二计算节点，所述第一计算节点可通过通信连接A将业务数据传输至第二计算节点；

当所属判断条件成立时，当通信连接A未进行通信任务时，先分配通信连接A完成通信任务，再分配第二计算节点执行计算任务；当通信连接A正在进行通信任务时，先分配第一计算节点完成计算任务，等待通信连接A空闲后再分配通信连接A完成通信任务，或分配网络中其它通信连接完成通信任务；

和/或，当所述判断条件成立时，通信连接A正在进行通信任务时，再次划分所述第一计算节点与第二计算节点之间的通信任务，对所述再次划分得到的通信任务分配不同于通信连接A的通信连接进行数据传输；

和/或，当所述判断条件成立时，对第一计算节点增加数据压缩任务，所述数据压缩任务完成后，将压缩后的数据传输至第二计算节点，分配第二计算节点完成计算任务。

4.根据权利要求2所述自适应计算与通信的方法，其特征在于，所述根据业务类型、业务原始数据的数据量、数据的通信负荷或计算业务所需的数据量，以及不同通信连接的传输速率，选取相匹配的数据源进行传输，具体包括：

判断业务原始数据的数据量及业务所需主要数据内容是否满足如下条件：预设计算载荷阈值A和计算载荷阈值B，所述计算载荷阈值A>＝计算载荷阈值B，预设通信速率阈值A和通信速率阈值B，所述通信速率阈值A>＝通信速率阈值B，网络中存在多于一个第一数据内容的第一数据源和第二数据源，和多于一个第二数据内容的第三数据源和第四数据源，所述第一数据源数据量>＝第二数据源数据量，所述第三数据源数据量>＝第四数据源数据量；

当所述判断条件成立时，业务需要的主要数据内容为第一数据内容、次要内容为第二数据内容时，选择第一数据源和第四数据源作为业务数据，并对第一数据源分配网络现有计算节点中计算载荷高于所述计算载荷阈值A的计算节点进行计算任务、分配网络现有传输连接中传输速率高于所述传输速率阈值A的通信连接进行通信传输，对第四数据源分配网络现有计算节点中计算载荷低于所述计算载荷阈值B的计算节点进行计算任务、分配网络现有传输连接中传输速率低于所述传输速率阈值B的通信连接进行通信传输；

和/或，当所述判断条件成立时，业务需要的业务数据量低于预设数据量阈值，对业务数据实时性要求高于预设时间精度阈值时，选择所述第二数据源作为业务数据，并对第二数据源分配网络现有传输连接中传输速率高于预设速率阈值A的通信连接进行通信传输；

和/或，当所述判断条件成立时，业务需要的业务数据量高于预设数据量阈值，对业务数据实时性要求低于预设时间精度阈值时，选择所述第一数据源作为业务数据，并对第一数据源分配网络现有传输连接中传输速率低于预设速率阈值B的通信连接进行通信传输。

5.根据权利要求2所述自适应计算与通信的方法，其特征在于，所述根据业务类型、业务原始数据的数据量、数据的通信负荷或计算业务所需的数据量，以及不同通信连接的传输速率，选取相匹配的数据源进行传输，具体包括：

判断业务数据是否为视频数据，预设通信负荷阈值A和通信负荷阈值B，所述通信负荷阈值A>＝通信负荷阈值B，当网络中存在内容相同的通信负荷高于所述通信负荷阈值A的第一视频数据源和通信负荷低于所述通信负荷阈值B的第二视频数据源，以及传输速率高的第一通信连接和传输速率低的第二通信连接时，由第一通信连接传输第一视频数据源的数据，第二通信连接传输第二视频数据源的数据，所述第一视频数据源数据与第二视频数据源数据传输时按照预定的配比进行视频帧交叉传输。

6.根据权利要求1所述自适应计算与通信的方法，其特征在于，所述根据业务类型、业务所需计算量和业务对应通信负荷，以及网络中计算节点的计算载荷和通信连接的传输速率将业务划分为至少一个能够互相独立进行计算的计算单元和至少一个能够互相独立进行通信传输的通信单元，并将至少一个计算单元划分为一个计算任务，将至少一个通信单元划分为一个通信任务，还包括：

记录不同业务类型和业务场景下各计算节点和通信连接的历史状态及任务划分和分配历史数据，将完成时间最短或完成结果正确率最高的任务划分组合作为业务划分模板；

开始新一项业务时，根据所述业务划分模板，以及计算任务的计算量和通信任务通信负荷，划分业务的计算任务和通信任务，并记录任务划分和分配数据；

业务完成后，判断本次业务完成时间是否低于预设的完成时间阈值，或判断本次业务计算结果准确度是否高于预设的计算结果准确度阈值，若都满足，则继续使用本次业务划分模板，若不满足，则将此次划分和分配数据加入所述任务划分和分配的历史数据，再次生成新的业务划分模板。

7.根据权利要求6所述自适应计算与通信的方法，其特征在于，记录不同业务类型和业务场景下各计算节点和通信连接的历史状态及任务划分和分配历史数据，生成业务划分模板，还包括：

分析所述各计算节点和通信连接的历史状态及任务分配历史数据，判断是否经常存在一项或多项通信任务，所述通信任务需要将大量单一类型业务数据由第一计算节点通过通信连接A传输至第二计算节点；

若所述通信任务存在，在划分任务时，将所述通信任务划分为至少2个新通信任务，将所述新通信任务分配至通信连接A和通信连接B完成，所述通信连接B为所述第一计算节点与第二计算节点间的直接连接或经网络中其它通信节点中转的间接连接，所述通信连接B可为一条或多条通信连接；

和/或，若所述通信任务存在，在所述第一计算节点与第二计算节点之间分配数据缓存节点，所述第一计算节点通过通信连接C与所述缓存节点通信，所述缓存节点通过所述通信连接A与第二计算节点通信，当通信连接A忙碌时，先将数据由所述第一传送节点经通信连接C传输至所述数据缓存节点，等待所述通信连接A空闲后再将数据由数据缓存节点传输至第二计算节点，所述通信连接C可为一条或多条所述第一计算节点和所述数据缓存节点间的直接或间接通信连接；

和/或，若所述通信任务存在，在所述第一计算节点与第二计算节点之间分配数据缓存节点，所述第一计算节点通过所述通信连接A与所述缓存节点通信，所述缓存节点通过通信连接D与所述第二计算节点通信，当通信连接A空闲时，将所述第一计算节点的预先设置时间段内的数据或预先设置数据量的数据传输至所述数据缓存节点，当所述第二计算节点计算任务开始时，通过通信连接D从所述数据缓存节点获取所需业务数据。

8.根据权利要求7所述自适应计算与通信的方法，其特征在于，所述缓存节点通过所述通信连接A与第二计算节点通信，当通信连接A忙碌时，先将数据由所述第一传送节点经通信连接C传输至所述数据缓存节点，等待所述通信连接A空闲后再将数据由数据缓存节点传输至第二计算节点，还包括：

判断所述计算任务是否需要使用实时数据、以及当前业务数据是否正确或可用，若所述计算任务不需要使用实时数据、且当前业务数据不正确或不可用，将所述不正确或不可用的当前业务数据丢弃，从所述数据缓存节点获取已存在的正确业务数据或下一份正确的业务数据作为本次计算任务的业务数据使用。

9.一种自适应计算与通信的系统，包括至少一个计算节点，所述计算节点间由至少一条通信连接相连，所述通信连接组成通信网络，其特征在于：

所述自适应计算与通信的系统中包含至少一个自适应计算控制实体；

所述自适应计算控制实体与所述通信网络间有通信连接；

所述自适应计算控制实体包含至少一个处理设备或模块，所述处理设备或模块完成如权利要求1-8所述的自适应计算与通信的方法中划分业务的计算任务和通信任务，以及控制网络中计算节点完成计算任务，通信连接完成通信任务的方法。

10.根据权利要求9所述一种自适应计算与通信的系统，其特征在于：

所述自适应计算与通信的系统中包含至少一个移动边缘计算实体；

所述移动边缘计算实体与所述通信网络间有通信连接；

所述移动边缘计算实体具有至少一个处理设备或模块，所述处理设备或模块执行计算业务。

Images