CN115225643A - 点云平台大数据分布式管理方法、装置及系统 - Google Patents

点云平台大数据分布式管理方法、装置及系统 Download PDF

Info

Publication number
CN115225643A
CN115225643A CN202210844482.3A CN202210844482A CN115225643A CN 115225643 A CN115225643 A CN 115225643A CN 202210844482 A CN202210844482 A CN 202210844482A CN 115225643 A CN115225643 A CN 115225643A
Authority
CN
China
Prior art keywords
big data
module
point cloud
cloud platform
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210844482.3A
Other languages
English (en)
Inventor
黄恒巨
黄梓钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Golden Network Technology Co ltd
Original Assignee
Fuzhou Golden Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Golden Network Technology Co ltd filed Critical Fuzhou Golden Network Technology Co ltd
Priority to CN202210844482.3A priority Critical patent/CN115225643A/zh
Publication of CN115225643A publication Critical patent/CN115225643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1021—Server selection for load balancing based on client or server locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及点云平台大数据技术领域，解决了水处理后台控制系统容易出现相应延迟以及算力不足的技术问题，尤其涉及一种点云平台大数据分布式管理方法，包括以下过程：S1、根据若干个水处理站的分布信息构建点云平台；S2、获取点云平台中若干水处理站运行状态的数据处理任务；S3、对数据处理任务进行分割为若干个子任务；S4、采用遗传算法为若干个子任务分别找寻最优的边缘处理中心。本发明以最小化总执行数据处理任务代价，可以优化物联网的响应延迟，同时有效降低边缘处理中心的能耗，从而提高了对于数据处理任务的处理效率，缩短所需计算时长，增强对于多个水处理站的管理。

Description

点云平台大数据分布式管理方法、装置及系统
技术领域
本发明涉及点云平台大数据技术领域，尤其涉及一种点云平台大数据分布式管理方法、装置及其系统。
背景技术
在水处理后台控制系统中，点云平台能够反映整个系统中各个水处理站中设备的各项数据，能够快速的查看并监控各地分布水处理设备的各项运行状态，特别在水处理领域中，各地所包含的水处理站分布较广、数量多，而对于如此多数量的水处理站而言，需要通过点云平台进行集中管理控制，从而能够更加直观的随时获取各地区单独水处理站的运行状态，并对各项运行数据进行实时监控。
然而每个水处理站的运行都包含大量的数据，在本地的运行数据需要进行计算相应的数值并上传至点云平台中，而一个水处理站中所包含的各个设备的运行数据是巨量的，仅仅依靠服务器的计算容易导致算力不足，同时，受计算资源、存储容量和电池电量的影响，在本地服务器进行数据处理可能会耗费过长时间，造成服务器与各水处理站之间的网络出现延迟，不仅提高了能耗，而且还会加大算力代价。
发明内容
针对现有技术的不足，本发明提供了一种点云平台大数据分布式管理方法、装置及其系统，解决了水处理后台控制系统容易出现相应延迟以及算力不足的技术问题，本发明以最小化总执行数据处理任务代价，可以优化物联网的响应延迟，同时有效降低边缘处理中心的能耗，从而提高了对于数据处理任务的处理效率，缩短所需计算时长，增强对于多个水处理站的管理。
为解决上述技术问题，本发明提供了如下技术方案：一种点云平台大数据分布式管理方法，包括以下过程：
S1、根据若干个水处理站的分布信息构建点云平台；
S2、获取点云平台中若干水处理站运行状态的数据处理任务；
S3、对数据处理任务进行分割为若干个子任务；
S4、采用遗传算法为若干个子任务分别找寻最优的边缘处理中心；
S5、将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；
S6、获取边缘处理中心所处理的数据处理任务的最终计算结果；
S7、将最终计算结果发送至点云平台。
进一步地，在步骤S1中，根据若干个水处理站的分布信息构建点云平台包括以下步骤：
S11、获取若干个水处理站的位置信息；
S12、根据所获取的若干个位置信息构成点云图；
S13、选取点云图中的起点A和终点B；
S14、构建起点A至终点B之间所形成的主线路；
S15、获取涵盖在主线路上所有剩余的水处理站定义为节点集T；
S16、采用最优路径算法构建主线路上的多个旁支线路；
S17、将多个旁支线路与主线路连接构成可视化的点云平台。
进一步地，在步骤S16中，采用最优路径算法构建主线路上的多个旁支线路包括以下步骤：
S161、采用最优路径算法计算节点集T中各节点至主线路的最短距离；
S162、将各节点至主线路的最短距离由大至小依次排序；
S163、提取数值最大的节点作为单个旁支线路上的起始点；
S164、提取数值最小的节点作为上述旁支线路上的终止点；
S165、将起始点与终止点之间所涵盖的其余节点连接构成旁支线路。
进一步地，在步骤S4中，采用遗传算法为若干个子任务分别找寻最优的边缘处理中心包括以下步骤：
S41、获取接入服务器中的若干个边缘处理中心并设为集合T；
S42、初始化集合T，定义集合T的大小为M；
S43、计算集合T中每个分配方案的适应度函数值；
S44、选取适应度函数值高的前M/2个分配方案；
S45、对M/2个分配方案依次进行交叉、变异处理；
S46、随机构造M/2个分配方案与当前精英方案组成最优分配方案。
进一步地，在步骤S7之后还包括步骤S8，将最终计算结果发送至云端系统进行存储备份。
本发明还提供了一种用于实现上述大数据分布式管理方法的装置，包括：
点云平台构建模块，所述点云平台构建模块用于根据若干个水处理站的分布信息构建点云平台；
数据处理任务获取模块，所述数据处理任务获取模块用于获取点云平台中若干水处理站运行状态的数据处理任务；
任务分割模块，所述任务分割模块用于对数据处理任务进行分割为若干个子任务；
边缘处理中心找寻模块，所述边缘处理中心找寻模块用于采用遗传算法为若干个子任务分别找寻最优的边缘处理中心；
子任务发送模块，所述子任务发送模块用于将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；
最终计算结果获取模块，所述最终计算结果获取模块用于获取边缘处理中心所处理的数据处理任务的最终计算结果；
最终计算结果发送模块，所述最终计算结果发送模块用于将最终计算结果发送至点云平台。
进一步地，该装置还包括存储模块，
所述存储模块用于将最终计算结果发送至云端系统进行存储备份。
进一步地，所述存储模块包括Hadoop型云框架系统、大数据调度系统和信息互感系统；
所述Hadoop型云框架系统用于作为点云平台大数据分布式存储结构的基础；
所述大数据调度系统用于作为Hadoop型云框架系统的下级附属模块；
所述信息互感系统与大数据调度系统建立数据传输连接，用于接收来自Hadoop型云框架系统的网格数据参量，并执行由混合数据库定义的应用调度指令。
进一步地，所述Hadoop型云框架系统包括储存中心模块、上层信息网格模块、中间信息网格模块和下层信息网格模块；
所述储存中心模块用于直接提取服务器数据库中的待处理数据参量，再借助信息互感匹配通路，将所有大数据传输至下级应用平台中；
所述上层信息网格模块、中间信息网格模块和下层信息网格模块按照从上至下的顺序排列，用于将待存储的大数据由分布式到网格化结构体的转化。
进一步地，所述大数据调度系统包括服务层、交换处理层和客户端；
所述服务层包括大数据服务器和云存储服务器，所述大数据服务器用于感知混合型大数据的随机变化，再将符合需求的大数据传输至顶层存储主机中；
所述云存储服务器用于接收来自大数据网格的所有应用信息，并将其转化为镜像式信息结构体。
进一步地，所述交换处理层包括镜像信息处理设备、网格交换机、分布式交换机、存储路由器、大数据防火墙五类元件；
所述客户端包括一用于接收与信息结构体相关的调度处置指令的调度交换机，还包括多个用于时刻与分布式大数据节点保持相同变化趋势的底层云存储执行设备。
进一步地，所述信息互感系统包括以Querytable芯片的上层分级元件以及以Capacitytable芯片的下层分级元件。
本发明还提供了一种用于实现上述大数据分布式管理方法的系统，包括：用户端、点云平台、服务器、若干个边缘处理中心以及云中心；
所述用户端用于接收并显示由点云平台所传输若干水处理站的分布状况以及相应站点运行中的信息；
所述点云平台用于接入若干水处理站并构成可视化的站点位置分布；
所述服务器用于获取各水处理站所产生的各项参数信息并进行本地计算处理或将数据处理任务分配至单个或多个边缘处理中心；
所述边缘处理中心处理服务器所分配的子任务，并将结果汇总后发送至服务器；
云中心用于接收并分布式存储服务器所发送的各项数据以及最终计算结果。
借由上述技术方案，本发明提供了一种点云平台大数据分布式管理方法、装置及其系统，至少具备以下有益效果：
1、本发明通过构建点云平台并以此为基础获取所有水处理站的数据处理任务，并将多站点的数据处理问题转化为具有时延约束、最小分配代价的最短路径问题，并提出基于能耗的多点分配策略，寻找多站点任务合理分配的解决方案，利用遗传算法寻找最优的任务分配方案，以最小化总执行数据处理任务代价，可以优化物联网的响应延迟，同时有效降低边缘处理中心的能耗，从而提高了对于数据处理任务的处理效率，缩短所需计算时长，增强对于多个水处理站的管理。
2、通过将各个水处理站在可视化界面中构建为连续的图例，其整体能够完整的在以地图背景的界面上显示，并且能够显示水处理站的地名以及各项信息，由此以连续的可视、可操作界面作为若干水处理站的点云平台，从而提高对于各个水处理站运行状态以及信息的快速查阅，并及时了解各个水处理站是否处于正常运行中。
3、本发明通过Hadoop型云框架系统、大数据调度系统和信息互感系统等多个硬件设备，在划分大数据存储关系，定义混合云存储的具体格式后进行数据云存储，不仅大大提升了大数据的定向迁移速率，也充分扩展了额定空间内的数据存储容量，具有较高的实际应用价值。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例一中管理方法的流程图；
图2为本发明实施例一中构建点云平台的流程图；
图3为本发明实施例一中构建主线路上的多个旁支线路的流程图；
图4为本发明实施例一中找寻最优的边缘处理中心的流程图；
图5为本发明实施例一中一个单点交叉过程的示意图；
图6为本发明实施例一中主线路与旁支线路的构建样例示意图；
图7为本发明实施例一中管理装置的原理框图；
图8为本发明实施例一中管理系统的交互示意图；
图9为本发明实施例二中管理方法的流程图；
图10为本发明实施例二中管理装置的原理框图；
图11为本发明实施例三中管理装置的原理框图。
图中：100、点云平台构建模块；200、数据处理任务获取模块；300、任务分割模块；400、边缘处理中心找寻模块；500、子任务发送模块；600、最终计算结果获取模块；700、最终计算结果发送模块；800、存储模块；801、Hadoop型云框架系统；8011、储存中心模块；8012、上层信息网格模块；8013、中间信息网格模块；8014、下层信息网格模块；802、大数据调度系统；8021、服务层；80211、大数据服务器；80212、云存储服务器；8022、交换处理层；8023、客户端；803、信息互感系统；10、用户端；20、点云平台；30、服务器；40、边缘处理中心；50、云中心。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
实施例一
请参照图1-图6，示出了本实施例的一种实施方式，通过构建点云平台并以此为基础获取所有水处理站的数据处理任务，并将多站点的数据处理问题转化为具有时延约束、最小分配代价的最短路径问题，并提出基于能耗的多点分配策略，寻找多站点任务合理分配的解决方案，利用遗传算法寻找最优的任务分配方案，以最小化总执行数据处理任务代价，可以优化物联网的响应延迟，同时有效降低边缘处理中心的能耗，从而提高了对于数据处理任务的处理效率，缩短所需计算时长，增强对于多个水处理站的管理。
请参照图1，一种点云平台大数据分布式管理方法，包括以下过程：
S1、根据若干个水处理站的分布信息构建点云平台；
请参照图2，在步骤S1中，根据若干个水处理站的分布信息构建点云平台包括以下步骤：
S11、获取若干个水处理站的位置信息，位置信息水处理站的地理坐标和位置坐标，地理坐标包含经度以及纬度，位置坐标为由地理坐标所得到的坐标(X，Y，Z)，水处理站的位置信息可通过全站仪、地面和机载激光扫描仪、无人机、移动测绘系统获得。
S12、根据所获取的若干个位置信息构成点云图，将多所获得的位置信息数据融合就是点云信息，将点云信息进行点云成像得到水处理站的点云图，点云图上的每一个点都是携带了该站的坐标(X，Y，Z)；
S13、选取点云图中的起点A和终点B，起点A为用于初步进行水处理的站点，对应水处理工序的第一道工序，终点B为用于最终结束水处理的站点，对应水处理工序的最后一道工序；
S14、构建起点A至终点B之间所形成的主线路；
S15、获取涵盖在主线路上所有剩余的水处理站定义为节点集T，节点集T由若干个节点T1、T2、T3…Tn组成，每个节点代表一个水处理站；
S16、采用最优路径算法构建主线路上的多个旁支线路；
请参照图3，在步骤S16中，采用最优路径算法构建主线路上的多个旁支线路包括以下步骤：
S161、采用最优路径算法计算节点集T中各节点至主线路的最短距离；
节点集T＝(T1、T2、T3…Tn)，其中，依次标记由靠近起点A的节点为T1，直至靠近终点B的节点为Tn，最优路径算法采用深度优先算法或广度优先算法或Dijstra或Floyd最短路径算法中的任一种皆可。
S162、将各节点至主线路的最短距离由大至小依次排序；
S163、提取数值最大的节点作为单个旁支线路上的起始点；
S164、提取数值最小的节点作为上述旁支线路上的终止点；
S165、将起始点与终止点之间所涵盖的其余节点连接构成旁支线路。
在该方法中，能够将所有的水处理站以路线的形式进行展现，包含主线路以及多个旁支线路共同构成点云平台，而且主线路上的水处理站为水处理工序中主要的站点，并由此为原点向外侧延伸连接其相邻的副站点，使多有的水处理站由主至次合理排序，从而能够提高整个系统中节分布的合理化，使整个水处理系统的规划更加直观，并为后续的规划提供参考意见，能够明确的知晓下一个水处理站的分布位置。
S17、将多个旁支线路与主线路连接构成可视化的点云平台；
请参照图6，示出了主线路与旁支线路的构建样例示意图，通过将各个水处理站在可视化界面中构建为连续的图例，其整体能够完整的在以地图背景的界面上显示，并且能够显示水处理站的地名以及各项信息，由此以连续的可视、可操作界面作为若干水处理站的点云平台，从而提高对于各个水处理站运行状态以及信息的快速查阅，并及时了解各个水处理站是否处于正常运行中。
S2、获取点云平台中若干水处理站运行状态的数据处理任务，数据处理任务主要为每个水处理站的运行数据，在本地的运行数据需要进行计算相应的数值并上传至点云平台系统中，而一个水处理站中所包含的各个设备的运行数据是巨量的，仅仅依靠服务器的计算容易导致算力不足，同时，受计算资源、存储容量和电池电量的影响，在本地服务器进行数据处理可能会耗费过长时间，造成服务器与各水处理站之间的网络出现延迟，不仅提高了能耗，而且还会加大算力代价。
S3、对数据处理任务进行分割为若干个子任务，一个大任务分割为若干个子任务可以采用Fork/Join框架或者其他方法，Fork/Join框架是Java7提供了的一个用于并行执行任务的框架，是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架，Fork就是把一个大任务切分为若干子任务并行的执行，Join就是合并这些子任务的执行结果，最后得到这个大任务的结果。比如计算1+2+…+10000，可以分割成10个子任务，每个子任务分别对1000个数进行求和，最终汇总这10个子任务的结果。
Fork/Join框架主要分为两步：
第一步分割任务，首先我们需要有一个fork类来把大任务分割成子任务，有可能子任务还是很大，所以还需要不停的分割，直到分割出的子任务足够小。
第二步执行任务并合并结果，分割的子任务分别放在双端队列里，然后几个启动线程分别从双端队列里获取任务执行，子任务执行完的结果都统一放在一个队列里，启动一个线程从队列里拿数据，然后合并这些数据。
S4、采用遗传算法为若干个子任务分别找寻最优的边缘处理中心，边缘处理中心的数量设有若干个，并与服务器和点云平台之间均建立数据传输通信，若干个边缘处理中心构成数量集合T，数量集合T中的边缘处理中心依次设为T1、T2、T3…Tn，此时将数量集合T作为种群，服务器最为本地计算中心用于计算数据处理任务，由此利用遗传算法对数量集合T中的边缘处理中心进行找寻，选择最优的边缘处理中心用于完成对数据处理任务的计算，具体找寻方法如下：
请参照图4，在步骤S4中，采用遗传算法为若干个子任务分别找寻最优的边缘处理中心包括以下步骤：
S41、获取接入服务器中的若干个边缘处理中心并设为集合T；
S42、初始化集合T，定义集合T的大小为M；
在本步骤中，数据处理任务X被划分为K个需要分配的子任务，因此在遗传算法中每条染色体由K个基因组成，部署在各边缘处理中心的任务可以在本地服务器执行，也可以迁移到边缘处理中心或迁移到云端执行，因此每个基因有3个可能值(云：-1，边缘处理中心：0，本地服务器：1)。一条染色体就是一个可能的分配方案，如图表1所示，是一个由K个基因构成的染色体。
0 1 0 -1 … 1
表1 K个基因构成的染色体示例
初始种群使用随机构造的方法产生，初始种群规模为M。
S43、计算集合T中每个分配方案的适应度函数值，分配方案为服务器将数据处理任务分配至各个边缘处理中心所构成的多个可选方案，可以这样理解，服务器将数据处理任务分配至T1或者T2或者T3便构成三种分配方案，或者将一个数据处理任务进行分割后形成多个子任务，多个子任务分别分配至不同的边缘处理中心T1、T3、T6…Tn，由此便构成了n个分配方案。
遗传算法对一个个体(解)的好坏用适应度函数值来评价，适应度函数定义为应用程序计算分配方式总代价的倒数，如下方公式所示，以此评判每个分配方案的优劣，适应度函数值越大，对应的总代价越小，那么计算分配方案越好。
Figure BDA0003751781800000111
其中，W(X)表示计算分配数据处理任务X所对应的应用程序代价，T(X)和E(X)分别表示分配数据处理任务X的时延代价和能耗代价，Torigin和Eorigin分别表示数据处理任务不需要经过分配即可在服务器完成相应的数据计算，直接按照初始部署执行的总时延和能耗代价，可以认为是一个常数，α和β分别表示时延和能耗在整个代价模型中所占的比重。
分配数据处理任务X＝{x1,x2,…,xk,}，其中，xk∈{-1,0，1}，xk＝-1表示将任务vk分配至边缘处理中心执行，xk＝0表示将任务vk分配到云端执行，xk＝1表示任务vk在站点k处执行，即本地服务器执行。
采用三个参数料表示子任务
Figure BDA0003751781800000121
其中，
Figure BDA0003751781800000122
表示该任务输入数据的大小，
Figure BDA0003751781800000123
表示该任务输出数据的大小，wk表示完成该任务需要的CPU周期数，单位为周期(cycle)，wk和
Figure BDA0003751781800000124
之间满足关系
Figure BDA0003751781800000125
γ0为常数，表示处理每比特数据需要的CPU周期数，单位为CPU周期每比特(cycles/bit)。
计算分配数据处理任务X所对应的应用程序代价W(X采用如下公式：
Figure BDA0003751781800000126
分配数据处理任务X的时延代价和能耗代价T(X采用如下公式：
Figure BDA0003751781800000127
其中，
Figure BDA0003751781800000128
表示任务vk的计算延时，
Figure BDA0003751781800000129
表示任务间的数据通信时延。
假设计算任务vi和任务vj之间存在数据依赖关系，任务vj需要接收任务vi的输出数据作为它的一部分输入，当vi在站点x上执行，任务vj在站点y上执行时，使用
Figure BDA00037517818000001210
表示任务间的数据通信延时。
Figure BDA00037517818000001211
Figure BDA00037517818000001212
表示该任务输出数据的大小，rx,y表示任务vk的数据传输速率。
分配数据处理任务X的时延代价和能耗代价E(X)采用如下公式：
Figure BDA00037517818000001213
其中，
Figure BDA00037517818000001214
表示任务vk在各边缘处理中心的计算能耗，
Figure BDA00037517818000001215
表示任务间的数据传输能耗。
假设计算任务vi和任务vj之间存在数据依赖关系，当vi在站点x上执行，任务vj在站点y上执行时，使用
Figure BDA0003751781800000131
表示任务间的数据传输能耗。
Figure BDA0003751781800000132
其中，
Figure BDA0003751781800000133
表示站点x的数据发送功率，特别地，如果站点x为边缘处理中心或云端，则认为发送功率为0，此时数据传输能耗为0，即不考虑边边缘处理中心和云端的数据传输能耗，
Figure BDA0003751781800000134
表示任务间的数据通信延时。
Figure BDA0003751781800000135
Figure BDA0003751781800000136
表示站点k(边缘处理中心)的计算功率，默认计算功率为0，此时计算能耗为0，即不考虑边缘处理中心和云端的计算能耗，
Figure BDA0003751781800000137
表示任务vk在各站点本地的计算时延。
在每一次的迭代进化过程中，采取精英选择的策略保留每一代的精英解，即经过交叉、变异处理后的分配方案，进行第i次迭代时，首先计算第i代种群中每个个体的适应度函数值，并将种群中的个体按照适应度函数值大小降序排列，然后丢弃适应度较低的后一半个体，选择种群中适应度较高的前一半个体延续到下一步的交叉过程。
S44、选取适应度函数值高的前M/2个分配方案；
S45、对M/2个分配方案依次进行交叉、变异处理；
请参照图5，为一个单点交叉过程的示意图，交叉处理为：两个父亲染色体按照某种规则交换其部分基因，产生子代染色体，在此处选取了单点交叉的方式进行交叉操作，所谓单点交叉，就是在父亲染色体中随机选择一个交叉点，然后以交叉点为界，交换两个父亲染色体交叉点位置的左右基因，产生两个新的染色体，相同的，两个不同的分配方案按照特定的遗传算法规则交换部分分配方式，随即产生了一个新的子分配方案。
变异处理为：变异操作是根据设定的变异概率选取染色体的若干位基因改变其值，其目的是产生新的个体，保持种群的多样性，防止过早陷入局部最优，此处对交叉过程产生的染色体种群进行基因变异，另一方面，变异操作完成后，为了将尽可能多的分配方案纳人考量，防止适应度函数过早收敛，此处构造与当前的精英染色体数目相等的随机染色体，两者共同组成新一代的染色体种群，在这一步中使用随机染色体和精英染色体共同组成新种群的方法则是对经典遗传方法的改进，经典遗传方法只会保留精英个体，容易过早收敛。
S46、随机构造M/2个分配方案与当前精英方案组成最优分配方案，精英方案是M/2个分配方案经过交叉、变异处理后得到的分配方案。
经过上述遗传算法的操作，可以得到包含新的子分配方案的染色体种群，然后根据适应度函数对种群内的子分配方案进行适应度评估，如果当前迭代次数已经达到了预先设定的最大值，或者在连续的若干代染色体种群中，最低适应度函数值没有改进，那么遗传寻优过程的终止条件得到满足，算法终止；否则，继续重复遗传迭代进化过程，直至满足算法的终止条件。
S5、将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；
服务器将若干由数据处理任务分割后的子任务分别发送至相应的边缘处理中心完成计算，随后由Join框架进行合并这些子任务的计算结果，并在边缘处理中心进行存储，在服务器需要计算结果时完成相应的发送指令。
S6、获取边缘处理中心所处理的数据处理任务的最终计算结果；
S7、将最终计算结果发送至点云平台；
本实施例通过构建点云平台并以此为基础获取所有水处理站的数据处理任务，并将多站点的数据处理问题转化为具有时延约束、最小分配代价的最短路径问题，并提出基于能耗的多点分配策略，寻找多站点任务合理分配的解决方案，利用遗传算法寻找最优的任务分配方案，以最小化总执行数据处理任务代价，可以优化物联网的响应延迟，同时有效降低边缘处理中心的能耗，从而提高了对于数据处理任务的处理效率，缩短所需计算时长。
请参照图7，本实施例还提供了一种用于实现上述大数据分布式管理方法的装置，包括：
点云平台构建模块100，点云平台构建模块100用于根据若干个水处理站的分布信息构建点云平台；
数据处理任务获取模块200，数据处理任务获取模块200用于获取点云平台中若干水处理站运行状态的数据处理任务；
任务分割模块300，任务分割模块300用于对数据处理任务进行分割为若干个子任务；
边缘处理中心找寻模块400，边缘处理中心找寻模块400用于采用遗传算法为若干个子任务分别找寻最优的边缘处理中心；
子任务发送模块500，子任务发送模块500用于将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；
最终计算结果获取模块600，最终计算结果获取模块600用于获取边缘处理中心所处理的数据处理任务的最终计算结果；
最终计算结果发送模块700，最终计算结果发送模块700用于将最终计算结果发送至点云平台。
请参照图8，本实施例还提供了一种用于实现上述大数据分布式管理方法的系统，包括：用户端10、点云平台20、服务器30、若干个边缘处理中心40以及云中心50；
用户端10用于接收并显示由点云平台20所传输若干水处理站的分布状况以及相应站点运行中的信息；
点云平台20用于接入若干水处理站并构成可视化的站点位置分布；
服务器30用于获取各水处理站所产生的各项参数信息并进行本地计算处理或将数据处理任务分配至单个或多个边缘处理中心40；
边缘处理中心40处理服务器30所分配的子任务，并将结果汇总后发送至服务器30；
云中心50用于接收并分布式存储服务器30所发送的各项数据以及最终计算结果。
本实施例通过构建点云平台并以此为基础获取所有水处理站的数据处理任务，并将多站点的数据处理问题转化为具有时延约束、最小分配代价的最短路径问题，并提出基于能耗的多点分配策略，寻找多站点任务合理分配的解决方案，利用遗传算法寻找最优的任务分配方案，以最小化总执行数据处理任务代价，可以优化物联网的响应延迟，同时有效降低边缘处理中心的能耗，从而提高了对于数据处理任务的处理效率，缩短所需计算时长。
实施例二
请参照图9示出了本实施例二的一种点云平台大数据分布式管理方法，包括以下过程：
S1、根据若干个水处理站的分布信息构建点云平台；
S2、获取点云平台中若干水处理站运行状态的数据处理任务，数据处理任务主要为每个水处理站的运行数据，在本地的运行数据需要进行计算相应的数值并上传至点云平台系统中，而一个水处理站中所包含的各个设备的运行数据是巨量的，仅仅依靠服务器的计算容易导致算力不足，同时，受计算资源、存储容量和电池电量的影响，在本地服务器进行数据处理可能会耗费过长时间，造成服务器与各水处理站之间的网络出现延迟，不仅提高了能耗，而且还会加大算力代价。
S3、对数据处理任务进行分割为若干个子任务，一个大任务分割为若干个子任务可以采用Fork/Join框架或者其他方法，Fork/Join框架是Java7提供了的一个用于并行执行任务的框架，是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架，Fork就是把一个大任务切分为若干子任务并行的执行，Join就是合并这些子任务的执行结果，最后得到这个大任务的结果。比如计算1+2+…+10000，可以分割成10个子任务，每个子任务分别对1000个数进行求和，最终汇总这10个子任务的结果。
Fork/Join框架主要分为两步：
第一步分割任务，首先我们需要有一个fork类来把大任务分割成子任务，有可能子任务还是很大，所以还需要不停的分割，直到分割出的子任务足够小。
第二步执行任务并合并结果，分割的子任务分别放在双端队列里，然后几个启动线程分别从双端队列里获取任务执行，子任务执行完的结果都统一放在一个队列里，启动一个线程从队列里拿数据，然后合并这些数据。
S4、采用遗传算法为若干个子任务分别找寻最优的边缘处理中心，边缘处理中心的数量设有若干个，并与服务器和点云平台之间均建立数据传输通信，若干个边缘处理中心构成数量集合T，数量集合T中的边缘处理中心依次设为T1、T2、T3…Tn，此时将数量集合T作为种群，服务器最为本地计算中心用于计算数据处理任务，由此利用遗传算法对数量集合T中的边缘处理中心进行找寻，选择最优的边缘处理中心用于完成对数据处理任务的计算。
S5、将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；
服务器将若干由数据处理任务分割后的子任务分别发送至相应的边缘处理中心完成计算，随后由Join框架进行合并这些子任务的计算结果，并在边缘处理中心进行存储，在服务器需要计算结果时完成相应的发送指令。
S6、获取边缘处理中心所处理的数据处理任务的最终计算结果；
S7、将最终计算结果发送至点云平台；
本实施例通过构建点云平台并以此为基础获取所有水处理站的数据处理任务，并将多站点的数据处理问题转化为具有时延约束、最小分配代价的最短路径问题，并提出基于能耗的多点分配策略，寻找多站点任务合理分配的解决方案，利用遗传算法寻找最优的任务分配方案，以最小化总执行数据处理任务代价，可以优化物联网的响应延迟，同时有效降低边缘处理中心的能耗，从而提高了对于数据处理任务的处理效率，缩短所需计算时长。
S8、将最终计算结果发送至云端系统进行存储备份。
请参照图10，本实施例还提供了一种用于实现上述大数据分布式管理方法的装置，包括：
点云平台构建模块100，点云平台构建模块100用于根据若干个水处理站的分布信息构建点云平台；
数据处理任务获取模块200，数据处理任务获取模块200用于获取点云平台中若干水处理站运行状态的数据处理任务；
任务分割模块300，任务分割模块300用于对数据处理任务进行分割为若干个子任务；
边缘处理中心找寻模块400，边缘处理中心找寻模块400用于采用遗传算法为若干个子任务分别找寻最优的边缘处理中心；
子任务发送模块500，子任务发送模块500用于将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；
最终计算结果获取模块600，最终计算结果获取模块600用于获取边缘处理中心所处理的数据处理任务的最终计算结果；
最终计算结果发送模块700，最终计算结果发送模块700用于将最终计算结果发送至点云平台；
存储模块800，存储模块800用于将最终计算结果发送至云端系统进行存储备份。
本实施例通过将最终计算结果发送至云端系统进行存储备份，能够在云中心对各水处理站的各项数据以及对数据的计算结果进行存储，由此能够降低大量数据对本地服务器所产生的影响，保证服务器数据存储反应的快捷，同时提高对于各项基础数据调取速率，不仅大大提升了大数据的定向迁移速率，也充分扩展了额定空间内的数据存储容量，具有较高的实际应用价值。
实施例三
请参照图11，示出了本实施例三的一种实施方式。
存储模块800包括Hadoop型云框架系统801、大数据调度系统802和信息互感系统803；
Hadoop型云框架系统801用于作为点云平台大数据分布式存储结构的基础；
大数据调度系统802用于作为Hadoop型云框架系统801的下级附属模块；
信息互感系统803与大数据调度系统802建立数据传输连接，用于接收来自Hadoop型云框架系统801的网格数据参量，并执行由混合数据库定义的应用调度指令；
Hadoop型云框架系统801包括储存中心模块8011、上层信息网格模块8012、中间信息网格模块8013和下层信息网格模块8014；
储存中心模块8011用于直接提取服务器数据库中的待处理数据参量，再借助信息互感匹配通路，将所有大数据传输至下级应用平台中；
上层信息网格模块8012、中间信息网格模块8013和下层信息网格模块8014按照从上至下的顺序排列，用于将待存储的大数据由分布式到网格化结构体的转化，待存储的大数据首先经由调配通道进入顶层云接口中，再按照网格化应用需求，将满足信息利用条件的大数据传输至中层接口，最后联合所有未存储数据参量，完成由分布式大数据到网格化结构体的转化。
大数据调度系统802包括服务层8021、交换处理层8022和客户端8023，服务层8021包括大数据服务器80211和云存储服务器80212，大数据服务器80211用于感知混合型大数据的随机变化，再将符合需求的大数据传输至顶层存储主机中，云存储服务器80212用于接收来自大数据网格的所有应用信息，并将其转化为镜像式信息结构体；
交换处理层8022包括镜像信息处理设备、网格交换机、分布式交换机、存储路由器、大数据防火墙五类元件；
客户端8023包括一用于接收与信息结构体相关的调度处置指令的调度交换机，还包括多个用于时刻与分布式大数据节点保持相同变化趋势的底层云存储执行设备；
信息互感系统803包括以Querytable芯片的上层分级元件以及以Capacitytable芯片的下层分级元件；
上层分级元件可借助云存储信道建立与客户端的连接，在大数据调度系统802保持着连续大数据输出的情况下，信息互感平台立刻进入连接状态，然而随着大数据调度速率的增加，芯片所承载的传输压力也会不断提升，直至信道内的所有网格数据存储完成后，信息互感系统才会接受再次连接申请，保证传输的稳定性。
下层分级元件借助云传输通路与混合数据库建立连接，通常情况下，Hadoop型云框架系统801不会影响信息互感系统803内的信息传输速率，而该结构在功能方面与数据存储调节器类似，只能缓解因信息处理不及时而造成的数据堆积情况，并不能从根本上增强平台内部元件的互感共通能力。
本实施例通过Hadoop型云框架系统、大数据调度系统和信息互感系统等多个硬件设备，在划分大数据存储关系，定义混合云存储的具体格式后进行数据云存储，不仅大大提升了大数据的定向迁移速率，也充分扩展了额定空间内的数据存储容量，具有较高的实际应用价值。
本发明通过构建点云平台并以此为基础获取所有水处理站的数据处理任务，并将多站点的数据处理问题转化为具有时延约束、最小分配代价的最短路径问题，并提出基于能耗的多点分配策略，寻找多站点任务合理分配的解决方案，利用遗传算法寻找最优的任务分配方案，以最小化总执行数据处理任务代价，可以优化物联网的响应延迟，同时有效降低边缘处理中心的能耗，从而提高了对于数据处理任务的处理效率，缩短所需计算时长，增强对于多个水处理站的管理。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或相似的部分互相参见即可。对于以上各实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种点云平台大数据分布式管理方法，其特征在于，包括以下过程：
S1、根据若干个水处理站的分布信息构建点云平台；
S2、获取点云平台中若干水处理站运行状态的数据处理任务；
S3、对数据处理任务进行分割为若干个子任务；
S4、采用遗传算法为若干个子任务分别找寻最优的边缘处理中心；
S5、将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；
S6、获取边缘处理中心所处理的数据处理任务的最终计算结果；
S7、将最终计算结果发送至点云平台。
2.根据权利要求1所述的大数据分布式管理方法，其特征在于：在步骤S1中，根据若干个水处理站的分布信息构建点云平台包括以下步骤：
S11、获取若干个水处理站的位置信息；
S12、根据所获取的若干个位置信息构成点云图；
S13、选取点云图中的起点A和终点B；
S14、构建起点A至终点B之间所形成的主线路；
S15、获取涵盖在主线路上所有剩余的水处理站定义为节点集T；
S16、采用最优路径算法构建主线路上的多个旁支线路；
S17、将多个旁支线路与主线路连接构成可视化的点云平台。
3.根据权利要求2所述的大数据分布式管理方法，其特征在于：在步骤S16中，采用最优路径算法构建主线路上的多个旁支线路包括以下步骤：
S161、采用最优路径算法计算节点集T中各节点至主线路的最短距离；
S162、将各节点至主线路的最短距离由大至小依次排序；
S163、提取数值最大的节点作为单个旁支线路上的起始点；
S164、提取数值最小的节点作为上述旁支线路上的终止点；
S165、将起始点与终止点之间所涵盖的其余节点连接构成旁支线路。
4.根据权利要求1所述的大数据分布式管理方法，其特征在于：在步骤S4中，采用遗传算法为若干个子任务分别找寻最优的边缘处理中心包括以下步骤：
S41、获取接入服务器中的若干个边缘处理中心并设为集合T；
S42、初始化集合T，定义集合T的大小为M；
S43、计算集合T中每个分配方案的适应度函数值；
S44、选取适应度函数值高的前M/2个分配方案；
S45、对M/2个分配方案依次进行交叉、变异处理；
S46、随机构造M/2个分配方案与当前精英方案组成最优分配方案。
5.根据权利要求1所述的大数据分布式管理方法，其特征在于：在步骤S7之后还包括步骤S8，将最终计算结果发送至云端系统进行存储备份。
6.一种用于实现上述权利要求1-5所述的大数据分布式管理方法的装置，其特征在于，包括：
点云平台构建模块(100)，所述点云平台构建模块(100)用于根据若干个水处理站的分布信息构建点云平台；
数据处理任务获取模块(200)，所述数据处理任务获取模块(200)用于获取点云平台中若干水处理站运行状态的数据处理任务；
任务分割模块(300)，所述任务分割模块(300)用于对数据处理任务进行分割为若干个子任务；
边缘处理中心找寻模块(400)，所述边缘处理中心找寻模块(400)用于采用遗传算法为若干个子任务分别找寻最优的边缘处理中心；
子任务发送模块(500)，所述子任务发送模块(500)用于将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；
最终计算结果获取模块(600)，所述最终计算结果获取模块(600)用于获取边缘处理中心所处理的数据处理任务的最终计算结果；
最终计算结果发送模块(700)，所述最终计算结果发送模块(700)用于将最终计算结果发送至点云平台。
7.根据权利要求6所述的大数据分布式管理装置，其特征在于：该装置还包括存储模块(800)，
所述存储模块(800)用于将最终计算结果发送至云端系统进行存储备份。
8.根据权利要求7所述的大数据分布式管理装置，其特征在于：所述存储模块(800)包括Hadoop型云框架系统(801)、大数据调度系统(802)和信息互感系统(803)；
所述Hadoop型云框架系统(801)用于作为点云平台大数据分布式存储结构的基础；
所述大数据调度系统(802)用于作为Hadoop型云框架系统(801)的下级附属模块；
所述信息互感系统(803)与大数据调度系统(802)建立数据传输连接，用于接收来自Hadoop型云框架系统(801)的网格数据参量，并执行由混合数据库定义的应用调度指令。
9.根据权利要求8所述的大数据分布式管理装置，其特征在于：所述Hadoop型云框架系统(801)包括储存中心模块(8011)、上层信息网格模块(8012)、中间信息网格模块(8013)和下层信息网格模块(8014)；
所述储存中心模块(8011)用于直接提取服务器数据库中的待处理数据参量，再借助信息互感匹配通路，将所有大数据传输至下级应用平台中；
所述上层信息网格模块(8012)、中间信息网格模块(8013)和下层信息网格模块(8014)按照从上至下的顺序排列，用于将待存储的大数据由分布式到网格化结构体的转化。
10.根据权利要求8所述的大数据分布式管理装置，其特征在于：所述大数据调度系统(802)包括服务层(8021)、交换处理层(8022)和客户端(8023)；
所述服务层(8021)包括大数据服务器(80211)和云存储服务器(80212)，所述大数据服务器(80211)用于感知混合型大数据的随机变化，再将符合需求的大数据传输至顶层存储主机中；
所述云存储服务器(80212)用于接收来自大数据网格的所有应用信息，并将其转化为镜像式信息结构体。
11.根据权利要求10所述的大数据分布式管理装置，其特征在于：所述交换处理层(8022)包括镜像信息处理设备、网格交换机、分布式交换机、存储路由器、大数据防火墙五类元件；
所述客户端(8023)包括一用于接收与信息结构体相关的调度处置指令的调度交换机，还包括多个用于时刻与分布式大数据节点保持相同变化趋势的底层云存储执行设备。
12.根据权利要求8所述的大数据分布式管理装置，其特征在于：所述信息互感系统(803)包括以Query table芯片的上层分级元件以及以Capacity table芯片的下层分级元件。
13.一种用于实现上述权利要求1-5所述的大数据分布式管理方法的系统，其特征在于，包括：用户端(10)、点云平台(20)、服务器(30)、若干个边缘处理中心(40)以及云中心(50)；
所述用户端(10)用于接收并显示由点云平台(20)所传输若干水处理站的分布状况以及相应站点运行中的信息；
所述点云平台(20)用于接入若干水处理站并构成可视化的站点位置分布；
所述服务器(30)用于获取各水处理站所产生的各项参数信息并进行本地计算处理或将数据处理任务分配至单个或多个边缘处理中心(40)；
所述边缘处理中心(40)处理服务器(30)所分配的子任务，并将结果汇总后发送至服务器(30)；
云中心(50)用于接收并分布式存储服务器(30)所发送的各项数据以及最终计算结果。
CN202210844482.3A 2022-07-18 2022-07-18 点云平台大数据分布式管理方法、装置及系统 Pending CN115225643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210844482.3A CN115225643A (zh) 2022-07-18 2022-07-18 点云平台大数据分布式管理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210844482.3A CN115225643A (zh) 2022-07-18 2022-07-18 点云平台大数据分布式管理方法、装置及系统

Publications (1)

Publication Number Publication Date
CN115225643A true CN115225643A (zh) 2022-10-21

Family

ID=83612479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210844482.3A Pending CN115225643A (zh) 2022-07-18 2022-07-18 点云平台大数据分布式管理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN115225643A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658325A (zh) * 2022-11-18 2023-01-31 北京市大数据中心 数据处理方法、装置、多核处理器、电子设备以及介质
CN117056133A (zh) * 2023-10-12 2023-11-14 杭州浩联智能科技有限公司 一种基于分布式物联网架构的数据备份方法、装置及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658325A (zh) * 2022-11-18 2023-01-31 北京市大数据中心 数据处理方法、装置、多核处理器、电子设备以及介质
CN115658325B (zh) * 2022-11-18 2024-01-23 北京市大数据中心 数据处理方法、装置、多核处理器、电子设备以及介质
CN117056133A (zh) * 2023-10-12 2023-11-14 杭州浩联智能科技有限公司 一种基于分布式物联网架构的数据备份方法、装置及介质
CN117056133B (zh) * 2023-10-12 2024-02-06 杭州浩联智能科技有限公司 一种基于分布式物联网架构的数据备份方法、装置及介质

Similar Documents

Publication Publication Date Title
CN115225643A (zh) 点云平台大数据分布式管理方法、装置及系统
CN114338504B (zh) 一种基于网络边缘系统的微服务部署和路由方法
CN111556516B (zh) 面向时延和能效敏感业务的分布式无线网络任务协同分配方法
CN108170530B (zh) 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
CN107101645B (zh) 一种路径规划方法及路径规划装置
Liu et al. Task scheduling in fog enabled Internet of Things for smart cities
CN111325356A (zh) 一种基于演化计算的神经网络搜索分布式训练系统及训练方法
Lowalekar et al. Zac: A zone path construction approach for effective real-time ridesharing
CN108874525A (zh) 一种面向边缘计算环境的服务请求分配方法
CN109819032B (zh) 一种联合考虑基站选择与计算迁移的云机器人任务分配方法
Fogue et al. Non-emergency patient transport services planning through genetic algorithms
CN109995580A (zh) 5g网络切片中基于ga_pso混合算法的vn映射方法
CN109343945A (zh) 一种基于合同网算法的多任务动态分配方法
CN114595049A (zh) 一种云边协同任务调度方法及装置
Lowalekar et al. Zone path construction (zac) based approaches for effective real-time ridesharing
Zhao et al. Optimize the placement of edge server between workload balancing and system delay in smart city
CN111885493A (zh) 一种基于改进布谷鸟搜索算法的微云部署方法
Gao et al. Fast adaptive task offloading and resource allocation via multiagent reinforcement learning in heterogeneous vehicular fog computing
CN111324429A (zh) 一种基于多代血统参考距离的微服务组合调度方法
CN116708446A (zh) 基于网络性能综合权值决策的算网调度服务方法及系统
CN115421885B (zh) 一种分布式多目标云任务的调度方法、装置及云服务系统
CN109889393A (zh) 一种地理分布式图处理方法和系统
CN115361453A (zh) 一种面向边缘服务网络的负载公平卸载与迁移方法
Li et al. Optimal online dispatch for high-capacity shared autonomous mobility-on-demand systems
CN114205830A (zh) 一种智能电网通信网规划方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination