CN111078792B - 一种分布式架构的城市超脑并行计算方法和系统 - Google Patents
一种分布式架构的城市超脑并行计算方法和系统 Download PDFInfo
- Publication number
- CN111078792B CN111078792B CN201911276072.8A CN201911276072A CN111078792B CN 111078792 B CN111078792 B CN 111078792B CN 201911276072 A CN201911276072 A CN 201911276072A CN 111078792 B CN111078792 B CN 111078792B
- Authority
- CN
- China
- Prior art keywords
- task
- sub
- task flow
- cycle
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种分布式架构的城市超脑并行计算方法和系统,方法包括以下步骤:采用多个集群进行分布式计算;每个集群包括数据资源设备、智能分析运算设备、控制调度设备和集群协调设备;通过集群协调设备建立总循环任务流和相应的多个并行分循环任务流,并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源,且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节。该方法和系统具有可降低通信开销和通信延迟,通信实时性高,提高运算能力,减少出错率和延迟率等优点。
Description
技术领域
本发明涉及城市管理及人工智能领域,具体涉及一种分布式架构的城市超脑并行计算方法和系统。
背景技术
近年来,随着“城市超脑”技术的迅速发展,在北京、杭州、铜陵等多个城市都已经开始搭建实际的“城市超脑”平台。从形式上看,“城市超脑”是将各领域的“行业超脑”组合在一起,通过相互感知和相互操作,产生协同价值。“城市超脑”是支撑智慧城市的基础信息化与智能化设施,“城市超脑”主要由前端设备部分、数据传输部分和后台分析部分组成。前端设备部分是核心,可以得到实时、海量、多样化的城市数据资源;数据传输部分是基础,通过覆盖城市范围的广域物联网进行数据实时共享传输;后台分析部分是对数据的运用,需要在后台构建一个统一的大型计算机平台,通过智能化和预测性的分析,对城市资源进行调度控制,调整城市各个部分运行的偏差。通过“城市超脑”,可以打通城市各个领域的平台,推动城市数字化管理。
目前,城市超脑技术主要面临的问题如下:
1、城市超脑需要承载海量的、高并发、多样化的数据量和计算量,对参与运算的软硬件要求极高,很容易因为运算能力的不足产生拥塞、延迟增大、计算错误等问题;现有技术中采取的办法是在城市后台搭建一个超级计算机,作为全部数据承载和运算的中心,但是超级计算机的搭建和运营成本非常高,而且一旦超级计算机出现故障,就会给整个城市运行带来难以估量的损失。
2、城市超脑覆盖城市的广域范围,数据从前端采集部分传输到后台分析部分,以及将运算结果和控制命令下发给城市各处的执行设备,都会带来通信开销和通信延迟的情况,从而导致城市超脑系统无法满足高实时性的需求,带来严重的负面影响。
发明内容
针对现有技术存在的上述不足,本发明的目的在于:如何设计一种分布式架构的城市超脑并行计算方法和系统,来解决现有技术中城市超脑因通信开销和通信延迟导致的城市超脑系统无法满足高实时性的需求,以及因为运算能力的不足产生拥塞、延迟增大、计算错误等问题,具有可降低通信开销和通信延迟,通信实时性高,提高运算能力,减少出错率和延迟率等优点。
一种分布式架构的城市超脑并行计算方法,包括以下步骤:
采用多个集群进行分布式计算;
每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备;所述数据资源设备对数据进行存储和整合,所述智能分析运算设备对数据进行分析和预测,所述控制调度设备根据数据分析和预测来控制和调度前端设备;
每个集群包括至少一个集群协调设备,通过集群协调设备建立总循环任务流和相应的多个并行分循环任务流,并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源,且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节。
进一步地,所述总循环任务流包括预期任务环节、运行任务环节、测评任务环节和反馈任务环节,形成任务闭环。
进一步地,所述预期任务环节包括,根据应用场景进行总体预期,对该应用场景的数据资源进行预估与测算,制定总体目标、运行方式和调度策略,确定总体量化评估标准。
进一步地,所述运行环节包括,根据预期任务环节的总体目标、运行方式和调度策略,建立多个并行的分循环任务流;针对每个分循环任务流,采用活跃任务池和非活跃任务池进行分类,对分配给每个分循环任务流的内存空间和运算资源进行调节。
进一步地,所述采用活跃任务池和非活跃任务池进行分类,对分配给每个分循环任务流的内存空间和运算资源进行调节包括:
将所有分循环任务流都置于非活跃任务池中,对非活跃任务池中的分循环任务流分配M个内存空间和运算资源;
根据总循环任务流在运行环节下达的调用指令,将被调用的分循环任务流从非活跃任务池转入活跃任务池,对该分循环任务流再分配N个内存空间和运算资源;
根据总循环任务流在运行环节下达的中止调用指令,将被中止调用的分循环任务流从活跃任务池转回非活跃任务池,并收回对应的N个内存空间和运算资源;其中,M和N表示内存空间的大小和运算资源的多少。
进一步地,所述N个内存空间和运算资源是固定或动态调节的。
进一步地,所述并行分循环任务流之间需要数据共享时,需求数据的分循环任务流向总循环任务流的运行环节发送数据共享请求;总循环任务流将数据共享请求转发给具有被需求数据的分循环任务流,具有被需求数据的分循环任务流将被需求数据发送给需求数据的分循环任务流共享。
进一步地,所述并行分循环任务流之间发生对内存空间或者运算资源的冲突时,发生冲突中的至少一个分循环任务流向总循环任务流的运行环节发送冲突裁决请求;总循环任务流的运行环节对冲突进行裁决,裁决后再为有冲突的分循环任务流分配内存空间或者运算资源。
进一步地,所述测评任务环节包括,获取每个分循环任务流上传的运行结果数据,将运行结果数据和总体量化评估标准分析对比,得到测评数据;所述反馈任务环节包括,根据测评任务环节的测评数据,调整总体目标,调整总体的运行方式和调度策略,并重新确定总体量化评估标准。
一种分布式架构的城市超脑并行计算系统,包括:
多个集群,用于进行分布式计算;
每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备;所述数据资源设备用于对数据存储和整合,所述智能分析运算设备用于对数据分析和预测,所述控制调度设备用于根据数据分析和预测来控制和调度前端设备;
每个集群包括至少一个集群协调设备,用于建立总循环任务流和相应的多个并行分循环任务流,并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源,且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节。
相比于现有技术,本发明具有以下优点:
本发明提供的一种分布式架构的城市超脑并行计算方法和系统,采用多个集群进行分布式计算,解决了城市超脑因通信开销和通信延迟导致的城市超脑系统无法满足高实时性的需求的问题,采用多个循环任务流并行计算,解决了因为运算能力的不足产生拥塞、延迟增大、计算错误等问题,具有可降低通信开销和通信延迟,通信实时性高,提高运算能力,减少出错率和延迟率等优点。
附图说明
图1为本发明实施例一中分布式架构的城市超脑并行计算方法的流程图;
图2为本发明实施例二中分布式架构的城市超脑并行计算系统的系统框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
实施例一:
参照图1,一种分布式架构的城市超脑并行计算方法,其特征在于,包括以下步骤:
采用多个集群进行分布式计算;
每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备;所述数据资源设备对数据进行存储和整合,所述智能分析运算设备对数据进行分析和预测,所述控制调度设备根据数据分析和预测来控制和调度前端设备;
每个集群包括至少一个集群协调设备,通过集群协调设备建立总循环任务流和相应的多个并行分循环任务流,并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源,且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节。
上述城市超脑并行计算方法,采用分布式的架构,具体来说,将城市超脑系统中的数据资源设备、智能分析运算设备和控制调度设备划分为一个一个地集群,其中,每个集群里面包括一个或者多个数据资源设备、一个或者多个智能分析运算设备、以及一个或者多个控制调度设备。具体实施时,将智慧城市空间划分为一定数量的空间区域,在每个空间区域部署一个或者多个集群。每个空间区域的前端设备包括前端采集设备和前端执行设备,前端采集设备包括传感设备、监视摄像设备、负责巡视的无人机和负责巡视无人车等,前端执行设备包括空气质量预告显示屏、排放设备等。前端采集设备采集的数据通过覆盖本区域的物联网传输给对应集群的数据资源设备,由数据资源设备对该空间采集的数据资源进行清理、整合以及存储。智能分析运算设备可以从数据资源设备中调取数据资源,由智能分析运算设备对数据进行智能化分析和预测。例如,智能分析运算设备执行对某区域空气污染指数智能分析和预测的指令,第一步,从数据资源设备中调取该空间区域前端的空气传感器监测设备获得的空气成分浓度的数据资源;第二步,测算当前空间区域的空气污染指数;第三步,根据数据资源设备中的反映风速、风向等方面的天气数据,结合空气污染扩散模型,预测未来一段时间内的空气污染指数。控制调度设备根据智能分析运算设备的分析结果和预测结果,对前端的各种执行设备下达控制指令,从而实现本空间区域的优化控制和调度。例如,控制调度设备根据空气污染指数的测算结果与预测结果,向本空间区域的空气质量预告显示屏下达当前和未来一段时间空气污染指数的播报命令,向本空间区域的排放设备下达减少排放的控制命令等等。
与相关技术相比,本申请采用多个集群进行分布式计算,每个集群都属于靠近前端的边缘集群,能够降低集群与前端之间通信的开销与延迟,因此可以满足城市超脑系统高实时性的需求。本申请提供的城市超脑,在城市数据资源进行智能化和预测性的分析的基础上,实现对城市资源的全局优化调度控制,实时修正城市各方面运行的偏差。可以应用于城市交通指挥、环保监测、人口精细化调控、能源和水资源供给等城市运行的各个方面,打通不同平台,推动城市数字化管理,实现城市治理模式突破、城市服务模式突破、城市产业发展突破。
上述城市超脑并行计算方法,每个集群都具有一个或者多个集群协调设备,集群协调设备针对城市超脑在某个方面的数据资源处理、整合、分析以及执行设备调度控制的需求,建立一个总循环任务流,包括城市交通指挥、环保监测、人口精细化调控、能源和水资源供给等等。其中,总循环任务流包括预期任务环节、运行任务环节、测评任务环节和反馈任务环节,四个任务环节循环往复,形成该循环任务流的任务闭环。集群协调设备可以从本集群中的数据资源设备、智能分析运算设备以及控制调度设备中分配一定大小且固定的内存空间和运算资源,用于运转总循环任务流;总循环任务流可以调用被分配的内存空间和运算资源。需要指出的是,每个总循环任务流分配的内存空间和运算资源的大小是固定的。
上述城市超脑并行计算方法,所述预期任务环节包括,根据应用场景进行总体预期,对该应用场景的数据资源进行预估与测算,制定总体目标、运行方式和调度策略,确定总体量化评估标准。其中,城市超脑系统的应用场景包括城市交通指挥、环保监测、人口精细化调控、能源和水资源供等。例如,在面向未来一个月的本城市空间区域的空气污染指数监控和调节这一应用场景下,总体预期包括:从本集群中的数据资源设备当中调取面向本城市区域的常态化、非时变性的数据资源,例如历史同期月份的空气污染指数、本地污染源排放量化指标、输入性污染物量化指标、历史同期月份风向风力天气数据,以及当前的本地污染源登记数据及其排放数据、车辆保有量等,从而根据全部这些常态化、非时变性数据资源展开全局、大尺度筹划分析,获得未来一个月的空气污染态势预测,以及制定未来一个月的空气污染指数的目标均值;进而,制定达到总体目标的运行方式以及调度策略,包括本地污染源监控与排放调控、车辆限行调控、周边输入性污染物监控与协调、分时段监控与调控策略、分子区域的监控与调控策略等等;最后,确定总体的量化评估标准,即未来一个月实际空气污染指数的数值是否低于目标均值、波动系数是否在允许范围等。
上述城市超脑并行计算方法,总循环任务流的运行环节包括,根据预期任务环节的总体目标、运行方式和调度策略,建立多个并行的分循环任务流。例如,针对上述空气污染指数监控和调节的场景,可以分别建立或者调用适用于本地污染源监控与排放调控、车辆限行调控、周边输入性污染物监控与协调的分循环任务流;和/或也可以建立实现分时段监控与调控的分循环任务流,分子区域监控与调控策略的分循环任务流等等。多个并行的分循环任务流同时运行,提高了运算能力,减少出错率和延迟率等优点。
上述城市超脑并行计算方法,针对每个分循环任务流,采用活跃任务池和非活跃任务池进行分类,对分配给每个分循环任务流的内存空间和运算资源进行调节,具体地步骤如下:
将所有分循环任务流都置于非活跃任务池中,对非活跃任务池中的分循环任务流分配M个内存空间和运算资源;根据总循环任务流在运行环节下达的调用指令,将被调用的分循环任务流从非活跃任务池转入活跃任务池,对该分循环任务流再分配N个内存空间和运算资源;根据总循环任务流在运行环节下达的中止调用指令,将被中止调用的分循环任务流从活跃任务池转回非活跃任务池,并收回对应的N个内存空间和运算资源;其中,M和N表示内存空间的大小和运算资源的多少。具体来说,总循环任务流在运行环节,将建立的所以分循环任务流都置于非活跃任务池中,并且对非活跃任务池中的分循环任务流只分配最低限的内存和运算资源,本实施例用M来量化;根据总循环任务流在运行环节下达;调用指令,如果要调用某个分循环任务流,则将该分循环任务流从非活跃任务池转入活跃任务池;集群协调设备为活跃任务池中的分循环任务流分配更大的内存空间和运算资源,本实施例中,用N来量化对活跃任务池的分循环任务流增加的内存空间和运算资源;实际操作时,具体的空间大小和资源量可以是固定的,也可以是动态大小的;根据总循环任务流在运行环节下达的中止调用指令,将被中止调用的分循环任务流从活跃任务池转回非活跃任务池,并收回相关的内存空间和运算资源。
上述城市超脑并行计算方法,所述分循环任务流可以根据自身的任务特点,建立其自身的任务闭环,且每个分循环任务流的任务闭环包含的任务阶段可以是不一样的。例如,针对上述空气污染指数监控和调节的场景,适用于本地污染源监控与排放调控的分循环任务流可以包括监测、调控、评估、上报等分循环的任务环节;监控环节监控本地污染源的排放量,调控环节对污染源排放量进行调控,评估环节对污染源的排放量下降值进行评估,上报环节将该下降值上报给总循环任务流的的测评任务环节。又例如,车辆限行调控的分循环任务流,可以包括限行车次测算、限行指令下达、效果评估、上报等任务环节,其中限行车次测算环节利用拟限行的尾号或者车辆类型对应的车辆保有量,对限行车次选择带来的污染下降影响进行测算,从而决定限行方案;限行指令下达环节对确定限行的车次下达指令,效果评估环节对实际的污染物下降值进行评估,上报环节将该下降值上报给总循环任务流的的测评任务环节。
上述城市超脑并行计算方法,所述并行分循环任务流之间需要数据共享时,需求数据的分循环任务流向总循环任务流的运行环节发送数据共享请求;总循环任务流将数据共享请求转发给具有被需求数据的分循环任务流,具有被需求数据的分循环任务流将被需求数据发送给需求数据的分循环任务流共享。
上述城市超脑并行计算方法,所述并行分循环任务流之间发生对内存空间或者运算资源的冲突时,发生冲突中的至少一个分循环任务流向总循环任务流的运行环节发送冲突裁决请求;总循环任务流的运行环节对冲突进行裁决,裁决后再为有冲突的分循环任务流分配内存空间或者运算资源。具体来说,当两个或者更多的分循环任务流发生对内存空间或者运算资源的冲突,则由二者中的至少一个将冲突裁决请求发给总循环任务流的运行环节,由总循环任务流的运行环节进行裁决,从而分配内存空间或者运算资源。
上述城市超脑并行计算方法,所述测评任务环节包括,获取每个分循环任务流上传的运行结果数据,将运行结果数据和总体量化评估标准分析对比,得到测评数据。具体来说,从分循环任务流获得上传的结果数据,并且根据全部的结果数据,参照总体的量化评估标准,对是否达到预定目标进行测评。例如,参照空气污染指数的目标均值,针对适用于本地污染源监控与排放调控、车辆限行调控、周边输入性污染物监控与协调的分循环任务流;和/或分时段监控与调控的分循环任务流,分子区域监控与调控策略的分循环任务流等上报的数据,评估是否达到预期的空气污染指数的目标均值。所述反馈任务环节包括,根据测评任务环节的测评数据,调整总体目标,调整总体的运行方式和调度策略,并重新确定总体量化评估标准。
综上,所述集群协调设备的作用如下:1、建立多个并行的循环任务流,并且从本集群中的数据资源设备、智能分析运算设备以及控制调度设备当中为每个循环任务流分配一定的内存空间和运算资源;2、维护活跃任务池和非活跃任务池,对循环任务流的运转状态进行实时监测,并且根据运作状态对分配给该循环任务流的空间和资源进行调节;3、对并行的循环任务流对数据和资源的需求进行鉴权和数据资源共享,以及运算资源的冲突裁决。上述城市超脑并行计算方法,采用多个循环任务流并行计算,不仅可以满足城市超脑系统高实时性的需求,而且通信实时性高,提高了运算能力,解决了运算能力的不足产生拥塞、延迟增大、计算错误等问题。
参照图2,一种分布式架构的城市超脑并行计算系统,其特征在于,包括:
多个集群,用于进行分布式计算;
每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备;所述数据资源设备用于对数据存储和整合,所述智能分析运算设备用于对数据分析和预测,所述控制调度设备用于根据数据分析和预测来控制和调度前端设备;
每个集群包括至少一个集群协调设备,用于建立总循环任务流和相应的多个并行分循环任务流,并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源,且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节。
上述城市超脑并行计算系统,采用分布式的架构,具体来说,将城市超脑系统中的数据资源设备、智能分析运算设备和控制调度设备划分为一个一个地集群,其中,每个集群里面包括一个或者多个数据资源设备、一个或者多个智能分析运算设备、以及一个或者多个控制调度设备。具体实施时,将智慧城市空间划分为一定数量的空间区域,在每个空间区域部署一个或者多个集群。每个空间区域的前端设备包括前端采集设备和前端执行设备,前端采集设备包括传感设备、监视摄像设备、负责巡视的无人机和负责巡视无人车等,前端执行设备包括空气质量预告显示屏、排放设备等。前端采集设备采集的数据通过覆盖本区域的物联网传输给对应集群的数据资源设备,由数据资源设备对该空间采集的数据资源进行清理、整合以及存储。智能分析运算设备可以从数据资源设备中调取数据资源,由智能分析运算设备对数据进行智能化分析和预测。例如,智能分析运算设备执行对某区域空气污染指数智能分析和预测的指令,第一步,从数据资源设备中调取该空间区域前端的空气传感器监测设备获得的空气成分浓度的数据资源;第二步,测算当前空间区域的空气污染指数;第三步,根据数据资源设备中的反映风速、风向等方面的天气数据,结合空气污染扩散模型,预测未来一段时间内的空气污染指数。控制调度设备根据智能分析运算设备的分析结果和预测结果,对前端的各种执行设备下达控制指令,从而实现本空间区域的优化控制和调度。例如,控制调度设备根据空气污染指数的测算结果与预测结果,向本空间区域的空气质量预告显示屏下达当前和未来一段时间空气污染指数的播报命令,向本空间区域的排放设备下达减少排放的控制命令等等。通过采用多个集群进行分布式计算,每个集群都属于靠近前端的边缘集群,能够降低集群与前端之间通信的开销与延迟,因此可以满足城市超脑系统高实时性的需求。
上述城市超脑并行计算系统,每个集群都具有一个或者多个集群协调设备,集群协调设备针对城市超脑在某个方面的数据资源处理、整合、分析以及执行设备调度控制的需求,建立一个总循环任务流,包括城市交通指挥、环保监测、人口精细化调控、能源和水资源供给等等。其中,总循环任务流包括预期任务环节、运行任务环节、测评任务环节和反馈任务环节,四个任务环节循环往复,形成该循环任务流的任务闭环。集群协调设备可以从本集群中的数据资源设备、智能分析运算设备以及控制调度设备中分配一定大小且固定的内存空间和运算资源,用于运转总循环任务流;总循环任务流可以调用被分配的内存空间和运算资源。需要指出的是,每个总循环任务流分配的内存空间和运算资源的大小是固定的。
上述城市超脑并行计算系统,所述预期任务环节包括,根据应用场景进行总体预期,对该应用场景的数据资源进行预估与测算,制定总体目标、运行方式和调度策略,确定总体量化评估标准。其中,城市超脑系统的应用场景包括城市交通指挥、环保监测、人口精细化调控、能源和水资源供等。例如,在面向未来一个月的本城市空间区域的空气污染指数监控和调节这一应用场景下,总体预期包括:从本集群中的数据资源设备当中调取面向本城市区域的常态化、非时变性的数据资源,例如历史同期月份的空气污染指数、本地污染源排放量化指标、输入性污染物量化指标、历史同期月份风向风力天气数据,以及当前的本地污染源登记数据及其排放数据、车辆保有量等,从而根据全部这些常态化、非时变性数据资源展开全局、大尺度筹划分析,获得未来一个月的空气污染态势预测,以及制定未来一个月的空气污染指数的目标均值;进而,制定达到总体目标的运行方式以及调度策略,包括本地污染源监控与排放调控、车辆限行调控、周边输入性污染物监控与协调、分时段监控与调控策略、分子区域的监控与调控策略等等;最后,确定总体的量化评估标准,即未来一个月实际空气污染指数的数值是否低于目标均值、波动系数是否在允许范围等。
上述城市超脑并行计算系统,总循环任务流的运行环节包括,根据预期任务环节的总体目标、运行方式和调度策略,建立多个并行的分循环任务流。例如,针对上述空气污染指数监控和调节的场景,可以分别建立或者调用适用于本地污染源监控与排放调控、车辆限行调控、周边输入性污染物监控与协调的分循环任务流;和/或也可以建立实现分时段监控与调控的分循环任务流,分子区域监控与调控策略的分循环任务流等等。
上述城市超脑并行计算系统,针对每个分循环任务流,采用活跃任务池和非活跃任务池进行分类,对分配给每个分循环任务流的内存空间和运算资源进行调节,具体地步骤如下:
将所有分循环任务流都置于非活跃任务池中,对非活跃任务池中的分循环任务流分配M个内存空间和运算资源;根据总循环任务流在运行环节下达的调用指令,将被调用的分循环任务流从非活跃任务池转入活跃任务池,对该分循环任务流再分配N个内存空间和运算资源;根据总循环任务流在运行环节下达的中止调用指令,将被中止调用的分循环任务流从活跃任务池转回非活跃任务池,并收回对应的N个内存空间和运算资源;其中,M和N表示内存空间的大小和运算资源的多少。具体来说,总循环任务流在运行环节,将建立的所以分循环任务流都置于非活跃任务池中,并且对非活跃任务池中的分循环任务流只分配最低限的内存和运算资源,本实施例用M来量化;根据总循环任务流在运行环节下达;调用指令,如果要调用某个分循环任务流,则将该分循环任务流从非活跃任务池转入活跃任务池;集群协调设备为活跃任务池中的分循环任务流分配更大的内存空间和运算资源,本实施例中,用N来量化对活跃任务池的分循环任务流增加的内存空间和运算资源;实际操作时,具体的空间大小和资源量可以是固定的,也可以是动态大小的;根据总循环任务流在运行环节下达的中止调用指令,将被中止调用的分循环任务流从活跃任务池转回非活跃任务池,并收回相关的内存空间和运算资源。
上述城市超脑并行计算系统,所述分循环任务流可以根据自身的任务特点,建立其自身的任务闭环,且每个分循环任务流的任务闭环包含的任务阶段可以是不一样的。例如,针对上述空气污染指数监控和调节的场景,适用于本地污染源监控与排放调控的分循环任务流可以包括监测、调控、评估、上报等分循环的任务环节;监控环节监控本地污染源的排放量,调控环节对污染源排放量进行调控,评估环节对污染源的排放量下降值进行评估,上报环节将该下降值上报给总循环任务流的的测评任务环节。又例如,车辆限行调控的分循环任务流,可以包括限行车次测算、限行指令下达、效果评估、上报等任务环节,其中限行车次测算环节利用拟限行的尾号或者车辆类型对应的车辆保有量,对限行车次选择带来的污染下降影响进行测算,从而决定限行方案;限行指令下达环节对确定限行的车次下达指令,效果评估环节对实际的污染物下降值进行评估,上报环节将该下降值上报给总循环任务流的的测评任务环节。
上述城市超脑并行计算系统,所述并行分循环任务流之间需要数据共享时,需求数据的分循环任务流向总循环任务流的运行环节发送数据共享请求;总循环任务流将数据共享请求转发给具有被需求数据的分循环任务流,具有被需求数据的分循环任务流将被需求数据发送给需求数据的分循环任务流共享。
上述城市超脑并行计算系统,所述并行分循环任务流之间发生对内存空间或者运算资源的冲突时,发生冲突中的至少一个分循环任务流向总循环任务流的运行环节发送冲突裁决请求;总循环任务流的运行环节对冲突进行裁决,裁决后再为有冲突的分循环任务流分配内存空间或者运算资源。具体来说,当两个或者更多的分循环任务流发生对内存空间或者运算资源的冲突,则由二者中的至少一个将冲突裁决请求发给总循环任务流的运行环节,由总循环任务流的运行环节进行裁决,从而分配内存空间或者运算资源。
上述城市超脑并行计算系统,所述测评任务环节包括,获取每个分循环任务流上传的运行结果数据,将运行结果数据和总体量化评估标准分析对比,得到测评数据。具体来说,从分循环任务流获得上传的结果数据,并且根据全部的结果数据,参照总体的量化评估标准,对是否达到预定目标进行测评。例如,参照空气污染指数的目标均值,针对适用于本地污染源监控与排放调控、车辆限行调控、周边输入性污染物监控与协调的分循环任务流;和/或分时段监控与调控的分循环任务流,分子区域监控与调控策略的分循环任务流等上报的数据,评估是否达到预期的空气污染指数的目标均值。所述反馈任务环节包括,根据测评任务环节的测评数据,调整总体目标,调整总体的运行方式和调度策略,并重新确定总体量化评估标准。通过采用多个循环任务流并行计算,不仅可以满足城市超脑系统高实时性的需求,而且通信实时性高,提高了运算能力,解决了运算能力的不足产生拥塞、延迟增大、计算错误等问题。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的保护范围当中。
Claims (4)
1.一种分布式架构的城市超脑并行计算方法,其特征在于,包括以下步骤:
采用多个集群进行分布式计算;
每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备;所述数据资源设备对数据进行存储和整合,所述智能分析运算设备对数据进行分析和预测,所述控制调度设备根据数据分析和预测来控制和调度前端设备;
每个集群包括至少一个集群协调设备,通过集群协调设备建立总循环任务流和相应的多个并行分循环任务流,并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源,且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节;
所述总循环任务流包括预期任务环节、运行任务环节、测评任务环节和反馈任务环节,形成任务闭环;所述预期任务环节包括:根据应用场景进行总体预期,对该应用场景的数据资源进行预估与测算,制定总体目标、运行方式和调度策略,确定总体量化评估标准;运行任务环节包括:根据预期任务环节的总体目标、运行方式和调度策略,建立多个并行的分循环任务流,针对每个分循环任务流,采用活跃任务池和非活跃任务池进行分类,对分配给每个分循环任务流的内存空间和运算资源进行调节;所述测评任务环节包括,获取每个分循环任务流上传的运行结果数据,将运行结果数据和总体量化评估标准分析对比,得到测评数据;所述反馈任务环节包括,根据测评任务环节的测评数据,调整总体目标,调整总体的运行方式和调度策略,并重新确定总体量化评估标准;
其中,所述采用活跃任务池和非活跃任务池进行分类,对分配给每个分循环任务流的内存空间和运算资源进行调节包括:将所有分循环任务流都置于非活跃任务池中,对非活跃任务池中的分循环任务流分配M个内存空间和运算资源;根据总循环任务流在运行环节下达的调用指令,将被调用的分循环任务流从非活跃任务池转入活跃任务池,对该分循环任务流再分配N个内存空间和运算资源;根据总循环任务流在运行环节下达的中止调用指令,将被中止调用的分循环任务流从活跃任务池转回非活跃任务池,并收回对应的N个内存空间和运算资源;其中,M和N表示内存空间的大小和运算资源的多少;并且,所述并行分循环任务流之间发生对内存空间或者运算资源的冲突时,发生冲突中的至少一个分循环任务流向总循环任务流的运行环节发送冲突裁决请求;总循环任务流的运行环节对冲突进行裁决,裁决后再为有冲突的分循环任务流分配内存空间或者运算资源。
2.根据权利要求1所述的城市超脑并行计算方法,其特征在于,所述N个内存空间和运算资源是固定或动态调节的。
3.根据权利要求1所述的城市超脑并行计算方法,其特征在于,包括:
所述并行分循环任务流之间需要数据共享时,需求数据的分循环任务流向总循环任务流的运行环节发送数据共享请求;
总循环任务流将数据共享请求转发给具有被需求数据的分循环任务流,具有被需求数据的分循环任务流将被需求数据发送给需求数据的分循环任务流共享。
4.一种分布式架构的城市超脑并行计算系统,其特征在于,包括:
多个集群,用于进行分布式计算;
每个集群包括至少一个数据资源设备、至少一个智能分析运算设备和至少一个控制调度设备;所述数据资源设备用于对数据存储和整合,所述智能分析运算设备用于对数据分析和预测,所述控制调度设备用于根据数据分析和预测来控制和调度前端设备;
每个集群包括至少一个集群协调设备,用于建立总循环任务流和相应的多个并行分循环任务流,并从相应集群中的数据资源设备、智能分析运算设备和控制调度设备中为每个循环任务流分配内存空间和运算资源,且根据每个循环任务流的运作状态对分配给每个循环任务流的内存空间和运算资源进行调节;
其中,所述总循环任务流包括预期任务环节、运行任务环节、测评任务环节和反馈任务环节,形成任务闭环;所述预期任务环节包括:根据应用场景进行总体预期,对该应用场景的数据资源进行预估与测算,制定总体目标、运行方式和调度策略,确定总体量化评估标准;运行任务环节包括:根据预期任务环节的总体目标、运行方式和调度策略,建立多个并行的分循环任务流,针对每个分循环任务流,采用活跃任务池和非活跃任务池进行分类,对分配给每个分循环任务流的内存空间和运算资源进行调节;所述测评任务环节包括,获取每个分循环任务流上传的运行结果数据,将运行结果数据和总体量化评估标准分析对比,得到测评数据;所述反馈任务环节包括,根据测评任务环节的测评数据,调整总体目标,调整总体的运行方式和调度策略,并重新确定总体量化评估标准;
其中,所述采用活跃任务池和非活跃任务池进行分类,对分配给每个分循环任务流的内存空间和运算资源进行调节包括:将所有分循环任务流都置于非活跃任务池中,对非活跃任务池中的分循环任务流分配M个内存空间和运算资源;根据总循环任务流在运行环节下达的调用指令,将被调用的分循环任务流从非活跃任务池转入活跃任务池,对该分循环任务流再分配N个内存空间和运算资源;根据总循环任务流在运行环节下达的中止调用指令,将被中止调用的分循环任务流从活跃任务池转回非活跃任务池,并收回对应的N个内存空间和运算资源;其中,M和N表示内存空间的大小和运算资源的多少;并且,所述并行分循环任务流之间发生对内存空间或者运算资源的冲突时,发生冲突中的至少一个分循环任务流向总循环任务流的运行环节发送冲突裁决请求;总循环任务流的运行环节对冲突进行裁决,裁决后再为有冲突的分循环任务流分配内存空间或者运算资源。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911276072.8A CN111078792B (zh) | 2019-12-12 | 2019-12-12 | 一种分布式架构的城市超脑并行计算方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911276072.8A CN111078792B (zh) | 2019-12-12 | 2019-12-12 | 一种分布式架构的城市超脑并行计算方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111078792A CN111078792A (zh) | 2020-04-28 |
CN111078792B true CN111078792B (zh) | 2020-12-18 |
Family
ID=70314201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911276072.8A Active CN111078792B (zh) | 2019-12-12 | 2019-12-12 | 一种分布式架构的城市超脑并行计算方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111078792B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103036927A (zh) * | 2011-09-29 | 2013-04-10 | 中国电信股份有限公司 | 智能交通控制方法、装置与系统 |
CN104035817A (zh) * | 2014-07-08 | 2014-09-10 | 领佰思自动化科技(上海)有限公司 | 大规模集成电路物理实现的分布式并行计算方法及其系统 |
CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
CN105321346A (zh) * | 2015-09-18 | 2016-02-10 | 成都融创智谷科技有限公司 | 运用云计算基础资源池来控制城市智能交通的方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10977260B2 (en) * | 2016-09-26 | 2021-04-13 | Splunk Inc. | Task distribution in an execution node of a distributed execution environment |
CN107590254B (zh) * | 2017-09-19 | 2020-03-17 | 华南理工大学 | 具有合并处理方法的大数据支撑平台 |
-
2019
- 2019-12-12 CN CN201911276072.8A patent/CN111078792B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103036927A (zh) * | 2011-09-29 | 2013-04-10 | 中国电信股份有限公司 | 智能交通控制方法、装置与系统 |
CN104035817A (zh) * | 2014-07-08 | 2014-09-10 | 领佰思自动化科技(上海)有限公司 | 大规模集成电路物理实现的分布式并行计算方法及其系统 |
CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
CN105321346A (zh) * | 2015-09-18 | 2016-02-10 | 成都融创智谷科技有限公司 | 运用云计算基础资源池来控制城市智能交通的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111078792A (zh) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111371904B (zh) | 云边端协同的高速公路云控系统及控制方法 | |
US11132224B2 (en) | Fine granularity real-time supervision system based on edge computing | |
CN117472587B (zh) | 一种ai智算中心的资源调度系统 | |
CN102004671B (zh) | 一种云计算环境下数据中心基于统计模型的资源管理方法 | |
CN111641681A (zh) | 基于边缘计算和深度强化学习的物联网服务卸载决策方法 | |
CN105320559A (zh) | 一种云计算系统的调度方法和装置 | |
CN113299059B (zh) | 一种数据驱动的道路交通管控决策支持方法 | |
CN110390817A (zh) | 一种现场级交通信号协调系统及装置 | |
CN117076882A (zh) | 一种云服务资源动态预测管理方法 | |
CN111078792B (zh) | 一种分布式架构的城市超脑并行计算方法和系统 | |
CN113225994B (zh) | 一种面向数据中心的智能空调控制方法 | |
CN117149351A (zh) | 一种基于预测的边缘协同计算迁移方法及系统 | |
CN117675860A (zh) | 基于兰彻斯特定律的物联网数据接收高并发解决方法 | |
CN116109058A (zh) | 一种基于深度强化学习的变电站巡视管理方法和装置 | |
CN111210143B (zh) | 一种利用城市大脑的智能消防多层控制调度方法和系统 | |
CN106371908A (zh) | 基于粒子群算法的图像视频过滤任务分配的优化方法 | |
CN118430293B (zh) | 一种用于城市环保的智能调控系统及调控方法 | |
Lackinger et al. | Inference Load-Aware Orchestration for Hierarchical Federated Learning | |
CN115103331B (zh) | 一种确定路侧单元工作效率的方法及相关装置 | |
CN118113418A (zh) | 面向车联网的边缘服务器上虚拟机能源优化 | |
CN118567867B (zh) | 一种云计算资源优化方法及系统 | |
CN116866352B (zh) | 一种云边协同的智能摄像系统 | |
CN117014438A (zh) | 一种计算任务跨区域调度成本核算方法 | |
CN118170545A (zh) | 算力弹性部署方法及元宇宙算力弹性部署系统 | |
Liu | An Internet of Things Task Scheduling Framework Based on Agile Virtual Network on Demand Service Model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |