CN112817732A - 一种适应云边协同多数据中心场景下的流数据处理方法及系统 - Google Patents

一种适应云边协同多数据中心场景下的流数据处理方法及系统 Download PDF

Info

Publication number
CN112817732A
CN112817732A CN202110215733.7A CN202110215733A CN112817732A CN 112817732 A CN112817732 A CN 112817732A CN 202110215733 A CN202110215733 A CN 202110215733A CN 112817732 A CN112817732 A CN 112817732A
Authority
CN
China
Prior art keywords
processing
subtask
request
subtask request
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110215733.7A
Other languages
English (en)
Other versions
CN112817732B (zh
Inventor
夏飞
方泉
宋浒
杜元翰
杨华飞
俞俊
王鹏
张昕
牧军
张银铁
于聪
王丽君
万晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Electric Power Research Institute
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Electric Power Research Institute
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Electric Power Research Institute, Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Electric Power Research Institute
Priority to CN202110215733.7A priority Critical patent/CN112817732B/zh
Publication of CN112817732A publication Critical patent/CN112817732A/zh
Application granted granted Critical
Publication of CN112817732B publication Critical patent/CN112817732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提出了一种适应云边协同多数据中心场景下的流数据处理方法及系统，根据分配到的子任务请求，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给虚拟机，虚拟机对待处理的流数据进行处理，得到当前处理结果；根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的资源位置处；满足多数据中心资源协同处理的需求。

Description

一种适应云边协同多数据中心场景下的流数据处理方法及 系统
技术领域
本发明属于电力系统信息技术领域，涉及一种适应云边协同多数据中心场景下的流数据处理方法及系统。
背景技术
在电力行业，随着万物互联时代的到来，越来越多的多站融合数据中心出现，“多站融合”的数据中心是指边缘数据中心在内的多级数据中心，用于对电网内部业务、城市治理、互联网、工业制造等领域产生的数据进行边缘侧存储、处理和计算，是数据信息的汇聚基地，同时又是主要的负荷中心。区别与传统的数据中心，“多站融合”具有数量较多的云端、边缘端数据中心，可充分云端、边缘端、终端资源协同优势。
电网中存在大量流分析业务，当摄像传感设备和视频数据流量持续増加时，云计算这种集中式的处理架构将无法得到很好的扩展，在时延和网络带宽方面将遇到巨大的挑战，首先，应用程序在处理视频等流分析业务时需要非常低的时延，这是因为流视频分析的输出常用于与用户进行交互(例如AR场景)或启动其他系统。其次，海量、高清视频的传输需要大带宽，由于网络上行带宽的限制，视频数据直接传送到云端不合适，利用云端、边缘端数据中心资源解决流分析任务，将充分发挥多数据中心云边资源优势。
发明内容
发明目的：为了处理流分析任务并满足多数据中心资源协同处理的需求，本发明提供了一种适应云边协同多数据中心场景下的流数据处理方法及系统。
技术方案：一种适应云边协同多数据中心场景下的流数据处理方法，包括以下执行内容：
根据分配到的子任务请求，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给虚拟机，虚拟机对待处理的流数据进行处理，得到当前处理结果；根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的资源位置处；其中，所述待处理的流数据包括设备终端采集到的流数据或经设备终端/边缘端数据中心/云端数据中心处理后得到的处理结果，所述下一子任务请求为处理优先级仅次于当前子任务请求的子任务请求；
其中，所述子任务请求是由当前资源位置或其他资源位置对用户流任务需求进行拆分得到，所述资源位置包括终端设备、边缘端数据中心和云端数据中心。
进一步的，在将当前处理结果发送至下一子任务请求所在的资源位置处之前，需判断下一子任务请求所在的资源位置的资源状态是否存在异常，若存在异常，则采用成本性能配置策略，将下一子任务请求转移至其他资源位置，若不存在异常，则将当前处理结果发送至下一子任务请求所在的资源位置，进行下一子任务请求处理。
进一步的，资源状态存在异常包括：终端设备/边缘端数据中心/云端数据中心上的资源无法满足下一子任务请求的处理要求和资源发生故障，所述资源包括计算资源、内存资源、网络资源和存储资源。
进一步的，还包括以下执行内容：
对其接收到的子任务请求的处理状态进行监测；
将监测到的子任务请求的处理状态同步至云端数据中心。
进一步的，所述的子任务请求的处理状态包括子任务请求的处理时长、衔接等待时长和子任务请求的请求时长。
进一步的，根据子任务请求的处理状态对成本性能配置策略进行调整，具体操作步骤如下：
各子任务请求的处理状态与预设概率计算表进行比对，并通过数据归纳法，调整概率计算表；
基于调整后的概率计算表改进成本性能配置策略；
所述的预设概率计算表根据边缘端数据中心资源成本、云端数据中心资源成本、流任务性能需求和流任务在特定时间的发生规律，生成得到；
所述成本性能配置策略为：
根据概率计算表，预留处理子任务请求的资源；
根据子任务请求的性能需求，将子任务请求分配至预留的资源中成本最低的资源上。
本发明还公开了一种适应云边协同多数据中心场景下的流数据处理系统，包括：
多个数据中心，部署有虚拟机，用于对接收到的用户流任务需求进行拆分得到多个子任务请求，并将各子任务请求预分配至相应的资源位置，以及根据分配到的子任务请求，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给虚拟机，虚拟机对待处理的流数据进行处理，得到当前处理结果；根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的资源位置处；其中，所述待处理的流数据包括设备终端采集到的流数据或经数据中心处理后得到的处理结果，所述下一子任务请求为处理优先级仅次于当前子任务请求的子任务请求。
进一步的，所述数据中心包括：边缘端数据中心和云端数据中心；每个所述数据中心上均部署有：
流控制中心，用于当接收用户流任务需求时，对用户流任务需求进行拆分得到多个子任务请求，并采用成本性能配置策略，将各子任务请求预分配至相应的流控制中心；以及接收子任务请求；以及根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的流控制中心；
数据中心控制器，用于当接收到子任务请求和待处理的流数据时，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给虚拟机，以及控制虚拟机进行处理；
虚拟机，用于根据子任务请求，对待处理的流数据进行处理，得到处理结果。
进一步的，所述流控制中心还包括：
用于在将当前处理结果发送至下一子任务请求所在的流控制中心之前，判断下一子任务请求所在的流控制中心的资源状态是否存在异常，若存在异常，则采用成本性能配置策略，将下一子任务请求转移至其他流控制中心，若不存在异常，则将当前处理结果发送至下一子任务请求所在的流控制中心，进行下一子任务请求处理。
进一步的，每个所述数据中心上还设有监测模块和状态同步模块；
所述监测模块，用于对其接收到的子任务请求的处理状态进行监测；
所述状态同步模块，用于将监测到的子任务请求的处理状态同步至云端数据中心；
所述的子任务请求的处理状态包括子任务请求的处理时长、衔接等待时长和子任务请求的请求时长。
进一步的，所述数据中心还部署有流业务控制编排中心；所述流业务控制编排中心，用于自定义和存储流任务需求拆分规则、自定义和存储各子任务请求的串并行协同处理流程、自定义和存储各子任务请求的处理优先级、自定义和存储成本性能配置策略。
进一步的，所述流业务控制编排中心包括：
管道式处理模型，用于自定义和存储各子任务请求的串行处理流程；
并行式处理模型，用于自定义和存储各子任务请求的并行处理流程。
进一步的，所述虚拟机由容器级别的轻量级虚拟化方法将计算资源、内存资源、网络资源和存储资源抽象得到。
本发明的一种适应云边协同多数据中心场景下的流数据处理系统，包括一个或多个云端数据中心、一个或多个边缘端数据中心和多个设备终端；
在每个所述云端数据中心上均部署有：
云端流控制中心，用于当接收用户流任务需求时，对用户流任务需求进行拆分得到多个子任务请求，并采用成本性能配置策略，将各子任务请求预分配至相应的云端流控制中心/边缘端流控制中心/终端流分析模块；以及用于根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的资源位置处；所述资源位置包括云端流控制中心、边缘端流控制中心、终端分析模块；
云端数据中心控制器，用于当接收到子任务请求和待处理的流数据时，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给云端虚拟机，以及控制云端虚拟机进行处理；
云端虚拟机，用于根据子任务请求，对待处理的流数据进行处理，得到处理结果；
在每个所述边缘端数据中心上均部署有：
边缘端流控制中心，用于当接收用户流任务需求时，对用户流任务需求进行拆分得到多个子任务请求，并采用成本性能配置策略，将各子任务请求预分配至相应的云端流控制中心/边缘端流控制中心/终端流分析模块；以及用于根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的资源位置处；
边缘端多数据中心控制器，用于当接收到子任务请求和待处理的流数据时，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给边缘端虚拟机，以及控制边缘端虚拟机进行处理；
边缘端虚拟机，用于根据子任务请求，对待处理的流数据进行处理，得到处理结果；
每个终端设备均包括：
终端流采集模块，用于采集流数据；
终端流分析模块，用于当接收到子任务请求和待处理的流数据时，根据子任务请求，对待处理的流数据进行处理，得到处理结果，并根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的资源位置处。
进一步的，所述云端流控制中心/边缘端流控制中心/终端流分析模块还包括用于在将当前处理结果发送至下一子任务请求所在的资源位置处之前，判断下一子任务请求所在的资源位置的资源状态是否存在异常，若存在异常，则采用成本性能配置策略，将下一子任务请求转移至其他资源位置，若不存在异常，则将当前处理结果发送至下一子任务请求所在的资源位置，进行下一子任务请求处理。
进一步的，所述设备终端、边缘端数据中心、云端数据中心上均设有监测模块和状态同步模块；
所述监测模块，用于对其接收到的子任务请求的处理状态进行监测；
所述状态同步模块，用于将监测到的子任务请求的处理状态同步至云端数据中心；
所述的子任务请求的处理状态包括子任务请求的处理时长、衔接等待时长和子任务请求的请求时长。
进一步的，所述云端数据中心还部署有云端流业务控制编排中心，所述边缘端数据中心还部署有边缘端流业务控制编排中心；
所述云端流业务控制编排中心，用于自定义和存储流任务需求拆分规则、自定义和存储各子任务请求的串并行协同处理流程、自定义和存储各子任务请求的处理优先级、自定义和存储成本性能配置策略；
所述边缘端流业务控制编排中心，用于自定义和存储流任务需求拆分规则、自定义和存储各子任务请求的串并行协同处理流程、自定义和存储各子任务请求的处理优先级、自定义和存储成本性能配置策略。
进一步的，所述的云端流业务控制编排中心和边缘端流业务控制编排中心均包括：
管道式处理模型，用于自定义和存储各子任务请求的串行处理流程；
并行式处理模型，用于自定义和存储各子任务请求的并行处理流程。
有益效果：本发明与现有技术相比，具有以下优点：
(1)采用本发明的流数据处理方法，适应云边协同多数据中心资源情况，将用户流任务需求拆分为串行/并行流处理任务，根据任务的处理优先级实现流分析调度，充分发挥云边协同多数据中心分布式计算优势，实现流数据快速处理分析；
(2)本发明的流数据处理系统，流业务控制编排中心基于管道式处理模型、并行式处理模型构建串并行协同的流分析流程，流控制中心控制终端、边缘端数据中心、云端数据中心根据业务优先级实现流分析调度，即采用流控制中心、终端流采集模块、终端流分析模块、边缘端多数据中心控制器、云端数据中心控制器协同处理用户流任务需求，充分利用云端、边缘端、终端设备资源特征，提升多数据中心流分析处理能力；通过概率计算、历史规则实现流分析单元最优部署调度，充分发挥多数据中心处理流任务优势。
附图说明
图1为本发明的流程图；
图2为本发明提供的具体实施示意图。
具体实施方式
现结合附图和实施例进一步阐述本发明的技术方案。
本实施例的一种适应云边协同多数据中心场景下的流数据处理方法，包括：
(1)对于接收到用户流任务需求的边缘端数据中心/云端数据中心，执行以下步骤：
根据预先定义好的拆分规则，对用户流任务需求进行拆分得到多个子任务请求；
采用内置的成本性能配置策略(依据成本、性能、计算复杂度)，将各子任务请求预分配至相应的设备终端、边缘端数据中心和云端数据中心上。
(2)对于接收到子任务请求和待处理的流数据的设备终端，执行以下步骤：
根据接收到的子任务请求，对待处理的流数据进行处理，得到当前处理结果；
根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，在将当前处理结果发送至下一子任务请求所在的资源位置处之前，判断下一子任务请求所在的资源位置的资源状态是否存在异常，若存在异常，则采用成本性能配置策略，将下一子任务请求转移至其他资源位置，若不存在异常，则将当前处理结果发送至下一子任务请求所在的资源位置，进行下一子任务请求处理。此步骤提及到的下一子任务请求为处理优先级仅次于当前子任务请求的子任务请求；资源状态存在异常包括：终端设备/边缘端数据中心/云端数据中心上的资源紧张和资源发生故障，资源包括计算资源、内存资源、网络资源和存储资源。
对子任务请求的处理状态进行监测；并定时或不定时将监测到的子任务请求的处理状态同步至云端数据中心。
由于设备终端的处理能力有限，因此常用于进行图像去噪处理或图像增强处理。
(3)对于接收到子任务请求和待处理的流数据的边缘端数据中心/云端数据中心，执行以下步骤：
根据接收到的子任务请求，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给部署在边缘端数据中心/云端数据中心上的虚拟机；该虚拟机是由容器级别的轻量级虚拟化方法将计算资源、内存资源、网络资源和存储资源抽象得到；各边缘端数据中心、云端数据中心上均部署有虚拟机，当虚拟机处于待机状态时，不占用边缘端数据中心、云端数据中心的资源，当需要虚拟机进行数据处理时，需要先给虚拟机分配相应资源，而后才能进行数据处理。
根据子任务请求，控制虚拟机对待处理的流数据进行处理，得到当前处理结果；
根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，在将当前处理结果发送至下一子任务请求所在的资源位置处之前，判断下一子任务请求所在的资源位置的资源状态是否存在异常，若存在异常，则采用成本性能配置策略，将下一子任务请求转移至其他资源位置，若不存在异常，则将当前处理结果发送至下一子任务请求所在的资源位置，进行下一子任务请求处理。此步骤提及到的下一子任务请求为处理优先级仅次于当前子任务请求的子任务请求；资源状态存在异常包括：终端设备/边缘端数据中心/云端数据中心上的资源紧张和资源发生故障，资源包括计算资源、内存资源、网络资源和存储资源。
对子任务请求的处理状态进行监测；并定时或不定时将监测到的子任务请求的处理状态同步至云端数据中心。
上述步骤中提及到的串并行协同处理流程即为定义哪些子任务请求是需要串行处理，哪些子任务请求是可以并行处理的处理流程；子任务请求的处理状态包括子任务请求的处理时长、衔接等待时长和子任务请求的请求时长。
在上述步骤中，分配子任务请求的云端数据中心或边缘端数据中心也可以是处理子任务请求的云端数据中心或边缘端数据中心。
在上述步骤中，待处理的流数据可以是由设备终端采集到的初始流数据，也可以是经过设备终端/边缘端数据中心/云端数据中心处理后得到的中间流数据。
在本实施例中，
云端数据中心通过收集各子任务请求的处理状态对成本性能配置策略进行调整，具体操作步骤如下：
用户定义边缘端数据中心资源成本、云端数据中心资源成本、用户定义流事件性能需求、用户定义流事件在某段时间的发生规律，以此生成概率计算表；
通过概率计算流事件发生的潜在可能，以此来预留流处理资源；具体处理时，根据流事件性能需求，寻找当前预留流处理资源中成本最低的，将流任务分配到该资源；
将记录的流处理时间与概率计算表进行比对，并通过数学计算归纳历史规则，调整概率计算表；
基于调整后的概率计算表改进成本性能配置策略，实现多数据中心流分析单元的最优部署调度。
为方便理解成本性能配置策略，现举例说明如下：边缘端数据中心有多台虚拟服务器资源，其中虚拟服务器1cpu2GHz 4核、8g内存等资源8：00-9：00时间段10元/小时，虚拟服务器2cpu2GHz 2核、6g内存等资源8：00-9：00时间段定义为7元/小时，虚拟服务器3cpu1.5GHz 2核、6g内存等资源8：00-9：00时间段定义为6元/小时，其他服务器类似定价。现场安全作业保障分析流处理等级高，可以支付12元/小时费用，流处理单位将流任务分配到虚拟服务器1上，而现场设备状态分析流任务流处理等级低，只能支付7元/小时费用，流处理单位将流任务分配到虚拟服务器3上。
基于上述处理方法，本实施例还提出了一种适应云边协同多数据中心场景下的流数据处理系统，包括一个或多个云端数据中心、一个或多个边缘端数据中心和多个设备终端。在每个云端数据中心上均部署有：云端流控制中心、云端虚拟机、云端流业务控制编排中心和云端数据中心控制器；在每个边缘端数据中心上均部署有：边缘端流控制中心、边缘端虚拟机、边缘端流业务控制编排中心和边缘端多数据中心控制器。在每个设备终端上均部署有终端流采集模块和终端流分析模块；云端流控制中心/边缘端流控制中心协同控制终端流采集模块、终端流分析模块、云端虚拟器、边缘端虚拟器完成流数据计算调度和流数据分析。现对各分部说明如下：
其中，云端流控制中心和边缘端流控制中心均可：用于当接收用户流任务需求时，根据拆分规则对用户流任务需求进行拆分得到多个子任务请求，并采用成本性能配置策略，将各子任务请求预分配至相应的云端流控制中心、边缘端流控制中心、终端流分析模块；用于根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，判断下一子任务请求所在的资源位置的资源状态是否存在异常，若存在异常，则根据子任务请求的要求(需要资源情况以及处理实时性要求)和成本性能配置策略，将下一子任务请求转移至其他资源位置，或对子任务请求进行降级处理，在一些实施例中，若子任务请求要求5秒处理完毕，降级处理就是将5秒处理完毕变为10秒处理完毕。若不存在异常，则将当前处理结果发送至下一子任务请求所在的云端流控制中心、边缘端流控制中心或终端分析模块上；以及用于对当前处理的子任务请求的处理状态进行监测，定时或不定时同步子任务请求的处理状态至云端数据中心，即边缘端流控制中心和设备终端还需将在边缘端数据中心上处理的子任务请求的处理状态同步到云端流控制中心，流处理任务请求的处理状态包括但不限于为流处理任务的处理时长、衔接等待时长和流处理任务的请求时长。对于云端数据中心还要根据子任务请求的处理状态的处理状态对成本性能配置策略进行调整，具体操作包括：通过概率计算判断事件发生的潜在可能，并通过数学计算归纳历史规则，应用历史规则改进成本性能配置策略，实现流分析单元最优部署调度。
其中，云端虚拟机和边缘端虚拟机均由容器级别的轻量级虚拟化方法将计算资源、内存资源、网络资源和存储资源抽象得到，用于根据子任务请求，对待处理的流数据进行处理，得到处理结果。云端虚拟机处理所需计算量复杂的任务请求。
其中，云端数据中心控制器，用于收集云端、边缘端资源，包括但不限于服务器、虚拟机及相关CPU、内存资源、网络资源和存储资源、监控云端、边缘端资源CPU使用率、内存空间、网络吞吐量和存储使用情况。以及用于当接收到子任务请求和待处理的流数据时，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给云端虚拟机，以及控制云端虚拟机进行数据处理。
其中，边缘端多数据中心控制器，用于收集边缘端资源，包括但不限于服务器、虚拟机及相关CPU、内存资源、网络资源和存储资源、监控云端边缘资源CPU使用率、内存空间、网络吞吐量和存储使用情况。以及用于当接收到子任务请求和待处理的流数据时，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给边缘端虚拟机，以及控制边缘端虚拟机进行处理。
其中，终端流采集模块，用于采集相应的现场流数据；终端流分析模块，用于当接收到子任务请求和待处理的流数据时，根据子任务请求，对待处理的流数据进行处理，得到处理结果，并根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，判断下一子任务请求所在的资源位置的资源状态是否存在异常，若存在异常，则根据子任务请求的要求(需要资源情况以及处理实时性要求)和成本性能配置策略，将下一子任务请求转移至其他资源位置，或对子任务请求进行减级处理，若不存在异常，则将当前处理结果发送至下一子任务请求所在的云端流控制中心、边缘端流控制中心或终端分析模块上。终端流分析模块进行的处理为计算量较少的处理包括但不限于图像加强、去噪；现场流数据包括但不限于流数据、用户位置信息、流分辨率、流采样率、流处理特殊要求。子任务请求的要求包括但不限于：子任务请求的并行/串行任务属性、及时性要求、可靠性要求、计算资源需求、网络资源需求、流数据来源和流分析目的。
其中，云端流业务控制编排中心和边缘端流业务控制编排中心均用于：自定义和存储流任务需求拆分规则、自定义和存储成本性能配置策略(依据成本、性能、计算复杂度)、基于管道式处理模型、并行式处理模型定义串并行协同的流分析流程、定义流处理任务业务优先级。
现以现场变电站摄像头采集到的多个视频数据进行违章行为分析为例，进一步说明本发明的技术方案。
在该实施例中，用户流任务需求为违章行为监测，由于违章行为监测均经过以下步骤：
步骤1：通过现场变电站摄像头(设备终端)采集到多个视频流数据，对采集到的视频流数据进行噪声去除操作；
步骤2：对经过噪声去除操作的视频流数据进行图像增强操作；
步骤3：采用图像模式匹配算法从经过步骤2操作后的视频流数据中提取作业行为；
步骤4：依据违章库，将提取到的作业行为与违章库进行匹配，得到违章作业行为；按照上述步骤，将用户流任务需求拆分成如下子任务请求：
Figure BDA0002953681680000091
其中，
Figure BDA0002953681680000092
表示将第一个视频流数据进行步骤1操作的子任务请求，
Figure BDA0002953681680000093
表示将第一个视频流数据进行步骤2操作的子任务请求，
Figure BDA0002953681680000094
表示将第一个视频流数据进行步骤3操作的子任务请求，以此类推，
Figure BDA0002953681680000095
表示将第n个视频流数据进行步骤1操作的子任务请求，
Figure BDA0002953681680000096
表示将第n个视频流数据进行步骤2操作的子任务请求，
Figure BDA0002953681680000097
表示将第n个视频流数据进行步骤3操作的子任务请求，由于针对同一个人员可能出现在多个视频流数据中，因此步骤4的处理请求需要汇总多个或全部视频流数据。
由上述子任务请求可知，
Figure BDA0002953681680000098
需要串行处理，即
Figure BDA0002953681680000099
的处理结果是
Figure BDA00029536816800000910
的待处理数据，
Figure BDA00029536816800000911
的处理结果是
Figure BDA00029536816800000912
的待处理数据；
Figure BDA00029536816800000913
需要串行处理，
Figure BDA00029536816800000914
需要串行处理；而
Figure BDA00029536816800000915
则可以并行处理；由于针对同一个人员可能出现在多个视频流数据中，因此在进行步骤4操作时，根据实际情况，可能需要将多个或全部
Figure BDA00029536816800000916
的处理结果进行汇总才能执行步骤4，得到违章作业行为。
现假设步骤1可由终端流分析模块完成子任务请求，步骤2可由边缘端数据中心A完成子任务请求，步骤3可由边缘端数据中心B完成子任务请求，步骤4可由云端数据中心完成子任务请求。现对流数据处理过程说明如下：
用户向云端数据中心发送违章行为监测需求，云端数据中心将该需求拆分成多个子任务请求，采用成本性能配置策略将各子任务请求分配至相应的资源位置，具体的，对于第一个视频流数据，将子任务请求
Figure BDA0002953681680000101
分配至终端流分析模块进行处理，将子任务请求
Figure BDA0002953681680000102
分配至边缘端数据中心A进行处理，将子任务请求
Figure BDA0002953681680000103
分配至边缘端数据中心B进行处理，以上为预分配方案，由于
Figure BDA0002953681680000104
为串行处理流程，因此终端流分析模块处理得到的中间视频流数据需要发送至边缘端数据中心A，在中间视频流数据发送之前，需先判断边缘端数据中心A的资源是否存在异常，若存在异常，则采用成本性能配置策略将子任务请求
Figure BDA0002953681680000105
分配至边缘端数据中心C进行处理，若不存在异常，则将终端流分析模块处理得到的中间视频流数据发送至边缘端数据中心A，进行子任务请求
Figure BDA0002953681680000106
的处理，以此类推，实现违章行为监测。
在边缘端数据中心A、边缘端数据中心B上均部署有边缘端多数据中心控制器和采用容器技术抽象得到的虚拟器，在云端数据中心上部署有云端数据中心控制器，云端数据中心控制器收集边缘端云端数据中心的资源，边缘端多数据中心控制器收集边缘端数据中心的资源。

Claims (13)

1.一种适应云边协同多数据中心场景下的流数据处理方法，其特征在于：包括以下执行内容：
根据分配到的子任务请求，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给虚拟机，虚拟机对待处理的流数据进行处理，得到当前处理结果；根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的资源位置处；其中，所述待处理的流数据包括设备终端采集到的流数据或经设备终端/边缘端数据中心/云端数据中心处理后得到的处理结果，所述下一子任务请求为处理优先级仅次于当前子任务请求的子任务请求；
其中，所述子任务请求是由当前资源位置或其他资源位置对用户流任务需求进行拆分得到，所述资源位置包括终端设备、边缘端数据中心和云端数据中心。
2.根据权利要求1所述的一种适应云边协同多数据中心场景下的流数据处理方法，其特征在于：在将当前处理结果发送至下一子任务请求所在的资源位置处之前，需判断下一子任务请求所在的资源位置的资源状态是否存在异常，若存在异常，则采用成本性能配置策略，将下一子任务请求转移至其他资源位置，若不存在异常，则将当前处理结果发送至下一子任务请求所在的资源位置，进行下一子任务请求处理。
3.根据权利要求2所述的一种适应云边协同多数据中心场景下的流数据处理方法，其特征在于：资源状态存在异常包括：终端设备/边缘端数据中心/云端数据中心上的资源无法满足下一子任务请求的处理要求和资源发生故障，所述资源包括计算资源、内存资源、网络资源和存储资源。
4.根据权利要求1所述的一种适应云边协同多数据中心场景下的流数据处理方法，其特征在于：还包括以下执行内容：
对其接收到的子任务请求的处理状态进行监测；
将监测到的子任务请求的处理状态同步至云端数据中心。
5.根据权利要求4所述的一种适应云边协同多数据中心场景下的流数据处理方法，其特征在于：所述的子任务请求的处理状态包括子任务请求的处理时长、衔接等待时长和子任务请求的请求时长。
6.根据权利要求5所述的一种适应云边协同多数据中心场景下的流数据处理方法，其特征在于：根据子任务请求的处理状态对成本性能配置策略进行调整，具体操作步骤如下：
各子任务请求的处理状态与预设概率计算表进行比对，并通过数据归纳法，调整概率计算表；
基于调整后的概率计算表改进成本性能配置策略；
所述的预设概率计算表根据边缘端数据中心资源成本、云端数据中心资源成本、流任务性能需求和流任务在特定时间的发生规律，生成得到；
所述成本性能配置策略为：
根据概率计算表，预留处理子任务请求的资源；
根据子任务请求的性能需求，将子任务请求分配至预留的资源中成本最低的资源上。
7.一种适应云边协同多数据中心场景下的流数据处理系统，其特征在于：包括：
多个数据中心，部署有虚拟机，用于对接收到的用户流任务需求进行拆分得到多个子任务请求，并将各子任务请求预分配至相应的资源位置，以及根据分配到的子任务请求，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给虚拟机，虚拟机对待处理的流数据进行处理，得到当前处理结果；根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的资源位置处；其中，所述待处理的流数据包括设备终端采集到的流数据或经数据中心处理后得到的处理结果，所述下一子任务请求为处理优先级仅次于当前子任务请求的子任务请求。
8.根据权利要求7所述的一种适应云边协同多数据中心场景下的流数据处理系统，其特征在于：所述数据中心包括：边缘端数据中心和云端数据中心；每个所述数据中心上均部署有：
流控制中心，用于当接收用户流任务需求时，对用户流任务需求进行拆分得到多个子任务请求，并采用成本性能配置策略，将各子任务请求预分配至相应的流控制中心；以及接收子任务请求；以及根据各子任务请求的串并行协同处理流程和各子任务请求的处理优先级，将当前处理结果发送至下一子任务请求所在的流控制中心；
数据中心控制器，用于当接收到子任务请求和待处理的流数据时，将处理子任务请求需用到的计算资源、内存资源、网络资源和存储资源分配给虚拟机，以及控制虚拟机进行处理；
虚拟机，用于根据子任务请求，对待处理的流数据进行处理，得到处理结果。
9.根据权利要求8所述的一种适应云边协同多数据中心场景下的流数据处理系统，其特征在于：所述流控制中心还包括：
用于在将当前处理结果发送至下一子任务请求所在的流控制中心之前，判断下一子任务请求所在的流控制中心的资源状态是否存在异常，若存在异常，则采用成本性能配置策略，将下一子任务请求转移至其他流控制中心，若不存在异常，则将当前处理结果发送至下一子任务请求所在的流控制中心，进行下一子任务请求处理。
10.根据权利要求8所述的一种适应云边协同多数据中心场景下的流数据处理系统，其特征在于：每个所述数据中心上还设有监测模块和状态同步模块；
所述监测模块，用于对其接收到的子任务请求的处理状态进行监测；
所述状态同步模块，用于将监测到的子任务请求的处理状态同步至云端数据中心；
所述的子任务请求的处理状态包括子任务请求的处理时长、衔接等待时长和子任务请求的请求时长。
11.根据权利要求8所述的一种适应云边协同多数据中心场景下的流数据处理系统，其特征在于：所述数据中心还部署有流业务控制编排中心；所述流业务控制编排中心，用于自定义和存储流任务需求拆分规则、自定义和存储各子任务请求的串并行协同处理流程、自定义和存储各子任务请求的处理优先级、自定义和存储成本性能配置策略。
12.根据权利要求11所述的一种适应云边协同多数据中心场景下的流数据处理系统，其特征在于：所述流业务控制编排中心包括：
管道式处理模型，用于自定义和存储各子任务请求的串行处理流程；
并行式处理模型，用于自定义和存储各子任务请求的并行处理流程。
13.根据权利要求8所述的一种适应云边协同多数据中心场景下的流数据处理系统，其特征在于：所述虚拟机由容器级别的轻量级虚拟化方法将计算资源、内存资源、网络资源和存储资源抽象得到。
CN202110215733.7A 2021-02-26 2021-02-26 一种适应云边协同多数据中心场景下的流数据处理方法及系统 Active CN112817732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110215733.7A CN112817732B (zh) 2021-02-26 2021-02-26 一种适应云边协同多数据中心场景下的流数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110215733.7A CN112817732B (zh) 2021-02-26 2021-02-26 一种适应云边协同多数据中心场景下的流数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN112817732A true CN112817732A (zh) 2021-05-18
CN112817732B CN112817732B (zh) 2022-11-11

Family

ID=75863992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110215733.7A Active CN112817732B (zh) 2021-02-26 2021-02-26 一种适应云边协同多数据中心场景下的流数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN112817732B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113315669A (zh) * 2021-07-28 2021-08-27 江苏电力信息技术有限公司 基于云边协同的吞吐量优化的机器学习推断任务部署方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737560A (zh) * 2018-05-31 2018-11-02 南京邮电大学 云计算任务智能调度方法及系统、可读存储介质、终端
CN111367630A (zh) * 2019-07-12 2020-07-03 北京关键科技股份有限公司 一种基于云计算的多用户多优先级的分布式协同处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737560A (zh) * 2018-05-31 2018-11-02 南京邮电大学 云计算任务智能调度方法及系统、可读存储介质、终端
CN111367630A (zh) * 2019-07-12 2020-07-03 北京关键科技股份有限公司 一种基于云计算的多用户多优先级的分布式协同处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113315669A (zh) * 2021-07-28 2021-08-27 江苏电力信息技术有限公司 基于云边协同的吞吐量优化的机器学习推断任务部署方法
CN113315669B (zh) * 2021-07-28 2021-10-15 江苏电力信息技术有限公司 基于云边协同的吞吐量优化的机器学习推断任务部署方法

Also Published As

Publication number Publication date
CN112817732B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN108632365B (zh) 服务资源调整方法、相关装置和设备
CN109451072A (zh) 一种基于Kafka的消息缓存系统和方法
CN112162865A (zh) 服务器的调度方法、装置和服务器
CN111752965A (zh) 一种基于微服务的实时数据库数据交互方法和系统
CN106533806B (zh) 多租户SDN网络中基于应用感知提供跨层QoS的方法
CN103516807A (zh) 一种云计算平台服务器负载均衡系统及方法
CN109656685A (zh) 容器资源调度方法和系统、服务器及计算机可读存储介质
CN106815254A (zh) 一种数据处理方法和装置
CN110795284A (zh) 一种数据恢复方法、装置、设备及可读存储介质
CN115033340A (zh) 一种宿主机的选择方法及相关装置
CN112162789A (zh) 一种基于软件定义的边缘计算随机卸载决策方法及系统
CN110300188A (zh) 数据传输系统、方法和设备
CN110516738B (zh) 一种分布式比对聚类方法、装置、电子设备及存储介质
CN112817732B (zh) 一种适应云边协同多数据中心场景下的流数据处理方法及系统
CN115633039A (zh) 通信建立方法、负载均衡装置、设备及存储介质
CN109614228B (zh) 基于动态负载均衡方式的综合监控前置系统及工作方法
Tseng et al. An mec-based vnf placement and scheduling scheme for ar application topology
CN114706675A (zh) 基于云边协同系统的任务部署方法及装置
CN112799908B (zh) 基于边缘计算的智能终端安全监控方法、设备和介质
CN113835876A (zh) 一种基于国产cpu和os的人工智能加速卡调度方法及装置
US20090132582A1 (en) Processor-server hybrid system for processing data
WO2021063026A1 (zh) 一种推理服务网络化的方法及装置
CN116402318A (zh) 面向配电网的多级算力资源分配方法、装置及网络架构
CN108829516B (zh) 一种图形处理器资源虚拟化调度方法
CN114741200A (zh) 面向数据中台的计算资源分配方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant