CN116755890A - 基于大数据平台的多场景业务数据协同处置方法及系统 - Google Patents

基于大数据平台的多场景业务数据协同处置方法及系统 Download PDF

Info

Publication number
CN116755890A
CN116755890A CN202311033274.6A CN202311033274A CN116755890A CN 116755890 A CN116755890 A CN 116755890A CN 202311033274 A CN202311033274 A CN 202311033274A CN 116755890 A CN116755890 A CN 116755890A
Authority
CN
China
Prior art keywords
service
energy consumption
data
business
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311033274.6A
Other languages
English (en)
Other versions
CN116755890B (zh
Inventor
阙凌燕
钱建国
孙志华
胡真瑜
娄冰
卢敏
陈江尧
肖禹
孔飘红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Zhejiang Huayun Information Technology Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Zhejiang Huayun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Zhejiang Huayun Information Technology Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN202311033274.6A priority Critical patent/CN116755890B/zh
Publication of CN116755890A publication Critical patent/CN116755890A/zh
Application granted granted Critical
Publication of CN116755890B publication Critical patent/CN116755890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于大数据平台的多场景业务数据协同处置方法及系统，包括步骤：S1、获取业务服务画像中各业务主体对应的子业务链路以及各业务主体之间的联结度；S2、计算子业务链路的能耗值和业务线的资源能耗量；S3、基于重要度值对得到业务服务画像重构集合；S4、基于业务服务画像重构集合中各业务线的业务能耗获取初始能耗密度序列；S5、基于业务重合度对初始能耗平均密度进行稀释得到一次能耗密度序列；S6、基于计算资源分布对一次能耗密度进行浓缩得到二次能耗密度序列；S7、基于二次能耗密度序列对应的业务服务画像修正集合进行业务协同处置。方案显著提高了多业务场景下的海量数据进行业务协同处置的效率，保证业务线顺利高效地执行。

Description

基于大数据平台的多场景业务数据协同处置方法及系统
技术领域
本发明涉及信息处理技术领域，具体的，涉及基于大数据平台的多场景业务数据协同处置方法及系统。
背景技术
随着大数据时代的到来，各类组织和企业都面临着海量业务数据的处理和利用。在实际应用中，业务数据一般可以分为个人用户数据、公共数据和企业数据。基于业务线所需数据的类型不同，不同数据类型间的调用通常需要不同的调用路径，当计算资源在数据执行路径上的分布固定时，如何基于业务线的重要度对计算资源进行合理调配并对参与数据进行瘦身是保证业务线能够顺利高效执行的关键；目前大数据平台针对多场景下海量数据进行业务数据的协同处置仍存在挑战。
在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的是针对目前大数据平台对于多场景下的海量数据进行业务协同处置的效率不高的技术问题，提出了基于大数据平台的多场景业务数据协同处置方法及系统，分别计算每条业务线的资源能耗量，然后基于业务线的重要度值构建业务优先处置的业务服务画像重构集合；然后通过对各业务线和业务重合度对业务线上的待处理数据进行瘦身，显著减少参与计算资源分配的数据量；最后基于标准执行路径上的计算资源分布和业务线的处理优先级进行计算资源分配，可以显著提高多业务场景下的海量数据进行业务协同处置的效率，可以保证业务线顺利高效地执行。
第一方面，本发明实施例中提供的一种技术方案是：基于大数据平台的多场景业务数据协同处置方法，适用于大数据平台与若干业务主体进行信息交互，包括如下步骤：
S1、基于业务线的业务服务路径获取业务服务画像，获取业务服务画像中各业务主体对应的子业务链路以及计算各业务主体之间的联结度；
S2、基于能耗因子对子业务链路中的子节点数据进行赋能得到子业务链路的能耗值，基于各子业务链路的能耗值以及各业务主体之间的联结度得到业务线的资源能耗量；
S3、轮次执行S1~S2得到若干业务线构建业务服务画像集合；基于业务服务画像的安全因子、紧迫因子、资源能耗量得到对应业务线的重要度值，基于重要度值对业务服务画像集合进行重构得到业务服务画像重构集合；
S4、基于业务服务画像重构集合中各业务线的业务能耗获取隶属于最大执行路径上的初始能耗密度序列；
S5、计算业务服务画像重构集合中各业务线的业务重合度对初始能耗平均密度进行稀释得到一次能耗密度序列；
S6、基于资源调配池在标准执行路径上的计算资源分布对最大执行路径上的一次能耗密度进行浓缩得到二次能耗密度序列；
S7、获取二次能耗密度序列对应的业务服务画像修正集合；基于业务服务画像修正集合进行业务协同处置。
本方案中，针对目前大数据平台对于多场景下的海量数据进行业务协同处置的效率不高的技术问题，首先，本申请基于业务线的业务服务路径获取业务服务画像，获得了各业务主体对应的子业务链路以及业务主体之间的联结度；其次，通过能耗因子对子业务链路中的子节点数据进行赋能，计算子业务链路的能耗值，再基于子业务链路的能耗值和业务主体之间的联结度，得到业务线的资源能耗量；这使得系统能够对不同业务线的资源能耗进行客观量化评估，有助于进行资源的优化分配，从而提高资源的利用效率；然后，结合安全因子、紧迫因子以及资源能耗量，对业务服务画像集合进行重构，得到业务服务画像重构集合；这些重构的画像具备更高的准确性和综合性，能够更好地反映业务线的关联和依赖关系，从而为后续的能耗计算和资源分配提供更精准的指导；通过S4和S5阶段，首先获取业务服务画像重构集合中各业务线的业务能耗，进一步计算得到初始能耗密度序列；随后，通过业务重合度的计算和稀释处理，减少了参与计算资源分配的待处理数据量，从而降低了计算负荷，优化了系统性能；通过S6阶段，基于资源调配池在标准执行路径上的计算资源分布，对最大执行路径上的一次能耗密度进行浓缩，得到二次能耗密度序列；然后，根据二次能耗密度序列获取业务服务画像修正集合，以便更精确地指导业务协同处置。最终，基于业务服务画像修正集合进行业务协同处置，保障了多业务场景下海量数据的高效处理。整个方案通过多次轮次执行，逐步优化了业务服务画像、能耗计算和资源分配，从而在多业务场景下实现高效的数据协同处置。通过结合重要度值、能耗评估和资源分布，能够在保障业务优先级的同时，高效利用计算资源，从而显著提高了多业务场景下海量数据协同处置的效率，确保业务线的高效执行。
作为优选，S1中，基于业务线的业务服务路径获取业务服务画像，获取业务服务画像中各业务主体对应的子业务链路以及计算各业务主体之间的联结度；包括如下步骤：
S11、基于业务线所涉及的业务主体以及业务主体对应的第一获取顺序获取业务服务画像；
S12、基于业务主体所涉及的业务数据以及业务数据对应的第二获取顺序获取各业务主体对应的子业务链路；
S13、基于相邻业务主体之间的数据量差值与运算时间差值的比值获取各业务主体之间的联结度D。
本方案中，基于业务线所涉及的业务主体以及业务主体对应的第一获取顺序，使得系统可以快速获取业务服务画像，根据业务线的实际情况和获取顺序，有针对性地获取业务主体的信息，避免了不必要的获取过程，提高了获取效率；基于业务主体所涉及的业务数据以及业务数据对应的第二获取顺序，系统获取了各业务主体对应的子业务链路，通过根据业务数据的获取顺序，能够更加全面地获取业务链路信息，确保画像中的子业务链路准确反映了业务的实际关联性；基于相邻业务主体之间的数据量差值与运算时间差值的比值，系统计算了各业务主体之间的联结度D；考虑了业务主体间数据流量和处理速度的差异，更加客观地反映了业务主体之间的联系紧密程度；通过以上步骤，本申请能够高效获取业务服务画像，包括子业务链路和联结度信息，为后续的资源分配和协同处置提供了准确的基础。这种精细化的业务服务画像有助于系统更好地分析各业务主体的关联性，从而实现更加高效的多业务场景数据协同处置，提升了整体业务处理效率。
作为优选，联结度D的计算公式为：
；
其中，Di，i-1为第i个业务主体和第i-1个业务主体之间的联结度，qi-1为第i-1个业务主体参与运算的数据量；qi为第i个业务主体参与运算的数据量；ti为第i个业务主体参与运算的数据量的运算耗时，ti-1为第i-1个业务主体参与运算的数据量的运算耗时。
本方案中，考虑了业务主体间数据流量和处理速度的差异，更加客观地反映了业务主体之间的联系紧密程度；更好地理解和分析各业务主体的关联性，从而实现更加高效的多业务场景数据协同处置，提升了整体业务处理效率。
作为优选，步骤S2中，基于能耗因子对子业务链路中的子节点数据进行赋能得到子业务链路的能耗值；
包括：基于子业务链路中的所有子节点数据所需的算力与运算耗时的比值得到能耗因子；
基于能耗因子与对应子节点数据的数据量之积得到子业务链路的能耗值。
本方案中，基于子业务链路的具体数据特征以及数据处理的算力与运算耗时比值，量化地计算出子业务链路的能耗值，充分考虑了数据的处理成本和计算资源的利用效率，能够更加准确地估计子业务链路的能耗情况；能耗值的计算为计算资源管理和分配提供了依据，有助于制定资源分配优化策略，降低运营成本。
作为优选，子业务链路的能耗值计算公式为：
；
其中，ai为第i个子业务链路的能耗值，Ci,j为第i个子业务链路中第j个子节点数据处理所需算力，qi,j为第i个子业务链路中第j个子节点数据对于的数据量，ti,j为第i个子业务链路中第j个子节点数据处理所需耗时，M为第j个子业务链路对应的子节点数据的上限值。
作为优选，步骤S2中，业务线的资源能耗量计算公式为：
；
其中，Ag为第g条业务线对应的资源能耗量；N为第g条业务线对应的子业务链路的上限值。
作为优选，S3中，轮次执行S1~S2得到若干业务线构建业务服务画像集合；基于业务服务画像的安全因子、紧迫因子、资源能耗量得到对应业务线的重要度值，基于重要度值对业务服务画像集合进行重构得到业务服务画像重构集合；包括如下步骤：
S31、轮次执行S1~S2得到若干业务线构建业务服务画像集合，其中/>，G为参与运算的业务线的条数；
S32、基于业务线中涉及到的各子节点数据的安全等级为I类等级的数据量占总数据量之比获得对应的安全因子h；
S33、基于业务线中涉及到的各子节点数据的紧急程度为I类等级的数据量占总数据量之比获得对应的紧迫因子k；
S34、基于业务线对应的安全因子h、紧迫因子k、资源能耗量求积得到对应业务线的重要度值E；
S35、基于业务线的重要度值E由大到小对业务服务画像集合L中业务线进行优先度排序得到业务服务画像重构集合Lx。
本方案中，根据业务的安全性、紧急性和资源能耗量计算出业务线的重要度值，并根据重要度值对业务服务画像集合进行重构，有助于更好地管理和协同处置多业务场景下的数据，提高了业务线处理的整体效率和优先级管理能力；通过重要度值的计算和业务服务画像的重构，系统能够更好地管理不同业务线的优先级，确保重要的业务得到优先处理；通过考虑资源能耗量，系统能够在优先处理重要业务的同时，进行资源的合理分配，提高资源的利用效率；通过安全因子和紧急因子的引入，使得业务协同处置更加注重业务的安全性和紧急性，增强了系统的灵活性和应急能力；其中紧急程度按照数据处理紧急程度分为I级和II级，其中I级涉及急需处理的数据，例如具备时效性的数据；安全等级根据子节点数据的安全级别为I级和II级，其中，I级表征涉及到了业务敏感数据或管理权限大于设定权限阈值的数据。
作为优选，S4中，基于业务服务画像重构集合中各业务线的业务能耗获取隶属于最大执行路径上的初始能耗密度序列；包括如下步骤：
S41、基于业务服务画像重构集合Lx中所有业务线依次进行处理所需的最大时长获得最大执行路径；
S42、获取每一个业务线所需处理的待处理数据量所对应的时间尺度Tg；基于待处理数据量Qg与时间尺度Tg的比值到当前业务线的初始能耗密度ρg；
S43、依次计算所有业务线的初始能耗密度ρg得到初始能耗密度序列B1。
本方案中，通过对业务服务画像重构集合Lx中的所有业务线进行处理所需的最大时长的计算，系统获得了最大执行路径，助于找到最长的执行路径，确保能够在合理的时间内完成所有业务线的处理。系统获取每一个业务线所需处理的待处理数据量所对应的时间尺度Tg，通过计算待处理数据量Qg与时间尺度Tg的比值，得到了当前业务线的初始能耗密度ρg；考虑了数据处理的时间尺度，为初始能耗密度的计算提供了更加精确的依据；依次计算所有业务线的初始能耗密度ρg，从而得到初始能耗密度序列B1；反映了在最大执行路径上各业务线的初始能耗情况，为后续能耗调整提供了基础数据。
作为优选，S4中，基于业务服务画像重构集合中各业务线的业务能耗获取隶属于最大执行路径上的初始能耗密度序列，还包括：
S44、计算所有业务线的数据量之和得到待处理数据总量；待处理数据总量除以最大时长得到初始能耗平均密度。
本方案中，平均密度表示在单位时间内所处理的数据量，而能耗与数据处理密切相关；因此，初始能耗平均密度可以作为一个关键指标，帮助系统全面评估业务线的整体能耗情况；初始能耗平均密度的计算可以帮助系统识别能耗的趋势；如果平均密度在不同时间段内波动较大，系统可以分析是哪些业务线或什么样的数据处理导致了这种波动（例如数据密度过大时，可能存在数据包所包含的数据量过大；或是数据包的安全级别较高，导致数据加密解密过程所需要的时间运算量大），从而有针对性地进行调整和优化；初始能耗平均密度可以作为能耗优化的依据。如果某个业务线的平均密度远高于其他业务线，系统可以推测该业务线可能存在效率问题或者数据处理方式不合理，需要配置更多的计算资源进行业务处理，初始能耗平均密度还可以作为资源分配的参考；如果某个业务线的平均密度过高，系统可以根据这个指标将更多的计算资源分配给该业务线，以提高其处理效率，从而平衡能耗分布；通过计算初始能耗平均密度一次能耗密度序列，系统能够更全面地了解整体能耗情况，为能耗分析、优化和持续改进提供了重要依据，从而实现更加高效和可持续的业务协同处置。
作为优选，S5中，计算业务服务画像重构集合中各业务线的业务重合度对初始能耗平均密度进行稀释得到一次能耗密度序列；包括如下步骤：
S51、标记所有业务线中出现次数大于1的子节点数据为冗余子节点数据，计算所有冗余子节点数据除自身之外所对应的冗余数据量，并记录所有冗余子节点数据的编号；
S52、剔除待处理数据总量中的冗余数据量后得到一次瘦身数据总量；一次瘦身数据总量与最大时长的比值得到一次能耗平均密度；
S53、依次对服务画像重构集合中涉及冗余子节点数据的业务线进行数据瘦身得到一次能耗密度序列B2。
本方案中，通过冗余数据的标记和削减，系统能够减少待处理数据的数量，从而降低数据处理的工作量和能耗；一次能耗密度序列的计算考虑了数据瘦身后的数据总量和时间，有助于更精确地估计能耗，从而优化能耗分配和管理；数据瘦身和能耗密度稀释能够减少业务线处理的数据量，提高数据处理效率，加快业务协同处置的速度；基于一次能耗密度序列，系统可以更好地进行资源分配，确保资源被合理分配到各业务线，进一步降低能耗成本。
作为优选，S6中，基于资源调配池在标准执行路径上的计算资源分布对最大执行路径上的一次能耗密度进行浓缩得到二次能耗密度序列；包括如下步骤：
S61、以标准执行路径作为横坐标，以计算资源分布作为纵坐标构建资源分布曲线，获取隶属于执行路径的资源分配区域；
S62、基于一次能耗密度序列B2中各业务线的资源能耗量依次对资源分配区域进行分割得到资源分配子区域；
S63、依次获取资源分配子区域所对于的执行路径区间，基于执行路径区间对一次能耗密度序列B2中各业务线对应的时间尺度进行调整得到二次能耗密度序列B3。
本方案中，构建资源分布曲线和资源分配子区域有助于系统更精确地考虑不同业务线在标准执行路径上的资源分布情况，从而优化能耗分配；通过基于执行路径区间对时间尺度进行调整，系统更好地反映了不同业务线在不同执行路径上的实际时间情况，提高了能耗密度的准确性；二次能耗密度序列的计算在资源分布和时间尺度调整的基础上，实现了对一次能耗密度的进一步浓缩，从而更准确地估计业务线在最大执行路径上的能耗情况；二次能耗密度序列可以作为资源优化的参考，系统可以根据这个序列更好地分配计算资源，实现资源的合理配置和能耗的最优化。
作为优选，S7中，获取二次能耗密度序列对应的业务服务画像修正集合；基于业务服务画像修正集合进行业务协同处置；包括如下步骤：
S71、依次获取二次能耗密度序列中各资源分配子区域对应的业务服务画像构建业务服务画像修正集合Ly；
S72、基于冗余子节点数据的编号对业务服务画像修正集合进行业务标记；
S73、冗余子节点数据基于业务标记关联业务服务画像修正集合进行业务协同处置。
本方案中，通过将二次能耗密度序列与业务服务画像关联，系统可以获得对业务服务画像的进一步修正，更准确地反映了各资源分配子区域的业务特点；业务标记和业务协同处置的过程有助于系统识别和处理冗余子节点数据，减少对业务执行的干扰，提高业务协同效果，减少参与计算的数据量，减少冗余数据的干扰；系统能够针对冗余数据进行优化处理，提高了业务的执行效率和结果质量；从而实现更高效、更精确的业务协同处置。
第二方面，本发明实施例中还提供的一种技术方案是：多场景业务数据协同处置系统，包括：
业务画像构建模块：基于业务线的业务服务路径获取业务服务画像，获取业务服务画像中各业务主体对应的子业务链路以及计算各业务主体之间的联结度；
计算模块：基于能耗因子对子业务链路中的子节点数据进行赋能得到子业务链路的能耗值，基于各子业务链路的能耗值以及各业务主体之间的联结度得到业务线的资源能耗量；
业务画像重构模块：基于业务服务画像的安全因子、紧迫因子、资源能耗量得到对应业务线的重要度值，基于重要度值对业务服务画像集合进行重构得到业务服画像重构集合；
第一序列构建模块：基于业务服务画像重构集合中各业务线的业务能耗获取隶属于最大执行路径上的初始能耗密度序列；
第二序列构建模块：计算业务服务画像重构集合中各业务线的业务重合度对初始能耗平均密度进行稀释得到一次能耗密度序列；
第三序列构建模块：基于资源调配池在标准执行路径上的计算资源分布对最大执行路径上的一次能耗密度进行浓缩得到二次能耗密度序列；
协同处置模块：获取二次能耗密度序列对应的业务服务画像修正集合；基于业务服务画像修正集合进行业务协同处置。
第三方面，本发明实施例中提供的一种技术方案是：一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现基于大数据平台的多场景业务数据协同处置方法的步骤。
第四方面，本发明实施例中提供的一种技术方案是：一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现基于大数据平台的多场景业务数据协同处置方法的步骤。
本发明具备如下实质性效果：
1、本申请通过多次轮次执行，逐步优化了业务服务画像、能耗计算和资源分配，从而在多业务场景下实现高效的数据协同处置。通过结合重要度值、能耗评估和资源分布，能够在保障业务优先级的同时，高效利用计算资源，从而显著提高了多业务场景下海量数据协同处置的效率，确保业务线的高效执行；
2、针对业务线存在重复数据处理导致的数据量过大的问题，通过标记和处理冗余子节点数据，剔除了冗余数据对业务分析和决策的干扰，优化了数据处理过程，降低了不必要的计算成本，同时提高了业务协同处置的效率。优化后的数据集更加紧凑，更有利于数据分析和决策制定，有助于决策者更准确地了解业务现状，制定更精准的策略；
3、构建资源分布曲线和资源分配子区域有助于系统更精确地考虑不同业务线在标准执行路径上的资源分布情况，从而优化能耗分配；通过基于执行路径区间对时间尺度进行调整，系统更好地反映了不同业务线在不同执行路径上的实际时间情况，提高了能耗密度的准确性；通过对初始能耗密度序列进行两次调整得到二次能耗密度序列，基于计算资源分布和执行时间尺度调整的基础上，实现了对一次能耗密度的进一步浓缩，从而更准确地估计业务线在最大执行路径上的能耗情况；二次能耗密度序列可以作为资源优化的参考，系统可以根据这个序列更好地分配计算资源，实现资源的合理配置和能耗的最优化。
上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
图1为本发明的基于大数据平台的多场景业务数据协同处置方法流程图。
具体实施方式
为使本发明的目的、技术方案以及优点更加清楚明白，下面结合附图和实施例对本发明作进一步详细说明，应当理解的是，此处所描述的具体实施方式仅是本发明的一种最佳实施例，仅用以解释本发明，并不限定本发明的保护范围，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤；所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一：如图1所示，基于大数据平台的多场景业务数据协同处置方法，适用于大数据平台与若干业务主体进行信息交互，包括如下步骤：
S1、基于业务线的业务服务路径获取业务服务画像，获取业务服务画像中各业务主体对应的子业务链路以及计算各业务主体之间的联结度。
具体地，包括如下步骤：
S11、基于业务线所涉及的业务主体以及业务主体对应的第一获取顺序获取业务服务画像；
S12、基于业务主体所涉及的业务数据以及业务数据对应的第二获取顺序获取各业务主体对应的子业务链路；
S13、基于相邻业务主体之间的数据量差值与运算时间差值的比值获取各业务主体之间的联结度D。
本实施例中，基于业务线所涉及的业务主体以及业务主体对应的第一获取顺序，使得系统可以快速获取业务服务画像，根据业务线的实际情况和获取顺序，有针对性地获取业务主体的信息，避免了不必要的获取过程，提高了获取效率；基于业务主体所涉及的业务数据以及业务数据对应的第二获取顺序，系统获取了各业务主体对应的子业务链路，通过根据业务数据的获取顺序，能够更加全面地获取业务链路信息，确保画像中的子业务链路准确反映了业务的实际关联性；基于相邻业务主体之间的数据量差值与运算时间差值的比值，系统计算了各业务主体之间的联结度D；考虑了业务主体间数据流量和处理速度的差异，更加客观地反映了业务主体之间的联系紧密程度；通过以上步骤，本申请能够高效获取业务服务画像，包括子业务链路和联结度信息，为后续的资源分配和协同处置提供了准确的基础。这种精细化的业务服务画像有助于系统更好地分析各业务主体的关联性，从而实现更加高效的多业务场景数据协同处置，提升了整体业务处理效率。
进一步地，联结度D的计算公式为：
；
其中，Di，i-1为第i个业务主体和第i-1个业务主体之间的联结度，qi-1为第i-1个业务主体参与运算的数据量；qi为第i个业务主体参与运算的数据量；ti为第i个业务主体参与运算的数据量的运算耗时，ti-1为第i-1个业务主体参与运算的数据量的运算耗时。
本实施例中，考虑了业务主体间数据流量和处理速度的差异，更加客观地反映了业务主体之间的联系紧密程度；更好地理解和分析各业务主体的关联性，从而实现更加高效的多业务场景数据协同处置，提升了整体业务处理效率。
针对不同的业务线，以下列举了对应的业务主体系统的子节点数据：例如，业务线可以包括电力网络规划业务L1、电力生产运行业务L2、电力交易业务L3等，不同的业务线采集的数据不同，可以认为不同的数据来源于不同的数据子节点（业务主体），例如：电力网络规划业务包括的子节点数据为：来源于电力规划业务主体L1-1的电力传输线路的拓扑结构与参数数据；来源于电力设备布局主体L1-2的变电站设备信息、参数与布局数据，电力数据采集主体L1-3的电力负荷实时数据和电力负荷预测数据；地理信息采集主体L1-4的地理位置、地形、用地情况信息；来源于再生能源采集主体L1-5的风力、太阳辐射能数据。其中，电力负荷实时数据和变电站设备信息的安全级别和紧急性均为I级，其余为II级，其中电力网络规划业务L1的业务服务画像。
进一步地，电力生产运行业务包括的子节点数据为：来源于发电机组采集主体L2-1的机组运行的电压、电流、功率、频率数据；来源于输电线路采集主体L2-2的输电线路负载数据；来源于变电站状态采集主体L2-3的变电站运行状态数据；电力数据采集主体L1-3的电力负荷实时数据；电力市场交易主体L2-4的交易价格数据；可知，电力负荷实时数据和变电站运行状态数据的安全级别和紧急性均为I级，其余为II级；且电力生产运行业务和电力网络规划业务存在电力数据采集主体的电力负荷实时数据重合；可以计算其一即可, 其中电力生产运行业务L2的业务服务画像。
进一步地，电力交易业务包括的子节点数据为：来源于电力市场交易主体L2-4的市场电价、交易价格数据、电力市场交易量与价格数据；来源于成交主体L3-1的采购合同和交易记录数据；来源于电力数据采集主体L3-2的电力负荷实时数据与实际发电量数据；可知，电力负荷实时数据、采购合同和交易记录数据的安全级别和紧急性均为I级，其余为II级；且电力交易业务分别与电力网络规划业务以及电力生产运行业务存在电力数据采集主体的电力负荷实时数据重合；可以计算其一即可；且电力交易业务和电力生产运行业务存在电力市场交易主体的交易价格数据重合；可以计算其一即可, 其中电力交易业务L3的业务服务画像。
S2、基于能耗因子对子业务链路中的子节点数据进行赋能得到子业务链路的能耗值，基于各子业务链路的能耗值以及各业务主体之间的联结度得到业务线的资源能耗量。
具体地，基于能耗因子对子业务链路中的子节点数据进行赋能得到子业务链路的能耗值；包括：
基于子业务链路中的所有子节点数据所需的算力与运算耗时的比值得到能耗因子；
基于能耗因子与对应子节点数据的数据量之积得到子业务链路的能耗值。
本实施例中，基于子业务链路的具体数据特征以及数据处理的算力与运算耗时比值，量化地计算出子业务链路的能耗值，充分考虑了数据的处理成本和计算资源的利用效率，能够更加准确地估计子业务链路的能耗情况；能耗值的计算为计算资源管理和分配提供了依据，有助于制定资源分配优化策略，降低运营成本。
进一步地，子业务链路的能耗值计算公式为：
；
其中，ai为第i个子业务链路的能耗值，Ci,j为第i个子业务链路中第j个子节点数据处理所需算力，qi,j为第i个子业务链路中第j个子节点数据对于的数据量，ti,j为第i个子业务链路中第j个子节点数据处理所需耗时，M为第j个子业务链路对应的子节点数据的上限值。
进一步地，业务线的资源能耗量计算公式为：
；
其中，Ag为第g条业务线对应的资源能耗量；N为第g条业务线对应的子业务链路的上限值。
S3、轮次执行S1~S2得到若干业务线构建业务服务画像集合；基于业务服务画像的安全因子、紧迫因子、资源能耗量得到对应业务线的重要度值，基于重要度值对业务服务画像集合进行重构得到业务服务画像重构集合。
具体地，包括如下步骤：
S31、轮次执行S1~S2得到若干业务线构建业务服务画像集合，其中/>，G为参与运算的业务线的条数；
S32、基于业务线中涉及到的各子节点数据的安全等级为I类等级的数据量占总数据量之比获得对应的安全因子h；
S33、基于业务线中涉及到的各子节点数据的紧急程度为I类等级的数据量占总数据量之比获得对应的紧迫因子k；
S34、基于业务线对应的安全因子h、紧迫因子k、资源能耗量求积得到对应业务线的重要度值E；
S35、基于业务线的重要度值E由大到小对业务服务画像集合L中业务线进行优先度排序得到业务服务画像重构集合Lx。
本实施例中，根据业务的安全性、紧急性和资源能耗量计算出业务线的重要度值，并根据重要度值对业务服务画像集合进行重构，有助于更好地管理和协同处置多业务场景下的数据，提高了业务线处理的整体效率和优先级管理能力；通过重要度值的计算和业务服务画像的重构，系统能够更好地管理不同业务线的优先级，确保重要的业务得到优先处理；通过考虑资源能耗量，系统能够在优先处理重要业务的同时，进行资源的合理分配，提高资源的利用效率；通过安全因子和紧急因子的引入，使得业务协同处置更加注重业务的安全性和紧急性，增强了系统的灵活性和应急能力；其中紧急程度按照数据处理紧急程度分为I级和II级，其中I级涉及急需处理的数据，例如具备时效性的数据；安全等级根据子节点数据的安全级别为I级和II级，其中，I级表征涉及到了业务敏感数据或管理权限大于设定权限阈值的数据；当业务线为三条时，经过上述方法计算每条业务线的重要度值，可以对业务服务画像L=[L1,L2,L3]进行重构得到业务服务画像重构集合Lx=[L3,L1,L2]，其中，业务线的重要度值E由大到小对业务线进行排序为L3、L1、L2。
S4、基于业务服务画像重构集合中各业务线的业务能耗获取隶属于最大执行路径上的初始能耗密度序列。
具体地，包括如下步骤：
S41、基于业务服务画像重构集合Lx中所有业务线依次进行处理所需的最大时长获得最大执行路径；
S42、获取每一个业务线所需处理的待处理数据量所对应的时间尺度Tg；基于待处理数据量Qg与时间尺度Tg的比值到当前业务线的初始能耗密度ρg；
S43、依次计算所有业务线的初始能耗密度ρg得到初始能耗密度序列B1。
本方案中，通过对业务服务画像重构集合Lx中的所有业务线进行处理所需的最大时长的计算，系统获得了最大执行路径，助于找到最长的执行路径，确保能够在合理的时间内完成所有业务线的处理。系统获取每一个业务线所需处理的待处理数据量所对应的时间尺度Tg，通过计算待处理数据量Qg与时间尺度Tg的比值，得到了当前业务线的初始能耗密度ρg；考虑了数据处理的时间尺度，为初始能耗密度的计算提供了更加精确的依据；依次计算所有业务线的初始能耗密度ρg，从而得到初始能耗密度序列B1；反映了在最大执行路径上各业务线的初始能耗情况，为后续能耗调整提供了基础数据。
进一步地，S4中，基于业务服务画像重构集合中各业务线的业务能耗获取隶属于最大执行路径上的初始能耗密度序列，还包括：
S44、计算所有业务线的数据量之和得到待处理数据总量；待处理数据总量除以最大时长得到初始能耗平均密度。
本实施例中，平均密度表示在单位时间内所处理的数据量，而能耗与数据处理密切相关；因此，初始能耗平均密度可以作为一个关键指标，帮助系统全面评估业务线的整体能耗情况；初始能耗平均密度的计算可以帮助系统识别能耗的趋势；如果平均密度在不同时间段内波动较大，系统可以分析是哪些业务线或什么样的数据处理导致了这种波动（例如数据密度过大时，可能存在数据包所包含的数据量过大；或是数据包的安全级别较高，导致数据加密解密过程所需要的时间运算量大），从而有针对性地进行调整和优化；初始能耗平均密度可以作为能耗优化的依据。如果某个业务线的平均密度远高于其他业务线，系统可以推测该业务线可能存在效率问题或者数据处理方式不合理，需要配置更多的计算资源进行业务处理，初始能耗平均密度还可以作为资源分配的参考；如果某个业务线的平均密度过高，系统可以根据这个指标将更多的计算资源分配给该业务线，以提高其处理效率，从而平衡能耗分布；通过计算初始能耗平均密度一次能耗密度序列，系统能够更全面地了解整体能耗情况，为能耗分析、优化和持续改进提供了重要依据，从而实现更加高效和可持续的业务协同处置。
S5、计算业务服务画像重构集合中各业务线的业务重合度对初始能耗平均密度进行稀释得到一次能耗密度序列。
作为优选，S5中，计算业务服务画像重构集合中各业务线的业务重合度对初始能耗平均密度进行稀释得到一次能耗密度序列；包括如下步骤：
S51、标记所有业务线中出现次数大于1的子节点数据为冗余子节点数据，计算所有冗余子节点数据除自身之外所对应的冗余数据量，并记录所有冗余子节点数据的编号；
S52、剔除待处理数据总量中的冗余数据量后得到一次瘦身数据总量；一次瘦身数据总量与最大时长的比值得到一次能耗平均密度；
S53、依次对服务画像重构集合中涉及冗余子节点数据的业务线进行数据瘦身得到一次能耗密度序列B2。
本实施例中，在S51阶段，系统标记所有业务线中出现次数大于1的子节点数据为冗余子节点数据助于识别出在多个业务线中都存在的数据，进而确定哪些数据是冗余的；系统计算所有冗余子节点数据除自身之外所对应的冗余数据量，并记录所有冗余子节点数据的编号，可以准确地确定冗余数据的数量，为后续的数据处理提供依据；在S52阶段，系统剔除待处理数据总量中的冗余数据量，得到一次瘦身数据总量；可以有效地去除冗余数据，从而减少需要处理的数据量，提高数据处理效率。将一次瘦身数据总量与最大时长的比值，得到一次能耗平均密度。基于瘦身后的数据总量和时间，能够更准确地估计业务线在最大执行路径上的能耗情况；在S53阶段，系统依次对服务画像重构集合中涉及冗余子节点数据的业务线进行数据瘦身；有助于针对性地优化业务线的数据处理，进一步降低能耗密度。通过冗余数据的标记和削减，系统能够减少待处理数据的数量，从而降低数据处理的工作量和能耗；一次能耗密度序列的计算考虑了数据瘦身后的数据总量和时间，有助于更精确地估计能耗，从而优化能耗分配和管理；数据瘦身和能耗密度稀释能够减少业务线处理的数据量，提高数据处理效率，加快业务协同处置的速度；基于一次能耗密度序列，系统可以更好地进行资源分配，确保资源被合理分配到各业务线，进一步降低能耗成本。
S6、基于资源调配池在标准执行路径上的计算资源分布对最大执行路径上的一次能耗密度进行浓缩得到二次能耗密度序列。
具体地，包括如下步骤：
S61、以标准执行路径作为横坐标，以计算资源分布作为纵坐标构建资源分布曲线，获取隶属于执行路径的资源分配区域；
S62、基于一次能耗密度序列B2中各业务线的资源能耗量依次对资源分配区域进行分割得到资源分配子区域；
S63、依次获取资源分配子区域所对于的执行路径区间，基于执行路径区间对一次能耗密度序列B2中各业务线对应的时间尺度进行调整得到二次能耗密度序列B3。
本方案中，在S61阶段，系统以标准执行路径作为横坐标，以计算资源分布作为纵坐标构建资源分布曲线。资源分布曲线反映了在标准执行路径上的资源分布情况，有助于后续的能耗浓缩过程；在S62阶段，系统基于一次能耗密度序列B2中各业务线的资源能耗量，依次对资源分布区域进行分割，得到资源分配子区域；有助于确定每个子区域内对应的业务线及其能耗情况。在S63阶段，系统依次获取资源分配子区域所对应的执行路径区间，并基于执行路径区间对一次能耗密度序列B2中各业务线对应的时间尺度进行调整，得到二次能耗密度序列B3。考虑了执行路径对应的时间，进一步对能耗密度进行了精细化的浓缩。通过以上步骤，本实施例能够计算出二次能耗密度序列，其中基于资源分布和执行路径的调整，实现了对一次能耗密度的更进一步浓缩。
可以理解的是，构建资源分布曲线和资源分配子区域有助于系统更精确地考虑不同业务线在标准执行路径上的资源分布情况，从而优化能耗分配；通过基于执行路径区间对时间尺度进行调整，系统更好地反映了不同业务线在不同执行路径上的实际时间情况，提高了能耗密度的准确性；二次能耗密度序列的计算在资源分布和时间尺度调整的基础上，实现了对一次能耗密度的进一步浓缩，从而更准确地估计业务线在最大执行路径上的能耗情况；二次能耗密度序列可以作为资源优化的参考，系统可以根据这个序列更好地分配计算资源，实现资源的合理配置和能耗的最优化。
S7、获取二次能耗密度序列对应的业务服务画像修正集合；基于业务服务画像修正集合进行业务协同处置。
具体地，包括如下步骤：
S71、依次获取二次能耗密度序列中各资源分配子区域对应的业务服务画像构建业务服务画像修正集合Ly；
S72、基于冗余子节点数据的编号对业务服务画像修正集合进行业务标记；
S73、冗余子节点数据基于业务标记关联业务服务画像修正集合进行业务协同处置。
本实施例中，在S71阶段，将业务服务画像与能耗密度序列相对应，为后续的业务修正和协同处置提供了基础数据。在S72阶段，系统基于冗余子节点数据的编号对业务服务画像修正集合进行业务标记。基于业务标记可以识别哪些业务服务画像中涉及到了冗余子节点数据，从而有针对性地进行后续的业务调度，减少参与计算的数据量；在S73阶段，系统通过关联业务标记与业务服务画像修正集合，对冗余子节点数据进行业务协同处置。通过将二次能耗密度序列与业务服务画像关联，系统可以获得对业务服务画像的进一步修正，更准确地反映了各资源分配子区域的业务特点；业务标记和业务协同处置的过程有助于系统识别和处理冗余子节点数据，减少对业务执行的干扰，提高业务协同效果，减少参与计算的数据量，减少冗余数据的干扰；系统能够针对冗余数据进行优化处理，提高了业务的执行效率和结果质量；从而实现更高效、更精确的业务协同处置。
实施例二：作为本实施例的可选实施方案，还提供的一种多场景业务数据协同处置系统，具体构成如下：
业务画像构建模块：基于业务线的业务服务路径获取业务服务画像，获取业务服务画像中各业务主体对应的子业务链路以及计算各业务主体之间的联结度；
计算模块：基于能耗因子对子业务链路中的子节点数据进行赋能得到子业务链路的能耗值，基于各子业务链路的能耗值以及各业务主体之间的联结度得到业务线的资源能耗量；
业务画像重构模块：基于业务服务画像的安全因子、紧迫因子、资源能耗量得到对应业务线的重要度值，基于重要度值对业务服务画像集合进行重构得到业务服画像重构集合；
第一序列构建模块：基于业务服务画像重构集合中各业务线的业务能耗获取隶属于最大执行路径上的初始能耗密度序列；
第二序列构建模块：计算业务服务画像重构集合中各业务线的业务重合度对初始能耗平均密度进行稀释得到一次能耗密度序列；
第三序列构建模块：基于资源调配池在标准执行路径上的计算资源分布对最大执行路径上的一次能耗密度进行浓缩得到二次能耗密度序列；
协同处置模块：获取二次能耗密度序列对应的业务服务画像修正集合；基于业务服务画像修正集合进行业务协同处置。
本实施例至少具备如下实质性效果，针对目前大数据平台对于多场景下的海量数据进行业务协同处置的效率不高的技术问题，首先，本申请基于业务线的业务服务路径获取业务服务画像，获得了各业务主体对应的子业务链路以及业务主体之间的联结度；其次，通过能耗因子对子业务链路中的子节点数据进行赋能，计算子业务链路的能耗值，再基于子业务链路的能耗值和业务主体之间的联结度，得到业务线的资源能耗量；这使得系统能够对不同业务线的资源能耗进行客观量化评估，有助于进行资源的优化分配，从而提高资源的利用效率；然后，结合安全因子、紧迫因子以及资源能耗量，对业务服务画像集合进行重构，得到业务服务画像重构集合；这些重构的画像具备更高的准确性和综合性，能够更好地反映业务线的关联和依赖关系，从而为后续的能耗计算和资源分配提供更精准的指导；通过S4和S5阶段，首先获取业务服务画像重构集合中各业务线的业务能耗，进一步计算得到初始能耗密度序列。随后，通过业务重合度的计算和稀释处理，减少了参与计算资源分配的待处理数据量，从而降低了计算负荷，优化了系统性能；通过S6阶段，基于资源调配池在标准执行路径上的计算资源分布，对最大执行路径上的一次能耗密度进行浓缩，得到二次能耗密度序列；然后，根据二次能耗密度序列获取业务服务画像修正集合，以便更精确地指导业务协同处置。最终，基于业务服务画像修正集合进行业务协同处置，保障了多业务场景下海量数据的高效处理。整个方案通过多次轮次执行，逐步优化了业务服务画像、能耗计算和资源分配，从而在多业务场景下实现高效的数据协同处置。通过结合重要度值、能耗评估和资源分布，能够在保障业务优先级的同时，高效利用计算资源，从而显著提高了多业务场景下海量数据协同处置的效率，确保业务线的高效执行。
实施例三：本发明实施例中提供的一种技术方案是一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现基于大数据平台的多场景业务数据协同处置方法的步骤。
实施例四：本发明实施例中提供的一种技术方案是：一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如基于大数据平台的多场景业务数据协同处置方法的步骤。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中可以根据需要而将上述功能分配由不同的功能模块完成，即将具体装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的实施例中，应该理解到，所揭露的结构和方法，可以通过其它的方式实现。例如，以上所描述的关于结构的实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个结构，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，结构或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述之具体实施方式为本发明基于大数据平台的多场景业务数据协同处置方法及系统的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明之形状、结构所作的等效变化均在本发明的保护范围内。

Claims (15)

1.基于大数据平台的多场景业务数据协同处置方法，适用于大数据平台与若干业务主体进行信息交互，其特征在于：包括如下步骤：
S1、基于业务线的业务服务路径获取业务服务画像，获取业务服务画像中各业务主体对应的子业务链路以及计算各业务主体之间的联结度；
S2、基于能耗因子对子业务链路中的子节点数据进行赋能得到子业务链路的能耗值，基于各子业务链路的能耗值以及各业务主体之间的联结度得到业务线的资源能耗量；
S3、轮次执行S1~S2得到若干业务线构建业务服务画像集合；基于业务服务画像的安全因子、紧迫因子、资源能耗量得到对应业务线的重要度值，基于重要度值对业务服务画像集合进行重构得到业务服务画像重构集合；
S4、基于业务服务画像重构集合中各业务线的业务能耗获取隶属于最大执行路径上的初始能耗密度序列；
S5、计算业务服务画像重构集合中各业务线的业务重合度对初始能耗平均密度进行稀释得到一次能耗密度序列；
S6、基于资源调配池在标准执行路径上的计算资源分布对最大执行路径上的一次能耗密度进行浓缩得到二次能耗密度序列；
S7、获取二次能耗密度序列对应的业务服务画像修正集合；基于业务服务画像修正集合进行业务协同处置。
2.根据权利要求1所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
S1中，基于业务线的业务服务路径获取业务服务画像，获取业务服务画像中各业务主体对应的子业务链路以及计算各业务主体之间的联结度；包括如下步骤：
S11、基于业务线所涉及的业务主体以及业务主体对应的第一获取顺序获取业务服务画像；
S12、基于业务主体所涉及的业务数据以及业务数据对应的第二获取顺序获取各业务主体对应的子业务链路；
S13、基于相邻业务主体之间的数据量差值与运算时间差值的比值获取各业务主体之间的联结度D。
3.根据权利要求2所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
联结度D的计算公式为：
Di，i-1=|qi-1-qi|/|t i-1-t i|；
其中，Di，i-1为第i个业务主体和第i-1个业务主体之间的联结度，qi-1为第i-1个业务主体参与运算的数据量；qi为第i个业务主体参与运算的数据量；t i为第i个业务主体参与运算的数据量的运算耗时，ti-1为第i-1个业务主体参与运算的数据量的运算耗时。
4. 根据权利要求3所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
步骤S2中，基于能耗因子对子业务链路中的子节点数据进行赋能得到子业务链路的能耗值
包括：
基于子业务链路中的所有子节点数据所需的算力与运算耗时的比值得到能耗因子；
基于能耗因子与对应子节点数据的数据量之积得到子业务链路的能耗值。
5.根据权利要求4所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
子业务链路的能耗值计算公式为：
；
其中，ai为第i个子业务链路的能耗值，Ci,j为第i个子业务链路中第j个子节点数据处理所需算力，qi,j为第i个子业务链路中第j个子节点数据对于的数据量，ti,j为第i个子业务链路中第j个子节点数据处理所需耗时，M为第j个子业务链路对应的子节点数据的上限值。
6.根据权利要求5所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
步骤S2中，业务线的资源能耗量计算公式为：
；
其中，Ag为第g条业务线对应的资源能耗量；N为第g条业务线对应的子业务链路的上限值。
7.根据权利要求1所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
S3中，轮次执行S1~S2得到若干业务线构建业务服务画像集合；基于业务服务画像的安全因子、紧迫因子、资源能耗量得到对应业务线的重要度值，基于重要度值对业务服务画像集合进行重构得到业务服务画像重构集合；包括如下步骤：
S31、轮次执行S1~S2得到若干业务线构建业务服务画像集合，其中/>，G为参与运算的业务线的条数；
S32、基于业务线中涉及到的各子节点数据的安全等级为I类等级的数据量占总数据量之比获得对应的安全因子h；
S33、基于业务线中涉及到的各子节点数据的紧急程度为I类等级的数据量占总数据量之比获得对应的紧迫因子k；
S34、基于业务线对应的安全因子h、紧迫因子k、资源能耗量求积得到对应业务线的重要度值E；
S35、基于业务线的重要度值E由大到小对业务服务画像集合L中业务线进行优先度排序得到业务服务画像重构集合Lx。
8.根据权利要求1所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
S4中，基于业务服务画像重构集合中各业务线的业务能耗获取隶属于最大执行路径上的初始能耗密度序列；包括如下步骤：
S41、基于业务服务画像重构集合Lx中所有业务线依次进行处理所需的最大时长获得最大执行路径；
S42、获取每一个业务线所需处理的待处理数据量所对应的时间尺度Tg；基于待处理数据量Qg与时间尺度Tg的比值到当前业务线的初始能耗密度ρg；
S43、依次计算所有业务线的初始能耗密度ρg得到初始能耗密度序列B1。
9.根据权利要求8所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
还包括：
S44、计算所有业务线的数据量之和得到待处理数据总量；待处理数据总量除以最大时长得到初始能耗平均密度。
10.根据权利要求1所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
S5中，计算业务服务画像重构集合中各业务线的业务重合度对初始能耗平均密度进行稀释得到一次能耗密度序列；包括如下步骤：
S51、标记所有业务线中出现次数大于1的子节点数据为冗余子节点数据，计算所有冗余子节点数据除自身之外所对应的冗余数据量，并记录所有冗余子节点数据的编号；
S52、剔除待处理数据总量中的冗余数据量后得到一次瘦身数据总量；一次瘦身数据总量与最大时长的比值得到一次能耗平均密度；
S53、依次对服务画像重构集合中涉及冗余子节点数据的业务线进行数据瘦身得到一次能耗密度序列B2。
11.根据权利要求1或10所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
S6中，基于资源调配池在标准执行路径上的计算资源分布对最大执行路径上的一次能耗密度进行浓缩得到二次能耗密度序列；包括如下步骤：
S61、以标准执行路径作为横坐标，以计算资源分布作为纵坐标构建资源分布曲线，获取隶属于执行路径的资源分配区域；
S62、基于一次能耗密度序列B2中各业务线的资源能耗量依次对资源分配区域进行分割得到资源分配子区域；
S63、依次获取资源分配子区域所对于的执行路径区间，基于执行路径区间对一次能耗密度序列B2中各业务线对应的时间尺度进行调整得到二次能耗密度序列B3。
12.根据权利要求1所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：
S7中，获取二次能耗密度序列对应的业务服务画像修正集合；基于业务服务画像修正集合进行业务协同处置；包括如下步骤：
S71、依次获取二次能耗密度序列中各资源分配子区域对应的业务服务画像构建业务服务画像修正集合Ly；
S72、基于冗余子节点数据的编号对业务服务画像修正集合进行业务标记；
S73、冗余子节点数据基于业务标记关联业务服务画像修正集合进行业务协同处置。
13.多场景业务数据协同处置系统，适用于如权利要求1-12任一项所述的基于大数据平台的多场景业务数据协同处置方法，其特征在于：包括：
业务画像构建模块：基于业务线的业务服务路径获取业务服务画像，获取业务服务画像中各业务主体对应的子业务链路以及计算各业务主体之间的联结度；
计算模块：基于能耗因子对子业务链路中的子节点数据进行赋能得到子业务链路的能耗值，基于各子业务链路的能耗值以及各业务主体之间的联结度得到业务线的资源能耗量；
业务画像重构模块：基于业务服务画像的安全因子、紧迫因子、资源能耗量得到对应业务线的重要度值，基于重要度值对业务服务画像集合进行重构得到业务服画像重构集合；
第一序列构建模块：基于业务服务画像重构集合中各业务线的业务能耗获取隶属于最大执行路径上的初始能耗密度序列；
第二序列构建模块：计算业务服务画像重构集合中各业务线的业务重合度对初始能耗平均密度进行稀释得到一次能耗密度序列；
第三序列构建模块：基于资源调配池在标准执行路径上的计算资源分布对最大执行路径上的一次能耗密度进行浓缩得到二次能耗密度序列；
协同处置模块：获取二次能耗密度序列对应的业务服务画像修正集合；基于业务服务画像修正集合进行业务协同处置。
14.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至12中任一项所述的基于大数据平台的多场景业务数据协同处置方法的步骤。
15.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至12中任一项所述的基于大数据平台的多场景业务数据协同处置方法的步骤。
CN202311033274.6A 2023-08-16 2023-08-16 基于大数据平台的多场景业务数据协同处置方法及系统 Active CN116755890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311033274.6A CN116755890B (zh) 2023-08-16 2023-08-16 基于大数据平台的多场景业务数据协同处置方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311033274.6A CN116755890B (zh) 2023-08-16 2023-08-16 基于大数据平台的多场景业务数据协同处置方法及系统

Publications (2)

Publication Number Publication Date
CN116755890A true CN116755890A (zh) 2023-09-15
CN116755890B CN116755890B (zh) 2023-10-24

Family

ID=87957524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311033274.6A Active CN116755890B (zh) 2023-08-16 2023-08-16 基于大数据平台的多场景业务数据协同处置方法及系统

Country Status (1)

Country Link
CN (1) CN116755890B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575654A (zh) * 2023-11-27 2024-02-20 数翊科技(北京)有限公司 数据加工作业的调度方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1540922A (zh) * 2003-04-24 2004-10-27 华为技术有限公司 光同步数字传送网资源分配中子网间业务规整的实现方法
US20060037022A1 (en) * 2004-08-10 2006-02-16 Byrd Stephen A Apparatus, system, and method for automatically discovering and grouping resources used by a business process
CN103235742A (zh) * 2013-04-07 2013-08-07 山东大学 多核集群服务器上基于依赖度的并行任务分组调度方法
CN111813546A (zh) * 2020-06-30 2020-10-23 济南浪潮数据技术有限公司 一种多网络连接应用的资源分配方法、系统及相关装置
CN112182007A (zh) * 2020-10-19 2021-01-05 詹启新 基于人工智能的云计算的数据处理方法及人工智能平台
CN113326427A (zh) * 2020-11-17 2021-08-31 崔海燕 基于大数据定位的业务推送配置更新方法及云计算中心
CN114091956A (zh) * 2021-11-29 2022-02-25 中国平安财产保险股份有限公司 业务资源处理方法、装置、计算机设备和存储介质
CN114371946A (zh) * 2022-01-11 2022-04-19 企知眼数据科技(浙江)有限公司 基于云计算和大数据的信息推送方法及信息推送服务器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1540922A (zh) * 2003-04-24 2004-10-27 华为技术有限公司 光同步数字传送网资源分配中子网间业务规整的实现方法
US20060037022A1 (en) * 2004-08-10 2006-02-16 Byrd Stephen A Apparatus, system, and method for automatically discovering and grouping resources used by a business process
CN103235742A (zh) * 2013-04-07 2013-08-07 山东大学 多核集群服务器上基于依赖度的并行任务分组调度方法
CN111813546A (zh) * 2020-06-30 2020-10-23 济南浪潮数据技术有限公司 一种多网络连接应用的资源分配方法、系统及相关装置
CN112182007A (zh) * 2020-10-19 2021-01-05 詹启新 基于人工智能的云计算的数据处理方法及人工智能平台
CN113326427A (zh) * 2020-11-17 2021-08-31 崔海燕 基于大数据定位的业务推送配置更新方法及云计算中心
CN114091956A (zh) * 2021-11-29 2022-02-25 中国平安财产保险股份有限公司 业务资源处理方法、装置、计算机设备和存储介质
CN114371946A (zh) * 2022-01-11 2022-04-19 企知眼数据科技(浙江)有限公司 基于云计算和大数据的信息推送方法及信息推送服务器

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
何同飞: "基于Hadoop的大数据处理平台设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
李华强;李旭翔;阚力丰;: "能源互联网背景下综合能源服务市场运营模式及关键技术", 工程科学与技术, no. 04 *
杜文峰;高思宁;: "一种流量感知的LTE网络节能资源分配算法", 小型微型计算机系统, no. 03 *
武文广;王朝亮;叶方彬;赵羚;张燕;肖坚红;: "用电信息采集系统多业务高效协同处理关键技术", 智慧电力, no. 11 *
阙凌燕: "基于数字孪生驱动的防灾减灾系统平战机制应用探索", 《科技与创新》, vol. 2023, no. 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575654A (zh) * 2023-11-27 2024-02-20 数翊科技(北京)有限公司 数据加工作业的调度方法及装置
CN117575654B (zh) * 2023-11-27 2024-05-14 数翊科技(北京)有限公司 数据加工作业的调度方法及装置

Also Published As

Publication number Publication date
CN116755890B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN109034445B (zh) 一种面向市场的电力管理系统和方法
CN116755890B (zh) 基于大数据平台的多场景业务数据协同处置方法及系统
Duan et al. Duopoly competition in dynamic spectrum leasing and pricing
CN109905882B (zh) 一种网络扩容方法及装置
CN114119290B (zh) 适用于碳排放数据的监控识别方法、装置及存储介质
Huang et al. Using truth detection to incentivize workers in mobile crowdsourcing
Chen et al. Operating reserves provision from residential users through load aggregators in smart grid: A game theoretic approach
CN111582850B (zh) 基于手机银行的电费充值方法及装置
CN110674452A (zh) 发电机组年度基础电量的分解方法和装置
CN115473894A (zh) 算网中基于区块链的算力安全感知及协同方法
CN116366669A (zh) 一种适用于众包系统的基于信誉值分权制衡的共识方法
CN113450158A (zh) 银行活动信息推送方法及装置
CN107197045A (zh) 云计算环境下虚拟机资源的分配方法及分配系统
CN116485517A (zh) 一种智能信贷服务管理系统
CN116546028A (zh) 服务请求的处理方法、装置、存储介质及电子设备
CN109697203A (zh) 指标异动分析方法及设备、计算机存储介质、计算机设备
CN115996412A (zh) 无线网络评估方法、装置、电子设备及存储介质
CN110689372A (zh) 广告投放实验的控制方法、装置及广告投放实验平台
Liu et al. Optimal SOC Headroom of Pump Storage Hydropower for Maximizing Joint Revenue from Day-Ahead and Real-Time Markets under Regional Transmission Organization Dispatch
CN113362178B (zh) 一种指导配电网对参与p2p交易用户收费的计算方法及装置
CN114024302B (zh) 用于评价台区的方法及装置
CN113489065B (zh) 一种聚合需求响应潜力值的获取方法、装置及电子设备
CN109740952A (zh) 一种基于单位竞价和贡献密度的群体感知数据收集方法
YANG et al. Privacy-Aware Multi-task Allocation for Hybrid Blockchain-enabled Mobile Crowdsensing with Wireless Sensor Networks.
Mattarozzi et al. Sustainability assessment: an integrated approach with inhabitant participation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant