CN115543626A - 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法 - Google Patents

采用异构计算资源负载均衡调度的电力缺陷图像仿真方法 Download PDF

Info

Publication number
CN115543626A
CN115543626A CN202211261462.XA CN202211261462A CN115543626A CN 115543626 A CN115543626 A CN 115543626A CN 202211261462 A CN202211261462 A CN 202211261462A CN 115543626 A CN115543626 A CN 115543626A
Authority
CN
China
Prior art keywords
simulation
defect
image
scheduling
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211261462.XA
Other languages
English (en)
Inventor
张殷
李国伟
王俊波
唐琪
刘益军
范心明
李新
熊仕斌
蒋维
罗容波
吴江一
董镝
宋安琪
黎小龙
陈贤熙
曾庆辉
章涛
刘少辉
吴焯军
刘昊
梁年柏
刘崧
王智娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Original Assignee
Guangdong Power Grid Co Ltd
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Foshan Power Supply Bureau of Guangdong Power Grid Corp filed Critical Guangdong Power Grid Co Ltd
Priority to CN202211261462.XA priority Critical patent/CN115543626A/zh
Publication of CN115543626A publication Critical patent/CN115543626A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,通过图像分割将大图像的缺陷仿真任务拆分为若干个小图像的缺陷仿真子任务;然后根据异构计算资源的集群状态和缺陷仿真子任务状态设计一个任务调度模拟器,利用该任务调度模拟器规划任务调度,使得资源消耗最小;按照所规划的任务调度,将缺陷仿真子任务分配到相应的异构计算资源,进行图像仿真后合并,得到最终的缺陷仿真图像。本发明通过利用异构资源对划分得到的小图像缺陷仿真子任务进行任务调度,使得仿真任务平均完成时间最小,提高了计算效率的同时也保证了电网高分辨率大图的缺陷仿真效果。

Description

采用异构计算资源负载均衡调度的电力缺陷图像仿真方法
技术领域
本发明属于电力仿真计算技术领域,具体涉及一种采用异构计算资源负载均衡调度的电力缺陷图像仿真方法。
背景技术
随着电力行业智能化的发展,基于人工智能技术的电力缺陷智能识别方案来取代人工巡检不但给电力系统提供了更加可靠的安全保障,而且还适应了智能变电站的发展趋势。然而,当前的用于缺陷检测的深度学习方法大多是基于大量缺陷样本建立模型,缺陷样本的缺乏导致模型训练效果差,难以上线。而且缺陷是由生产,维护过程中的非受控因素产生的,缺陷的形态是多种多样的,各种形态的样本很难收集完整,这也限制了深度学习在缺陷检测领域的应用。基于真实图像仿真缺陷可用于进行小样本缺陷数据集扩充,是解决上述问题的一大方案,常见缺陷仿真方案包括,自动生成算法的典型算法有DCGAN、WGAN,输入一张缺陷图像可以直接生成多张真实的缺陷图像。半自动生成算法的典型算法有CGAN、CVAE、Pix2Pix,需要人工交互给定缺陷生成的类别或形状,然后根据给定信息生成指定类型缺陷。
然而,针对电网环节分辨率高的大图,例如4K图像,图像仿真缺陷算法存在两个问题,1、输入图像大,导致仿真算法要求的计算资源多,单节点处理情况甚至会导致计算资源不够,计算效率也比较低。2、直接对整张图像进行缺陷仿真,当缺陷为小目标,小目标仿真到大图像时,无法真正模拟环境细节,仿真效果差。
发明内容
有鉴于此,本发明旨在解决现有针对电网环节分辨率高的大图进行缺陷仿真时具有的上述问题。
为了解决上述技术问题,本发明提供以下技术方案:
一种采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,包括如下步骤:
获取待处理的仿真图片,根据待仿真缺陷,对仿真图片进行图像分割,将缺陷仿真任务拆分为缺陷仿真子任务;
利用任务调度模拟器规划任务调度,任务调度模拟器以资源消耗最小为目标,以异构计算资源满足缺陷仿真任务运行为约束条件进行任务调度的规划;
根据所规划的任务调度,将缺陷仿真子任务分配到相应的异构计算资源,进行图像仿真;
将各个异构计算资源的仿真图像进行合并,得到最终的缺陷仿真图像。
进一步的,根据待仿真缺陷,对仿真图片进行图像分割,将缺陷仿真任务拆分为缺陷仿真子任务,具体包括:
将待仿真缺陷的数量作为需要拆分的缺陷仿真子任务数量;
通过动态滑动算法以及与缺陷目标相匹配的分割窗口进行图像分割;
对于所述待仿真缺陷,得到分割后的图像大小和数量,以完成缺陷仿真子任务的创建。
进一步的,分割窗口的大小是根据缺陷目标的大小所确定的,分割窗口大小的确定流程具体为:
预设若干个图像滑动窗口的大小;
根据缺陷目标的面积计算滑动窗口选择面积,根据滑动窗口选择面积从若干个图像滑动窗口中进行选择,将大于所述滑动窗口选择面积的图像滑动窗口中面积最小的一个作为分割窗口。
进一步的,滑动窗口选择面积的计算式具体如下:
S=SDetect/SDetect_pic*SSimulation_pic
式中,S表示滑动窗口选择面积,SDetect表示仿真缺陷面积,SDetect_pic为仿真缺陷对应的图像面积,SSimulation_pic表示待仿真图像面积。
进一步的,分割后的图像数量的计算式具体如下:
N=floor(L/M)*floor(W/M)
式中,N表示分割后的图像数量,L为待仿真图像的长度,W为待仿真图像的宽度,M为所选择的图像滑动窗口大小,floor为向上取整。
进一步的,任务调度模拟器是根据异构计算资源的集群状态和缺陷仿真子任务状态设计而成,包括资源消耗记录、离线训练调优和在线调度三个部分,资源消耗记录具体包括:
构建一个初始的异构集群环境,异构集群环境中包括若干个可用的异构计算资源;
创建若干个仿真任务,每个仿真任务至少包含若干个子仿真任务,每个子仿真任务均进行图像分割;
记录初始的异构集群环境中,对每个仿真任务执行完图像仿真后的各个异构计算资源的计算状态,计算状态至少包括仿真计算所消耗的时间和等待时间。
进一步的,离线训练调优具体包括:
获取一个待训练的调度模型,并将资源消耗记录部分所记录的各个异构计算资源的计算状态以及子仿真任务的状态作为调度模型的输入,输出为每个异构计算资源被分配任务的概率;
通过奖励函数获取优化信号,奖励函数基于资源消耗记录部分所记录的仿真计算所消耗的时间生成优化信号;
利用优化器对调度模型进行优化,得到优化后调度模型;
将优化后的调度模型利用实测数据进行重复优化,直到调度模型收敛后得到最终的任务调度模拟器。
进一步的,在线调度具体包括:
将当前待仿真的子任务状态和异构计算资源的状态输入到最终的任务调度模拟器中,以便任务调度模拟器生成将当前待仿真的子任务分配到各个异构计算资源的概率分布;
将概率分布中概率最大的异构计算资源分配作为规划的任务调度。
进一步的,以异构计算资源满足缺陷仿真任务运行为约束条件,具体为:
一个异构计算资源同一时间只处理一个缺陷仿真子任务,将缺陷仿真子任务分配给处于资源空闲时间段的异构计算资源。
进一步的,根据所规划的任务调度,将缺陷仿真子任务分配到相应的异构计算资源,还包括:
对于异构计算环境中的中央处理器和图像处理器,为每一个数据处理操作生成对应的执行进程,并对应统计在中央处理器的任务队列和图像处理器的任务队列中;
当监控到图像处理器的任务队列中进程数量超过对应的负载阈值时,减少中央处理器的处理进程;反之,增加中央处理器的处理进程。
综上,本发明提供了一种采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,通过图像分割将大图像的缺陷仿真任务拆分为若干个小图像的缺陷仿真子任务;然后根据异构计算资源的集群状态和缺陷仿真子任务状态设计一个任务调度模拟器,利用该任务调度模拟器规划任务调度,使得资源消耗最小;按照所规划的任务调度,将缺陷仿真子任务分配到相应的异构计算资源,进行图像仿真后合并,得到最终的缺陷仿真图像。本发明通过利用异构资源对划分得到的小图像缺陷仿真子任务进行任务调度,使得仿真任务平均完成时间最小,提高了计算效率的同时也保证了电网高分辨率大图的缺陷仿真效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种采用异构计算资源负载均衡调度的电力缺陷图像仿真方法的流程图;
图2为本发明实施例提供的电力缺陷图像仿真方法的流程框图;
图3为本发明实施例提供的深度确定性策略梯度算法的强化学习流程示意图。
具体实施方式
为使得本发明的目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
随着电力行业智能化的发展,基于人工智能技术的电力缺陷智能识别方案来取代人工巡检不但给电力系统提供了更加可靠的安全保障,而且还适应了智能变电站的发展趋势。然而,当前的用于缺陷检测的深度学习方法大多是基于大量缺陷样本建立模型,缺陷样本的缺乏导致模型训练效果差,难以上线。而且缺陷是由生产,维护过程中的非受控因素产生的,缺陷的形态是多种多样的,各种形态的样本很难收集完整,这也限制了深度学习在缺陷检测领域的应用。基于真实图像仿真缺陷可用于进行小样本缺陷数据集扩充,是解决上述问题的一大方案,常见缺陷仿真方案包括,自动生成算法的典型算法有DCGAN、WGAN,输入一张缺陷图像可以直接生成多张真实的缺陷图像。半自动生成算法的典型算法有CGAN、CVAE、Pix2Pix,需要人工交互给定缺陷生成的类别或形状,然后根据给定信息生成指定类型缺陷。
然而,针对电网环节分辨率高的大图,例如4K图像,图像仿真缺陷算法存在两个问题,1、输入图像大,导致仿真算法要求的计算资源多,单节点处理情况甚至会导致计算资源不够,计算效率也比较低。2、直接对整张图像进行缺陷仿真,当缺陷为小目标,小目标仿真到大图像时,无法真正模拟环境细节,仿真效果差。
基于此,本发明提供一种采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,通过将图像切分成子图像,针对子图像进行缺陷仿真,然后将仿真后子图像进行组合,得到最后仿真图像。将子图像的缺陷仿真过程应用在异构计算环境中,由不同类型计算资源组成的异构计算平台具有计算资源丰富、架构灵活多样、并行处理能力强等优点。为提升图像仿真处理速度,采用图像仿真的异构并行处理方法,拆分的子图像仿真作为子任务,将不同属性的计算任务调度到对应的专用处理单元上来保证高性能计算需求。能够最大限度地利用异构计算资源,降低系统功耗,从而满足不断增长的计算需求。
以下对本发明的一种采用异构计算资源负载均衡调度的电力缺陷图像仿真方法的实施例进行详细的介绍。
请参阅图1和2,本实施例提供一种采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,包括:
S100:获取待处理的仿真图片,根据待仿真缺陷,对仿真图片进行图像分割,将缺陷仿真任务拆分为缺陷仿真子任务。
在管理节点中预先配置有图像分割程序,当管理节点接收到待处理图像后,执行图像分割程序,对待处理图像进行分割,得到n个子图像。其中,图像分割程序按照以下方式设定:
本步骤根据缺陷数量和缺陷目标大小数据进行子任务构建,首先将缺陷数量作为需要仿真的子任务数量,每个子任务为对应需要仿真特点缺陷的任务,子任务数量定义为DN。其次,预设图像滑动窗口大小为128*128,256*256,512*512,1024*1024,2048*2048,通过动态滑动分割窗口,进行图像分割,根据缺陷目标大小来选择合适的滑动分割窗口,滑动窗口面积计算公式为:
S=SDetect/SDetect_pic*SSimulation_pic
其中S为滑动窗口选择面积,SDetect为仿真缺陷面积,SDetect_pic为仿真缺陷对应图像面积,SSimulation_pic为待仿真图像面积。
根据S,计算滑动窗口大小M,如果S<=128*128,滑动窗口大小M=128,如果128*128<S<=256*256,滑动窗口大小M=256,以此类推,判断128*128,256*256,512*512,1024*1024,2048*2048等预设值,如果全部不满足,则选择原始尺寸,不进行图像分割。
每类缺陷分割图像数量N=floor(L/M)*floor(W/M)。
其中L为图像长度,W为待仿真图像宽度,floor为向上取整。
由此计算得到针对每类缺陷,需要分割的图像大小M和数量N,完成仿真子任务构建。由于缺陷仿真算法中,仿真图像一般需要经过预处理和尺寸变换,所以,每个对应缺陷子任务的计算量与N相关,与M无关。
S200:利用任务调度模拟器规划任务调度,任务调度模拟器以资源消耗最小为目标,以异构计算资源满足缺陷仿真任务运行为约束条件进行任务调度的规划。
在具有CPU、GPU、NPU等异构计算集群中,不同计算资源存在着严重差异的计算能力,而现有的缺陷仿真并行计算中通常采用静态的任务调度技术,并没有很好考虑资源异构特性和不同计算资源的差异性,可能导致GPU任务结束后需要长时间等待CPU处理任务的现象,或者,使GPU承担所有计算处理,而CPU仅起到辅助计算作用,造成了计算资源的极大浪费,严重影响了大规模图像缺陷仿真高速计算的性能和扩展性。
为了充分利用异构计算资源,需要根据异构资源的计算能力网络通信等信息,协调计算任务在计算资源上的调度和分配,使计算处理能力和任务负载相匹配,以便提高整个图像缺陷仿真的效率。任务调度策略在资源利用上的微小优化即可有效地减少任务执行时间,大幅地降低服务成本。本实施例针对图像缺陷仿真,设计基于深度确定性策略梯度算法的强化学习的任务调度,以资源异构特性,网络传输特性,资源争用特征为约束条件,以最小化资源消耗为目标设计。
任务调度系统可以更好根据异构资源特性和资源任务运行情况,通过统一的任务调度,使任务合理分配到计算资源,协调计算节点的负载,确保计算节点的动态负载均衡,提高异构计算集群并行计算和实时处理能力。
具体的,首先假设计算环境为同一计算资源上同一时间只处理一个子任务,不存在多任务同时运行。设计任务调度模拟器,用于生成当前计算环境下的最优任务调度。设计过程分为资源消耗记录、离线训练调优和在线调度三个部分,下面进行依次介绍:
(1)资源消耗记录:记录异构计算资源状态和它们计算不同的任务所消耗的时间,为下一步的模型优化提供参考依据。
定义一个初始的异构集群环境Q={q1,……,qm},Q为任意的计算机资源,例如可以为CPU,GPU,NPU的计算能力,m为可用的资源个数,ηk为在预设时长中处理器可以处理的测试任务的数量,测试任务可以是处理特定图像的任务,Ak为分配给k服务器的带宽,
Figure BDA0003891707260000071
表为第i个时段的第k个服务器的空闲时段,ti会跟着时间发生变化,具体根据计算机里的处理的任务数量跟发生变化,任务开始时候设置ti为0。
创建n个仿真任务,创建的仿真任务表示为Otask={O1,……,On}。
每个仿真任务中可以包含多个子仿真任务,即一个子仿真任务On里有Sub个子仿真任务,创建的子仿真任务表示为On={O1,……,Osub}。每个子任务都需要分割图像,每个Osub可以表示为{Ni,Mi},其中Ni为第i个子任务里的图像数量,Mi为第i个子任务的图像的尺寸。
在一次运行过程中,利用资源消耗记录器记录每个异构计算资源计算的状态,如当前功耗、核心温度、风扇时间、计算所消耗的时间和等待时间,并将该时间保存至缓存。
(2)离线训练调优:离线训练调优使用基于强化学习方法的方式来对调度算法进行训练更新。
该环节包括调度模型、奖励函数和优化器三部分。调度模型为一个神经网络,用来给出具体的调度策略;奖励函数为调度算法的训练依据,用来为调度模型训练提供优化信号;优化器用来做具体的优化训练,接收给定的奖励函数优化信号并更新模型。
具体训练流程如下:
1)预设一个基准时间消耗值,将资源消耗记录模块记录的消耗时间减去该基准值,形成各个数据的权重,该权重可正可负,正权重表示该次的调度操作优于基准时间,负权重表示该次调度操作劣于基准时间;
2)将资源消耗记录模块记录的数据分为训练集和验证集两部分,每部分数据中分为资源状态、子任务状态和实际调度操作。资源状态作为调度模型的输入,输出为每个资源被分配任务的概率;
3)输出的概率值与实际调度操作构建交叉熵损失,并乘以步骤一计算的权重,构成奖励函数。
4)使用优化器对奖励函数进行优化,得到优化后的调度模型。
5)将优化后的调度模型引入真实环境进行实测,并使用资源消耗记录模块记录数据;
6)重复1-4步骤,对调度模型进行进一步优化至收敛。收敛准则包括但不限于循环固定轮数后停止、消耗时间趋于平缓不再下降等。
任务调度模拟器训练的约束条件为一个计算资源上同一时间只处理一个子任务,不存在多任务同时运行,资源空闲可分配仿真子任务进行计算。
在实际实施过程中,调度模型可以为深度确定性策略梯度算法的强化学习策略网络,其输入输出如下:
输入:待训练的策略网络,训练任务状态,异构计算资源状态。
输出:收敛的强化学习策略网络。
奖励函数:确定性策略梯度算法奖励函数,每一步更新提供一个即时的奖励值,目标是尽可能缩短任务平均完成时间,其中α是一个超参数,用于调节等待时间与执行时间的重要程度,Tk,wait为执行之前所需要等待的时间,δk为当前异构计算资源单位时间的处理能力:
r=-(α*Nik+(1-α)*Tk,wait)
环境:异构计算资源的状态和仿真子任务状态。
动作:按照一定策略(比如优先级策略或者随机策略)选择仿真子任务进行资源调度和计算。
图3为调度模型的强化学习流程框图,按照前述训练过程进行训练后即可得到任务调度模拟器。
(3)在线调度
对调度模型训练好后,即可部署在真实环境下进行任务的具体调度。调度流程为:新进一批子任务,将当前异构资源的状态和子任务状态输入调度模型,调度模型输出将这批任务分配到各个计算资源的概率分布。将概率分布中概率最大的计算资源列表取出作为所规划的任务调度,按照任务调度给各异构计算资源分配对应的子任务即可。
步骤三:根据所规划的任务调度,将缺陷仿真子任务分配到相应的异构计算资源,进行图像仿真,将各个异构计算资源的仿真图像进行合并,得到最终的缺陷仿真图像。
将缺陷仿真子任务分配到相应的异构计算资源进行子图像缺陷仿真的同时,在缺陷仿真的图像分发和合并过程中对异构计算资源持续进行优化。在异构计算环境中,数据加载、清洗、网络传输等操作在CPU中执行,算力敏感的数据计算操作被放在计算效率更高的GPU或者NPU上执行。将缺陷仿真过程中CPU执行的数据加载、切分,传输等操作,GPU执行的缺陷仿真操作都抽象成跟计算操作一致的执行逻辑。在进行数据处理时,为每一个操作生成对应的执行进程,并统计在GPU任务队列和CPU任务队列中。当监控到GPU任务队列中的进程数量超过负载阈值时,减少CPU处理进程,减少就绪的仿真子任务数量,满足GPU任务队列中的进程数量低于负载阈值,实现GPU的正常负载。反之,增加CPU处理进程,增加就绪的仿真子任务,充分发挥GPU或NPU计算资源,保持CPU和GPU平衡,实现在仿真图像分割和合并过程中异构资源的全局调度。
本实施例提供了一种采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,通过图像分割将大图像的缺陷仿真任务拆分为若干个小图像的缺陷仿真子任务;然后根据异构计算资源的集群状态和缺陷仿真子任务状态设计一个任务调度模拟器,利用该任务调度模拟器规划任务调度,使得缺陷仿真任务平均完成时间最小;按照所规划的任务调度,将缺陷仿真子任务分配到相应的异构计算资源,进行图像仿真后合并,得到最终的缺陷仿真图像。本发明通过利用异构资源对划分得到的小图像缺陷仿真子任务进行任务调度,使得仿真任务平均完成时间最小,提高了计算效率的同时也保证了电网高分辨率大图的缺陷仿真效果。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,其特征在于,包括如下步骤:
获取待处理的仿真图片,根据待仿真缺陷,对所述仿真图片进行图像分割,将缺陷仿真任务拆分为缺陷仿真子任务;
利用任务调度模拟器规划任务调度,所述任务调度模拟器以资源消耗最小为目标,以异构计算资源满足缺陷仿真任务运行为约束条件进行任务调度的规划;
根据所规划的任务调度,将所述缺陷仿真子任务分配到相应的所述异构计算资源,进行图像仿真;
将各个异构计算资源的仿真图像进行合并,得到最终的缺陷仿真图像。
2.根据权利要求1所述的采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,其特征在于,根据待仿真缺陷,对所述仿真图片进行图像分割,将缺陷仿真任务拆分为缺陷仿真子任务,具体包括:
将所述待仿真缺陷的数量作为需要拆分的缺陷仿真子任务数量;
通过动态滑动算法以及与缺陷目标相匹配的分割窗口进行图像分割;
对于待仿真的缺陷,得到分割后的图像大小和数量,以完成缺陷仿真子任务的创建。
3.根据权利要求2所述的采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,其特征在于,分割窗口的大小是根据缺陷目标的大小所确定的,所述分割窗口大小的确定流程具体为:
预设若干个图像滑动窗口的大小;
根据缺陷目标的面积计算滑动窗口选择面积,根据滑动窗口选择面积从所述若干个图像滑动窗口中进行选择,将大于所述滑动窗口选择面积的所有图像滑动窗口中面积最小的一个作为所述分割窗口。
4.根据权利要求3所述的采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,其特征在于,所述滑动窗口选择面积的计算式具体如下:
S=SDetect/SDetect_pic*SSimulation_pic
式中,S表示所述滑动窗口选择面积,SDetect表示仿真缺陷面积,SDetect_pic为仿真缺陷对应的图像面积,SSimulation_pic表示待仿真图像面积。
5.根据权利要求3所述的采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,其特征在于,分割后的图像数量的计算式具体如下:
N=floor(L/M)*floor(W/M)
式中,N表示所述分割后的图像数量,L为待仿真图像的长度,W为待仿真图像的宽度,M为所选择的图像滑动窗口大小,floor为向上取整。
6.根据权利要求1所述的采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,其特征在于,所述任务调度模拟器是根据异构计算资源的集群状态和缺陷仿真子任务状态设计而成,包括资源消耗记录、离线训练调优和在线调度三个部分,所述资源消耗记录具体包括:
构建一个初始的异构集群环境,所述异构集群环境中包括若干个可用的异构计算资源;
创建若干个仿真任务,每个所述仿真任务至少包含若干个子仿真任务,每个所述子仿真任务均进行图像分割;
记录所述初始的异构集群环境中,对每个所述仿真任务执行完图像仿真后的各个所述异构计算资源的计算状态,所述计算状态至少包括仿真计算所消耗的时间和等待时间。
7.根据权利要求6所述的采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,其特征在于,所述离线训练调优具体包括:
获取一个待训练的调度模型,并将资源消耗记录部分所记录的各个所述异构计算资源的计算状态以及子仿真任务的状态作为所述调度模型的输入,输出为每个所述异构计算资源被分配任务的概率;
通过奖励函数获取优化信号,所述奖励函数基于资源消耗记录部分所记录的仿真计算所消耗的时间生成优化信号;
利用优化器对所述调度模型进行优化,得到优化后调度模型;
将优化后的调度模型利用实测数据进行重复优化,直到所述调度模型收敛后得到最终的所述任务调度模拟器。
8.根据权利要求7所述的采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,其特征在于,所述在线调度具体包括:
将当前待仿真的子任务状态和异构计算资源的状态输入到最终的所述任务调度模拟器中,以便所述任务调度模拟器生成将所述当前待仿真的子任务分配到各个所述异构计算资源的概率分布;
将所述概率分布中概率最大的所述异构计算资源分配作为规划的任务调度。
9.根据权利要求1所述的采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,其特征在于,以异构计算资源满足缺陷仿真任务运行为约束条件,具体为:
一个异构计算资源同一时间只处理一个所述缺陷仿真子任务,将所述缺陷仿真子任务分配给处于资源空闲时间段的所述异构计算资源。
10.根据权利要求1所述的采用异构计算资源负载均衡调度的电力缺陷图像仿真方法,其特征在于,根据所规划的任务调度,将所述缺陷仿真子任务分配到相应的异构计算资源,还包括:
对于异构计算环境中的中央处理器和图像处理器,为每一个数据处理操作生成对应的执行进程,并对应统计在所述中央处理器的任务队列和图像处理器的任务队列中;
当监控到所述图像处理器的任务队列中进程数量超过对应的负载阈值时,减少所述中央处理器的处理进程;反之,增加所述中央处理器的处理进程。
CN202211261462.XA 2022-10-14 2022-10-14 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法 Pending CN115543626A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211261462.XA CN115543626A (zh) 2022-10-14 2022-10-14 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211261462.XA CN115543626A (zh) 2022-10-14 2022-10-14 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法

Publications (1)

Publication Number Publication Date
CN115543626A true CN115543626A (zh) 2022-12-30

Family

ID=84734600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211261462.XA Pending CN115543626A (zh) 2022-10-14 2022-10-14 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法

Country Status (1)

Country Link
CN (1) CN115543626A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151137A (zh) * 2023-04-24 2023-05-23 之江实验室 一种仿真系统、方法及装置
CN117667361A (zh) * 2024-01-31 2024-03-08 西安羚控电子科技有限公司 一种分布式协同仿真架构实现方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151137A (zh) * 2023-04-24 2023-05-23 之江实验室 一种仿真系统、方法及装置
CN117667361A (zh) * 2024-01-31 2024-03-08 西安羚控电子科技有限公司 一种分布式协同仿真架构实现方法及装置
CN117667361B (zh) * 2024-01-31 2024-04-26 西安羚控电子科技有限公司 一种分布式协同仿真架构实现方法及装置

Similar Documents

Publication Publication Date Title
CN109947567B (zh) 一种多智能体强化学习调度方法、系统及电子设备
CN109491790B (zh) 基于容器的工业物联网边缘计算资源分配方法及系统
CN109271015B (zh) 一种降低大规模分布式机器学习系统能耗的方法
CN107888669B (zh) 一种基于深度学习神经网络的大规模资源调度系统及方法
Guo et al. Cloud resource scheduling with deep reinforcement learning and imitation learning
CN111064633B (zh) 一种云边协同电力信息通信设备自动化测试资源分配方法
CN111274036B (zh) 一种基于速度预测的深度学习任务的调度方法
CN115543626A (zh) 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法
CN110389820B (zh) 一种基于v-TGRU模型进行资源预测的私有云任务调度方法
CN111966484A (zh) 一种基于深度强化学习的集群资源管理和任务调度方法及系统
CN113157422A (zh) 基于深度强化学习的云数据中心集群资源调度方法及装置
CN113806018A (zh) 基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法
CN113946431B (zh) 一种资源调度方法、系统、介质及计算设备
CN113110914A (zh) 一种基于微服务架构的物联网平台构建方法
CN112347636A (zh) 一种基于Multi-Agent技术的装备保障仿真建模方法
CN115934333A (zh) 基于历史数据感知的云计算资源调度方法及调度系统
CN115168027A (zh) 一种基于深度强化学习的算力资源度量方法
CN113810954A (zh) 基于流量预测与深度强化学习的虚拟资源动态扩缩容方法
CN115934344A (zh) 异构分布式强化学习计算方法、系统及存储介质
CN113010296B (zh) 基于形式化模型的任务解析与资源分配方法及系统
CN106844024B (zh) 一种自学习运行时间预测模型的gpu/cpu调度方法及系统
CN116109058A (zh) 一种基于深度强化学习的变电站巡视管理方法和装置
CN113946440A (zh) 一种绿色云环境下的资源调度方法
CN112306641B (zh) 一种用于虚拟机迁移模型的训练方法
Du et al. OctopusKing: A TCT-aware task scheduling on spark platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination