CN114285847A - 数据处理、模型训练方法及装置、电子设备、存储介质 - Google Patents
数据处理、模型训练方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN114285847A CN114285847A CN202111558408.7A CN202111558408A CN114285847A CN 114285847 A CN114285847 A CN 114285847A CN 202111558408 A CN202111558408 A CN 202111558408A CN 114285847 A CN114285847 A CN 114285847A
- Authority
- CN
- China
- Prior art keywords
- task
- training sample
- edge server
- sample image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 256
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims description 27
- 238000012545 processing Methods 0.000 claims abstract description 112
- 230000011218 segmentation Effects 0.000 claims abstract description 87
- 238000012360 testing method Methods 0.000 claims abstract description 74
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims description 49
- 230000009471 action Effects 0.000 claims description 37
- 238000011156 evaluation Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000002787 reinforcement Effects 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 238000010276 construction Methods 0.000 description 10
- 239000003795 chemical substances by application Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000006855 networking Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请的实施例揭示了一种数据处理、模型训练方法及装置、设备、存储介质，该方法包括：边缘服务器将接收到来自于路测基站发送的车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中，得到分割后的各个子任务以及各个子任务待卸载的目标边缘服务器对应的标识；将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器，以使目标边缘服务器对接收到的子任务进行处理；将接收到来自于各个目标边缘服务器发送的子任务处理结果进行整合，得到图像任务的任务处理结果；将图像任务的任务处理结果通过路测基站发送至车辆终端。本申请实施例的技术方案极大地优化了数据处理方案，降低了数据处理的时延，进而提升了数据处理的效率。
Description
技术领域
本申请涉及车联网边缘计算技术领域，具体而言，涉及一种数据处理方法、模型训练方法、数据处理装置、电子设备以及计算机可读存储介质。
背景技术
相关技术中，在车联网的应用场景下车辆终端是将数据如图像任务发送到所接入的路测基站匹配的边缘服务器进行处理，其中，边缘服务器的存储容量和计算能力是有限的，因此，如果边缘服务器没有足够的资源处理图像任务时，边缘服务器则会将图像任务发送到云端，进而由云端对接收到的图像任务进行处理，这样的处理方式图像任务的处理时延较大，从而造成图像任务的处理效率低。
由此，如何降低数据处理时延以提升数据处理的效率是亟待解决的问题。
发明内容
为解决上述技术问题，本申请的实施例提供了一种数据处理、模型训练方法及装置、电子设备、计算机可读存储介质，进而至少在一定程度上可以降低数据处理时延以提升数据处理的效率。
根据本申请实施例的一个方面，提供了一种数据处理方法，应用于边缘计算系统，所述边缘计算系统包括多个边缘服务器，所述方法由边缘服务器执行所述方法包括：将接收到来自于路测基站发送的车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中，得到分割后的各个子任务以及各个子任务待卸载的目标边缘服务器对应的标识；其中，所述多任务分割卸载模型是将多个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练得到；将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器，以使目标边缘服务器对接收到的子任务进行处理；将接收到来自于各个目标边缘服务器发送的子任务处理结果进行整合，得到所述图像任务的任务处理结果；将所述图像任务的任务处理结果通过所述路测基站发送至所述车辆终端。
根据本申请实施例的一个方面，提供了一种模型训练方法，所述方法包括：基于各个边缘服务器，构建优势动作评价强化学习算法的智能体；基于各个训练样本图像任务的分割卸载动作矩阵表示，构建动作空间；基于各个训练样本图像任务所需的算力资源信息，各个训练样本图像任务所接入的路测基站的标识，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息，构建状态空间；基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈；基于预设超参数对优势动作评价网络的参数进行调整，得到多任务分割卸载模型。
根据本申请实施例的一个方面，提供了一种数据处理装置，所述数据处理装置配置于边缘计算系统，所述边缘计算系统包括多个边缘服务器，所述装置包括：输入模块，配置为将接收到来自于路测基站发送的车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中，得到分割后的各个子任务以及各个子任务待卸载的目标边缘服务器对应的标识；其中，所述多任务分割卸载模型是将多个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练得到；第一发送模块，配置为将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器，以使目标边缘服务器对接收到的子任务进行处理；整合模块，配置为将接收到来自于各个目标边缘服务器发送的子任务处理结果进行整合，得到所述图像任务的任务处理结果；第二发送模块，配置为将所述图像任务的任务处理结果通过所述路测基站发送至所述车辆终端。
根据本申请实施例的一个方面，提供了一种模型训练装置，所述装置包括：第一构建模块，配置为基于各个边缘服务器，构建优势动作评价强化学习算法的智能体；第二构建模块，配置为基于各个训练样本图像任务的分割卸载动作矩阵表示，构建动作空间；第三构建模块，配置为基于各个训练样本图像任务所需的算力资源信息，各个训练样本图像任务所接入的路测基站的标识，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息，构建状态空间；第四构建模块，配置为基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈；调整模块，配置为基于预设超参数对优势动作评价网络的参数进行调整，得到多任务分割卸载模型。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的数据处理方法或者模型训练方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如前所述的数据处理方法或者模型训练方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如前所述的数据处理方法或者模型训练方法。
在本申请的实施例所提供的技术方案中，一方面，通过将图像任务输入到预先训练好的多任务分割卸载模型中，输出得到多个子任务，并且还输出得到各个子任务待卸载的目标边缘服务器对应的标识，进而将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器进行处理，这样对图像任务进行的分割与卸载，在极大程度上降低了图像任务的处理时延，提升了图像任务的处理效率；另一方面，由于多任务分割卸载模型在训练时结合了边缘计算系统中含有的各个边缘服务器的可用算力资源信息，以及边缘计算系统中含有的各个边缘服务器之间的链路状态信息，因此，在应用训练得到的多任务分割卸载模型时，考虑了边缘计算系统中含有的各个边缘服务器的可用算力资源信息，以及边缘计算系统中含有的各个边缘服务器之间的链路状态信息，使得边缘计算系统中含有的各个边缘服务器能够达到负载均衡，避免了边缘计算系统中的某些边缘服务器超载运行而某些边缘服务器却非常空闲的现象。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是可以应用本申请实施例的技术方案的示例性实施环境的示意图；
图2是可以应用本申请实施例的技术方案的示例性实施环境的示意图；
图3是本申请的一示例性实施例示出的车辆终端、边缘接入服务器以及边缘计算服务器之间通信的示意图；
图4是本申请的一示例性实施例示出的任务卸载的示意图；
图5是本申请的一示例性实施例示出的数据处理方法的流程图；
图6是本申请的一示例性实施例示出的数据处理方法的流程图；
图7是图6所示实施例中的步骤S402在一示例性实施例中的流程图；
图8是本申请的一示例性实施例示出的数据处理方法的流程图；
图9是本申请的一示例性实施例示出的数据处理装置的结构示意图；
图10是本申请的一示例性实施例示出的模型训练装置的结构示意图；
图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
还需要说明的是：在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
相关技术中，在车联网的应用场景下车辆终端是将数据如图像任务发送到所接入的路测基站匹配的边缘服务器进行处理，其中，边缘服务器的存储容量和计算能力是有限的，因此，如果边缘服务器没有足够的资源处理图像任务时，边缘服务器则会将图像任务发送到云端，进而由云端对接收到的图像任务进行处理，这样的处理方式图像任务的处理时延较大，从而造成图像任务的处理效率低。
基于此，本申请的实施例提供了一种数据处理、模型训练方法及装置、电子设备、计算机可读存储介质，可以降低数据处理时延以提升数据处理的效率。
请参阅图1，图1是本申请一种示例性实施环境的示意图。该实施环境中包括路侧基站101、边缘服务器102以及车辆终端103：
其中，路侧基站101是提供车辆终端103与边缘服务器102之间进行通信的通信基础。其中，通常一个路侧基站101对应设置有一个边缘服务器102，在实际应用中，可以根据具体应用场景进行灵活调整。可选地，路侧基站101可以是5G路侧基站。
其中，边缘计算系统包含了多个边缘服务器(Edge Sever，ES)102。其中，边缘服务器102可以是提供各种服务的服务器，其可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器，本处不对此进行限制。
其中，车辆终端(Vehicle Equipment，VE)103可以是任意形式的车辆终端，例如载货汽车、自卸汽车、越野汽车、轿车、客车、牵引汽车及半挂牵引汽车、专用汽车等车辆对应的车辆终端，本处不对此进行限制。
本申请实施例中车辆终端103向路侧基站101发送图像任务；相应地，路侧基站101接收到车辆终端103发送的图像任务，进而路侧基站101将该图像任务发送至与之匹配的边缘服务器102；相应地，边缘服务器102接收到路侧基站101发送的车辆终端103的图像任务，边缘服务器102将车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中，得到分割后的各个子任务以及各个子任务待卸载的目标边缘服务器对应的标识，其中多任务分割卸载模型是将多个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练得到，之后，将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器，以使目标边缘服务器对接收到的子任务进行处理，之后，将接收到来自于各个目标边缘服务器发送的子任务处理结果进行整合，得到图像任务的任务处理结果，之后，将图像任务的任务处理结果发送至与之匹配的路侧基站102；相应地，路侧基站102接收到边缘服务器102发送的图像任务的任务处理结果，进而路侧基站101将该图像任务的任务处理结果发送至车辆终端103。
本申请实施例中车联网可以基于人工智能的LTE-V2X车联网通信技术。可以理解的是，车联网指的是借助新一代信息通信技术，实现车辆与车辆(Vehicle to Vehicle，V2V)、车辆与路(Vehicle to Road，V2R)、车辆与人(Vehicle to Human，V2H)、车辆与服务平台(Vehicle to Internet，V2I)等的全方位网络连接，提升汽车智能化水平和自动驾驶能力，从而提高交通效率，为用户提供智能、舒适、安全、节能、高效的综合服务。其中，V2H主要实现的是车辆与车辆之间的信息通信，能够使得车辆获知附近其他车辆的行驶状态，避免碰撞的发生；V2R主要实现车辆与道路交通基础设施之间的通信，例如交通信号灯状态、交通信息牌内容等；V2H主要实现车辆与驾驶者之间的信息传递和远程控制，例如远程发送汽车、提前打开空调等；V2I主要实现车辆与互联网之间的信息传递，智能汽车成为互联网重要终端，在车内可以便捷地获取互联网的内容及服务。
在本申请的一个实施例中，请参阅图2，图2是本申请另一种示例性实施环境的示意图。该实施环境中包括：
M个均配置一个边缘服务器的5G路侧基站(图2中仅示例出4个5G路侧基站101，以及分别与4个5G路侧基站匹配的边缘服务器102)，以及N辆配置高清摄像头的智能移动车辆终端(图2中仅示例出2辆智能移动车辆终端103)，同时图2中还示例出行人104，基站信号覆盖范围105(虚线圆框)，每个5G路侧基站101之间可以通过基站间通信链路进行通信(图2中未示例出)，智能移动车辆终端103可以生成图像任务，智能移动车辆终端103与5G路侧基站101之间可以通过无线通信链路进行通信：
其中，每个边缘服务器可以作为边缘接入服务器或者边缘计算服务器；如果有智能移动车辆终端的图像任务接入到一个边缘服务器时，则该边缘服务器即作为边缘接入服务器，其中边缘接入服务器同样具有计算能力；如果一个边缘服务器没有智能移动车辆终端的图像任务接入时，则该边缘服务器即作为边缘计算服务器，该边缘计算服务器只具有计算能力不具有与智能移动车辆终端直接通信能力。
其中，每个智能移动车辆终端均会通过配置的高清摄像头采集大量的视频图像，高清摄像头采集的视频图像包括但不限于道路状况、路侧环境、路人信息、司机行为、乘客状态等。可以理解的是，智能移动车辆终端将采集到的视频图像生成图像任务，进而将图像任务通过5G路侧基站发送至与5G路侧基站匹配的边缘服务器，这样边缘服务器就可以基于配置的人工智能领域的计算机视觉技术中的深度学习等算法的AI芯片进行视频处理以及内容分析，实现实时的5G车联网场景中目标的检测与追踪以及车辆异常行为分析等，以得到图像任务的处理结果。其中，边缘服务器接收到来自于5G路侧基站发送的智能移动车辆终端的图像任务时，会进行图像任务的分割与卸载，具体地，将图像任务分割为多个子任务，并将分割得到的各个子任务发送至对应的目标边缘服务器中进行处理，从而实现图像任务的快速处理，提升图像任务的处理效率。
举例说明，请参阅图3，设当前有2辆智能移动车辆终端生成了图像任务，具体地，智能移动车辆终端VE1生成了图像任务1，智能移动车辆终端VE2生成了图像任务2；其中，智能移动车辆终端VE1通过路侧基站将图像任务1发送到与之匹配的边缘服务器1(即边缘接入服务器)中，进而边缘服务器1将图像任务1输入至预先训练好的多任务分割卸载模型中，得到分割后的子任务，并将子任务分别发送至目标边缘接入服务器3(即边缘计算服务器)与目标边缘接入服务器4(即边缘计算服务器)；相应地，智能移动车辆终端VE2通过路侧基站将图像任务2发送到与之匹配的边缘服务器2(即边缘接入服务器)中，进而边缘服务器2将图像任务2输入至预先训练好的多任务分割卸载模型中，得到分割后的子任务，并将子任务分别发送至目标边缘接入服务器5(即边缘计算服务器与目标边缘接入服务器6(即边缘计算服务器)。
举例说明，请参阅图4，设承接前述图3示例，其中，边缘服务器1将图像任务1输入至预先训练好的多任务分割卸载模型中，得到分割后的子任务有3个，分别为子任务11、子任务12以及子任务13，由于边缘服务器1(边缘接入服务器)同样具备计算能力，因此，为了更好地利用自身资源，边缘服务器1可以对分割得到的一个子任务如子任务13进行处理，对于其他的子任务如子任务11由目标边缘服务器3(即边缘计算服务器)进行处理，子任务12由目标边缘服务器4(即边缘计算服务器)进行处理；相应地，边缘服务器2将图像任务2输入至预先训练好的多任务分割卸载模型中，得到分割后的子任务有3个，分别为子任务21、子任务22以及子任务23，由于边缘服务器2(边缘接入服务器)同样具备计算能力，因此，为了更好地利用自身资源，边缘服务器2可以对分割得到的一个子任务如子任务23进行处理，对于其他的子任务如子任务21由目标边缘服务器5(即边缘计算服务器)进行处理，子任务22由目标边缘服务器6(即边缘计算服务器)进行处理。
值得注意的是，前述仅是以2辆智能移动车辆终端存在需要处理的图像任务，以及将图像任务分割为3个子任务为示例，在实际应用中，以具体应用场景中智能移动车辆终端的数量以及图像任务的划分情况为准。
以下对本申请实施例的技术方案的各种实现细节进行详细阐述：
请参阅图5，图5是本申请的一个实施例示出的数据处理方法的流程图。该数据处理方法可以应用于图2所示的实施环境中，并由图2所示实施环境中的边缘服务器执行。如图5所示，数据处理方法至少可以包括步骤S501至步骤S504，详细介绍如下：
步骤S501，将接收到来自于路测基站发送的车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中，得到分割后的各个子任务以及各个子任务待卸载的目标边缘服务器对应的标识；其中，多任务分割卸载模型是将多个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练得到。
可以理解的是，本申请实施例中边缘服务器接收到来自于路测基站发送的车辆终端的图像任务时，就可以将接收到的图像任务输入至预先训练好的多任务分割卸载模型中进行处理，以输出得到进行分割后的各个子任务，以及各个子任务待卸载的目标边缘服务器对应的标识。
其中，图像任务分割后的子任务数量为大于等于2，同时，图像任务分割后的每个子任务的数据量大小可以相同可以不同，在实际应用中，以具体的分割情况为准。
可选地，如果以固定数据量单元进行分割，可以提升图像任务分割的速率与便捷性；例如图像任务1的数据量为D1，固定数据量单元为d，则图像任务1可以分割后的子任务数量为D1/d。
可选地，如果以非固定数据量单元进行分割，在特殊场景下能够更加符合场景需求；例如边缘服务器(即边缘接入服务器)自身的计算资源较多，因此，可以采用非固定数据量单元进行图像任务分割，边缘接入服务器处理的分割后的子任务的数据量较大，而其他边缘服务器(即边缘计算服务器)处理的分割后的子任务的数据量较小。
其中，目标边缘服务器指的是对子任务进行处理的边缘服务器，目标边缘服务器的标识指的是用于唯一标识目标边缘服务器的信息，例如可以是目标边缘服务器的ID。
在本申请的一个实施例中，请参阅图6，在步骤S501中将接收到来自于路测基站发送的车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中的过程之前，还可以包括步骤S601至步骤S602，详细介绍如下：
步骤S601，获取多个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息；
步骤S602，将各个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练，得到多任务分割卸载模型。
可以理解的是，本申请实施例中应用预先训练好的多任务分割卸载模型之前，涉及到对多任务分割卸载模型进行训练，以得到训练好的多任务分割卸载模型的过程；其中，本申请实施例中的多任务分割卸载模型是将获取到的各个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练得到的。
在本申请的一个实施例中，请参阅图7，在步骤S602中将各个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练，得到多任务分割卸载模型，可以包括步骤S701至步骤S705，详细介绍如下：
步骤S701，基于各个边缘服务器，构建优势动作评价强化学习算法的智能体。
可选地，本申请实施例中是将车联网中边缘计算系统包括的边缘服务器作为优势动作评价强化学习(Advantage Actor-Critic，A2C)算法的智能体。
步骤S702，基于各个训练样本图像任务的分割卸载动作矩阵表示，构建动作空间。
可选地，基于各个训练样本图像任务的分割卸载动作矩阵表示，构建动作空间A如下所示：
其中，i表征第i个训练样本图像任务，i＝1，2，...，N-1，N，N表征训练样本图像任务的总数量；j表征第j个边缘服务器，j＝1，2，...，M-1，M，M表征所述边缘计算系统包括的边缘服务器的总数量，Ai，j表征所述分割卸载动作矩阵表示中的一个元素。
步骤S703，基于各个训练样本图像任务所需的算力资源信息，各个训练样本图像任务所接入的路测基站的标识，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息，构建状态空间。
可选地，基于各个训练样本图像任务所需的算力资源信息，各个训练样本图像任务所接入的路测基站的标识，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息，构建状态空间S如下所示：
S＝(Ci，Li，fj，Ri，j)
其中，Ci表征各个训练样本图像任务所需的算力资源信息，Li表征各个训练样本图像任务所接入的路测基站的标识，fj表征各个边缘服务器的可用算力资源信息，Ri，j表征各个边缘服务器之间的链路状态信息。
步骤S704，基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈。
可选地，基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈R如下所示：
其中，
表征训练样本图像任务i在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，Ti表征训练样本图像任务i经过任务分割与卸载后进行处理的时延信息。
可以理解的是，如果约束条件(请参见下述介绍)不满足时，可设置为负值，例如R＝-1，这样环境反馈R具有惩罚价值，能防止从这个方向迭代的动作选择。
步骤S705，基于预设超参数对优势动作评价网络的参数进行调整，得到多任务分割卸载模型。
可选地，预设超参数包括但不限于学习速率α、折扣因子γ以及ε-greedy策略中的ε等。其中，学习速率α∈(0，0.1)，可以让算法保留历史训练结果，关注过往经验；折扣因子γ∈(0.8，1)，让算法考虑下一步效益，更重视长远利益；ε-greedy策略中的ε取0.9，让算法有10％的尝试空间，避免陷入局部最优。
在本申请的一个实施例中，在步骤S705中的基于预设超参数对优势动作评价网络的参数进行调整，得到多任务分割卸载模型的过程之前，可以包括以下步骤，详细介绍如下：
步骤一，初始化st(t＝1)为当前状态序列的第一个状态，得到其特征向量φ(st)；
步骤二，在Actor网络中使用φ(st)作为输入，计算动作的概率分布π(at|st)；
步骤三，智能体根据π(at|st)采样得到动作选择at并且输出动作at；
步骤四，智能体基于动作at得到反馈rt，并且得到新的状态st+1；
步骤五，在Critic网络中输入φ(st)，得到V(st)，输入φ(st+1)，得到V(st+1)；
步骤六，计算TD误差δt(st)＝rt+γV(st+1)-V(st)；
步骤七，使用LCritic＝(rt+γV(st+1；θc)-V(st；θc))2作为Critic网络的损失函数，更新Critic网络的参数
步骤八，使用LActor＝-[δt(st；θc)logπ(at|st；θa)+βcH(π(at|st；θa))]作为Actor网络的损失函数，更新Actor网络的参数
步骤九，重复执行前述步骤一至步骤八，直至达到预设最大迭代次数T停止训练，至此，得到多任务分割卸载模型。
在本申请的一个实施例中，请参阅图8，在步骤S704中基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈的过程之前，还可以包括步骤S801至步骤S804，详细介绍如下：
步骤S801，将训练样本图像任务分割为多个子训练样本任务。
可选地，可以通过下述公式计算得到各个子训练样本任务从所接入的路测基站匹配的边缘服务器传输到其他边缘服务器之间的传输时延：
其中，
表征第i个训练样本图像任务的第n个子训练样本任务从所接入的路测基站匹配的边缘服务器传输到其他边缘服务器的传输时延；Di，n表征所接入的路测基站匹配的边缘服务器接收的第i个训练样本图像任务的第n个子训练样本任务的数据量大小；ras，cs表征第i个任务的第n个子训练样本任务所接入的路测基站匹配的边缘服务器as卸载到其他边缘服务器cs之间的数据传输速率。
步骤S802，计算各个子训练样本任务从所接入的路测基站匹配的边缘服务器传输到其他边缘服务器之间的传输时延，以及计算各个子训练样本任务在所接入的路测基站匹配的边缘服务器上和/或其他边缘服务器上进行处理的计算时延。
可选地，可以通过下述公式计算得到各个子训练样本任务在所接入的路测基站匹配的边缘服务器上和/或其他边缘服务器上进行处理的计算时延：
其中，
表征的第i个训练样本图像任务的第n个子训练样本任务在所接入的路测基站匹配的边缘服务器j和/或在其他边缘服务器j上进行处理的计算时延；Ci，n表征所接入的路测基站匹配的边缘服务器j和/或在其他边缘服务器j接收的第i个训练样本图像任务的第n个子训练样本任务所需的算力资源；fj表征第i个训练样本图像任务的第n个子训练样本任务对应的所接入的路测基站匹配的边缘服务器j和/或在其他边缘服务器j上的可用算力资源。
步骤S803，基于传输时延与计算时延，计算各个子训练样本任务进行处理的总时延。
可选地，可以通过下述公式计算得到各个子训练样本任务进行处理的总时延：
其中，Ti，n表征第i个训练样本图像任务的第n个子训练样本任务进行处理的总时延。
步骤S804，对各个子训练样本任务进行处理的总时延进行求和运算，得到对应的训练样本图像任务进行处理的时延信息。
可选地，可以通过下述公式计算得到训练样本图像任务进行处理的时延信息：
其中，Ti表征第i个训练样本图像任务进行处理的时延信息。
在本申请的一个实施例中，可以通过下述公式计算得到各个训练样本图像任务经过任务分割与卸载后进行处理的最小化时延信息：
其中，i表征一个训练样本图像任务，N表征训练样本图像任务的总数量，Ti表征训练样本图像任务i在目标边缘服务器上进行处理的处理时延，A表征各个训练样本图像任务的分割卸载动作矩阵表示；
在计算时满足下列条件：
C3：Ai，j∈{0，1}
其中，j表征一个边缘服务器，fi，j表征边缘服务器j给训练样本图像任务i卸载的子训练样本任务分配的算力资源，fj表征边缘服务器j的可用算力资源，M表征边缘计算系统包括的边缘服务器的总数量，Ai，j表征分割卸载动作矩阵表示中的一个元素，Ai，j＝0表征训练样本图像任务i的子训练样本任务没有卸载到边缘服务器j上，Ai，j＝1表征训练样本图像任务i的子训练样本任务卸载到边缘服务器j上，N表征训练样本图像任务的总数量；
其中，约束条件C1表征为卸载到边缘服务器j上的训练样本图像任务i的子训练样本任务分配的算力资源的总和不超过边缘服务器j的可用算力资源；
其中，约束条件C2表征当训练样本图像任务i的子训练样本任务被卸载到边缘服务器j上时，边缘服务器j为训练样本图像任务i的子训练样本任务提供算力资源以保证子训练样本任务被处理；
其中，约束条件C3表征训练样本图像任务i的子训练样本任务是否卸载到边缘服务器j上进行处理。
步骤S502，将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器，以使目标边缘服务器对接收到的子任务进行处理。
本申请实施例中将接收到来自于路测基站发送的车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中，得到分割后的各个子任务以及各个子任务待卸载的目标边缘服务器对应的标识之后，可以将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器，这样目标边缘服务器就可以对接收到的子任务进行处理。
举例说明，例如设图像任务1输入至预先训练好的多任务分割卸载模型中，得到分割后的子任务11、子任务12、子任务13、子任务14、子任务15；其中设各个子任务待卸载的目标边缘服务器对应的标识如下表1所示，因此，将子任务11发送至目标边缘服务器Q1进行处理，将子任务12发送至目标边缘服务器Q2进行处理，将子任务13发送至目标边缘服务器Q3进行处理，将子任务14发送至目标边缘服务器Q4进行处理，将子任务15发送至目标边缘服务器Q5进行处理。
表1
步骤S503，将接收到来自于各个目标边缘服务器发送的子任务处理结果进行整合，得到图像任务的任务处理结果。
本申请实施例中边缘服务器将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器，这样目标边缘服务器对接收到的子任务进行处理之后，会返回子任务处理结果至边缘服务器，相应地，边缘服务器接收到来自于各个目标边缘服务器发送的子任务处理结果，进而整合各个目标边缘服务器发送的子任务处理结果，得到图像任务的任务处理结果。
举例说明，例如承接前述示例，边缘服务器接收目标边缘服务器Q1对子任务11的处理结果q11，接收目标边缘服务器Q2对子任务12的处理结果q12，接收目标边缘服务器Q3对子任务13的处理结果q13，接收目标边缘服务器Q4对子任务14的处理结果q14，接收目标边缘服务器Q5对子任务15的处理结果q15，进而整合q11、q12、q13、q14以及q15，得到图像任务1的任务处理结果。
步骤S504，将图像任务的任务处理结果通过路测基站发送至车辆终端。
本申请实施例中边缘服务器将接收到来自于各个目标边缘服务器发送的子任务处理结果进行整合，得到图像任务的任务处理结果之后，可以将图像任务的任务处理结果发送至路测基站，进而由路测基站将该图像任务的任务处理结果转发至车辆终端。
本申请实施例中通过将图像任务输入到预先训练好的多任务分割卸载模型中，输出得到多个子任务，并且还输出得到各个子任务待卸载的目标边缘服务器对应的标识，进而将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器进行处理；这样对图像任务进行的分割与卸载，在极大程度上降低了图像任务的处理时延，提升了图像任务的处理效率。
本申请实施例中所应用训练得到的多任务分割卸载模型，考虑了边缘计算系统中含有的各个边缘服务器的可用算力资源信息，以及边缘计算系统中含有的各个边缘服务器之间的链路状态信息；这样使得边缘计算系统中含有的各个边缘服务器能够达到负载均衡，避免了边缘计算系统中的某些边缘服务器超载运行而某些边缘服务器却非常空闲的现象，在一定程度上进一步提升了图像任务的处理效率。
在本申请的一个实施例中，还提供一种模型训练方法，该模型训练方法可以应用于图2所示的实施环境中，并由图2所示实施环境中的边缘服务器执行。
该模型训练方法至少可以包括以下步骤，详细介绍如下：
步骤一，基于各个边缘服务器，构建优势动作评价强化学习算法的智能体；
步骤二，基于各个训练样本图像任务的分割卸载动作矩阵表示，构建动作空间；
步骤三，基于各个训练样本图像任务所需的算力资源信息，各个训练样本图像任务所接入的路测基站的标识，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息，构建状态空间；
步骤四，基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈；
步骤五，基于预设超参数对优势动作评价网络的参数进行调整，得到多任务分割卸载模型。
至此，训练得到多任务分割卸载模型；本申请实施例中具体实施过程可以参照前述实施例的技术方案，这里不再赘述。
本申请实施例中训练得到的多任务分割卸载模型，考虑了边缘计算系统中含有的各个边缘服务器的可用算力资源信息，以及边缘计算系统中含有的各个边缘服务器之间的链路状态信息；这样使得边缘计算系统中含有的各个边缘服务器能够达到负载均衡，避免了边缘计算系统中的某些边缘服务器超载运行而某些边缘服务器却非常空闲的现象。
图9是本申请的一个实施例示出的数据处理装置的框图。如图9所示，该数据处理装置配置于边缘计算系统，边缘计算系统包括多个边缘服务器，该数据处理装置包括：
输入模块901，配置为将接收到来自于路测基站发送的车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中，得到分割后的各个子任务以及各个子任务待卸载的目标边缘服务器对应的标识；其中，多任务分割卸载模型是将多个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练得到；
第一发送模块902，配置为将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器，以使目标边缘服务器对接收到的子任务进行处理；
整合模块903，配置为将接收到来自于各个目标边缘服务器发送的子任务处理结果进行整合，得到图像任务的任务处理结果；
第二发送模块904，配置为将图像任务的任务处理结果通过路测基站发送至车辆终端。
在本申请的一个实施例中，该数据处理装置还包括：
获取模块，配置为获取多个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息；
训练模块，配置为将各个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练，得到多任务分割卸载模型。
在本申请的一个实施例中，训练模块包括：
第一构建单元，配置为基于各个边缘服务器，构建优势动作评价强化学习算法的智能体；
第二构建单元，配置为基于各个训练样本图像任务的分割卸载动作矩阵表示，构建动作空间；
第三构建单元，配置为基于各个训练样本图像任务所需的算力资源信息，各个训练样本图像任务所接入的路测基站的标识，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息，构建状态空间；
第四构建单元，配置为基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈；
调整单元，配置为基于预设超参数对优势动作评价网络的参数进行调整，得到多任务分割卸载模型。
在本申请的一个实施例中，该数据处理装置还包括：
分割模块，配置为将训练样本图像任务分割为多个子训练样本任务；
第一计算模块，配置为计算各个子训练样本任务从所接入的路测基站匹配的边缘服务器传输到其他边缘服务器之间的传输时延，以及计算各个子训练样本任务在所接入的路测基站匹配的边缘服务器上和/或其他边缘服务器上进行处理的计算时延；
第二计算模块，配置为基于传输时延与计算时延，计算各个子训练样本任务进行处理的总时延；
第三计算模块，配置为对各个子训练样本任务进行处理的总时延进行求和运算，得到对应的训练样本图像任务进行处理的时延信息。
在本申请的一个实施例中，
第一计算模块，具体配置为通过下述公式计算得到各个子训练样本任务从所接入的路测基站匹配的边缘服务器传输到其他边缘服务器之间的传输时延：
其中，
表征第i个训练样本图像任务的第n个子训练样本任务从所接入的路测基站匹配的边缘服务器传输到其他边缘服务器的传输时延；Di，n表征所接入的路测基站匹配的边缘服务器接收的第i个训练样本图像任务的第n个子训练样本任务的数据量大小；ras，cs表征第i个任务的第n个子训练样本任务所接入的路测基站匹配的边缘服务器as卸载到其他边缘服务器cs之间的数据传输速率；
第一计算模块，具体配置为通过下述公式计算得到各个子训练样本任务在所接入的路测基站匹配的边缘服务器上和/或其他边缘服务器上进行处理的计算时延：
其中，
表征的第i个训练样本图像任务的第n个子训练样本任务在所接入的路测基站匹配的边缘服务器j和/或在其他边缘服务器j上进行处理的计算时延；Ci，n表征所接入的路测基站匹配的边缘服务器j和/或在其他边缘服务器j接收的第i个训练样本图像任务的第n个子训练样本任务所需的算力资源；fj表征第i个训练样本图像任务的第n个子训练样本任务对应的所接入的路测基站匹配的边缘服务器j和/或在其他边缘服务器j上的可用算力资源；
第二计算模块，具体配置为通过下述公式计算得到各个子训练样本任务进行处理的总时延：
其中，Ti，n表征第i个训练样本图像任务的第n个子训练样本任务进行处理的总时延；
第三计算模块，具体配置为通过下述公式计算得到训练样本图像任务进行处理的时延信息：
其中，Ti表征第i个训练样本图像任务进行处理的时延信息。
在本申请的一个实施例中，该数据处理装置还包括：
第四计算模块，配置为通过下述公式，计算得到各个训练样本图像任务经过任务分割与卸载后进行处理的最小化时延信息：
其中，i表征一个训练样本图像任务，N表征训练样本图像任务的总数量，Ti表征训练样本图像任务i在目标边缘服务器上进行处理的处理时延，A表征各个训练样本图像任务的分割卸载动作矩阵表示；
在计算时满足下列条件：
C3：Ai，j∈{0，1}
其中，j表征一个边缘服务器，fi，j表征边缘服务器j给训练样本图像任务i卸载的子训练样本任务分配的算力资源，fj表征边缘服务器j的可用算力资源，M表征边缘计算系统包括的边缘服务器的总数量，Ai，j表征分割卸载动作矩阵表示中的一个元素，Ai，j＝0表征训练样本图像任务i的子训练样本任务没有卸载到边缘服务器j上，Ai，j＝1表征训练样本图像任务i的子训练样本任务卸载到边缘服务器j上，N表征训练样本图像任务的总数量；
其中，约束条件C1表征为卸载到边缘服务器j上的训练样本图像任务i的子训练样本任务分配的算力资源的总和不超过边缘服务器j的可用算力资源；
其中，约束条件C2表征当训练样本图像任务i的子训练样本任务被卸载到边缘服务器j上时，边缘服务器j为训练样本图像任务i的子训练样本任务提供算力资源以保证子训练样本任务被处理；
其中，约束条件C3表征训练样本图像任务i的子训练样本任务是否卸载到边缘服务器j上进行处理。
需要说明的是，前述实施例所提供的数据处理装置与前述实施例所提供的数据处理方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，这里不再赘述。
图10是本申请的一个实施例示出的模型训练装置的框图。如图10所示，该模型训练装置包括：
第一构建模块1001，配置为基于各个边缘服务器，构建优势动作评价强化学习算法的智能体；
第二构建模块1002，配置为基于各个训练样本图像任务的分割卸载动作矩阵表示，构建动作空间；
第三构建模块1003，配置为基于各个训练样本图像任务所需的算力资源信息，各个训练样本图像任务所接入的路测基站的标识，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息，构建状态空间；
第四构建模块1004，配置为基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈；
调整模块1005，配置为基于预设超参数对优势动作评价网络的参数进行调整，得到多任务分割卸载模型。
需要说明的是，前述实施例所提供的模型训练装置与前述实施例所提供的模型训练方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，这里不再赘述。
本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得电子设备实现前述各个实施例中提供的数据处理方法和/或模型训练方法。
图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图11示出的电子设备的计算机系统1100仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统1100包括中央处理单元(Central Processing Unit，CPU)1101，其可以根据存储在只读存储器(Read-Only Memory，ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(Random Access Memory，RAM)1103中的程序而执行各种适当的动作和处理，例如执行前述实施例中的方法。在RAM 1103中，还存储有系统操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(Input/Output，I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是前述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者前述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或前述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者前述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前的数据处理方法和/或模型训练方法。该计算机可读存储介质可以是前述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述各个实施例中提供的数据处理方法和/或模型训练方法。
前述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。
Claims (10)
1.一种数据处理方法，其特征在于，应用于边缘计算系统，所述边缘计算系统包括多个边缘服务器，所述方法由边缘服务器执行，所述方法包括：
将接收到来自于路测基站发送的车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中，得到分割后的各个子任务以及各个子任务待卸载的目标边缘服务器对应的标识；其中，所述多任务分割卸载模型是将多个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练得到；
将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器，以使目标边缘服务器对接收到的子任务进行处理；
将接收到来自于各个目标边缘服务器发送的子任务处理结果进行整合，得到所述图像任务的任务处理结果；
将所述图像任务的任务处理结果通过所述路测基站发送至所述车辆终端。
2.如权利要求1所述的数据处理方法，其特征在于，在所述将接收到来自于路测基站发送的车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中之前，所述方法还包括：
获取多个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息；
将各个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练，得到所述多任务分割卸载模型。
3.如权利要求2所述的数据处理方法，其特征在于，所述将各个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练，得到所述多任务分割卸载模型，包括：
基于各个边缘服务器，构建优势动作评价强化学习算法的智能体；
基于各个训练样本图像任务的分割卸载动作矩阵表示，构建动作空间；
基于各个训练样本图像任务所需的算力资源信息，各个训练样本图像任务所接入的路测基站的标识，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息，构建状态空间；
基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈；
基于预设超参数对优势动作评价网络的参数进行调整，得到所述多任务分割卸载模型。
4.如权利要求3所述的数据处理方法，其特征在于，在基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈之前，所述方法还包括：
将训练样本图像任务分割为多个子训练样本任务；
计算各个子训练样本任务从所接入的路测基站匹配的边缘服务器传输到其他边缘服务器之间的传输时延，以及计算各个子训练样本任务在所接入的路测基站匹配的边缘服务器上和/或其他边缘服务器上进行处理的计算时延；
基于所述传输时延与所述计算时延，计算各个子训练样本任务进行处理的总时延；
对各个子训练样本任务进行处理的总时延进行求和运算，得到对应的训练样本图像任务进行处理的时延信息。
5.如权利要求4所述的数据处理方法，其特征在于，通过下述公式计算得到各个子训练样本任务从所接入的路测基站匹配的边缘服务器传输到其他边缘服务器之间的传输时延：
其中，
表征第i个训练样本图像任务的第n个子训练样本任务从所接入的路测基站匹配的边缘服务器传输到其他边缘服务器的传输时延；Di,n表征所接入的路测基站匹配的边缘服务器接收的第i个训练样本图像任务的第n个子训练样本任务的数据量大小；ras,cs表征第i个任务的第n个子训练样本任务所接入的路测基站匹配的边缘服务器as卸载到其他边缘服务器cs之间的数据传输速率；
通过下述公式计算得到各个子训练样本任务在所接入的路测基站匹配的边缘服务器上和/或其他边缘服务器上进行处理的计算时延：
其中，
表征的第i个训练样本图像任务的第n个子训练样本任务在所接入的路测基站匹配的边缘服务器j和/或在其他边缘服务器j上进行处理的计算时延；Ci,n表征所接入的路测基站匹配的边缘服务器j和/或在其他边缘服务器j接收的第i个训练样本图像任务的第n个子训练样本任务所需的算力资源；fj表征第i个训练样本图像任务的第n个子训练样本任务对应的所接入的路测基站匹配的边缘服务器j和/或在其他边缘服务器j上的可用算力资源；
通过下述公式计算得到各个子训练样本任务进行处理的总时延：
其中，Ti,n表征第i个训练样本图像任务的第n个子训练样本任务进行处理的总时延；
通过下述公式计算得到训练样本图像任务进行处理的时延信息：
其中，Ti表征第i个训练样本图像任务进行处理的时延信息。
6.如权利要求3所述的数据处理方法，其特征在于，通过下述公式，计算得到各个训练样本图像任务经过任务分割与卸载后进行处理的最小化时延信息：
其中，i表征一个训练样本图像任务，N表征训练样本图像任务的总数量，Ti表征训练样本图像任务i在目标边缘服务器上进行处理的处理时延，A表征各个训练样本图像任务的分割卸载动作矩阵表示；
在计算时满足下列条件：
C3:Ai,j∈{0,1}
其中，j表征一个边缘服务器，fi,j表征边缘服务器j给训练样本图像任务i卸载的子训练样本任务分配的算力资源，fj表征边缘服务器j的可用算力资源，M表征所述边缘计算系统包括的边缘服务器的总数量，Ai,j表征所述分割卸载动作矩阵表示中的一个元素，Ai,j＝0表征训练样本图像任务i的子训练样本任务没有卸载到边缘服务器j上，Ai,j＝1表征训练样本图像任务i的子训练样本任务卸载到边缘服务器j上，N表征训练样本图像任务的总数量；
C1表征为卸载到边缘服务器j上的训练样本图像任务i的子训练样本任务分配的算力资源的总和不超过边缘服务器j的可用算力资源；
C2表征当训练样本图像任务i的子训练样本任务被卸载到边缘服务器j上时，边缘服务器j为训练样本图像任务i的子训练样本任务提供算力资源以保证子训练样本任务被处理；
C3表征训练样本图像任务i的子训练样本任务是否卸载到边缘服务器j上进行处理。
7.一种模型训练方法，其特征在于，所述方法包括：
基于各个边缘服务器，构建优势动作评价强化学习算法的智能体；
基于各个训练样本图像任务的分割卸载动作矩阵表示，构建动作空间；
基于各个训练样本图像任务所需的算力资源信息，各个训练样本图像任务所接入的路测基站的标识，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息，构建状态空间；
基于各个训练样本图像任务在所接入的路测基站匹配的边缘服务器上进行处理的时延信息，以及各个训练样本图像任务经过任务分割与卸载后进行处理的时延信息，构建环境反馈；
基于预设超参数对优势动作评价网络的参数进行调整，得到多任务分割卸载模型。
8.一种数据处理装置，其特征在于，所述数据处理装置配置于边缘计算系统，所述边缘计算系统包括多个边缘服务器，所述数据处理装置包括：
输入模块，配置为将接收到来自于路测基站发送的车辆终端的图像任务输入至预先训练好的多任务分割卸载模型中，得到分割后的各个子任务以及各个子任务待卸载的目标边缘服务器对应的标识；其中，所述多任务分割卸载模型是将多个训练样本图像任务，各个边缘服务器的可用算力资源信息，以及各个边缘服务器之间的链路状态信息输入至优势动作评价网络中进行训练得到；
第一发送模块，配置为将各个子任务分别发送至与目标边缘服务器对应的标识匹配的目标边缘服务器，以使目标边缘服务器对接收到的子任务进行处理；
整合模块，配置为将接收到来自于各个目标边缘服务器发送的子任务处理结果进行整合，得到所述图像任务的任务处理结果；
第二发送模块，配置为将所述图像任务的任务处理结果通过所述路测基站发送至所述车辆终端。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述电子设备执行时，使得所述电子设备实现如权利要求1至6中任一项所述的数据处理方法，或者实现如权利要求7所述的模型训练方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法，或者实现如权利要求7所述的模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111558408.7A CN114285847A (zh) | 2021-12-17 | 2021-12-17 | 数据处理、模型训练方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111558408.7A CN114285847A (zh) | 2021-12-17 | 2021-12-17 | 数据处理、模型训练方法及装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114285847A true CN114285847A (zh) | 2022-04-05 |
Family
ID=80873063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111558408.7A Pending CN114285847A (zh) | 2021-12-17 | 2021-12-17 | 数据处理、模型训练方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114285847A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115086317A (zh) * | 2022-06-13 | 2022-09-20 | 国网北京市电力公司 | 电缆监测方法、装置、非易失性存储介质及电子设备 |
| CN116611536A (zh) * | 2023-07-19 | 2023-08-18 | 支付宝(杭州)信息技术有限公司 | 模型训练方法及装置、电子设备及存储介质 |
| CN116939171A (zh) * | 2023-09-19 | 2023-10-24 | 南方电网数字电网研究院有限公司 | 输电线路监控方法、装置和计算机设备 |
| WO2023206048A1 (zh) * | 2022-04-25 | 2023-11-02 | 北京小米移动软件有限公司 | 数据处理方法及系统，ai管理装置及存储介质 |
| CN117041259A (zh) * | 2023-09-28 | 2023-11-10 | 新华三技术有限公司 | 计算资源的调度方法及装置 |
| CN117992223A (zh) * | 2024-01-31 | 2024-05-07 | 三六零数字安全科技集团有限公司 | 模型训练方法、装置、电子设备及存储介质 |
| WO2024164716A1 (zh) * | 2023-02-08 | 2024-08-15 | 天翼云科技有限公司 | 一种图像处理方法、装置、设备、介质及产品 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108777852A (zh) * | 2018-05-16 | 2018-11-09 | 国网吉林省电力有限公司信息通信公司 | 一种车联网内容边缘卸载方法、移动资源分配系统 |
| CN110096362A (zh) * | 2019-04-24 | 2019-08-06 | 重庆邮电大学 | 一种基于边缘服务器协作的多任务卸载方法 |
| CN111191607A (zh) * | 2019-12-31 | 2020-05-22 | 上海眼控科技股份有限公司 | 确定车辆的转向信息的方法、设备和存储介质 |
| CN111918245A (zh) * | 2020-07-07 | 2020-11-10 | 西安交通大学 | 基于多智能体的车速感知的计算任务卸载和资源分配方法 |
| CN112153145A (zh) * | 2020-09-26 | 2020-12-29 | 江苏方天电力技术有限公司 | 5g边缘环境下面向车联网的计算任务卸载方法及装置 |
| CN112188442A (zh) * | 2020-11-16 | 2021-01-05 | 西南交通大学 | 基于移动边缘计算的车联网数据驱动任务卸载系统和方法 |
| US20210081787A1 (en) * | 2019-09-12 | 2021-03-18 | Beijing University Of Posts And Telecommunications | Method and apparatus for task scheduling based on deep reinforcement learning, and device |
| CN112672382A (zh) * | 2020-12-09 | 2021-04-16 | 广东技术师范大学 | 混合协作计算卸载方法、装置、电子设备及存储介质 |
| CN112685186A (zh) * | 2021-01-08 | 2021-04-20 | 北京信息科技大学 | 一种计算任务的卸载方法、装置、电子设备及存储介质 |
| CN112925657A (zh) * | 2021-01-18 | 2021-06-08 | 国汽智控(北京)科技有限公司 | 一种车路云协同处理系统及方法 |
-
2021
- 2021-12-17 CN CN202111558408.7A patent/CN114285847A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108777852A (zh) * | 2018-05-16 | 2018-11-09 | 国网吉林省电力有限公司信息通信公司 | 一种车联网内容边缘卸载方法、移动资源分配系统 |
| CN110096362A (zh) * | 2019-04-24 | 2019-08-06 | 重庆邮电大学 | 一种基于边缘服务器协作的多任务卸载方法 |
| US20210081787A1 (en) * | 2019-09-12 | 2021-03-18 | Beijing University Of Posts And Telecommunications | Method and apparatus for task scheduling based on deep reinforcement learning, and device |
| CN111191607A (zh) * | 2019-12-31 | 2020-05-22 | 上海眼控科技股份有限公司 | 确定车辆的转向信息的方法、设备和存储介质 |
| CN111918245A (zh) * | 2020-07-07 | 2020-11-10 | 西安交通大学 | 基于多智能体的车速感知的计算任务卸载和资源分配方法 |
| CN112153145A (zh) * | 2020-09-26 | 2020-12-29 | 江苏方天电力技术有限公司 | 5g边缘环境下面向车联网的计算任务卸载方法及装置 |
| CN112188442A (zh) * | 2020-11-16 | 2021-01-05 | 西南交通大学 | 基于移动边缘计算的车联网数据驱动任务卸载系统和方法 |
| CN112672382A (zh) * | 2020-12-09 | 2021-04-16 | 广东技术师范大学 | 混合协作计算卸载方法、装置、电子设备及存储介质 |
| CN112685186A (zh) * | 2021-01-08 | 2021-04-20 | 北京信息科技大学 | 一种计算任务的卸载方法、装置、电子设备及存储介质 |
| CN112925657A (zh) * | 2021-01-18 | 2021-06-08 | 国汽智控(北京)科技有限公司 | 一种车路云协同处理系统及方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023206048A1 (zh) * | 2022-04-25 | 2023-11-02 | 北京小米移动软件有限公司 | 数据处理方法及系统，ai管理装置及存储介质 |
| CN115086317A (zh) * | 2022-06-13 | 2022-09-20 | 国网北京市电力公司 | 电缆监测方法、装置、非易失性存储介质及电子设备 |
| WO2024164716A1 (zh) * | 2023-02-08 | 2024-08-15 | 天翼云科技有限公司 | 一种图像处理方法、装置、设备、介质及产品 |
| CN116611536A (zh) * | 2023-07-19 | 2023-08-18 | 支付宝(杭州)信息技术有限公司 | 模型训练方法及装置、电子设备及存储介质 |
| CN116611536B (zh) * | 2023-07-19 | 2023-09-29 | 支付宝(杭州)信息技术有限公司 | 模型训练方法及装置、电子设备及存储介质 |
| CN116939171A (zh) * | 2023-09-19 | 2023-10-24 | 南方电网数字电网研究院有限公司 | 输电线路监控方法、装置和计算机设备 |
| CN116939171B (zh) * | 2023-09-19 | 2024-03-26 | 南方电网数字电网研究院有限公司 | 输电线路监控方法、装置和计算机设备 |
| CN117041259A (zh) * | 2023-09-28 | 2023-11-10 | 新华三技术有限公司 | 计算资源的调度方法及装置 |
| CN117041259B (zh) * | 2023-09-28 | 2024-01-12 | 新华三技术有限公司 | 计算资源的调度方法及装置 |
| CN117992223A (zh) * | 2024-01-31 | 2024-05-07 | 三六零数字安全科技集团有限公司 | 模型训练方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114285847A (zh) | 数据处理、模型训练方法及装置、电子设备、存储介质 | |
| CN111835827B (zh) | 物联网边缘计算任务卸载方法及系统 | |
| CN111831427B (zh) | 一种基于移动边缘计算的分布式车辆间任务卸载方法 | |
| CN113326126A (zh) | 任务处理方法、任务调度方法、装置及计算机设备 | |
| CN111522657B (zh) | 一种分散设备协同深度学习推理方法 | |
| CN111222628A (zh) | 循环神经网络训练优化方法、设备、系统及可读存储介质 | |
| CN114898315A (zh) | 驾驶场景信息确定方法、对象信息预测模型训练方法及装置 | |
| CN115065683B (zh) | 基于车辆聚类的车辆边缘网络任务分配卸载方法 | |
| CN112230663A (zh) | 车辆定位数据的监测方法、装置 | |
| CN116128021A (zh) | 基于序列模型的并行处理方法及装置 | |
| CN116069498A (zh) | 一种分布式算力调度方法、装置、电子设备及存储介质 | |
| CN115174619A (zh) | 一种车辆算力共享方法、系统、电子设备及可读存储介质 | |
| CN113808157A (zh) | 图像处理方法、装置、及计算机设备 | |
| CN114741191A (zh) | 一种面向计算密集型任务关联性的多资源分配方法 | |
| CN113900739A (zh) | 一种多对多边缘计算场景下的计算卸载方法及系统 | |
| CN113269339A (zh) | 一种网约车任务自动创建和分发的方法及系统 | |
| CN108831548B (zh) | 远程智能医疗的优化方法、装置及系统 | |
| CN111784029A (zh) | 一种雾节点资源分配方法 | |
| Toyoda et al. | A dynamic task offloading method with centralized controller to improve task success rate | |
| CN114531603B (zh) | 一种视频流的图像处理方法、系统及电子设备 | |
| CN115774800B (zh) | 基于numa架构的时变图处理方法、电子设备、介质 | |
| CN117336697B (zh) | 一种基于混合覆盖场景的车联网任务卸载优化方法及系统 | |
| CN117808653B (zh) | 基于车联网的数据分析方法、终端设备以及存储介质 | |
| CN111740956B (zh) | 车辆通信方法、装置、计算机可读介质及电子设备 | |
| CN118034913A (zh) | 一种云协同控制方法、电子设备及集成式大模型部署架构 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |