CN114118300A - 服务迁移模型训练方法以及车联网服务迁移方法、系统 - Google Patents
服务迁移模型训练方法以及车联网服务迁移方法、系统 Download PDFInfo
- Publication number
- CN114118300A CN114118300A CN202210068935.8A CN202210068935A CN114118300A CN 114118300 A CN114118300 A CN 114118300A CN 202210068935 A CN202210068935 A CN 202210068935A CN 114118300 A CN114118300 A CN 114118300A
- Authority
- CN
- China
- Prior art keywords
- target
- vehicle
- edge node
- node
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013508 migration Methods 0.000 title claims abstract description 214
- 230000005012 migration Effects 0.000 title claims abstract description 214
- 238000012549 training Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000000605 extraction Methods 0.000 claims abstract description 170
- 230000006855 networking Effects 0.000 claims abstract description 28
- 238000011156 evaluation Methods 0.000 claims description 65
- 230000015654 memory Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000000306 recurrent effect Effects 0.000 description 8
- 230000003111 delayed effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 101000927793 Homo sapiens Neuroepithelial cell-transforming gene 1 protein Proteins 0.000 description 3
- 101001024723 Homo sapiens Nucleoporin NDC1 Proteins 0.000 description 3
- 101001124937 Homo sapiens Pre-mRNA-splicing factor 38B Proteins 0.000 description 3
- 101000643391 Homo sapiens Serine/arginine-rich splicing factor 11 Proteins 0.000 description 3
- 101000631937 Homo sapiens Sodium- and chloride-dependent glycine transporter 2 Proteins 0.000 description 3
- 101000639975 Homo sapiens Sodium-dependent noradrenaline transporter Proteins 0.000 description 3
- 102100037826 Nucleoporin NDC1 Human genes 0.000 description 3
- 102100028886 Sodium- and chloride-dependent glycine transporter 2 Human genes 0.000 description 3
- 102100024991 Tetraspanin-12 Human genes 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000470001 Delaya Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明揭示了一种服务迁移模型训练方法以及车联网服务迁移方法、系统，本发明涉及车联网领域。该方法包括：获取训练样本；将车辆样本状态信息输入至第一特征提取网络，得到车辆样本特征信息；将节点样本状态信息输入至第二特征提取网络，得到节点样本特征信息；将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果；基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。采用该方法可以解决车辆服务迁移可能造成边缘节点计算量过大，网络拥堵的情况。
Description
技术领域
本发明涉及车联网领域，具体涉及一种服务迁移模型训练方法以及车联网服务迁移方法、系统。
背景技术
无线通信技术的革命性发展促进了物与物之间的互联互通，直接或间接的引发了万物互联时代社会生产方式的重大变革。借助于5G通信网络的支持，车联网（Internet ofVehicle，IoV）等先进技术正快速发展，逐渐被大众所接受。一方面，车联网应用场景对计算资源的要求极高，需要持续的在极短时间内采集多模态感知数据、并基于数据进行实时驾驶决策的生成；另一方面，由于涉及到道路人身安全等问题，车辆决策等任务的处理对实时性的要求极高，延迟参数严格控制在一定范围内。当前，车载无线终端设备可以连接至云计算中心，获云端丰富的计算资源，实现基于深度学习的图像感知数据处理和分析，并将结果返回车辆以支持端侧智能决策和分析，弥补车辆自身计算资源的局限。尽管云端计算资源丰富，但由于与终端用户所处的网络位置较远，导致产生较高的网络延迟，在实时应用场景中是无法容忍的。近年来多接入边缘计算技术（Multi-access Edge Computing, MEC）随着5G的应用得到了快速的发展，通过将计算资源部署在靠近终端用户的无线网络边缘侧，就近提供大连接、低延迟、高带宽的计算、缓存及内容等业务，以提升实时用户服务请求的响应速度。因此，基于MEC的车联网已成为今后发展的重要方向。
IoV中的用户（车辆）具有高速移动的特性，其空间位置随时间发生动态变化，当车辆连接的基站发生变化时，当前正在执行服务的位置到车辆终端之间的延迟可能会大幅上升。因此，在边缘网络中，服务迁移技术，即将当前车辆的服务连同其运行时状态进行打包，并通过网络迁移至距离车辆最近的边缘节点上，为其提供持续的服务，已成为一种重要的技术实现手段。如何有效地对部署在边缘端的服务进行迁移，以保证车辆获取服务的连续性和实时性，是当前IoV研究领域面临的重要挑战之一。
现有基于边缘网络的服务迁移技术主要包括：跟随策略，即服务将一直跟随车辆进行迁移，放置在距离车辆最近的边缘节点上，因此并未考虑边缘节点当前状态，可能造成边缘节点计算量过大，网络拥堵的情况。
发明内容
有鉴于此，本发明实施例提供了一种服务迁移模型训练方法以及车联网服务迁移方法、系统，旨在解决车辆服务迁移可能造成边缘节点计算量过大，网络拥堵的情况。
根据第一方面，本发明实施例提供了一种服务迁移模型训练方法，该方法包括：
获取训练样本，训练样本中包括多个车辆的车辆样本状态信息以及与各车辆对应的边缘节点的节点样本状态信息；
将车辆样本状态信息输入至第一特征提取网络，得到车辆样本特征信息；
将节点样本状态信息输入至第二特征提取网络，得到节点样本特征信息；
将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果；
基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
本申请实施例提供的服务迁移模型训练方法，获取训练样本，其中，训练样本中包括多个车辆的车辆样本状态信息以及与各车辆对应的边缘节点的节点样本状态信息。将车辆样本状态信息输入至第一特征提取网络，得到车辆样本特征信息，从而可以保证得到的车辆样本特征信息的准确性。将节点样本状态信息输入至第二特征提取网络，得到节点样本特征信息，从而可以保证得到的节点样本特征信息的准确性。然后，将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果，使得得到的决策结果既考虑到了车辆的车辆样本特征信息，也考虑到了边缘节点的节点样本特征信息。然后基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。从而可以保证基于决策结果训练得到的目标服务迁移模型可以根据车辆的特征信息和边缘节点的特征信息，确定车辆服务对应的迁移的边缘节点，保证了边缘节点正常运行，不会造成边缘节点计算量过大，网络拥堵的情况。提高了车辆服务迁移的效率以及准确性。
结合第一方面，在第一方面第一实施方式中，将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果，包括：
将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，输出至少一个候选训练边缘节点以及各候选训练边缘节点对应的训练评估价值；
根据预设选择算法以及各候选训练边缘节点对应的训练评估价值，从候选训练边缘节点中确定决策结果。
本申请实施例提供的服务迁移模型训练方法，将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，输出至少一个候选训练边缘节点以及各候选训练边缘节点对应的训练评估价值；根据预设选择算法以及各候选训练边缘节点对应的训练评估价值，从候选训练边缘节点中确定决策结果。从而可以保证输出的决策结果的准确性。然后保证根据决策结果，更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数的准确性，进一步保证得到的目标服务迁移模型的准确性。
结合第一方面，在第一方面第二实施方式中，基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型，包括：
根据目标函数计算决策结果对应的奖励；奖励用于表征决策结果对应的服务迁移过程产生的延迟和/或车辆服务延迟；
根据决策结果对应的奖励以及损失函数，计算损失值，根据决策结果对应的奖励以及损失值，更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
本申请实施例提供的服务迁移模型训练方法，根据目标函数计算决策结果对应的奖励，从而可以对决策结果进行精准判断。然后根据决策结果对应的奖励以及损失函数，计算损失值，根据决策结果对应的奖励以及损失值，更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型，从而可以保证目标服务迁移模型的准确性。使得利用目标服务迁移模型确定车辆服务对应的边缘节点，保证将车辆服务迁移到边缘节点对应的服务迁移过程产生的延迟和/或车辆服务延迟最小，从而可以保证车辆服务快速执行，不耽误车辆正常驾驶，保证车辆安全驾驶。
根据第二方面，本发明实施例提供了一种车联网服务迁移方法，该方法应用于与目标车辆连接的第一边缘节点，第一边缘节点部署有目标服务迁移模型中的目标边缘节点决策模型，目标服务迁移模型是根据第一方面以及第一方面任一实施方式中的服务迁移模型训练方法训练得到的，该方法包括：
获取第一边缘节点当前状态的节点特征信息；
获取目标车辆当前状态的车辆特征信息；车辆特征信息包括目标服务的状态信息；
将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，确定目标车辆对应的目标服务迁移的目标边缘节点，目标边缘节点对应的服务迁移过程产生的延迟和/或车辆服务延迟最小。
本申请实施例提供的车联网服务迁移方法，获取第一边缘节点当前状态的节点特征信息以及目标车辆当前状态的车辆特征信息，并将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，确定目标车辆对应的目标服务迁移的目标边缘节点。上述方法，既考虑到了第一边缘节点当前状态的节点特征信息，也考虑了目标车辆当前状态的车辆特征信息，因此，不会出现目标边缘节点当前任务较重，目标车辆仍将目标服务迁移至目标边缘节点的情况，也就不会造成目标边缘节点计算量过大，网络拥堵的情况。提高了车辆服务迁移的效率以及准确性。此外，上述方法，还可以保证确定的目标边缘节点对应的服务迁移过程产生的延迟和/或车辆服务延迟最小。从而可以保证车辆服务快速执行，不耽误车辆正常驾驶，保证车辆安全驾驶。
结合第二方面，在第二方面第一实施方式中，将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，确定目标车辆对应的目标服务迁移的目标边缘节点，包括：
将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，利用目标边缘节点决策模型中的评价函数计算至少一个候选边缘节点对应的评估价值，输出各候选边缘节点以及各候选边缘节点对应的评估价值；
从各评估价值中选择最大评估价值；
根据最大评估价值，从各候选边缘节点中，确定目标服务对应的目标边缘节点。
本申请实施例提供的车联网服务迁移方法，将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，利用目标边缘节点决策模型中的评价函数计算至少一个候选边缘节点对应的评估价值，输出各候选边缘节点以及各候选边缘节点对应的评估价值；从各评估价值中选择最大评估价值；根据最大评估价值，从各候选边缘节点中，确定目标服务对应的目标边缘节点。从而可以保证确定的目标边缘节点的评估价值最大，进而保证确定的目标边缘节点的准确性。
结合第二方面，在第二方面第二实施方式中，第一边缘节点还部署有目标服务迁移模型中的第二目标特征提取模型，获取第一边缘节点当前状态的节点特征信息，包括：
获取第一边缘节点对应的节点状态信息，节点状态信息包括地理空间位置坐标、无线接入范围、最大计算资源、最大同时服务数量、当前可用服务数量以及与其他边缘节点之间的网络状态；
将节点状态信息输入至第二目标特征提取模型，得到节点特征信息。
本申请实施例提供的车联网服务迁移方法，获取第一边缘节点对应的节点状态信息，将节点状态信息输入至第二目标特征提取模型，得到节点特征信息。从而可以保证得到的节点特征信息的准确性。
根据第三方面，本发明实施例提供了一种车联网服务迁移方法，该方法应用于目标车辆，目标车辆部署有目标服务迁移模型中的第一目标特征提取模型，目标服务迁移模型是根据第一方面以及第一方面任一实施方式中任一项的服务迁移模型训练方法训练得到的，方法包括：
获取目标车辆当前状态的车辆状态信息，车辆状态信息包括目标车辆的当前位置坐标、当前速度、移动方向信息、目标服务任务量大小以及目标车辆正在进行中的服务的状态信息；
将车辆状态信息输入至第一目标特征提取模型，输出目标车辆的车辆特征信息，并将车辆特征信息发送至与目标车辆连接的第一边缘节点，以使得第一边缘节点执行上述第二方面以及第二方面任一实施方式中的车联网服务迁移方法。
本申请实施例提供的车联网服务迁移方法，获取目标车辆当前状态的车辆状态信息，将车辆状态信息输入至第一目标特征提取模型，输出目标车辆的车辆特征信息，从而可以保证节点特征信息的准确性。
根据第四方面，本发明实施例提供了一种车联网服务迁移系统，该系统包括：目标车辆和第一边缘节点，目标车辆与第一边缘节点连接，第一边缘节点部署有目标服务迁移模型中的目标边缘节点决策模型以及第二目标特征提取模型，目标车辆部署有目标服务迁移模型中的第一目标特征提取模型，目标服务迁移模型是根据第一方面以及第一方面任一实施方式中的服务迁移模型训练方法训练得到的，其中：
第一边缘节点，用于获取第一边缘节点对应的节点状态信息，节点状态信息包括地理空间位置坐标、无线接入范围、最大计算资源、最大同时服务数量、当前可用服务数量以及与其他边缘节点之间的网络状态；将节点状态信息输入至第二目标特征提取模型，得到节点特征信息；
目标车辆，用于获取目标车辆当前状态的车辆状态信息，车辆状态信息包括目标车辆的当前位置坐标、当前速度、移动方向信息、目标服务任务量大小以及目标车辆正在进行中的服务的状态信息；
将车辆状态信息输入至第一目标特征提取模型，输出目标车辆的车辆特征信息，并将车辆特征信息发送至与目标车辆连接的第一边缘节点；
第一边缘节点，还用于将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，确定目标车辆对应的目标服务迁移的目标边缘节点。
本申请实施例提供的车联网服务迁移系统，既考虑到了第一边缘节点当前状态的节点特征信息，也考虑了目标车辆当前状态的车辆特征信息，因此，不会出现目标边缘节点当前任务较重，目标车辆仍将目标服务迁移至目标边缘节点的情况，也就不会造成目标边缘节点计算量过大，网络拥堵的情况。提高了车辆服务迁移的效率以及准确性。此外，上述车联网服务迁移系统，还可以保证确定的目标边缘节点对应的服务迁移过程产生的延迟和/或车辆服务延迟最小。从而可以保证车辆服务快速执行，不耽误车辆正常驾驶，保证车辆安全驾驶。
根据第五方面，本发明实施例还提供了一种服务迁移模型训练装置，该装置包括：
第一获取模块，用于获取训练样本，训练样本中包括多个车辆的车辆样本状态信息以及与各车辆对应的边缘节点的节点样本状态信息；
第一输入模块，用于将车辆样本状态信息输入至第一特征提取网络，得到车辆样本特征信息；
第二输入模块，用于将节点样本状态信息输入至第二特征提取网络，得到节点样本特征信息；
第三输入模块，用于将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果；
更新模块，用于基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
本申请实施例提供的服务迁移模型训练装置，获取训练样本，其中，训练样本中包括多个车辆的车辆样本状态信息以及与各车辆对应的边缘节点的节点样本状态信息。电子设备将车辆样本状态信息输入至第一特征提取网络，得到车辆样本特征信息，从而可以保证得到的车辆样本特征信息的准确性。电子设备将节点样本状态信息输入至第二特征提取网络，得到节点样本特征信息，从而可以保证得到的节点样本特征信息的准确性。然后，将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果，使得得到的决策结果既考虑到了车辆的车辆样本特征信息，也考虑到了边缘节点的节点样本特征信息。然后基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。从而可以保证基于决策结果训练得到的目标服务迁移模型，可以根据车辆特征信息和边缘节点特征信息，确定车辆服务对应的迁移的边缘节点，保证了边缘节点正常运行，不会造成边缘节点计算量过大，网络拥堵的情况。提高了车辆服务迁移的效率以及准确性。
根据第六方面，本发明实施例还提供了一种车联网服务迁移装置，该方法应用于与目标车辆连接的第一边缘节点，第一边缘节点部署有目标服务迁移模型中的目标边缘节点决策模型，目标服务迁移模型是根据第一方面以及第一方面任一实施方式中的服务迁移模型训练方法训练得到的，该装置包括：
第二获取模块，用于获取第一边缘节点当前状态的节点特征信息；
第三获取模块，用于获取目标车辆当前状态的车辆特征信息；车辆特征信息包括目标服务的状态信息；
确定模块，用于将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，确定目标车辆对应的目标服务迁移的目标边缘节点。
本申请实施例提供的车联网服务迁移装置，获取第一边缘节点当前状态的节点特征信息以及目标车辆当前状态的车辆特征信息，并将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，确定目标车辆对应的目标服务迁移的目标边缘节点。上述方法，既考虑到了第一边缘节点当前状态的节点特征信息，也考虑了目标车辆当前状态的车辆特征信息，因此，不会出现目标边缘节点当前任务较重，目标车辆仍将目标服务迁移至目标边缘节点的情况，也就不会造成目标边缘节点计算量过大，网络拥堵的情况。提高了车辆服务迁移的效率以及准确性。此外，上述装置，还可以保证确定的目标边缘节点对应的服务迁移过程产生的延迟和/或车辆服务延迟最小。从而可以保证车辆服务快速执行，不耽误车辆正常驾驶，保证车辆安全驾驶。
根据第七方面，本发明实施例还提供了一种车联网服务迁移装置，该装置应用于目标车辆，目标车辆部署有目标服务迁移模型中的第一目标特征提取模型，目标服务迁移模型是根据第一方面以及第一方面任一实施方式中任一项的服务迁移模型训练方法训练得到的，装置包括：
第四获取模块，用于获取目标车辆当前状态的车辆状态信息，车辆状态信息包括目标车辆的当前位置坐标、当前速度、移动方向信息、目标服务任务量大小以及目标车辆正在进行中的服务的状态信息；
输出模块，用于将车辆状态信息输入至第一目标特征提取模型，输出目标车辆的车辆特征信息，并将车辆特征信息发送至与目标车辆连接的第一边缘节点，以使得第一边缘节点执行上述第二方面以及第二方面任一实施方式的车联网服务迁移方法。
本申请实施例提供的车联网服务迁移装置，获取目标车辆当前状态的车辆状态信息，将车辆状态信息输入至第一目标特征提取模型，输出目标车辆的车辆特征信息，从而可以保证节点特征信息的准确性。
根据第八方面，本发明实施例提供了一种电子设备，包括存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中的服务迁移模型训练方法、第二方面或者第二方面的任意一种实施方式中的车联网服务迁移方法以及第三方面或者第三方面的任意一种实施方式中的车联网服务迁移方法。
根据第九方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行第一方面或者第一方面的任意一种实施方式中的服务迁移模型训练方法、第二方面或者第二方面的任意一种实施方式中的车联网服务迁移方法以及第三方面或者第三方面的任意一种实施方式中的车联网服务迁移方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1 是应用本发明实施例提供的服务迁移模型训练方法的流程图；
图2 是应用本发明另一实施例提供的目标服务迁移模型的结构图；
图3 是应用本发明另一实施例提供的服务迁移模型训练方法的流程图；
图4 是应用本发明另一实施例提供的车联网服务迁移方法的流程图；
图5 是应用本发明另一实施例提供的车联网服务迁移方法的流程图；
图6 是应用本发明另一实施例提供的车联网服务迁移系统的结构图；
图7 是应用本发明实施例提供的服务迁移模型训练装置的功能模块图；
图8 是应用本发明实施例提供的车联网服务迁移装置的功能模块图；
图9 是应用本发明实施例提供的车联网服务迁移装置的功能模块图；
图10 是应用本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请实施例提供的服务迁移模型训练的方法，其执行主体可以是服务迁移模型训练的装置，该服务迁移模型训练的装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部，其中，该计算机设备可以是服务器或者终端，其中，本申请实施例中的服务器可以为一台服务器，也可以为由多台服务器组成的服务器集群，本申请实施例中的终端可以是智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。下述方法实施例中，均以执行主体是电子设备为例来进行说明。
在本申请一个实施例中，如图1所示，提供了一种服务迁移模型训练方法，以该方法应用于电子设备为例进行说明，包括以下步骤：
S11、获取训练样本。
其中，训练样本中包括多个车辆的车辆样本状态信息以及与各车辆对应的边缘节点的节点样本状态信息。
具体地，电子设备可以接收其他设备发送的训练样本，也可以接收用户输入的训练样本，本申请实施例对电子设备获取训练样本的方式不做具体限定。
S12、将车辆样本状态信息输入至第一特征提取网络，得到车辆样本特征信息。
具体地，电子设备可以将车辆样本状态信息输入至第一特征提取网络，第一特征提取网络对车辆样本状态信息进行特征提取，输出车辆样本特征信息。
其中，车辆样本特征信息可以表征车辆的当前位置坐标、当前速度、移动方向信息、车辆中服务任务量大小以及车辆正在进行中的服务等特征。
第一特征提取网络可以是DNN（Deep Neural Networks，深度神经网络）、CNN（Convolutional Neural Networks，卷积神经网络）、RNN（Recurrent Neural Network，循环神经网络）、图神经网络等，在第一特征提取网络是CNN时，其可以是V-Net网络、U-Net网络、生成式对抗网络Generative Adversarial Nets以及循环神经网络等。本申请实施例对第一特征提取网络的类型不做具体限定。
S13、将节点样本状态信息输入至第二特征提取网络，得到节点样本特征信息。
具体地，电子设备可以将节点样本状态信息输入至第二特征提取网络，第二特征提取网络对节点样本状态信息进行特征提取，输出节点样本特征信息。
其中，节点样本特征信息可以表征边缘节点地理空间位置坐标、无线接入范围、最大计算资源、最大同时服务数量、当前可用服务数量以及与其他边缘节点之间的网络状态等特征。
第二特征提取网络可以是DNN（Deep Neural Networks，深度神经网络）、CNN（Convolutional Neural Networks，卷积神经网络）、RNN（Recurrent Neural Network，循环神经网络）、图神经网络等，在第二特征提取网络是CNN时，其可以是V-Net网络、U-Net网络、生成式对抗网络Generative Adversarial Nets以及循环神经网络等。本申请实施例对第二特征提取网络的类型不做具体限定。
S14、将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果。
具体地，电子设备将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，边缘节点决策网络对车辆样本特征信息以及节点样本特征信息进行特征提取，并进行计算，输出决策结果。
其中，边缘节点决策网络以是DNN（Deep Neural Networks，深度神经网络）、CNN（Convolutional Neural Networks，卷积神经网络）、RNN（Recurrent Neural Network，循环神经网络）、图神经网络等，在第二特征提取网络是CNN时，其可以是V-Net网络、U-Net网络、生成式对抗网络Generative Adversarial Nets以及循环神经网络等。本申请实施例对边缘节点决策网络的类型不做具体限定。
关于该步骤的具体介绍将在下文进行说明。
S15、基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
具体地，电子设备基于决策结果，生成优化问题的目标函数，利用深度强化学习技术更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，并根据损失函数对第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数进行优化，直至训练过程达到收敛，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
关于该步骤的具体介绍将在下文进行说明。
示例性的，请参见图2，其中，NET1为第二特征提取网络，NET2为第一特征提取网络，NET3为边缘节点决策网络。
NET1可以为图神经网络，对应的输入为N*M维度边缘节点对应的节点样本状态信息矩阵，输出为N*K维度节点样本特征信息矩阵，N表示边缘节点数量，M和K分别表示输入和输出的节点属性的维度。网络中的边缘节点构成连通图，其中的节点属性包括边缘节点的状态信息，图中的边则表示节点之间的网络状态，在本实施中主要表示边缘节点之间的网络带宽及网络负载。由于边缘网络状态信息具有的结构特征，因此采用图神经网络对其进行特征提取，能够更好的表示出边缘节点之间的状态相似性，提升服务迁移决策网络的性能。
由于车辆的状态随时间发生持续变化，具有时序性，循环神经网络能够对具有时序特征的信息进行高效的特征提取。因此设置NET2网络为循环神经网络，网络输入为车辆的车辆样本状态信息，输出为W维特征向量。
将NET1和NET2网络提取得到的相应特征输入到边缘节点决策网络NET3网络中，并由NET3网络输出最终的用户服务迁移决策结果。
本申请实施例提供的服务迁移模型训练方法，获取训练样本，其中，训练样本中包括多个车辆的车辆样本状态信息以及与各车辆对应的边缘节点的节点样本状态信息。电子设备将车辆样本状态信息输入至第一特征提取网络，得到车辆样本特征信息，从而可以保证得到的车辆样本特征信息的准确性。电子设备将节点样本状态信息输入至第二特征提取网络，得到节点样本特征信息，从而可以保证得到的节点样本特征信息的准确性。然后，将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果，使得得到的决策结果既考虑到了车辆的车辆样本特征信息，也考虑到了边缘节点的节点样本特征信息。然后基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。从而可以保证基于决策结果训练得到的目标服务迁移模型，可以根据车辆的特征信息和边缘节点的特征信息，确定车辆服务对应的迁移的边缘节点，保证了边缘节点正常运行，不会造成边缘节点计算量过大，网络拥堵的情况。提高了车辆服务迁移的效率以及准确性。
在本申请一个实施例中，如图3所示，提供了一种服务迁移模型训练方法，以该方法应用于电子设备为例进行说明，包括以下步骤：
S21、获取训练样本。
其中，训练样本中包括多个车辆的车辆样本状态信息以及与各车辆对应的边缘节点的节点样本状态信息。
关于该步骤请参见图1对S11的介绍，在此不再进行赘述。
S22、将车辆样本状态信息输入至第一特征提取网络，得到车辆样本特征信息。
关于该步骤请参见图1对S12的介绍，在此不再进行赘述。
S23、将节点样本状态信息输入至第二特征提取网络，得到节点样本特征信息。
关于该步骤请参见图1对S13的介绍，在此不再进行赘述。
S24、将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果。
具体地，上述S24“将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果”可以包括如下步骤：
S241、将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，输出至少一个候选训练边缘节点以及各候选训练边缘节点对应的训练评估价值。
具体地，电子设备将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，边缘节点决策网络确定至少一个候选训练边缘节点，并对至少一个候选训练边缘节点进行训练评估价值计算，然后输出至少一个候选训练边缘节点以及各候选训练边缘节点对应的训练评估价值。
示例性的，请参见图2，图2中的q1、q2、……qn，分别为各候选训练边缘节点对应的训练评估价值。
S242、根据预设选择算法以及各候选训练边缘节点对应的训练评估价值，从候选训练边缘节点中确定决策结果。
具体地，电子设备可以根据预设选择算法以及各候选训练边缘节点对应的训练评估价值，从候选训练边缘节点中确定决策结果。其中，预设选择算法可以是e-贪婪算法，还可以是随机算法或者选取最大值算法，本申请实施例对预设选择算法不做具体限定。
在一种可选的实施方式中，电子设备可以根据选取最大值算法，从候选训练边缘节点中选择训练评估价值最大的候选训练边缘节点作为决策结果。
在一种可选的实施方式中，电子设备可以利用e-贪婪算法确定从候选训练边缘节点中选择训练评估价值最大的候选训练边缘节点作为决策结果的第一概率，其中，第一概率可以是80%，也可以是70%，本申请实施例对第一概率不做具体限定。
S25、基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
具体地，上述S25“基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型”可以包括如下步骤：
S251、根据目标函数计算决策结果对应的奖励。
其中，奖励用于表征决策结果对应的服务迁移过程产生的延迟和/或车辆服务延迟。
具体地，电子设备可以利用目标函数计算决策结果对应的奖励。示例性的，目标函数可以如下：
其中，其中T表示时间范围的上限，I为网络中所有车辆，
表示车辆i在t时刻
进行服务迁移产生的延迟，
表示车辆i在t时刻服务响应延迟，α为服务迁移延迟的权
重值，β为服务响应延迟的权重值。
其中，
，rt为在车辆样本状态信息和节点样本状态
信息下决策结果对应的奖励。然后，电子设备根据训练样中每个车辆对应的样本数据对应
的奖励，计算目标函数，从而使得训练得到的目标服务迁移模型，能够保证目标服务迁移过
程产生的延迟和/或车辆服务延迟最小。
S252、根据决策结果对应的奖励以及损失函数，计算损失值，根据决策结果对应的奖励以及损失值，更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
在本申请一个可选的实施方式中，电子设备在每次根据车辆样本状态信息和节点样本状态信息确定决策结果之后，还可以根据决策结果确定下一个时刻的车辆的状态信息。然后，电子设备根据车辆样本状态信息、决策结果、决策结果对应的奖励以及决策结果对应的下一个时刻的车辆的状态信息，生成一个数据集合存入缓存池D中，当缓存池D中存储的数据集合的条数大于采样阈值m大小时，更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数。
具体地，电子设备从缓存池D中随机采样m个样本，并根据以下公式计算当前状态和决策的目标收益Qtgt：其中，当前状态可以包括车辆的当前状态和边缘节点的当前状态；
根据损失函数L计算误差：
其中，rt为当前决策对应的奖励，
为折扣系数，且
，
为当前决策对应的下一个时刻对应的奖励；
为其他样本和对应奖励。
具体地，电子设备在每次训练得到决策结果之后，决策结果对应的奖励以及当前状态和决策结果的目标收益，然后根据当前状态和决策结果的目标收益，计算损失函数对应的损失值。然后根据梯度反向传播法则更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，当损失函数收敛时停止训练过程，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
本申请实施例提供的服务迁移模型训练方法，将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，输出至少一个候选训练边缘节点以及各候选训练边缘节点对应的训练评估价值；根据预设选择算法以及各候选训练边缘节点对应的训练评估价值，从候选训练边缘节点中确定决策结果。从而可以保证输出的决策结果的准确性。然后保证根据决策结果，更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数的准确性，进一步保证得到的目标服务迁移模型的准确性。
此外，根据目标函数计算决策结果对应的奖励，从而可以对决策结果进行精准判断。然后根据决策结果对应的奖励以及损失函数，计算损失值，根据决策结果对应的奖励以及损失值，更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型，从而可以保证目标服务迁移模型的准确性。使得利用目标服务迁移模型确定车辆服务对应的边缘节点，可以保证将车辆服务迁移到边缘节点对应的服务迁移过程产生的延迟和/或车辆服务延迟最小，从而可以保证车辆服务快速执行，不耽误车辆正常驾驶，保证车辆安全驾驶。
在本申请一个实施例中，如图4所示，提供了一种服务迁移模型训练方法，以方法应用于与目标车辆连接的第一边缘节点为例进行说明，第一边缘节点部署有目标服务迁移模型中的目标边缘节点决策模型和第二目标特征提取模型，目标服务迁移模型是上述任一实施例中的服务迁移模型训练方法训练得到的，包括以下步骤：
S31、获取第一边缘节点当前状态的节点特征信息。
具体地，上述步骤S31可以包括如下步骤：
S311、获取第一边缘节点对应的节点状态信息。
其中，节点状态信息包括地理空间位置坐标、无线接入范围、最大计算资源、最大同时服务数量、当前可用服务数量以及与其他边缘节点之间的网络状态。
具体地，第一边缘节点可以根据自身状态信息以及与其他边缘节点之间的网络状态，获取到自身对应的节点状态信息。
示例性的，在时刻t，SEn表示第一边缘节点n在t时刻的节点状态信息。第一边缘节
点的节点状态信息的主要特征包括地理空间位置坐标Lon，无线接入范围Cn，最大计算资源
Fn，最大同时服务数量
，当前可用服务数量
等，可以表述如下：
其中
表示从第一边缘节点n到其他边缘节点n'之间的网络状态。
S312、将节点状态信息输入至第二目标特征提取模型，得到节点特征信息。
具体地，第一边缘节点将节点状态信息输入至第二目标特征提取模型，第二目标特征提取模型对节点状态信息进行特征提取，得到节点特征信息。
S32、获取目标车辆当前状态的车辆特征信息。
其中，车辆特征信息包括目标服务的状态信息。
具体地，第一边缘节点可以基于与目标车辆之间的通讯连接接收目标车辆发送的车辆特征信息。
S33、将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，确定目标车辆对应的目标服务迁移的目标边缘节点，目标边缘节点对应的服务迁移过程产生的延迟和/或车辆服务延迟最小。
具体地，上述步骤S33可以包括如下步骤：
S331、将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，利用目标边缘节点决策模型中的评价函数计算至少一个候选边缘节点对应的评估价值，输出各候选边缘节点以及各候选边缘节点对应的评估价值。
具体地，第一边缘节点将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，目标边缘节点决策模型对节点特征信息和车辆特征信息进行特征提取，并基于提取的特征利用目标边缘节点决策模型中的评价函数计算至少一个候选边缘节点对应的评估价值，输出各候选边缘节点以及各候选边缘节点对应的评估价值。
S332、从各评估价值中选择最大评估价值。
具体地，第一边缘节点对各评估价值进行识别，并对各评估价值进行对比排序，从各评估价值中选择最大评估价值。
S333、根据最大评估价值，从各候选边缘节点中，确定目标服务对应的目标边缘节点。
具体地，第一边缘节点根据最大评估价值，确定最大评估价值对应的目标边缘节点，然后从各候选边缘节点中，确定目标服务对应的目标边缘节点。
在本申请一个可选的实施例中，第一边缘节点在确定目标服务对应的目标边缘节
点之后，可以利用
，计算目标边缘节点对应的奖励，即对当前车辆执行
服务迁移后产生的服务迁移延迟
和车辆服务响应延迟
的加权和，α和β分别表示其
权重，且α+β=1。
本申请实施例提供的车联网服务迁移方法，获取第一边缘节点对应的节点状态信息，将节点状态信息输入至第二目标特征提取模型，得到节点特征信息。从而可以保证得到的节点特征信息的准确性。然后，将获取到的节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，确定目标车辆对应的目标服务迁移的目标边缘节点。上述方法，既考虑到了第一边缘节点当前状态的节点特征信息，也考虑了目标车辆当前状态的车辆特征信息，因此，不会出现目标边缘节点当前任务较重，目标车辆仍将目标服务迁移至目标边缘节点的情况，也就不会造成目标边缘节点计算量过大，网络拥堵的情况。提高了车辆服务迁移的效率以及准确性。此外，上述方法，还可以保证确定的目标边缘节点对应的服务迁移过程产生的延迟和/或车辆服务延迟最小。从而可以保证车辆服务快速执行，不耽误车辆正常驾驶，保证车辆安全驾驶。
此外，本申请实施例提供的车联网服务迁移方法，将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，利用目标边缘节点决策模型中的评价函数计算至少一个候选边缘节点对应的评估价值，输出各候选边缘节点以及各候选边缘节点对应的评估价值；从各评估价值中选择最大评估价值；根据最大评估价值，从各候选边缘节点中，确定目标服务对应的目标边缘节点。从而可以保证确定的目标边缘节点的评估价值最大，进而保证确定的目标边缘节点的准确性。
在本申请一个实施例中，如图5所示，提供了一种服务迁移模型训练方法，以该方法应用于目标车辆为例进行说明，目标车辆部署有目标服务迁移模型中的第一目标特征提取模型，目标服务迁移模型是上述任一实施例中的服务迁移模型训练方法训练得到的，包括以下步骤：
S41、获取目标车辆当前状态的车辆状态信息。
其中，车辆状态信息包括目标车辆的当前位置坐标、当前速度、移动方向信息、目标服务任务量大小以及目标车辆正在进行中的服务的状态信息。
具体地，目标车辆可以根据自身状态信息获取到自身对应的车辆状态信息。
示例性的，目标车辆在移动过程中，会持续产生服务请求，在本地处理或上传至附
近的边缘节点进行处理。在时刻t，目标车辆i的状态信息VRi可以表示为当前位置坐标
，
车辆当前速度
，移动方向信息
，当前任务量大小
，以及当前目标车辆正在进行
中的服务状态信息
：
其中
中的n表示目标车辆当前正在进行中的服务所在的边缘节点编号，服
务状态信息包括迁移该服务时产生的数据量大小，影响服务迁移过程对网络传输资源的需
求。
S42、将车辆状态信息输入至第一目标特征提取模型，输出目标车辆的车辆特征信息，并将车辆特征信息发送至与目标车辆连接的第一边缘节点，以使得第一边缘节点执行上述实施方式中任一项的车联网服务迁移方法。
具体地，目标车辆将车辆状态信息输入至第一目标特征提取模型，第一目标特征提取模型对车辆状态信息进行特征提取，得到车辆特征信息。然后，目标车辆基于与第一边缘节点之间的通信联系，将目标车辆的车辆特征信息发送至与目标车辆连接的第一边缘节点，以使得第一边缘节点执行上述实施方式中任一项的车联网服务迁移方法。
本申请实施例提供的车联网服务迁移方法，获取目标车辆当前状态的车辆状态信息，将车辆状态信息输入至第一目标特征提取模型，输出目标车辆的车辆特征信息，从而可以保证节点特征信息的准确性。
应该理解的是，虽然图1、图3-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图3-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
本发明实施例提供了一种车联网服务迁移系统50，如图6所示，车联网服务迁移系统50包括：目标车辆51和第一边缘节点52，目标车辆与第一边缘节点连接，第一边缘节点部署有目标服务迁移模型中的目标边缘节点决策模型以及第二目标特征提取模型，目标服务迁移模型是根据第一方面以及第一方面任一实施方式中任一项的服务迁移模型训练方法训练得到的，目标车辆部署有目标服务迁移模型中的第一目标特征提取模型，目标服务迁移模型是根据第一方面以及第一方面任一实施方式中任一项的服务迁移模型训练方法训练得到的，其中：
第一边缘节点，用于获取第一边缘节点对应的节点状态信息，节点状态信息包括地理空间位置坐标、无线接入范围、最大计算资源、最大同时服务数量、当前可用服务数量以及与其他边缘节点之间的网络状态；将节点状态信息输入至第二目标特征提取模型，得到节点特征信息；
目标车辆，用于获取目标车辆当前状态的车辆状态信息，车辆状态信息包括目标车辆的当前位置坐标、当前速度、移动方向信息、目标服务任务量大小以及目标车辆正在进行中的服务的状态信息；
将车辆状态信息输入至第一目标特征提取模型，输出目标车辆的车辆特征信息，并将车辆特征信息发送至与目标车辆连接的第一边缘节点；
第一边缘节点，还用于将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，确定目标车辆对应的目标服务迁移的目标边缘节点。
本申请实施例提供的车联网服务迁移系统，既考虑到了第一边缘节点当前状态的节点特征信息，也考虑了目标车辆当前状态的车辆特征信息，因此，不会出现目标边缘节点当前任务较重，目标车辆仍将目标服务迁移至目标边缘节点的情况，也就不会造成目标边缘节点计算量过大，网络拥堵的情况。提高了车辆服务迁移的效率以及准确性。此外，上述车联网服务迁移系统，还可以保证确定的目标边缘节点对应的服务迁移过程产生的延迟和/或车辆服务延迟最小。从而可以保证车辆服务快速执行，不耽误车辆正常驾驶，保证车辆安全驾驶。
本发明实施例还提供了一种服务迁移模型训练装置60，如图7所示，服务迁移模型训练装置60，包括：
第一获取模块61，用于获取训练样本，训练样本中包括多个车辆的车辆样本状态信息以及与各车辆对应的边缘节点的节点样本状态信息；
第一输入模块62，用于将车辆样本状态信息输入至第一特征提取网络，得到车辆样本特征信息；
第二输入模块63，用于将节点样本状态信息输入至第二特征提取网络，得到节点样本特征信息；
第三输入模块64，用于将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，得到决策结果；
更新模块65，用于基于决策结果更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
在本申请一个实施例中，上述第三输入模块64，具体用于将车辆样本特征信息以及节点样本特征信息输入至边缘节点决策网络，输出至少一个候选训练边缘节点以及各候选训练边缘节点对应的训练评估价值；根据预设选择算法以及各候选训练边缘节点对应的训练评估价值，从候选训练边缘节点中确定决策结果。
在本申请一个实施例中，上述更新模块65，具体用于根据目标函数计算决策结果对应的奖励；奖励用于表征决策结果对应的服务迁移过程产生的延迟和/或车辆服务延迟；根据决策结果对应的奖励以及损失函数，计算损失值，根据决策结果对应的奖励以及损失值，更新第一特征提取网络、第二特征提取网络以及边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
本发明实施例还提供了一种服务迁移模型训练装置70，如图8所示，服务迁移模型训练装置70，包括：
第二获取模块71，用于获取第一边缘节点当前状态的节点特征信息。
第三获取模块72，用于获取目标车辆当前状态的车辆特征信息；车辆特征信息包括目标服务的状态信息。
确定模块73，用于将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，确定目标车辆对应的目标服务迁移的目标边缘节点。
在本申请一个实施例中，上述确定模块73，具体用于将节点特征信息和车辆特征信息，输入至目标边缘节点决策模型，利用目标边缘节点决策模型中的评价函数计算至少一个候选边缘节点对应的评估价值，输出各候选边缘节点以及各候选边缘节点对应的评估价值；从各评估价值中选择最大评估价值；根据最大评估价值，从各候选边缘节点中，确定目标服务对应的目标边缘节点。
在本申请一个实施例中，上述第二获取模块71，具体用于获取第一边缘节点对应的节点状态信息，节点状态信息包括地理空间位置坐标、无线接入范围、最大计算资源、最大同时服务数量、当前可用服务数量以及与其他边缘节点之间的网络状态；将节点状态信息输入至第二目标特征提取模型，得到节点特征信息。
本发明实施例还提供了一种车联网服务迁移装置80，如图9所示，车联网服务迁移装置80应用于目标车辆，目标车辆部署有目标服务迁移模型中的第一目标特征提取模型，目标服务迁移模型是根据第一方面以及第一方面任一实施方式中任一项的服务迁移模型训练方法训练得到的，装置包括：
第四获取模块81，用于获取目标车辆当前状态的车辆状态信息，车辆状态信息包括目标车辆的当前位置坐标、当前速度、移动方向信息、目标服务任务量大小以及目标车辆正在进行中的服务的状态信息。
输出模块82，用于将车辆状态信息输入至第一目标特征提取模型，输出目标车辆的车辆特征信息，并将车辆特征信息发送至与目标车辆连接的第一边缘节点，以使得第一边缘节点执行上述实施方式中的任一项的车联网服务迁移方法。
关于服务迁移模型训练装置以及车联网服务迁移装置的具体限定以及有益效果可以参见上文中对于服务迁移模型训练方法以及车联网服务迁移方法的限定，在此不再赘述。上述服务迁移模型训练装置以及车联网服务迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明实施例还提供一种电子设备，该电子设备可以具有上述图7所示的服务迁移模型训练装置；该电子设备还可以是车联网服务迁移系统中第一边缘节点中的硬件以及软件设备，具有上述图8所示的车联网服务迁移装置；该电子设备还可以是车联网服务迁移系统中目标车辆中的硬件以及软件设备，具有上述图9所示的车联网服务迁移装置。
如图10所示，图10是本发明可选实施例提供的一种电子设备的结构示意图，如图10所示，该电子设备可以包括：至少一个处理器91，例如CPU（Central Processing Unit，中央处理器），至少一个通信接口93，存储器94，至少一个通信总线92。其中，通信总线92用于实现这些组件之间的连接通信。其中，通信接口93可以包括显示屏（Display）、键盘（Keyboard），可选通信接口93还可以包括标准的有线接口、无线接口。存储器94可以是高速RAM存储器（Random Access Memory，易挥发性随机存取存储器），也可以是非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。存储器94可选的还可以是至少一个位于远离前述处理器91的存储装置。其中处理器91可以结合图7-图9所描述的装置，存储器94中存储应用程序，且处理器91调用存储器94中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线92可以是外设部件互连标准（peripheral componentinterconnect，简称PCI）总线或扩展工业标准结构（extended industry standardarchitecture，简称EISA）总线等。通信总线92可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器94可以包括易失性存储器（英文：volatile memory），例如随机存取存储器（英文：random-access memory，缩写：RAM）；存储器也可以包括非易失性存储器（英文：non-volatile memory），例如快闪存储器（英文：flash memory），硬盘（英文：hard diskdrive，缩写：HDD）或固态硬盘（英文：solid-state drive，缩写：SSD）；存储器94还可以包括上述种类的存储器的组合。
其中，处理器91可以是中央处理器（英文：central processing unit，缩写：CPU），网络处理器（英文：network processor，缩写：NP）或者CPU和NP的组合。
其中，处理器91还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路（英文：application-specific integrated circuit，缩写：ASIC），可编程逻辑器件（英文：programmable logic device，缩写：PLD）或其组合。上述PLD可以是复杂可编程逻辑器件（英文：complex programmable logic device，缩写：CPLD），现场可编程逻辑门阵列（英文：field-programmable gate array，缩写：FPGA），通用阵列逻辑（英文：generic arraylogic, 缩写：GAL）或其任意组合。
可选地，存储器94还用于存储程序指令。处理器91可以调用程序指令，实现如本申请图1以及图3-5实施例中所示的服务迁移模型训练方法以及车联网服务迁移方法。
本发明实施例还提供了一种非暂态计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的服务迁移模型训练方法以及车联网服务迁移方法。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）、随机存储记忆体（Random Access Memory，RAM）、快闪存储器（FlashMemory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种服务迁移模型训练方法，其特征在于，所述方法包括：
获取训练样本，所述训练样本中包括多个车辆的车辆样本状态信息以及与各所述车辆对应的边缘节点的节点样本状态信息；
将所述车辆样本状态信息输入至第一特征提取网络，得到车辆样本特征信息；
将所述节点样本状态信息输入至第二特征提取网络，得到节点样本特征信息；
将所述车辆样本特征信息以及所述节点样本特征信息输入至边缘节点决策网络，得到决策结果；
基于所述决策结果更新所述第一特征提取网络、所述第二特征提取网络以及所述边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型。
2.根据权利要求1所述的方法，其特征在于，所述将所述车辆样本特征信息以及所述节点样本特征信息输入至边缘节点决策网络，得到决策结果，包括：
将所述车辆样本特征信息以及所述节点样本特征信息输入至所述边缘节点决策网络，输出至少一个候选训练边缘节点以及各所述候选训练边缘节点对应的训练评估价值；
根据预设选择算法以及各所述候选训练边缘节点对应的训练评估价值，从所述候选训练边缘节点中确定所述决策结果。
3.根据权利要求1所述的方法，其特征在于，所述基于所述决策结果更新所述第一特征提取网络、所述第二特征提取网络以及所述边缘节点决策网络的参数，得到第一目标特征提取模型、第二目标特征提取模型以及目标边缘节点决策模型，以确定目标服务迁移模型，包括：
根据目标函数计算所述决策结果对应的奖励；所述奖励用于表征所述决策结果对应的服务迁移过程产生的延迟和/或车辆服务延迟；
根据所述决策结果对应的奖励以及损失函数，计算损失值，根据所述决策结果对应的奖励以及所述损失值，更新所述第一特征提取网络、所述第二特征提取网络以及所述边缘节点决策网络的参数，得到所述第一目标特征提取模型、所述第二目标特征提取模型以及所述目标边缘节点决策模型，以确定所述目标服务迁移模型。
4.一种车联网服务迁移方法，其特征在于，所述方法应用于与目标车辆连接的第一边缘节点，所述第一边缘节点部署有目标服务迁移模型中的目标边缘节点决策模型，所述目标服务迁移模型是根据权利要求1-3中任一项所述的服务迁移模型训练方法训练得到的，所述方法包括：
获取所述第一边缘节点当前状态的节点特征信息；
获取所述目标车辆当前状态的车辆特征信息；所述车辆特征信息包括目标服务的状态信息；
将所述节点特征信息和所述车辆特征信息，输入至所述目标边缘节点决策模型，确定所述目标车辆对应的所述目标服务迁移的目标边缘节点，所述目标边缘节点对应的服务迁移过程产生的延迟和/或车辆服务延迟最小。
5.根据权利要求4所述的方法，其特征在于，所述将所述节点特征信息和所述车辆特征信息，输入至所述目标边缘节点决策模型，确定所述目标车辆对应的所述目标服务迁移的目标边缘节点，包括：
将所述节点特征信息和所述车辆特征信息，输入至所述目标边缘节点决策模型，利用所述目标边缘节点决策模型中的评价函数计算至少一个候选边缘节点对应的评估价值，输出各所述候选边缘节点以及各所述候选边缘节点对应的评估价值；
从各所述评估价值中选择最大评估价值；
根据所述最大评估价值，从各所述候选边缘节点中，确定所述目标服务对应的所述目标边缘节点。
6.根据权利要求4所述的方法，其特征在于，所述第一边缘节点还部署有目标服务迁移模型中的第二目标特征提取模型，所述获取所述第一边缘节点当前状态的节点特征信息，包括：
获取所述第一边缘节点对应的节点状态信息，所述节点状态信息包括地理空间位置坐标、无线接入范围、最大计算资源、最大同时服务数量、当前可用服务数量以及与其他边缘节点之间的网络状态；
将所述节点状态信息输入至所述第二目标特征提取模型，得到所述节点特征信息。
7.一种车联网服务迁移方法，其特征在于，所述方法应用于目标车辆，所述目标车辆部署有目标服务迁移模型中的第一目标特征提取模型，所述目标服务迁移模型是根据权利要求1-3中任一项所述的服务迁移模型训练方法训练得到的，所述方法包括：
获取所述目标车辆当前状态的车辆状态信息，所述车辆状态信息包括所述目标车辆的当前位置坐标、当前速度、移动方向信息、目标服务任务量大小以及所述目标车辆正在进行中的服务的状态信息；
将所述车辆状态信息输入至所述第一目标特征提取模型，输出所述目标车辆的车辆特征信息，并将所述车辆特征信息发送至与所述目标车辆连接的第一边缘节点，以使得所述第一边缘节点执行上述权利要求4-6中任一项所述的车联网服务迁移方法。
8.一种车联网服务迁移系统，其特征在于，所述系统包括：目标车辆和第一边缘节点，所述目标车辆与所述第一边缘节点连接，所述第一边缘节点部署有目标服务迁移模型中的目标边缘节点决策模型以及第二目标特征提取模型，所述目标车辆部署有目标服务迁移模型中的第一目标特征提取模型，所述目标服务迁移模型是根据权利要求1-3中任一项所述的服务迁移模型训练方法训练得到的，其中：
所述第一边缘节点，用于获取所述第一边缘节点对应的节点状态信息，所述节点状态信息包括地理空间位置坐标、无线接入范围、最大计算资源、最大同时服务数量、当前可用服务数量以及与其他边缘节点之间的网络状态；将所述节点状态信息输入至所述第二目标特征提取模型，得到所述节点特征信息；
所述目标车辆，用于获取所述目标车辆当前状态的车辆状态信息，所述车辆状态信息包括所述目标车辆的当前位置坐标、当前速度、移动方向信息、目标服务任务量大小以及所述目标车辆正在进行中的服务的状态信息；将所述车辆状态信息输入至所述第一目标特征提取模型，输出所述目标车辆的车辆特征信息，并将所述车辆特征信息发送至与所述目标车辆连接的所述第一边缘节点；
所述第一边缘节点，还用于将所述节点特征信息和所述车辆特征信息，输入至所述目标边缘节点决策模型，确定所述目标车辆对应的所述目标服务迁移的目标边缘节点。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-3中任一项所述的服务迁移模型训练方法以及权利要求4-7中任一项所述的车联网服务迁移方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-3中任一项所述的服务迁移模型训练方法以及权利要求4-7中任一项所述的车联网服务迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068935.8A CN114118300B (zh) | 2022-01-21 | 2022-01-21 | 服务迁移模型训练方法以及车联网服务迁移方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068935.8A CN114118300B (zh) | 2022-01-21 | 2022-01-21 | 服务迁移模型训练方法以及车联网服务迁移方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114118300A true CN114118300A (zh) | 2022-03-01 |
| CN114118300B CN114118300B (zh) | 2022-05-20 |
Family
ID=80360950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210068935.8A Active CN114118300B (zh) | 2022-01-21 | 2022-01-21 | 服务迁移模型训练方法以及车联网服务迁移方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114118300B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108616816A (zh) * | 2018-05-07 | 2018-10-02 | 重庆邮电大学 | 一种基于极限学习的车辆轨迹预测和mec应用迁移方法 |
| US20190332814A1 (en) * | 2018-04-27 | 2019-10-31 | Nxp B.V. | High-throughput privacy-friendly hardware assisted machine learning on edge nodes |
| CN112367353A (zh) * | 2020-10-08 | 2021-02-12 | 大连理工大学 | 基于多智能体强化学习的移动边缘计算卸载方法 |
| CN112469001A (zh) * | 2020-11-17 | 2021-03-09 | 国网浙江省电力有限公司信息通信分公司 | 一种应用迁移方法、装置、电子设备及存储介质 |
| CN112788109A (zh) * | 2020-12-29 | 2021-05-11 | 哈尔滨工业大学 | 一种基于移动预测和多层服务部署的服务迁移方法和系统 |
| CN113114722A (zh) * | 2021-03-17 | 2021-07-13 | 重庆邮电大学 | 一种基于边缘网络的虚拟网络功能迁移方法 |
| CN113114721A (zh) * | 2021-03-15 | 2021-07-13 | 重庆邮电大学 | 一种基于mec的软件定义车联网服务迁移方法 |
| CN113778691A (zh) * | 2021-11-10 | 2021-12-10 | 清华大学 | 一种任务迁移决策的方法、装置及系统 |
| CN113778648A (zh) * | 2021-08-31 | 2021-12-10 | 重庆理工大学 | 分层边缘计算环境中基于深度强化学习的任务调度方法 |
-
2022
- 2022-01-21 CN CN202210068935.8A patent/CN114118300B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190332814A1 (en) * | 2018-04-27 | 2019-10-31 | Nxp B.V. | High-throughput privacy-friendly hardware assisted machine learning on edge nodes |
| CN108616816A (zh) * | 2018-05-07 | 2018-10-02 | 重庆邮电大学 | 一种基于极限学习的车辆轨迹预测和mec应用迁移方法 |
| CN112367353A (zh) * | 2020-10-08 | 2021-02-12 | 大连理工大学 | 基于多智能体强化学习的移动边缘计算卸载方法 |
| CN112469001A (zh) * | 2020-11-17 | 2021-03-09 | 国网浙江省电力有限公司信息通信分公司 | 一种应用迁移方法、装置、电子设备及存储介质 |
| CN112788109A (zh) * | 2020-12-29 | 2021-05-11 | 哈尔滨工业大学 | 一种基于移动预测和多层服务部署的服务迁移方法和系统 |
| CN113114721A (zh) * | 2021-03-15 | 2021-07-13 | 重庆邮电大学 | 一种基于mec的软件定义车联网服务迁移方法 |
| CN113114722A (zh) * | 2021-03-17 | 2021-07-13 | 重庆邮电大学 | 一种基于边缘网络的虚拟网络功能迁移方法 |
| CN113778648A (zh) * | 2021-08-31 | 2021-12-10 | 重庆理工大学 | 分层边缘计算环境中基于深度强化学习的任务调度方法 |
| CN113778691A (zh) * | 2021-11-10 | 2021-12-10 | 清华大学 | 一种任务迁移决策的方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114118300B (zh) | 2022-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111835827B (zh) | 物联网边缘计算任务卸载方法及系统 | |
| US10853726B2 (en) | Neural architecture search for dense image prediction tasks | |
| WO2022083536A1 (zh) | 一种神经网络构建方法以及装置 | |
| US20230089380A1 (en) | Neural network construction method and apparatus | |
| CN111522669A (zh) | 横向联邦学习系统优化方法、装置、设备及可读存储介质 | |
| WO2022063247A1 (zh) | 神经网络结构搜索方法及装置 | |
| EP4152154A1 (en) | Adaptive artificial neural network selection techniques | |
| US20220101199A1 (en) | Point-of-interest recommendation | |
| CN111797992A (zh) | 一种机器学习优化方法以及装置 | |
| CN114595049A (zh) | 一种云边协同任务调度方法及装置 | |
| CN116828515A (zh) | 一种车联网下基于时空图卷积的边缘服务器负载预测方法 | |
| WO2022100607A1 (zh) | 一种神经网络结构确定方法及其装置 | |
| CN115210717A (zh) | 硬件优化的神经架构搜索 | |
| CN111506104B (zh) | 一种规划无人机位置的方法及装置 | |
| CN114118300B (zh) | 服务迁移模型训练方法以及车联网服务迁移方法、系统 | |
| WO2023197857A1 (zh) | 一种模型切分方法及其相关设备 | |
| CN116781788A (zh) | 服务决策方法以及服务决策装置 | |
| CN111651689A (zh) | 数据处理的方法、装置、可读存储介质和电子设备 | |
| KR20200024433A (ko) | 시간 가변적 예측(anytime prediction)을 위한 얇은 하위 네트워크를 활용하는 방법 및 시스템 | |
| EP4220494A1 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
| CN112468597B (zh) | 基于人工智能的数据中心资源分配方法及装置 | |
| CN117412349A (zh) | 基于边缘服务器性能的服务切换方法、设备及系统 | |
| US20230205520A1 (en) | Information processing method, information processing apparatus and server apparatus | |
| KR20240107749A (ko) | 강화학습에 기반한 태스크 오프로딩을 수행하는 전자장치 및 그 동작방법 | |
| CN114443217A (zh) | 虚拟机放置方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |