CN111988156A - 创建网络仿真平台的方法和网络仿真方法及相应装置 - Google Patents

创建网络仿真平台的方法和网络仿真方法及相应装置 Download PDF

Info

Publication number
CN111988156A
CN111988156A CN201910430994.3A CN201910430994A CN111988156A CN 111988156 A CN111988156 A CN 111988156A CN 201910430994 A CN201910430994 A CN 201910430994A CN 111988156 A CN111988156 A CN 111988156A
Authority
CN
China
Prior art keywords
network
black box
box model
network performance
performance index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910430994.3A
Other languages
English (en)
Other versions
CN111988156B (zh
Inventor
叶国骏
成博
李汐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Huawei Technical Service Co Ltd
Original Assignee
Huawei Technical Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technical Service Co Ltd filed Critical Huawei Technical Service Co Ltd
Priority to CN201910430994.3A priority Critical patent/CN111988156B/zh
Priority to PCT/CN2020/091813 priority patent/WO2020233708A1/zh
Priority to EP20808886.4A priority patent/EP3879758A4/en
Priority to KR1020217019934A priority patent/KR102543557B1/ko
Publication of CN111988156A publication Critical patent/CN111988156A/zh
Priority to US17/345,273 priority patent/US11856424B2/en
Application granted granted Critical
Publication of CN111988156B publication Critical patent/CN111988156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请公开了创建网络仿真平台的方法和网络仿真方法及相应装置，涉及仿真技术领域，可以应用于5G通信系统的网络仿真中。网络仿真平台包括第一黑盒模型。创建网络仿真平台的方法包括：获取候选网络性能指标和与该候选网络性能指标相关的特征信息；与该候选网络性能指标相关的特征信息是指用于获得该候选网络性能指标所需的部分或全部特征信息；训练机器学习模型，得到第一黑盒模型；第一黑盒模型的输出参数是该候选网络性能指标，第一黑盒模型的输入参数是与该候选网络性能指标相关的特征信息；第一黑盒模型用于对该候选网络性能指标进行仿真。本申请提供的技术方案有助于降低仿真复杂度，可以适用于大规模的网络仿真。

Description

创建网络仿真平台的方法和网络仿真方法及相应装置
技术领域
本申请涉及仿真技术领域，尤其涉及创建网络仿真平台的方法和网络仿真方法及装置。
背景技术
无线通信技术的研究和开发很大程度上依赖于仿真技术。无线通信仿真技术可以划分成链路仿真、系统仿真和网络仿真。链路仿真是信道级仿真(如物理信道覆盖及容量仿真)，系统仿真是基站级仿真(如协议流程及调度仿真)，网络仿真是网络级仿真(如网络覆盖及容量仿真)。因此，网络仿真的仿真规模较大，通常为千站甚至万站级别的仿真。
传统网络仿真通过静态快照实现，无法有效反映无线网络中的时变特性，而5G通信系统的频点较高、波束较窄，对环境变化更敏感，因此传统网络仿真不能适用于5G通信系统。
传统系统仿真虽然可以实现动态仿真，并且可以将系统仿真技术应用到网络仿真中，但是，传统系统仿真需要模拟网元的消息交互机制，这会导致仿真过程运算量大，无法快速得到仿真结果。尤其地，将系统仿真技术应用到网络仿真时，面对千站甚至万站级别的仿真，仿真所需要的时间将无法接受。
传统链路仿真技术无法应用到网络仿真中。
综上可知，传统的无线通信仿真技术无法有效地应用到5G通信系统的网络仿真中，因此，亟待提出新的网络仿真技术。
发明内容
本申请实施例提供了创建网络仿真平台的方法和网络仿真方法及相应装置，可以应用于5G通信系统的网络仿真中。
第一方面，本申请实施例提供了一种创建网络仿真平台的方法，网络仿真平台包括至少一个黑盒模型，该至少一个黑盒模型包括第一黑盒模型。该方法包括：首先，获取候选网络性能指标和与该候选网络性能指标相关的特征信息；然后，训练机器学习模型，得到第一黑盒模型。第一黑盒模型的输出参数是该候选网络性能指标，第一黑盒模型的输入参数是与该候选网络性能指标相关的特征信息。第一黑盒模型用于对该候选网络性能指标进行仿真。可选的，该候选网络性能指标包括：核心网中的网络性能指标、承载网中的网络性能指标、接入网中的网络性能指标或者跨网络的网络性能指标。其中，跨网络的网络性能指标是指受核心网、承载网和接入网中的至少两种网络的影响的网络性能指标。
可见，基于第一方面提供的方法，可以创建用于对核心网、承载网和/或接入网中的一个或多个候选网络性能指标进行仿真的黑盒模型。其中，每个黑盒模型均被定义了输入参数和输出参数(即输入接口和输出接口)。至此，可以认为已创建好网络仿真平台。该网络仿真平台中，主要关注候选网络性能指标及其相关的输入特征信息，不需要模拟实际网络中的协议流程，因此复杂度较小，可以适用于大规模的网络仿真。
可选的，与该候选网络性能指标相关的特征信息是指用于获得该候选网络性能指标所需的部分或全部特征信息。
在一种可能的设计中，该至少一个黑盒模型还包括第二黑盒模型。第二黑盒模型的输出参数是第一黑盒模型的其中一个输入参数。也就是说，本申请实施例支持将一个黑盒模型的输出参数作为另一个黑盒模型的输入参数(即黑盒模型之间具有关联关系)的技术方案。该可选的技术方案为“在仿真过程中，将多个黑盒模型进行级联，从而对某个网络性能指标进行仿真”提供了理论依据，并且，为实现端到端仿真提供了理论依据。
在一种可能的设计中，第一黑盒模型的输出参数是第一网络中的网络性能指标，第二黑盒模型的输出参数是第二网络中的网络性能指标。其中，第一网络是核心网、承载网或接入网。第二网路是核心网、承载网和接入网中的除第一网络之外的任一网络。也就是说，本申请实施例支持对跨网络的性能指标的仿真，即支持端到端的仿真；换句话说，接入网部分、承载网部分和核心网部分中的模型之间可以协同完成对某个网络性能指标的仿真。
在一种可能的设计中，该方法还包括：获取训练数据。该训练数据来自实际网络或除本申请实施例提供的仿真平台之外的其他仿真平台。该情况下，训练机器学习模型，得到第一黑盒模型，可以包括：基于该训练数据，训练机器学习模型，得到第一黑盒模型。可以理解的是，如果训练数据来自实际网络，则有助于提高仿真的准确度。
在一种可能的设计中，机器学习模型包括神经网络模型。
在一种可能的设计中，该候选网络性能指标包括秩(rank)，与rank相关的特征信息包括信道矩阵。
在一种可能的设计中，该候选网络性能指标包括信道矩阵，与该信道矩阵相关的特征信息包括多径参数和天线配置参数。
在一种可能的设计中，该候选网络性能指标包括多径参数，与多径参数相关的特征信息包括电子地图、工程参数和地物类型中的至少一种。
在一种可能的设计中，该候选网络性能指标包括小区的信道状态概率分布参数，与该小区的信道状态概率分布参数相关的特征信息包括该小区的栅格信道矩阵和该小区的信道状态占用时间序列。
在一种可能的设计中，该候选网络性能指标包括小区的预编码矩阵，与该小区的预编码矩阵相关的特征信息包括该小区的栅格信道矩阵。
在一种可能的实现方式中，在仿真阶段，黑盒模型可以用于替换传统网络仿真平台中的消息队列处理过程。具体的，一个黑盒模型可以用于替换传统网络仿真平台中的某个网元，或者可以用于替换一个网元中的某个功能模块(如信道模型、调度模型、传输模型等)。可选的，在使用黑盒模型替换传统网络仿真平台中的网元或者功能模块之后，该黑盒模型与传统网络仿真平台中的数据可以互通。也就是说，本申请实施例提供的黑盒模型可以与传统网络仿真平台进行兼容。
第二方面，本申请实施例提供了一种网络仿真方法，应用于包括至少两个黑盒模型的网络仿真平台。可选的，该仿真平台可以是基于上述第一方面或上述第一方面的任一种可能的设计所创建的仿真平台。该方法包括：首先，确定第一待仿真网络性能指标；然后，从该至少两个黑盒模型中，查找用于对第一待仿真网络性能指标进行仿真的第一黑盒模型。第一黑盒模型的输出参数是第一待仿真网络性能指标。接着，将第一黑盒模型的输入参数的值输入第一黑盒模型，得到第一黑盒模型的输出参数的值，并将所得到的值作为第一待仿真网络性能指标的仿真结果。
可见，该技术方案中可以直接对待仿真网络性能参数进行仿真，与传统技术中通过模拟消息处理流程再间接对待仿真网络性能参数进行仿真的技术方案相比，有助于提高仿真效率。
在一种可能的设计中，第一待仿真网络性能指标包括：核心网中的网络性能指标、承载网中的网络性能指标、接入网中的网络性能指标或跨网络的网络性能指标。
在一种可能的设计中，该方法还包括：从该至少两个黑盒模型中，查找用于对第二待仿真网络性能指标进行仿真的第二黑盒模型。第二黑盒模型的输出参数是第一黑盒模型的其中一个输入参数。然后，将第二黑盒模型的输入参数的值输入第二黑盒模型，得到第二黑盒模型的输出参数的值，并将所得到的值作为第二待仿真网络性能指标的仿真结果。基于此，将第一黑盒模型的输入参数的值输入第一黑盒模型，包括：将第二待仿真网络性能指标的仿真结果输入第一黑盒模型。也就是说，本申请实施例支持黑盒模型之间进行级联，从而实现对某个网络性能指标进行仿真。
在一种可能的设计中，第一黑盒模型的输出参数是第一网络中的网络性能指标，所述第二黑盒模型的输出参数是第二网络中的网络性能指标。其中，第一网络是核心网、承载网或接入网；第二网路是核心网、承载网和接入网中的除第一网络之外的任一网络。也就是说，本申请实施例支持对跨网络的性能指标的仿真，即支持端到端的仿真；换句话说，接入网部分、承载网部分和核心网部分中的模型之间可以协同完成对某个网络性能指标的仿真。
在一种可能的设计中，第一待仿真候选网络性能指标包括rank，与rank相关的特征信息包括信道矩阵。
在一种可能的设计中，第一待仿真网络性能指标包括信道矩阵，第一黑盒模型的输出参数包括多径参数和天线配置参数。
在一种可能的设计中，第一待仿真网络性能指标包括多径参数，第一黑盒模型的输出参数包括电子地图、工程参数和地物类型。
在一种可能的设计中，第一待仿真网络性能指标包括小区的信道状态概率分布参数，第一黑盒模型的输出参数包括该小区的栅格信道矩阵和该小区的信道状态占用时间序列。
在一种可能的设计中，第一待仿真网络性能指标包括小区的预编码矩阵，第一黑盒模型的输出参数包括该小区的栅格信道矩阵。
第三方面，本申请实施例提供了一种创建网络仿真平台的装置，该装置可用于执行上述第一方面或第一方面的任一种可能的设计提供的任一种方法。该装置可以是服务器或芯片。
在一种可能的设计中，可以根据上述第一方面或第一方面的任一种可能的设计提供的方法对该装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。
在一种可能的设计中，该装置可以包括存储器和处理器。存储器用于存储计算机程序。处理器用于调用该计算机程序，以执行第一方面或第一方面的任一种可能的设计提供的方法。
第四方面，本申请实施例提供了一种网络仿真装置，该装置可用于执行上述第二方面或第二方面的任一种可能的设计提供的任一种方法。该装置可以是服务器或芯片。
在一种可能的设计中，可以根据上述第二方面或第二方面的任一种可能的设计提供的方法对该装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。
在一种可能的设计中，该装置可以包括存储器和处理器，存储器用于存储计算机程序。处理器用于调用该计算机程序，以执行上述第二方面或第二方面的任一种可能的设计提供的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，如计算机非瞬态的可读存储介质。其上储存有计算机程序(或指令)，当该计算机程序(或指令)在计算机上运行时，使得该计算机执行上述第一方面或第一方面的任一种可能的设计提供的任一种方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，如计算机非瞬态的可读存储介质。其上储存有计算机程序(或指令)，当该计算机程序(或指令)在计算机上运行时，使得该计算机执行上述第二方面或第二方面的任一种可能的设计提供的任一种方法。
第七方面，本申请实施例提供了一种计算机程序产品，当其在计算机上运行时，使得第一方面或第一方面的任一种可能的设计提供的任一种方法被执行。
第八方面，本申请实施例提供了一种计算机程序产品，当其在计算机上运行时，使得第二方面或第二方面的任一种可能的设计提供的任一种方法被执行。
可以理解的是，上述提供的任一种创建网络仿真平台的装置、网络仿真装置、计算机存储介质或计算机程序产品等均可以应用于上文所提供的对应的方法，因此，其所能达到的有益效果可参考对应的方法中的有益效果，此处不再赘述。
附图说明
图1为一种传统网络仿真平台的示意图；
图2为可适用于本申请实施例的一种服务器的结构示意图；
图3为本申请实施例提供的一种创建网络仿真平台的方法的流程示意图；
图4为本申请实施例提供的一种网络仿真平台的示意图；
图5A为本申请实施例提供的一种黑盒模型之间进行级联的示意图；
图5B为本申请实施例提供的另一种黑盒模型之间进行级联的示意图；
图6为本申请实施例提供的多径参数模型和信道矩阵模型的示意图；
图7A为可适用于本申请实施例的一种网络仿真平台的示意图；
图7B为可适用于本申请实施例的另一种网络仿真平台的示意图；
图8为本申请实施例提供的一种网络仿真方法的流程示意图；
图9为本申请实施例提供的另一种网络仿真方法的流程示意图；
图10为本申请实施例提供的一种创建网络仿真平台的装置的结构示意图；
图11为本申请实施例提供的一种网络仿真装置的结构示意图。
具体实施方式
网络仿真平台，也可被称作网络仿真系统，是指运行在服务器(或称为仿真设备)上的软件，用于执行网络仿真任务。其中，执行网路仿真任务可以理解为对某一个或多个网络性能指标(如信道矩阵、多径参数、小区干扰等)进行仿真。
如图1所示，为一种传统网络仿真平台的示意图。图1所示的传统网络仿真平台是采用系统仿真技术实现的，其仿真过程由天线建模(如图1中的天线阵列模型的创建过程)、信道建模(如图1中的多模型光谱信道的创建过程)、调度算法处理(图1中未示出，具体可以包含在MAC层中)和协议流程处理等构成。在具体实现过程中，网络仿真平台需要模拟协议层之间的信息交互，并基于所模拟的协议层处理每一条数据报文，以及模拟数据报文在网元之间的交互。另外，网络仿真平台还可以模拟资源调度过程和基带处理过程等。
图1示意出了无线通信网络中的网元之间进行通信时需要模拟的协议层和无线空口部分的特征信息。其中，该网元包括：远程主机、PDN网关(PDN gateway，PGW)/服务网关(serving gateway，SGW)、基站以及终端。其中，PDN是公用数据网(public data network)的英文缩写。对于远端主机来说，需要模拟的协议层包括：应用层、传输控制协议(transmission control protocol，TCP)/用户数据报协议(user datagram protocol，UDP)，以及互联网协议(internet protocol，IP)层。对于PGW/SGW来说，需要模拟的协议层包括：第一IP层、应用层、GPRS隧道协议(GPRS tunelling protocol，GTP)层、UDP层和第二IP层。其中，GPRS是通用分组无线服务技术(general packet radio service)的英文缩写。第一IP层与远端主机的IP层对应。对于基站来说，需要模拟的协议层包括：与PGW/SGW的第二IP层、UDP层和GTP层分别对应的IP层、UDP层和GTP层，以及应用层、无线资源控制(radioresource control，RRC)层、分组数据汇聚协议(packet data convergence protocol，PDCP)层、无线链路控制(radio link control，RLC)层、介质访问控制(media accesscontrol，MAC)层和物理(physical)层。对于终端来说，需要模拟的协议层包括：与基站的PHY层、MAC层、RLC层、PDCP层和RRC层分别对应的PHY层、MAC层、RLC层、PDCP层和RRC层，以及与远端主机的IP层、TCP/UDP层和应用层分别对应的IP层、TCP/UDP层和应用层。
其中“两个协议层对应”是指这两个协议层的其中一个协议层所执行的处理过程是另一个协议层所执行的处理过程的逆过程。另外基站和终端之间还需要模拟无线空口部分的特征信息，例如需要模拟光谱PHY层、多模型光谱信道、波束成型模型(用于模拟波束成型技术)、传播损失模型(用于模拟信息传输过程中的能量损失)、交互信息错误(mutualinformation，error，miError)模型和天线阵列模型(用于模拟基站和终端的天线阵列的特征)等。
系统仿真技术虽然能够实现动态仿真，但是，系统仿真通过模拟网络协议层和网元间的消息交互机制来实现仿真，这会导致运算量巨大、仿真效率低，从而导致传统系统仿真无法应用于大规模的网络仿真。另外，系统仿真技术主要用于对单站进行仿真，而且侧重无线空口部分的仿真，不能实现端到端仿真(即对跨网络的网络性能指标进行仿真)。
基于此，本申请实施例提供了创建网络仿真平台的方法及装置，及网络仿真方法及装置。
本申请实施例提供的技术方案可以应用于各种通信系统，例如、第五代(5thgeneration，5G)移动通信系统如5G新空口(new radio，NR)系统中，未来演进系统或多种通信融合系统等中，也可以应用于在现有通信系统中。用于执行创建网络仿真平台的方法的服务器(标记为第一服务器)和用于执行网络仿真方法的服务器(标记为第二服务器)可以是同一服务器，也可以是不同服务器。例如，第二服务器可以直接或间接地与第一服务器进行信息交互，以获得第一服务器所创建的网络仿真平台，然后基于该网络仿真平台进行网络仿真。在具体实现时，服务器(包括第一服务器和第二服务器)可以是(或集成在)实际网路中所部署的任意一个设备，或者可以是独立于实际网络中的每个设备的一个设备。
如图2所示，为可适用于本申请实施例的一种服务器20(包括上述第一服务器和第二服务器)的结构示意图。该服务器20用于执行本申请实施例提供的创建网络仿真平台的方法，和/或网络仿真方法。服务器20可以包括至少一个处理器201，通信线路202，存储器203以及至少一个通信接口204。
处理器201可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路202可包括一通路，在上述组件(如至少一个处理器201，通信线路202，存储器203以及至少一个通信接口204)之间传送信息。
通信接口204，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如广域网(wide area network，WAN)，局域网(local area networks，LAN)等。
存储器203可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器203可以是独立存在，通过通信线路202与处理器201相连接。存储器203也可以和处理器201集成在一起。本申请实施例提供的存储器203通常可以具有非易失性。其中，存储器203用于存储执行本申请方案的计算机指令，并由处理器201来控制执行。处理器201用于执行存储器203中存储的计算机指令，从而实现本申请下述实施例提供的方法。
可选的，本申请实施例中的计算机指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。
在具体实现中，作为一种实施例，服务器20可以包括多个处理器，例如图2中的处理器201和处理器207。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，服务器20还可以包括输出设备205和/或输入设备206。输出设备205和处理器201通信，可以以多种方式来显示信息。例如，输出设备205可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备206和处理器201通信，可以以多种方式接收用户的输入。例如，输入设备206可以是鼠标、键盘、触摸屏设备或传感设备等。
以下，对本申请实施例中所涉及的术语进行解释说明，以方便读者理解。
黑盒模型，也可以被称作黑箱模型(black box)，是环境预测工作中应用较多的一类模型，它是根据输入-输出关系(即输入参数和输出参数)创建的，反映了输出参数与输入参数之间的一种笼统的直接因果关系。一个黑盒模型一般有一个输出参数，以及一个或多个输入参数。
端到端仿真，也可以被称为跨网络的网络性能指标仿真，或者跨层的网络性能指标仿真。其中，跨网络(或跨层)的网络性能指标，是指会受到多种网络的影响的网络性能指标。多种网路(或多层网络)包括核心网、承载网和接入网。例如，时延会受到核心网和传输网的影响，因此，时延可以认为是一种跨网络的网络性能指标。当然，在一些实现方式中，时延也可以认为是一种单网络的网络性能指标，如核心网中的时延，或者传输网中的时延。
在本申请的描述中，“至少一个”包括一个或多个。“多个”是指两个或两个以上。例如，A、B和C中的至少一个，包括：单独存在A、单独存在B、同时存在A和B、同时存在A和C、同时存在B和C，以及同时存在A、B和C。在本申请的描述中，“/”表示或的意思，例如，A/B可以表示A或B。在本申请的描述中，“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请的描述中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
以下，结合附图对本申请实施例提供的技术方案进行说明。需要说明的是，本申请实施例描述的业务场景是为了更清楚地说明本申请实施例的技术方案，并不构成对本申请实施例提供的技术方案的限制。本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似技术问题同样适用。
如图3所示，为本申请实施例提供的一种创建网络仿真平台的方法的流程示意图。该网络仿真平台包括至少一个黑盒模型。在本申请实施例中，创建网络仿真平台具体包括创建该至少一个黑盒模型中的每个黑盒模型。本实施例中以创建至少一个黑盒模型包括的第一黑盒模型为例进行说明的。第一黑盒模型可以是该至少一个黑盒模型中的任意一个黑盒模型。图3所示的方法包括如下步骤：
S101：服务器获取候选网络性能指标和与该候选网络性能指标相关的特征信息。
本申请实施例对服务器获取候选网络性能指标和与该候选网络性能指标相关的特征信息的具体实现方式不进行限定。例如，服务器可以接收用户指示的或其他设备发送的该候选网络性能指标和与该候选网络性能指标相关的特征信息。又如，服务器可以基于用户指示的信息或其他设备发送的信息，确定该候选网络性能指标和与该候选网络性能指标相关的特征信息。
候选网络性能指标，可以是核心网、承载网和接入网中的任意一个网络性能指标，或者可以是跨网络的网络性能指标。核心网中的性能指标可以包括以下至少一种：用户分布特征、用户运动特征、业务特征、时延、服务质量(quality of service，QoS)、平均主观意见得分MOS(mean opinion score，MOS)分、抖动和吞吐量等。承载网中的性能指标可以包括以下至少一种：时延、抖动和吞吐量等。接入网中的性能指标可以包括以下至少一种：干扰、覆盖、信道容量、吞吐量、rank和抖动等。跨网络的网络性能指标可以包括时延、抖动和吞吐量等。在具体实现时，候选网络性能指标可以是现有网络仿真技术中能够仿真的任意一个网络性能指标。当然本申请实施例不限于此。
与一个候选网络性能指标相关的特征信息是指用于获得该候选网络性能指标所需的部分或全部特征信息。与一个候选网络性能指标相关的特征信息的数量可以是一个或多个。该一个或多个参数具体是哪些参数可以是基于对候选网络性能指标的影响程度等所确定的，例如，该一个或多个参数可以是对该候选网络性能指标影响较大的一个或多个参数。
例如，候选网络性能指标包括rank，与rank相关的特征信息包括信道矩阵等。其中，当该rank是终端的rank时，该信道矩阵可以是该终端与该终端的主服务基站之间的信道矩阵。
例如，候选网络性能指标包括信道矩阵，与信道矩阵相关的特征信息包括多径参数和天线配置参数等。其中，当信道矩阵是终端与该终端的主服务小区之间的信道矩阵时，该多径参数可以是该终端与该主服务小区之间的信道的多径参数，该天线配置参数可以是该终端的天线配置参数和该主服务基站的天线配置参数。多径参数可以包括角度和/或时延扩展等。天线配置参数可以包括天线阵列所包括的天线的个数、方位等信息。
例如，候选网络性能指标包括多径参数，与多径参数相关的特征信息包括电子地图、工程参数和地物类型中的至少一种。其中，当多径参数该多径参数可以是该终端与该主服务基站之间的信道的多径参数时，电子地图、工程参数和地物类型分别是用于表征该终端与其主服务基站所在的物理环境的电子地图、工程参数和地物类型。这样，可以提高对多径参数的仿真精确度。
例如，候选网络性能指标包括小区的信道状态概率分布参数，与该小区的信道状态概率分布参数相关的特征信息包括该小区的栅格信道矩阵和该小区的信道状态占用时间序列等。
例如，候选网络性能指标包括小区的预编码矩阵，与该小区的预编码矩阵相关的特征信息包括该小区的栅格信道矩阵等。
S102：服务器确定获取训练数据。该训练数据包括多组值，每组值包括该候选网络性能指标的一个值和用于获得该值时所采用的具体特征信息。其中，具体特征信息，可以理解为S101中所确定的特征信息的实例。例如，当S101中所确定的特征信息包括信道矩阵时，该特征信息的实例是一个具体的矩阵。又如，当S101中所确定的特征信息包括多径参数时，该特征信息的实例是特定终端与该特定终端的主服务基站之间的信道的多径参数。
例如，如果候选网络性能指标包括信道矩阵，与信道矩阵相关的特征信息包括多径参数和天线配置参数，那么，训练数据可以包括：{多径参数1，天线配置参数1，信道矩阵1}、{多径参数2，天线配置参数2，信道矩阵2}……。其中，{多径参数n，天线配置参数n，信道矩阵n}是训练数据中的一组值，该组值用于表示当输入参数的值是多径参数n和天线配置参数n时，输出参数的值是信道矩阵n。n是大于等于1的值。
可选的，S102中的训练数据来自实际网络或除本申请实施例提供的仿真平台之外的其他仿真平台。其中，实际网络是指实际部署的网络，该网络中可以包括：PGW、SGW、基站和终端等网元。例如该实际网络可以是某个局点(即一个区域如某个城市)中实际部署的网络。该其他仿真平台可以是现有技术中的任意一种网络仿真平台，例如可以是如图1所示的网络仿真平台。或者，该其他仿真平台可以是未来的网络仿真平台。
S103：基于该训练数据，训练机器学习模型，得到第一黑盒模型。第一黑盒模型的输出参数是该候选网络性能指标，第一黑盒模型的输入参数是与S101中所确定的该候选网络性能指标相关的特征信息。第一黑盒模型用于对该候选网络性能指标进行仿真。
其中，可选的，机器学习模型的类型可以包括神经网络模型，如基于图片的神经网络模型或卷积神经网络(convolutional neural network，CNN)等。另外，机器学习模型的类型可以包括统计学习模型，如回归模型或分类模型等。
S103可以包括：基于该候选网络性能指标和与该候选网络性能指标相关的特征信息选择机器学习模型。例如，当候选网络性能指标是多径参数时，所选择的机器学习模型可以是深度学习模型如基于图片的神经网络模型。又如，当候选网络性能指标是信道矩阵时，所选择的机器学习模型可以是卷积神经网络(即CNN)。然后，基于训练数据训练该机器学习模型，得到第一黑盒模型。本申请实施例对训练机器学习模型的具体实现方式不进行限定，例如可以参考现有技术。其中，对不同网络性能指标进行仿真时所使用的机器学习模型可以相同，也可以不同。
可以理解的是，基于上述S101～S103可以创建用于对一个候选网络性能指标进行仿真的黑盒模型，采用类似的方法可以分别创建用于对核心网、承载网和/或接入网中的一个或多个候选网络性能指标进行仿真的黑盒模型。其中，每个黑盒模型均被定义了输入参数和输出参数(即输入接口和输出接口)。至此，可以认为已创建好网络仿真平台。
如图4所示，为本申请实施例提供的一种网络仿真平台的示意图。图4中所示的网络仿真平台包括：接入网部分、承载网部分和核心网部分。接入网部分包括：信道模型、干扰模型、覆盖模型、信道容量模型和rank模型等，分别用于对信道矩阵、干扰、覆盖、信道容量和rank等网络性能指标进行仿真。承载网部分包括时延模型、抖动模型和传输资源映射模型等，分别用于对时延、抖动和传输资源映射等网络性能指标进行仿真。核心网部分包括：用户分布模型、用户运动模型、业务模型、QoS模型和MOS模型等，分别用于对用户分布特征、用户运动特征、业务特征、QoS以及MOS进行仿真。图4中的每个模型均可以是一个黑盒模型。
在具体实现的过程中，针对接入网，无线运营商会关注覆盖、干扰和容量等性能指标。基于此，可以将覆盖、干扰和容量分别作为候选网络性能指标，从而执行S101～S103，以创建用于对覆盖进行仿真的黑盒模型、用于对干扰进行仿真的黑盒模型，以及用于对容量进行仿真的黑盒模型。该过程也可以被称为是对覆盖、干扰和容量进行黑盒化的过程。
可选的，该网络仿真平台还包括第二黑盒模型。第二黑盒模型的输出参数是第一黑盒模型的其中一个输入参数。如果第一黑盒模型有多个输入参数，则该多个输入参数中的任意一个或多个输入参数均可以是由本申请实施例提供的一个黑盒模型的输出参数。
该可选的技术方案说明，本申请实施例支持将一个黑盒模型的输出参数作为另一个黑盒模型的输入参数(即黑盒模型之间具有关联关系)的技术方案。例如，参见图5A，多径参数模型的输出参数(即多径参数)可以作为信道模型的输入参数；信道模型的输出参数(即信道矩阵)可以作为干扰模型、覆盖模型、信道容量模型和rank模型的输入参数。
该可选的技术方案为“在仿真过程中，将多个黑盒模型进行级联，从而对某个网络性能指标进行仿真”提供了理论依据，并且，为实现端到端仿真提供了理论依据。
可选的，第一黑盒模型的输出参数是第一网络中的网络性能指标，第二黑盒模型的输出参数是第二网络中的网络性能指标。其中，第一网络是核心网、承载网或接入网；第二网路是核心网、承载网和接入网中的除第一网络之外的任一网络。也就是说，本申请实施例支持对跨网络的性能指标的仿真，即支持端到端的仿真；换句话说，接入网部分、承载网部分和核心网部分中的模型之间可以协同完成对某个网络性能指标的仿真。
例如，参见图5B，接入网部分的信道容量模型(即信道容量)和业务模型，以及核心网部分中的QoS模型的输出参数(即QoS需求)，可以作为承载网的时延模型的输入参数。
本申请实施例提供的创建网络仿真平台的方法，主要关注候选网络性能指标及其相关的输入特征信息，不需要模拟实际网络中的协议流程，因此复杂度较小，可以适用于大规模的网络仿真。
以下，通过一个具体实施例对上文中所提供的创建网络仿真平台的方法进行说明。
本实施例的目标是：创建能够对实现信道矩阵进行仿真的黑盒模型。基于此，候选网络性能指标是信道矩阵，与信道矩阵相关的特征信息是多径参数。本申请实施例提供的用于对信道矩阵进行仿真的黑盒模型的创建方法如下：
第一步：获取训练数据。该训练数据包括多组值。每组值包括一个信道矩阵，以及用于得到该信道矩阵的多径参数的值。
在一些实现方式中，多径参数的值可以是基于多径参数模型确定的。其中，该多径参数模型可以是传统技术中提供的多径参数模型，如射线追踪模型或统计模型。或者，该多径参数模型可以是本申请实施例中提供的用于对多径参数进行仿真的黑盒模型。如图6所示，为本申请实施例提供的多径参数模型和信道矩阵模型的示意图。
在另一些实现方式中，多径参数的值可以是基于实测数据估计得到的。
第二步：将所获取的训练数据输入神经网络模型(如3GPP协议模型)，并训练该神经网络模型，得到用于对信道矩阵进行仿真的黑盒模型。
可以理解的是，多径参数能够在射线追踪或实测数据中获取，因此获得多径参数模型和获得信道矩阵的过程可以单独训练，通过并行训练能够提升训练效率。
需要说明的是，传统技术中，通常基于统计模型或射线追踪模型等来获得对信道矩阵进行仿真时所需的多径参数。其中，在基于统计模型获得对信道矩阵进行仿真时所需的多径参数时，仿真所需的多径参数是通过统计模型随机产生的，因此无法准确反映真实环境下的信道响应。基于射线追踪模型等来获得对信道矩阵进行仿真时所需的多径参数，可以包括：基于平面波假设，在电子地图中产生大量射线并通过算法追踪这些射线的反射、散射行为，最终产生仿真所需的多径参数。该方法计算效率比较低，无法适用于大规模仿真场景中。而本实施例中，基于黑盒模型对多径参数进行仿真，可以直接从电子地图和工程参数中获取无线传播环境的特征，并根据这些特征产生对应的多径参数，这样可以使仿真更高效，因此可以适用于大规模仿真场景中。
在具体实现的过程中，本申请实施例提供的创建网络仿真平台可以以库的形式对外提供调用接口。该网络仿真平台中的黑盒模型(例如图4中所示的各黑盒模型)可以被单独调用，也可以多个黑盒模型被联合调用，从而完成对某个网络性能指标的仿真。另外还可以直接端到端的调用来完成跨网络的网络性能指标的仿真。用户可以根据仿真需求(如用户所关注的指标、仿真效率等)来灵活选择不同的调用方式。
在具体实现的过程中，在仿真阶段，黑盒模型可以用于替换传统网络仿真平台中的消息队列处理过程。具体的，一个黑盒模型可以用于替换传统网络仿真平台中的某个网元，或者可以用于替换一个网元中的某个功能模块(如信道模型、调度模型、传输模型等)。
当使用黑盒模型替换传统网络仿真平台中的某个网元时，该黑盒模型的输出参数是该网元的某个功能模块的输出参数，如图7A所示。图7A中黑盒模型替换了基站。当使用黑盒模型替换传统网络仿真平台中的某个功能模块时，该黑盒模型的输入参数与该功能模块的输入参数相同，该黑盒模型的输出参数与该功能模块的输出参数相同，如图7B所示。图7B中黑盒模型替换了信道模型。图7A和图7B是基于图1进行绘制的。图7B中黑盒模型替换了基站所包括的多模型光谱信道(可以理解为信道模型)。
在使用黑盒模型替换传统网络仿真平台中的网元或者功能模块之后，该黑盒模型与传统网络仿真平台中的数据可以互通。也就是说，本申请实施例提供的黑盒模型可以与传统网络仿真平台进行兼容。
如图8所示，为本申请实施例提供的一种网络仿真方法的流程示意图。该方法应用于包括至少两个黑盒模型的网络仿真平台。可选的，创建该网络仿真平台中的任意一个黑盒模型的方法可以参考上文。图8所示的方法包括如下步骤：
S201：服务器确定第一待仿真网络性能指标。其中，第一待仿真网络性能指标可以是任意一个需要进行仿真的网络性能指标。
示例的，服务器可以接收用户指示的(或其他设备指示的)一个网络性能指标，并将该网络性能指标作为第一待仿真网络性能指标，或者对该网络性能指标进行分析，从而将与该网络性能指标相关的一个网络性能指标作为第一待仿真网络性能指标。
S202：服务器从该至少两个黑盒模型中，查找用于对第一待仿真网络性能指标进行仿真的第一黑盒模型。其中，第一黑盒模型的输出参数是第一待仿真网络性能指标。
具体的，服务器可以将该至少两个黑盒模型中，输出参数是第一待仿真网络性能指标的黑盒模型作为第一黑盒模型。
S203：服务器将第一黑盒模型的输入参数的值输入第一黑盒模型，得到第一黑盒模型的输出参数的值，并将所得到的值作为第一待仿真网络性能指标的仿真结果。
例如，假设第一黑盒模型是信道模型，用于对终端和该终端的主服务基站之间的信道矩阵进行仿真，那么，第一黑盒模型的输入参数的值可以包括：该终端的天线配置参数的值、该主服务基站的天线配置参数的值，以及该终端和该主服务基站之间的多径参数的值等。基于此，第一待仿真网络性能指标的仿真结果是该终端和该主服务基站之间的信道矩阵。
本申请实施例提供的网络仿真方法，可以直接对待仿真网络性能参数进行仿真，与传统技术中通过模拟消息处理流程再间接对待仿真网络性能参数进行仿真的技术方案相比，有助于提高仿真效率。
如图9所示，为本申请实施例提供的一种网络仿真方法的流程示意图。该方法应用于包括至少两个黑盒模型的网络仿真平台。图9所示的方法包括如下步骤：
S301～S302：可以参考上述S201～S202。当然本申请实施例不限于此。
S303：服务器从该至少两个黑盒模型中，查找用于对第二待仿真网络性能指标进行仿真的第二黑盒模型；第二黑盒模型的输出参数是第一黑盒模型的其中一个输入参数。
具体的，服务器如果确定第一黑盒模型的其中一个输入参数是该至少两个黑盒模型中的一个黑盒模型的输出参数，则将该输入参数作为第二待仿真网络性能指标，并将该黑盒模型作为第二黑盒模型。
例如，当第一待仿真网络性能指标是信道矩阵时，由于信道模型(即第一黑盒模型)的其中一个输入参数是多径参数，因此，可以将多径参数作为第二待仿真网络性能指标，并将多径参数模型作为第二黑盒模型。
S304：服务器将第二黑盒模型的输入参数的值输入第二黑盒模型，得到第二黑盒模型的输出参数的值，并将所得到的值作为第二待仿真网络性能指标的仿真结果。
例如，假设第二黑盒模型是多径参数模型，并且，第一待仿真网络性能指标是终端与其主服务基站之间的信道矩阵，则服务器可以将该终端与该主服务基站所在的物理环境的电子地图、工程参数和地物类型输入第二黑盒模型。基于此，从第二待仿真网络性能指标的仿真结果为该终端与该主服务基站之间的信道的多径参数。
本申请实施例对S302与S303～S304的执行顺序不进行限定，例如可以先执行S302再执行S303～S304，或者可以先执行S303～S304再执行S302，或者可以在执行S303～S304的过程中执行S302等。
S305：服务器将第二待仿真网络性能指标的仿真结果输入第一黑盒模型，得到第一黑盒模型的输出参数的值，并将所得到的值作为第一待仿真网络性能指标的仿真结果。
具体的，如果第一黑盒模型还有其他输入参数(即除第二黑盒模型的输出参数之外的其他输入参数)，则服务器还可以将第二待仿真网络性能指标的仿真结果所对应的该其他输入参数的值输入第一黑盒模型，从而得到第一黑盒模型的输出参数的值。具体示例可以参考上述S203中的具体示例。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对服务器进行功能模块的划分，例如可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
如图10所示，为本申请实施例提供的一种创建网络仿真平台的装置100的结构示意图。作为一个示例，该装置100可以是上文中的用于执行创建网络仿真平台的方法的服务器。作为一个示例，该装置100可以用于执行图3所示的方法中服务器所执行的步骤。
该网络仿真平台包括至少一个黑盒模型，该至少一个黑盒模型包括第一黑盒模型。该装置100包括：获取单元1001和训练单元1002。其中，获取单元1001，用于获取候选网络性能指标和与该候选网络性能指标相关的特征信息。训练单元1002，用于训练机器学习模型，得到第一黑盒模型。第一黑盒模型的输出参数是该候选网络性能指标。第一黑盒模型的输入参数是与该候选网络性能指标相关的特征信息。第一黑盒模型用于对该候选网络性能指标进行仿真。可选的，与该候选网络性能指标相关的特征信息是指用于获得该候选网络性能指标所需的部分或全部特征信息。
例如，结合图3，获取单元1001具体可以用于执行S101，训练单元1002具体可以用于执行S103。
可选的，该候选网络性能指标包括：核心网中的网络性能指标、承载网中的网络性能指标、接入网中的网络性能指标或者跨网络的网络性能指标。
可选的，该至少一个黑盒模型还包括第二黑盒模型。第二黑盒模型的输出参数是所述第一黑盒模型的其中一个输入参数。
可选的，第一黑盒模型的输出参数是第一网络中的网络性能指标，第二黑盒模型的输出参数是第二网络中的网络性能指标。其中，第一网络是核心网、承载网或接入网。第二网路是核心网、承载网和接入网中的除第一网络之外的任一网络。
可选的，获取单元1001还用于，获取训练数据。该训练数据来自实际网络或除本申请实施例提供的仿真平台之外的其他仿真平台。训练单元1002具体用于，基于该训练数据训练机器学习模型，所述第一黑盒模型。例如，结合图3，获取单元1001具体可以用于执行S102。
可选的，机器学习模型包括神经网络模型。
可选的，该候选网络性能指标包括rank，与rank相关的特征信息包括信道矩阵。可选的，该候选网络性能指标包括信道矩阵，与信道矩阵相关的特征信息包括多径参数和天线配置参数。可选的，该候选网络性能指标包括多径参数，与多径参数相关的特征信息包括电子地图、工程参数和地物类型。可选的，该候选网络性能指标包括小区的信道状态概率分布参数，与小区的信道状态概率分布参数相关的特征信息包括小区的栅格信道矩阵和小区的信道状态占用时间序列。可选的，该候选网络性能指标包括小区的预编码矩阵，与小区的预编码矩阵相关的特征信息包括小区的栅格信道矩阵。
在一个示例中，参见图2，上述获取单元1001和训练单元1002均可以由图2中的处理器201调用存储器203中存储的计算机程序实现。
关于上述可选方式的具体描述参见前述的方法实施例，此处不再赘述。此外，上述提供的任一种装置100的解释以及有益效果的描述均可参考上述对应的方法实施例，不予赘述。
需要说明的是，上述各个单元对应执行的动作仅是具体举例，各个单元实际执行的动作参照上述基于图3所述的实施例的描述中提及的动作或步骤。
如图11所示，为本申请实施例提供的一种网络仿真装置110的结构示意图。该装置可以应用于包括至少两个黑盒模型的网络仿真平台。作为一个示例，该装置100可以是上文中的用于执行网络仿真方法的服务器。作为一个示例，该装置100可以用于执行图8或图9所示的方法中服务器所执行的步骤。
该装置110包括：确定单元1101、查找单元1102和仿真单元1103。确定单元1101，用于确定第一待仿真网络性能指标。查找单元1102，用于从该至少两个黑盒模型中，查找用于对第一待仿真网络性能指标进行仿真的第一黑盒模型。第一黑盒模型的输出参数是第一待仿真网络性能指标。仿真单元1103，用于将第一黑盒模型的输入参数的值输入第一黑盒模型，得到第一黑盒模型的输出参数的值，将所得到的值作为第一待仿真网络性能指标的仿真结果。例如，结合图8，确定单元1101可以用于执行S201，查找单元1102可以用于执行S202，仿真单元1103可以用于执行S203。又如，结合图9，确定单元1101可以用于执行S301，查找单元1102可以用于执行S302，仿真单元1103可以用于执行S304和S305。
可选的，第一待仿真网络性能指标包括：核心网中的网络性能指标、承载网中的网络性能指标或接入网中的网络性能指标或跨网络的网络性能指标。
可选的，查找单元1102还用于，从该至少两个黑盒模型中，查找用于对第二待仿真网络性能指标进行仿真的第二黑盒模型。第二黑盒模型的输出参数是第一黑盒模型的其中一个输入参数。仿真单元1103还用于，将第二黑盒模型的输入参数的值输入第二黑盒模型，得到第二黑盒模型的输出参数的值，并将所得到的值作为第二待仿真网络性能指标的仿真结果。仿真单元1103在执行将第一黑盒模型的输入参数的值输入第一黑盒模型时，具体用于：将第二待仿真网络性能指标的仿真结果输入第一黑盒模型。例如，结合图9，查找单元1102可以用于执行S303，仿真单元1103可以用于执行S305。
可选的，第一黑盒模型的输出参数是第一网络中的网络性能指标，第二黑盒模型的输出参数是第二网络中的网络性能指标。其中，第一网络是核心网、承载网或接入网。第二网路是核心网、承载网和接入网中的除第一网络之外的任一网络。
可选的，第一待仿真网络性能指标包括rank，与rank相关的特征信息包括信道矩阵。
可选的，第一待仿真网络性能指标包括信道矩阵，第一黑盒模型的输出参数包括多径参数和天线配置参数。
可选的，第一待仿真网络性能指标包括多径参数，第一黑盒模型的输出参数包括电子地图、工程参数和地物类型。
可选的，第一待仿真网络性能指标包括小区的信道状态概率分布参数，第一黑盒模型的输出参数包括小区的栅格信道矩阵和小区的信道状态占用时间序列。
可选的，第一待仿真网络性能指标包括小区的预编码矩阵，第一黑盒模型的输出参数包括小区的栅格信道矩阵。
在一个示例中，参见图2，上述确定单元1101、查找单元1102和仿真单元1103均可以由图2中的处理器201调用存储器203中存储的计算机程序实现。
关于上述可选方式的具体描述参见前述的方法实施例，此处不再赘述。此外，上述提供的任一种装置110的解释以及有益效果的描述均可参考上述对应的方法实施例，不再赘述。
需要说明的是，上述各个单元对应执行的动作仅是具体举例，各个单元实际执行的动作参照上述基于图8或图9所述的实施例的描述中提及的动作或步骤。
需要说明的是，上文中所描述的处理器可以通过硬件来实现也可以通过软件来实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等。当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现。该存储器可以集成在处理器中，也可以位于处理器之外，独立存在。
本申请实施例还提供了一种芯片。该芯片中集成了用于实现上述处理器的功能的电路和一个或者多个接口。可选的，该芯片支持的功能可以包括基于图3、图8或图9所述的实施例中的处理动作，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可通过程序来指令相关的硬件完成。所述的程序可以存储于一种计算机可读存储介质中。上述提到的存储介质可以是只读存储器，随机接入存储器等。上述处理单元或处理器可以是中央处理器，通用处理器、特定集成电路(application specific integrated circuit，ASIC)、微处理器(digital signal processor，DSP)，现场可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。
本申请实施例还提供了一种包含指令的计算机程序产品，当该指令在计算机上运行时，使得计算机执行上述实施例中的任意一种方法。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。
应注意，本申请实施例提供的上述用于存储计算机指令或者计算机程序的器件，例如但不限于，上述存储器、计算机可读存储介质和通信芯片等，均具有非易失性(non-transitory)。
在实施所要求保护的本申请过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本申请进行了描述，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。

Claims (26)

1.一种创建网络仿真平台的方法，其特征在于，所述网络仿真平台包括至少一个黑盒模型，所述至少一个黑盒模型包括第一黑盒模型；所述方法包括：
获取候选网络性能指标和与所述候选网络性能指标相关的特征信息；与所述候选网络性能指标相关的特征信息是指用于获得所述候选网络性能指标所需的部分或全部特征信息；
训练机器学习模型，得到所述第一黑盒模型；其中，所述第一黑盒模型的输出参数是所述候选网络性能指标，所述第一黑盒模型的输入参数是所述与所述候选网络性能指标相关的特征信息；所述第一黑盒模型用于对所述候选网络性能指标进行仿真。
2.根据权利要求1所述的方法，其特征在于，所述候选网络性能指标包括：核心网中的网络性能指标、承载网中的网络性能指标、接入网中的网络性能指标或者跨网络的网络性能指标。
3.根据权利要求1或2所述的方法，其特征在于，所述至少一个黑盒模型还包括第二黑盒模型；所述第二黑盒模型的输出参数是所述第一黑盒模型的其中一个输入参数。
4.根据权利要求3所述的方法，其特征在于，所述第一黑盒模型的输出参数是第一网络中的网络性能指标，所述第二黑盒模型的输出参数是第二网络中的网络性能指标；
其中，所述第一网络是核心网、承载网或接入网；所述第二网路是核心网、承载网和接入网中的除所述第一网络之外的任一网络。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
获取训练数据；所述训练数据来自实际网络或除所述仿真平台之外的其他仿真平台；
所述训练机器学习模型，得到所述第一黑盒模型，包括：
基于所述训练数据，训练机器学习模型，得到所述第一黑盒模型。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述机器学习模型包括神经网络模型。
7.根据权利要求1至6任一项所述的方法，其特征在于，
所述候选网络性能指标包括秩rank，与所述rank相关的特征信息包括信道矩阵；
或者，所述候选网络性能指标包括信道矩阵，与所述信道矩阵相关的特征信息包括多径参数和天线配置参数；
或者，所述候选网络性能指标包括多径参数，与所述多径参数相关的特征信息包括电子地图、工程参数和地物类型；
或者，所述候选网络性能指标包括小区的信道状态概率分布参数，与所述小区的信道状态概率分布参数相关的特征信息包括所述小区的栅格信道矩阵和所述小区的信道状态占用时间序列；
或者，所述候选网络性能指标包括小区的预编码矩阵，与所述小区的预编码矩阵相关的特征信息包括所述小区的栅格信道矩阵。
8.一种网络仿真方法，其特征在于，应用于包括至少两个黑盒模型的网络仿真平台，所述方法包括：
确定第一待仿真网络性能指标；
从所述至少两个黑盒模型中，查找用于对所述第一待仿真网络性能指标进行仿真的第一黑盒模型；其中，所述第一黑盒模型的输出参数是所述第一待仿真网络性能指标；
将所述第一黑盒模型的输入参数的值输入所述第一黑盒模型，得到所述第一黑盒模型的输出参数的值，并将所得到的值作为所述第一待仿真网络性能指标的仿真结果。
9.根据权利要求8所述的方法，其特征在于，所述第一待仿真网络性能指标包括：核心网中的网络性能指标、承载网中的网络性能指标、接入网中的网络性能指标或跨网络的网络性能指标。
10.根据权利要求8或9所述的方法，其特征在于，所述方法还包括：
从所述至少两个黑盒模型中，查找用于对第二待仿真网络性能指标进行仿真的第二黑盒模型；所述第二黑盒模型的输出参数是所述第一黑盒模型的其中一个输入参数；
将所述第二黑盒模型的输入参数的值输入所述第二黑盒模型，得到所述第二黑盒模型的输出参数的值，并将所得到的值作为所述第二待仿真网络性能指标的仿真结果；
所述将所述第一黑盒模型的输入参数的值输入所述第一黑盒模型，包括：
将所述第二待仿真网络性能指标的仿真结果输入所述第一黑盒模型。
11.根据权利要求10所述的方法，其特征在于，所述第一黑盒模型的输出参数是第一网络中的网络性能指标，所述第二黑盒模型的输出参数是第二网络中的网络性能指标；
其中，所述第一网络是核心网、承载网或接入网；所述第二网路是核心网、承载网和接入网中的除所述第一网络之外的任一网络。
12.根据权利要求8至11任一项所述的方法，其特征在于，
所述第一待仿真网络性能指标包括秩rank，与所述rank相关的特征信息包括信道矩阵；
或者，所述第一待仿真网络性能指标包括信道矩阵，所述第一黑盒模型的输出参数包括多径参数和天线配置参数；
或者，所述第一待仿真网络性能指标包括多径参数，所述第一黑盒模型的输出参数包括电子地图、工程参数和地物类型；
或者，所述第一待仿真网络性能指标包括小区的信道状态概率分布参数，所述第一黑盒模型的输出参数包括所述小区的栅格信道矩阵和所述小区的信道状态占用时间序列；
或者，所述第一待仿真网络性能指标包括小区的预编码矩阵，所述第一黑盒模型的输出参数包括所述小区的栅格信道矩阵。
13.一种创建网络仿真平台的装置，其特征在于，所述网络仿真平台包括至少一个黑盒模型，所述至少一个黑盒模型包括第一黑盒模型；所述装置包括：
获取单元，用于获取候选网络性能指标和与所述候选网络性能指标相关的特征信息；其中，与所述候选网络性能指标相关的特征信息是指用于获得所述候选网络性能指标所需的部分或全部特征信息；
训练单元，用于训练机器学习模型，得到所述第一黑盒模型；其中，所述第一黑盒模型的输出参数是所述候选网络性能指标，所述第一黑盒模型的输入参数是所述与所述候选网络性能指标相关的特征信息；所述第一黑盒模型用于对所述候选网络性能指标进行仿真。
14.根据权利要求13所述的装置，其特征在于，所述候选网络性能指标包括：核心网中的网络性能指标、承载网中的网络性能指标、接入网中的网络性能指标或者跨网络的网络性能指标。
15.根据权利要求13或14所述的装置，其特征在于，所述至少一个黑盒模型还包括第二黑盒模型；所述第二黑盒模型的输出参数是所述第一黑盒模型的其中一个输入参数。
16.根据权利要求15所述的装置，其特征在于，所述第一黑盒模型的输出参数是第一网络中的网络性能指标，所述第二黑盒模型的输出参数是第二网络中的网络性能指标；
其中，所述第一网络是核心网、承载网或接入网；所述第二网路是核心网、承载网和接入网中的除所述第一网络之外的任一网络。
17.根据权利要求13至16任一项所述的装置，其特征在于，
所述获取单元还用于，获取训练数据；所述训练数据来自实际网络或除所述仿真平台之外的其他仿真平台；
所述训练单元具体用于，基于所述训练数据训练机器学习模型，得到所述第一黑盒模型。
18.根据权利要求13至17任一项所述的装置，其特征在于，所述机器学习模型包括神经网络模型。
19.根据权利要求13至18任一项所述的装置，其特征在于，
所述候选网络性能指标包括秩rank，与所述rank相关的特征信息包括信道矩阵；
或者，所述候选网络性能指标包括信道矩阵，与所述信道矩阵相关的特征信息包括多径参数和天线配置参数；
或者，所述候选网络性能指标包括多径参数，与所述多径参数相关的特征信息包括电子地图、工程参数和地物类型；
或者，所述候选网络性能指标包括小区的信道状态概率分布参数，与所述小区的信道状态概率分布参数相关的特征信息包括所述小区的栅格信道矩阵和所述小区的信道状态占用时间序列；
或者，所述候选网络性能指标包括小区的预编码矩阵，与所述小区的预编码矩阵相关的特征信息包括所述小区的栅格信道矩阵。
20.一种网络仿真装置，其特征在于，应用于包括至少两个黑盒模型的网络仿真平台，所述装置包括：
确定单元，用于确定第一待仿真网络性能指标；
查找单元，用于从所述至少两个黑盒模型中，查找用于对所述第一待仿真网络性能指标进行仿真的第一黑盒模型；所述第一黑盒模型的输出参数是所述第一待仿真网络性能指标；
仿真单元，用于将所述第一黑盒模型的输入参数的值输入所述第一黑盒模型，得到所述第一黑盒模型的输出参数的值，将所得到的值作为所述第一待仿真网络性能指标的仿真结果。
21.根据权利要求20所述的装置，其特征在于，所述第一待仿真网络性能指标包括：核心网中的网络性能指标、承载网中的网络性能指标、接入网中的网络性能指标或跨网络的网络性能指标。
22.根据权利要求20或21所述的装置，其特征在于，
所述查找单元还用于，从所述至少两个黑盒模型中，查找用于对第二待仿真网络性能指标进行仿真的第二黑盒模型；所述第二黑盒模型的输出参数是所述第一黑盒模型的其中一个输入参数；
所述仿真单元还用于，将所述第二黑盒模型的输入参数的值输入所述第二黑盒模型，得到所述第二黑盒模型的输出参数的值，并将所得到的值作为所述第二待仿真网络性能指标的仿真结果；
所述仿真单元在执行所述将所述第一黑盒模型的输入参数的值输入所述第一黑盒模型时，具体用于：将所述第二待仿真网络性能指标的仿真结果输入所述第一黑盒模型。
23.根据权利要求22所述的装置，其特征在于，所述第一黑盒模型的输出参数是第一网络中的网络性能指标，所述第二黑盒模型的输出参数是第二网络中的网络性能指标；
其中，所述第一网络是核心网、承载网或接入网；所述第二网路是核心网、承载网和接入网中的除所述第一网络之外的任一网络。
24.根据权利要求20至23任一项所述的装置，其特征在于，
所述第一待仿真网络性能指标包括秩rank，与所述rank相关的特征信息包括信道矩阵；
或者，所述第一待仿真网络性能指标包括信道矩阵，所述第一黑盒模型的输出参数包括多径参数和天线配置参数；
或者，所述第一待仿真网络性能指标包括多径参数，所述第一黑盒模型的输出参数包括电子地图、工程参数和地物类型；
或者，所述第一待仿真网络性能指标包括小区的信道状态概率分布参数，所述第一黑盒模型的输出参数包括所述小区的栅格信道矩阵和所述小区的信道状态占用时间序列；
或者，所述第一待仿真网络性能指标包括小区的预编码矩阵，所述第一黑盒模型的输出参数包括所述小区的栅格信道矩阵。
25.一种创建网络仿真平台的装置，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以执行权利要求1至7任一项所述的方法。
26.一种网络仿真装置，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以执行权利要求8至12任一项所述的方法。
CN201910430994.3A 2019-05-22 2019-05-22 创建网络仿真平台的方法和网络仿真方法及相应装置 Active CN111988156B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910430994.3A CN111988156B (zh) 2019-05-22 2019-05-22 创建网络仿真平台的方法和网络仿真方法及相应装置
PCT/CN2020/091813 WO2020233708A1 (zh) 2019-05-22 2020-05-22 创建网络仿真平台的方法和网络仿真方法及相应装置
EP20808886.4A EP3879758A4 (en) 2019-05-22 2020-05-22 METHOD FOR CREATING A NETWORK SIMULATION PLATFORM AND NETWORK SIMULATION METHOD AND RELATED DEVICE
KR1020217019934A KR102543557B1 (ko) 2019-05-22 2020-05-22 네트워크 시뮬레이션 플랫폼 생성 방법, 네트워크 시뮬레이션 방법 및 대응하는 장치
US17/345,273 US11856424B2 (en) 2019-05-22 2021-06-11 Method for creating network simulation platform, network simulation method, and corresponding apparatuses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910430994.3A CN111988156B (zh) 2019-05-22 2019-05-22 创建网络仿真平台的方法和网络仿真方法及相应装置

Publications (2)

Publication Number Publication Date
CN111988156A true CN111988156A (zh) 2020-11-24
CN111988156B CN111988156B (zh) 2022-04-05

Family

ID=73435998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910430994.3A Active CN111988156B (zh) 2019-05-22 2019-05-22 创建网络仿真平台的方法和网络仿真方法及相应装置

Country Status (5)

Country Link
US (1) US11856424B2 (zh)
EP (1) EP3879758A4 (zh)
KR (1) KR102543557B1 (zh)
CN (1) CN111988156B (zh)
WO (1) WO2020233708A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016503A1 (zh) * 2021-08-11 2023-02-16 华为技术有限公司 一种通信方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11424991B2 (en) 2020-11-06 2022-08-23 Google Llc Change impact simulation analysis

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237395A (zh) * 2007-02-01 2008-08-06 北京邮电大学 宽带移动通信网络性能的分层动态仿真实现方法
CN105491599A (zh) * 2015-12-21 2016-04-13 南京华苏科技股份有限公司 预测lte网络性能指标的新型回归系统
CN105634787A (zh) * 2014-11-26 2016-06-01 华为技术有限公司 网络关键指标的评估方法、预测方法及装置和系统
CN108234198A (zh) * 2017-12-19 2018-06-29 清华大学 一种基站流量预测方法和设备
US20180309641A1 (en) * 2017-04-21 2018-10-25 Estinet Technologies Inc. Method and system for simulating a network topology using a physical machine
CN109217955A (zh) * 2018-07-13 2019-01-15 北京交通大学 基于机器学习的无线环境电磁参数拟合方法
CA2977300A1 (en) * 2017-08-25 2019-02-25 Vahid POURAHMADI System and methods for channel modeling/estimation in a wireless communication network

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9439081B1 (en) * 2013-02-04 2016-09-06 Further LLC Systems and methods for network performance forecasting
CN103747455B (zh) 2013-12-27 2018-03-09 南京信息工程大学 基于非均匀散射体分布的信道建模方法及参数匹配方法
CN105553584A (zh) 2015-12-10 2016-05-04 国网山东省电力公司烟台供电公司 一种3d mimo信道建模的方法
CN106961122A (zh) 2017-05-08 2017-07-18 河海大学常州校区 一种基于特征模型的微电网动态等效建模方法
CN108564241A (zh) 2018-01-09 2018-09-21 河海大学常州校区 一种基于特征模型的微电网群等效聚合方法
CN108365903B (zh) 2018-01-29 2021-02-02 哈尔滨工程大学 一种基于随机散射簇的三维Massive MIMO信道建模方法
CN108512621B (zh) 2018-03-02 2020-12-29 东南大学 一种基于神经网络的无线信道建模方法
US10477426B1 (en) * 2019-02-06 2019-11-12 Accenture Global Solutions Limited Identifying a cell site as a target for utilizing 5th generation (5G) network technologies and upgrading the cell site to implement the 5G network technologies
US20200327449A1 (en) * 2019-04-15 2020-10-15 Accenture Global Solutions Limited User retention platform

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237395A (zh) * 2007-02-01 2008-08-06 北京邮电大学 宽带移动通信网络性能的分层动态仿真实现方法
CN105634787A (zh) * 2014-11-26 2016-06-01 华为技术有限公司 网络关键指标的评估方法、预测方法及装置和系统
CN105491599A (zh) * 2015-12-21 2016-04-13 南京华苏科技股份有限公司 预测lte网络性能指标的新型回归系统
US20180309641A1 (en) * 2017-04-21 2018-10-25 Estinet Technologies Inc. Method and system for simulating a network topology using a physical machine
CA2977300A1 (en) * 2017-08-25 2019-02-25 Vahid POURAHMADI System and methods for channel modeling/estimation in a wireless communication network
CN108234198A (zh) * 2017-12-19 2018-06-29 清华大学 一种基站流量预测方法和设备
CN109217955A (zh) * 2018-07-13 2019-01-15 北京交通大学 基于机器学习的无线环境电磁参数拟合方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016503A1 (zh) * 2021-08-11 2023-02-16 华为技术有限公司 一种通信方法及装置

Also Published As

Publication number Publication date
KR20210092305A (ko) 2021-07-23
CN111988156B (zh) 2022-04-05
WO2020233708A1 (zh) 2020-11-26
US20210306881A1 (en) 2021-09-30
US11856424B2 (en) 2023-12-26
EP3879758A4 (en) 2022-03-09
KR102543557B1 (ko) 2023-06-13
EP3879758A1 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
Li et al. READ: Robustness-oriented edge application deployment in edge computing environment
Mayer et al. Emufog: Extensible and scalable emulation of large-scale fog computing infrastructures
US20210209481A1 (en) Methods and systems for dynamic service performance prediction using transfer learning
CN109669774B (zh) 硬件资源的量化方法、编排方法、装置及网络设备
Beechu et al. High-performance and energy-efficient fault-tolerance core mapping in NoC
US10834183B2 (en) Managing idle and active servers in cloud data centers
CN107070709B (zh) 一种基于底层numa感知的nfv实现方法
US10819618B1 (en) Network testing system
US9971669B2 (en) Predicting performance of a software application over a target system
US20140075318A1 (en) Generating and evaluating expert networks
US9632921B1 (en) Validation using scenario runners
US11856424B2 (en) Method for creating network simulation platform, network simulation method, and corresponding apparatuses
US9292650B2 (en) Identifying layout pattern candidates
US20180173605A1 (en) Selecting a set of test configurations associated with a particular coverage strength using a constraint solver
US20220188620A1 (en) Time estimator for deep learning architecture
CN104424347A (zh) 在应用开发阶段期间预测查询所经过的响应时间的系统和方法
CN114564374A (zh) 算子性能评估方法、装置、电子设备及存储介质
US10785109B1 (en) Automated generation of a network service design
CN111784401A (zh) 下单率预测方法、装置、设备及可读存储介质
CN109040744A (zh) 预测视频业务的关键质量指标的方法、装置及存储介质
Gilly et al. End-to-end simulation environment for mobile edge computing
US11388039B1 (en) Identifying problem graphs in an information technology infrastructure network
US20220292392A1 (en) Scheduled federated learning for enhanced search
Yi et al. Optimised approach for VNF embedding in NFV
Li et al. Maintaining real-time application timing similarity for defect-tolerant NoC-based many-core systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant