CN109218048A - 对部署在云上的一个工业系统的性能测试方法和装置 - Google Patents

对部署在云上的一个工业系统的性能测试方法和装置 Download PDF

Info

Publication number
CN109218048A
CN109218048A CN201710525137.2A CN201710525137A CN109218048A CN 109218048 A CN109218048 A CN 109218048A CN 201710525137 A CN201710525137 A CN 201710525137A CN 109218048 A CN109218048 A CN 109218048A
Authority
CN
China
Prior art keywords
industrial system
performance
equipment
industrial
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710525137.2A
Other languages
English (en)
Inventor
毛怿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to CN201710525137.2A priority Critical patent/CN109218048A/zh
Priority to EP18179545.1A priority patent/EP3422639A3/en
Priority to US16/021,267 priority patent/US20190005168A1/en
Publication of CN109218048A publication Critical patent/CN109218048A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/0253—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using browsers or web-pages for accessing management information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/0858—One way delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G06F30/333—Design for testability [DFT], e.g. scan chain or built-in self-test [BIST]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/5096—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to distributed or central networked applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

提供一种性能测试方法、装置、计算机可读介质，用于对部署在云上的工业系统进行性能测试。该方法中，监控测量项(S501)，比如端到端时延、网络吞吐量、网络时延、处理器的占用率、存储器的占用率等；根据监控得到的测量项，确定该工业系统的性能，生成测量结果(S502)，向用户展示测量结果(S503)。若该工业系统为模拟的工业系统，则可配置该工业系统(S504)以及用于运行该工业系统的云资源(S505)，并在配置的云资源上运行该工业系统(S506)。测量结果较准确地体现工业系统的整体性能。可灵活配置模拟的工业系统及其云资源，在建设工业系统前，准确衡量工业系统的性能，为后续工业系统的运行、云资源分配提供参考。

Description

对部署在云上的一个工业系统的性能测试方法和装置
技术领域
本发明涉及性能测试技术领域，尤其涉及对部署在云上的一个工业系统的性能测试方法和装置。
背景技术
目前，云计算技术已经广泛应用于一个企业的信息技术(InformationTechnology，IT)系统，但控制技术(Operational Technology，OT)系统在大多数情况下仍基于专有的工厂内的硬件实现。当传统的OT系统的软件提供商或客户考虑将OT系统转移到云上部署时，可能会关注：云上部署的OT系统的性能如何，是否满足实际的应用场景的要求等。
以一个工业系统——监视控制和数据采集(Supervisory Control And DataAcquisition，SCADA)系统为例，以往在对该系统进行性能测试时，通常仅针对该系统中的一个单独的设备进行测试，比如对一个SCADA服务器进行测试。测试项通常包括处理器占用率、内存占用率等。而这些测试的结果只能反映单独的一个设备的性能，并不能反映整个系统的性能。
发明内容
本发明实施例提供一种性能测试方案，用于对部署在云上的一个工业系统进行性能测试，其中，测试结果可反映整个工业系统的性能。
此外，本发明实施例还提供另一种性能测试方案，用于对部署在云上的一个模拟的工业系统进行性能测试，通过对模拟的工业系统进行参数配置来模拟真实的工业系统，在建立真实的工业系统前，了解工业系统在云上的性能，为后续工业系统的运行、云资源的分配提供参考。
第一方面，提供一种性能测试方法，用于对一个部署在云上的工业系统的性能进行测试。该方法包括如下步骤：获取所述工业系统中的一条端到端的处理路径上的至少两个设备中，每一个设备的设备处理时延，以及所述至少两个设备中任一两个相邻设备之间的数据传输时延；根据获取的所述设备处理时延以及所述数据传输时延，确定所述处理路径上的端到端时延，用以衡量所述工业系统的性能。
一个工业系统通常被要求具备控制的实时性，因此时延是衡量一个工业系统性能的一项重要指标。传统的工业系统部署到云上后，不仅需要考虑设备的处理时延，还需要考虑数据的传输时延。因此，本发明实施例中，将端到端时延作为衡量部署在云上的工业系统性能的重要的测量项，测量结果能较准确地体现工业系统的整体性能。
可选地，所述方法还包括：确定所述工业系统中的至少一条其他处理路径上的端到端时延；比较获取的各个处理路径上的端到端时延，确定影响所述工业系统性能的设备和/或传输线路。
由于能够获得各个处理路径上的端到端时延，可以对所述工业系统的性能进行分段分析，进而根据分段分析的结果进行有针对性的分析，这样才能有效提高系统性能。
可选地，所述工业系统为一个模拟的工业系统，在获取所述工业系统中的一条端到端的处理路径上的至少两个设备中，每一个设备的设备处理时延，以及所述至少两个设备中任一两个相邻设备之间之间的数据传输时延之前，还包括：接收用户对所述工业系统的配置；运行已配置的所述工业系统。
在建立真实的工业系统前，为了能够了解工业系统在云上的性能，为后续工业系统的运行、云资源的分配提供参考，其中，通过配置一个工业系统的配置参数来模拟一个部署在云上的工业系统，并对该模拟的工业系统进行测试，可在建设工业系统前，准确衡量工业系统的性能，为后续工业系统的运行、云资源的分配提供参考。
可选地，所述接收用户对所述工业系统的配置，包括：接收并配置用户输入的所述工业系统的下述参数中的至少一个：所述工业系统的场景；所述工业系统所采用的通信协议；所述工业系统所采用的安全算法；所述工业系统的负载。
这样，用户可以按照待测试工业系统的实际情况进行参数配置，性能测试的结果更接近实际情况，更具参考意义。
可选地，在所述运行模拟的所述工业系统之前，还包括：接收用户对用于运行模拟的所述工业系统的云资源的配置；运行已配置的所述工业系统，包括：在已配置的所述云资源上运行所述工业系统。
可以得到在特定的云资源配置下工业系统的性能。还可获得不同云资源配置下工业系统的性能，通过比较获得最优的云资源配置。
可选地，接收用户对所述工业系统的配置，包括：接收至少一个用户通过Web用户界面UI配置所述工业系统；和/或通过所述web UI向所述至少一个用户展示所述工业系统的性能。
方便用户配置工业系统并观察工业系统的性能。
第二方面，提供一种性能测试方法，用于对一个部署在云上的工业系统的性能进行测试，所述工业系统为一个模拟的工业系统，所述方法包括：接收并配置用户输入的所述工业系统的下述参数中的至少一个：所述工业系统的场景；所述工业系统所采用的通信协议；所述工业系统所采用的安全算法；所述工业系统的负载；运行已配置的所述工业系统；对所述工业系统进行性能测试。
在建立真实的工业系统前，为了能够了解工业系统在云上的性能，为后续工业系统的运行、云资源的分配提供参考，其中，通过配置一个工业系统的配置参数来模拟一个部署在云上的工业系统，并对该模拟的工业系统进行测试，可在建设工业系统前，准确衡量工业系统的性能，为后续工业系统的运行、云资源的分配提供参考。用户可以按照待测试工业系统的实际情况进行参数配置，性能测试的结果更接近实际情况，更具参考意义。
可选地，在运行所述工业系统之前，还包括：接收用户对用于运行所述工业系统的云资源的配置；运行已配置的所述工业系统，包括：在已配置的所述云资源上运行所述工业系统。
可以得到在特定的云资源配置下工业系统的性能。还可获得不同云资源配置下工业系统的性能，通过比较获得最优的云资源配置。
可选地，对所述工业系统进行性能测试，包括：获取所述工业系统中的一条端到端的处理路径上的至少两个设备中，每一个设备的设备处理时延，以及所述至少两个设备中任一两个相邻设备之间的数据传输时延；根据获取的所述设备处理时延以及所述数据传输时延，确定所述处理路径上的端到端时延，用以衡量所述工业系统的性能。
一个工业系统通常被要求具备控制的实时性，因此时延是衡量一个工业系统性能的一项重要指标。传统的工业系统部署到云上后，不仅需要考虑设备的处理时延，还需要考虑数据的传输时延。因此，本发明实施例中，将端到端时延作为衡量部署在云上的工业系统性能的重要的测量项，测量结果能较准确地体现工业系统的整体性能。
可选地，对所述工业系统进行性能测试，还包括：确定所述工业系统中的至少一条其他处理路径上的端到端时延；所述方法还包括：比较获取的各个处理路径上的端到端时延，确定影响所述工业系统性能的设备和/或传输线路。
由于能够获得各个处理路径上的端到端时延，可以对所述工业系统的性能进行分段分析，进而根据分段分析的结果进行有针对性的分析，这样才能有效提高系统性能。
第三方面，提供一种性能测试装置，用于对一个部署在云上的工业系统的性能进行测试。该装置可用于执行第一方面所提供的测试方法。所述装置包括：一个测量模块，用于获取所述工业系统中的一条端到端的处理路径上的至少两个设备中，每一个设备的设备处理时延，以及所述至少两个设备中任一两个相邻设备之间的数据传输时延；一个性能确定模块，用于根据所述测量模块获取的所述设备处理时延以及所述数据传输时延，确定所述处理路径上的端到端时延，用以衡量所述工业系统的性能。
一个工业系统通常被要求具备控制的实时性，因此时延是衡量一个工业系统性能的一项重要指标。传统的工业系统部署到云上后，不仅需要考虑设备的处理时延，还需要考虑数据的传输时延。因此，本发明实施例中，将端到端时延作为衡量部署在云上的工业系统性能的重要的测量项，测量结果能较准确地体现工业系统的整体性能。
第四方面，提供一种性能测试装置，用于对一个部署在云上的工业系统的性能进行测试，所述工业系统为一个模拟的工业系统。该装置可用于执行第二方面提供的方法。所述装置包括：一个配置模块，用于接收并配置用户输入的所述工业系统的下述参数中的至少一个：所述工业系统的场景；所述工业系统所采用的通信协议；所述工业系统所采用的加密算法；所述工业系统的负载；所述配置模块，还用于在云上运行已配置的所述工业系统；一个性能测试模块，用于对所述工业系统进行性能测试。
在建立真实的工业系统前，为了能够了解工业系统在云上的性能，为后续工业系统的运行、云资源的分配提供参考，其中，通过配置一个工业系统的配置参数来模拟一个部署在云上的工业系统，并对该模拟的工业系统进行测试，可在建设工业系统前，准确衡量工业系统的性能，为后续工业系统的运行、云资源的分配提供参考。
第五方面，提供一种性能测试装置，包括：至少一个存储器，用于存储计算机可读指令；至少一个处理器，用于调用所述计算机可读指令，执行第一方面、第一方面的任一种可能的实现方式、第二方面或第二方面的任一种可能的实现方式提供的方法。
第六方面，提供一种计算机可读介质，所述计算机可读介质上存储有计算机可读指令，所述机器可读指令在被至少一个处理器执行时，使所述至少一个处理器执行第一方面、第一方面的任一种可能的实现方式、第二方面或第二方面的任一种可能的实现方式提供的方法。
附图说明
图1为一个SCADA系统的结构示意图。
图2A为本发明实施例提供的一种性能测试装置的结构示意图。
图2B为本发明实施例提供的性能测试装置在测试一个真实的工业系统时的一种结构示意图。
图2C为本发明实施例提供的性能测试装置在测试一个模拟的工业系统时的一种结构示意图。
图2D为本发明实施例提供的性能测试装置在测试一个模拟的工业系统时的一种结构示意图。
图3为本发明实施例中端到端时延的示意图。
图4A～图4E为本发明实施例中一个工业系统的各种场景的示意图。
图5为本发明实施例提供的一种性能测试方法的流程图。
图6为本发明实施例提供的再一种性能测试装置的结构示意图。
图7A和图7B为采用本发明实施例对一个工业系统进行性能测试得到的测试结果。
附图标记列表：
10：SCADA系统 100：中央位置 200：工业现场
101：SCADA服务器 102：RTU 103：现场设备
104：HMI 105：ERP系统 201：性能测试模块
202：用户接口模块 20：性能测试装置 2011：测量模块
2012：性能确定模块 203：配置模块 2021：配置接口
2022：结果展示接口 2031：程序接口模块 2032：云服务管理模块
2033：开放库 2034：数据库 2034a：配置文件
2034b：镜像文件 30：云 2011a：监控模块
2011b：日志传送模块 2011c：日志集成模块 2011d：测量项生成模块
2011e：查找和存储模块 S501：监控测量项 S502：生成测量结果
S503：展示测量结果 S504：配置工业系统 S505：配置云资源
S506：运行工业系统 601：至少一个存储器 602：至少一个处理器
603：触控屏
具体实施方式
一方面，如前所述，目前还没有一种针对云上部署的工业系统的整体性能进行测试的方法。一个工业系统通常被要求具备控制的实时性，因此时延是衡量一个工业系统性能的一项重要指标。传统的工业系统部署到云上后，不仅需要考虑设备的处理时延，还需要考虑数据的传输时延。因此，本发明实施例中，将端到端时延作为衡量部署在云上的工业系统性能的重要的测量项，测量结果能较准确地体现工业系统的整体性能。
另一方面，在建立真实的工业系统前，为了能够了解工业系统在云上的性能，为后续工业系统的运行、云资源的分配提供参考，本发明实施例中，通过配置一个工业系统的配置参数来模拟一个部署在云上的工业系统，并对该模拟的工业系统进行测试，可在建设工业系统前，准确衡量工业系统的性能，为后续工业系统的运行、云资源的分配提供参考。
本发明实施例中，以SCADA系统作为工业系统的一个例子进行描述。本发明实施例可用于测试一个SCADA系统的性能。需要说明的是，本发明实施例也可用于测试其他类型的工业系统，比如SCADA系统SIMATIC WinCC开放架构(WinCC OA)等。本发明实施例可专用于测试一个工业系统上运行的软件的性能。本发明实施例可测试的工业系统涉及的工业领域包括风力发电、汽车制造、制药、污水处理、楼宇控制等。
下面，结合附图对本发明实施例进行详细说明。
本发明实施例中，一个工业系统中可包括至少两个设备。以图1所示的一个SCADA系统10为例，其中可包括至少一个SCADA服务器101、至少一个远程终端单元(RemoteTerminal Unit，RTU)102、至少一个现场设备103、至少一个人机界面(Human MachineInterface，HMI)104等。监视控制和数据采集(Supervisory Control And DataAcquisition，SCADA)系统可用于工业生产过程中，进行工业控制和监控。部署在中心位置100处的SCADA服务器101需要与大量位于工业现场200处的现场设备103进行通信，以获取现场数据。这些现场设备103可包括可编程逻辑控制器(Programmable Logic Controller，PLC)和仪表等。工作人员可以通过HMI104监控工业生产过程。位于工业现场200处的RTU102用于实现现场设备103与SCADA服务器101之间的通信。
图2A为本发明实施例提供的一种性能测试装置20的结构示意图。该性能测试装置20可用于测量一个工业系统，比如图1所示的SCADA系统10的性能。如图2A所示，该性能测试装置20可包括：
一个测量模块2011，用于获取用于衡量一个工业系统的性能的至少一个测量项；
一个性能确定模块2012，用于根据测量模块2011获取的至少一个测量项确定该工业系统的性能。
传统的针对一个工业系统的性能测试一般仅考虑单个设备的处理器的占用率和/或存储器的占用率，比如一个SCADA系统中的一个SCADA服务器的存储器的占用率和处理器的占用率。比如，当客户需要部署一个工业系统时，通常会对负载和性能提出要求，该工业系统的提供商设置系统容量以满足这些复杂和性能的要求。通常在系统交付之前会进行一个负载测试，测试在普通负载和高负载情况下系统是否满足要求。但通常的性能测试仅测试单个设备的性能，比如处理器的占用率等，缺少对一个系统整体性能的测试，更没有对一个部署在云上的工业系统进行整体性能的测试。
本发明实施例中，在对一个工业系统进行测试时考虑到系统的整体性能，比如：使用端到端时延、网络吞吐量、网络时延等测量项，用于衡量系统的整体性能。具体地，结合图2A所示的性能测试装置20，其中的测量模块2011所获取的测量项包括但不限于：端到端时延、网络吞吐量、网络时延(即数据在线路上进行传输造成的时延)、处理器的占用率和存储器的占用率。
当一个工业系统部署在云上后，通常部分设备会部署在如图1所示的中央位置100处，而其他设备部署在工业现场200处，这样端到端时延对于该工业系统的影响就变得更加突出。
若不仅考虑工业生产过程还考虑接受客户订单以及向客户交付等环节，一个工业系统的一种分层结构可如图3所示，包括：
1)企业资源计划(Enterprise Resource Planning，ERP)系统105
ERP105负责从客户处接收订单，最终向客户交付，提供发票。ERP105在收到来自客户的订单后，交由MES，由MES生成生产订单发至自动化层。
2)制造执行系统(Manufacturing Execution System，MES)
3)自动化层
以一个SCADA系统10为例，自动化层通常包括至少一个SCADA服务器101)，用于完成自动化生产，实现过程逻辑和监控。
4)设备控制器
通常包括至少一个或可编程逻辑控制器(Programmable Logic Controller，PLC)，以一个SCADA系统10，还可包括至少一个RTU102。设备控制用于实现设备控制和具体的过程逻辑。
5)输入/输出(Input/Output，I/O)设备
通常包括至少一个现场设备103，在PLC或RTU的控制下完成具体的工业生产过程。
其中，不同层具有不同的端到端时延。比如：设备控制器与I/O设备之间的端到端时延为L1，自动化层的设备与设备控制器之间为L2，自动化层与MES之间的端到端时延为L3，通常L3大于L2，L2大于L1。
本发明实施例中，在进行性能测试时获取的端到端时延可以指任意两个设备之间的时延，比如RTU102从现场设备103处采集到现场数据，然后发给SCADA服务器101，那么，从现场数据被RTU102接收到开始，到现场数据发送至SCADA服务器101，之间所需要的时间可认为是一种端到端时延。
若测量项包括端到端时延，则测量模块2011可获取一个工业系统中的一条端到端的处理路径上的至少两个设备中，每一个设备的设备处理时延，以及至少两个设备中任一两个相邻设备之间的数据传输时延，性能确定模块2012则根据测量模块2011获取的设备处理时延以及数据传输时延，确定处理路径上的端到端时延，用以衡量工业系统的性能。
可选地，测量模块2011可通过获取工业系统中的设备的日志来获取各个测量项，比如：一个设备A的日志中可包括一项数据到达该设备A的时刻t1，该项数据经过该设备A处理后从该设备A发送出去的时刻t2，则t2-t1为该设备A对该项数据进行处理的设备处理时延。该项数据从设备A发送至一个设备B，而设备B的日志中可包括该项数据到达设备B的时刻t3，则t3-t2则为该项数据由设备A传输到设备B的数据传输时延。通过从各个设备上获取日志来得到一项数据到达、离开一个设备的时刻，可实现端到端时延的分段计算，通过比较不同的处理路径上的端到端时延，可较容易地发现影响工业系统性能的问题点，为提高工业系统性能提供参考。
若测试的系统为一个真实的工业系统，则如图2B所示，测量模块2011可获取一个工业系统，比如SCADA系统10中至少一个设备的日志，根据日志处记载的上述各种时刻，来确定一条处理路径上的端到端时延。此外，还可以通过获取各个设备的日志，确定前述的网络吞吐量、网络时延、处理器的占用率和存储器的占用率等。
若测试的系统为一个模拟的工业系统，则如图2C所示，性能测试装置20还包括一个配置模块203，用于配置该模拟的工业系统的下述参数中的至少一个：
1)工业系统的场景；
2)工业系统所采用的通信协议；
3)工业系统所采用的安全算法；
4)工业系统的负载。
下面，对上述参数逐一说明：
1)工业系统的场景
一个工业系统的场景可包括：纯硬件工业系统、工厂工业系统、中央工业系统、分布式工业系统和分等级的工业系统。以SCADA系统10为例，工业系统的场景可包括：纯硬件SCADA系统(bare metal SCADA)、工厂SCADA系统(plant SCADA)、中央SCADA系统(centralSCADA)、分布式SCADA系统(distributed SCADA)和分等级的SCADA系统(hierarchicalSCADA)等。
图4A所示的SCADA系统10中，SCADA服务器101为未部署在云上的硬件服务器，所有设备都位于工业现场200。
图4B所示的SCADA系统10中，SCADA服务器101部署在一个私有云上，所有设备也都位于工业现场200。
图4C所示的SCADA系统10中，SCADA服务器101部署在一个公有云或一个私有云上，SCADA服务器101和HMI104位于中央位置100，其他设备位于工业现场200。
图4D所示的SCADA系统10中，SCADA服务器101部署在一个公有云或一个私有云上，SCADA服务器101和HMI104位于中央位置100，其他设备位于工业现场200。其中，一个SCADA服务器101连接至少两个RTU102，可选地，至少两个RTU102中的一个或多个部署在私有云上。
图4E所示的SCADA系统10中，SCADA服务器101部署在一个公有云或一个私有云上，SCADA服务器101和HMI104位于中央位置100，其他设备位于工业现场200。其中，一个SCADA服务器101连接至少两个RTU102，可选地，至少两个RTU102中的一个或多个部署在私有云上。并且至少一个工业现场有HMI104，该HMI104与SCADA服务器101连接。
2)工业系统所采用的通信协议
比如：Modbus TCP/IEC870-5-101(Modbus传输控制协议/国际电工委员会870-5-101)
3)工业系统所采用的加密算法
比如：未加密；再比如：VPN-SSL隧道(虚拟专用网络-安全套接层隧道)。
4)工业系统的负载
比如：该工业系统所包括的设备的数量，每一个设备中的数据点的个数，以及每一个
设备的消息处理速率(更新频率和/或轮询频率率)。
可选地，配置模块203除了配置一个模拟的工业系统的上述参数之外，还可配置用于运行该模拟的工业系统的云资源，比如配置云资源的提供商、云资源的位置、处理器、存储器容量、硬盘等。比如：配置亚马逊网络服务(Amazon Web Services，AWS)为云资源的提供商，配置云资源的位置为法兰克福、都柏林、新加坡、美国等。再比如：配置一个私有云为工业系统提供云资源，配置云资源的位置为慕尼黑、印度等。
若该工业系统为一个模拟的工业系统，则该配置模块203还用于运行已配置好的模拟的工业系统。若配置模块203还配置运行该工业系统的云资源，配置模块203具体用于在配置好的云资源上运行该模拟的工业系统。
下面，参考图2D说明本发明实施例提供的性能测试装置20在对一个模拟的工业系统进行测试时的一种实现方式。
如图2D所示，该性能测试装置20包括如下模块：
1)用户接口模块202
2)配置模块203
3)性能测试模块201。
下面，详细说明上述各个模块：
1)用户接口模块202
如图2D所示，该性能测试装置20通过用户接口模块202中的配置接口2021接收用户对一个模拟的工业系统的配置，可选地，还可通过该配置接口2021接收用户对运行该模拟的工业系统的云资源的配置。用户可以通过该配置接口2021配置如前所述的工业系统的场景、通信协议、安全算法、设备信息等。还可配置用于运行该模拟的工业系统的云资源。此外，还可通过该配置接口2021配置所采用的测量项。
一个可能的用例是，一个已有的工业系统要迁移到云上部署，则用户可按照该工业系统的实际情况，通过配置接口2021对该工业系统进行配置，并依据该工业系统所要部署到的云的情况，对云资源进行配置。这样，性能测试的结果能够较准确地反映该工业系统真正部署到云上后的性能。用户也可根据性能测试的结果调整实际的云资源的配置，再重新测试，在不同的云资源配置下得到不同的测试结果，通过比较测试结果可确定最佳的云资源的配置。为后续工业系统在云上的部署提供参考。
可选地，该性能测试装置20还可通过用户接口模块202中的结果展示接口2022向用户展示该模拟的工业系统的性能，其可实现测试结果的输出和可视化。
2)配置模块203
配置模块203位于用户接口模块202与云30之间，实现如下功能：
配置模拟的工业系统，比如图2D中的SCADA系统10；
配置云资源；
在云上部署该模拟的工业系统。
云服务管理模块2032是配置模块203的核心组成部分，其实现的功能如下：
A)通过程序接口模块2031，向用户接口模块202提供编程接口，用于实现用户对工
业系统的配置，可选地，还可用于实现用户对云资源的配置。此外，程序接口模块2031
还可接收来自云30的工业系统部署的状态信息，并通过用户接口模块202反馈给用户。
B)通过数据库2034存储下列两种信息：
镜像文件2034b，比如：Docker或虚拟机(Virtual Machine，VM)的镜像
配置文件2034a，用户通过用户接口模块202配置工业系统的参数和用于运行该
工业系统的云资源的信息，云服务管理模块2032通过程序接口模块2031获取这些信息
后生成配置文件2034a并存储于数据库2034中。
C)通过开放库2033向云30请求云资源、在云30中部署工业系统、对部署的工业
系统进行配置，以及在工业系统结束运行时释放云资源等。
通过配置模块203对工业系统的配置和在云上部署并运行工业系统，实现了一个模拟的工业系统在云30上的运行。图中，SCADA服务器101、RTU102、现场设备103和HMI104中的部分或全部可部署并运行的云30上。
3)性能测试模块201
性能测试模块201可采集云30上运行的工业系统上的各个设备的日志，获取生成测量项所需要的数据，并生成测量项。其中，测量模块2011可用于获取日志并生成测量项，性能确定模块2012可用于确定工业系统的性能。
其中，测量模块2011中的监控模块2011a可控制云30中的工业系统中的各个设备生成测量项所需的日志，另一方面，从云30中收集日志。收集到的日志发送至日志传送模块2011b。
日志传送模块2011b将收到的来自云中的各个设备的日志输出至日志集成模块2011c。
日志传送模块2011b使用一个消息队列缓存日志流，从日志中过滤出有用信息并基于预先设定的规则进行运算和关联，并将结果输出至测量项生成模块2011d。
测量项生成模块2011d的输出可存储在分布式的高度可用的搜索引擎，即查找和存储模块2011e中。
性能确定模块2012对存储在查找和存储模块中的测量项信息进行分析处理，确定工业系统的性能。可选地，还可提供可视化的程序接口，供结果展示接口2022向用户进行测试结果的可视化展示。
基于相同的发明构思，本发明实施例还提供了一种性能测试方法，该方法可由前述的性能测试装置20执行，对一个工业系统进行性能测试。
图5为本发明实施例提供的一种性能测试方法的流程图。如图5所示，该方法可包括如下步骤：
S501：监控一个工业系统的各个测量项，比如前述的一个处理路径上的端到端时延、网络吞吐量、网络时延、处理器的占用率、存储器的占用率等。
S502：根据监控得到的测量项，确定该工业系统的性能，生成测量结果。
S503：向用户展示测量结果，比如通过前述的web UI向用户展示测试结果。
若该工业系统为一个模拟的工业系统，则在步骤S501之前，可还包括如下步骤：
S504：配置该工业系统，比如该工业系统的场景、采用的通信协议、安全算法、该工业系统的负载等。
S505：配置用于运行该工业系统的云资源，比如前述的云资源的提供商、云资源的位置等。
S506：在配置的云资源上运行该工业系统。
该方法的其他可选实现方式可参照前述的性能测试装置20的实现，这里不再赘述。
图6为本发明实施例提供的另一种性能测试装置的结构示意图。图2A～图2D所示的性能测试装置20中的各模块可采用软件程序的方式来实现。图6所示的性能测试装置20可视为图2A～图2D所示装置的硬件实现方式，其中，至少一个存储器601，用于存储计算机可读指令，这些计算机可读指令可分布于图2A～图2D中的各个程序模块中，此外，至少一个存储器601还可用于存储整个测试过程中产生的文件、数据等，比如前述的配置文件2034a、镜像文件2034b等。至少一个处理器602，用于调用这些计算机可读指令，执行图5所示的测试方法，实现前述的性能测试装置20所实现的各种功能，比如：工业系统的配置、云资源的配置、工业系统的运行、测试项的获取、测试结果的确定、测试结果的展示等。可选地，还可包括触控屏603，用于向用户展示测试结果，接收用户的操作，比如：工业系统的配置、云资源的配置等。
图7A和图7B为采用本发明实施例对一个模拟的工业系统进行性能测试得到的端到端时延的测试结果。其中，轮询频率(polling rate)为：轮询周期＝250ms。各图中，S代表处理负荷，即模拟的设备的个数，每个设备每秒进行16次处理。各图中，纵轴为端到端时延，单位为ms。
图7A示出了场景1：工厂工业系统、场景2：中央工业系统、场景3：分布式工业系统、场景4：分等级的工业系统端到端时延的测试结果。可见，分等级的工业系统的端到端时延最大，工厂工业系统的端到端时延最小，各场景下在负载增大的情况下，端到端时延的变化并不明显。
图7B示出了场景1：工厂工业系统(采用Modbus TCP通信协议)、场景2：工厂工业系统(采用IEC870-5-101通信协议)端到端时延的测试结果。可见，场景2下工业系统的端到端时延要远小于场景1。其中，场景1下，端到端时延包括Modbus TCP协议规定的轮询过程中等待前一个Poll请求以及返回Poll响应的时长。
基于相同的发明构思，本发明实施例还提供了一种计算机可读介质，该计算机可读介质上存储用于使一机器执行如本文前述方法的机器可读指令。具体地，可以提供配有该计算机可读介质的系统或者装置，在该计算机可读介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或中央处理器(CentralProcessing Unit，CPU)或微处理器(Micro Processor Unit，MPU))读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明实施例的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如只读光盘驱动器(Compact Disc Read-Only Memory，CD-ROM)、可录光盘(Compact Disk-Recordable，CD-R)、可擦写光盘(Compact Disk-ReWritable，CD-RW)、数字视盘(DigitalVideo Disc-Read Only Memory，DVD-ROM)、数字多功能光盘随机存储器(DigitalVersatile Disc-Random Access Memory，DVD-RAM)、可重写型数字多功能光盘(DigitalVersatile Disc±ReWritable，DVD±RW)等)、磁带、非易失性存储卡和只读存储器(Read-Only Memory，ROM)。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
综上，本发明实施例提供一种针对一个工业系统的测试方法、装置和存储介质，用以测试该工业系统的整体性能。通过获取端到端时延等测量项，能够提供准确的性能测试结果。
若本发明实施例对一个模拟的工业系统进行测试，则可根据实际的测试需求，比如工业系统的场景、负载等设计不同的测试用例，实现灵活的性能测试。模拟的工业系统接近真实的工业系统，这样可在真正部署工业系统之前预先知道系统性能。并且，测试结果也可在工业系统的负载设置、云资源配置等方面提供参考。
需要说明的是，上述各流程和各设备结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的设备结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (14)

1.性能测试方法，用于对一个部署在云上的工业系统的性能进行测试，其特征在于，包括：
获取所述工业系统中的一条端到端的处理路径上的至少两个设备中，每一个设备的设备处理时延，以及所述至少两个设备中任一两个相邻设备之间的数据传输时延；
根据获取的所述设备处理时延以及所述数据传输时延，确定所述处理路径上的端到端时延，用以衡量所述工业系统的性能。
2.如权利要求1所述的方法，其特征在于，还包括：
确定所述工业系统中的至少一条其他处理路径上的端到端时延；
比较获取的各个处理路径上的端到端时延，确定影响所述工业系统性能的设备和/或传输线路。
3.如权利要求1或2所述的方法，其特征在于，所述工业系统为一个模拟的工业系统，在获取所述工业系统中的一条端到端的处理路径上的至少两个设备中，每一个设备的设备处理时延，以及所述至少两个设备中任一两个相邻设备之间之间的数据传输时延之前，还包括：
接收用户对所述工业系统的配置；
运行已配置的所述工业系统。
4.如权利要求3所述的方法，其特征在于，所述接收用户对所述工业系统的配置，包括：接收并配置用户输入的所述工业系统的下述参数中的至少一个：
所述工业系统的场景；
所述工业系统所采用的通信协议；
所述工业系统所采用的安全算法；
所述工业系统的负载。
5.如权利要求3或4所述的方法，其特征在于，
在所述运行模拟的所述工业系统之前，还包括：接收用户对用于运行模拟的所述工业系统的云资源的配置；
运行已配置的所述工业系统，包括：在已配置的所述云资源上运行所述工业系统。
6.如权利要求3～5任一项所述的方法，其特征在于，
接收用户对所述工业系统的配置，包括：接收至少一个用户通过Web用户界面UI配置所述工业系统；和/或
通过所述web UI向所述至少一个用户展示所述工业系统的性能。
7.性能测试方法，用于对一个部署在云上的工业系统的性能进行测试，其特征在于，所述工业系统为一个模拟的工业系统，所述方法包括：
接收并配置用户输入的所述工业系统的下述参数中的至少一个：
所述工业系统的场景；
所述工业系统所采用的通信协议；
所述工业系统所采用的安全算法；
所述工业系统的负载；
运行已配置的所述工业系统；
对所述工业系统进行性能测试。
8.如权利要求7所述的方法，其特征在于，
在运行所述工业系统之前，还包括：接收用户对用于运行所述工业系统的云资源的配置；
运行已配置的所述工业系统，包括：在已配置的所述云资源上运行所述工业系统。
9.如权利要求7或8所述的方法，其特征在于，对所述工业系统进行性能测试，包括：
获取所述工业系统中的一条端到端的处理路径上的至少两个设备中，每一个设备的设备处理时延，以及所述至少两个设备中任一两个相邻设备之间的数据传输时延；
根据获取的所述设备处理时延以及所述数据传输时延，确定所述处理路径上的端到端时延，用以衡量所述工业系统的性能。
10.如权利要求9所述的方法，其特征在于，
对所述工业系统进行性能测试，还包括：确定所述工业系统中的至少一条其他处理路径上的端到端时延；
所述方法还包括：比较获取的各个处理路径上的端到端时延，确定影响所述工业系统性能的设备和/或传输线路。
11.性能测试装置(20)，用于对一个部署在云上的工业系统的性能进行测试，其特征在于，包括：
一个测量模块(2011)，用于获取所述工业系统中的一条端到端的处理路径上的至少两个设备中，每一个设备的设备处理时延，以及所述至少两个设备中任一两个相邻设备之间的数据传输时延；
一个性能确定模块(2012)，用于根据所述测量模块(2011)获取的所述设备处理时延以及所述数据传输时延，确定所述处理路径上的端到端时延，用以衡量所述工业系统的性能。
12.性能测试装置(20)，用于对一个部署在云上的工业系统的性能进行测试，其特征在于，所述工业系统为一个模拟的工业系统，所述装置(20)包括：
一个配置模块(203)，用于接收并配置用户输入的所述工业系统的下述参数中的至少一个：
所述工业系统的场景；
所述工业系统所采用的通信协议；
所述工业系统所采用的加密算法；
所述工业系统的负载；
所述配置模块(203)，还用于在云上运行已配置的所述工业系统；
一个性能测试模块(201)，用于对所述工业系统进行性能测试。
13.性能测试装置，其特征在于，包括：
至少一个存储器(601)，用于存储计算机可读指令；
至少一个处理器(602)，用于调用所述计算机可读指令，执行如权利要求1～10任一项所述的方法。
14.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机可读指令，所述机器可读指令在被至少一个处理器执行时，使所述至少一个处理器执行权利要求1～10中任一项所述的方法。
CN201710525137.2A 2017-06-30 2017-06-30 对部署在云上的一个工业系统的性能测试方法和装置 Pending CN109218048A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710525137.2A CN109218048A (zh) 2017-06-30 2017-06-30 对部署在云上的一个工业系统的性能测试方法和装置
EP18179545.1A EP3422639A3 (en) 2017-06-30 2018-06-25 Performance testing method and apparatus for an industrial system deployed on cloud
US16/021,267 US20190005168A1 (en) 2017-06-30 2018-06-28 Performance testing method and apparatus for industrial system deployed on cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710525137.2A CN109218048A (zh) 2017-06-30 2017-06-30 对部署在云上的一个工业系统的性能测试方法和装置

Publications (1)

Publication Number Publication Date
CN109218048A true CN109218048A (zh) 2019-01-15

Family

ID=62778781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710525137.2A Pending CN109218048A (zh) 2017-06-30 2017-06-30 对部署在云上的一个工业系统的性能测试方法和装置

Country Status (3)

Country Link
US (1) US20190005168A1 (zh)
EP (1) EP3422639A3 (zh)
CN (1) CN109218048A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958158A (zh) * 2019-11-22 2020-04-03 江苏百倍云信息科技有限公司 一种物联网平台通信测评方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423920B2 (ja) * 2019-07-03 2024-01-30 オムロン株式会社 制御システム、設定装置およびコンピュータプログラム
CN110830796B (zh) * 2019-11-01 2021-09-03 深圳创维－Rgb电子有限公司 电视应用测试方法、电视应用测试装置和可读存储介质
CN110830571A (zh) * 2019-11-05 2020-02-21 许继集团有限公司 一种业务数据备份与提取方法及计算机可读介质
CN113014450B (zh) * 2021-02-24 2022-07-05 北京信而泰科技股份有限公司 设备测试方法、装置及计算机可读介质
CN113505539A (zh) * 2021-07-30 2021-10-15 青岛海尔工业智能研究院有限公司 工业机理模型测试方法、装置和存储介质
CN113742219B (zh) * 2021-08-05 2024-07-26 中移（杭州）信息技术有限公司 压力调节和性能测试方法、系统及存储介质
CN114881233B (zh) * 2022-04-20 2023-03-24 深圳市魔数智擎人工智能有限公司 一种基于容器的分布式模型推理服务方法
CN117176611B (zh) * 2023-10-30 2024-01-30 翼方健数(北京)信息科技有限公司 一种分布式通信库的性能测试方法、系统及介质
CN118260131B (zh) * 2024-05-31 2024-09-24 苏州元脑智能科技有限公司 扩展模块运行性能的测试方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150319305A1 (en) * 2014-05-02 2015-11-05 Avaya, Inc. Speech analytics: conversation timing and adjustment
EP3002646A2 (en) * 2014-10-01 2016-04-06 Rockwell Automation Technologies, Inc. Virtual design engineering

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268587B2 (en) * 2012-04-13 2016-02-23 Empire Technology Development Llc Determining destination cloud system requirements
EP3002649B1 (en) * 2014-10-01 2018-09-26 Rockwell Automation Technologies, Inc. Industrial simulation using redirected i/o module configurations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150319305A1 (en) * 2014-05-02 2015-11-05 Avaya, Inc. Speech analytics: conversation timing and adjustment
EP3002646A2 (en) * 2014-10-01 2016-04-06 Rockwell Automation Technologies, Inc. Virtual design engineering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PHILIP CHURCH 等: "Migration of a SCADA system to IaaS", 《JOURNAL OF CLOUD COMPUTING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958158A (zh) * 2019-11-22 2020-04-03 江苏百倍云信息科技有限公司 一种物联网平台通信测评方法
CN110958158B (zh) * 2019-11-22 2022-02-25 百倍云(无锡)智能装备有限公司 一种物联网平台通信测评方法

Also Published As

Publication number Publication date
EP3422639A3 (en) 2019-01-16
EP3422639A2 (en) 2019-01-02
US20190005168A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
CN109218048A (zh) 对部署在云上的一个工业系统的性能测试方法和装置
JP6336606B2 (ja) 可視化されたネットワーク運用及び保守のための方法及び装置
US8630836B2 (en) Predicting system performance and capacity using software module performance statistics
CN102946616B (zh) 一种物联网中间件性能测试系统和测试方法
US20170003948A1 (en) Continuous deployment success prediction
CN108153670A (zh) 一种接口测试方法、装置及电子设备
CN109617759A (zh) 区块链系统稳定性测试方法、装置、设备及存储介质
CN109359033A (zh) 压力测试方法、测试服务器、管理服务器及系统
US11283863B1 (en) Data center management using digital twins
CN112860569A (zh) 一种自动化测试方法、装置、电子设备和存储介质
CN107483283B (zh) 通讯可靠性测试方法和装置
CN109542786A (zh) 可视化测试方法及装置
GB2513141A (en) Data processing system with real-time data center air flow simulator
CN105706054A (zh) 用于对可编程设备的应用进行验证和部署的系统和方法
US11750471B2 (en) Method and apparatus for determining resource configuration of cloud service system
CN108089095A (zh) 一种电网低频振荡参数预测方法及装置
RU2532714C2 (ru) Способ получения данных при оценке ресурсов сети и устройство для осуществления способа
CN105492986A (zh) 用于表示电力系统信息的系统及方法
CN116955148A (zh) 业务系统测试方法、装置、设备、存储介质及产品
CN110719325A (zh) 响应用户请求的方法和装置
CN110347607A (zh) 一种数据上链测试方法
CN114390093B (zh) 一种虚拟网关模拟系统
CN113553520B (zh) 一种多技术栈融合的域名自动化运维方法、系统及设备
CN109669829A (zh) 一种基于bmc的诊断调试方法、装置及服务器
Klenik Measurement-based performance evaluation of distributed ledger technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190115

WD01 Invention patent application deemed withdrawn after publication