CN106533824B - 一种给定扰动下的通信网络弹性测评方法 - Google Patents

一种给定扰动下的通信网络弹性测评方法 Download PDF

Info

Publication number
CN106533824B
CN106533824B CN201610903431.8A CN201610903431A CN106533824B CN 106533824 B CN106533824 B CN 106533824B CN 201610903431 A CN201610903431 A CN 201610903431A CN 106533824 B CN106533824 B CN 106533824B
Authority
CN
China
Prior art keywords
performance parameter
disturbance
performance
ben
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610903431.8A
Other languages
English (en)
Other versions
CN106533824A (zh
Inventor
李瑞莹
马文停
李大庆
靳崇
康锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201610903431.8A priority Critical patent/CN106533824B/zh
Publication of CN106533824A publication Critical patent/CN106533824A/zh
Application granted granted Critical
Publication of CN106533824B publication Critical patent/CN106533824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements

Abstract

本发明公开了一种给定扰动下的通信网络弹性测评方法，属于网络通信以及可靠性技术领域。本方法包括如下步骤：定义测试场景；确定系统关键性能参数；定义系统性能基线；确定扰动注入方法；扰动注入与性能监控；弹性计算。在各测试场景下对系统扰动注入前后测试时，均以用户要求的系统恢复时间为时间尺度，记录在时间尺度内各性能参数的变化情况。本发明解决了原有弹性测评时间度量尺度不一、难以对不同系统进行比较的问题，所用弹性度量物理意义明晰，更接近实际需求。

Description

一种给定扰动下的通信网络弹性测评方法
技术领域
本发明属于网络通信以及可靠性技术领域，具体涉及一种给定扰动下的通信网络弹性测评方法。
背景技术
随着通信网络技术的不断发展与应用，对网络的定量与定性特征的科学理解，已成为一个极其重要的挑战性课题，甚至被称为“网络的新科学”。但是由于通信网络规模庞大、行为复杂，很小的扰动可能会带来严重的后果，因此对网络系统受扰动后的行为能力——弹性测评的研究应运而生。弹性测评广泛应用于评价个体、集体或系统承受扰动以及扰动后的恢复能力。
与其他系统相比，通信网络大量采用多路径冗余与容错机制等，是典型的高可靠系统，不可能等待足够长的时间通过实际观察来获取有关统计结果。因此，人为地使系统出现扰动，进而分析它的行为就显得十分必要。扰动注入是按照事先选定的扰动模型，用人工的方法有意识地产生扰动并施加于特定的被测系统中，以观测和检查系统注入扰动后的行为反应，实现对系统的弹性测评。
现有的弹性测评方法中时间尺度不一，无法实现不同弹性过程的比较(参考文献[1]：Reed,Dorothy A.,Kailash C.Kapur,and Richard D.Christie."Methodology forassessing the resilience of networked infrastructure."IEEE Systems Journal3.2(2009):174-180.)，或统一了时间尺度，但其定义的时间尺度为一个长时间区间，和现实系统差异较大，不能直接用于对系统的评价(参考文献[2]：Zobel,Christopher W.,andLara Khansa."Characterizing multi-event disaster resilience."Computers&Operations Research 42(2014):83-94.)。
发明内容
本发明目的是为了解决现有弹性测评度量尺度不一、难以对不同系统进行比较的问题，提出了一种给定扰动下的通信网络弹性测评方法，其弹性度量的时间尺度选择了用户所要求的系统恢复时间，物理意义更加明晰，更接近实际需求。
本发明提供的一种给定扰动下的通信网络弹性测评方法，包括如下步骤：
步骤一：定义测试场景(Benchmark)；设定义了n个测试场景，记为Ben1，Ben2，…，Benn，n为正整数；
步骤二：确定系统关键性能参数；设确定了m个性能参数P1,P2,…Pm，m为正整数；
步骤三：将在给定测试场景下系统正常情况下测得的性能参数在T*时间内的积分作为性能基线；T*为总测试时间，是用户所要求的系统恢复时间；在每隔时间Δt记录性能参数测量值，记在测试场景Beni下性能参数Pj在第k次测量的性能参数测量值为Pi,j,k,0，k＝1,2,…,N，N为总测量次数，N＝T*/Δt；根据性能参数测试结果计算系统性能基线Ai,j,0如下：
其中，t0为测试开始时刻，Pi,j,0(t)为在场景Beni下性能参数Pj在正常运行情况下在t时刻对应的性能参数值，Pi,j,0,0为t0时刻的性能参数值，Gi,j(t)为在测试场景Beni下望目型性能参数Pj在t时刻对应的目标值，Gi,j,k为在测试场景Beni下望目型性能参数Pj在第k次测量对应的目标值。
步骤四：确定扰动注入方法；
步骤五：扰动注入与性能监控；按照扰动注入方法，在各测试场景下将扰动注入到正在正常运行的被测系统中，对系统性能参数进行监控，记录在T*时间内各性能参数的变化情况；在每隔时间Δt记录性能参数测量值，记扰动注入后在Beni场景下性能参数Pj在第k次测量的性能参数测量值为Pi,j,k；
步骤六：弹性计算；
首先，计算扰动注入后，测试场景Beni下性能参数Pj对应的系统性能参数在T*时间内的积分Ai,j如下：
其中，Pi,j(t)为在测试场景Beni下性能参数Pj在扰动注入情况下在t时刻对应的性能参数值。
由此，获得测试场景Beni下性能参数Pj对应的系统弹性值
本发明的优点与积极效果在于：
(1)弹性度量以用户要求的系统恢复时间为时间尺度，参数反应了系统遭受扰动后在用户要求的系统恢复时间内的平均性能，物理意义更加明晰，更接近实际需求，避免了原有弹性度量尺度不一、难以对不同系统进行比较的问题。
(2)本发明给出了一整套针对给定扰动的弹性测评方法，并在正常运行场景定义了系统性能基线，方便最终实现对不同产品的对比分析，以此确定在同样场景下，哪种产品、哪种配置策略会提供更好的弹性，为设计者提供决策依据。
附图说明
图1是本发明的给定扰动下的通信网络弹性测评方法的整体流程示意图；
图2是本发明实施例的某企业内部网模型示意图；
图3是本发明实施例中扰动注入时网络链路背景流量设置示意图；
图4是本发明实施例中注入扰动前后网络性能仿真结果示意图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明提出一种给定扰动下的通信网络弹性测评方法，整体步骤如图1所示。下面说明各步骤的实现。
步骤一：定义测试场景。
根据系统典型应用场景，定义n个测试场景，记为Ben1，Ben2，…，Benn，n为正整数。具体的测试场景因不同的系统及系统上运行的不同应用业务而不同，通过业务类型、使用方式和频率等要素进行表征。以Yahoo云服务Benchmark(YCSB)项目为例，该项目构建了一个标准化的Benchmark，用于对不同系统在常用负载下进行比较，所构建的Benchmark要素包括：读写比例、请求分布和请求大小等，并根据常见需求定义了一系列基本Benchmark，该项目中定义了6个基本Benchmark。
步骤二：确定系统关键性能参数。设确定了m个系统性能参数P1,P2,…Pm，m为正整数。
弹性是对系统在扰动下能在多大程度上抵御扰动和以多快速度恢复的度量，具体表征在性能上，因此需要确定系统关键性能指标(KPI)。对于通信网络，影响用户体验的指标包括连通、及时、完整、正确四个方面，上述指标通过时延、丢包率、误码率等性能参数表征。不同的被测系统由于使用需求不同而有不同的系统关键性能参数，系统关键性能参数应为能够观测到的指标。
步骤三：定义系统性能基线；
分别在测试场景Ben1-Benn下，按无扰动注入的正常情况运行系统，测试系统性能参数P1,P2,…Pm，设测试场景Beni下测试采集的性能参数Pj在T*时间内的积分为Ai,j,0，则确定Beni场景下性能参数Pj对应的性能基线值为Ai,j,0，即采用给定场景下系统正常情况下测得的性能作为性能基线。
定义系统性能基线具体包括如下步骤：
步骤3.1，测试环境准备。根据测试需求，完成测试环境的软硬件配置和部署，提供符合测试需求可使用的测试环境，完成脚本开发及监控部署任务。即在系统正常运行(无扰动注入)状态下，编写测试脚本分别对各测试场景进行模拟，并部署性能参数数据采集工具。
步骤3.2，执行测试内容并记录测试结果。正常情况(无扰动注入)下分别在被测系统上运行测试场景Ben1-Benn，测试时间为T*，T*为用户所要求的系统恢复时间。在测试过程中，测试人员通过提前部署的性能监控工具对各项性能参数进行监控，每间隔Δt时间记录性能参数测量值，记Beni场景下性能参数Pj在第k次测量的性能参数值为Pi,j,k,0。其中，Δt为评价的时间粒度，时间粒度应选取合适，过大会导致计算结果误差过大，过小会减少计算误差，但是会增大性能监测需求，在实际应用中带来不便。k＝1,2,…,N，N为测量总次数。实际操作中，建议测量次数N不小于10，N＝T*/Δt。
步骤3.3，计算系统性能基线。由于系统性能参数不能实时获取且数值具有波动性，实际操作中，Ai,j,0可用数值积分中的梯形公式计算近似得出。针对望大型性能参数(性能参数值越大越好，larger-the-better，LTB)、望小型性能参数(性能参数值越小越好，smaller-the-better，STB)和望目型性能参数(性能参数值越靠近目标值越好，nominal-the-best，NTB)，Ai,j,0的计算式如下：
式中，Pi,j,0(t)为在场景Beni下性能参数Pj在正常运行情况下在t时刻对应的性能值，Gi,j(t)为在测试场景Beni下望目型性能参数Pj在t时刻对应的目标值，Gi,j,k为在测试场景Beni下望目型性能参数Pj在第k次测量对应的目标值，t0为测试开始时刻，T*为用户所要求的系统恢复时间，Pi,j,0,0为t0时刻的系统性能参数值。
步骤四：确定扰动注入方法。
根据给定扰动，选择适用的扰动注入技术。扰动注入技术一般可分为三类：物理硬件实现的扰动注入，仿真实现的扰动注入，软件模拟实现的扰动注入。硬件扰动注入是通过物理手段直接将扰动注入到目标系统的硬件中。模拟扰动注入是通过利用某种标准硬件描述语言如VHDL，为测试系统建立硬件仿真模型，然后在模型内部插入扰动注入单元来实现扰动的注入。软件扰动注入根据一定的扰动模型，通过修改目标系统内存单元或处理器内部的寄存器值来模拟硬件扰动的发生。
步骤五：扰动注入与性能监控。
按照步骤四给出的扰动注入方法，在各测试场景Ben1-Benn下，将扰动注入到正在正常运行的被测系统中，并对系统性能参数进行监控，记录在T*时间内各性能参数的变化情况。在测试过程中，测试人员通过提前部署的性能监控工具对各项性能参数进行监控，每Δt时间记录扰动注入后性能参数的测量值，记扰动注入后在Beni场景下性能参数Pj在第k次测量的性能参数值为Pi,j,k，其中Δt为步骤三中的评价的时间粒度。
步骤六：弹性计算，具体包括如下步骤。
步骤6.1，计算被测系统在扰动注入后的性能参数积分值。被测系统在扰动注入后，其系统性能将会出现降级。扰动注入后，记场景Beni下性能参数Pj对应的系统性能在T*时间内的积分为Ai,j。针对望大型性能参数、望小型性能参数和望目型参数，Ai,j的计算可分为三种情况。Ai,j的计算式如下：
其中，t0为测试开始时刻，Pi,j(t)为在场景Beni下性能参数Pj在扰动注入情况下在t时刻对应的性能参数值。
步骤6.2，计算各关键性能指标的弹性。在得到系统性能基线值Ai,j,0和扰动注入后系统性能值Ai,j后，进而可实现各关键性能指标的弹性计算。记场景Beni下性能参数Pj对应的系统弹性值为 的计算式如下：
实施例：
本发明实施例通过基于现有的通用网络仿真平台OPNET来实现，以图2所示的用OPNET搭建的某企业内部网模型为例，具体阐述本发明方法。具体地说，该企业内部网模型是由路由器连接的两个星型拓扑的网络组成，其中一个星型拓扑网络的节点个数为30，另一个星型拓扑网络的节点个数为15，并用10BaseT链路模型连接各节点。
步骤一：定义测试场景。
本实施例设定的测试场景如下：业务类型为Database Access(heavy)、业务运行模式为Serial(Ordered)、业务的时间起点服从均匀分布U～(100,110)、业务的时间起点偏置服从均匀分布U～(5,10)、业务持续时间为End of Simulation和业务重复次为Once atstart time等。
步骤二：确定系统关键性能参数。
网络时延是一个全局统计量，反映了整个网络的延时性能，是用户能直接感受到和最关心的指标之一，可以作为一个系统关键性能参数。
步骤三：定义系统性能基线。
步骤3.1，测试环境准备。设置网络节点参数和服务器提供的业务，并完成步骤一所述的测试场景设置。选择步骤二所述的网络时延为仿真统计量，即选定了进行仿真时要保存的系统关键性能指标。
步骤3.2，执行测试内容并记录测试结果。设定仿真参数，设置运行过程中每隔18秒记录一次网络时延的数值，模拟网络运行30分钟的情况，运行结束后可得到相应性能参数测量值P1,1,k。
步骤3.3，计算系统性能基线。网络时延是望小型参数，应用公式(1)计算该系统关键性能指标(即网络时延)对应的性能基线。利用步骤3.2所获取到的数据，网络时延对应的系统性能基线的值计算如下：
式中，A1,1,0为性能参数——网络时延所对应的系统性能基线值，Δt为评价的时间粒度，取18秒，用户所要求的系统恢复时间T*取28分钟。因为仿真时网络初始化过程大约需要2分钟，所以应舍弃网络初始化过程中所产生的部分数据，本实施例计算中使用的是网络模型运行稳定后的93个数据。
步骤四：确定扰动注入方法。
本实施例设定的扰动事件为由于某种原因导致全网流量突增。网络仿真平台OPNET提供了对网络链路背景流量的建模，网络链路背景流量可以对网络中一些未知的但是会发生的链路流量进行模拟。全网流量突增即可以通过对网络链路背景流量建模的方法实现，该扰动注入方法属于软件模拟实现的扰动注入方法。
步骤五：扰动注入与性能监控。
通过对网络中全部链路的链路属性中设置背景负载即可实现全网流量突增。其中，两个方向的背景流量中平均包的大小Average Packet Size均设置为默认为576字节，Traffic Intensity的设置均如图3所示，待网络初始化完成后即在仿真开始2分钟时刻，该扰动被注入系统。扰动发生后，系统迅速监测到异常状况，及时采取了有效恢复措施，并使网络流量得以恢复正常。通过在网络仿真平台OPNET设置相应的仿真统计量(全局统计量网络时延)，并设置在扰动注入后28分钟内每隔18秒记录一次网络时延的测量值P1,1,k，使用步骤3.2的方法将P1,1,k的值保存到本地文件。
步骤六：弹性计算。
步骤6.1，计算系统在扰动注入后的性能参数积分值。应用公式(2)计算该系统性能值，利用步骤五所保存在本地文件的数据，在步骤一所设置的测试场景下性能参数网络时延在扰动注入后的性能在T*时间内的积分A1,1计算如下：
步骤6.2，计算关键性能指标网络时延的弹性。在得到系统性能基线Ai,j,0和扰动注入后系统性能积分Ai,j的值后，进而可计算关键性能指标网络时延对应的弹性。记步骤一所设置的测试场景下性能参数网络时延对应的系统弹性值为应用公式(3)计算如下：
如图4所示，为注入扰动前后网络性能的仿真结果，通过用本发明方法计算，得到网络时延对应的系统弹性值为0.781022。

Claims (3)

1.一种给定扰动下的通信网络弹性测评方法，其特征在于，实现步骤如下：
步骤一：定义测试场景；设定义了n个测试场景，记为Ben1，Ben2，…，Benn，n为正整数；
步骤二：确定系统关键性能参数；设确定了m个性能参数P1,P2,…Pm，m为正整数；
步骤三：将在给定测试场景下系统正常情况下测得的性能参数在T*时间内的积分作为性能基线；T*为总测试时间，是用户所要求的系统恢复时间；
设总测试时间为T*，T*为用户所要求的系统恢复时间；在每隔时间△t记录性能参数测量值，记在测试场景Beni下性能参数Pj在第k次测量的性能参数测量值为Pi,j,k,0，k＝1,2,…,N，N为总测量次数，N＝T*/△t；根据性能参数测量值计算系统性能基线Ai,j,0如下：
其中，t0为测试开始时刻，Pi,j,0(t)为在场景Beni下性能参数Pj在正常运行情况下在t时刻对应的性能参数值，Pi,j,0,0为t0时刻的性能参数值，Gi,j(t)为在测试场景Beni下望目型性能参数Pj在t时刻对应的目标值，Gi,j,k为在测试场景Beni下望目型性能参数Pj在第k次测量对应的目标值；望大型参数指性能参数值越大越好，即望大型性能参数；望小型参数指性能参数值越小越好，即望小型性能参数；望目型参数指性能参数值越靠近目标值越好，即望目型性能参数；
步骤四：确定扰动注入方法；
步骤五：扰动注入与性能监控；按照扰动注入方法，在各测试场景下将扰动注入到正在正常运行的被测系统中，对系统性能参数进行监控，在T*时间内，每隔时间△t记录性能参数测量值，记扰动注入后在测试场景Beni下性能参数Pj在第k次测量的性能参数测量值为Pi,j,k；
步骤六：弹性计算；
首先，计算扰动注入后，测试场景Beni下性能参数Pj对应的系统性能参数积分值Ai,j，设测试开始时刻为t0；
(1)Pj为望大型性能参数时，
(2)Pj为望小型性能参数时，
(3)Pj为望目型性能参数时，
其中，Pi,j(t)为在测试场景Beni下性能参数Pj在扰动注入情况下在t时刻对应的性能参数值；
然后，获得测试场景Beni下性能参数Pj对应的系统弹性值
2.根据权利要求1所述的一种给定扰动下的通信网络弹性测评方法，其特征在于，所述的步骤二中，对于通信网络，确定的系统关键性能参数包括时延、丢包率和误码率。
3.根据权利要求1所述的一种给定扰动下的通信网络弹性测评方法，其特征在于，步骤三中所述的测量次数N不小于10。
CN201610903431.8A 2016-10-17 2016-10-17 一种给定扰动下的通信网络弹性测评方法 Active CN106533824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610903431.8A CN106533824B (zh) 2016-10-17 2016-10-17 一种给定扰动下的通信网络弹性测评方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610903431.8A CN106533824B (zh) 2016-10-17 2016-10-17 一种给定扰动下的通信网络弹性测评方法

Publications (2)

Publication Number Publication Date
CN106533824A CN106533824A (zh) 2017-03-22
CN106533824B true CN106533824B (zh) 2019-05-24

Family

ID=58332291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610903431.8A Active CN106533824B (zh) 2016-10-17 2016-10-17 一种给定扰动下的通信网络弹性测评方法

Country Status (1)

Country Link
CN (1) CN106533824B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797909B (zh) * 2017-11-07 2020-08-25 北京航空航天大学 一种系统弹性极限指标测量方法
CN108268025B (zh) * 2018-01-03 2020-01-03 北京航空航天大学 随机扰动下网络化控制系统弹性测评方法
CN108959072B (zh) * 2018-06-14 2020-08-25 北京航空航天大学 一种基于复杂网络的集群系统弹性测评方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105978805A (zh) * 2016-07-12 2016-09-28 重庆邮电大学 一种面向任播属性业务的节能路由方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105978805A (zh) * 2016-07-12 2016-09-28 重庆邮电大学 一种面向任播属性业务的节能路由方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Comprehensive Analysis Method for System Resilience Considering Plasticity;Yanbo Zhang等;《IEEE ICIMSA》;20160707;全文
A Decision Support Framework to Assess Supply Chain Resilience;Mauro Falasca;《A DS Framework to Assess SC Resilience》;20080531;全文
Optimizing complex networks for resilience against cascading failure;J. Ash;《ELSEVIER》;20070306;全文
Reliability Testing Technology for Computer Network Applications;Ruiying LI, Ning HUANG;《IEEE 2009 8th International Conference on Reliability,Maintainability and Safety》;20090724;全文
Selecting an Optimal Fault Tolerance Strategy for Reliable Service-Oriented Systems with Local and Global Constraints;Zibin Zheng;《IEEE TRANSACTIONS ON COMPUTERS》;20130917;全文

Also Published As

Publication number Publication date
CN106533824A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
Cai et al. Resilience evaluation methodology of engineering systems with dynamic-Bayesian-network-based degradation and maintenance
Heath et al. Improving cluster availability using workstation validation
Xing et al. BDD-based reliability evaluation of phased-mission systems with internal/external common-cause failures
CN102436376B (zh) 用于分布式应用确认的模型检查
O’Connor et al. A general cause based methodology for analysis of common cause and dependent failures in system risk and reliability assessments
CN105426680B (zh) 基于特征配置的故障树生成方法
US8270410B2 (en) Sampling techniques
CN106533824B (zh) 一种给定扰动下的通信网络弹性测评方法
CN100465918C (zh) 基于事务处理的性能模型的自动化确认和校准系统和方法
US7685468B2 (en) Method and system for test case generation
Ghosh et al. System resiliency quantification using non-state-space and state-space analytic models
Woodard et al. Survivability evaluation and importance analysis for cyber–physical smart grids
Mustafa et al. RT-METER: A real-time, multi-layer cyber-power testbed for resiliency analysis
Yoon et al. DBSeer: Pain-free database administration through workload intelligence
CN107846307B (zh) 一种用于对信息物理系统故障传播的控制方法
Munson et al. Software reliability as a function of user execution patterns
Levitin et al. State probability of a series-parallel repairable system with two-types of failure states
CN102982231A (zh) 软件可信度的定量计算方法
Min et al. Verification of failover effects from distributed control system communication networks in digitalized nuclear power plants
Momtaz et al. Monitoring signal temporal logic in distributed cyber-physical systems
Gao et al. An enhanced deep extreme learning machine for integrated modular avionics health state estimation
Cohen et al. Data systems fault coping for real-time big data analytics required architectural crucibles
Björkman et al. Verification of safety logic designs by model checking
Agusta et al. Effort Estimation Development Model for Web-based Mobile Application Using Fuzzy Logic
Tang et al. MEASURE+ a measurement-based dependability analysis package

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant