CN111985119B - 基于HarmonySE和CBAM的架构权衡分析方法 - Google Patents
基于HarmonySE和CBAM的架构权衡分析方法 Download PDFInfo
- Publication number
- CN111985119B CN111985119B CN202010940239.2A CN202010940239A CN111985119B CN 111985119 B CN111985119 B CN 111985119B CN 202010940239 A CN202010940239 A CN 202010940239A CN 111985119 B CN111985119 B CN 111985119B
- Authority
- CN
- China
- Prior art keywords
- utility
- alternative
- value
- fitting
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 57
- 238000011156 evaluation Methods 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 88
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 36
- 230000000694 effects Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 6
- 238000009960 carding Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 13
- 230000009021 linear effect Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000012938 design process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102100023413 GRB2-related adapter protein Human genes 0.000 description 1
- 101000829735 Homo sapiens GRB2-related adapter protein Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于HarmonySE和CBAM的架构权衡分析方法，包括：依据系统需求确定一定量满足系统需求的备选方案；梳理出若干个评估准则和所有评估准则的权重；针对各个评估准则拟定效用曲线，结合CBAM的思想，专家讨论拟定一定量不同场景对应的效用值，形成一组坐标点；采用数据拟合的方式，将离散的坐标点连续化，形成效用曲线；将备选方案规格化数值代入相应的效用曲线，得到每个备选方案在各评估准则对应的效用值；结合权重计算结果计算加权每个备选方案的效用值，对各备选方案进行综合评价，选出最优方案作为解决方案。本发明操作简单，所需数据量较少，拟合出的效用曲线可信度较高，具有积极的理论意义与应用价值。
Description
技术领域
本发明涉及系统工程的权衡分析技术领域，具体而言涉及一种基于HarmonySE和CBAM的架构权衡分析方法。
背景技术
随着我国航空工业的快速发展，航空产品的研制方式由逆向仿制向自主创新转变，对国防军工以及民用飞机系统的新型需求日益增多。系统的规模和复杂程度也越来越高，尤其是跨学科、交叉学科系统的出现，使得传统的基于文本的系统工程难以满足现阶段复杂系统的研发要求。
在这种背景下，基于模型的系统工程(Model-Based Systems Engineering，MBSE)技术应运而生。MBSE运用可视化和图形化的建模语言来描述复杂系统，使得系统的设计过程变得更加容易。国际系统工程学会(INCOSE)在《系统工程愿景2025》中指出：系统工程的未来趋势是“基于模型的”(Model-Based)。目前国际系统工程界也处在对MBSE标准的研究把握，以及结合工程研究和应用探索的过程中。其中，IBM公司提出的HarmonySE方法是现阶段被广泛应用的一种MBSE建模方法。HarmonySE流程主要包括：需求分析、系统功能分析、架构权衡分析和架构设计四部分。架构权衡分析的目的是从满足需求的备选方案选出最优方案，作为后续设计的依据。如何在系统日益复杂的情况下选出最优方案成为了权衡分析人员面临的难题。
权衡分析由系统工程中“系统决策”的概念发展而来的，要求综合考虑利益相关方的需求，在备选方案中选择出最优方案。权衡分析要求贯穿设计的始终，在设计过程中，权衡分析的目的是选出最优子系统架构/部件，保证设计过程中的最优；设计完成后，也需要权衡分析，选择出最优架构，保证决策的最优。
HarmonySE流程的架构权衡分析的步骤为：定义评估准则、向评估准则分配权重、为各评估准则拟定效用曲线、向备选方案分配MOE和确定解决方案。重点环节是评估准则权重的确定和效用曲线的拟定。权重用来反映评估准则对评估对象影响程度的大小，体现了对利益相关方的需求权衡；效用曲线作为确定各解决方案各评估准则效用值的依据，其准确性直接影响权衡分析的好坏。
关于权重计算方法的研究，已有的研究成果很多。胡林平基于层次分析法(AHP)和灰度关联分析法(GRAP)，针对综合航空电子系统提出了一种安全性评估方法；李珩利用熵值法，结合二手车评估的相关理论方法，针对二手车成新率进行了相关研究；朱宁宁基于因子分析法针对四十家上市的电力企业提取了四类能反映公司经营绩效的公共因子，并对上述公司进行了综合排序。
关于效用曲线的在权衡分析领域应用中的研究，已经取得了一定的成果。国内外已经有一些效用曲线法应用的实例，赵净净将效用曲线法应用于民机航空电子系统的研发中，并给出了相关的案例，证明了效用曲线法在权衡分析领域发展的潜力；王国栋基于前人的经验，将指数型效用曲线应用到移动云计算卸载切换决策问题上，验证了效用理论在网络资源优化中的作用；Bruce Powel Douglass将效用曲线法用于跑步机的架构设计中，并给出了相关的应用实例。
然而，以上案例中效用曲线都是基于已有的案例或前人研究成果直接给出，并不涉及拟定过程。现阶段对效用曲线拟定的研究大多只停留在理论层面，关于实际工程中效用曲线应该如何拟定方法，研究成果却很少。霍夫曼在《基于模型的系统工程最佳实践》一书中，提出了HarmonySE方法中线性效用曲线拟定的通用流程。然而，这种方法具有很大地局限性。首先，HarmonySE方法中拟定效用曲线的思想来源于冯.纽曼的古典效用理论。古典效用理论在拟定效用曲线时，是参考备选方案的。其思路是：令单个评估准则表现最好的备选方案的规格化数值对应的效用值为10，表现最差的备选方案对应的规格化数值0，连接以上两点，构建线性效用曲线。在此基础上得到其他备选方案的效用值。这种思路本质上只关注于各个备选方案在各评价上的排序，效用值仅代表排序，没有实际意义，权衡分析的结果完全依赖于权重。当备选方案过少时或备选方案性能相近时，这种方法便失去了意义。其次，对于安全性、灵敏度等这类实际工程中常见的非线性评价指标，它们并不适合建立线性的效用曲线。针对这类评价准则，HarmonySE方法并没有给出一种通用方法。总之，若想将HarmonySE方法运用于权衡分析，需要进行优化。
在实际工程中，尤其是新项目开展时，往往会遇到可参考资料较少甚至没有可参考的资料等情况。而效用曲线的拟定需要结合项目实际，具体问题具体分析。这就造成了，效用曲线(函数)的表达式形式是往往也是未知的。因此，需要一种操作简单，在数据量较少和效用曲线(函数)形式未知的条件下，构建高置信度效用曲线的方法。
CBAM(成本-效用分析法)基于特殊场景构建效用值的方法，为上述问题的解决提供了一种很好的借鉴思路。CBAM本身是一种针对软件系统产生的经济收益进行评估的方法。CBAM使用场景来表达具体的质量属性，通过改变响应值对某一质量属性生成一组场景，某一场景对应一个效用值，形成一组离散的坐标点，然后进行连续化，进而形成效用曲线。CBAM的本质是通过结合相关领域专家的参考意见，针对几组特殊场景构建其效用值，构建一条连续效用曲线。
已知离散点，构建连续曲线的方法有拟合、插值和逼近。三种方法各有优劣，需要结合实际情况进行抉择。拟合作为一种整体意义的逼近，对局部性质没有要求，在数据量较少时更具备优势，更能体现决策者的整体决策意愿。因此，选择拟合的方法将坐标点连续化，形成连续的效用曲线。数据拟合的方法比较多，实际工程中常见的拟合形式有Fourier、Gaussian、插值拟合、多项式拟合、Power等。张文玉基于采用幂函数拟合的手段对实际工程数据进行分析，对水电站中水轮机蜗壳压差法测量流量问题进行了探索；王华昕和陆裕华利用Gaussian、Weibull和Fourier拟合，探索了新型驱鸟器在野外探究性实验的应用；贾佳将多项式拟合用于西咸空港物流的数据处理中，并依据数据处理结果制定了发展战略；张娟娟利用幂函数拟合进行了实验数据处理，并探索了蓝牙4.0在亚米级室内定位技术的应用。
曲线拟合的类型有很多，然而选择哪种类型的拟合需要结合实际数据的情况及拟合效果的好坏，进行综合的判断，则难以确定，这使得目前仍未有一种有效方法，可以在备选方案较少和评估准则非线性时，对架构权衡进行有效分析。
发明内容
本发明针对现有技术中的不足，提供一种基于HarmonySE和CBAM的架构权衡分析方法，在传统的HarmonySE流程的基础上，考虑备选方案较少和评估准则非线性时的情况，对HarmonySE流程中效用曲线拟定环节进行改进。针对实际工程项目中存在的可参考案例和数据少等问题，基于CBAM的思想，结合专家意见构建几组特殊场景及其对应的效用值。根据数据情况，结合拟合效果，将离散的坐标点拟合成一条连续的效用曲线，形成了一种新的架构权衡分析方法。
为实现上述目的，本发明采用以下技术方案：
一种基于HarmonySE和CBAM的架构权衡分析方法，所述架构权衡分析方法包括以下步骤：
S1，开展需求分析，将利益相关者需求转化为系统需求，依据系统需求确定一定量满足系统需求的备选方案，其中，不存在一个备选方案，在所有性能指标上均优于其他备选方案；
S2，根据系统需求梳理出若干个评估准则，采用层次分析法确定所有评估准则的权重；
S3，针对各个评估准则拟定效用曲线，结合CBAM的思想，专家讨论拟定一定量不同场景对应的效用值，形成一组坐标点；采用数据拟合的方式，将离散的坐标点连续化，形成效用曲线，拟合得到的效用曲线满足预设的可靠性和置信度要求；所述效用曲线的横坐标为各评估准则规格化的数值，纵坐标为各评估准则的效用值MOE；
S4，将备选方案规格化数值代入相应的效用曲线，得到每个备选方案在各评估准则对应的效用值；
S5，结合权重计算结果计算加权每个备选方案的效用值，对各备选方案进行综合评价，选出最优方案作为解决方案。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S1中，所述开展需求分析，将利益相关者需求转化为系统需求的过程包括以下步骤：
S11，对需求进行分析，将需求划分成强制性需求和非强制性需求；
S12，分别对强制性需求和非强制性需求做处理，将利益相关者的需求转化为系统需求，所述系统需求包括功能性需求、QoS需求和非功能需求。
进一步地，步骤S2中，所述根据系统需求梳理出若干个评估准则，采用层次分析法确定所有评估准则的权重的过程包括以下步骤：
S21，评审专家对各评估准则的重要性等级两两之间进行重要程度的比较，利用数字及其倒数表示各评估准则间的相对重要性，形成如下式所示的判断矩阵A：
其中，wi并不表示具体数值，表示第i个评估准则和第j个评估准则相比的重要程度，且
S22，根据判断矩阵A，求解各评估准则权重；
S23，用一致性指标C.I和一致性比例C.R对判断矩阵A进行一致性检验。
进一步地，步骤S22中，所述根据判断矩阵A，求解各评估准则权重的过程包括以下步骤：
S221，将判断矩阵A的每一列标准化，得到矩阵其中
S222，将的各行元素相加，得到权重向量
S223，对进行归一化处理，得到相关元素的权重
S224，计算判断矩阵的最大特征值其中(AW)i为向量AW中的第i个元素。
进一步地，步骤S23中，所述用一致性指标C.I和一致性比例C.R对判断矩阵A进行一致性检验的过程包括以下步骤：
S231，按照如下公式计算一致性指标C.I：
其中，n是判断矩阵A的阶数，λmax是A的最大特征根；
S232，按照如下公式计算一致性比例C.R：
其中，R.I为判断矩阵平均随机一致性指标，为一常数；
S233，当一致性比例C.R小于预设一致性比例阈值时，表明判断矩阵的一致性可接受；否则，调整判断矩阵A，返回步骤S221，直至一致性检验通过。
进一步地，步骤S3中，所述针对各个评估准则拟定效用曲线，结合CBAM的思想，专家讨论拟定一定量不同场景对应的效用值，形成一组坐标点；采用数据拟合的方式，将离散的坐标点连续化，形成效用曲线，拟合得到的效用曲线满足预设的可靠性和置信度要求的过程包括以下步骤：
S31，选定任意一个评估准则；
S32，结合CBAM方法中构建场景的思想，利用场景来表达架构具体的质量属性，场景包括刺激、环境和响应；
S33，通过改变响应值对某一质量属性生成一系列的场景，一个场景对应一个效用，通过构建不同的场景产生不同的效用值，拟合得到效用曲线。
S34，检验拟合得到的效用曲线拟合效果是否满足可靠性和置信度要求，如果满足，将该效用曲线作为步骤S31中选定的评估准则的效用曲线，转入步骤S31，直至拟合得到所有评估准则的效用曲线，否则，调整参数，返回步骤S33。
进一步地，步骤S34中，所述检验拟合得到的效用曲线拟合效果是否满足可靠性和置信度要求的过程包括以下步骤：
S341，获取拟合曲线的以下四个参数：
SSE：SSE衡量响应的拟合值的偏差，越接近0的值表示拟合的程度越好；
R-square：R-square通过数据的变化来表征拟合的好坏，数值的大小在0到1之间，越接近1，表明自变量x对因变量y的解释能力越强，这个模型对数据拟合的也就越好；
AdjustedR-square：利用AdjustedR-square抵消样本数量对R-Square的影响，其值越接近1越好；
RMSE：RMSE是预测数据和原始数据对应点误差的平方和的均值，越接近0的值表示匹配越好；
S342，根据拟合结果，结合上述四类参数对拟合得到的效用曲线进行综合评价。
进一步地，步骤S4中，所述将备选方案规格化数值代入相应的效用曲线，得到每个备选方案在各评估准则对应的效用值的过程包括以下步骤：
将备选方案规格化数值代入相应的效用曲线中，得到每个备选方案在各评估准则对应的MOE值uij，其中，i代表第i个备选方案，j表示第j个评价则，uij代表第i个备选方案在第j个评价准则的效用值。
进一步地，步骤S5中，所述结合权重计算结果计算加权每个备选方案的效用值，对各备选方案进行综合评价，选出最优方案作为解决方案的过程包括以下步骤：
S51，在得到每个解决方案各个评估准则对应的MOE值后，结合权重计算结果，按照下式的计算结果对各备选架构进行综合排序：
其中，Ui为第i个备选方案的加权MOE值，wj为第j个评估准则的权重，uij为第i个方案第j个评估准则的效用值，i＝1,2,...m，m为备选方案总数；
S52，将各备选方案中加权MOE值最高的方案作为最优方案。
本发明的有益效果是：
1、本发明紧随系统工程发展趋势，以现阶段被广泛应用的HarmonySE开发流程的架构权衡分析部分为主体，结合实际工程项目，探索了架构权衡分析方法在复杂系统设计中的应用，具有积极的工程实践和探索意义。
2、针对HarmonySE在解决方案较少和评价指标非线性时拟定线性效用曲线的缺陷，进行改进。结合实际工程中经常出现的可参考资料少的情况，基于CBAM思想，结合专家意见构建几组特殊场景的效用值，再采用拟合的方法将离散的坐标点连续化，最终完成效用曲线的拟定。
3、本发明涉及的方法，操作简单且易于实现。曲线拟合时具有所需数据少、形式灵活、效果直观和置信度高等优点，具有较高的应用价值。
附图说明
图1是本发明的基于HarmonySE和CBAM的架构权衡分析方法流程图。
图2是具体实施例二的其中两种备选方案。
图3是具体实施例二的拟合得到的幂函数型的效用曲线。
图4是具体实施例二的拟合得到的连续性评价指标的效用曲线。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
具体实施例一
结合图1，本发明提及一种基于HarmonySE和CBAM的架构权衡分析方法，所述架构权衡分析方法包括以下步骤：
S1，开展需求分析，将利益相关者需求转化为系统需求，依据系统需求确定一定量满足系统需求的备选方案，其中，不存在一个备选方案，在所有性能指标上均优于其他备选方案。
S2，根据系统需求梳理出若干个评估准则，采用层次分析法确定所有评估准则的权重。
S3，针对各个评估准则拟定效用曲线，结合CBAM的思想，专家讨论拟定一定量不同场景对应的效用值，形成一组坐标点；采用数据拟合的方式，将离散的坐标点连续化，形成效用曲线，拟合得到的效用曲线满足预设的可靠性和置信度要求；所述效用曲线的横坐标为各评估准则规格化的数值，纵坐标为各评估准则的效用值MOE。
S4，将备选方案规格化数值代入相应的效用曲线，得到每个备选方案在各评估准则对应的效用值。
S5，结合权重计算结果计算加权每个备选方案的效用值，对各备选方案进行综合评价，选出最优方案作为解决方案。
为优化上述技术方案，采取的具体措施包括：
所述步骤一的具体过程为：
需求是对必要或期望的系统架构特性、特征、个性化或者使用方法的描述。最终设计出的系统需要满足利益相关者的一整套需求。而权衡分析的本质就是在各方需求存在冲突时，综合考虑各方需求，做出取舍。因此，权衡分析之前需要进行利益相关者的需求分析，明确各方需求。需求包括强制性需求和非强制性需求两类。强制性需求，顾名思义，是系统架构必须满足的需求。不满足强制性需求的系统架构不作为备选方案参与权衡分析。
利益相关者的需求是对利益相关者需求的描述，而权衡分析的对象是系统架构。因此，需要将利益相关者的需求转化为系统需求。系统需求则是对可观察到的系统特性的精确的、可测试的表述。系统需求主要关注如下两类需求：功能性需求和QoS需求。功能性需求规定系统做什么：系统的行为、用户和其他系统如何交互，系统提供什么能力等；QoS需求则规定了行为达成得达到什么样的标准：例如行为的性能、可靠性和安全性等。除此之外，还有其他的非功能需求，如成本、系统效能、可维护性等等。
备选方案是指满足系统需求的可行方案的集合。在制定备选方案时，应从系统需求出发，设计多组满足系统需求的方案。各备选方案各有长处，没有哪一个在各项性能指标上都优于其他方案。因此存在权衡分析的必要。
所述步骤二的具体过程为：
架构权衡分析的为了从一组满足的系统需求的备选方案集中，找出最佳的解决方案。因此，需要从几个重要层面对各备选方案进行综合评价，这些评价层面被称为评估准则。一般情况下，评估标准是基于客户约束、所需的性能和成本的。
权重用来反映评估准则对评估对象影响程度的大小。权重计算结果直接影响权衡分析。
采用层次分析法作为权重计算的方法，具体计算过程如下：
(a)评审专家按照下表对各评估准则的重要性等级两两之间进行重要程度的比较，如表1中，涉及了其中一种利用数字1～9及其倒数表示各准则间的相对重要性。
表1数字与各准则间的相对重要性的关系表
最终，形成如下式所示的判断矩阵A：
其中，wi并不表示具体数值，表示第i个评估准则和第j个评估准则相比的重要程度，且
(1)确定好判断矩阵A后，按照如下步骤求解各评估准则权重。
(2)将判断矩阵A的每一列标准化，得到矩阵其中
(3)将的各行元素相加，得到权重向量
(4)对进行归一化处理，得到相关元素的权重
(5)计算判断矩阵的最大特征值其中(AW)i为向量AW中的第i个元素。
(b)一致性检验
用一致性指标C.I和一致性比例C.R对判断矩阵进行一致性检验，其中C.I按照如下公式计算：
其中，n是判断矩阵A的阶数，λmax是A的最大特征根。
一致性比例C.R按照如下公式计算：
其中R.I为判断矩阵平均随机一致性指标，为一常数。n＝1～6时，平均一致性指标R.I如下表2所示。
表2平均一致性指标R.I的取值范围
| n | 1 | 2 | 3 | 4 | 5 | 6 |
| R.I | 0 | 0 | 0.52 | 0.89 | 1.12 | 1.24 |
当一致性比例C.R<0.1时，表明判断矩阵的一致性可接受；否则，需要调整判断矩阵，直至一致性检验通过。
按照如上步骤，即可完成分配权重至各评估准则。
所述步骤三的具体过程为：
效用值是决策者对各评估准则满意程度的具体量化。效用曲线是各评估准则不同规格化数值对应效用值的集合，反应了评估准则变化对决策者倾向的影响程度。针对不同的评估准则，需要定义不同的效用曲线。效用曲线的横坐标为各评估准则规格化的数值，纵坐标为各评估准则的效用值MOE，其范围一般为0～10。
结合CBAM方法中构建场景的思想，利用场景来表达架构具体的质量属性，场景包括刺激、环境和响应等，但是它不使用单一的场景，而是通过改变响应值对某一质量属性生成一系列的场景，一个场景对应一个效用，通过构建不同的场景产生不同的效用值，进而形成效用曲线。
CBAM效用曲线的构造思想是通过几个特殊的点(场景)构造效用曲线：
(1)最坏情况的质量属性级别，效用为0。
(2)最好情况的质量属性级别，效用为10。
(3)所期望达到的质量属性级别，效用为9。
(4)达到可以接受的质量属性级别，效用为5。
基于以上四点，即可拟合出一条连续的效用曲线(95％置信程度下)。构建的场景越多，拟合出的效用曲线置信度越高，对权衡分析也更为有利。
所述步骤四的具体过程为：
在拟合出效用曲线之后，需要检验效用曲线拟合的好坏程度。可以从以下四个方面判断拟合的效果好坏的依据。
SSE：SSE衡量响应的拟合值的偏差，越接近0的值表示拟合的程度越好。
R-square：R-square通过数据的变化来表征拟合的好坏，数值的大小在0到1之间，越接近1，表明自变量x对因变量y的解释能力越强，这个模型对数据拟合的也就越好。
AdjustedR-square：利用AdjustedR-square抵消样本数量对R-Square的影响。其值越接近1越好。
RMSE：RMSE是预测数据和原始数据对应点误差的平方和的均值，越接近0的值表示匹配越好。
在评价拟合曲线时，根据拟合结果，结合上述四类参数的作用进行综合评价。
在得到拟合的效用曲线之后，将备选方案规格化数值代入相应的效用曲线中，即可得到每个备选方案在各评估准则对应的MOE值uij。
其中，i代表第i个备选方案，j表示第j个评价准则，uij代表第i个备选方案在第j个评价准则的效用值。
所述步骤五的具体过程为：
在得到各个解决方案各个评估准则对应的MOE值后，结合权重计算结果，按照下式的计算结果对各备选架构进行综合排序。
其中，Ui为第i个备选方案的加权MOE值，wj为第j个评估准则的权重，uij为第i个方案第j个评估准则的效用值。
加权MOE值越高，说明该架构在权衡各方需求后的综合性能越好。各备选方案中加权MOE值最高的方案，即为最优方案。
具体实施例二
本发明以某机型导航系统设计过程中的一次权衡分析过程为例，说明该方法的应用流程。首先开展需求分析，并依据需求分析结果设计了两种解决方案并确定了四类评估准则；其次基于需求分析结果梳理出四类评价标准并通过层次分析法计算了四类评估准则的权重；然后针对各个评估准则拟定效用曲线，结合CBAM的思想，专家讨论拟定几组特殊场景对应的效用值，并采用幂函数型拟合，将离散坐标点拟合成效用曲线，并结合四类参数的作用对拟合效果进行了检验，证明了拟合出的效用曲线具备较高的可信度，可作为评估的依据。得到效用曲线后，将各备选方案的各评估准则的标准化数值代入效用曲线，完成分配MOE至各备选方案；最后结合权重计算结果，计算各备选方案的加权MOE，加权MOE高的解决方案为最优方案。
下面结合附图对本发明的技术方案做进一步的详细说明：
一、需求分析及备选方案的制定
为了保证空中交通安全并高效运行，在全球范围内，民用导航系统正向通信、导航、监视/空中交通管理(CNS/ATM)空域体系发展。导航系统是CNS/ATM的核心系统，它引导着飞机沿指定的航线安全、准时地从一点飞向另外一点。因此，导航系统在任何时间和各种飞行环境下具有如下功能：
(1)给出高精度的定位信息。
(2)获取必要的导航要素(时间、纬度、经度、高度)。
(3)引导飞机按预定计划飞行。
(4)所需导航性能RNP和实际性能ANP估计。
此外，为满足民机的安全飞行及经济性，要求导航系统可靠稳定、配置经济、维护少、方便、快捷。
除了上述的功能性要求，根据国际民航组织(ICAO)最新颁布的要求，对导航系统的性能要求体现在导航精度、完好性、可靠性等方面。以航路/终端区飞行阶段为例，其具体的导航性能要求如下：
导航精度(95％)：海洋及边远陆地导航精度满足4nmile(海里)，其他陆地巡航阶段满足1～2nmile，起飞、下降及终端区域满足0.3～1.0nmile，进近阶段满足0.1～0.3nmile。
完好性：导航精度超出上述规定值两倍而不能被检测的概率要少于10-5/h(飞行小时)。
连续性：飞行过程中导航精度规定值两倍，即出现丧失规定导航能力的概率应小于10-4/h(飞行小时)。
以上三点均为强制性需求，无论哪种备选方案都必须满足。
从功能上看，导航系统应由惯性系统、大气数据系统、无线电导航系统、气象雷达、着陆引导系统、雷达高度表和显示指引系统组成。同时，为了满足完好性和连续性的要求，大多数民机上都配备了两套甚至更多的导航分系统。
除了考虑上述ICAO规定的性能要求，在导航系统设计过程中还需要考虑商业因素，希望设计出的架构具有较低的成本。因此，需要考虑经济性需求。
冗余设计保证了系统的完好性和连续性要求。然而，冗余度越高，意味着成本越高，两者是相互矛盾的。同时，导航精度越高，意味着机载导航传感器及计算机的精确度更高，这也造成了成本的增加。可以发现，各方需求之间存在着一定的冲突，故存在权衡分析的必要。
基于需求分析的结果，制定了两种备选方案如图2a和图2b所示，针对这两种方案开展权衡分析。
二、评估准则的确定和权重计算
基于步骤S1的需求梳理，拟从精度、完好性、连续性、成本四个方面对两种解决方案开展权衡分析。
针对以上四个评估准则，邀请评审专家按照表3给出的数字进行两两评估准则之间重要程度的比较，构造一个4×4的判断矩阵。
表3
在权衡分析中，某位专家给出如下所示的判断矩阵：
在得到判断矩阵A后，按照如下步骤可得到各评估准则对应的权重。
1)将判断矩阵A的每一列标准化，得到矩阵其中
2)将的各行元素相加，得到权重向量
3)对进行归一化处理，得到相关元素的权重
4)计算判断矩阵的最大特征值其中(AW)i为向量AW中的第i个元素。
得到权重向量如下：
W＝[w1 w2 w3 w4]＝[0.095 0.467 0.277 0.161]
接下来进行一致性检验，用一致性指标C.I和一致性比例C.R对判断矩阵进行一致性检验，其中C.I按照如下公式计算：
其中，n是判断矩阵A的阶数，λmax是A的最大特征根。
一致性比例C.R按照如下公式计算：
其中R.I为判断矩阵平均随机一致性指标，为一常数。n＝1～6时，平均一致性指标如表4所示。n＝4时，R.I＝0.89。
表4
| n | 1 | 2 | 3 | 4 | 5 | 6 |
| R.I | 0 | 0 | 0.52 | 0.89 | 1.12 | 1.24 |
代入相关数据，计算可得。
一致性检验通过，权重计算结果有效。
三、效用曲线的拟定
对四种评估准则，需要各自拟定其效用曲线。其中，针对精度和成本两种准则采用中立态度构建线性效用曲线，完好性和连续性两种非线性准则基于CBAM思想，结合专家意见，构建幂函数型效用曲线。
首先，以精度评估准则为例，说明拟定中立态度拟定线性效用曲线的流程。
1)由ICAO的规范要求可知，进近阶段对精度要求最高。只要在进近阶段满足精度要求，其余航段类型均可满足要求。因此选择两种备选方案在进近航段的精度表现开展权衡分析。
2)ICAO规定进近阶段需满足0.1～0.3nmile的精度要求，选择ICAO所允许的进近阶段的最大误差0.3nmile为阈值，其效用值为0。
3)实际工程中期望导航系统的精度尽可能高，最好可以达到0nmile。所以，令0nmile的效用值为10。
4)连接(0nmile,10)和(0.3nmile，0)两点，构建中立型线性的效用曲线
成本效用曲线可以按照相似的思路进行拟定，只是期望和阈值的选择需要结合实际工程的情况。这里不再赘述过程，直接给出结果：
u4＝-0.0125(x-800)。
针对非线性评价指标，如完好性和连续性指标，构建HarmonySE流程中的线性效用便不再合适。例如，采用如上思路针对完好性评估准则构建线性效用曲线时，令ICAO规定的10-5/h为阈值，专家讨论后选择10-9/h作为期望，构建线性的效用曲线则代入10-8/h和10-7/h，效用值分别为9.99和9.90，完好性等级提升了一个数量级，效用值却只增加了0.1，并且10-7/h时效用值便达到了9.9。意味着完好性的提升对权衡分析的影响不大。这显然是不合理的。
因此，需要进行改进，结合CBAM方法中构建场景的思想，利用场景来表达架构具体的质量属性，场景包括刺激、环境和响应等，但是它不使用单一的场景，而是通过改变响应值对某一质量属性生成一系列的场景，一个场景对应一个效用，通过构建不同的场景产生不同的效用值，进而形成效用曲线。
CBAM效用曲线的构造思想是通过几个特殊的点(场景)构造效用曲线：
(1)最坏情况的质量属性级别，效用为0。
(2)最好情况的质量属性级别，效用为10。
(3)所期望达到的质量属性级别，效用为9。
(4)达到可以接受的质量属性级别，效用为5。
以完好性效用曲线为例，说明效用曲线拟定过程。
结合相关专家的意见，构建了几个特殊的场景下的完好性数值及其对应的效用值。如表5所示。
表5
| 场景 | 完好性数值 | 效用值 |
| 最好情况 | 10-9/h | 10 |
| 最差情况 | 10-5/h | 0 |
| 达到预期 | 10-8/h | 9 |
| 可以接受 | 10-6/h | 5 |
基于以上四点，即可采用拟合出一条幂函数型的效用曲线(95％置信程度下)如附图3所示。构建的场景越多，拟合出的效用曲线置信度越高，对权衡分析也更为有利。
拟合的完好性效用曲线(95％置信条件下)的表达式为如下：
u2＝-223.7x0.2627+10.89。
依据同样的思路，拟定连续性评价指标的效用曲线。结果如附图4所示。拟合的连续性效用曲线(95％置信条件下)的表达式为：
u3＝-35.15x0.0764+17.36。
四、拟合效果检验
拟合好效用曲线后，一个最直接的问题就是如何检验拟合效果的好坏。只有经过检验，证明可信度较高的效用曲线才能作为参考，应用去权衡分析中。
幂函数型效用曲线与原坐标点的匹配程度通过计算以下四个参数检验。各个参数的含义如下所示。
SSE：SSE衡量响应的拟合值的偏差，越接近0的值表示拟合的程度越好；
R-square：R-square通过数据的变化来表征拟合的好坏，数值的大小在0到1之间，越接近1，表明自变量x对因变量y的解释能力越强，这个模型对数据拟合的也就越好；
AdjustedR-square：利用AdjustedR-square抵消样本数量对R-Square的影响。其值越接近1越好；
RMSE：RMSE是预测数据和原始数据对应点误差的平方和的均值，越接近0的值表示匹配越好；
其中，完好性效用曲线上述四类参数结果如表6所示。连续性效用曲线的参数结果如表7所示。
表6
表7
结合上述四类参数的性质可知，拟合出的完好性和连续性效用曲线具有较高的置信度，很好地反映决策者的决策意向，可作为权衡分析的依据。
五、分配MOE至各备选方案
将两种备选方案的相应参数代入相应的效用曲线中，即可完成MOE到备选方案的分配。结果如表8所示。
表8
六、综合评价
在得到备选方案各个评估准则对应的MOE值后，结合权重计算结果，按照下式的计算结果对各备选架构进行综合排序。
其中，Ui为第i个备选方案的加权MOE值，wj为第j个评估准则的权重，uij为第i个方案在第j个评估准则的效用值。
在计算好各评估准则的效用值后，依据上式，四个评估准则的效用值与相应的权重因子相乘后相加，得到每个解决方案的评估分数。评估分数最高的可选方案就是最佳的可选方案。
备选方案1的加权MOE如下式所示。
解决方案2的加权效用如下式所示。
U1＜U2，说明在该专家看来，备选方案2的综合性能要优于备选方案1的综合性能，为此次权衡分析得出的最优架构。
在本实例中，仅采用了一位专家拟定的权重对上述流程进行说明。在实际工程中确定权重时往往需要结合多位专家的参考意见，进行加权平均。
另外，由于权重计算和效用曲线拟定的过程较依赖专家的意见，具有一定的主观性。因此，后续过程需要进行灵敏度分析，反映效用曲线和权重变化对最优方案的影响。决策者也应根据研究结果修改评价标准，消除评价指标的微小变化对最优方案的影响。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (5)
1.一种基于HarmonySE和CBAM的架构权衡分析方法，其特征在于，所述架构权衡分析方法包括以下步骤：
S1，开展需求分析，将利益相关者需求转化为系统需求，依据系统需求确定一定量满足系统需求的备选方案，其中，不存在一个备选方案，在所有性能指标上均优于其他备选方案；
S2，根据系统需求梳理出若干个评估准则，采用层次分析法确定所有评估准则的权重；
S3，针对各个评估准则拟定效用曲线，结合CBAM的思想，专家讨论拟定一定量不同场景对应的效用值，形成一组坐标点；采用数据拟合的方式，将离散的坐标点连续化，形成效用曲线，拟合得到的效用曲线满足预设的可靠性和置信度要求；所述效用曲线的横坐标为各评估准则规格化的数值，纵坐标为各评估准则的效用值MOE；
S4，将备选方案规格化数值代入相应的效用曲线，得到每个备选方案在各评估准则对应的效用值；
S5，结合权重计算结果计算加权每个备选方案的效用值，对各备选方案进行综合评价，选出最优方案作为解决方案；
步骤S2中，所述根据系统需求梳理出若干个评估准则，采用层次分析法确定所有评估准则的权重的过程包括以下步骤：
S21，评审专家按照下表对各评估准则的重要性等级两两之间进行重要程度的比较，利用数字及其倒数表示各评估准则间的相对重要性，形成如下式所示的判断矩阵A：
其中，wi并不表示具体数值，表示第i个评估准则和第j个评估准则相比的重要程度，且
S22，根据判断矩阵A，求解各评估准则权重；
S23，用一致性指标C.I和一致性比例C.R对判断矩阵A进行一致性检验；
步骤S22中，所述根据判断矩阵A，求解各评估准则权重的过程包括以下步骤：
S221，将判断矩阵A的每一列标准化，得到矩阵其中
S222，将的各行元素相加，得到权重向量
S223，对进行归一化处理，得到相关元素的权重
S224，计算判断矩阵的最大特征值其中(AW)i为向量AW中的第i个元素；
步骤S23中，所述用一致性指标C.I和一致性比例C.R对判断矩阵A进行一致性检验的过程包括以下步骤：
S231，按照如下公式计算一致性指标C.I：
其中，n是判断矩阵A的阶数，λmax是A的最大特征根；
S232，按照如下公式计算一致性比例C.R：
其中，R.I为判断矩阵平均随机一致性指标，为一常数；
S233，当一致性比例C.R小于预设一致性比例阈值时，表明判断矩阵的一致性可接受；否则，调整判断矩阵A，返回步骤S231，直至一致性检验通过；
步骤S5中，所述结合权重计算结果计算加权每个备选方案的效用值，对各备选方案进行综合评价，选出最优方案作为解决方案的过程包括以下步骤：
S51，在得到各个解决方案各个评估准则对应的MOE值后，结合权重计算结果，按照下式的计算结果对各备选架构进行综合排序：
其中，Ui为第i个备选方案的加权MOE值，wj为第j个评估准则的权重，uij为第i个方案第j个评估准则的效用值，i＝1,2,...m，m为备选方案总数；
S52，将各备选方案中加权MOE值最高的方案作为最优方案。
2.根据权利要求1所述的基于HarmonySE和CBAM的架构权衡分析方法，其特征在于，步骤S1中，所述开展需求分析，将利益相关者需求转化为系统需求的过程包括以下步骤：
S11，对需求进行分析，将需求划分成强制性需求和非强制性需求；
S12，分别对强制性需求和非强制性需求做处理，将利益相关者的需求转化为系统需求，所述系统需求包括功能性需求、QoS需求和非功能需求。
3.根据权利要求1所述的基于HarmonySE和CBAM的架构权衡分析方法，其特征在于，步骤S3中，所述针对各个评估准则拟定效用曲线，结合CBAM的思想，专家讨论拟定一定量不同场景对应的效用值，形成一组坐标点；采用数据拟合的方式，将离散的坐标点连续化，形成效用曲线，拟合得到的效用曲线满足预设的可靠性和置信度要求的过程包括以下步骤：
S31，选定任意一个评估准则；
S32，结合CBAM方法中构建场景的思想，利用场景来表达架构具体的质量属性，场景包括刺激、环境和响应；
S33，通过改变响应值对某一质量属性生成一系列的场景，一个场景对应一个效用，通过构建不同的场景产生不同的效用值，拟合得到效用曲线，
S34，检验拟合得到的效用曲线拟合效果是否满足可靠性和置信度要求，如果满足，将该效用曲线作为步骤S31中选定的评估准则的效用曲线，转入步骤S31，直至拟合得到所有评估准则的效用曲线，否则，调整参数，返回步骤S33。
4.根据权利要求3所述的基于HarmonySE和CBAM的架构权衡分析方法，其特征在于，步骤S34中，所述检验拟合得到的效用曲线拟合效果是否满足可靠性和置信度要求的过程包括以下步骤：
S341，获取拟合曲线的以下四个参数：
SSE：SSE衡量响应的拟合值的偏差，越接近0的值表示拟合的程度越好；
R-square：R-square通过数据的变化来表征拟合的好坏，数值的大小在0到1之间，越接近1，表明自变量x对因变量y的解释能力越强，这个模型对数据拟合的也就越好；
Adjusted R-square：利用Adjusted R-square抵消样本数量对R-Square的影响，其值越接近1越好；
RMSE：RMSE是预测数据和原始数据对应点误差的平方和的均值，越接近0的值表示匹配越好；
S342，根据拟合结果，结合上述四类参数对拟合得到的效用曲线进行综合评价。
5.根据权利要求1所述的基于HarmonySE和CBAM的架构权衡分析方法，其特征在于，步骤S4中，所述将备选方案规格化数值代入相应的效用曲线，得到每个备选方案在各评估准则对应的效用值的过程包括以下步骤：
将备选方案规格化数值代入相应的效用曲线中，得到每个备选方案在各评估准则对应的MOE值uij，其中，i代表第i个备选方案，j表示第j个评价则，uij代表第i个备选方案在第j个评价准则的效用值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010940239.2A CN111985119B (zh) | 2020-09-09 | 2020-09-09 | 基于HarmonySE和CBAM的架构权衡分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010940239.2A CN111985119B (zh) | 2020-09-09 | 2020-09-09 | 基于HarmonySE和CBAM的架构权衡分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111985119A CN111985119A (zh) | 2020-11-24 |
| CN111985119B true CN111985119B (zh) | 2024-04-19 |
Family
ID=73450387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010940239.2A Active CN111985119B (zh) | 2020-09-09 | 2020-09-09 | 基于HarmonySE和CBAM的架构权衡分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985119B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508250B (zh) * | 2020-11-27 | 2023-06-23 | 中国人民解放军空军工程大学 | 指挥信息系统生成方案增量分析方法、系统、介质及终端 |
| CN113393671B (zh) * | 2021-06-24 | 2022-11-15 | 公安部道路交通安全研究中心 | 一种道路交通组织方案优化方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243255A (zh) * | 2015-08-11 | 2016-01-13 | 北华航天工业学院 | 一种软基处理方案的评价方法 |
| CN111340306A (zh) * | 2020-03-12 | 2020-06-26 | 郑州航空工业管理学院 | 一种面向智能制造的机床设备优化方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6772019B2 (en) * | 2000-11-16 | 2004-08-03 | Lockheed Martin Corporation | Method and system for multi-parameter choice optimization |
-
2020
- 2020-09-09 CN CN202010940239.2A patent/CN111985119B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243255A (zh) * | 2015-08-11 | 2016-01-13 | 北华航天工业学院 | 一种软基处理方案的评价方法 |
| CN111340306A (zh) * | 2020-03-12 | 2020-06-26 | 郑州航空工业管理学院 | 一种面向智能制造的机床设备优化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111985119A (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hamurcu et al. | Selection of Unmanned Aerial Vehicles by Using Multicriteria Decision‐Making for Defence | |
| CN106997509B (zh) | 一种不确定信息融合的应急物资分布需求预测方法 | |
| Ardil | Aircraft selection process using preference analysis for reference ideal solution (PARIS) | |
| CN108280553A (zh) | 基于gis-神经网络集成的山洪灾害风险区划及预测方法 | |
| CN103150643B (zh) | 基于加权主成分分析的航空枢纽服务水平综合评价方法 | |
| CN111985119B (zh) | 基于HarmonySE和CBAM的架构权衡分析方法 | |
| CN113625697B (zh) | 考虑任务能力变化的无人机集群可靠性评估方法和系统 | |
| CN113284369B (zh) | 一种基于ads-b实测航路数据的预测方法 | |
| CN101950019B (zh) | 基于属性数据的二次雷达多层级目标识别方法 | |
| CN110378744A (zh) | 面向不完备数据系统的民航常旅客价值分类方法及系统 | |
| CN108805471A (zh) | 基于复合系统作用关系分析的水资源承载能力评价方法 | |
| CN112734258A (zh) | 航空电子系统效能评估表征系统 | |
| CN114067308A (zh) | 智能匹配方法、装置、电子设备及存储介质 | |
| CN114819344B (zh) | 一种基于关键影响因子的全局时空气象农灾预测方法 | |
| CN111027837B (zh) | 预新增国际航线的参考航线确定方法、系统、设备及介质 | |
| CN112215416A (zh) | 智能规划巡检航线系统及方法 | |
| Nwaogbe et al. | Efficiency driver in Nigerian airports: A bootstrap DEA–censored quantile regression approach | |
| CN112148821B (zh) | 一种城市混合职住空间计算方法和系统 | |
| Chen et al. | Macro-level accident fatality prediction using a combined model based on ARIMA and multivariable linear regression | |
| CN114398769B (zh) | 一种无人直升机飞行控制系统评分自动获取方法 | |
| CN115345257A (zh) | 飞行轨迹分类模型训练方法、分类方法、装置及存储介质 | |
| Sun | Multiple criteria decision analysis techniques in aircraft design and evaluation processes | |
| CN112488438A (zh) | 一种结合信用信息的工业企业综合效益评价方法及系统 | |
| Khattak et al. | TabNet-SHAP: A Framework to Estimate Wind Shear-Induced Aviation Turbulence in the Airport Runway Vicinity | |
| Tirone et al. | A Machine Learning Approach to Improve the Usability of Severe Thunderstorm Wind Reports |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |