CN109918103A - 一种基于全过程监控的采集终端远程升级系统及其工作方法 - Google Patents

Abstract

本发明公开了一种基于全过程监控的采集终端远程升级系统及其工作方法，涉及电力运维领域。传统的采集终端远程升级，采用粗放型管理模式，导致升级后出现故障情况。本发明包括升级操作模块、第一升级管理模块、第二升级管理模块；所述的升级操作模块包括用于软件版本申请的软件版本申请单元、用于试点升级的试点升级单元、用于小范围终端升级的小范围终端升级单元、用于大范围终端升级申请的大范围终端升级申请单元、用于终端升级执行的终端升级执行单元。本技术方案实现升级流程的全过程监控的闭环管理，对升级文件进行严格审查、重复试验，对升级权限进行集中式管控，有效地减少升级导致的采集异常，提升升级质量。

Description

一种基于全过程监控的采集终端远程升级系统及其工作方法

技术领域

本发明涉及电力运维领域，尤其涉及一种基于全过程监控的采集终端远程升级系统及其工作方法。

背景技术

传统的采集终端远程升级没有建立完善的管理流程，操作员选择升级文件后，允许直接执行升级。在这种粗放型管理模式下，国网浙江省电力公司无法对全省的升级过程进行有效的管控，另一方面，由厂家直接提供的升级文件无法保证100％的可靠性，因操作失误或升级文件问题导致终端升级后出现掉线、抄表失败以及其他故障的情况偶有发生，对电网运行的安全稳定性产生了一定的影响。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于全过程监控的采集终端远程升级系统及其工作方法，以达到升级的有效管控目的。为此，本发明采取以下技术方案。

一种基于全过程监控的采集终端远程升级系统，包括面向升级操作员的升级操作模块、面向一级管理人员的第一升级管理模块、面向二级管理人员的第二升级管理模块；

所述的升级操作模块包括用于软件版本申请的软件版本申请单元、用于试点升级的试点升级单元、用于小范围终端升级的小范围终端升级单元、用于大范围终端升级申请的大范围终端升级申请单元、用于终端升级执行的终端升级执行单元；

所述的第一升级管理模块包括用于软件版本审核的软件版本审核单元、用于软件版本测试版创建的软件版本创建单元、用于继续测试判断的继续测试判断单元、用于提升测试级别和扩大测试范围的提升测试级别和扩大测试范围单元、用于创建软件版本正式版的创建软件版本正式版单元；

所述的第二升级管理模块包括用于终端升级审核的终端升级审核单元和用于升级监控的升级监控单元；

升级操作员通过软件版本申请单元递交软件版本申请，软件版本审核单元获取软件版本申请单元的软件版本申请情况，并进行软件版本审核；当软件版本审核通过时，通过软件版本创建单元进行软件测试版的创建；之后通过试点升级单元执行试点升级，继续测试判断单元判断是否继测试，当需要继续测试时，通过提升测试级别和扩大测试范围单元进行测试版本级别和测试范围的调整，之后再经试点升级单元进行试点升级，直至无需继续测试，再由创建软件版本正式版单元创建软件版本正式版；创建的软件版本正式版通过小范围终端升级单元进行小范围终端升级；当需要进行大范围终端升级时，则通过大范围终端升级申请单元向终端升级审核单元发起大范围终端升级申请，当终端升级审核单元审核通过时，通过终端升级执行单元进行大范围终端升级执行，终端升级的情况由升级监控单元进行升级监控。

本发明的另一个目的是提供一种基于全过程监控的采集终端远程升级方法，其包括以下步骤：

一)软件版本申请

当出现新的终端升级的需求且当前软件版本库中的升级文件无法满足时，由终端厂商提供升级信息，由软件版本申请单元录入系统，向第一升级管理模块申请新的软件版本，升级信息包括文件适用终端类型、规约类型、支持的软件版本号和硬件版本号、解决的问题；

二)软件试验与版本库管理

第一升级管理模块参考主站实际情况，搭建模拟网关、前置业务处理器、前置业务升级程序、采集主站与数据库，根据历史数据中的终端、用户和表计档案、测量点信息、上报数据均值等创建仿真数据；

在收到软件版本的申请后，第一升级管理模块根据版本基本信息，版本基本信息包括支持软、硬件版本，选择合适的设备进行试验升级；

若测试不通过第一升级管理模块则驳回申请，若测试通过，需要进行软件版本的编号，同时标记为测试版并纳入软件版本库；

根据测试级别升级效果，第一升级管理模块可以提升或降低测试级别，在确定升级文件的可靠性后，可由测试版切换到正式版，开展大范围的远程终端升级；

三)终端升级与归集升级

升级操作员通过升级操作模块选择对应的终端和升级文件，进行终端升级；若选择升级文件属于测试版，需要验证单位权限和可升级数量；基于正式版升级文件的远程升级可分为小批量和大批量，小批量升级可以直接升级，大批量升级需要经过第二升级管理模块审批才允许进行；

在主站方面，由前置机服务创建定时任务，选择正式版的软件版本，将其支持的软件版本号与召测回来的进行并对，分析出需要升级的终端，将待升级列表清单推送给用户；

或根据用户输入的单位、终端厂家、规约类型、终端用途、待升级版本号、目标版本号信息，可自动筛选出符合条件的终端，由用户确认后执行升级；

四)升级评测与监控

当测试版的终端完成升级后，主站需要对其进行评测和监控工作，主站对升级情况进行打分，评测得分作为软件版本提升或降低测试级别的依据，当达到设定分值后才能进行正式版申请；

3、根据权利要求2所述的一种基于全过程监控的采集终端远程升级方法，其特征在于：在步骤二)中，试验包含如下步骤：

1)对主站下行的报文进行截取、解析，验证其是否满足规约要求，若不满足，测试不通过；

2)截取终端回复的上行报文是否为00，若不是则更换终端再次测试，若选择5个终端回复依旧不满足条件，则认为测试不通过；

3)根据文件大小计算总帧数(总帧数＝文件大小/下发帧大小)，在下发升级文件的最后一帧时，对终端的上行报文进行人为干涉：A、上行报文全部为F，观察是否会重新下发最后一帧；B、上行报文为乱码，观察是否会重新下发；C、上行报文表示升级缺失第(总帧数/2+1)帧，观察是否对应的帧会被重下；D、上行报文显示升级结束，观察升级下发是否停止；A、B、C情况若无法进行重新下发，则认为测试不通过；D情况若下发未停止(基本上会从第一帧又重新开始，非常浪费流量)，则认为测试不通过；

4)升级结束后，1376.1规约终端召测09F001数据项，698规约终端召测45000500数据项，截取返回内容第2个#和第3个#中内容，观察其与升级文件中的版本号是否一致，若不一致，则认为测试不通过；

5)升级结束后，给终端下发电量或负荷采集任务，观察是否有电量或负荷数据上送，若没有上送则作标记，在后续升级过程中加强观察；

6)根据软件版本实际解决的问题，进行针对性测试，检测是否已经解决问题，若否则认为测试不通过。

作为优选技术手段：在步骤三)中，每隔2日凌晨4点对全省I型和II集中器进行软件版本召测并进行保存，Oracle在凌晨6点执行计划任务。

作为优选技术手段：在步骤四)中，评测过程包括发下步骤：

步骤A：升级完成后三分钟内，主站根据规约进行数据项召测任务，如果召测失败则持续跟踪升级终端的心跳报文，若15分钟内无心跳，则认为终端死机，评测结果为F，若召测成功，截取召测内容中第2个#和第3个#中的内容，与升级文件中版本号比对，若比对失败，评测结果强制为0分；

步骤B：升级完成后15分钟内召测终端任务和全事件周期，若召测结果与升级前设置一致，则该步骤通过，若与设置不一致计1分，若召测无返回或返回无效则计2分；

步骤C：升级完成后15分钟内召测终端数据，终端数据为正向有功总电能量，若召测无返回或返回无效计2分；

步骤D：升级完成后15分钟内中继召测电表时钟，包含2条报文，若召测无返回或返回无效计2分，若返回其中1条报文且正确则计1分；

步骤E：升级完成后30分钟内进行加密机认证，若认证失败则计1分；

步骤F：升级完成后1日内跟踪其报文，分析是否出现重复数据上报或重复告警上报，若出现则计1分；

步骤G：升级完成后3日内跟踪其采集成功率，若3日平均采集成功率低于升级前3日采集成功率10％，则计1分，若低20％，则计2分，若平均采集成功率为0，则评测结果强制为0；

根据步骤A-G，终端评测得分S＝100-B*5-(C+D+E+F)*10-G*15，如果出现A和G的特殊情况，则S＝0或S＝F；

每次升级评测时，样本选择升级批次数量的15％，若升级数量小于20，则随机选择3台评测；如果出现3次单台终端S＝F，则认为该软件版本极有可能导致终端死机，系统自动禁用相应的软件版本并发出系统告警,人工排除终端死机属于误判或非升级导致，才允许重新启用；如果出现3次单台终端S＝0，则认为该软件版本无法正常升级或升级后对召测、下发、任务、全事件方面有较大的影响，系统自动将软件版本降级并发出通知。

有益效果：本技术方案实现升级流程的全过程监控的闭环管理，对升级文件进行严格审查、重复试验，对升级权限进行集中式管控，有效地减少升级导致的采集异常，提升升级质量。

本技术案将可访问远程升级系统的操作员划分为升级操作员角色、一级管理人员角色、二级管理人员角色，同时将升级流程按照功能进行细粒度拆分并与角色进行关联，在生产、管理等方面都取得了不错的成效：

1、一级管理人员参与到升级文件的管理、测试中，使软件版本的可靠性大幅提升，在提高升级质量、减少升级异常方面有着显著的成效。

2、建立升级文件版本库，维护各个软件版本的更新内容和支持情况，不仅有利于升级文件的溯源，同时能够增加升级文件的重用率，降低重复开发的成本，提高升级的效率。

3、引入自动化验证流程，跟踪升级终端三日内的通讯情况、采集成功率，一方面节省了人工跟踪的成本，另一方面进一步确保了升级文件的可靠性，对有问题的升级文件能够及时预警、实时干预，有效预防使用异常升级文件进行大规模升级的生产事故。

4、对升级进行全过程监控，统计分析每一次升级的总帧数、下发帧数、成功数、失败数、失败原因，将升级成功率通过单位和厂家的口径展示给升级管理人员，在督促终端厂家优化产品质量、协助省公司强化过程监督、丰富管理手段、加强集中管控方面，都收获了巨大的成效。

附图说明

图1是本发明的系统框图。

图2是本发明的流程图。

具体实施方式

以下结合说明书附图对本发明的技术方案做进一步的详细说明。

如图1所示，基于全过程监控的采集终端远程升级系统包括面向升级操作员的升级操作模块、面向一级管理人员的第一升级管理模块、面向二级管理人员的第二升级管理模块；

所述的升级操作模块包括用于软件版本申请的软件版本申请单元、用于试点升级的试点升级单元、用于小范围终端升级的小范围终端升级单元、用于大范围终端升级申请的大范围终端升级申请单元、用于终端升级执行的终端升级执行单元；

所述的第一升级管理模块包括用于软件版本审核的软件版本审核单元、用于软件版本测试版创建的软件版本创建单元、用于继续测试判断的继续测试判断单元、用于提升测试级别和扩大测试范围的提升测试级别和扩大测试范围单元、用于创建软件版本正式版的创建软件版本正式版单元；

所述的第二升级管理模块包括用于终端升级审核的终端升级审核单元和用于升级监控的升级监控单元；

升级操作员通过软件版本申请单元递交软件版本申请，软件版本审核单元获取软件版本申请单元的软件版本申请情况，并进行软件版本审核；当软件版本审核通过时，通过软件版本创建单元进行软件测试版的创建；之后通过试点升级单元执行试点升级，继续测试判断单元判断是否继测试，当需要继续测试时，通过提升测试级别和扩大测试范围单元进行测试版本级别和测试范围的调整，之后再经试点升级单元进行试点升级，直至无需继续测试，再由创建软件版本正式版单元创建软件版本正式版；创建的软件版本正式版通过小范围终端升级单元进行小范围终端升级；当需要进行大范围终端升级时，则通过大范围终端升级申请单元向终端升级审核单元发起大范围终端升级申请，当终端升级审核单元审核通过时，通过终端升级执行单元进行大范围终端升级执行，终端升级的情况由升级监控单元进行升级监控。

如图2所示，一种基于全过程监控的采集终端远程升级方法的步骤如下：

1、软件版本申请

当出现新的终端升级的需求且当前软件版本库中的升级文件无法满足时，由终端厂商提供升级文件和文件说明(包括文件适用终端类型、规约类型、支持的软件版本号和硬件版本号、解决的问题等等)，由采集升级人员录入系统，向计量中心申请新的软件版本。

2、软件试验与版本库管理

计量中心参考主站实际情况，搭建模拟网关、前置业务处理器、前置业务升级程序、采集主站与数据库，根据历史数据中的终端、用户和表计档案、测量点信息、上报数据均值等创建仿真数据。

在收到软件版本的申请后，计量中心根据版本基本信息(支持软、硬件版本等)，选择合适的设备进行试验升级，整个试验包含如下过程：

7)对主站下行的报文进行截取、解析，验证其是否满足规约要求，若不满足，测试不通过；

8)截取终端回复的上行报文是否为00，若不是则更换终端再次测试，若选择5个终端回复依旧不满足条件，则认为测试不通过；

9)根据文件大小计算总帧数(总帧数＝文件大小/下发帧大小)，在下发升级文件的最后一帧时，对终端的上行报文进行人为干涉：A、上行报文全部为F，观察是否会重新下发最后一帧；B、上行报文为乱码，观察是否会重新下发；C、上行报文表示升级缺失第(总帧数/2+1)帧，观察是否对应的帧会被重下；D、上行报文显示升级结束，观察升级下发是否停止。A、B、C情况若无法进行重新下发，则认为测试不通过；D情况若下发未停止(基本上会从第一帧又重新开始，非常浪费流量)，则认为测试不通过；

10)升级结束后，1376.1规约终端召测09F001数据项，698规约终端召测45000500数据项，截取返回内容第2个#和第3个#中内容，观察其与升级文件中的版本号是否一致，若不一致，则认为测试不通过；

11)升级结束后，给终端下发电量或负荷采集任务，观察是否有电量或负荷数据上送，若没有上送则作标记，在后续升级过程中加强观察。

12)根据软件版本实际解决的问题，进行针对性测试，检测是否已经解决问题，若否则认为测试不通过；

根据上述测试过程，若测试不通过计量中心则驳回申请，若测试通过，需要进行软件版本的编号，同时标记为测试版并纳入软件版本库。

软件版本库中包含升级文件的正式版和测试版，正式版的升级文件可直接用于远程终端升级，没有任何限制。测试版分为测试1级、测试2级等，每个测试级别仅支持限定供电公司一定数量的远程终端升级，例如1401版本测试1级文件支持萧山升级10台终端，测试2级支持杭州升级100台终端。根据测试级别升级效果(请参考后文“4、升级监控与评测”)，计量中心可以提升或降低测试级别，在确定升级文件的可靠性后，可由测试版切换到正式版，开展全省的远程终端升级。

3、终端升级与归集升级

升级操作员选择对应的终端和升级文件，进行终端升级。若选择升级文件属于测试版，需要验证单位权限和可升级数量。基于正式版升级文件的远程升级可分为小批量和大批量，小批量升级可以直接升级，大批量升级需要经过省供电公司升级管理员审批才允许进行。

在主站方面，由前置机服务创建定时任务，每隔2日凌晨4点对全省I型和II集中器进行软件版本召测并进行保存，Oracle在凌晨6点执行计划任务，选择正式版的软件版本，将其支持的软件版本号与召测回来的进行并对，分析出需要升级的终端，将待升级列表清单推送给用户。

另一方面，用户输入单位、终端厂家、规约类型、终端用途、待升级版本号、目标版本号后，系统也可自动筛选出符合条件的终端，用户确认后即可执行升级。

4、升级评测与监控

当测试版的终端完成升级后，主站需要对其进行评测和监控工作，评测过程如下：

(1)步骤A：升级完成后三分钟内，主站根据规约进行数据项召测任务(137.1规约对应09F001，698规约对应45000500)，如果召测失败则持续跟踪升级终端的心跳报文，若15分钟内无心跳，则认为终端死机，评测结果为F，若召测成功，截取召测内容中第2个#和第3个#中的内容，与升级文件中版本号比对，若比对失败，评测结果强制为0分。

(2)步骤B：升级完成后15分钟内召测终端任务和全事件周期，若召测结果与升级前设置一致，则该步骤通过，若与设置不一致计1分，若召测无返回或返回无效则计2分。

(3)步骤C：升级完成后15分钟内召测终端数据(正向有功总电能量)，若召测无返回或返回无效计2分。

(4)步骤D：升级完成后15分钟内中继召测电表时钟(包含2条报文)，若召测无返回或返回无效计2分，若返回其中1条报文且正确则计1分。

(5)步骤E：升级完成后30分钟内进行加密机认证，若认证失败则计1分。

(6)步骤F：升级完成后1日内跟踪其报文，分析是否出现重复数据上报或重复告警上报，若出现则计1分。

(7)步骤G：升级完成后3日内跟踪其采集成功率，若3日平均采集成功率低于升级前3日采集成功率10％，则计1分，若低20％，则计2分，若平均采集成功率为0，则评测结果强制为0。

(8)根据步骤A-G，终端评测得分S＝100-B*5-(C+D+E+F)*10-G*15，如果出现A和G的特殊情况，则S＝0或S＝F。

每次升级评测时，样本选择升级批次数量的15％，若升级数量小于20，则随机选择3台评测。如果出现3次单台终端S＝F，则认为该软件版本极有可能导致终端死机，系统自动禁用相应的软件版本并发出系统告警,人工排除终端死机属于误判或非升级导致，才允许重新启用；如果出现3次单台终端S＝0，则认为该软件版本无法正常升级或升级后对召测、下发、任务、全事件方面有较大的影响，系统自动将软件版本降级并发出通知。

批次评测得分为参与检测终端得分的平均值，升级版本评测得分为升级批次得分的平均值，评测得分作为软件版本提升或降低测试级别的依据，同时建议达到100分才能进行正式版申请(但不强制要求)。

以上图1、2所示的一种基于全过程监控的采集终端远程升级系统及其工作方法是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。

Claims (5)

1.一种基于全过程监控的采集终端远程升级系统，其特征在于：包括面向升级操作员的升级操作模块、面向一级管理人员的第一升级管理模块、面向二级管理人员的第二升级管理模块；

所述的升级操作模块包括用于软件版本申请的软件版本申请单元、用于试点升级的试点升级单元、用于小范围终端升级的小范围终端升级单元、用于大范围终端升级申请的大范围终端升级申请单元、用于终端升级执行的终端升级执行单元；

所述的第一升级管理模块包括用于软件版本审核的软件版本审核单元、用于软件版本测试版创建的软件版本创建单元、用于继续测试判断的继续测试判断单元、用于提升测试级别和扩大测试范围的提升测试级别和扩大测试范围单元、用于创建软件版本正式版的创建软件版本正式版单元；

所述的第二升级管理模块包括用于终端升级审核的终端升级审核单元和用于升级监控的升级监控单元；

升级操作员通过软件版本申请单元递交软件版本申请，软件版本审核单元获取软件版本申请单元的软件版本申请情况，并进行软件版本审核；当软件版本审核通过时，通过软件版本创建单元进行软件测试版的创建；之后通过试点升级单元执行试点升级，继续测试判断单元判断是否继测试，当需要继续测试时，通过提升测试级别和扩大测试范围单元进行测试版本级别和测试范围的调整，之后再经试点升级单元进行试点升级，直至无需继续测试，再由创建软件版本正式版单元创建软件版本正式版；创建的软件版本正式版通过小范围终端升级单元进行小范围终端升级；当需要进行大范围终端升级时，则通过大范围终端升级申请单元向终端升级审核单元发起大范围终端升级申请，当终端升级审核单元审核通过时，通过终端升级执行单元进行大范围终端升级执行，终端升级的情况由升级监控单元进行升级监控。

2.根据权利要求1所述的一种基于全过程监控的采集终端远程升级方法，其特征在于包括以下步骤：

一)软件版本申请

当出现新的终端升级的需求且当前软件版本库中的升级文件无法满足时，由终端厂商提供升级信息，由软件版本申请单元录入系统，向第一升级管理模块申请新的软件版本，升级信息包括文件适用终端类型、规约类型、支持的软件版本号和硬件版本号、解决的问题；

二)软件试验与版本库管理

第一升级管理模块参考主站实际情况，搭建模拟网关、前置业务处理器、前置业务升级程序、采集主站与数据库，根据历史数据中的终端、用户和表计档案、测量点信息、上报数据均值等创建仿真数据；

在收到软件版本的申请后，第一升级管理模块根据版本基本信息，版本基本信息包括支持软、硬件版本，选择合适的设备进行试验升级；

若测试不通过第一升级管理模块则驳回申请，若测试通过，需要进行软件版本的编号，同时标记为测试版并纳入软件版本库；

根据测试级别升级效果，第一升级管理模块可以提升或降低测试级别，在确定升级文件的可靠性后，可由测试版切换到正式版，开展大范围的远程终端升级；

三)终端升级与归集升级

升级操作员通过升级操作模块选择对应的终端和升级文件，进行终端升级；若选择升级文件属于测试版，需要验证单位权限和可升级数量；基于正式版升级文件的远程升级可分为小批量和大批量，小批量升级可以直接升级，大批量升级需要经过第二升级管理模块审批才允许进行；

在主站方面，由前置机服务创建定时任务，选择正式版的软件版本，将其支持的软件版本号与召测回来的进行并对，分析出需要升级的终端，将待升级列表清单推送给用户；

或根据用户输入的单位、终端厂家、规约类型、终端用途、待升级版本号、目标版本号信息，可自动筛选出符合条件的终端，由用户确认后执行升级；

四)升级评测与监控

当测试版的终端完成升级后，主站需要对其进行评测和监控工作，主站对升级情况进行打分，评测得分作为软件版本提升或降低测试级别的依据，当达到设定分值后才能进行正式版申请。

3.根据权利要求2所述的一种基于全过程监控的采集终端远程升级方法，其特征在于：在步骤二)中，试验包含如下步骤：

1)对主站下行的报文进行截取、解析，验证其是否满足规约要求，若不满足，测试不通过；

2)截取终端回复的上行报文是否为00，若不是则更换终端再次测试，若选择5个终端回复依旧不满足条件，则认为测试不通过；

3)根据文件大小计算总帧数，在下发升级文件的最后一帧时，对终端的上行报文进行人为干涉：A、上行报文全部为F，观察是否会重新下发最后一帧；B、上行报文为乱码，观察是否会重新下发；C、上行报文表示升级缺失帧，观察是否对应的帧会被重下；D、上行报文显示升级结束，观察升级下发是否停止；A、B、C情况若无法进行重新下发，则认为测试不通过；D情况若下发未停止，则认为测试不通过；

4)升级结束后，1376.1规约终端召测09F001数据项，698规约终端召测45000500数据项，截取返回内容第2个#和第3个#中内容，观察其与升级文件中的版本号是否一致，若不一致，则认为测试不通过；

5)升级结束后，给终端下发电量或负荷采集任务，观察是否有电量或负荷数据上送，若没有上送则作标记，在后续升级过程中加强观察；

6)根据软件版本实际解决的问题，进行针对性测试，检测是否已经解决问题，若否则认为测试不通过。

4.根据权利要求2所述的一种基于全过程监控的采集终端远程升级方法，其特征在于：在步骤三)中，每隔2日凌晨4点对全省I型和II集中器进行软件版本召测并进行保存，Oracle在凌晨6点执行计划任务。

5.根据权利要求2所述的一种基于全过程监控的采集终端远程升级方法，其特征在于：在步骤四)中，评测过程包括发下步骤：

步骤A：升级完成后三分钟内，主站根据规约进行数据项召测任务，如果召测失败则持续跟踪升级终端的心跳报文，若15分钟内无心跳，则认为终端死机，评测结果为F，若召测成功，截取召测内容中第2个#和第3个#中的内容，与升级文件中版本号比对，若比对失败，评测结果强制为0分；

步骤B：升级完成后15分钟内召测终端任务和全事件周期，若召测结果与升级前设置一致，则该步骤通过，若与设置不一致计1分，若召测无返回或返回无效则计2分；

步骤C：升级完成后15分钟内召测终端数据，终端数据为正向有功总电能量，若召测无返回或返回无效计2分；

步骤D：升级完成后15分钟内中继召测电表时钟，包含2条报文，若召测无返回或返回无效计2分，若返回其中1条报文且正确则计1分；

步骤E：升级完成后30分钟内进行加密机认证，若认证失败则计1分；

步骤F：升级完成后1日内跟踪其报文，分析是否出现重复数据上报或重复告警上报，若出现则计1分；

步骤G：升级完成后3日内跟踪其采集成功率，若3日平均采集成功率低于升级前3日采集成功率10％，则计1分，若低20％，则计2分，若平均采集成功率为0，则评测结果强制为0；

根据步骤A-G，终端评测得分S＝100-B*5-(C+D+E+F)*10-G*15，如果出现A和G的特殊情况，则S＝0或S＝F；

每次升级评测时，样本选择升级批次数量的15％，若升级数量小于20，则随机选择3台评测；如果出现3次单台终端S＝F，则认为该软件版本极有可能导致终端死机，系统自动禁用相应的软件版本并发出系统告警,人工排除终端死机属于误判或非升级导致，才允许重新启用；如果出现3次单台终端S＝0，则认为该软件版本无法正常升级或升级后对召测、下发、任务、全事件方面有较大的影响，系统自动将软件版本降级并发出通知。