CN112633646A - 一种信息系统的评估方法及装置 - Google Patents
一种信息系统的评估方法及装置 Download PDFInfo
- Publication number
- CN112633646A CN112633646A CN202011454014.2A CN202011454014A CN112633646A CN 112633646 A CN112633646 A CN 112633646A CN 202011454014 A CN202011454014 A CN 202011454014A CN 112633646 A CN112633646 A CN 112633646A
- Authority
- CN
- China
- Prior art keywords
- index
- weight
- rate
- weights
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 87
- 230000008569 process Effects 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims description 75
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000012423 maintenance Methods 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种信息系统的评估方法及装置，所述方法包括：预先确定指标体系，其中，所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标；基于层次分析法为所述指标体系中的各个指标分配权重；获取待评估信息系统中所述各个指标的指标数据；基于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。上述的方法中，采用层次分析法为各个指标分配权重，于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。采用客观的方式确定权重，不再基于技术人员的经验或者主观判断来确定权重，提高了评估的准确性。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种信息系统的评估方法及装置。
背景技术
由于目前国内经济快速发展、电力业务量的快速增长，很多电力企业中的信息化系统难以快速迭代开发适应大规模的业务创新和扩张，导致未实现的业务需求和安全功能越来越多，需要持续不断的更新改造才能满足系统稳定运行，维护成本较高，投入产出比较低。
目前对信息系统的管理评估主要是依靠技术人员的经验和主观判断来进行管理和测试，即使有科学合理的评价指标体系，在对评价体系中的各项指标赋予权重时也存在很大的主观性，由于权重的赋予存在主观性，导致评估的准确性低。
发明内容
有鉴于此，本发明提供了一种信息系统的评估方法及装置，用以解决目前对信息系统的管理评估主要是依靠技术人员的经验和主观判断来进行管理和测试，即使有科学合理的评价指标体系，在对评价体系中的各项指标赋予权重时也存在很大的主观性，由于权重的赋予存在主观性，导致评估的准确性低的问题。具体方案如下：
一种信息系统的评估方法，包括：
预先确定指标体系，其中，所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标；
基于层次分析法为所述指标体系中的各个指标分配权重；
获取待评估信息系统中所述各个指标的指标数据；
基于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。
上述的方法，可选的，基于层次分析法为所述指标体系中的各个指标分配权重包括：
采用层次分析法确定各个一级指标的第一权重；
基于各个第一权重采用层次分析法确定每一个一级指标中各个二级指标的第二权重；
基于各个第二权重采用层次分析法确定每一个二级指标中各个三级指标的第三权重。
上述的方法，可选的，还包括：
获取经验参数；
基于经验参数对所述各个第一权重、所述各个第二权重和所述各个第三权重进行调整，得到各个第一目标权重、各个第二目标权重和各个第三目标权重。
上述的方法，可选的，采用层次分析法确定各个一级指标的第一权重，包括：
获取基于所述各个一级指标和所述资源综合利用和服务指数建立判断矩阵；
基于所述判断矩阵确定所述各个一级指标的初始第一权重；
对所述判断矩阵进行一致性校验，校验通过的情况下，将所述初始第一权重作为所述第一权重。
上述的方法，可选的，所述一级指标包括：成本规模、应用水平和运行能力；
所述二级指标包括：投资费用、运维成本、用户评价、功能应用、数据质量、专业程度、人员权限、安全质量和运行效率；
所述三级指标包括：有效功能建设费用、单个功能建设费用、有效功能运维成本、单个功能运维成本、系统的易学、界面友好度、系统稳定性、运行响应程度、业务覆盖程度、功能重复度、功能路径深度占比、问题咨询率、未授权功能率、僵尸功能率、数据完整性、数据准确性、数据及时性、数据一致性、数据增长率、数据传输效率、专业程度。权限冲突数、僵尸用户率、账号实名制率、账号弱口令率、安全漏洞、信息系统非计划停运时间、信息系统检修时间、信息系统检修频次、网络流量异常、系统性能异常、账号安全异常、访问状态异常、功能安全异常、系统平均响应时长、CPU利用率、内存利用率、磁盘使用率、数据库吞吐量、数据库平均响应时长、接口应用度、接口稳定性、页面完全加载时间和首屏时间。
一种信息系统的评估装置，包括：
确定模块，用于预先确定指标体系，其中，所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标；
分配模块，用于基于层次分析法为所述指标体系中的各个指标分配权重；
获取模块，用于获取待评估信息系统中所述各个指标的指标数据；
计算模块，用于基于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。
上述的装置，可选的，所述分配模块包括：
第一确定单元，用于采用层次分析法确定各个一级指标的第一权重；
第二确定单元，用于基于各个第一权重采用层次分析法确定每一个一级指标中各个二级指标的第二权重；
第三确定单元，用于基于各个第二权重采用层次分析法确定每一个二级指标中各个三级指标的第三权重。
上述的装置，可选的，还包括：
获取单元，用于获取经验参数；
调整单元，用于基于经验参数对所述各个第一权重、所述各个第二权重和所述各个第三权重进行调整，得到各个第一目标权重、各个第二目标权重和各个第三目标权重。
上述的装置，可选的，所述第一确定单元包括：
获取子单元，用于获取基于所述各个一级指标和所述资源综合利用和服务指数建立判断矩阵；
确定子单元，用于基于所述判断矩阵确定所述各个一级指标的初始第一权重；
校验和确定子单元，用于对所述判断矩阵进行一致性校验，校验通过的情况下，将所述初始第一权重作为所述第一权重。
上述的装置，可选的，所述一级指标包括：成本规模、应用水平和运行能力；
所述二级指标包括：投资费用、运维成本、用户评价、功能应用、数据质量、专业程度、人员权限、安全质量和运行效率；
所述三级指标包括：有效功能建设费用、单个功能建设费用、有效功能运维成本、单个功能运维成本、系统的易学、界面友好度、系统稳定性、运行响应程度、业务覆盖程度、功能重复度、功能路径深度占比、问题咨询率、未授权功能率、僵尸功能率、数据完整性、数据准确性、数据及时性、数据一致性、数据增长率、数据传输效率、专业程度。权限冲突数、僵尸用户率、账号实名制率、账号弱口令率、安全漏洞、信息系统非计划停运时间、信息系统检修时间、信息系统检修频次、网络流量异常、系统性能异常、账号安全异常、访问状态异常、功能安全异常、系统平均响应时长、CPU利用率、内存利用率、磁盘使用率、数据库吞吐量、数据库平均响应时长、接口应用度、接口稳定性、页面完全加载时间和首屏时间。
与现有技术相比，本发明包括以下优点：
本发明公开了一种信息系统的评估方法及装置，所述方法包括：预先确定指标体系，其中，所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标；基于层次分析法为所述指标体系中的各个指标分配权重；获取待评估信息系统中所述各个指标的指标数据；基于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。上述的方法中，采用层次分析法为各个指标分配权重，于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。采用客观的方式确定权重，不再基于技术人员的经验或者主观判断来确定权重，提高了评估的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种信息系统的评估方法流程图；
图2为本申请实施例公开的一种信息系统的评估装置结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
本发明公开了一种信息系统的评估方法及装置，应用于对信息系统的评估过程中，本发明实施例中，对信息系统的具体存在形式不进行限定，本发明实施例中，以电力信息系统为例进行说明，现有技术中，由于目前国内经济快速发展、电力业务量的快速增长，很多电力企业中的信息化系统难以快速迭代开发适应大规模的业务创新和扩张，导致未实现的业务需求和安全功能越来越多，需要持续不断的更新改造才能满足系统稳定运行，维护成本较高，投入产出比较低。虽然在学术界和工业界已经具有了一部分关于信息系统实用化评价的指标以及相应的方法，并且也有些评价指标也具有一定的实用意义，在一些场景下投入了使用，能够在一定程度上反映特定信息化系统的部分实用性情况，但对于企业实际应用来说，还是存在一些缺陷和问题，无法达到令人满意的程度。因此，在实现本申请的过程中，申请人发现现有技术中至少存在以下不足：1、目前不同研究者和评价系统采纳的评价点比较分散且并没有提出指标的明确衡量标准，因此难以实际应用；2、很多指标系统中指标的选定和建设具有比较大的主观性，基本跟项目建设人员的自身理解密切相关；3、目前的实际应用中，对信息系统的管理评价现状是多数依靠技术人员的经验和主观判断来进行管理和测试，即使有科学合理的评价指标体系，在赋予各项指标权重时也存在很大的主观性；4、针对电力信息化系统的评价指标的评价选择和判断主要还集中在对特定的业务领域的信息化系统进行评价，还没有一套全面的、科学的、能够在电力系统通用的对信息化系统进行评价的指标体系。由此，当前对于电力信息化系统的评价方面还不能达到准确、可靠、实际可行并且易于推广的程度，基于上述的问题，本发明提提供了一种信息系统的评估方法，所述评估方法执行流程如图1所示，包括步骤：
S101、预先确定指标体系，其中，所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标；
本发明实施例，预先确定指标体系，其中，所述指标体系的确定可以基于经验、相关标准或者具体情况进行设定，本发明实施例中不进行具体限定，本发明实施例中所述指标体系的确定主要参考了《2017年国家电网公司信息通信运行过程评价体系》并基于具体情况和专家经验。所述专家经验包括：经验参数，主要原则和方法如下：以信息系统为导向、安全为核心，分别按照信息系统类别和非计划停运类型进行评价。
根据系统类别分别设定相应权重。一类信息系统是指对公司经营产生重大影响的系统，包括营销应用、服等，权重为1.0；二类信息系统是指服务于公司特定用户，对公司经营产生一定影响或服务于全体员工，直接影响公司业务运转、重要基础信息系统或受到政府一般监管的业务系统，包括内网门户、外网门户、统一权限、生产管理2.0、财务管控、电子商务平台、内网邮件、运营监测、电力交易2.0、协同办公、ERP，权重设为0.8；三类信息系统是指除一、二类信息系统以外的其他信息系统，权重设为0.5。
根据系统非计划停运类型设定不同权重。信息系统本身非计划停运(一、二类系统部分功能不可用和部分用户不可用在此范围内)，权重为1.0；I6000 接口非计划停运，权重为0.8；三类系统部分功能不可用和部分用户不可用，权重为0.5。
按月收集、汇总数据并公布关键指标值，按双月编制分析报告并公布评价结果；依据各单位双月评价得分划分为A至D共6个等级。分级方法是得分低于90分的单位定为D级，其余单位按照强制正态分布及五分位法分为A、 B+、B、C+、C共5个等级。
所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标，资源综合利用和服务指数从成本、应用、运行三个角度建立模型，共涉及44个评价指标，其中14个指标需要由19个基础数据计算得出。
所述资源综合利用和服务指数源自现有大型企业通行评分标准，主要来自国家电网的业务标准，例如：信息系统非计划停运时间，当信息系统非计划停运时长≤0.5小时，得分为100分；当信息系统非计划停运时长＞0.5小时，每增加0.5小时，扣1分，扣完为止。和源自已有的行业标准，例如：页面加载时间<3s的时间，用户是可容忍的。页面加载时间≤3s,得分100分；当页面加载时间＞3s,每增加1s,扣5分，扣完为止。
其中，所述一级指标包括：成本规模、应用水平和运行能力；
成本费用主要是从投资费用、运维成本2个二级指标，建立系统平均建设费用、平均运维费用等4个三级指标，考察系统投入产出情况；
应用水平主要是从用户侧、系统侧两个方向评价系统应用水平，涉及用户评价、功能应用、数据质量、专业程度、人员权限5个二级指标，包含系统友好度、功能应用度、数据完成性等21个三级指标；
运行能力主要是从安全、效率两个二级指标角度考察系统运行情况，共涉及安全事件数、系统平均响应时长、cpu利用率等19个三级指标。
所述二级指标包括：投资费用、运维成本、用户评价、功能应用、数据质量、专业程度、人员权限、安全质量和运行效率；
所述三级指标包括：有效功能建设费用、单个功能建设费用、有效功能运维成本、单个功能运维成本、系统的易学、界面友好度、系统稳定性、运行响应程度、业务覆盖程度、功能重复度、功能路径深度占比、问题咨询率、未授权功能率、僵尸功能率、数据完整性、数据准确性、数据及时性、数据一致性、数据增长率、数据传输效率、专业程度。权限冲突数、僵尸用户率、账号实名制率、账号弱口令率、安全漏洞、信息系统非计划停运时间、信息系统检修时间、信息系统检修频次、网络流量异常、系统性能异常、账号安全异常、访问状态异常、功能安全异常、系统平均响应时长、CPU利用率、内存利用率、磁盘使用率、数据库吞吐量、数据库平均响应时长、接口应用度、接口稳定性、页面完全加载时间和首屏时间。
S102、基于层次分析法为所述指标体系中的各个指标分配权重；
本发明实施例中，基于层析分析法为所述指标体系中的各个指标分配权重，分配过程如下：采用层次分析法确定各个一级指标的第一权重；基于各个第一权重采用层次分析法确定每一个一级指标中各个二级指标的第二权重；基于各个第二权重采用层次分析法确定每一个二级指标中各个三级指标的第三权重。基于层次分析法确定过程如下：建立了设备竞争力指数指标体系以及效能指数指标体系之后，需要专家对每一层次评价指标相对于上一层次中某个功能模型的相对重要性进行两两比较，然后给出这些指标相对重要性的判断值，即专家打分。全部指标经过专家的两两判定之后，可形成一个比较判断矩阵A，获取所述判断矩阵A
其中判断矩阵标度表示的含义如表1所示。
表1判断矩阵标度及含义
权重的确立过程是根据判断矩阵计算被比较矩阵相对于某一准则的相对权重，由Perron－Frobenius定理:正互反矩阵存在着唯一正最大特值λmax 以及相应的正值特征向量W，正最大特征值及其特征向量之间的关系如下式:
AW＝λmaxW (1)
其中，W中各分量wi为被比较指标相对于某一准则的权重。
层次分析法关键的一步是通过配对比较确定优先序，对设备制造商的竞争力指数,电力效能指数的最终结果质量很大程度上取决于各指标配对比较判断的一致性，由于不同的人对同一事物认识存在着差异，利用专家打分构建的判断矩阵可能出现重要性判断上的矛盾，因此，需要对比较判断矩阵进行一致性检验，用以判断矩阵偏离一致性的程度。为了检验不同阶的判断矩阵是否具有满意的一致性，在检测的过程中，用判断矩阵的一致性指标(CI)与同阶次的平均随机一致性指标(RI)的比值进行判断。其中，判断矩阵的一致性指标(CI)见下式:
CI＝(λmax-n)/(n-1) (2)
式中，n为判断矩阵的阶次，λmax为判断矩阵的最大特征根。
当随机一次性比率CR满足如下条件:
CR＝CI/RI<0.10 (3)
则说明该判断矩阵具有满意的一致性，结果可以接受。反之，则认为判断矩阵的一致性较差，是不能接受的。
优选的，基于上述权重确定方法得到如下表达式
资源综合利用和服务指数＝0.1*成本规模指数+0.55*应用水平指数+0.35* 运行能力指数。
成本规模指数＝0.5*投资费用+0.5*运维成本。
应用水平指数＝0.33*用户评价+0.22*功能应用+0.22*数据质量+0.08*专业程度+0.15*人员权限。
运行能力指数＝0.51*安全质量+0.49*运行效率。
S103、获取待评估信息系统中所述各个指标的指标数据；
本发明实施例中，所述待评估信息系统中的各个指标可以通过多种途径和方式获取指标数据。具体可以分为自动化系统获取和人工获取两种方式。自动化系统获取方式包括智能客服机器人、即时通讯工具、客服网站、客服电话文字录音材料等途径，通过系统后台数据库导出相关指标数据。人工获取方式包括发送调研问卷、实地走访测试、用户访谈等方式受理用户咨询，收集意见建议。
本发明实施例中以来源系统为例。来源系统支撑33个，主要为僵尸功能率、账号弱口令、系统平均响应时长等指标，涉及系统主要为I6000、性能监测系统、业务系统、IRS、统一权限平台、华三网管等系统。部分指标数据主要从国家电网公司各个信息化系统提取，具体分布见下表。
表2数据来源系统
| 序号 | 来源系统 | 来源个数 |
| 1 | I6000系统 | 10 |
| 2 | IRS系统 | 6 |
| 3 | 性能监测系统 | 2 |
| 4 | 统一权限平台 | 2 |
| 5 | 业务系统 | 10 |
| 6 | 华三网管 | 3 |
S104、基于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。
本发明实施例中，优选的，采用递进的方式计算各个指标，首先基于三级指标和对应的权重计算二级指标对应的指数，基于二级指标对应的指数和二级指标的权重计算一级指标对应的指数，基于一级指标对应的指数计算资源综合利用和服务指数，其中，以僵尸功能率指标计算过程为例，该僵尸功能率指标为一级指标“功能水平”下的二级指标“功能应用”的一个评价指标，其分值为3分，也就是权重为3分。该指标的含义是“统计期内僵尸功能/系统功能总数”，评价标准计算公式为权重*(1-僵尸功能率)。通过该系统在营销业务系统对国网河北公司僵尸功能进行测试，得出营销系统的僵尸功能率为87.43％,因此依据评价标准计算营销业务系统僵尸功能率指标得分如下：
营销业务系统僵尸功能率指标得分＝3*(1-0.8743)＝0.38
因此可以看出营销业务系统在僵尸功能率指标上失分为3-0.38＝2.62
在系统实际使用中，评价标准可以由各个系统的业务专家进行确定，在不同系统中由于业务的不同，实际的内容可能会有差异。
进一步的，通过上述方法计算二级指标和一级指标对应的指数，基于一级指标对应的指数和一级指标对应的权重计算所述待评估信息系统的资源综合利用和服务指数，根据各项具体的打分情况，深入分析系统存在的问题，并不断完善指标体系。
评分是指通过以上步骤计算得出的各项指标的具体分数，主要是针对二级指标的具体评价内容而言。量化评价分数是指按照本发明确定的指数指标体系，通过各个指标加权计算得出的该指标分数。可以理解为二级指标计算出的指数是各个指标的具体评价内容分数，通过他们计算出的量化评价分数是该汇总得到的最终分数，能够用于分析该指标代表的系统的性能和问题。
本发明公开了一种信息系统的评估方法，包括：预先确定指标体系，其中，所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标；基于层次分析法为所述指标体系中的各个指标分配权重；获取待评估信息系统中所述各个指标的指标数据；基于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。上述的方法中，采用层次分析法为各个指标分配权重，于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。采用客观的方式确定权重，不再基于技术人员的经验或者主观判断来确定权重，提高了评估的准确性。
本发明采用的指数指标体系是由管理技术专家和一线技术人员根据专业背景和技术经验通过专家经验总结出来的，并已经实际应用于真实电力企业信息化系统的评价中，具有技术创新性和实用性。各个指标需要的具体的数据是进行指标评价的基础和依据，数据的采集和使用也是一套评价系统是否能正常工作的关键。本发明提出了相应的数据采集和使用形式，具有实际应用意义。本发明采用的指数指标体系中的权重设置和评分标准是由管理技术专家和相关技术人员根据专业背景和技术经验通过专家经验总结出来的，并已经实际应用于真实电力企业信息化系统的评价中，具有技术创新性和实用性。上述的评估过程包括构建指标体系、设置指标权重、选取评价标准、获取指标数据、计算指标结果、进行评价六个过程。该方法具有通用性广、适用性强、易于标准化推广的优点，并通过在国网河北公司的营销业务系统和财务业务系统实际使用后发现能有效的发现系统存在的问题，为接下来系统优化和性能提升提供参考依据，因此具有实用性。
本发明的指标选取突出从成本、运行、应用三个角度，在以往相关内容中没有涉及，属于比较新的角度。而且这三个角度不受业务限制，都为通用性指标，可以适用于电力的各个业务领域，因此具有在电力系统推广使用的潜力。
本发明包含的具有通用性的指数指标体系、指数指标体系相关数据的来源及形式、指数指标体系的分析方法、指数指标体系的具体实施步骤等内容，形成了一套完整全面、具有可操作性的信息化系统评价方法。本发明具有如下优点：
给出了用于信息化系统评价的全面具体系统的评价点，并提出指标的明确衡量标准，因此直接用于实际应用。
指标系统中指标的选定和建设从业务实际出发，与信息化系统自身情况紧密联系，比较客观。
在实际应用中，借助科学合理的评价指标体系，赋予各项指标权重采用专家经验和系统自动相结合的方式，减少了指标的主观性。
本发明直接针对电力信息化系统的评价问题，具有鲜明的目标导向性，突破了业务领域的限制，可以在电力系统通用的对信息化系统进行评价，并且经过实际应用检验，是真实可用的指标体系。
基于上述的一种信息系统的评价方法，本发明实施例中还提供了一种信息系统的评价装置，所述评价装置的结构框图如图2所示，包括：
确定模块201、分配模块202、获取模块203和计算模块204。
其中，
所述确定模块201，用于预先确定指标体系，其中，所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标；
所述分配模块202，用于基于层次分析法为所述指标体系中的各个指标分配权重；
所述获取模块203，用于获取待评估信息系统中所述各个指标的指标数据；
所述计算模块204，用于基于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。
本发明公开了一种信息系统的评估装置，包括：预先确定指标体系，其中，所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标；基于层次分析法为所述指标体系中的各个指标分配权重；获取待评估信息系统中所述各个指标的指标数据；基于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。上述的装置中，采用层次分析法为各个指标分配权重，于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。采用客观的方式确定权重，不再基于技术人员的经验或者主观判断来确定权重，提高了评估的准确性。
本发明实施例中，所述分配模块202包括：
第一确定单元205、第二确定单元206和第三确定单元207。
其中，
所述第一确定单元205，用于采用层次分析法确定各个一级指标的第一权重；
所述第二确定单元206，用于基于各个第一权重采用层次分析法确定每一个一级指标中各个二级指标的第二权重；
所述第三确定单元207，用于基于各个第二权重采用层次分析法确定每一个二级指标中各个三级指标的第三权重。
本发明实施例中，所述分配模块202还包括：
获取单元208和调整单元209。
其中，
所述获取单元208，用于获取经验参数；
所述调整单元209，用于基于经验参数对所述各个第一权重、所述各个第二权重和所述各个第三权重进行调整，得到各个第一目标权重、各个第二目标权重和各个第三目标权重。
本发明实施例中，所述第一确定单元205包括：
获取子单元210、确定子单元211和校验和确定子单元212。
其中，
所述获取子单元210，用于获取基于所述各个一级指标和所述资源综合利用和服务指数建立判断矩阵；
所述确定子单元211，用于基于所述判断矩阵确定所述各个一级指标的初始第一权重；
所述校验和确定子单元212，用于对所述判断矩阵进行一致性校验，校验通过的情况下，将所述初始第一权重作为所述第一权重。
本发明实施例中，所述装置中，所述一级指标包括：成本规模、应用水平和运行能力；
所述二级指标包括：投资费用、运维成本、用户评价、功能应用、数据质量、专业程度、人员权限、安全质量和运行效率；
所述三级指标包括：有效功能建设费用、单个功能建设费用、有效功能运维成本、单个功能运维成本、系统的易学、界面友好度、系统稳定性、运行响应程度、业务覆盖程度、功能重复度、功能路径深度占比、问题咨询率、未授权功能率、僵尸功能率、数据完整性、数据准确性、数据及时性、数据一致性、数据增长率、数据传输效率、专业程度。权限冲突数、僵尸用户率、账号实名制率、账号弱口令率、安全漏洞、信息系统非计划停运时间、信息系统检修时间、信息系统检修频次、网络流量异常、系统性能异常、账号安全异常、访问状态异常、功能安全异常、系统平均响应时长、CPU利用率、内存利用率、磁盘使用率、数据库吞吐量、数据库平均响应时长、接口应用度、接口稳定性、页面完全加载时间和首屏时间。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种信息系统的评估方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种信息系统的评估方法，其特征在于，包括：
预先确定指标体系，其中，所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标；
基于层次分析法为所述指标体系中的各个指标分配权重；
获取待评估信息系统中所述各个指标的指标数据；
基于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。
2.根据权利要求1所述的方法，其特征在于，基于层次分析法为所述指标体系中的各个指标分配权重包括：
采用层次分析法确定各个一级指标的第一权重；
基于各个第一权重采用层次分析法确定每一个一级指标中各个二级指标的第二权重；
基于各个第二权重采用层次分析法确定每一个二级指标中各个三级指标的第三权重。
3.根据权利要求2所述的方法，其特征在于，还包括：
获取经验参数；
基于经验参数对所述各个第一权重、所述各个第二权重和所述各个第三权重进行调整，得到各个第一目标权重、各个第二目标权重和各个第三目标权重。
4.根据权利要求2所述的方法，其特征在于，采用层次分析法确定各个一级指标的第一权重，包括：
获取基于所述各个一级指标和所述资源综合利用和服务指数建立判断矩阵；
基于所述判断矩阵确定所述各个一级指标的初始第一权重；
对所述判断矩阵进行一致性校验，校验通过的情况下，将所述初始第一权重作为所述第一权重。
5.根据权利要求1所述的方法，其特征在于，
所述一级指标包括：成本规模、应用水平和运行能力；
所述二级指标包括：投资费用、运维成本、用户评价、功能应用、数据质量、专业程度、人员权限、安全质量和运行效率；
所述三级指标包括：有效功能建设费用、单个功能建设费用、有效功能运维成本、单个功能运维成本、系统的易学、界面友好度、系统稳定性、运行响应程度、业务覆盖程度、功能重复度、功能路径深度占比、问题咨询率、未授权功能率、僵尸功能率、数据完整性、数据准确性、数据及时性、数据一致性、数据增长率、数据传输效率、专业程度、权限冲突数、僵尸用户率、账号实名制率、账号弱口令率、安全漏洞、信息系统非计划停运时间、信息系统检修时间、信息系统检修频次、网络流量异常、系统性能异常、账号安全异常、访问状态异常、功能安全异常、系统平均响应时长、CPU利用率、内存利用率、磁盘使用率、数据库吞吐量、数据库平均响应时长、接口应用度、接口稳定性、页面完全加载时间和首屏时间。
6.一种信息系统的评估装置，其特征在于，包括：
确定模块，用于预先确定指标体系，其中，所述指标体系包括：资源综合利用和服务指数、一级指标、二级指标和三级指标；
分配模块，用于基于层次分析法为所述指标体系中的各个指标分配权重；
获取模块，用于获取待评估信息系统中所述各个指标的指标数据；
计算模块，用于基于各个权重和每个权重对应的指标数据计算所述待评估信息系统的资源综合利用和服务指数。
7.根据权利要求6所述的装置，其特征在于，所述分配模块包括：
第一确定单元，用于采用层次分析法确定各个一级指标的第一权重；
第二确定单元，用于基于各个第一权重采用层次分析法确定每一个一级指标中各个二级指标的第二权重；
第三确定单元，用于基于各个第二权重采用层次分析法确定每一个二级指标中各个三级指标的第三权重。
8.根据权利要求7所述的装置，其特征在于，还包括：
获取单元，用于获取经验参数；
调整单元，用于基于经验参数对所述各个第一权重、所述各个第二权重和所述各个第三权重进行调整，得到各个第一目标权重、各个第二目标权重和各个第三目标权重。
9.根据权利要求7所述的装置，其特征在于，所述第一确定单元包括：
获取子单元，用于获取基于所述各个一级指标和所述资源综合利用和服务指数建立判断矩阵；
确定子单元，用于基于所述判断矩阵确定所述各个一级指标的初始第一权重；
校验和确定子单元，用于对所述判断矩阵进行一致性校验，校验通过的情况下，将所述初始第一权重作为所述第一权重。
10.根据权利要求6所述的装置，其特征在于，
所述一级指标包括：成本规模、应用水平和运行能力；
所述二级指标包括：投资费用、运维成本、用户评价、功能应用、数据质量、专业程度、人员权限、安全质量和运行效率；
所述三级指标包括：有效功能建设费用、单个功能建设费用、有效功能运维成本、单个功能运维成本、系统的易学、界面友好度、系统稳定性、运行响应程度、业务覆盖程度、功能重复度、功能路径深度占比、问题咨询率、未授权功能率、僵尸功能率、数据完整性、数据准确性、数据及时性、数据一致性、数据增长率、数据传输效率、专业程度、权限冲突数、僵尸用户率、账号实名制率、账号弱口令率、安全漏洞、信息系统非计划停运时间、信息系统检修时间、信息系统检修频次、网络流量异常、系统性能异常、账号安全异常、访问状态异常、功能安全异常、系统平均响应时长、CPU利用率、内存利用率、磁盘使用率、数据库吞吐量、数据库平均响应时长、接口应用度、接口稳定性、页面完全加载时间和首屏时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011454014.2A CN112633646A (zh) | 2020-12-10 | 2020-12-10 | 一种信息系统的评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011454014.2A CN112633646A (zh) | 2020-12-10 | 2020-12-10 | 一种信息系统的评估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112633646A true CN112633646A (zh) | 2021-04-09 |
Family
ID=75310075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011454014.2A Pending CN112633646A (zh) | 2020-12-10 | 2020-12-10 | 一种信息系统的评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633646A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115310856A (zh) * | 2022-08-26 | 2022-11-08 | 数字扁担(浙江)科技有限公司 | 基于大数据的应用效能评估系统及其评估方法 |
| CN116308174A (zh) * | 2023-03-20 | 2023-06-23 | 中国科学院空天信息创新研究院 | 信息服务系统标准化的验证方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540018A (zh) * | 2009-01-23 | 2009-09-23 | 浙江师范大学 | 一种企业信息技术应用程度评价方法及系统 |
| CN106504125A (zh) * | 2016-12-27 | 2017-03-15 | 北京中电普华信息技术有限公司 | 一种构建电力客户综合评价体系的方法及装置 |
| CN109064320A (zh) * | 2018-10-19 | 2018-12-21 | 北京数码视讯支付技术有限公司 | 一种信用风险评价系统以及信用风险评价方法 |
| CN109685315A (zh) * | 2018-11-21 | 2019-04-26 | 远光软件股份有限公司 | 一种基于量化指标的企业信息系统评价方法 |
| CN111967752A (zh) * | 2020-08-10 | 2020-11-20 | 国电南京自动化股份有限公司 | 一种配网自动化系统运行综合评价方法及系统 |
-
2020
- 2020-12-10 CN CN202011454014.2A patent/CN112633646A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540018A (zh) * | 2009-01-23 | 2009-09-23 | 浙江师范大学 | 一种企业信息技术应用程度评价方法及系统 |
| CN106504125A (zh) * | 2016-12-27 | 2017-03-15 | 北京中电普华信息技术有限公司 | 一种构建电力客户综合评价体系的方法及装置 |
| CN109064320A (zh) * | 2018-10-19 | 2018-12-21 | 北京数码视讯支付技术有限公司 | 一种信用风险评价系统以及信用风险评价方法 |
| CN109685315A (zh) * | 2018-11-21 | 2019-04-26 | 远光软件股份有限公司 | 一种基于量化指标的企业信息系统评价方法 |
| CN111967752A (zh) * | 2020-08-10 | 2020-11-20 | 国电南京自动化股份有限公司 | 一种配网自动化系统运行综合评价方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 刘贞 等: "基于专家评价方法的配电网运行状态 层次分析评价模型及应用", 《重庆理工大学学报（自然科学版）》, vol. 33, no. 1, 31 January 2019 (2019-01-31), pages 154 - 161 * |
| 殷立欣 等: "《项目评估理论与应用实践》", 31 August 2020, 中国质量标准出版传媒有限公司, pages: 33 - 35 * |
| 赵杨洋: "智能交通管理系统项目建设后评价", 《中国优秀硕士论文全文数据库 工程科技Ⅱ辑》, 15 April 2018 (2018-04-15), pages 034 - 863 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115310856A (zh) * | 2022-08-26 | 2022-11-08 | 数字扁担(浙江)科技有限公司 | 基于大数据的应用效能评估系统及其评估方法 |
| CN116308174A (zh) * | 2023-03-20 | 2023-06-23 | 中国科学院空天信息创新研究院 | 信息服务系统标准化的验证方法及装置 |
| CN116308174B (zh) * | 2023-03-20 | 2024-03-15 | 中国科学院空天信息创新研究院 | 信息服务系统标准化的验证方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815132B (zh) | 一种电力监控系统网络安全管理信息发布方法及系统 | |
| Fruhwirth et al. | Improving CVSS-based vulnerability prioritization and response with context information | |
| US8751436B2 (en) | Analyzing data quality | |
| CN105868373B (zh) | 电力业务信息系统关键数据处理方法及装置 | |
| CN112633646A (zh) | 一种信息系统的评估方法及装置 | |
| KR100713546B1 (ko) | 기술평가방법 | |
| CN111552686B (zh) | 一种电力数据质量评估方法及其装置 | |
| CN113850693A (zh) | 基于多源信息融合的配网停电风险综合评估与预警的方法 | |
| CN115114647A (zh) | 一种基于数字中台构建客户画像的客户信息管理方法及系统 | |
| CN117196311A (zh) | 一种铁路工程建设项目风险管理方法 | |
| Aldya et al. | Measuring effectiveness of control of information security management system based on SNI ISO/IEC 27004: 2013 standard | |
| CN112200459A (zh) | 一种配电网数据质量分析评价方法及系统 | |
| Johansson et al. | Assessment of enterprise information security-estimating the credibility of the results | |
| CN108038635B (zh) | 基础设施资产投资回报的建模和分析方法及系统 | |
| CN114022053A (zh) | 一种基于风险因子的审计系统及设备 | |
| CN111565121A (zh) | 人员及技术对it支撑度评估方法及装置 | |
| Yang et al. | Research on intelligent operation and maintenance model of large database for electric power industry | |
| Klassen et al. | Quantifiying the Business Impact of Information Quality-a Risk-Based Approach | |
| CN116094747B (zh) | 一种基于因子分解的风险评估方法和系统 | |
| CN111159861B (zh) | 基于数据包络分析的锂电池多源可靠性试验数据评价方法 | |
| TW201301187A (zh) | 一種最佳財報分析暨選股之資訊系統及方法 | |
| CN116993160A (zh) | 充电桩经营风险评估方法、装置、存储介质及计算机设备 | |
| CN112613732A (zh) | 一种金融机构监管评级的方法和装置 | |
| CN113822356A (zh) | 一种用电用户的分类方法、装置、电子设备及存储介质 | |
| CN117421248A (zh) | 一种软件测试方法、装置、电子设备及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211111 Address after: 100192 room 710, scientific research building, No. 15, Xiaoying East Road, Qinghe, Haidian District, Beijing Applicant after: Beijing Zhongdian Puhua Information Technology Co., Ltd Address before: 102208 floor 8, East Tower, Jiaming Aosen Industrial Park, Qinghe Road, Dongxiaokou Town, Changping District, Beijing Applicant before: Beijing Zhongdian Puhua Information Technology Co., Ltd Applicant before: State Grid Information and Communication Industry Group Co., Ltd |
|
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yuan Lufeng Inventor after: Liu Hong Inventor after: Cheng Siyuan Inventor after: Zhao Linlin Inventor after: Zhao Wei Inventor after: Song Zhengzheng Inventor after: Fu Qiang Inventor after: Jin Lin Inventor after: Yin Didi Inventor after: Wu Qilong Inventor after: Zhao Yanying Inventor after: Zhang Peng Inventor before: Yuan Lufeng |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220127 Address after: 050011 No.10, Fuqiang street, Yuhua District, Shijiazhuang City, Hebei Province Applicant after: STATE GRID HEBEI INFORMATION & TELECOMMUNICATION BRANCH Applicant after: BEIJING CHINA POWER INFORMATION TECHNOLOGY Co.,Ltd. Applicant after: STATE GRID CORPORATION OF CHINA Address before: 100192 room 710, research building 15, Xiaoying East Road, Qinghe, Haidian District, Beijing Applicant before: BEIJING CHINA POWER INFORMATION TECHNOLOGY Co.,Ltd. |