CN115471088A - 一种基于大数据用户日志的系统使用评估方法及装置 - Google Patents

一种基于大数据用户日志的系统使用评估方法及装置 Download PDF

Info

Publication number
CN115471088A
CN115471088A CN202211148779.2A CN202211148779A CN115471088A CN 115471088 A CN115471088 A CN 115471088A CN 202211148779 A CN202211148779 A CN 202211148779A CN 115471088 A CN115471088 A CN 115471088A
Authority
CN
China
Prior art keywords
evaluation
data
system use
log
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211148779.2A
Other languages
English (en)
Inventor
赵明丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongyou Software Co ltd
Original Assignee
Hongyou Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongyou Software Co ltd filed Critical Hongyou Software Co ltd
Priority to CN202211148779.2A priority Critical patent/CN115471088A/zh
Publication of CN115471088A publication Critical patent/CN115471088A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于大数据用户日志的系统使用评估方法及装置，所述方法包括：建立包括系统使用广度、系统使用深度、系统使用强度和系统使用准度四个一级指标的系统使用评估指标体系，基于业务机构评估要求配置生成系统使用评估模型；获取多套业务系统中的用户操作日志，进行数据清洗、数据过滤和数据提取，并基于系统使用评估指标体系进行建模，得到评估基础数据；将所述评估基础数据和所述系统使用评估模型进行比对分析，得到评估结果。本发明提供的系统使用评估方法从应用者视角出发为各个系统提供使用画像，能够公正、定量、自动的对系统使用情况进行评价，能够及时发现系统使用问题，保证系统应用的适用性、有效性。

Description

一种基于大数据用户日志的系统使用评估方法及装置
技术领域
本发明涉及系统使用评估方法技术领域，尤其涉及一种基于大数据用户日志的系统使用评估方法及装置。
背景技术
随着信息技术的不断发展，各行各业各种不同类型的业务应用系统相继建立，对各个业务管理机构生产管理发挥着巨大作用。但由于业务管理的特殊性，各个部门在建立业务应用系统之初时，可能存在业务理论基础薄弱性和技术开发的封闭性，导致系统应用在实践契合度上存在较大的问题。针对越来越多的业务应用系统，如何公正、定量、自动的对系统使用情况进行评价，是业务应用系统客观考核的重要依据，也是各个行业管理机构针对本机构或本区域业务系统发展和优化配置的参考方向。
现有技术中有一些应用性能管理产品可以监控业务应用系统的各种指标，以监测业务应用系统的实时运行状态和问题；还有一些对业务系统的稳定性进行量化监测和评估的技术，通过识别并采集预设时间段的业务系统报文中的访问成功率、响应数据量、访问数据量及响应时间的样本值，计算得出业务系统的稳定性评价指标，但是其评估指标仅针对业务应用系统的稳定性，未从应用者视角出发，没有考虑业务应用系统使用的适用性、有效性，无法得到全面、客观、量化的评估指标，无法提供业务系统发展和优化配置的参考方向。
因此，本领域亟需一种从应用者视角出发的更全面的系统使用评估方法为各个系统提供使用画像，及时发现系统使用问题，保证系统应用的有效性。
发明内容
本发明的目的在于提供一种基于大数据用户日志的系统使用评估方法及装置，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明采用的技术方案如下：
本发明提供了一种基于大数据用户日志的系统使用评估方法，所述方法包括：
建立系统使用评估指标体系，基于业务机构评估要求对所述系统使用评估指标体系进行标准配置，生成系统使用评估模型，所述系统使用评估指标体系包括系统使用广度、系统使用深度、系统使用强度和系统使用准度四个一级指标；
获取多套业务系统中的用户操作日志，对所述用户操作日志进行数据清洗、数据过滤和数据提取，得到日志数据；
基于所述系统使用评估指标体系对所述日志数据进行建模，得到评估基础数据；
将所述评估基础数据和所述系统使用评估模型进行比对分析，得到评估结果。
优选的，所述一级指标还包括多个对应的二级指标，具体为：
所述系统使用广度对应的二级指标包括机构使用比和人员使用比；
所述系统使用深度对应的二级指标包括模块使用比和业务处理比；
所述系统使用强度对应的二级指标包括系统访问时长和用户访问率；
所述系统使用准度对应的二级指标包括出错率和跳出率。
优选的，系统使用评估模型的生成，具体包括：
获取系统使用评估指标体系中的二级指标；
根据业务机构评估要求确定所述二级指标在不同阈值范围所对应的分值；
设置评估周期，生成所述系统使用评估模型。
优选的，所述用户操作日志由大数据Flume组件从多套业务系统中获取并存入HDFS中；所述日志数据是由MapReduce在HDFS上对所述用户操作日志进行数据清洗、数据过滤和数据提取得到的，并存储到Hive数据库中。
优选的，所述评估结果是由所述评估基础数据和所述系统使用评估模型在MySql数据库中构建的比对分析算法自动计算输出的，所述评估结果能够生成评价报告或进行可视化展示。
相应的，本发明还提供了一种基于大数据用户日志的系统使用评估装置，包括：
评估模型建立模块，用于建立系统使用评估指标体系，基于业务机构评估要求对所述系统使用评估指标体系进行标准配置，生成系统使用评估模型，所述系统使用评估指标体系包括系统使用广度、系统使用深度、系统使用强度和系统使用准度四个一级指标；
数据处理模块，用于获取多套业务系统中的用户操作日志，对所述用户操作日志进行数据清洗、数据过滤和数据提取，得到日志数据；基于所述系统使用评估指标体系对所述日志数据进行建模，得到评估基础数据；
评估分析模块，用于将所述评估基础数据和所述系统使用评估模型进行比对分析，得到评估结果。
本发明的有益效果是：
本发明提供了一种基于大数据用户日志的系统使用评估方法及装置，从应用者视角出发，建立了关于系统使用广度、系统使用深度、系统使用强度和系统使用准度的系统使用评估指标模型；利用大数据提取业务系统用户行为操作日志，生成评估基础数据；将所述评估基础数据和所述系统使用评估模型进行比对分析，得到评估结果。本发明提供的系统使用评估方法从应用者视角出发为各个系统提供使用画像，能够公正、定量、自动的对系统使用情况进行评价，能够及时发现系统使用问题，保证系统应用的适用性、有效性。
附图说明
图1是本发明实施例提供的基于大数据用户日志的系统使用评估方法的流程示意图；
图2是本发明实施例提供的系统使用评估指标体系的组织结构示意图；
图3是本发明实施例提供的基于大数据用户日志的系统使用评估方法的具体实施流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种基于大数据用户日志的系统使用评估方法，所述方法包括：
S101，建立系统使用评估指标体系，基于业务机构评估要求对所述系统使用评估指标体系进行标准配置，生成系统使用评估模型。
所述系统使用评估指标体系包括系统使用广度、系统使用深度、系统使用强度和系统使用准度四个一级指标。
S102，获取多套业务系统中的用户操作日志，对所述用户操作日志进行数据清洗、数据过滤和数据提取，得到日志数据。
S103，基于所述系统使用评估指标体系对所述日志数据进行建模，得到评估基础数据。
S104，将所述评估基础数据和所述系统使用评估模型进行比对分析，得到评估结果。
本发明中的系统、业务系统或业务应用系统，均指运行在计算机或服务器上的提供C/S或B/S服务的软件系统。
如图2所示，在本实施例中是从应用者视角出发构建系统使用评估指标体系，从系统使用广度、系统使用深度、系统使用强度和系统使用准度四个方面分析业务系统使用评估一级指标。在所述一级指标下还包括多个对应的二级指标，具体为：
1.系统使用广度
从系统使用的范围出发，分析用户覆盖情况，主要包括系统覆盖的机构使用比和人员使用比。机构使用比＝在一个有效周期内(如月、季度、年等，下同)如实使用系统的组织机构数/本组织所有机构数。人员使用比＝在一个有效周期内如实使用系统的人员数量/本组织所有人员数。
2.系统使用深度
从系统本身功能使用情况出发，分析功能模块使用的实战情况，分析系统使用的深度，主要包括模块使用比和业务处理比。功能模块使用比＝在一个有效周期内如实操作系统的功能模块数量/应用系统所有功能模块数。业务处理比＝在一个有效周期内系统实际应用的业务数/系统处理所有业务数。如某食品安全大数据监管系统开发之初需要处理农产品溯源、蔬菜溯源、水果溯源、肉制品溯源等15类业务，而系统实际处理的业务仅10类业务，则业务处理比＝10/15。
3.系统使用强度
从系统使用的频度出发，分析系统使用的强度情况，主要包括系统访问时长和用户访问率。系统访问时长＝一个有效周期内用户访问系统时长总和/整个有效周期时长。用户访问率＝一个有效周期内用户登录访问系统次数/组织机构人数。
4.系统使用准度
从系统跳出率、出错率、重启率方面分析系统使用准确性，主要包括出错率和跳出率。出错率＝访问系统出错次数/总访问次数。跳出率＝登录系统后直接离开的次数/总访问次数。
如图3所示，为本发明在具体实施场景中的实施流程示意图，本实施例还基于该系统使用评估指标体系，构建了系统使用评估模型。具体步骤如下：
1.将该系统使用评估指标体系导入MySql数据库中。
2.根据当前组织机构对系统使用的要求和评估规定，对各指标设置评估标准。例如：
机构使用比>＝80％，则得5分；
60％＝<机构使用比<80％，则得4分；
40％＝<机构使用比<60％，则得3分；
20％<机构使用比<40％，则得2分；
机构使用比<20％，则得1分。
3.设置评估周期，系统使用评估模型。
本实施例还基于用户行为操作日志利用大数据技术采集、处理、分析系统使用评估基础数据。具体步骤如下：
1.运用大数据的Flume组件技术从多套业务系统中获取用户操作日志。
2.将获取的用户操作日志的文件数据存入HDFS。
3.在HDFS上用MapReduce进行数据清洗、过滤、提取得到日志数据，之后存储到Hive数据库中，使其能够运用SQL进行数据建模。
4.按照系统使用评估指标体系的指标含义和公式，对日志数据进行建模，得到评估基础数据。
5.将评估基础数据存入关系数据库MySql数据库中，以进一步评估应用。
本实施例还基于评估基础数据和系统使用评估模型在MySql数据库中构建比对分析算法，该比对分析算法自动计算，输出评估结果，最后根据业务需要利用评估结果生成评价报告或进行可视化展示。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
本发明提供了一种基于大数据用户日志的系统使用评估方法及装置，从应用者视角出发，建立了关于系统使用广度、系统使用深度、系统使用强度和系统使用准度的系统使用评估指标模型；利用大数据提取业务系统用户行为操作日志，生成评估基础数据；将所述评估基础数据和所述系统使用评估模型进行比对分析，得到评估结果。本发明提供的系统使用评估方法从应用者视角出发为各个系统提供使用画像，能够公正、定量、自动的对系统使用情况进行评价，能够及时发现系统使用问题，保证系统应用的适用性、有效性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (6)

1.一种基于大数据用户日志的系统使用评估方法，其特征在于，所述方法包括：
建立系统使用评估指标体系，基于业务机构评估要求对所述系统使用评估指标体系进行标准配置，生成系统使用评估模型，所述系统使用评估指标体系包括系统使用广度、系统使用深度、系统使用强度和系统使用准度四个一级指标；
获取多套业务系统中的用户操作日志，对所述用户操作日志进行数据清洗、数据过滤和数据提取，得到日志数据；
基于所述系统使用评估指标体系对所述日志数据进行建模，得到评估基础数据；
将所述评估基础数据和所述系统使用评估模型进行比对分析，得到评估结果。
2.根据权利要求1所述的基于大数据用户日志的系统使用评估方法，其特征在于，所述一级指标还包括多个对应的二级指标，具体为：
所述系统使用广度对应的二级指标包括机构使用比和人员使用比；
所述系统使用深度对应的二级指标包括模块使用比和业务处理比；
所述系统使用强度对应的二级指标包括系统访问时长和用户访问率；
所述系统使用准度对应的二级指标包括出错率和跳出率。
3.根据权利要求2所述的基于大数据用户日志的系统使用评估方法，其特征在于，系统使用评估模型的生成，具体包括：
获取系统使用评估指标体系中的二级指标；
根据业务机构评估要求确定所述二级指标在不同阈值范围所对应的分值；
设置评估周期，生成所述系统使用评估模型。
4.根据权利要求1所述的基于大数据用户日志的系统使用评估方法，其特征在于，所述用户操作日志由大数据Flume组件从多套业务系统中获取并存入HDFS中；所述日志数据是由MapReduce在HDFS上对所述用户操作日志进行数据清洗、数据过滤和数据提取得到的，并存储到Hive数据库中。
5.根据权利要求1所述的基于大数据用户日志的系统使用评估方法，其特征在于，所述评估结果是由所述评估基础数据和所述系统使用评估模型在MySql数据库中构建的比对分析算法自动计算输出的，所述评估结果能够生成评价报告或进行可视化展示。
6.一种基于大数据用户日志的系统使用评估装置，其特征在于，包括：
评估模型建立模块，用于建立系统使用评估指标体系，基于业务机构评估要求对所述系统使用评估指标体系进行标准配置，生成系统使用评估模型，所述系统使用评估指标体系包括系统使用广度、系统使用深度、系统使用强度和系统使用准度四个一级指标；
数据处理模块，用于获取多套业务系统中的用户操作日志，对所述用户操作日志进行数据清洗、数据过滤和数据提取，得到日志数据；基于所述系统使用评估指标体系对所述日志数据进行建模，得到评估基础数据；
评估分析模块，用于将所述评估基础数据和所述系统使用评估模型进行比对分析，得到评估结果。
CN202211148779.2A 2022-09-20 2022-09-20 一种基于大数据用户日志的系统使用评估方法及装置 Pending CN115471088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211148779.2A CN115471088A (zh) 2022-09-20 2022-09-20 一种基于大数据用户日志的系统使用评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211148779.2A CN115471088A (zh) 2022-09-20 2022-09-20 一种基于大数据用户日志的系统使用评估方法及装置

Publications (1)

Publication Number Publication Date
CN115471088A true CN115471088A (zh) 2022-12-13

Family

ID=84334717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211148779.2A Pending CN115471088A (zh) 2022-09-20 2022-09-20 一种基于大数据用户日志的系统使用评估方法及装置

Country Status (1)

Country Link
CN (1) CN115471088A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117271350A (zh) * 2023-09-28 2023-12-22 江苏天好富兴数据技术有限公司 一种基于日志分析的软件质量评估系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117271350A (zh) * 2023-09-28 2023-12-22 江苏天好富兴数据技术有限公司 一种基于日志分析的软件质量评估系统及方法
CN117271350B (zh) * 2023-09-28 2024-07-02 江苏天好富兴数据技术有限公司 一种基于日志分析的软件质量评估系统及方法

Similar Documents

Publication Publication Date Title
Johnson et al. Incorporating uncertainty analysis into life cycle estimates of greenhouse gas emissions from biomass production
CN112053756A (zh) 基于临床标本检验数据的检验结果质量评价方法及系统
CN109308225B (zh) 一种虚拟机异常检测方法、装置、设备及存储介质
CN108549973B (zh) 识别模型构建及评估的方法、装置、存储介质及终端
CN112650608B (zh) 异常根因定位方法以及相关装置、设备
CN115471088A (zh) 一种基于大数据用户日志的系统使用评估方法及装置
CN114388103A (zh) 一种针对青少年心理预警分析的算法
Navratilova et al. Grids from bands, or bands from grids? An examination of the effects of single unit contamination on grid cell firing fields
KR101405309B1 (ko) 소셜 네트워크 서비스 데이터에 기반한 질병 확산 상황 예측 장치 및 방법
CN111767193A (zh) 一种服务器数据异常检测方法、装置、存储介质及设备
Agelink van Rentergem et al. Multivariate normative comparisons for neuropsychological assessment by a multilevel factor structure or multiple imputation approach.
CN113962806A (zh) 金融产品的回测方法及其回测装置、电子设备
CN113723747A (zh) 分析报告生成方法、电子设备及可读存储介质
Alverbro et al. Methods for risk analysis
US20180130002A1 (en) Requirements determination
CN115274113A (zh) 一种基于心理测评量表计分算法的评测系统
CN112463584B (zh) 一种基于缺陷分析的精准测试分析方法、装置
Pudner et al. An Intelligent Conversational Agent Approach to Extracting Queries from Natural Language.
Frey et al. Meta-analysis of the effects of computerized adaptive testing on the motivation and emotion of examinees.
Sebaganwa et al. Influence of baseline data on performance of result based monitoring and evaluation system of government projects in Rwanda
Soderborg Better Before Bigger Data
CN118228932B (zh) 一种基于物联网技术的导学个性化辅助系统
CN116909811A (zh) 一种数据分析处理方法、装置、电子设备及存储介质
Anthony et al. eSurMent: An Educational Institution Services Customer Satisfaction Measurement (CSM) Mobile Application Evaluation Tool using Opinion Mining with Sentiment Analysis
CN118485334A (zh) 指标值的确定方法及装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination