CN111324650A - 任务处理效能实时评估预警方法、计算机可读存储介质及企业数据管理系统 - Google Patents

任务处理效能实时评估预警方法、计算机可读存储介质及企业数据管理系统 Download PDF

Info

Publication number
CN111324650A
CN111324650A CN202010094510.5A CN202010094510A CN111324650A CN 111324650 A CN111324650 A CN 111324650A CN 202010094510 A CN202010094510 A CN 202010094510A CN 111324650 A CN111324650 A CN 111324650A
Authority
CN
China
Prior art keywords
task
data processing
time
early warning
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010094510.5A
Other languages
English (en)
Inventor
高伟
李劲松
黎展宏
许仙邦
庞日海
丘志新
吴冬铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xin'an Data Co ltd
Original Assignee
Guangzhou Xin'an Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xin'an Data Co ltd filed Critical Guangzhou Xin'an Data Co ltd
Priority to CN202010094510.5A priority Critical patent/CN111324650A/zh
Publication of CN111324650A publication Critical patent/CN111324650A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种任务处理效能实时评估预警方法，对企业数据管理系统中的每个正在多次执行的数据处理任务，在一次执行完毕后，比较本次执行时长和上次执行时长，若本次执行时长大于上次执行时长，则把该数据处理任务评估为处理效能降低；根据处理效能降低的任务数占总任务数的比例得出效能降低率，若效能降低率大于预警阈值，则向用户发出预警，用户在收到预警后可令企业数据管理系统减少同时执行的任务数，而企业数据管理系统在减少其同时执行的任务数后，其任务处理效能会提升，因此会减小企业数据管理系统的任务处理效能降低率，即减少执行时长变长的数据处理任务数，从而缩短大数据建设的建设周期。

Description

任务处理效能实时评估预警方法、计算机可读存储介质及企 业数据管理系统
技术领域
本发明涉及计算机技术领域，特别涉及任务处理效能实时评估预警方法、计算机可读存储介质及企业数据管理系统。
背景技术
随着移动互联网、物联网等技术的飞速发展，全球数据量呈现出飞速增长的现象，数据量的飞速增长预示着现在已经进入了大数据时代。目前许多企业利用企业数据管理系统进行大数据建设，大数据建设使得企业在客户行为分析方面具有很好的数据基础，企业数据管理系统能根据数据基础深入分析客户行为特征和规律，从而发现客户的潜在消费需求，故大数据建设是提升企业价值和经营水平的有效手段，这对企业的发展起到非常重要的作用。
企业数据管理系统在进行大数据建设时，会多次执行大量的数据处理任务，因此企业数据管理系统通常会同时执行多个数据处理任务以缩短建设周期，但若企业数据管理系统同时执行过多的数据处理任务，则会导致企业数据管理系统超载运行，企业数据管理系统超载运行则其任务处理效能会降低，从而导致数据处理任务的执行时长变长，执行时长变长的任务数过多反而会导致大数据建设的建设周期变长。
发明内容
本发明要解决的技术问题是如何提升企业数据管理系统的任务处理效能。
为解决上述技术问题，本发明提供一种任务处理效能实时评估预警方法，对企业数据管理系统中的每个正在多次执行的数据处理任务，在一次执行完毕后，比较本次执行时长和上次执行时长，若本次执行时长大于上次执行时长，则把该数据处理任务评估为处理效能降低；根据处理效能降低的任务数占总任务数的比例得出效能降低率，若效能降低率大于预警阈值，则向用户发出预警。
优选地，所述预警中包含有处理效能降低的任务的信息。
优选地，企业数据管理系统中，正在多次执行的数据处理任务有至少两个。
优选地，在评估每个数据处理任务的处理效能的过程中，根据每个数据处理任务的本次执行时长与上次执行时长之差来计算其波动时长；若所有数据处理任务的波动时长之和为正数，则评估企业数据管理系统趋向不健康，若所有数据处理任务的波动时长之和为负数，则评估企业数据管理系统趋向健康。
优选地，在计算出每个数据处理任务的波动时长后，根据每个数据处理任务的波长时长与上次执行时长之比来计算其波动率，数据处理任务波动率越大，则评估其对企业数据管理系统的健康影响程度越高。
优选地，在计算出每个数据处理任务的波动率后，根据每个数据处理任务的上次波动率与本次波动率之差来计算其同比波动差，数据处理任务同比波动差越小，则评估其执行稳定性越高。
优选地，企业数据管理系统中多次执行的数据处理任务在每次执行时生成执行日志，从所述执行日志中获取数据处理任务的本次执行时长和上次执行时长。
优选地，所述预警阈值为40％。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法中的步骤。
本发明还提供一种企业数据管理系统，包括相互连接的处理器和计算机可读存储介质，计算机可读存储介质如上述。
本发明具有以下有益效果：在得出效能降低率后，若效能降低率大于预警阈值，则向用户发出预警，用户在收到预警后可令企业数据管理系统减少同时执行的任务数，而企业数据管理系统在减少其同时执行的任务数后，其任务处理效能会提升，因此会减小企业数据管理系统的任务处理效能降低率，即减少执行时长变长的数据处理任务数，从而缩短大数据建设的建设周期。
具体实施方式：
下面将更详细地描述本申请的示例性实施例。虽然描述了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反地，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整地传达给本领域的技术人员。
企业数据管理系统在进行大数据建设时，会多次执行大量的数据处理任务，因此企业数据管理系统同时执行多个数据处理任务以缩短建设周期，企业数据管理系统在每次执行数据处理任务时，都会生成执行日志，执行日志中记录有数据处理任务的执行时长。
企业数据管理系统在进行大数据建设的过程中，先采集所有数据处理任务本次执行的和上次执行的执行日志，再从执行日志中获取每个正在多次执行的数据处理任务的本次执行时长和上次执行时长，在数据处理任务一次执行完毕后，将每个数据处理任务的本次执行时长与上次执行时长进行对比，从而评估每个数据处理任务的处理效能变化情况，以任务A、任务B和任务C为例：任务A本次执行时长为30分钟，上次执行时长为40分钟，即任务A本次执行时长小于上次执行时长，故评估任务A处理效能提升；任务B本次执行时长为40分钟，上次执行时长为30分钟，即任务B本次执行时长大于上次执行时长，故评估任务B处理效能降低；任务C本次执行时长为30分钟，上次执行时长也为30分钟，即任务C本次执行时长等于上次执行时长，故评估任务C处理效能不变。
在评估出每个数据处理任务的处理效能变化情况后，企业数据管理系统根据处理效能提升的任务数占总任务数的比例得出任务处理效能提升率，并根据处理效能降低的任务数占总任务数的比例得出任务处理效能降低率，在任务处理效能降低率大于预警阈值时发出预警，其中预警阈值设为40％。本实施例中，总任务数有1000个，其中300个任务处理效能提升，500个任务处理效能降低，则任务处理效能提升率为300/1000＝30％，任务处理效能降低率为500/1000＝50％，故任务处理效能降低率大于预警阈值，这意味着执行时长变长的数据处理任务数过多从而导致大数据建设的建设周期变长，即意味着企业数据管理系统超载运行，从而可得知企业数据管理系统同时执行的数据处理任务过多。企业数据管理系统包括显示器，因此企业数据管理系统会通过显示器向用户显示预警，显示器所显示的预警中包含有处理效能降低的数据处理任务的信息，用户在看到该预警后可得知具体是哪些数据处理任务的处理效能降低，并可令企业数据管理系统减少同时执行的数据处理任务数，而企业数据管理系统在减少其同时执行的任务数后，其任务处理效能会提升，因此会减小企业数据管理系统的任务处理效能降低率，即减少执行时长变长的数据处理任务数，从而缩短大数据建设的建设周期。
在评估每个数据处理任务的处理效能变化情况的过程中，还根据每个数据处理任务的本次执行时长与上次执行时长之差来计算其波动时长，即波动时长＝本次执行时长-上次执行时长。因此，任务A的波动时长为30-40＝-10分钟，任务B的波动时长为40-30＝10分钟，任务C的波动时长为30-30＝0。所有数据处理任务的波动时长之和为总体波动时长，若总体波动时长为正数，则意味着所有数据处理任务的本次总执行时长大于上次总执行时长，企业数据管理系统评估整体任务处理效能降低，这意味着企业数据管理系统整体趋向不健康；若总体波动时长为负数，则意味着所有数据处理任务的本次总执行时长小于上次总执行时长，企业数据管理系统评估整体任务处理效能提高，这意味着企业数据管理系统整体趋向健康。
在计算出每个数据处理任务的波动时长后，还根据每个数据处理任务的波长时长与上次执行时长之比来计算其波动率，即波动率＝波动时长/上次执行时长，波动率能反映每个数据处理任务的处理效能变化率，数据处理任务的处理效能变化率越大，说明该数据处理任务对企业数据管理系统的健康状况影响程度越高。本实施例中，企业数据管理系统还执行任务D和任务E，其中任务D的本次执行时长为35分钟，上次执行时长为40分钟，则任务D的波动时长＝本次执行时长-上次执行时长＝35-40＝-5分钟；任务E的本次执行时长为35分钟，上次执行时长为30分钟，则任务D的波动时长＝本次执行时长-上次执行时长＝35-30＝5分钟。因此，任务A的波动率为-10/40＝-25％，即任务A的处理效能变化率为提升25％；任务B的波动率为10/30＝33.3％，即任务B的处理效能变化率为降低33.3％；任务C的波动率为0/30＝0，即任务C的处理效能不变；任务D的波动率为-5/40＝-12.5％，即任务D的处理效能变化率为提升12.5％；任务E的波动率为5/30＝16.7％，即任务E的处理效能变化率为降低16.7％。因此，任务A对企业数据管理系统趋向健康的影响程度最高，任务B对企业数据管理系统趋向不健康的影响程度最高。
在计算出每个数据处理任务的波动率后，还根据每个数据处理任务的上次波动率与本次波动率之差来计算其同比波动差，即同比波动差＝上次波动率-本次波动率，同比波动差能反映每个数据处理任务的执行稳定性，数据处理任务的同比波动差绝对值越小，则其执行稳定性越好。本实施例中，以任务A、B、C为例，任务A的上上次执行时长为45分钟，任务B的上上次执行时长为25分钟，任务C的上上次执行时长为40分钟。因此，任务A上次波长时长＝上次执行时长-上上次执行时长＝40-45＝-5分钟，上次波动率＝上次波动时长/上上次执行时长＝-5/45＝-11.1％，同比波动差＝上次波动率-本次波动率＝-11.1％-(-25％)＝13.9％；任务B上次波动时长＝上次执行时长-上上次执行时长＝30-25＝5分钟，上次波动率＝上次波动时长/上上次执行时长＝5/25＝20％，同比波动差＝上次波动率-本次波动率＝25％-33.3％＝-8.3％；任务C上次波动时长＝上次执行时长-上上次执行时长＝30-40＝-10分钟，上次波动率＝上次波动时长/上上次执行时长＝-10/40＝-25％，同比波动率＝上次波动率-本次波动率＝-25％-0＝-25％。因此，任务B的同比波动差绝对值最小，其执行稳定性最好，任务C的同比波动差最大，其执行稳定性最差。
应当说明的是，以上实施例仅用以说明本申请的技术方案，而非对本申请保护范围的限制，尽管参照较佳实施例对本申请作了详细地说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或者等同替换，而不脱离本申请技术方案的实质和范围。

Claims (10)

1.任务处理效能实时评估预警方法，其特征是：对企业数据管理系统中的每个正在多次执行的数据处理任务，在一次执行完毕后，比较本次执行时长和上次执行时长，若本次执行时长大于上次执行时长，则把该数据处理任务评估为处理效能降低；根据处理效能降低的任务数占总任务数的比例得出效能降低率，若效能降低率大于预警阈值，则向用户发出预警。
2.根据权利要求1所述的任务处理效能实时评估预警方法，其特征是：所述预警中包含有处理效能降低的数据处理任务的信息。
3.根据权利要求1所述的任务处理效能实时评估预警方法，其特征是：企业数据管理系统中，正在多次执行的数据处理任务有至少两个。
4.根据权利要求3所述的任务处理效能实时评估预警方法，其特征是：在评估每个数据处理任务的处理效能的过程中，根据每个数据处理任务的本次执行时长与上次执行时长之差来计算其波动时长；若所有数据处理任务的波动时长之和为正数，则评估企业数据管理系统趋向不健康，若所有数据处理任务的波动时长之和为负数，则评估企业数据管理系统趋向健康。
5.根据权利要求4所述的任务处理效能实时评估预警方法，其特征是：在计算出每个数据处理任务的波动时长后，根据每个数据处理任务的波长时长与上次执行时长之比来计算其波动率，数据处理任务波动率越大，则评估其对企业数据管理系统的健康影响程度越高。
6.根据权利要求5所述的任务处理效能实时评估预警方法，其特征是：在计算出每个数据处理任务的波动率后，根据每个数据处理任务的上次波动率与本次波动率之差来计算其同比波动差，数据处理任务同比波动差越小，则评估其执行稳定性越高。
7.根据权利要求1所述的任务处理效能实时评估预警方法，其特征是：企业数据管理系统中多次执行的数据处理任务在每次执行时生成执行日志，从所述执行日志中获取数据处理任务的本次执行时长和上次执行时长。
8.根据权利要求1所述的任务处理效能实时评估预警方法，其特征是：所述预警阈值为40％。
9.计算机可读存储介质，其上存储有计算机程序，其特征是：所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法中的步骤。
10.企业数据管理系统，包括相互连接的处理器和计算机可读存储介质，其特征是：计算机可读存储介质如权利要求9所述。
CN202010094510.5A 2020-02-16 2020-02-16 任务处理效能实时评估预警方法、计算机可读存储介质及企业数据管理系统 Pending CN111324650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010094510.5A CN111324650A (zh) 2020-02-16 2020-02-16 任务处理效能实时评估预警方法、计算机可读存储介质及企业数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010094510.5A CN111324650A (zh) 2020-02-16 2020-02-16 任务处理效能实时评估预警方法、计算机可读存储介质及企业数据管理系统

Publications (1)

Publication Number Publication Date
CN111324650A true CN111324650A (zh) 2020-06-23

Family

ID=71167133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010094510.5A Pending CN111324650A (zh) 2020-02-16 2020-02-16 任务处理效能实时评估预警方法、计算机可读存储介质及企业数据管理系统

Country Status (1)

Country Link
CN (1) CN111324650A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650661A (zh) * 2020-12-29 2021-04-13 北京嘀嘀无限科技发展有限公司 数据处理质量控制方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103944779A (zh) * 2014-03-31 2014-07-23 中国移动（深圳）有限公司 一种wap业务性能监测方法及系统
CN106407085A (zh) * 2016-11-24 2017-02-15 中国银行股份有限公司 一种性能监控方法及装置
CN107241205A (zh) * 2016-03-28 2017-10-10 阿里巴巴集团控股有限公司 异常监控方法及装置
CN110134574A (zh) * 2019-04-19 2019-08-16 平安普惠企业管理有限公司 一种软件性能测试方法、系统、介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103944779A (zh) * 2014-03-31 2014-07-23 中国移动（深圳）有限公司 一种wap业务性能监测方法及系统
CN107241205A (zh) * 2016-03-28 2017-10-10 阿里巴巴集团控股有限公司 异常监控方法及装置
CN106407085A (zh) * 2016-11-24 2017-02-15 中国银行股份有限公司 一种性能监控方法及装置
CN110134574A (zh) * 2019-04-19 2019-08-16 平安普惠企业管理有限公司 一种软件性能测试方法、系统、介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650661A (zh) * 2020-12-29 2021-04-13 北京嘀嘀无限科技发展有限公司 数据处理质量控制方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
JP6771751B2 (ja) リスク評価方法およびシステム
WO2019104854A1 (zh) 性能测试评价方法、装置、终端设备及存储介质
US20090083717A1 (en) Benchmark profiling for distributed systems
CN111199018B (zh) 异常数据检测方法、装置、存储介质及电子设备
US10216530B2 (en) Method for mapping between virtual CPU and physical CPU and electronic device
US7561161B2 (en) Quantitative measure of a video interface
CN112132485A (zh) 一种指标数据处理方法、装置、电子设备及存储介质
US20230305880A1 (en) Cluster distributed resource scheduling method, apparatus and device, and storage medium
CN111324650A (zh) 任务处理效能实时评估预警方法、计算机可读存储介质及企业数据管理系统
US20110283283A1 (en) Determining multiprogramming levels
US8924797B2 (en) Identifying a dimension associated with an abnormal condition
CN115373888A (zh) 故障定位方法、装置、电子设备和存储介质
US20130275812A1 (en) Determining root cause
CN116471174B (zh) 一种日志数据监测系统、方法、装置和存储介质
CN110580265B (zh) Etl任务的处理方法、装置、设备及存储介质
JP4008699B2 (ja) 動作中のコンピュータシステムにおけるサービスレベル推定のための方法
CN109344025A (zh) Cpu性能自监控方法及服务器
CN108805458A (zh) 一种企业技术竞争力评估方法及装置
CN114860563A (zh) 应用程序测试方法、装置、计算机可读存储介质及设备
CN111352852A (zh) 一种回归测试案例的选择方法及装置
Wu et al. Box-Cox transformation approach for evaluating non-normal processes capability based on the Cpk index
CN115858324B (zh) 基于ai的it设备故障处理方法、装置、设备和介质
CN110598415B (zh) 一种安全漏洞应急响应触发判断方法及装置
CN115964349A (zh) 基于数据统计的系统用户体验优化控制方法及系统
CN115048291A (zh) 一种软件测试方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200623

RJ01 Rejection of invention patent application after publication