CN110162516A - 一种基于海量数据处理的数据治理的方法及系统 - Google Patents

一种基于海量数据处理的数据治理的方法及系统 Download PDF

Info

Publication number
CN110162516A
CN110162516A CN201910444787.3A CN201910444787A CN110162516A CN 110162516 A CN110162516 A CN 110162516A CN 201910444787 A CN201910444787 A CN 201910444787A CN 110162516 A CN110162516 A CN 110162516A
Authority
CN
China
Prior art keywords
data
rule
base
business
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910444787.3A
Other languages
English (en)
Other versions
CN110162516B (zh
Inventor
宋晗
王博
张鑫慧
蒋宽
王为选
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Co Ltd
Original Assignee
Inspur Software Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Group Co Ltd filed Critical Inspur Software Group Co Ltd
Priority to CN201910444787.3A priority Critical patent/CN110162516B/zh
Publication of CN110162516A publication Critical patent/CN110162516A/zh
Application granted granted Critical
Publication of CN110162516B publication Critical patent/CN110162516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于海量数据处理的数据治理的方法及系统，属于海量数据处理领域，本发明要解决的技术问题为如何能够对庞大的数据快速、准确的定位出问题并做到问题数据有源可寻、有据可依、有错必改，采用的技术方案为：①该方法基于大数据批处理框架，采用分布式计算思想，将数据与业务含义进行绑定，在海量数据中进行校验和运算，将问题数据输出并按照json格式结构进行保存；具体步骤如下：S1、建立业务数据库、标准数据库、基础规则库和错误数据库；S2、检测基础规则库；S3、建立业务规则库；S4、建立数据检测模板；S5、制定数据质量检测任务；S6、启动数据质量检测任务。②该系统包括数据层、服务层、表现层和管控层。

Description

一种基于海量数据处理的数据治理的方法及系统
技术领域
本发明涉及海量数据处理领域，具体地说是一种基于海量数据处理的数据治理的方法及系统。
背景技术
随着数据技术时代的来临，数据已成为企业的核心资产和创新驱动力，在电信、电网、银行、保险、证券、流通、传媒、汽车、家电、食品等行业都有极为广泛的应用。
在信息化飞速发展的今天，大数据已经是信息化的必然产物，对大数据进行深度挖掘和分析更是重中之重。而数据质量则成为了大数据分析重要指标，只有在数据质量较好的数据中进行深度挖掘和深度分析才能获取最有价值的数据信息。
在大数据时代，对海量数据的深度挖掘和深度分析成为了对趋势预测和靶向性分析基础要素，对海量数据治理成为提高数据质量的首要任务，如何能够对庞大的数据快速、准确的定位出问题并做到问题数据有源可寻、有据可依、有错必改是目前现有技术中急需解决的技术问题。
专利号为CN109299083A的专利文献公开了一种数据治理系统，包括：权限管理模块，用于对用户的身份信息进行验证，并根据验证结果授予用户操作权限；数据源管理模块，用于从数据源数据库中获取待治理数据，并将待治理数据发送至数据治理模块；任务构建模块，用于获取用户输入的数据治理要求，根据数据治理要求及用户操作权限为待治理数据构建数据治理任务；数据治理模块，用于接收待治理数据，并根据数据治理任务对待治理数据进行数据治理，生成治理结果。但是该技术方案不能对庞大的数据快速、准确的定位出问题并做到问题数据有源可寻、有据可依、有错必改。
发明内容
本发明的技术任务是提供一种基于海量数据处理的数据治理的方法及系统，来解决如何能够对庞大的数据快速、准确的定位出问题并做到问题数据有源可寻、有据可依、有错必改的问题。
本发明的技术任务是按以下方式实现的，一种基于海量数据处理的数据治理的方法，该方法基于大数据批处理框架，采用分布式计算思想，将数据与业务含义进行绑定，在海量数据中进行校验和运算，将问题数据输出并按照json格式结构进行保存，确保对问题数据有源可寻、有据可依、有错必改；具体步骤如下：
S1、建立业务数据库、标准数据库、基础规则库和错误数据库；
S2、检测基础规则库：根据业务场景和行业线提取基础规则库，对数据质量进行检测；
S3、建立业务规则库：根据数据的业务含义将数据与业务进行绑定，选取字段，将字段与数据完整性基础规则绑定成为具有业务含义的业务规则，将抽象的基础规则转化为具有指定业务含义的业务规则，业务规则汇集成为业务规则库；
S4、建立数据检测模板：将具有业务含义的业务规则按照数据规范或者使用者拟定的数据规范聚合成数据检测模板，方便后续数据检测；
S5、制定数据质量检测任务：按照数据规范或者使用者要求的数据规范，选取数据范围、数据量、检测频次和数据检测模板；
S6、启动数据质量检测任务：被选定的数据将会在数据检测模板包含的业务规则下进行分布式内存运算。
作为优选，所述步骤S1中的业务数据库是指支持系统运行的原始数据库，原始数据库用于保存业务原始数据，通过对业务数据库管理，能够方便在数据质量检测时，选取需要检测的数据表和相关数据。
作为优选，所述步骤S1中的标准数据库指按照数据规范或者使用者拟定的数据规范进行建立的数据库，标准数据库保存的数据是通过数据质量检测的数据以及经检测存在问题并修改后的数据。
更优地，所述步骤S1中的基础规则库通过对通用的数据校验逻辑提取出基础规则模型，保证基础规则的通用性以及可扩展性。
更优地，所述步骤S1中的错误数据库将经过数据质量检测的问题数据保存，同时记录问题原因，并为问题数据治理提供的方案和建议。
更优地，所述步骤S2中的检测基础规则库是基于数据完整性、数据有效性、数据正确性、数据冗余性和数据时效性按类别抽查，同时涉及限定数据格式、数据字典项、数据项是否完整的基础规则。
更优地，所述步骤S6中被选定的数据将会在数据检测模板包含的业务规则下进行分布式内存运算的具体步骤如下：
S601、按照任务检查执行线程数，将待检测数据进行分片处理；
S602、按照数据检测模板包含的检测规则进行计算；
S603、计算完成后将计算结果合并，将结果数据及问题数据保存至非关系型数据库mangoDB中。
一种基于海量数据处理的数据治理的系统，该系统包括数据层、服务层、表现层和管控层；
其中，数据层用于提供基础数据和保存结果数据；
服务层用于为系统运行提供核心功能；
表现层用于为系统用户使用者提供可视化界面展示及操作界面；
管控层用于将数据层、服务层和表现层进行统筹调配和资源管控；管控层包括基础规则库、业务规则库、业务数据库和分布式内存计算单元。
作为优选，所述数据层包括关系型数据库和非关系型数据库mangoDB；
其中，关系型数据库采用oracle，关系型数据库用于存储业务数据库、标准数据库库、基础规则库、业务规则库的数据，作为系统运行的基础数据；
非关系型数据库mangoDB用于存储错误数据库的数据，即存储数据质量检测后生成的错误数据。
作为优选，所述服务层包括业务规则库和分布式内存计算单元；
其中，业务规则库用于提供数据检测的规则；业务规则库的数据具有关联性、正确性、完整性和冗余性；
分布式内存计算单元用于提供快速检测和结果结算；分布式内存计算单元对数据的计算包括数据分片、多节点、并行计算以及运算结果合并。
本发明的基于海量数据处理的数据治理的方法及系统具有以下优点：
(一)、本发明能够快速、有效的分析出海量数据中的数据质量问题，并能够将问题数据完整的列出，并提供对问题数据溯源和修改；
(二)、本发明通过对海量数据的业务含义分析、分布式运算技术，快速准确的定位大数据中的问题数据，并且提供完整的数据治理解决方案，对问题数据做到有源可寻、有据可依、有错必改，并且对问题数据出现的源头进行业务指导，对源头数据正确性提出改造建议；
(三)、本发明对海量数据业务含义数据质量检测，能够快速准确的定位出问题数据，并将问题数据已数据报告的方式列出，对数据治理有指导性意义；
(四)、本发明基于数据的业务含义对业务数据进行，能够适应各种业务场景和不同行业线；
(五)、本发明采用分布式内存运算，将单条数据质量检测时间控制在秒级别，提高了数据质量检测的时效。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于海量数据处理的数据治理的方法的流程框图；
附图2为基于海量数据处理的数据治理的系统的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种基于海量数据处理的数据治理的方法及系统作以下详细地说明。
实施例1：
如附图1所示，本发明的基于海量数据处理的数据治理的方法，该方法基于大数据批处理框架，采用分布式计算思想，将数据与业务含义进行绑定，在海量数据中进行校验和运算，将问题数据输出并按照json格式结构进行保存，确保对问题数据有源可寻、有据可依、有错必改；具体步骤如下：
S1、建立业务数据库、标准数据库、基础规则库和错误数据库；其中，业务数据库是指支持系统运行的原始数据库，原始数据库用于保存业务原始数据，通过对业务数据库管理，能够方便在数据质量检测时，选取需要检测的数据表和相关数据；标准数据库指按照数据规范或者使用者拟定的数据规范进行建立的数据库，标准数据库保存的数据是通过数据质量检测的数据以及经检测存在问题并修改后的数据；基础规则库通过对通用的数据校验逻辑提取出基础规则模型，保证基础规则的通用性以及可扩展性；错误数据库将经过数据质量检测的问题数据保存，同时记录问题原因，并为问题数据治理提供的方案和建议。
S2、检测基础规则库：根据业务场景和行业线提取基础规则库，对数据质量进行检测；检测基础规则库是基于数据完整性、数据有效性、数据正确性、数据冗余性和数据时效性按类别抽查，同时涉及限定数据格式、数据字典项、数据项是否完整的基础规则。
S3、建立业务规则库：根据数据的业务含义将数据与业务进行绑定，选取字段，将字段与数据完整性基础规则绑定成为具有业务含义的业务规则，将抽象的基础规则转化为具有指定业务含义的业务规则，业务规则汇集成为业务规则库；
S4、建立数据检测模板：将具有业务含义的业务规则按照数据规范或者使用者拟定的数据规范聚合成数据检测模板，方便后续数据检测；
S5、制定数据质量检测任务：按照数据规范或者使用者要求的数据规范，选取数据范围、数据量、检测频次和数据检测模板；
S6、启动数据质量检测任务：被选定的数据将会在数据检测模板包含的业务规则下进行分布式内存运算，具体步骤如下：
S601、按照任务检查执行线程数，将待检测数据进行分片处理；
S602、按照数据检测模板包含的检测规则进行计算；
S603、计算完成后将计算结果合并，将结果数据及问题数据保存至非关系型数据库mangoDB中。
实施例2：
如附图2所示，本发明的基于海量数据处理的数据治理的系统，该系统包括数据层、服务层、表现层和管控层；
其中，数据层用于提供基础数据和保存结果数据；数据层包括关系型数据库和非关系型数据库mangoDB；关系型数据库采用oracle，关系型数据库用于存储业务数据库、标准数据库库、基础规则库、业务规则库的数据，作为系统运行的基础数据；非关系型数据库mangoDB用于存储错误数据库的数据，即存储数据质量检测后生成的错误数据。
服务层用于为系统运行提供核心功能；服务层包括业务规则库和分布式内存计算单元；业务规则库用于提供数据检测的规则；业务规则库的数据具有关联性、正确性、完整性和冗余性；分布式内存计算单元用于提供快速检测和结果结算；分布式内存计算单元对数据的计算包括数据分片、多节点、并行计算以及运算结果合并。
表现层用于为系统用户使用者提供可视化界面展示及操作界面；
管控层用于将数据层、服务层和表现层进行统筹调配和资源管控；管控层包括基础规则库、业务规则库、业务数据库和分布式内存计算单元。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于海量数据处理的数据治理的方法，其特征在于，该方法基于大数据批处理框架，采用分布式计算思想，将数据与业务含义进行绑定，在海量数据中进行校验和运算，将问题数据输出并按照json格式结构进行保存，确保对问题数据有源可寻、有据可依、有错必改；具体步骤如下：
S1、建立业务数据库、标准数据库、基础规则库和错误数据库；
S2、检测基础规则库：根据业务场景和行业线提取基础规则库，对数据质量进行检测；
S3、建立业务规则库：根据数据的业务含义将数据与业务进行绑定，选取字段，将字段与数据完整性基础规则绑定成为具有业务含义的业务规则，将抽象的基础规则转化为具有指定业务含义的业务规则，业务规则汇集成为业务规则库；
S4、建立数据检测模板：将具有业务含义的业务规则按照数据规范或者使用者拟定的数据规范聚合成数据检测模板，方便后续数据检测；
S5、制定数据质量检测任务：按照数据规范或者使用者要求的数据规范，选取数据范围、数据量、检测频次和数据检测模板；
S6、启动数据质量检测任务：被选定的数据将会在数据检测模板包含的业务规则下进行分布式内存运算。
2.根据权利要求1所述的基于海量数据处理的数据治理的方法，其特征在于，所述步骤S1中的业务数据库是指支持系统运行的原始数据库，原始数据库用于保存业务原始数据，通过对业务数据库管理，能够方便在数据质量检测时，选取需要检测的数据表和相关数据。
3.根据权利要求1或2所述的基于海量数据处理的数据治理的方法，其特征在于，所述步骤S1中的标准数据库指按照数据规范或者使用者拟定的数据规范进行建立的数据库，标准数据库保存的数据是通过数据质量检测的数据以及经检测存在问题并修改后的数据。
4.根据权利要求3所述的基于海量数据处理的数据治理的方法，其特征在于，所述步骤S1中的基础规则库通过对通用的数据校验逻辑提取出基础规则模型，保证基础规则的通用性以及可扩展性。
5.根据权利要求4所述的基于海量数据处理的数据治理的方法，其特征在于，所述步骤S1中的错误数据库将经过数据质量检测的问题数据保存，同时记录问题原因，并为问题数据治理提供的方案和建议。
6.根据权利要求5所述的基于海量数据处理的数据治理的方法，其特征在于，所述步骤S2中的检测基础规则库是基于数据完整性、数据有效性、数据正确性、数据冗余性和数据时效性按类别抽查，同时涉及限定数据格式、数据字典项、数据项是否完整的基础规则。
7.根据权利要求6所述的基于海量数据处理的数据治理的方法，其特征在于，所述步骤S6中被选定的数据将会在数据检测模板包含的业务规则下进行分布式内存运算的具体步骤如下：
S601、按照任务检查执行线程数，将待检测数据进行分片处理；
S602、按照数据检测模板包含的检测规则进行计算；
S603、计算完成后将计算结果合并，将结果数据及问题数据保存至非关系型数据库mangoDB中。
8.一种基于海量数据处理的数据治理的系统，其特征在于，该系统包括数据层、服务层、表现层和管控层；
其中，数据层用于提供基础数据和保存结果数据；
服务层用于为系统运行提供核心功能；
表现层用于为系统用户使用者提供可视化界面展示及操作界面；
管控层用于将数据层、服务层和表现层进行统筹调配和资源管控；管控层包括基础规则库、业务规则库、业务数据库和分布式内存计算单元。
9.根据权利要求8所述的基于海量数据处理的数据治理的方法，其特征在于，所述数据层包括关系型数据库和非关系型数据库mangoDB；
其中，关系型数据库采用oracle，关系型数据库用于存储业务数据库、标准数据库库、基础规则库、业务规则库的数据，作为系统运行的基础数据；
非关系型数据库mangoDB用于存储错误数据库的数据，即存储数据质量检测后生成的错误数据。
10.根据权利要求8所述的基于海量数据处理的数据治理的方法，其特征在于，所述服务层包括业务规则库和分布式内存计算单元；
其中，业务规则库用于提供数据检测的规则；
分布式内存计算单元用于提供快速检测和结果结算。
CN201910444787.3A 2019-05-27 2019-05-27 一种基于海量数据处理的数据治理的方法及系统 Active CN110162516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910444787.3A CN110162516B (zh) 2019-05-27 2019-05-27 一种基于海量数据处理的数据治理的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910444787.3A CN110162516B (zh) 2019-05-27 2019-05-27 一种基于海量数据处理的数据治理的方法及系统

Publications (2)

Publication Number Publication Date
CN110162516A true CN110162516A (zh) 2019-08-23
CN110162516B CN110162516B (zh) 2022-11-01

Family

ID=67632906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910444787.3A Active CN110162516B (zh) 2019-05-27 2019-05-27 一种基于海量数据处理的数据治理的方法及系统

Country Status (1)

Country Link
CN (1) CN110162516B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633301A (zh) * 2019-09-19 2019-12-31 浪潮软件集团有限公司 一种基于引擎设置抽取数据的方法及系统
CN111291031A (zh) * 2020-01-22 2020-06-16 北京明略软件系统有限公司 一种数据修正方法及装置
CN111400365A (zh) * 2020-02-26 2020-07-10 杭州美创科技有限公司 基于标准sql下的业务系统数据质量检测方法
CN111475494A (zh) * 2020-03-05 2020-07-31 苏州浪潮智能科技有限公司 一种海量数据处理方法、系统、终端及存储介质
CN111858636A (zh) * 2020-07-28 2020-10-30 浪潮云信息技术股份公司 一种基于配置化管理的数据采集方法及系统
CN112231312A (zh) * 2020-10-29 2021-01-15 山东超越数控电子股份有限公司 一种基于流程的数据质量校验方法
CN112685401A (zh) * 2021-01-22 2021-04-20 浪潮云信息技术股份公司 一种数据质量检测系统及方法
CN113242157A (zh) * 2021-05-08 2021-08-10 国家计算机网络与信息安全管理中心 一种分布式处理环境下的集中式数据质量监测方法
CN113762735A (zh) * 2021-08-18 2021-12-07 江苏电力信息技术有限公司 一种基于规则库的数据质量治理系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002951910A0 (en) * 2002-10-04 2002-10-24 Tenix Industries Pty Limited Data quality and integrity engine
CN101118550A (zh) * 2007-09-04 2008-02-06 山东浪潮齐鲁软件产业股份有限公司 一种应用数据质量检测方法
WO2018107610A1 (zh) * 2016-12-15 2018-06-21 平安科技（深圳）有限公司 业务数据处理方法、系统、设备及计算机可读存储介质
CN108268462A (zh) * 2016-12-30 2018-07-10 广东精点数据科技股份有限公司 一种关系完整性的数据质量检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002951910A0 (en) * 2002-10-04 2002-10-24 Tenix Industries Pty Limited Data quality and integrity engine
CN101118550A (zh) * 2007-09-04 2008-02-06 山东浪潮齐鲁软件产业股份有限公司 一种应用数据质量检测方法
WO2018107610A1 (zh) * 2016-12-15 2018-06-21 平安科技（深圳）有限公司 业务数据处理方法、系统、设备及计算机可读存储介质
CN108268462A (zh) * 2016-12-30 2018-07-10 广东精点数据科技股份有限公司 一种关系完整性的数据质量检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张自强等: "基于大数据技术的运营监测(控)领域数据质量管控研究", 《电气应用》 *
袁满等: "一种基于规则的数据质量评价模型", 《计算机技术与发展》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633301A (zh) * 2019-09-19 2019-12-31 浪潮软件集团有限公司 一种基于引擎设置抽取数据的方法及系统
CN110633301B (zh) * 2019-09-19 2023-06-02 浪潮软件集团有限公司 一种基于引擎设置抽取数据的方法及系统
CN111291031A (zh) * 2020-01-22 2020-06-16 北京明略软件系统有限公司 一种数据修正方法及装置
CN111400365A (zh) * 2020-02-26 2020-07-10 杭州美创科技有限公司 基于标准sql下的业务系统数据质量检测方法
CN111400365B (zh) * 2020-02-26 2023-09-19 杭州美创科技股份有限公司 基于标准sql下的业务系统数据质量检测方法
CN111475494A (zh) * 2020-03-05 2020-07-31 苏州浪潮智能科技有限公司 一种海量数据处理方法、系统、终端及存储介质
CN111858636A (zh) * 2020-07-28 2020-10-30 浪潮云信息技术股份公司 一种基于配置化管理的数据采集方法及系统
CN112231312A (zh) * 2020-10-29 2021-01-15 山东超越数控电子股份有限公司 一种基于流程的数据质量校验方法
CN112685401A (zh) * 2021-01-22 2021-04-20 浪潮云信息技术股份公司 一种数据质量检测系统及方法
CN113242157A (zh) * 2021-05-08 2021-08-10 国家计算机网络与信息安全管理中心 一种分布式处理环境下的集中式数据质量监测方法
CN113242157B (zh) * 2021-05-08 2022-12-09 国家计算机网络与信息安全管理中心 一种分布式处理环境下的集中式数据质量监测方法
CN113762735A (zh) * 2021-08-18 2021-12-07 江苏电力信息技术有限公司 一种基于规则库的数据质量治理系统及方法

Also Published As

Publication number Publication date
CN110162516B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN110162516A (zh) 一种基于海量数据处理的数据治理的方法及系统
WO2019085061A1 (zh) 基金系统自动化测试管理方法、装置、设备及存储介质
US9229845B1 (en) Testing using production data in scalable pre-production environments
US9740595B2 (en) Method and apparatus for producing a benchmark application for performance testing
US10552304B2 (en) Using test workload run facts and problem discovery data as input for business analytics to determine test effectiveness
CN104657274B (zh) 软件界面测试方法及装置
CN110515830A (zh) 操作轨迹可视化方法、装置、设备及存储介质
CN111190814B (zh) 软件测试用例的生成方法、装置、存储介质及终端
CN109871312A (zh) 一种接口测试方法、装置、设备及可读存储介质
CN105868956A (zh) 一种数据处理方法及装置
CN110308926B (zh) 软件信息展示方法、装置、计算机装置及计算机存储介质
EP2923267B1 (en) Method and system for providing a net effect platform for developing and correcting screen scraping parser scripts
CN110362630A (zh) 数据管理方法、装置、设备与计算机可读存储介质
CN106445799A (zh) 软件测试方法及装置
CN106649121A (zh) 一种测试结果分析方法及装置
KR100969877B1 (ko) 품질테스트자동화시스템
CN110134609A (zh) 企业级web应用系统页面性能检测方法、装置及介质
CN111933228B (zh) 用于临床研究中的项目分发与管理系统的实现方法和装置
CN114780434A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN106909499A (zh) 测试方法和装置
CN110309054B (zh) 代码有效性测试方法、计算设备及存储介质
CN112306774A (zh) 一种预测存储设备性能的方法和系统
Brito et al. Investigating measures for applying statistical process control in software organizations
CN111047283A (zh) 一种基于mRMR算法的员工离职倾向预测的系统及识别方法
CN110750569A (zh) 数据提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221010

Address after: 271000 Langchao science and Technology Park, 527 Dongyue street, Tai'an City, Shandong Province

Applicant after: INSPUR SOFTWARE Co.,Ltd.

Address before: 250100 Ji'nan hi tech Zone No. 2877, Shandong Province

Applicant before: INSPUR GROUP Co.,Ltd.

GR01 Patent grant
GR01 Patent grant