CN111858636A - 一种基于配置化管理的数据采集方法及系统 - Google Patents
一种基于配置化管理的数据采集方法及系统 Download PDFInfo
- Publication number
- CN111858636A CN111858636A CN202010736432.4A CN202010736432A CN111858636A CN 111858636 A CN111858636 A CN 111858636A CN 202010736432 A CN202010736432 A CN 202010736432A CN 111858636 A CN111858636 A CN 111858636A
- Authority
- CN
- China
- Prior art keywords
- data
- data acquisition
- acquisition
- model
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000007726 management method Methods 0.000 claims description 29
- 238000013499 data model Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 25
- 238000012795 verification Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000013524 data verification Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 16
- 238000013480 data collection Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/174—Form filling; Merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于配置化管理的数据采集方法及系统,属于大数据采集技术领域。基于配置化管理的数据采集方法将需要进行采集的数据对象抽象为数据对象模型,将需要采集的数据对象拥有的数据项抽象为数据对象模型属性,并对将要采集的数据对象进行配置,形成数据采集对象模型。基于配置化管理的数据采集系统,用于实现上述的方法,系统包括数据层、服务层、表现层和管控层。本发明通过配置快速实现不同应用场景下的数据采集需求,解决应急情况下的数据采集时效性问题,提高数据采集的效率。
Description
技术领域
本发明涉及大数据采集技术领域,具体地说是一种基于配置化管理的数据采集方法及系统。
背景技术
随着大数据时代的到来,对数据的收集、处理、挖掘、分析以及应用成为十分重要的工作,数据采集是数据利用的第一步,同时也是最重要的一步,如何按照数据采集的需求,快速的、高效的、正确的进行数据采集成为当今的一个重要课题。
发明内容
本发明的技术任务是针对以上不足之处,提供一种基于配置化管理的数据采集方法及系统,通过配置快速实现不同应用场景下的数据采集需求,解决应急情况下的数据采集时效性问题,提高数据采集的效率。
本发明解决其技术问题所采用的技术方案是:
一种基于配置化管理的数据采集方法,将需要进行采集的数据对象抽象为数据对象模型,将需要采集的数据对象拥有的数据项抽象为数据对象模型属性,并对将要采集的数据对象进行配置,形成数据采集对象模型。
该方法针对需要进行数据采集的数据对象,通过配置快速的实现数据采集需求,解决应急情况下的数据采集时效性问题。
优选的,对数据对象模型的配置包括校验规则、采集方式、可见范围以及是否需要审核,最终沉淀成数据采集对象模型,供后续数据采集使用。
优选的,该方法的实现包括:
创建数据模型:对需要采集的数据对象进行数据建模,生成数据模型,数据模型主要记录了数据源信息和数据表结构信息;
创建数据采集模型:选取已创建的数据模型,配置数据项的信息,包括校验规则、数据字典和数据类型;
发布数据采集事项:选取已创建的数据采集模型,配置采集事项的信息,包括可见范围、采集方式和事项所属组织机构;
数据采集及处理引擎:通过大数据批处理思想,将数据采集流程切分为数据读取、数据处理和数据写入,在数据处理中按照已配置的数据校验规则进行校验,通过后进行数据写入。
利用批处理技术对大批量采集上报的数据进行分组入库,使用此技术可以减少对数据库的频繁写操作,降低数据库压力。
优选的,还包括数据缓存,利用缓存技术将长期固定不变且需要频繁使用的数据对象模型信息、业务字典信息、数据源信息进行数据缓存,使用时优先从数据缓存中获取,若缓存中没有,再从数据库中进行获取并将数据放入缓存中进行保存。降低对数据库的读操作频率,提高程序的执行效率。
具体的,该方法的实现步骤如下:
1)、将需要进行数据采集的数据表结构抽象为数据模型,并将数据模型保存于系统数据库中,后续配置数据采集相关信息时使用;
2)、根据已保存的数据模型,为其配置每个数据项的信息,包括校验规则、数据字典项、数据类型和默认值等,并生成数据采集模型;
3)、选取已生成的数据采集模型,进行数据采集方式配置;
4)、选取已经配置完毕的数据采集对象,进行数据采集事项发布,配置数据采集信息,包括可见范围、事项所属机构、是否需要审批,并将数据采集事项发布上线;
5)、使用者通过数据采集事项进行数据上报,按照不同的数据采集方式,对上报的数据进行处理后入库;
6)、对于需要审核的上报数据,当审核人员对数据审核完成后,进入目标数据库表,对于不需要审核的上报数据,数据直接进入目标数据库表。
优选的,数据采集方式包括Excel模板导入、表单录入和/或接口接入,至少选择一种,并针对不同的采集方式配置Excel模板、表单和/或接口;
Excel模板采集方式通过配置后可生成Excel模板文件,供使用者下载使用;
表单录入采集方式通过配置后自动生成带有校验的表单,供使用者填报数据使用;
接口接入方式用过配置后自动生成接口API文档,使用者需要申请接口密钥进行后续的对接使用。
优选的,对采集上报的数据分组入库,
Excel模板导入方式通过获取用户上传的文件,首先进行模板检查,确认模板的正确性后,对上报的数据进行校验规则检查,对正确的数据进行入库,对异常数据提示具体问题并反馈用户,修改数据后继续上报;
表单录入方式,用户通过表单录入,不合格数据项会被表单直接拦截并提示,表单校验通过的数据进行入库;
接口接入方式,对已经申请接口密钥的客户端进行身份认证,认证通过后调用接口写入数据,对于写入的数据在服务端进行校验,校验通过的数据入库,未通过的数据反馈用户,并标注出问题的数据项。
本发明还要求保护一种基于配置化管理的数据采集系统,该系统用于实现上述的方法,系统包括数据层、服务层、表现层和管控层,
数据层用于提供数据采集目标库及数据采集配置信息;
服务层用于为系统运行提供核心功能,包括数据采集的数据读取、数据处理和数据写入;
表现层用于为系统用户使用者提供可视化界面展示以及操作界面;
管控层用于将数据层、服务层和表现层进行统筹调配和资源管控。
优选的,所述数据层包括关系数据库和内存数据库,关系数据库(如oracle、mysql)用于存储数据采集配置信息和采集的数据;内存数据库redis用于存储频繁操作的数据,以降低对关系型数据的操作频率,提高系统性能。
本发明还要求保护一种计算机可读介质,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行上述的方法。
本发明的一种基于配置化管理的数据采集方法及系统与现有技术相比,具有以下有益效果:
该方法和系统能够通过配置快速实现不同应用场景下的数据采集需求,能够解决应急情况下的数据采集时效性问题。
基于大数据批处理技术,能够解决数据采集过程中的复杂的数据处理逻辑,并将复杂的数据处理逻辑流程化,提高数据采集系统的可用性;
基于缓存技术,能够将频繁使用的数据缓存于redis数据库中,减少对数据的读写操作,提高数据采集系统的执行效能。
附图说明
图1是本发明一个实施例提供的基于配置化管理的数据采集系统结构图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
随着科技的不断发展,为应对各种紧急事件时的数据采集或者信息普查工作也都会采用信息化手段去完成,如今年爆发的“新冠”疫情的信息普查工作,就是需要在最快的时间内实现全国范围内的信息普查和数据采集工作,当应急事件来临时,从零开始进行信息化系统建设是完全不可能的,为了应对这种业务场景,本发明实施例提供了一种基于配置化管理的数据采集方法,利用数据建模、批处理技术、缓存技术等实现快速、准确、高可用的数据采集。
一种基于配置化管理的数据采集方法,将需要进行采集的数据对象抽象为数据对象模型,将需要采集的数据对象拥有的数据项抽象为数据对象模型属性,并对将要采集的数据对象进行校验规则、采集方式、可见范围、是否需要审核等配置,最终沉淀形成数据采集对象模型,供后续数据采集使用。
利用批处理技术,对大批量采集上报的数据进行分组入库,使用此技术可以减少对数据库的频繁写操作,降低数据库压力。
利用缓存技术,将长时间固定不变且需要频繁使用的数据对象模型信息、业务字典信息、数据源信息通过缓存技术将数据进行缓存,使用时通过缓存获取,降低对数据库的读操作频率,提高程序的执行效率。
利用大数据批处理思想,建立数据读、数据处理、数据写工作流程,每个部分各司其职,协同工作,提高程序可用性。
该方法的实现包括:
创建数据模型:对需要采集的数据对象进行数据建模,生成数据模型,数据模型主要记录了数据源信息和数据表结构信息;
创建数据采集模型:选取已创建的数据模型,配置数据项的校验规则、数据字典和数据类型等信息;
发布数据采集事项:选取已创建的数据采集模型,配置采集事项的可见范围、采集方式和事项所属组织机构等信息;
数据采集及处理引擎:通过大数据批处理思想,将数据采集流程切分为数据读取、数据处理和数据写入,在数据处理中按照已配置的数据校验规则进行校验,通过后进行数据写入;
数据缓存,利用缓存技术将长期固定不变的数据通过redis数据库进行数据缓存,使用时优先从数据缓存中获取,若缓存中没有,再从数据库中进行获取并将数据放入缓存中进行保存。
具体的,该方法的实现步骤如下:
1)、将需要进行数据采集的数据表结构抽象为数据模型,并将数据模型保存于系统数据库中,后续配置数据采集相关信息时使用;
2)、根据已保存的数据模型,为其配置每个数据项的校验规则、数据字典项、数据类型和默认值等信息,并生成数据采集模型;
3)、选取已生成的数据采集模型,进行数据采集方式配置,根据系统提供的数据采集方式:Excel模板导入、表单录入和接口方式,至少选择一种,并针对不同的采集方式配置Excel模板、表单和/或接口;
Excel模板采集方式通过配置后可生成Excel模板文件,供使用者下载使用;
表单录入采集方式通过配置后自动生成带有校验的表单,供使用者填报数据使用;
接口接入方式用过配置后自动生成接口API文档,使用者需要申请接口密钥进行后续的对接使用。
4)、选取已经配置完毕的数据采集对象,进行数据采集事项发布,配置数据采集可见范围、事项所属机构、是否需要审批等信息,并将数据采集事项发布上线;
5)、使用者通过数据采集事项进行数据上报,按照不同的数据采集方式,系统对上报的数据进行处理后入库;
Excel模板导入方式通过获取用户上传的文件,首先进行模板检查,确认模板的正确性后,对上报的数据进行校验规则检查,对正确的数据进行入库,对异常数据提示具体问题并反馈用户,修改数据后继续上报;
表单录入方式,用户通过表单录入,不合格数据项会被表单直接拦截并提示,表单校验通过的数据进行入库;
接口接入方式,对已经申请接口密钥的客户端进行身份认证,认证通过后调用接口写入数据,对于写入的数据在服务端进行校验,校验通过的数据入库,未通过的数据反馈用户,并标注出问题的数据项;
6)、对于需要审核的上报数据,当审核人员对数据审核完成后,进入目标数据库表,对于不需要审核的上报数据,数据直接进入目标数据库表。
本方法数据模型,可配置数据采集对象、大数据批处理、缓存技术,针对需要进行数据采集的数据对象,通过配置快速的实现数据采集需求;针对大批量数据上报,通过大数据批处理思想和技术,实现高可用的数据采集;对于频繁使用的数据,通过缓存技术将数据缓存到redis数据库中,实现数据快速获取且降低数据库压力,从而提高系统性能。
本发明实施例还提供了一种基于配置化管理的数据采集系统,该系统用于实现上述的基于配置化管理的数据采集方法,系统包括数据层、服务层、表现层和管控层。
其中,数据层作用是提供数据采集目标库及数据采集配置信息,包括关系数据库和内存数据库,关系数据库(如oracle、mysql)用于存储数据采集配置信息和采集的数据;内存数据库redis主要存储频繁操作的数据,以降低对关系型数据的操作频率,提高系统性能。
服务层主要作用是为系统运行提供核心功能,主要提供数据采集的数据读取、数据处理和数据写入;
表现层主要作用是为系统用户使用者提供可视化界面展示以及操作界面;
管控层主要作用是将数据层、服务层和表现层进行统筹调配和资源管控。
该基于配置化管理的数据采集系统结构如图1所示。
本发明实施例还提供一种计算机可读介质,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行本发明上述实施例中所述的基于配置化管理的数据采集方法。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
上文通过附图和优选实施例对本发明进行了详细展示和说明,然而本发明不限于这些已揭示的实施例,基与上述多个实施例本领域技术人员可以知晓,可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例,这些实施例也在本发明的保护范围之内。
Claims (10)
1.一种基于配置化管理的数据采集方法,其特征在于,将需要进行采集的数据对象抽象为数据对象模型,将需要采集的数据对象拥有的数据项抽象为数据对象模型属性,并对将要采集的数据对象进行配置,形成数据采集对象模型。
2.根据权利要求1所述的一种基于配置化管理的数据采集方法,其特征在于,对数据对象模型的配置包括校验规则、采集方式、可见范围以及是否需要审核。
3.根据权利要求1或2所述的一种基于配置化管理的数据采集方法,其特征在于,该方法的实现包括:
创建数据模型:对需要采集的数据对象进行数据建模,生成数据模型;
创建数据采集模型:选取已创建的数据模型,配置数据项的信息,包括校验规则、数据字典、数据类型;
发布数据采集事项:选取已创建的数据采集模型,配置采集事项的信息,包括可见范围、采集方式和事项所属组织机构;
数据采集及处理引擎:将数据采集流程切分为数据读取、数据处理、数据写入,在数据处理中按照已配置的数据校验规则进行校验,通过后进行数据写入。
4.根据权利要求3所述的一种基于配置化管理的数据采集方法,其特征在于,还包括数据缓存:将长期固定不变的数据进行数据缓存,使用时优先从数据缓存中获取,若缓存中没有,再从数据库中进行获取并将数据放入缓存中进行保存。
5.根据权利要求3所述的一种基于配置化管理的数据采集方法,其特征在于,其实现步骤如下:
1)、将需要进行数据采集的数据表结构抽象为数据模型,并将数据模型保存于系统数据库;
2)、根据已保存的数据模型,为其配置每个数据项的信息,包括校验规则、数据字典项、数据类型和默认值,并生成数据采集模型;
3)、选取已生成的数据采集模型,进行数据采集方式配置;
4)、选取已经配置完毕的数据采集对象,进行数据采集事项发布,配置数据采集信息,包括可见范围、事项所属机构、是否需要审批,并将数据采集事项发布上线;
5)、使用者通过数据采集事项进行数据上报,按照不同的数据采集方式,对上报的数据进行处理后入库;
6)、对于需要审核的上报数据,当审核人员对数据审核完成后,进入目标数据库表,对于不需要审核的上报数据,数据直接进入目标数据库表。
6.根据权利要求5所述的一种基于配置化管理的数据采集方法,其特征在于,数据采集方式包括Excel模板导入、表单录入和/或接口接入,针对不同的采集方式配置Excel模板、表单和/或接口。
7.根据权利要求6所述的一种基于配置化管理的数据采集方法,其特征在于,对采集上报的数据分组入库,
Excel模板导入方式通过获取用户上传的文件,首先进行模板检查,确认模板的正确性后,对上报的数据进行校验规则检查,对正确的数据进行入库,对异常数据提示具体问题并反馈用户,修改数据后继续上报;
表单录入方式,用户通过表单录入,不合格数据项会被表单直接拦截并提示,表单校验通过的数据进行入库;
接口接入方式,对已经申请接口密钥的客户端进行身份认证,认证通过后调用接口写入数据,对于写入的数据在服务端进行校验,校验通过的数据入库,未通过的数据反馈用户,并标注出问题的数据项。
8.一种基于配置化管理的数据采集系统,其特征在于,该系统用于实现权利要求1-7任一项所述的方法,系统包括数据层、服务层、表现层和管控层,
数据层用于提供数据采集目标库及数据采集配置信息;
服务层用于为系统运行提供核心功能,包括数据采集的数据读取、数据处理和数据写入;
表现层用于为系统用户使用者提供可视化界面展示以及操作界面;
管控层用于将数据层、服务层和表现层进行统筹调配和资源管控。
9.根据权利要求8所述的一种基于配置化管理的数据采集系统,其特征在于,所述数据层包括关系数据库和内存数据库,关系数据库用于存储数据采集配置信息和采集的数据;内存数据库用于存储频繁操作的数据。
10.计算机可读介质,其特征在于,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行权利要求1至7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010736432.4A CN111858636A (zh) | 2020-07-28 | 2020-07-28 | 一种基于配置化管理的数据采集方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010736432.4A CN111858636A (zh) | 2020-07-28 | 2020-07-28 | 一种基于配置化管理的数据采集方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111858636A true CN111858636A (zh) | 2020-10-30 |
Family
ID=72948724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010736432.4A Pending CN111858636A (zh) | 2020-07-28 | 2020-07-28 | 一种基于配置化管理的数据采集方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111858636A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988875A (zh) * | 2021-04-08 | 2021-06-18 | 北京澎思科技有限公司 | 一种多维数据采集装置、系统及方法 |
CN113344543A (zh) * | 2021-06-24 | 2021-09-03 | 北京红山信息科技研究院有限公司 | 一种防疫数据管理系统 |
-
2020
- 2020-07-28 CN CN202010736432.4A patent/CN111858636A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988875A (zh) * | 2021-04-08 | 2021-06-18 | 北京澎思科技有限公司 | 一种多维数据采集装置、系统及方法 |
CN113344543A (zh) * | 2021-06-24 | 2021-09-03 | 北京红山信息科技研究院有限公司 | 一种防疫数据管理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109783482B (zh) | 一种数据违规监控方法及装置 | |
CN110162516A (zh) | 一种基于海量数据处理的数据治理的方法及系统 | |
CN111858636A (zh) | 一种基于配置化管理的数据采集方法及系统 | |
CN109872230B (zh) | 金融数据分析系统的测试方法、装置、介质、电子设备 | |
CN111124917A (zh) | 公共测试用例的管控方法、装置、设备及存储介质 | |
CN111445299A (zh) | 发票开具方法及设备 | |
CN110865806B (zh) | 代码处理方法、装置、服务器及存储介质 | |
CN115526605A (zh) | 基于企业内部控制管理的审批方法及系统 | |
CN112051992A (zh) | 基于征信报告生成的数据处理方法及系统 | |
US20140278820A1 (en) | Managing the Topology of Software Licenses in Heterogeneous and Virtualized Environments | |
US8527446B2 (en) | Information integrity rules framework | |
CN113157779A (zh) | 数据图表生成方法与装置 | |
CN114969115A (zh) | 基于标准化元数据体系的数据管理方法和系统 | |
US11651281B2 (en) | Feature catalog enhancement through automated feature correlation | |
WO2018206819A1 (en) | Data storage method and apparatus | |
CN114637672A (zh) | 自动化数据测试方法、装置、计算机设备及存储介质 | |
CN114356454A (zh) | 对账数据处理方法、设备、存储介质及程序产品 | |
CN111767222A (zh) | 数据模型的验证方法、装置、电子设备、存储介质 | |
CN112130838A (zh) | 交易数据处理方法及装置 | |
CN111047283A (zh) | 一种基于mRMR算法的员工离职倾向预测的系统及识别方法 | |
KR101737575B1 (ko) | 자동 생성된 sql 구문 기반의 데이터 검증 방법 및 장치 | |
CN114327377B (zh) | 需求跟踪矩阵生成方法、装置、计算机设备及存储介质 | |
JP2020087087A (ja) | 修正候補特定プログラム | |
CN116661758B (zh) | 一种优化日志框架配置的方法、装置、电子设备及介质 | |
CN115423595B (zh) | 文件信息处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |