CN112612812A - 一种多系统数据的处理方法及装置 - Google Patents
一种多系统数据的处理方法及装置 Download PDFInfo
- Publication number
- CN112612812A CN112612812A CN202011560931.9A CN202011560931A CN112612812A CN 112612812 A CN112612812 A CN 112612812A CN 202011560931 A CN202011560931 A CN 202011560931A CN 112612812 A CN112612812 A CN 112612812A
- Authority
- CN
- China
- Prior art keywords
- index
- data
- processing
- sql
- indexes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种多系统数据的处理方法，包括：获取多个业务系统的数据；确定数据处理的指标属性和参数属性；根据所述指标属性将取数方式确定为Sql类型指标，手工类型指标，公式类指标和汇总类指标；对不同的取数方式，选取对应的参数属性和数据处理方法，对业务系统的数据进行处理。为需要进行数据分析或者使用数据的业务单元提供按照标准输出的数据，能够解决多用途需要的数据在集中处理上的问题，提供统一的编辑处理方式，利用SQL、公式、录入等方式，对各种数据进行编辑处理后以需要的形式提供，以满足各业务系统的需求。
Description
技术领域
本申请涉及数据处理领域，具体涉及一种多系统数据的处理方法，同时涉及一种多系统数据的处理装置。
背景技术
现有对不同系统进行数据处理的方法，是根据不同的数据类型采取不同的计算方法，这样不能集中对数据进行统一处理，从而导致经过处理后的数据不能满足各业务系统的需求。
发明内容
为解决上述问题，本申请提供一种多系统数据的处理方法，包括：
获取多个业务系统的数据；
确定数据处理的指标属性和参数属性；
根据所述指标属性将取数方式确定为Sql类型指标，手工类型指标，公式类指标和汇总类指标；
对不同的取数方式，选取对应的参数属性和数据处理方法，对业务系统的数据进行处理。
优选的，确定数据处理的指标属性和参数属性，其中，指标属性至少包括指标的频度、维度、来源、名称和单位属性中的一种；参数属性至少包括字段、应用范围属性中的一种。
优选的，对不同的取数方式，选取对应的参数属性和数据处理方法，对业务系统的数据进行处理，包括：
Sql类型指标，通过Sql语句调取各业务系统的后台数据，通过编写shell或者脚本进行数据抽取，处理和转换；
手工类型指标，通过调取接口从手工的档案表中取数据，匹配维度中存在的对象值，针对机构和人员进行匹配，匹配失败继续选择下条值；
公式类指标，通过提前预置公式，将Sql调取出来的片段作为基础指标进行加工，对接接口从基础指标对预置公式进行解析；
汇总类指标，从下级指标逐级进行向上汇总。
优选的，Sql类型指标，通过Sql语句调取各业务系统的后台数据，通过编写shell或者脚本进行处理数据抽取，处理和转换的步骤之后，还包括：
查看数据库文件目录中是否存在文件，若否，则将数据存入数据库。
优选的，手工类型指标，通过调取接口从手工的档案表中取数据，匹配维度中存在的对象值，针对机构和人员进行匹配，匹配失败继续选择下条值的步骤之后，还包括：
匹配成功，则将对象、指标和结果值插入结果集表，同时将对象插入维度表进行存储。
优选的，还包括：将指标的计算分为单指标计算和复合指标计算，在计算完成后，产生废弃指标和需校验指标，对所述废弃指标和需校验指标进行Sql校验检查，如果无修改或不再使用的指标进行封存。
优选的，所述如果无修改或不再使用的指标进行封存之后，可重新启用或编辑。
本申请同时提供一种多系统数据的处理装置，包括：
数据获取单元，用于获取多个业务系统的数据；
属性确定单元，用于确定数据处理的指标属性和参数属性；
取数方式分类单元，用于根据所述指标属性将取数方式确定为Sql类型指标，手工类型指标，公式类指标和汇总类指标；
数据处理单元，用于对不同的取数方式，选取对应的参数属性和数据处理方法，对业务系统的数据进行处理。
优选的，取数方式分类单元，包括：
Sql类型指标处理子单元，通过Sql语句调取各业务系统的后台数据，通过编写shell或者脚本进行数据抽取，处理和转换；
手工类型指标处理子单元，通过调取接口从手工的档案表中取数据，匹配维度中存在的对象值，针对机构和人员进行匹配，匹配失败继续选择下条值；
公式类指标处理子单元，通过提前预置公式，将Sql调取出来的片段作为基础指标进行加工，对接接口从基础指标对预置公式进行解析；
汇总类指标处理子单元，从下级指标逐级进行向上汇总。
优选的，还包括：
指标计算单元，将指标的计算分为单指标计算和复合指标计算，在计算完成后，产生废弃指标和需校验指标，对所述废弃指标和需校验指标进行Sql校验检查，如果无修改或不再使用的指标进行封存。
附图说明
图1是本申请提供的一种多系统数据的处理方法的流程示意图；
图2是本申请涉及的采用不同方式对多系统的业务数据进行处理的流程图；
图3是本申请提供的一种多系统数据的处理装置示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请提供的一种多系统数据的处理方法的流程图如图1所示，下面结合图1对本申请提供的方法进行详细说明。
步骤S101，获取多个业务系统的数据。
大数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节，其中，数据收集阶段，是将多个系统的数据进行收集，但是由于每个系统的数据库在设计时，就存在差异，所以，这就导致每个系统的数据会有所不同。
步骤S102，确定数据处理的指标属性和参数属性。
指标属性至少包括指标的频度、维度、来源、名称和单位属性中的一种；参数属性至少包括字段、应用范围属性中的一种。
步骤S103，根据所述指标属性将取数方式确定为Sql类型指标，手工类型指标，公式类指标和汇总类指标。
指标取数方式规定了Sql类型、手工类型、公式指标、汇总类指标。
步骤S104，对不同的取数方式，选取对应的参数属性和数据处理方法，对业务系统的数据进行处理。
Sql类型指标，通过Sql语句调取各业务系统的后台数据，通过编写shell或者脚本进行数据抽取，处理和转换；调取出来的数据根据要求进行存储，查看数据库文件目录中是否存在文件，若否，则将数据存入数据库。
手工类型指标，通过调取接口从手工的档案表中取数据，匹配维度中存在的对象值，针对机构和人员进行匹配，匹配失败继续选择下条值；匹配成功，则将对象、指标和结果值插入结果集表，同时将对象插入维度表进行存储。
公式类指标，通过提前预置公式，将Sql调取出来的片段作为基础指标进行加工，对接接口从基础指标对预置公式进行解析。
汇总类指标，从下级指标逐级进行向上汇总。在指标的抓取过程中可加入参数，存储于参数表。
指标的计算分为单指标计算和复合指标计算，在计算完成后，产生废弃指标和需校验指标，对所述废弃指标和需校验指标进行Sql校验检查，如果无修改或不再使用的指标进行封存。如果无修改或不再使用的指标进行封存之后，可重新启用或编辑。
使用本申请提供的方法对多系统的业务数据进行处理的流程如图2所示，主要是构建类似数据中台的一种底层数据处理方法。对接各业务系统数据，根据数据不同的来源和数据形态进行统一处理计算，此计量中心计算方法主要分为SQl类型处理、手工处理、指标处理三种方式，在内容上含有：指标取数方式、指标属性、参数属性、计算方法。指标属性规定指标的频度、维度、来源、名称、单位等属性；指标取数方式规定了Sql类型、手工类型、公式指标、汇总类指标，手工类指标调取接口从手工的档案表中取数，匹配维度中存在的对象值，主要针对机构和人员进行匹配，匹配失败继续选择下条值，成功则将对象、指标、结果值插入结果集表并将对象插入维度表，进行存储，sql类型的指标通过sql语句调各业务系统的后台数据，通过编写shell或者脚本进行处理数据抽取、处理、转换，调取出来的数据根据要求进行存储，查看数据库文件目录中是否存在文件，没有则存入，公式类指标需要提前预置公式，可将SQL调取出来的片段作为基础指标进行加工，解析公式需要对接接口从基础指标进行解析，按顺序进行解析，汇总类指标代表下级指标逐级进行向上汇总。在指标的抓取过程中可加入参数，存储于参数表。
指标的计算包含以上各种类型指标的计算方法，通过系统编辑系统公式或者直接计算的到结果，分为单指标计算和复合计算。单指标和复合指标都存在需要将几类指标进行统一计算，需要系统解析其中所有的指标所需要的接口数据，进行逐个校验，如果其中部分的指标无法解析出来，则向下轮换其余指标，不进行结果入库。全指标计算是指完成所有的指标解析结算。指标计算需要制定规定时间，
计算后，产生废弃指标和需校验指标，优先进行SQL校验检查，如果无修改或者不再使用的指标进行封存留存，封存指标可重新启用编辑。
基于同一发明构思，本申请同时提供一种多系统数据的处理装置300，如图3所示，包括：
数据获取单元310，用于获取多个业务系统的数据；
属性确定单元320，用于确定数据处理的指标属性和参数属性；
取数方式分类单元330，用于根据所述指标属性将取数方式确定为Sql类型指标，手工类型指标，公式类指标和汇总类指标；
数据处理单元340，用于对不同的取数方式，选取对应的参数属性和数据处理方法，对业务系统的数据进行处理。
优选的，取数方式分类单元，包括：
Sql类型指标处理子单元，通过Sql语句调取各业务系统的后台数据，通过编写shell或者脚本进行数据抽取，处理和转换；
手工类型指标处理子单元，通过调取接口从手工的档案表中取数据，匹配维度中存在的对象值，针对机构和人员进行匹配，匹配失败继续选择下条值；
公式类指标处理子单元，通过提前预置公式，将Sql调取出来的片段作为基础指标进行加工，对接接口从基础指标对预置公式进行解析；
汇总类指标处理子单元，从下级指标逐级进行向上汇总。
优选的，还包括：
指标计算单元，将指标的计算分为单指标计算和复合指标计算，在计算完成后，产生废弃指标和需校验指标，对所述废弃指标和需校验指标进行Sql校验检查，如果无修改或不再使用的指标进行封存。
本申请提供的一种多系统数据的处理方法及装置，为需要进行数据分析或者使用数据的业务单元提供按照标准输出的数据，能够解决多用途需要的数据在集中处理上的问题，提供统一的编辑处理方式，利用SQL、公式、录入等方式，对各种数据进行编辑处理后以需要的形式提供，以满足各业务系统的需求。
Claims (10)
1.一种多系统数据的处理方法，其特征在于，包括：
获取多个业务系统的数据；
确定数据处理的指标属性和参数属性；
根据所述指标属性将取数方式确定为Sql类型指标，手工类型指标，公式类指标和汇总类指标；
对不同的取数方式，选取对应的参数属性和数据处理方法，对业务系统的数据进行处理。
2.根据权利要求1所述的方法，其特征在于，确定数据处理的指标属性和参数属性，其中，指标属性至少包括指标的频度、维度、来源、名称和单位属性中的一种；参数属性至少包括字段、应用范围属性中的一种。
3.根据权利要求1所述的方法，其特征在于，对不同的取数方式，选取对应的参数属性和数据处理方法，对业务系统的数据进行处理，包括：
Sql类型指标，通过Sql语句调取各业务系统的后台数据，通过编写shell或者脚本进行数据抽取，处理和转换；
手工类型指标，通过调取接口从手工的档案表中取数据，匹配维度中存在的对象值，针对机构和人员进行匹配，匹配失败继续选择下条值；
公式类指标，通过提前预置公式，将Sql调取出来的片段作为基础指标进行加工，对接接口从基础指标对预置公式进行解析；
汇总类指标，从下级指标逐级进行向上汇总。
4.根据权利要求3所述的方法，其特征在于，Sql类型指标，通过Sql语句调取各业务系统的后台数据，通过编写shell或者脚本进行处理数据抽取，处理和转换的步骤之后，还包括：
查看数据库文件目录中是否存在文件，若否，则将数据存入数据库。
5.根据权利要求所述的方法，其特征在于，手工类型指标，通过调取接口从手工的档案表中取数据，匹配维度中存在的对象值，针对机构和人员进行匹配，匹配失败继续选择下条值的步骤之后，还包括：
匹配成功，则将对象、指标和结果值插入结果集表，同时将对象插入维度表进行存储。
6.根据权利要求1所述的方法，其特征在于，还包括：将指标的计算分为单指标计算和复合指标计算，在计算完成后，产生废弃指标和需校验指标，对所述废弃指标和需校验指标进行Sql校验检查，如果无修改或不再使用的指标进行封存。
7.根据权利要求6所述的方法，其特征在于，所述如果无修改或不再使用的指标进行封存之后，可重新启用或编辑。
8.一种多系统数据的处理装置，其特征在于，包括：
数据获取单元，用于获取多个业务系统的数据；
属性确定单元，用于确定数据处理的指标属性和参数属性；
取数方式分类单元，用于根据所述指标属性将取数方式确定为Sql类型指标，手工类型指标，公式类指标和汇总类指标；
数据处理单元，用于对不同的取数方式，选取对应的参数属性和数据处理方法，对业务系统的数据进行处理。
9.根据权利要求8所述的装置，其特征在于，取数方式分类单元，包括：
Sql类型指标处理子单元，通过Sql语句调取各业务系统的后台数据，通过编写shell或者脚本进行数据抽取，处理和转换；
手工类型指标处理子单元，通过调取接口从手工的档案表中取数据，匹配维度中存在的对象值，针对机构和人员进行匹配，匹配失败继续选择下条值；
公式类指标处理子单元，通过提前预置公式，将Sql调取出来的片段作为基础指标进行加工，对接接口从基础指标对预置公式进行解析；
汇总类指标处理子单元，从下级指标逐级进行向上汇总。
10.根据权利要求8所述的装置，其特征在于，还包括：
指标计算单元，将指标的计算分为单指标计算和复合指标计算，在计算完成后，产生废弃指标和需校验指标，对所述废弃指标和需校验指标进行Sql校验检查，如果无修改或不再使用的指标进行封存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011560931.9A CN112612812A (zh) | 2020-12-25 | 2020-12-25 | 一种多系统数据的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011560931.9A CN112612812A (zh) | 2020-12-25 | 2020-12-25 | 一种多系统数据的处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112612812A true CN112612812A (zh) | 2021-04-06 |
Family
ID=75245107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011560931.9A Pending CN112612812A (zh) | 2020-12-25 | 2020-12-25 | 一种多系统数据的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112612812A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297217A (zh) * | 2021-05-20 | 2021-08-24 | 广州光点信息科技有限公司 | 一种数据传输方法、装置及系统 |
-
2020
- 2020-12-25 CN CN202011560931.9A patent/CN112612812A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297217A (zh) * | 2021-05-20 | 2021-08-24 | 广州光点信息科技有限公司 | 一种数据传输方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11620291B1 (en) | Quantifying complexity of a database application | |
| US11294869B1 (en) | Expressing complexity of migration to a database candidate | |
| CN103514223B (zh) | 一种数据仓库数据同步方法和系统 | |
| CN109376196B (zh) | 一种redo日志批量同步方法及装置 | |
| CN108132957A (zh) | 一种数据库处理方法及装置 | |
| CN107797916B (zh) | Ddl语句审核方法和装置 | |
| CN103678109A (zh) | 一种转储文件分析方法、装置和系统 | |
| CN110737594B (zh) | 自动生成测试用例的数据库标准符合性测试方法及装置 | |
| CN110245145A (zh) | 关系型数据库到Hadoop数据库的结构同步方法和装置 | |
| WO2021027126A1 (zh) | 数据库检测方法、装置、设备及计算机可读存储介质 | |
| CN112328631A (zh) | 一种生产故障分析方法、装置、电子设备及存储介质 | |
| CN116469500A (zh) | 一种基于医疗文档后结构化的数据质量控制方法及系统 | |
| CN112612812A (zh) | 一种多系统数据的处理方法及装置 | |
| CN114661715A (zh) | 数据库的数据处理方法及装置、存储介质和电子设备 | |
| JPH09212353A (ja) | 再利用設計支援方法および設計支援装置 | |
| CN110019139A (zh) | 数据迁移的方法、装置、电子设备和存储介质 | |
| JP2021140430A (ja) | データベースマイグレーション方法、データベースマイグレーションシステム、及びデータベースマイグレーションプログラム | |
| CN115757479A (zh) | 数据库的查询优化方法、机器可读存储介质与计算机设备 | |
| CN104216986A (zh) | 以数据更新周期进行预操作提高数据查询效率的装置及方法 | |
| CN113901034A (zh) | 一种自动识别行政非诉执行案源的方法 | |
| CN114115831A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN113836164A (zh) | 统一sql的方法、系统、设备及介质 | |
| CN111209322A (zh) | 金融信息采集处理系统及方法 | |
| CN116010349B (zh) | 基于元数据的数据检核方法和装置、电子设备和存储介质 | |
| CN114443728B (zh) | 一种基于Elasticsearch的检测报告搜索方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |