CN117909395A - 一种平台数据上报服务方法 - Google Patents
一种平台数据上报服务方法 Download PDFInfo
- Publication number
- CN117909395A CN117909395A CN202311825948.6A CN202311825948A CN117909395A CN 117909395 A CN117909395 A CN 117909395A CN 202311825948 A CN202311825948 A CN 202311825948A CN 117909395 A CN117909395 A CN 117909395A
- Authority
- CN
- China
- Prior art keywords
- data
- reporting
- service
- dictionary
- report
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000007726 management method Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000013523 data management Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009960 carding Methods 0.000 claims description 3
- 238000013481 data capture Methods 0.000 claims description 3
- 238000013506 data mapping Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010924 continuous production Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种平台数据上报服务方法，方法包括：下级平台对各个业务部门的多源数据进行获取，得到上报所需业务数据和基础字典数据，并进行实时分类汇聚，得到下级平台的各个类型的业务汇聚数据，保存在原始库中；依据上级平台的数据标准，通过多项业务数据上报表单和字典数据上报表单完成所述业务汇聚数据和所述基础字典数据的标准转换，得到业务上报数据及字典上报数据，所述业务上报数据并与所述字典上报数据关联后保存至数据上报应用库中；再进行映射转换成数据上报专题库；经质量检测合格后上报给上级平台。本发明先对多源数据的所需业务数据和基础字典数据，按照部标完成标准化转换，并进行质量检测合格后再进行上报，大大方便了多源数据的持续性上报。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种跨平台的数据上报服务方法。
背景技术
政府部门因为数据管理的要求，往往需要下级平台将政务数据汇总后上报至上级平台，例如：县级或市级政府部分的平台将政务数据上报至省级部门的平台，再由省级部门的平台收集汇总后上报至部级部门的平台。
由于有些政府部门的下级平台的业务种类繁多，因此需要开发诸多的业务系统，导致数据源具有很大的差异，导致数据治理困难。且对于省级部门的平台而言，由于各个省级部门的平台与部级部门的平台均为各自自行开发，并不统一，因此也会导致各个省级部门的平台在数据上报时产生一定的困难。
发明内容
本发明要解决的技术问题，在于提供一种平台数据上报服务方法，对多源的业务数据进行汇聚，按照部标完成标准化转换，大大方便了多源数据的持续性上报，并进行质量检测以便于整改，从根源上提高上报数据质量。
本发明是这样实现的：一种平台数据上报服务方法，包括下述步骤：
多源数据的获取：下级平台通过变化的数据捕获接入下级平台的各个业务系统数据库，通过Fink及Kafka流计算引擎实时获取上报所需业务数据和基础字典数据；
多源数据的汇聚：对所述上报所需业务数据进行实时分类汇聚，并完成数据源的探查、数据接入、数据抽取及数据对账，得到下级平台的各个类型的业务汇聚数据，保存在原始库中；
标准转换：依据上级平台的数据标准，通过多项业务数据上报表单和字典数据上报表单完成所述业务汇聚数据和所述基础字典数据的标准转换，得到业务上报数据及字典上报数据，所述业务上报数据并与所述字典上报数据关联后保存至数据上报应用库中；
数据映射：对所述数据上报应用库进行映射转换成数据上报专题库；
数据质量检测：基于质量检测任务对所述数据上报专题库中的业务上报数据及字典上报数据进行实时或周期性质量检测，生成质量检测报告，并按照检测主题对数据质量报告进行分类统计；
数据上报：即通过数据上报专题库将质量检测合格后的业务上报数据及字典上报数据上报给上级平台。
进一步的，本发明还包括：
数据整改，即当所述质量检测不合格，则输出质量检测报告，发给到下级业务平台的业务部门要求对不合格的业务上报数据进行整改；
数据重新上报，在业务上报数据及字典上报数据上报给上级平台后，上级平台下发了数据质量问题，则根据所述数据质量问题进行处理后重新上报；所述处理包括对汇聚规则或标准化服务规则进行梳理后，重新汇聚至数据上报应用库。
进一步的，所述标准转换是通过上报服务模块实现的，所述上报服务模块具体包括：
(a)依据上级平台的数据标准，对所述业务汇聚数据和所述基础字典数据进行治理，提供元数据标准、数据标准梳理服务，输出元数据和数据标准文件；
(b)提供数据标准化服务，分别通过业务数据上报表单和字典数据上报表单对所述业务汇聚数据和所述基础字典数据进行梳理，通过风险隐患排查信息表对所述业务汇聚数据和所述基础字典数据进风险隐患排查，数据治理的标准目标以及业务治理的治理标准目标；
所述字典数据数据上报表单包括通用字典码表、上下级平台联合码表和自定义码表；
所述业务治理是指业务名称的合并分解和对应关系转换；
(c)提供治理规则服务，并输出相应治理规则表，确保数据从原始数据到上报数据，基础字典数据、业务主数据和交易数据的数据一致性和合规性。
进一步的，报告从多个维度进行统计，多个维度包括数据源、组织机构、体检对象和数据字段，统计指标包括检查记录数、异常记录数、准确率，统计结束时显示异常记录的清单，并提供所述清单的下载功能。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：本发明一种平台数据上报服务方法，对多源的业务数据进行汇聚，完成数据源的探查、数据接入、数据抽取及数据对账，保证数据的完整和统一；依据上级平台的数据标准，通过多项业务数据上报表单和字典数据上报表单完成业务汇聚数据和基础字典数据的标准转换，得到业务上报数据及字典上报数据，从而打破了上下级平台的数据壁垒；通过建设上报应用库和字典上报应用库来保存数据，从而适应于数据上报的持续过程；再将数据上报应用库映射转换成数据上报专题库，以应对上级平台对数据的各种专题需求，还可通过检测模型对专题库进行质量检测以便于整改，从而能从根源上提高上报数据质量。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明系统的框架示意图；
图2为本发明实施例中的方法流程图；
图3为本发明实施例中的数据流转示意图。
具体实施方式
本申请实施例通过提供在于提供一种平台数据上报服务方法，对多源的业务数据进行汇聚，按照部标完成标准化转换，并进行质量检测以便于整改，从根源上提高上报数据质量。
本申请实施例中的技术方案，总体思路如下：本发明对多源的业务数据进行汇聚，完成数据源的探查、数据接入、数据抽取及数据对账，保证数据的完整和统一；依据上级平台的数据标准，通过多项业务数据上报表单和字典数据上报表单完成业务汇聚数据和基础字典数据的标准转换，得到业务上报数据及字典上报数据，从而打破了上下级平台的数据壁垒；通过建设上报应用库和字典上报应用库来保存数据，从而适应于数据上报的持续过程；再将数据上报应用库映射转换成数据上报专题库，以应对上级平台对数据的各种专题需求，还可通过检测模型对专题库进行质量检测以便于整改，从而能从根源上提高上报数据质量。
在介绍具体实施例之前，先介绍本申请实施例方法所对应的系统框架，如图1所示，系统大概分三个部分：
上级平台，例如部级政府部门的平台，基于信息化建设的要求，从而需要接收下级平台如省级平台的各项业务数据。同时也能推进省级政府部门信息化资源的整合，实现统一的运维运营，提升信息化建设效率和运行效能，以及提升平台的灵活性、扩展性，根据基层的实战需要进行能力扩展、信息赋能，保障各单位部门的高效协同能力。
下级平台，例如省级政府部门的平台，需要将本级以下下属单位的各项业务数据进行汇聚后进行上报，从而实现信息化建设。
实施例一
如图2和图3所示，本实施例提供一种平台数据上报服务方法，包括下述步骤：
多源数据的获取：下级平台通过变化的数据捕获接入下级平台的各个业务系统数据库，通过Fink及Kafka流计算引擎实时获取上报所需业务数据和基础字典数据；
多源数据的汇聚：对所述上报所需业务数据进行实时分类汇聚，并完成数据源的探查、数据接入、数据抽取及数据对账，得到下级平台的各个类型的业务汇聚数据，保存在原始库中；
标准转换：依据上级平台的数据标准，通过多项业务数据上报表单和字典数据上报表单完成所述业务汇聚数据和所述基础字典数据的标准转换，得到业务上报数据及字典上报数据，所述业务上报数据并与所述字典上报数据关联后保存至数据上报应用库中；
数据映射：对所述数据上报应用库进行映射转换成数据上报专题库；
数据质量检测：基于质量检测任务对所述数据上报专题库中的业务上报数据及字典上报数据进行实时或周期性质量检测，生成质量检测报告，并按照检测主题对数据质量报告进行分类统计；
数据上报：即通过数据上报专题库将质量检测合格后的业务上报数据及字典上报数据如采用数据库对接的方式上报给上级平台。
进一步的，本发明还包括：
数据整改，即当所述质量检测不合格，则输出质量检测报告，发给到下级业务平台的业务部门要求对不合格的业务上报数据进行整改；
数据重新上报，在业务上报数据及字典上报数据上报给上级平台后，上级平台下发了数据质量问题，则根据所述数据质量问题进行处理后重新上报；所述处理包括对汇聚规则或标准化服务规则进行梳理后，重新汇聚至数据上报应用库。
进一步的，所述标准转换是通过上报服务模块实现的，所述上报服务模块具体包括：
(a)依据上级平台的数据标准，对所述业务汇聚数据和所述基础字典数据进行治理，提供元数据标准、数据标准梳理服务，输出元数据和数据标准文件；
(b)提供数据标准化服务，分别通过业务数据上报表单和字典数据上报表单对所述业务汇聚数据和所述基础字典数据进行梳理，通过风险隐患排查信息表对所述业务汇聚数据和所述基础字典数据进风险隐患排查，数据治理的标准目标以及业务治理的治理标准目标；
所述字典数据数据上报表单包括通用字典码表、上下级平台联合码表和自定义码表；
所述业务治理是指业务名称的合并分解和对应关系转换；
(c)提供治理规则服务，并输出相应治理规则表，确保数据从原始数据到上报数据，基础字典数据、业务主数据和交易数据的数据一致性和合规性。
进一步的，报告从多个维度进行统计，多个维度包括数据源、组织机构、体检对象和数据字段，统计指标包括检查记录数、异常记录数、准确率，统计结束时显示异常记录的清单，并提供所述清单的下载功能。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：本发明对多源的业务数据进行汇聚，完成数据源的探查、数据接入、数据抽取及数据对账，保证数据的完整和统一；依据上级平台的数据标准，通过多项业务数据上报表单和字典数据上报表单完成业务汇聚数据和基础字典数据的标准转换，得到业务上报数据及字典上报数据，从而打破了上下级平台的数据壁垒；通过建设上报应用库和字典上报应用库来保存数据，从而适应于数据上报的持续过程；再将数据上报应用库映射转换成数据上报专题库，以应对上级平台对数据的各种专题需求，还可通过检测模型对专题库进行质量检测以便于整改，从而能从根源上提高上报数据质量。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (5)
1.一种平台数据上报服务方法，其特征在于：包括下述步骤：
多源数据的获取：下级平台通过变化的数据捕获接入下级平台的各个业务系统数据库，通过Fink及Kafka流计算引擎实时获取上报所需业务数据和基础字典数据；
多源数据的汇聚：对所述上报所需业务数据进行实时分类汇聚，并完成数据源的探查、数据接入、数据抽取及数据对账，得到下级平台的各个类型的业务汇聚数据，保存在原始库中；
标准转换：依据上级平台的数据标准，通过多项业务数据上报表单和字典数据上报表单完成所述业务汇聚数据和所述基础字典数据的标准转换，得到业务上报数据及字典上报数据，所述业务上报数据并与所述字典上报数据关联后保存至数据上报应用库中；
数据映射：对所述数据上报应用库进行映射转换成数据上报专题库；
数据质量检测：基于质量检测任务对所述数据上报专题库中的业务上报数据及字典上报数据进行实时或周期性质量检测，生成质量检测报告，并按照检测主题对数据质量报告进行分类统计；
数据上报：即通过数据上报专题库将质量检测合格后的业务上报数据及字典上报数据上报给上级平台。
2.根据权利要求1所述的一种平台数据上报服务方法，其特征在于：还包括：
数据整改，即当所述质量检测不合格，则输出质量检测报告，发给到下级业务平台的业务部门要求对不合格的业务上报数据进行整改；
数据重新上报，在业务上报数据及字典上报数据上报给上级平台后，上级平台下发了数据质量问题，则根据所述数据质量问题进行处理后重新上报。
3.根据权利要求1所述的一种平台数据上报服务方法，其特征在于：所述标准转换是通过上报服务模块实现的，所述上报服务模块具体包括：
(a)依据上级平台的数据标准，对所述业务汇聚数据和所述基础字典数据进行治理，提供元数据标准、数据标准梳理服务，输出元数据和数据标准文件；
(b)提供数据标准化服务，分别通过多项业务数据上报表单和字典数据上报表单对所述业务汇聚数据和所述基础字典数据进行梳理，通过风险隐患排查信息表对所述业务汇聚数据和所述基础字典数据进风险隐患排查，数据治理的标准目标以及业务治理的治理标准目标；完成所述业务汇聚数据和所述基础字典数据的标准转换，得到业务上报数据及字典上报数据，所述业务上报数据保存至数据上报应用库，所述字典上报数据保存至字典上报应用库；
所述字典数据数据上报表单包括通用字典码表、上下级平台联合码表和自定义码表；
所述业务治理是指业务名称的合并分解和对应关系转换；
(c)提供治理规则服务，并输出相应治理规则表，确保数据从原始数据到上报数据，基础字典数据、业务主数据和交易数据的数据一致性和合规性。
4.根据权利要求1所述的一种平台数据上报服务方法，其特征在于：
通过数据质量检测任务管理来触发实现，所述数据质量检测任务管理支持为检测对象设置检测任务，按不同的时间频率灵活调度质量检测任务；
所述数据质量检测的规则包括：定义数据字段、数据表的检测规则，包括数据范围检测规则、百分比范围检测规则、字符串长度检测规则、空值检测规则、枚举检测规则以及自定义SQL规则；
所述数据质量检测是为所有的业务数据上报表单和字典数据上报表单建立对应的数据质量检测模型，通过所述数据质量检测模型检测所有业务数据上报表单和字典数据上报表单的数据完整性、采标率及数据的一致性。
5.根据权利要求1所述的一种平台数据上报服务方法，其特征在于：报告从多个维度进行统计，多个维度包括数据源、组织机构、体检对象和数据字段，统计指标包括检查记录数、异常记录数、准确率，统计结束时显示异常记录的清单，并提供所述清单的下载功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311825948.6A CN117909395A (zh) | 2023-12-28 | 2023-12-28 | 一种平台数据上报服务方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311825948.6A CN117909395A (zh) | 2023-12-28 | 2023-12-28 | 一种平台数据上报服务方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117909395A true CN117909395A (zh) | 2024-04-19 |
Family
ID=90687094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311825948.6A Pending CN117909395A (zh) | 2023-12-28 | 2023-12-28 | 一种平台数据上报服务方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117909395A (zh) |
-
2023
- 2023-12-28 CN CN202311825948.6A patent/CN117909395A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112163724A (zh) | 环境信息数据资源整合集成系统 | |
| WO2022117126A1 (zh) | 一种电网量测数据的校验方法、装置、设备、存储介质及程序产品 | |
| CN110851667B (zh) | 一种多源头大量数据的整合分析方法及工具 | |
| CN114356940B (zh) | 电网数据治理系统及方法 | |
| CN110990391A (zh) | 多源异构数据的整合方法、系统、计算机设备及存储介质 | |
| CN112181955B (zh) | 一种用于重载铁路综合大数据平台信息共享的数据规范治理方法 | |
| CN104599032A (zh) | 一种面向资源管理的分布式内存电网构建方法及系统 | |
| CN110109908B (zh) | 基于社会基础信息挖掘人物潜在关系的分析系统及方法 | |
| CN112231333A (zh) | 一种生态环境数据共享交换方法和系统 | |
| CN111080261A (zh) | 一种基于大数据的可视化数据资产管理系统 | |
| CN114880405A (zh) | 一种基于数据湖的数据处理方法及系统 | |
| CN112926852A (zh) | 一种基于数据融合的大气生态环境分析方法 | |
| CN107945092A (zh) | 用于审计领域的大数据综合管理方法及系统 | |
| CN116777284A (zh) | 一种空间及属性数据一体化质检方法 | |
| CN113628024A (zh) | 基于大数据平台系统的财务数据智能稽核系统及方法 | |
| CN111798311A (zh) | 基于大数据的银行风险分析库平台、搭建方法及可读介质 | |
| CN113159118A (zh) | 物流数据指标的处理方法、装置、设备及存储介质 | |
| CN110502529B (zh) | 数据处理方法、装置、服务器及存储介质 | |
| CN112256681A (zh) | 一种空管数字化指标应用系统及方法 | |
| CN117909395A (zh) | 一种平台数据上报服务方法 | |
| CN110019237B (zh) | 一种基于地图分析罪犯行踪的系统及方法 | |
| CN111061793A (zh) | 一种数据处理系统和方法 | |
| CN110597899B (zh) | 项目经费管理方法及系统 | |
| CN112395343B (zh) | 一种基于dsg的字段变更数据采集抽取方法 | |
| CN113064791A (zh) | 基于海量日志数据实时监控的分散标签特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |