CN111078950B - 一种基于全业务统一数据中心的xml数据接入方法 - Google Patents
一种基于全业务统一数据中心的xml数据接入方法 Download PDFInfo
- Publication number
- CN111078950B CN111078950B CN201911195769.2A CN201911195769A CN111078950B CN 111078950 B CN111078950 B CN 111078950B CN 201911195769 A CN201911195769 A CN 201911195769A CN 111078950 B CN111078950 B CN 111078950B
- Authority
- CN
- China
- Prior art keywords
- data
- xml
- service
- full
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/84—Mapping; Conversion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于全业务统一数据中心的XML数据接入方法及系统，首先建立码表，将XML文件中需要涉及的同类数据进行码表分析；接着创建全业务统一数据中心SG‑RDB业务表，令其与XML文件中数据项的属性信息相对应，以保证XML解析数据正常，同时将各类数据按照逻辑进行轻度汇总；然后从单个XML文件中获取各类业务数据解析至SG‑RDB；从多个XML文件中获取各类关联的业务数据至SG‑RDB，将XML文件的各类数据转换成数据库能够识别的有目录结构的数据；最后对XML的数据与全业务统一数据中心SG‑RDB的数据进行核查，验证数据解析方式正确性。本发明能实现源端数据XML文件解析存入全业务统一数据中心分析域，满足易用、快速、准确的数据解析需求。
Description
技术领域
本发明涉及数据处理技术领域，特别是一种基于全业务统一数据中心的XML数据接入方法及系统。
背景技术
随着全业务统一数据中心架构的推广，如何从自建系统提供的XML数据文件提取业务数据成为管理人员面临的难题，在数据接入工作中，从XML数据文件提取业务数据目前缺乏统一有效的方法，一般需要进行预处理，才能将业务数据提取出来，通常方式是转换成表格，在表格中进行数据关联，这种方式获得数据效率低，容易出错，且无法定时更新。
发明内容
有鉴于此，本发明的目的是提出一种基于全业务统一数据中心的XML数据接入方法及系统，能实现源端数据XML文件解析存入全业务统一数据中心分析域，满足易用、快速、准确的数据解析需求。
本发明采用以下方案实现：一种基于全业务统一数据中心的XML数据接入方法，包括以下步骤：
建立码表，将XML文件中需要涉及的同类数据进行码表分析；
创建全业务统一数据中心SG-RDB业务表，令其与XML文件中数据项的属性信息相对应，以保证XML解析数据正常，同时将各类数据按照逻辑进行轻度汇总；
从单个XML文件中获取各类业务数据解析至SG-RDB；
从多个XML文件中获取各类关联的业务数据至SG-RDB，将XML文件的各类数据转换成数据库能够识别的有目录结构的数据；
对XML的数据与全业务统一数据中心SG-RDB的数据进行核查，验证数据解析方式正确性。
本发明还提供一种基于上文所述的基于全业务统一数据中心的XML数据接入方法的系统，包括展现层、业务处理层、数据存储层、数据接入层以及基础架构服务层；
其中，所述数据接入层采用如上文所述的方法，将XML中的数据解析至所述数据存储层中；
所述数据存储层对归集的数据进行统一规范储存；
所述展现层为不同访问渠道的不同需求提供相应的系统服务；
所述业务处理层用于根据展现层的业务需求对从数据存储层中获取的数据进行包括数据挖掘与分析展现服务在内的操作；
所述基础架构服务层提供包括中间件、关系型数据库、操作系统、以及硬件基础设在内的服务。
进一步地，该系统采用JavaEE技术规范，基于SG-UAP开发平台，支持包括Oracle、MySQL、PostgreSQL、Gbase 8a、Sybase IQ在内的数据库数据源以及包括txt、csv、xml在内的文件数据源。
进一步地，所述展现层基于C/S构建，支持J2EE、CSS技术。
进一步地，所述业务处理层采用J2EE技术架构。
进一步地，所述数据存储层采用SG-RDB。
进一步地，所述数据接入层基于J2EE架构实现XML解析。
进一步地，所述基础架构服务层的中间件采用SG-APS，操作系统支持LinuxRedhat/Windows。
本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序，处理器在运行所述计算机程序时，实现如上文所述的基于全业务统一数据中心的XML数据接入方法的步骤。
与现有技术相比，本发明有以下有益效果：本发明为项目人员提供XML数据接入方法，满足易用、快速、准确的数据解析手段，实现源端数据XML文件解析存入全业务统一数据中心分析域，可以重复进行数据加载，无需重复访问业务系统，以及可以进行数据加载前后的核查，为前台应用场景展现提供数据基础，便于业务人员对业务数据分析挖掘以及应用场景展现。
附图说明
图1为本发明实施例的系统技术架构图。
图2为本发明实施例的系统数据架构图。
图3为本发明实施例的方法原理图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图3所示，本实施例提供了一种基于全业务统一数据中心的XML数据接入方法，包括以下步骤：
建立码表，将XML文件中需要涉及的同类数据进行码表分析；
创建全业务统一数据中心SG-RDB业务表，令其与XML文件中数据项的属性信息相对应，以保证XML解析数据正常，同时将各类数据按照逻辑进行轻度汇总；
从单个XML文件中获取各类业务数据解析至SG-RDB；
从多个XML文件中获取各类关联的业务数据至SG-RDB，将XML文件的各类数据转换成数据库能够识别的有目录结构的数据；
对XML的数据与全业务统一数据中心SG-RDB的数据进行核查，验证数据解析方式正确性。
本实施例还提供一种基于上文所述的基于全业务统一数据中心的XML数据接入方法的系统，如图1、图2所示，包括展现层、业务处理层、数据存储层、数据接入层以及基础架构服务层；
其中，所述数据接入层采用如上文所述的方法，将XML中的数据解析至所述数据存储层中；
所述数据存储层对归集的数据进行统一规范储存；
所述展现层为不同访问渠道的不同需求提供相应的系统服务；
所述业务处理层用于根据展现层的业务需求对从数据存储层中获取的数据进行包括数据挖掘与分析展现服务在内的操作；用于实现数据源管理、数据建模、分析建模、可视化编辑和分析计算法服务等组件；
所述基础架构服务层提供包括中间件、关系型数据库、操作系统、以及硬件基础设在内的服务。
在本实施例中，该系统采用JavaEE技术规范，基于SG-UAP开发平台，支持包括Oracle、MySQL、PostgreSQL、Gbase 8a、Sybase IQ在内的数据库数据源以及包括txt、csv、xml在内的文件数据源。
在本实施例中，所述展现层基于C/S构建，支持J2EE、CSS技术。
在本实施例中，所述业务处理层采用J2EE技术架构。
在本实施例中，所述数据存储层采用SG-RDB。
在本实施例中，所述数据接入层基于J2EE架构实现XML解析。
在本实施例中，所述基础架构服务层的中间件采用SG-APS，操作系统支持LinuxRedhat/Windows。
本实施例还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序，处理器在运行所述计算机程序时，实现如上文所述的基于全业务统一数据中心的XML数据接入方法的步骤。
本实施例为基础项目人员提供XML数据接入方法，满足易用、快速、准确的数据解析手段，实现源端数据XML文件解析存入全业务统一数据中心分析域，具备高比率的数据压缩，并能在传输过程中进行安全的数据加密。具备对复制过程各个环节的运行情况进行记录和监控。并且可以重复进行数据加载，无需重复访问业务系统，以及可以进行数据加载前后的核查，为前台应用场景展现提供数据基础，便于业务人员对业务数据分析挖掘以及应用场景展现。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (8)
1.一种基于全业务统一数据中心的XML数据接入方法，其特征在于，包括以下步骤：
建立码表，将XML文件中需要涉及的同类数据进行码表分析；
创建全业务统一数据中心SG-RDB业务表，令其与XML文件中数据项的属性信息相对应，以保证XML解析数据正常，同时将各类数据按照逻辑进行轻度汇总；
从单个XML文件中获取各类业务数据解析至SG-RDB；
从多个XML文件中获取各类关联的业务数据至SG-RDB，将XML文件的各类数据转换成数据库能够识别的有目录结构的数据；
对XML的数据与全业务统一数据中心SG-RDB的数据进行核查，验证数据解析方式正确性；
一种基于全业务统一数据中心的XML数据接入方法依托于一种基于全业务统一数据中心的XML数据接入系统实现，一种基于全业务统一数据中心的XML数据接入系统包括展现层、业务处理层、数据存储层、数据接入层以及基础架构服务层；
其中，所述数据接入层采用一种基于全业务统一数据中心的XML数据接入方法，将XML中的数据解析至所述数据存储层中；
所述数据存储层对归集的数据进行统一规范储存；
所述展现层为不同访问渠道的不同需求提供相应的系统服务；
所述业务处理层用于根据展现层的业务需求对从数据存储层中获取的数据进行包括数据挖掘与分析展现服务在内的操作；
所述基础架构服务层提供包括中间件、关系型数据库、操作系统、以及硬件基础设在内的服务。
2.根据权利要求1所述的一种基于全业务统一数据中心的XML数据接入方法，其特征在于，该系统采用JavaEE技术规范，基于SG-UAP开发平台，支持包括Oracle、MySQL、PostgreSQL、Gbase 8a、Sybase IQ在内的数据库数据源以及包括txt、csv、xml在内的文件数据源。
3.根据权利要求1所述的一种基于全业务统一数据中心的XML数据接入方法，其特征在于，所述展现层基于C/S构建，支持J2EE、CSS技术。
4.根据权利要求1所述的一种基于全业务统一数据中心的XML数据接入方法，其特征在于，所述业务处理层采用J2EE技术架构。
5.根据权利要求1所述的一种基于全业务统一数据中心的XML数据接入方法，其特征在于，所述数据存储层采用SG-RDB。
6.根据权利要求1所述的一种基于全业务统一数据中心的XML数据接入方法，其特征在于，所述数据接入层基于J2EE架构实现XML解析。
7.根据权利要求1所述的一种基于全业务统一数据中心的XML数据接入方法，其特征在于，所述基础架构服务层的中间件采用SG-APS，操作系统支持Linux Redhat/Windows。
8.一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序，其特征在于，处理器在运行所述计算机程序时，实现如权利要求1所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911195769.2A CN111078950B (zh) | 2019-11-29 | 2019-11-29 | 一种基于全业务统一数据中心的xml数据接入方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911195769.2A CN111078950B (zh) | 2019-11-29 | 2019-11-29 | 一种基于全业务统一数据中心的xml数据接入方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111078950A CN111078950A (zh) | 2020-04-28 |
| CN111078950B true CN111078950B (zh) | 2022-10-04 |
Family
ID=70311973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911195769.2A Active CN111078950B (zh) | 2019-11-29 | 2019-11-29 | 一种基于全业务统一数据中心的xml数据接入方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111078950B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216761A (zh) * | 2007-12-28 | 2008-07-09 | 北京邮电大学 | 用于ngn业务开发的电信应用软件框架 |
| CN101984439A (zh) * | 2010-12-09 | 2011-03-09 | 上海市共进通信技术有限公司 | 基于子查询实现数据源xml查询系统优化的方法 |
| CN103646015A (zh) * | 2013-12-06 | 2014-03-19 | 中国银行股份有限公司 | 发送、接收以及传输xml报文的方法和系统 |
| CN110059138A (zh) * | 2019-03-12 | 2019-07-26 | 国网辽宁省电力有限公司信息通信分公司 | 一种基于大数据平台数据分析域构架方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020176B (zh) * | 2012-11-28 | 2015-07-15 | 方跃坚 | Xml解析中数据块划分方法和xml解析方法 |
-
2019
- 2019-11-29 CN CN201911195769.2A patent/CN111078950B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216761A (zh) * | 2007-12-28 | 2008-07-09 | 北京邮电大学 | 用于ngn业务开发的电信应用软件框架 |
| CN101984439A (zh) * | 2010-12-09 | 2011-03-09 | 上海市共进通信技术有限公司 | 基于子查询实现数据源xml查询系统优化的方法 |
| CN103646015A (zh) * | 2013-12-06 | 2014-03-19 | 中国银行股份有限公司 | 发送、接收以及传输xml报文的方法和系统 |
| CN110059138A (zh) * | 2019-03-12 | 2019-07-26 | 国网辽宁省电力有限公司信息通信分公司 | 一种基于大数据平台数据分析域构架方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111078950A (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
| CN109656934B (zh) | 基于日志解析的源端Oracle数据库DDL同步方法及设备 | |
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| CN112260877B (zh) | 基于ai的rpa机器人管理方法、平台及存储介质 | |
| CN107247811B (zh) | 基于Oracle数据库的SQL语句性能优化方法及装置 | |
| US9898386B2 (en) | Detecting byte ordering type errors in software code | |
| CA3176450A1 (en) | Method and apparatus for implementing incremental data consistency | |
| CN111061696B (zh) | 一种交易报文日志的解析方法及装置 | |
| CN103761189A (zh) | 一种测试用例管理方法及系统 | |
| GB2503893A (en) | Selecting data from a database using data representing a sequence of operations | |
| CN105095207A (zh) | 检索、获取应用软件内容的方法和装置 | |
| CN111881105B (zh) | 业务数据的标注模型及其模型训练方法 | |
| CN109344034A (zh) | 一种用于管理日志的方法和装置 | |
| US8738768B2 (en) | Multiple destinations for mainframe event monitoring | |
| CN114880405A (zh) | 一种基于数据湖的数据处理方法及系统 | |
| CN104008107A (zh) | 运维知识库的实现方法 | |
| CN110895548B (zh) | 用于处理信息的方法和装置 | |
| CN115346686A (zh) | 关系图谱生成方法及装置、存储介质及电子设备 | |
| CN109471862B (zh) | 数据处理方法及装置、电子设备、存储介质 | |
| CN111078950B (zh) | 一种基于全业务统一数据中心的xml数据接入方法 | |
| CN111782738B (zh) | 构建数据仓库表级别血缘关系的方法及装置 | |
| CN116185393A (zh) | 接口文档的生成方法、装置、设备、介质及产品 | |
| CN109616215B (zh) | 医疗数据抽取方法、装置、存储介质及电子设备 | |
| CN112559641B (zh) | 拉链表的处理方法及装置、可读存储介质、电子设备 | |
| CN109062797B (zh) | 生成信息的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |