CN112835889B - 一种异构系统数据集成方法、系统及设备 - Google Patents

一种异构系统数据集成方法、系统及设备 Download PDF

Info

Publication number
CN112835889B
CN112835889B CN202110037545.XA CN202110037545A CN112835889B CN 112835889 B CN112835889 B CN 112835889B CN 202110037545 A CN202110037545 A CN 202110037545A CN 112835889 B CN112835889 B CN 112835889B
Authority
CN
China
Prior art keywords
data
acquisition
module
dictionary
web service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110037545.XA
Other languages
English (en)
Other versions
CN112835889A (zh
Inventor
杨飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110037545.XA priority Critical patent/CN112835889B/zh
Publication of CN112835889A publication Critical patent/CN112835889A/zh
Application granted granted Critical
Publication of CN112835889B publication Critical patent/CN112835889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种异构系统数据集成方法、系统及设备，包括以下步骤：S1、发出指令，并依据该指令获取相应的数据；S2、接收数据分析处理获取数据字典进行存储，并调整发出的指令。本发明通过分配不同的任务从而采集相应的数据，根据采集的数据进行分析处理获取数据字典，从而克服了没有数据字典或者原数据字典不完整而导致数据集成时数据结构梳理耗时过多的问题，同时根据任务状态及任务成功失败率，可发出指令，控调节对应的采集任务的频率或分配采集任务到不同对象处，从而获取不同的数据，实现了数据采集频率可控，根据采集成功失败率可调节采集频率、暂停或重启采集任务以调节对原系统的访问压力。

Description

一种异构系统数据集成方法、系统及设备
技术领域
本发明涉及大数据领域技术领域，尤其涉及一种异构系统数据集成方法、系统及设备。
背景技术
当下很多企业、机关、学校随处可见数据孤岛，数据孤岛一般分为物理性和逻辑性两种，物理性的数据孤岛指的是，数据在不同部门相互独立存储，独立维护，彼此间相互孤立，形成了物理上的孤岛；逻辑性的数据孤岛指的是，不同部门站在自己的角度对数据进行理解和定义，使得一些相同的数据被赋予了不同的含义，无形中加大了跨部门数据合作的沟通成本。究其原因是因为传统的数据集成方式，严重受限于系统原厂商的配合和数据接口开发费的双重制约，而少数原系统厂商失联、倒闭或转型的情况，缺乏数据字典或者数据字典不完整，这就让传统的数据集成方案举步维艰。
例如专利申请号为“CN201510400102.7”的发明专利申请公开了一种数据处理方法、异构系统和集成系统，其中，所述方法包括：在异构系统间部署数字证书认证中心CA服务器证书，所述CA服务器证书用于提供对称加密算法、非对称加密算法和签名算法；获取与接收端相同的对称秘钥；根据所述对称加密算法，利用所述对称秘钥将待传输的数据进行对称加密，并利用所述对称加密算法对所述对称秘钥进行对称加密；根据所述非对称加密算法，利用接收端的公钥将对称加密后的数据、以及对称加密后的所述对称秘钥，进行二次加密，得到目标数据；根据所述签名算法，计算出所述目标数据的签名数据，并将所述目标数据和所述签名数据发送给接收端。该专利方案将数据集成时主要是对数据传输加密，起到保护作用，并没有解决数据字典缺乏的导致数据集成困难的问题。
发明内容
本发明所要解决的技术问题在于克服传统的数据集成方案困难的问题，具体问题为数据集成方与多家软件开发厂商会产生无休止的沟通协调、联调，即现有的系统集成工期耗时较长，增加了人力物力成本。
本发明通过以下技术手段实现解决上述技术问题的：
一种异构系统数据集成方法，包括以下步骤：
S1、发出指令，并依据该指令获取相应的数据；
S2、接收数据分析处理获取数据字典进行存储，并调整发出的指令。
通过分配不同的任务从而采集相应的数据，根据采集的数据进行分析处理获取数据字典，从而克服了没有数据字典或者原数据字典不完整而导致数据集成时数据结构梳理耗时过多的问题。
作为本发明进一步的方案：所述指令包括：调节对应的采集任务的频率或分配采集任务，以获取不同的数据。
作为本发明进一步的方案：所述分析处理进行存储包括：
S21、将Web业务系统页面数据分组；
使用URL定位Web业务系统页面，使用XPATH定位元素，结合URL和XPATH将Web业务系统页面数据分组；
S22、在分组后的数据中，获取数据字典及存储对象结构；
设定元素的字段名作为数据字典的字段名，以每组Web业务系统页面表格标题或元素说明文本作为数据字典的字段描述；
以每组Web业务系统页面表格标题或元素的内容类型选择适合的数据类型及属性，并指定存储对象主键或联合主键字段；
以字段名、字段描述、数据类型及属性、存储对象主键或联合主键字段生成数据字典及存储对象结构；
S23、根据得到的数据字典及存储对象结构，与已经存在数据库中的相关数据比对差异，并自动新建或修改数据字典及存储对象；将新建或修改数据字典及存储对象保存；
S24、根据Web业务系统页面表格名称、数据类型、数据长度及新建或修改数据字典及存储对象，数据解析算法，生成对应的数据字典以及业务数据对象关联关系；
S25、针对Web业务系统页面内容及数据解析算法的更新变化，根据当前业务数据字典和业务数据对象的关联关系，动态改变相应的数据字典和业务数据结构及关系；
S26、将将动态改变后的数据字典和业务数据结构及关系存储。
作为本发明进一步的方案：所述调整发出的指令包括：
统计任务状态信息、错误信息、性能数据、Web业务系统页面访问速率数据，并以可视化呈现到Web业务系统页面上；同时根据性能数据与性能阈值的比较生成告警信息通知管理人员；同时根据任务状态及任务成功失败率发出指令，调节对应的采集任务的频率或分配采集任务到不同对象处。
实现了数据采集频率可控，根据采集成功失败率可调节采集频率、暂停或重启采集任务以调节对原系统的访问压力。
一种基于所述的异构系统数据集成方法的集成系统，包括：
若干个数据采集模块，所述数据采集模块采集数据；
数据管理模块，所述数据管理模块与数据采集模块相互通信连接；
所述数据管理模块发出指令至数据采集模块处，所述数据采集模块接收指令开始采集数据，并将采集数据传输至数据管理模块进行处理，所述数据管理模块将采集数据分析处理获取数据字典并进行存储，同时所述数据管理模块分析采集数据信息重新调整指令并传输至数据采集模块处，以获取不同的数据。
作为本发明进一步的方案：所述数据采集模块与外界若干个Web业务系统通信连接。
作为本发明进一步的方案：所述数据管理模块包括采集任务控制模块、采集任务监控模块、数据解析算法配制模块、采集错误跟踪模块、采集处理算法模块、采集结果统计模块、数据结构自动匹配算法模块、数据对象生成算法模块、数据仓库模块，其中：
所述采集任务控制模块用于接收数据采集模块采集的数据，同时所述采集任务控制模块还能将指令传输至数据采集模块处，所述指令包括调节对应的采集任务的频率或分配采集任务到不同的数据采集模块处；
所述采集任务监控模块用于监控数据采集模块采集任务；
所述数据解析算法配制模块用于基于采集的数据配制算法；
所述采集错误跟踪模块用于将采集过程中的错误信息进行跟踪，同时根据错误上下文跟踪错误的运行时上下文状态分析原因；
所述采集处理算法模块用于对采集的数据进行处理；
所述采集结果统计模块用于将任务状态信息、错误信息、性能数据、Web业务系统页面访问速率等数据进行统计，并以可视化呈现到Web业务系统页面上；同时根据性能数据与性能阈值的比较生成告警信息通知管理人员；同时根据任务状态及任务成功失败率，发出指令至采集任务控制模块处；
所述数据结构自动匹配算法模块用于生成对应的数据字典以及业务数据对象关联关系；
所述数据对象生成算法模块用于动态改变相应的数据字典和业务数据结构及关系；
所述数据仓库模块用于存储动态改变后的数据字典和业务数据结构及关系。
作为本发明进一步的方案：所述数据解析算法配制模块中配制的算法包括：
首先，使用URL定位Web业务系统页面，使用XPATH定位元素，结合URL和XPATH将Web业务系统页面数据分组；
接着设定元素的字段名作为数据字典的字段名，以每组Web业务系统页面表格标题或元素说明文本作为数据字典的字段描述；
然后，以每组Web业务系统页面表格标题或元素的内容类型选择适合的数据类型及属性，并指定存储对象主键或联合主键字段；
最后，以字段名、字段描述、数据类型及属性、存储对象主键或联合主键字段生成数据字典及存储对象结构。
作为本发明进一步的方案：所述生成对应的数据字典以及业务数据对象关联关系包括：根据Web业务系统页面表格名称、数据类型、数据长度及新建或修改数据字典及存储对象，更新数据解析算法，进而生成对应的数据字典以及业务数据对象关联关系；
所述动态改变相应的数据字典和业务数据结构及关系包括：针对Web业务系统页面内容及数据解析算法的更新变化，根据当前业务数据字典和业务数据对象的关联关系，进而动态改变相应的数据字典和业务数据结构及关系。
一种基于所述的异构系统数据集成方法的集成设备，其特征在于，包括：
发出指令模块，用于发出指令，并依据该指令获取相应的数据；
分析处理模块，用于接收数据分析处理进行存储，并调整发出的指令。
本发明的优点在于：
1、本发明通过分配不同的任务从而采集相应的数据，根据采集的数据进行分析处理获取数据字典，从而克服了没有数据字典或者原数据字典不完整而导致数据集成时数据结构梳理耗时过多的问题。
2、本发明能够依据数据字典及存储对象结构，与已经存在数据库中的相关数据比对差异，并自动新建或修改数据字典及存储对象；将新建或修改数据字典及存储对象保存，同时针对Web业务系统页面内容及数据解析算法的更新变化，根据当前业务数据字典和业务数据对象的关联关系，实现动态改变相应的数据字典和业务数据结构及关系。
3、本发明根据性能数据与性能阈值的比较生成告警信息通知管理人员；同时根据任务状态及任务成功失败率，可发出指令，调节对应的采集任务的频率或分配采集任务到不同对象处，从而获取不同的数据，实现了数据采集频率可控，根据采集成功失败率可调节采集频率、暂停或重启采集任务以调节对原系统的访问压力。
4、本发明对实施者没有技术要求，实施难度极低。
5、由于不需要系统原厂商配合，本发明节省了因配合而引起的费用和多方沟通协作的时间成本。
6、本发明接入周期短，新接入一个系统按200个功能页算，2个实施人员7-10天既可完成接入，克服了当前数据接入技术的集成成本高的问题。
7、由于跟原系统没有服务器、数据库和数据接口上的连接，所以对原业务系统侵入性小，有效避免了现在侵入式接入方式带来的系统影响。
8、本发明中，任务状态信息、错误信息、性能数据、Web业务系统页面访问速率等数据以可视化呈现到Web业务系统页面上，实现全程可视化界面操作，对维护人员没有技术要求，维护方便。
9、本发明能够适用于原系统厂商失联、原系统厂商需要收取高昂的开发费用、原系统厂商不配合、原系统厂商不提供数据字典，原系统厂商提供的数据字典不完整等各种情况，并能够自己生成数据字典从而克服数据集成时数据结构梳理耗时过多的问题，同时调节采集频率、暂停或重启采集任务，以克服接入周期不可控的问题。
综上所述，本发明是将数据集成方把当前异构数据集成时，数据集成方与多家软件开发厂商无休止的沟通协调、联调中解放出来，把系统集成工期从月年为单位，加速到以小时为单位。
附图说明
图1为本发明实施例1提供的一种异构系统数据集成方法的流程示意图。
图2为本发明实施例2提供的一种异构系统数据集成系统的结构示意图。
图3为本发明实施例2提供的一种异构系统数据集成系统中数据管理模块的结构示意图。
图4为本发明实施例3提供的一种异构系统数据集成设备的结构示意图。
图中，1、数据采集模块；2、数据管理模块；201、采集任务控制模块；202、采集任务监控模块；203、数据解析算法配制模块；204、采集错误跟踪模块；205、采集处理算法模块；206、采集结果统计模块；207、数据结构自动匹配算法模块；208、数据对象生成算法模块；209、数据仓库模块。
实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
参考图1，图1为本发明实施例1提供的一种异构系统数据集成方法的流程示意图；包括以下步骤：
S1、发出指令，并依据该指令获取相应的数据；
其中，所述指令包括调节对应的采集任务的频率或分配采集任务，从而获取不同的数据；
S2、接收数据分析处理获取数据字典进行存储，并调整发出的指令；
所述分析处理进行存储包括：
S21、将Web业务系统页面数据分组；
使用URL(UniformResourceLocator,统一资源定位器)定位Web业务系统页面，使用XPATH(XMLPathLanguage，XML路径语言)定位元素，结合URL和XPATH将Web业务系统页面数据分组，一个数据解析算法可对应多个分组，每个分组对应一个存储对象；
S22、在分组后的数据中，获取数据字典及存储对象结构；
设定元素的字段名作为数据字典的字段名，以每组Web业务系统页面表格标题或元素说明文本作为数据字典的字段描述；
以每组Web业务系统页面表格标题或元素的内容类型选择适合的数据类型及属性，并指定存储对象主键或联合主键字段；
以字段名、字段描述、数据类型及属性、存储对象主键或联合主键字段生成数据字典及存储对象结构；
S23、根据得到的数据字典及存储对象结构，与已经存在数据库中的相关数据比对差异，并自动新建或修改数据字典及存储对象；将新建或修改数据字典及存储对象保存，通过指定的业务主键或联合主键保证数据的唯一性与一致性；
S24、根据Web业务系统页面表格名称、数据类型、数据长度及新建或修改数据字典及存储对象，数据解析算法，生成对应的数据字典以及业务数据对象关联关系；
S25、针对Web业务系统页面内容及数据解析算法的更新变化，根据当前业务数据字典和业务数据对象的关联关系，动态改变相应的数据字典和业务数据结构及关系；
S26、将动态改变后的数据字典和业务数据结构及关系存储至数据库中。
进一步的，所述调整发出的指令包括：
将任务状态信息、错误信息、性能数据、Web业务系统页面访问速率等数据进行统计，并以可视化呈现到Web业务系统页面上；同时根据性能数据与性能阈值(性能阈值可以事先人为设定)的比较生成告警信息通知管理人员；同时根据任务状态及任务成功失败率，可发出指令，调节对应的采集任务的频率或分配采集任务到不同对象处，从而获取不同的数据。
工作原理：本发明通过分配不同的任务从而采集相应的数据，根据采集的数据进行分析处理生成数据字典及存储对象结构，与已经存在数据库中的相关数据比对差异，并自动新建或修改数据字典及存储对象；将新建或修改数据字典及存储对象保存，同时针对Web业务系统页面内容及数据解析算法的更新变化，根据当前业务数据字典和业务数据对象的关联关系，动态改变相应的数据字典和业务数据结构及关系，从而克服了没有数据字典或者原数据字典不完整而导致数据集成时数据结构梳理耗时过多的问题；
且根据性能数据与性能阈值(性能阈值可以事先人为设定)的比较生成告警信息通知管理人员；同时根据任务状态及任务成功失败率，可发出指令，调节对应的采集任务的频率或分配采集任务到不同对象处，从而获取不同的数据，实现了数据采集频率可控，根据采集成功失败率可调节采集频率、暂停或重启采集任务以调节对原系统的访问压力。
实施例
参考图2，图2为本发明实施例2提供的一种异构系统数据集成系统的结构示意图，包括：
若干个数据采集模块1，所述数据采集模块1采集数据；
数据管理模块2，所述数据管理模块2与数据采集模块1相互通信连接；
所述数据管理模块2发出指令至数据采集模块1处，所述数据采集模块1接收指令开始采集数据，并将采集数据传输至数据管理模块2进行处理，所述数据管理模块2将采集数据分析处理生成数据字典并进行存储，同时所述数据管理模块2分析采集数据信息重新调整指令并传输至数据采集模块1处，以获取不同的数据。
需要说明的是，本实施例中，图2中，所述数据采集模块1数量可以为一个或者多个，例如为一个时，所述数据采集模块1与外界若干个Web业务系统通信连接，也可以与外界Web业务系统数量相同并一一对应通信连接。
具体操作时，首选通过数据供给方提供的Web业务系统访问地址和授权访问账号、密码等授权信息访问Web业务系统，然后启动该异构系统数据集成系统；所述数据采集模块1即可采集Web业务系统的数据。
进一步的，本实施例中，所述数据采集模块1采集的数据包括相关的任务状态信息、错误信息、性能数据、Web业务系统页面访问速率等相关信息。
进一步的，参考图2及图3，图3为本发明实施例2提供的一种异构系统数据集成系统中数据管理模块的结构示意图，所述数据管理模块2包括采集任务控制模块201、采集任务监控模块202、数据解析算法配制模块203、采集错误跟踪模块204、采集处理算法模块205、采集结果统计模块206、数据结构自动匹配算法模块207、数据对象生成算法模块208、数据仓库模块209，其中：
所述采集任务控制模块201用于接收数据采集模块1采集的数据，同时所述采集任务控制模块201还能将指令传输至数据采集模块1处，所述指令包括调节对应的采集任务的频率或分配采集任务到不同的数据采集模块1处。
所述采集任务监控模块202用于监控数据采集模块1采集任务。
所述数据解析算法配制模块203用于基于采集的数据配制算法，所述算法包括：
首先，使用URL(UniformResourceLocator,统一资源定位器)定位Web业务系统页面，使用XPATH(XMLPathLanguage，XML路径语言)定位元素，结合URL和XPATH将Web业务系统页面数据分组，一个数据解析算法可对应多个分组，每个分组对应一个存储对象；
接着设定元素的字段名作为数据字典的字段名，以每组Web业务系统页面表格标题或元素说明文本作为数据字典的字段描述；
然后，以每组Web业务系统页面表格标题或元素的内容类型选择适合的数据类型及属性，并指定存储对象主键或联合主键字段；
最后，以字段名、字段描述、数据类型及属性、存储对象主键或联合主键字段生成数据字典及存储对象结构。
所述采集错误跟踪模块204用于将采集过程中的错误信息进行跟踪，同时根据错误上下文跟踪错误的运行时上下文状态分析原因。
所述采集处理算法模块205用于对采集的数据进行处理，所述处理过程包括：
根据得到的数据字典及存储对象结构，与已经存在数据库中的相关数据比对差异，并自动新建或修改数据字典及存储对象，将该数据进行存储；
将新建或修改数据字典及存储对象保存，通过指定的业务主键或联合主键保证数据的唯一性与一致性。
所述采集结果统计模块206用于将任务状态信息、错误信息、性能数据、Web业务系统页面访问速率等数据进行统计，并以可视化呈现到Web业务系统页面上；同时根据性能数据与性能阈值(性能阈值可以事先人为设定)的比较生成告警信息通知管理人员；同时根据任务状态及任务成功失败率，可发出指令至采集任务控制模块201处，所述采集任务控制模块201接收采集结果统计模块206发出的指令并传输至数据采集模块1处，进而实现调整采集任务。
所述数据结构自动匹配算法模块207用于根据Web业务系统页面表格名称、数据类型、数据长度及新建或修改数据字典及存储对象，更新数据解析算法，生成对应的数据字典以及业务数据对象关联关系；
所述数据对象生成算法模块208用于针对Web业务系统页面内容及数据解析算法的更新变化，根据当前业务数据字典和业务数据对象的关联关系，动态改变相应的数据字典和业务数据结构及关系；
所述数据仓库模块209用于将动态改变相应的数据字典和业务数据结构及关系存储写入数据库中，即存储处理后的数据。
本系统还具有以下优点：
1、对实施者没有技术要求，实施难度极低；
2、由于不需要系统原厂商配合，节省了因配合而引起的费用和多方沟通协作的时间成本；
3、接入周期短，新接入一个系统按200个功能页算，2个实施人员7-10天既可完成接入；
4、由于跟原系统没有服务器、数据库和数据接口上的连接，所以对原业务系统侵入性小；
5、全程可视化界面操作，对维护人员没有技术要求，维护方便；
6、数据采集频率可控，根据采集成功失败率可调节采集频率、暂停或重启采集任务以调节对原系统的访问压力；
7、业务数据字典、业务关联关系自动生成。
实施例
参考图4，图4为本发明实施例3提供的一种异构系统数据集成设备的结构示意图，包括：
发出指令模块301，用于发出指令，并依据该指令获取相应的数据；
分析处理模块302，用于接收数据分析处理进行存储，并调整发出的指令；还包括：
将Web业务系统页面数据分组；
使用URL定位Web业务系统页面，使用XPATH定位元素，结合URL和XPATH将Web业务系统页面数据分组；
在分组后的数据中，获取数据字典及存储对象结构；
设定元素的字段名作为数据字典的字段名，以每组Web业务系统页面表格标题或元素说明文本作为数据字典的字段描述；
以每组Web业务系统页面表格标题或元素的内容类型选择适合的数据类型及属性，并指定存储对象主键或联合主键字段；
以字段名、字段描述、数据类型及属性、存储对象主键或联合主键字段生成数据字典及存储对象结构；
根据得到的数据字典及存储对象结构，与已经存在数据库中的相关数据比对差异，并自动新建或修改数据字典及存储对象；将新建或修改数据字典及存储对象保存；
根据Web业务系统页面表格名称、数据类型、数据长度及新建或修改数据字典及存储对象，更新数据解析算法，生成对应的数据字典以及业务数据对象关联关系；
针对Web业务系统页面内容及数据解析算法的更新变化，根据当前业务数据字典和业务数据对象的关联关系，动态改变相应的数据字典和业务数据结构及关系；
将相应的数据字典和业务数据结构及关系存储。
所述调整发出的指令包括：
统计任务状态信息、错误信息、性能数据、Web业务系统页面访问速率数据，并以可视化呈现到Web业务系统页面上；同时根据性能数据与性能阈值(性能阈值可以事先人为设定)的比较生成告警信息通知管理人员；同时根据任务状态及任务成功失败率，可发出指令，调节对应的采集任务的频率或分配采集任务到不同对象处。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种异构系统数据集成方法，其特征在于，包括以下步骤：
S1、发出指令，并依据该指令获取相应的数据；
S2、接收数据分析处理获取数据字典进行存储，并调整发出的指令；
所述分析处理进行存储包括：
S21、将Web业务系统页面数据分组；
使用URL定位Web业务系统页面，使用XPATH定位元素，结合URL和XPATH将Web业务系统页面数据分组；
S22、在分组后的数据中，获取数据字典及存储对象结构；
设定元素的字段名作为数据字典的字段名，以每组Web业务系统页面表格标题或元素说明文本作为数据字典的字段描述；
以每组Web业务系统页面表格标题或元素的内容类型选择适合的数据类型及属性，并指定存储对象主键或联合主键字段；
以字段名、字段描述、数据类型及属性、存储对象主键或联合主键字段生成数据字典及存储对象结构；
S23、根据得到的数据字典及存储对象结构，与已经存在数据库中的相关数据比对差异，并自动新建或修改数据字典及存储对象；将新建或修改数据字典及存储对象保存；
S24、根据Web业务系统页面表格名称、数据类型、数据长度及新建或修改数据字典及存储对象，数据解析算法，生成对应的数据字典以及业务数据对象关联关系；
S25、针对Web业务系统页面内容及数据解析算法的更新变化，根据当前业务数据字典和业务数据对象的关联关系，动态改变相应的数据字典和业务数据结构及关系；
S26、将动态改变后的数据字典和业务数据结构及关系存储；
所述调整发出的指令包括：
统计任务状态信息、错误信息、性能数据、Web业务系统页面访问速率数据，并以可视化呈现到Web业务系统页面上；同时根据性能数据与性能阈值的比较生成告警信息通知管理人员；同时根据任务状态及任务成功失败率发出指令，调节对应的采集任务的频率或分配采集任务到不同对象处。
2.根据权利要求1所述的异构系统数据集成方法，其特征在于，所述指令包括：调节对应的采集任务的频率或分配采集任务，以获取不同的数据。
3.一种基于权利要求1-2任一所述的异构系统数据集成方法的集成系统，其特征在于，包括：
若干个数据采集模块(1)，所述数据采集模块(1)采集数据；
数据管理模块(2)，所述数据管理模块(2)与数据采集模块(1)相互通信连接；
所述数据管理模块(2)发出指令至数据采集模块(1)处，所述数据采集模块(1)接收指令开始采集数据，并将采集数据传输至数据管理模块(2)进行处理，所述数据管理模块(2)将采集数据分析处理获取数据字典并进行存储，同时所述数据管理模块(2)分析采集数据信息重新调整指令并传输至数据采集模块(1)处，以获取不同的数据。
4.根据权利要求3所述的集成系统，其特征在于，所述数据采集模块(1)与外界若干个Web业务系统通信连接。
5.根据权利要求3所述的集成系统，其特征在于，所述数据管理模块(2)包括采集任务控制模块(201)、采集任务监控模块(202)、数据解析算法配制模块(203)、采集错误跟踪模块(204)、采集处理算法模块(205)、采集结果统计模块(206)、数据结构自动匹配算法模块(207)、数据对象生成算法模块(208)、数据仓库模块(209)，其中：
所述采集任务控制模块(201)用于接收数据采集模块(1)采集的数据，同时所述采集任务控制模块(201)还能将指令传输至数据采集模块(1)处，所述指令包括调节对应的采集任务的频率或分配采集任务到不同的数据采集模块(1)处；
所述采集任务监控模块(202)用于监控数据采集模块(1)采集任务；
所述数据解析算法配制模块(203)用于基于采集的数据配制算法；
所述采集错误跟踪模块(204)用于将采集过程中的错误信息进行跟踪，同时根据错误上下文跟踪错误的运行时上下文状态分析原因；
所述采集处理算法模块(205)用于对采集的数据进行处理；
所述采集结果统计模块(206)用于将任务状态信息、错误信息、性能数据、Web业务系统页面访问速率等数据进行统计，并以可视化呈现到Web业务系统页面上；同时根据性能数据与性能阈值的比较生成告警信息通知管理人员；同时根据任务状态及任务成功失败率，发出指令至采集任务控制模块(201)处；
所述数据结构自动匹配算法模块(207)用于生成对应的数据字典以及业务数据对象关联关系；
所述数据对象生成算法模块(208)用于动态改变相应的数据字典和业务数据结构及关系；
所述数据仓库模块(209)用于存储动态改变后的数据字典和业务数据结构及关系。
6.根据权利要求5所述的集成系统，其特征在于，
所述数据解析算法配制模块(203)中配制的算法包括：
首先，使用URL定位Web业务系统页面，使用XPATH定位元素，结合URL和XPATH将Web业务系统页面数据分组，一个数据解析算法可对应多个分组；
接着设定元素的字段名作为数据字典的字段名，以每组Web业务系统页面表格标题或元素说明文本作为数据字典的字段描述；
然后，以每组Web业务系统页面表格标题或元素的内容类型选择适合的数据类型及属性，并指定存储对象主键或联合主键字段；
最后，以字段名、字段描述、数据类型及属性、存储对象主键或联合主键字段生成数据字典及存储对象结构。
7.根据权利要求6所述的集成系统，其特征在于，所述生成对应的数据字典以及业务数据对象关联关系包括：根据Web业务系统页面表格名称、数据类型、数据长度及新建或修改数据字典及存储对象，更新数据解析算法，进而生成对应的数据字典以及业务数据对象关联关系；
所述动态改变相应的数据字典和业务数据结构及关系包括：针对Web业务系统页面内容及数据解析算法的更新变化，根据当前业务数据字典和业务数据对象的关联关系，进而动态改变相应的数据字典和业务数据结构及关系。
8.一种基于权利要求1-2任一所述的异构系统数据集成方法的集成设备，其特征在于，包括：
发出指令模块(301)，用于发出指令，并依据该指令获取相应的数据；
分析处理模块(302)，用于接收数据分析处理进行存储，并调整发出的指令。
CN202110037545.XA 2021-01-12 2021-01-12 一种异构系统数据集成方法、系统及设备 Active CN112835889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110037545.XA CN112835889B (zh) 2021-01-12 2021-01-12 一种异构系统数据集成方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110037545.XA CN112835889B (zh) 2021-01-12 2021-01-12 一种异构系统数据集成方法、系统及设备

Publications (2)

Publication Number Publication Date
CN112835889A CN112835889A (zh) 2021-05-25
CN112835889B true CN112835889B (zh) 2023-12-29

Family

ID=75927899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110037545.XA Active CN112835889B (zh) 2021-01-12 2021-01-12 一种异构系统数据集成方法、系统及设备

Country Status (1)

Country Link
CN (1) CN112835889B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920638A (zh) * 2018-07-02 2018-11-30 山东浪潮商用系统有限公司 基于数据字典配置的web端文件数据采集方法及装置
CN109840254A (zh) * 2018-12-14 2019-06-04 湖南亚信软件有限公司 一种数据虚拟化及查询方法、装置
CN110430241A (zh) * 2019-07-12 2019-11-08 清华大学建筑设计研究院有限公司 智慧物联网信息采集传输系统
CN111126873A (zh) * 2019-12-30 2020-05-08 盾构及掘进技术国家重点实验室 一种基于Hadoop集群架构的盾构TBM大数据平台系统及建设方法
CN111309307A (zh) * 2020-02-25 2020-06-19 深圳联友科技有限公司 Vue页面与工作流系统的集成方法及装置
CN111683066A (zh) * 2020-05-27 2020-09-18 平安养老保险股份有限公司 异构系统集成方法、装置、计算机设备和存储介质
WO2020248274A1 (zh) * 2019-06-14 2020-12-17 胡永生 智慧物联网信息采集传输系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2415112A1 (en) * 2002-12-24 2004-06-24 Gerald Michael O'brien System and method for real-time web fragment identification and extraction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920638A (zh) * 2018-07-02 2018-11-30 山东浪潮商用系统有限公司 基于数据字典配置的web端文件数据采集方法及装置
CN109840254A (zh) * 2018-12-14 2019-06-04 湖南亚信软件有限公司 一种数据虚拟化及查询方法、装置
WO2020248274A1 (zh) * 2019-06-14 2020-12-17 胡永生 智慧物联网信息采集传输系统
CN110430241A (zh) * 2019-07-12 2019-11-08 清华大学建筑设计研究院有限公司 智慧物联网信息采集传输系统
CN111126873A (zh) * 2019-12-30 2020-05-08 盾构及掘进技术国家重点实验室 一种基于Hadoop集群架构的盾构TBM大数据平台系统及建设方法
CN111309307A (zh) * 2020-02-25 2020-06-19 深圳联友科技有限公司 Vue页面与工作流系统的集成方法及装置
CN111683066A (zh) * 2020-05-27 2020-09-18 平安养老保险股份有限公司 异构系统集成方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112835889A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
US7249170B2 (en) System and method for configuration, management and monitoring of network resources
WO2022088804A1 (zh) 消息推送方法、装置、电子设备及存储介质
US20020069367A1 (en) Network operating system data directory
CN105763369A (zh) 一种终端设备远程软件版本分发方法及系统
CN110347746A (zh) 一种异构数据库同步数据一致性校验方法及装置
CN105786611A (zh) 一种分布式集群的任务调度方法及装置
CN112163026A (zh) 一种用于整合多类技术应用数据的多源异构接口管控方法
CN102857949A (zh) 一种规划数据一致性保证的方法和装置
CN110099128B (zh) 一种认证数据同步方法及装置
CN114691782A (zh) 数据库表增量同步方法、装置及存储介质
CN112835889B (zh) 一种异构系统数据集成方法、系统及设备
CN111984216B (zh) 一种对字符运维的图形审计方法及系统
CN112612802A (zh) 一种实时数据中台的处理方法、装置及平台
CN117527568A (zh) 一种数据整合平台的数据接入方法及系统
EP4052129A1 (en) System and method for blockchain based backup and recovery
CN115085794A (zh) 面向北斗短报文的区块链可信存证方法及系统
CN115269719A (zh) 数据同步方法及装置
CN110935168B (zh) 用于全球同服架构的分布式id生成方法、装置及设备
CN114116253A (zh) 一种消息队列的消息处理方法及系统
CN111858738A (zh) 数据信息传输方法、装置及计算机可读介质
CN100563243C (zh) 传统事务语言接口转换装置及方法
CN116382947B (zh) 一种面向高能同步辐射光源海量数据的传输系统和方法
CN112787864B (zh) 一种电力物联网的分组配置方法及装置
CN115391463A (zh) 数据同步方法、装置及服务器集群
CN110244912B (zh) 数据配送系统的缓存方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant