CN105630964A - 一种数据交互分析系统 - Google Patents

一种数据交互分析系统 Download PDF

Info

Publication number
CN105630964A
CN105630964A CN201510988332.XA CN201510988332A CN105630964A CN 105630964 A CN105630964 A CN 105630964A CN 201510988332 A CN201510988332 A CN 201510988332A CN 105630964 A CN105630964 A CN 105630964A
Authority
CN
China
Prior art keywords
data
flow
analysis
interface
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510988332.XA
Other languages
English (en)
Inventor
王春生
赵武
刘涛
程昊
王建立
徐茂文
陈鑫
张志东
王旭堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GANSU WANWEI INFORMATION TECHNOLOGY CO LTD
Original Assignee
GANSU WANWEI INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GANSU WANWEI INFORMATION TECHNOLOGY CO LTD filed Critical GANSU WANWEI INFORMATION TECHNOLOGY CO LTD
Priority to CN201510988332.XA priority Critical patent/CN105630964A/zh
Publication of CN105630964A publication Critical patent/CN105630964A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种<b>数据交互分析系统，</b>主要由数据流入接口、流入数据配置模块、流入数据存储模块、数据分析模块、分析数据存储模块、流出数据配置模块、数据流出接口组成；由提供数据的异构系统首先发起连接请求，数据流入接口接收到请求后，通过鉴权，允许异构系统进行数据接入，在流入数据配置模块配置数据接收方法、数据传输频率、数据结构信息，完成后回复异构系统进行数据接入并在流入数据存储模块存储；之后在数据分析模块进行分析，对分析结果存储于分析数据存储模块；而后由需求数据的异构系统发起数据请求接口，数据流出接口通过鉴权后，允许异构系统进行数据接入。本发明将多个数据分析需要进行统一处理，部分分析数据可重复利用而提高数据分析效率。

Description

一种数据交互分析系统
技术领域
本发明涉及结构化与非结构化数据的数据交互、数据分析技术领域，具体涉及一种数据交互分析系统。
背景技术
随着云时代的来临，大数据也吸引了越来越多的关注，同时很多企事业单位都搭建了许多适合业务发展信息化应用系统，这些系统由于缺乏有效的统一规划，大量有价值的信息和数据以不同方式分布在各个应用系统，无法通过数据交互快速、有效的聚集在一起，并通过分析、处理获得有用的数据。随着大数据不断的应用，利用数据交互、数据分析对大数据进行统一的加工、处理，形成有效的数据应用，提供决策依据，将分散在不同应用系统数据统一聚合，以标准化的方式集中存储、并将加工、处理后的数据送到需要的目的系统中，是目前所有领域大数据信息化领域急需解决的问题，所以需要一种基于大数据理念的数据交互、分析系统，来解决这一问题。
现有多个独立系统间进行数据交互的方式基本上为通过技术人员开发数据接口根据特定模式收取或推送数据，这种方式工作量极大且复用性很差，如何通过半自动化的方式解决独立系统间数据交互的问题，并向下游系统快速提供它所需要的有效数据，并有效释放部分技术人员，使一般人员能够进行数据交互、分析的处理，是发展趋势。
发明内容
本发明提供一种数据交互分析系统，将多个数据分析需要进行统一处理，以提升数据分析效率。
本发明所采用的技术方案是:
一种数据交互分析系统，主要由数据流入接口、流入数据配置模块、流入数据存储模块、数据分析模块、分析数据存储模块、流出数据配置模块、数据流出接口组成；由提供数据的异构系统首先发起连接请求，要求进行数据流入传输，数据流入接口接收到请求后，通过鉴权，允许异构系统进行数据接入，在流入数据配置模块配置数据接收方法、数据传输频率、数据结构信息，完成后回复异构系统开始进行数据接入；数据接入后，在流入数据存储模块进行流入数据的存储；之后在数据分析模块进行数据初步分析，对数据初步分析结果存储于分析数据存储模块；而后由需求数据的异构系统发起数据请求接口，数据流出接口通过鉴权后，允许异构系统进行数据接入，进行数据接入配置，在流出数据配置模块配置所需要的数据类型、数据属性、数据分析方法、数据分析周期、数据传输频率、数据接收方法，完成后回复异构系统，通过数据流出接口进行数据加密传输，将多个数据分析需要进行统一处理，以提升数据分析效率。
所述流入数据配置模块中配置有可视化模块；在流入数据配置模块中通过可视化模块的可视化界面配置数据交互方法、数据传输频率、数据结构信息。
所述流出数据配置模块中配置有可视化模块；在流出数据配置模块中通过可视化模块的可视化界面配置所需要的数据类型、数据分析方法、数据属性、数据分析周期、数据传输频率、数据接收方法。
所述数据传输频率包括间隔交互、定时交互两种。
所述数据交互方法包括完整交互、时间节点交互或触发器交互模式；所述完整交互为每次交互的是数据源下所有满足交换条件的数据；时间节点交互为每次交互的是数据源下所有满足交换条件的数据，并且作为时间节点的字段新数据的时间值要比旧数据的时间值新；触发器交互模式为只要数据源数据有任何变更，数据都会同步到接收表，该触发器交互模式数据源为关系型数据库。
本发明主要通过在数据交互端，提供流入数据接入接口配置管理，高效、快速的进行异构系统间的接口配置，实现数据流入，然后通过流出数据配置模块与数据流出接口相协作为下游异构系统提供所需要的数据及数据接口，以加密、鉴权的方式，进行安全、高效传输，实现数据流出。本发明将多个数据分析需要进行统一处理，部分分析数据可重复利用而提高数据分析效率。流入数据配置模块和流出数据配置模块通过可视化的配置，将原本需要由技术人员完成的内容，全部通过可视化的方式实现，由业务需求人员直接进行，避免了由于沟通不畅等原因造成的数据分析效率低下，进一步提升业务需求人员获取分析数据的效率。
本发明可广泛应用于旅游、教育、卫生等行业的数据交互、分析。
附图说明
图1为本发明的结构框图；
图2为数据流入侧的详细结构框图；
图3为数据流出侧的详细结构框图。
具体实施方式
下面结合具体实施例及其附图对本发明作进一步说明。
如图1-3所示，一种数据交互分析系统，主要由数据流入接口、流入数据配置模块、流入数据存储模块、数据分析模块、分析数据存储模块、流出数据配置模块、数据流出接口组成；由提供数据的异构系统首先发起连接请求，要求进行数据流入传输，数据流入接口接收到请求后，通过鉴权，允许异构系统进行数据接入，在流入数据配置模块配置数据接收方法、数据传输频率、数据结构信息，完成后回复异构系统开始进行数据接入；数据接入后，在流入数据存储模块进行流入数据的存储；之后在数据分析模块进行数据初步分析，对数据初步分析结果存储于分析数据存储模块；而后由需求数据的异构系统发起数据请求接口，数据流出接口通过鉴权后，允许异构系统进行数据接入，进行数据接入配置，在流出数据配置模块配置所需要的数据类型、数据分析方法、数据属性、数据分析周期、数据传输频率、数据接收方法信息，完成后回复异构系统，通过数据流出接口进行数据加密传输，将多个数据分析需要进行统一处理，以提升数据分析效率。
上述数据流入接口，主要实现与多种异构系统的技术接入工作，通过配置方式提高数据接入效率，本发明适应多种数据源类型，包括数据库（Oracle、Sybase、SQLServer、DB2、MySQL），文本数据（Excel、Json、XML），webservice接口等，因此，本发明可以对多个独立系统的数据源进行管理。
流入数据配置模块配置每个独立数据源的数据接收方法、数据传输频率、数据结构信息。
配置接收数据源，根据数据源类型选择不同数据配置项，对数据源进行连通测试。
其中数据传输频率包含以下两种：
间隔交互任务：以秒为单位，每间隔设置的秒数，执行一次数据交互，秒数越大，系统资源占用率越低，而数据交互时效性越大，此值越小，则反之。
定时交互任务：设置定时启动，定时设置有：年、月、周、日、星期几、小时、分钟或者任意组合，系统每到指定时间，自动执行交互任务。
如可以设置每日0:00与12:00两个时间节点进行数据交互。
所述数据交互方法包含以下几种：
完整交互：每次交互的是数据源下所有满足交换条件的数据。
时间节点交互：每次交互的是数据源下所有满足交换条件的数据，并且作为时间节点的字段新数据的时间值要比旧的时间值新。
触发器模式：只要数据源数据有任何变更，数据都会同步到接收表，此模式数据源需要为关系型数据库。
数据分析模块,根据流出数据配置模块需求对数据进行加工、处理，并对分析数据进行二次存储,存储在分析数据存储模块,以提高数据流出效率。
在流出数据配置模块配置所需要的数据类型、数据分析方法、数据属性、数据分析周期、数据传输频率、数据接收方法信息，完成后回复异构系统，通过数据流出接口进行数据对称加密传输，将多个数据分析需要进行统一处理，以提升数据分析效率。
所述流入数据配置模块中配置有可视化模块；在流入数据配置模块中通过可视化模块的可视化界面配置数据交互方法、数据传输频率、数据结构信息。
所述流出数据配置模块中配置有可视化模块；在流出数据配置模块中通过可视化模块的可视化界面配置所需要的数据类型、数据分析方法、数据属性、数据分析周期、数据传输频率、数据接收方法信息。
本发明通过可视化的数据配置，将原本需要由技术人员完成的内容，全部通过可视化的方式实现，由业务需求人员直接进行，避免了由于沟通不畅等原因造成的数据分析效率低下，提升业务需求人员获取分析数据的效率，以进一步提高数据分析效率。

Claims (5)

1.一种数据交互分析系统，其特征在于：主要由数据流入接口、流入数据配置模块、流入数据存储模块、数据分析模块、分析数据存储模块、流出数据配置模块、数据流出接口组成；由提供数据的异构系统首先发起连接请求，要求进行数据流入传输，数据流入接口接收到请求后，通过鉴权，允许异构系统进行数据接入，在流入数据配置模块配置数据接收方法、数据传输频率、数据结构信息，完成后回复异构系统开始进行数据接入；数据接入后，在流入数据存储模块进行流入数据的存储；之后在数据分析模块进行数据初步分析，对数据初步分析结果存储于分析数据存储模块；而后由需求数据的异构系统发起数据请求接口，数据流出接口通过鉴权后，允许异构系统进行数据接入，进行数据接入配置，在流出数据配置模块配置所需要的数据类型、数据属性、数据分析方法、数据分析周期、数据传输频率、数据接收方法，完成后回复异构系统，通过数据流出接口进行数据加密传输，将多个数据分析需要进行统一处理，以提升数据分析效率。
2.根据权利要求1所述的一种数据交互分析系统，其特征在于：所述流入数据配置模块中配置有可视化模块；在流入数据配置模块中通过可视化模块的可视化界面配置数据交互方法、数据传输频率、数据结构信息。
3.根据权利要求1所述的一种数据交互分析系统，其特征在于：所述流出数据配置模块中配置有可视化模块；在流出数据配置模块中通过可视化模块的可视化界面配置所需要的数据类型、数据分析方法、数据属性、数据分析周期、数据传输频率、数据接收方法。
4.根据权利要求2所述的一种数据交互分析系统，其特征在于：所述数据传输频率包括间隔交互、定时交互两种。
5.根据权利要求2所述的一种数据交互分析系统，其特征在于：所述数据交互方法包括完整交互、时间节点交互或触发器交互模式；所述完整交互为每次交互的是数据源下所有满足交换条件的数据；时间节点交互为每次交互的是数据源下所有满足交换条件的数据，并且作为时间节点的字段新数据的时间值要比旧数据的时间值新；触发器交互模式为只要数据源数据有任何变更，数据都会同步到接收表，该触发器交互模式数据源为关系型数据库。
CN201510988332.XA 2015-12-25 2015-12-25 一种数据交互分析系统 Pending CN105630964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510988332.XA CN105630964A (zh) 2015-12-25 2015-12-25 一种数据交互分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510988332.XA CN105630964A (zh) 2015-12-25 2015-12-25 一种数据交互分析系统

Publications (1)

Publication Number Publication Date
CN105630964A true CN105630964A (zh) 2016-06-01

Family

ID=56045897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510988332.XA Pending CN105630964A (zh) 2015-12-25 2015-12-25 一种数据交互分析系统

Country Status (1)

Country Link
CN (1) CN105630964A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893116A (zh) * 2016-04-12 2016-08-24 深圳前海大数点科技有限公司 一种面向实时数据流处理的可视化流程管理系统与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081656A (zh) * 2011-01-12 2011-06-01 江苏梦兰神彩科技发展有限公司 一种跨平台异构数据库的数据采集与分发系统
US8131840B1 (en) * 2006-09-12 2012-03-06 Packet Plus, Inc. Systems and methods for data stream analysis using embedded design logic
CN104133753A (zh) * 2014-06-12 2014-11-05 国家电网公司 数据质量监控方法
CN104317970A (zh) * 2014-11-19 2015-01-28 亚信科技（南京）有限公司 一种基于数据加工中心的数据流式处理方法
CN104504010A (zh) * 2014-12-11 2015-04-08 国云科技股份有限公司 一种多对多的数据采集系统及其采集方法
CN104699855A (zh) * 2015-04-09 2015-06-10 成都卡莱博尔信息技术有限公司 一种主动式主数据交换方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131840B1 (en) * 2006-09-12 2012-03-06 Packet Plus, Inc. Systems and methods for data stream analysis using embedded design logic
CN102081656A (zh) * 2011-01-12 2011-06-01 江苏梦兰神彩科技发展有限公司 一种跨平台异构数据库的数据采集与分发系统
CN104133753A (zh) * 2014-06-12 2014-11-05 国家电网公司 数据质量监控方法
CN104317970A (zh) * 2014-11-19 2015-01-28 亚信科技（南京）有限公司 一种基于数据加工中心的数据流式处理方法
CN104504010A (zh) * 2014-12-11 2015-04-08 国云科技股份有限公司 一种多对多的数据采集系统及其采集方法
CN104699855A (zh) * 2015-04-09 2015-06-10 成都卡莱博尔信息技术有限公司 一种主动式主数据交换方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893116A (zh) * 2016-04-12 2016-08-24 深圳前海大数点科技有限公司 一种面向实时数据流处理的可视化流程管理系统与方法

Similar Documents

Publication Publication Date Title
Yang et al. A system architecture for manufacturing process analysis based on big data and process mining techniques
CN110750650A (zh) 企业知识图谱的构建方法及装置
JP2017142798A (ja) 改善されたインターフェースを備えるステートマシンビルダー及び状態非依存イベントの処理
Kumari et al. A survey on global requirements elicitation issues and proposed research framework
CN103699693A (zh) 一种基于元数据的数据质量管理方法及系统
CN109298948B (zh) 分布式计算方法和系统
Van Dinh et al. ICT enabling technologies for smart cities
US20180165184A1 (en) Production-like testing and complex business to business auditing system
Hopkins et al. Internet of things sensing networks, smart manufacturing big data, and digitized mass production in sustainable Industry 4.0.
CN106230985A (zh) 一种基于物联网大数据处理方法、系统及服务处理端
CN103186830A (zh) 一种根据邮件智能分析生成工单的方法及装置
Grzybowska et al. Logistics Process Modelling in Supply Chain–algorithm of coordination in the supply chain–contracting
CN103544060A (zh) 一种基于webservice的服务调度系统及方法
CN105630964A (zh) 一种数据交互分析系统
Tai et al. RETRACTED ARTICLE: Multimedia based intelligent network big data optimization model
Adhikari et al. Use of big data analytics in WASH sector
Dijkman et al. A toolkit for streaming process data analysis
CN113706101B (zh) 电网项目管理智能系统架构及方法
CN113570084B (zh) 一种基于设备维修生成故障分析报告的方法和系统
CN108173955A (zh) 一种云平台排除服务器故障的系统
Movahedi et al. A framework for applying ERP in effective implementation of TQM
van der Aalst How People Really (Like To) Work: Comparative Process Mining To Unravel Human Behavior
El Hamali et al. Towards a reeingeniering of business process management lifecycle by the use of social networks
CN113190731A (zh) 一种标签构建方法、装置、设备和存储介质
Zhou et al. Research on value based heuristics miner for product service system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160601