CN110347682A - 一种大数据存储系统集成系统 - Google Patents

一种大数据存储系统集成系统 Download PDF

Info

Publication number
CN110347682A
CN110347682A CN201910562778.4A CN201910562778A CN110347682A CN 110347682 A CN110347682 A CN 110347682A CN 201910562778 A CN201910562778 A CN 201910562778A CN 110347682 A CN110347682 A CN 110347682A
Authority
CN
China
Prior art keywords
data
layer
big
sample platform
collector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910562778.4A
Other languages
English (en)
Inventor
唐海霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Yitong Network Technology Co Ltd
Original Assignee
Anhui Yitong Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Yitong Network Technology Co Ltd filed Critical Anhui Yitong Network Technology Co Ltd
Priority to CN201910562778.4A priority Critical patent/CN110347682A/zh
Publication of CN110347682A publication Critical patent/CN110347682A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据存储系统集成系统，包括存储模块、集成模块和传输模块，存储模块和集成模块之间通过传输模块相连接；存储模块包括数据采集层、数据挖掘层、数据处理层、数据运算层、数据传输层以及数据源中心，数据采集层、数据挖掘层、数据处理层、数据运算层、数据传输层和数据源中心之间通过无线或者有线网络依次连接；集成模块包括数据编译层、在线历史库层、离线归档库层和数据仓库品台层，数据编译层、在线历史库层、离线归档库层和数据仓库品台层之间通过无线或者有线网络依次连接；本发明通过设置的存储模块和集成模块，能够有效实现其数据信息的统一管理，并且在数据调用的过程中实现自由读取的目的。

Description

一种大数据存储系统集成系统
技术领域
本发明涉及数据库技术领域，具体为一种大数据存储系统集成系统。
背景技术
大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。
“大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。
大数据存储是为了有效实现其数据信息的统一管理，然而在数据调用的过程中若不能实现自由读取，则大数据存储的价值则无法实现。
发明内容
本发明的目的在于提供一种大数据存储系统集成系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种大数据存储系统集成系统，包括存储模块、集成模块和传输模块，存储模块和集成模块之间通过传输模块相连接；
存储模块包括数据采集层、数据挖掘层、数据处理层、数据运算层、数据传输层以及数据源中心，数据采集层、数据挖掘层、数据处理层、数据运算层、数据传输层和数据源中心之间通过无线或者有线网络依次连接；
数据采集层，用于采集本地系统、异地系统和互联网对应大数据，其包括用于接收和发送数据的数据收发器，所述数据收发器包括用于采集本地系统、异地系统对应数据的本地采集器、用于采集互联网信息的互联网数据采集器、用于接收数据仓库品台层发送数据的接收器、以及用于向数据挖掘层发送数据的发送器；
数据挖掘层，用于挖掘所述数据采集层中的用户大数据，并对数据采集层中的本地采集器、互联网数据采集器和接收器采集的数据进行解析，以判断对应数据的来源与目的；
数据处理层，对从所述数据挖掘层挖掘后的数据进行分析；
数据运算层，用于将所述用户大数据进行加密处理；
数据传输层，用于将加密后的用户大数据进行传输；
数据源中心，用于存储加密后的用户大数据；
集成模块包括数据编译层、在线历史库层、离线归档库层和数据仓库品台层，数据编译层、在线历史库层、离线归档库层和数据仓库品台层之间通过无线或者有线网络依次连接；
数据编译层，用于对数据源中心存储的用户大数据进行编辑，并将编辑后的相关数据存储在所述在线历史库层中；
在线历史库层，根据数据的活跃情况将数据存储到所述离线归档库层中；
离线归档库层，用于存储在线历史库层传送过来的数据信息，并将该数据信息发送给数据仓库品台层；
数据仓库品台层，对整理出的数据进行存储并构建数据集成的总体架构，实现与各业务系统数据的交互。
作为本发明一种优选的技术方案，所述数据仓库品台层包括用于向数据采集层发送数据的发送器，数据仓库品台层和数据采集层之间通过用于接收数据仓库品台层发送数据的接收器和用于向数据采集层发送数据的发送器相连接。
作为本发明一种优选的技术方案，所述数据采集层中的本地采集器是利用JDBC方式周期性地对本地系统、异地系统对应的数据进行数据采集，互联网数据采集器是通过爬虫技术抓取所需的互联网信息。
作为本发明一种优选的技术方案，所述数据运算层中的加密处理是采用以下加密算法中的一种：数据加密算法DES、高级加密标准AES、RSA加密算法、Base64加密算法、消息摘要算法第五版MD5加密算法或者安全哈希算法SHA1。
作为本发明一种优选的技术方案，所述数据挖掘层是采用海杜普Hadoop分布式架构技术，对数据采集层中的用户大数据进行挖掘。
与现有技术相比，本发明的有益效果是：本发明提供的一种大数据存储系统集成系统，通过设置的存储模块和集成模块，能够及时存储用户搜集而来的庞大数据组，并将用户搜集而来的庞大数据组在下次用户收集数据时被调用出来，供用户查看使用，能够有效实现其数据信息的统一管理，并且在数据调用的过程中实现自由读取的目的。
附图说明
图1为本发明工作路程图。
图中标号：1、存储模块；11、数据采集层；12、数据挖掘层；13、数据处理层；14、数据运算层；15、数据传输层；16、数据源中心；2、集成模块；21、数据编译层；22、在线历史库层；23、离线归档库层；24、数据仓库品台层；3、传输模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1，本发明提供一种技术方案：一种大数据存储系统集成系统，包括存储模块1、集成模块2和传输模块3，存储模块1和集成模块2之间通过传输模块3相连接；
存储模块1包括数据采集层11、数据挖掘层12、数据处理层13、数据运算层14、数据传输层15以及数据源中心16，数据采集层11、数据挖掘层12、数据处理层13、数据运算层14、数据传输层15和数据源中心16之间通过无线或者有线网络依次连接；
数据采集层11，用于采集本地系统、异地系统和互联网对应大数据，其包括用于接收和发送数据的数据收发器，所述数据收发器包括用于采集本地系统、异地系统对应数据的本地采集器、用于采集互联网信息的互联网数据采集器、用于接收数据仓库品台层24发送数据的接收器、以及用于向数据挖掘层12发送数据的发送器；
数据挖掘层12，用于挖掘所述数据采集层11中的用户大数据，并对数据采集层11中的本地采集器、互联网数据采集器和接收器采集的数据进行解析，以判断对应数据的来源与目的；
数据处理层13，对从所述数据挖掘层12挖掘后的数据进行分析；
数据运算层14，用于将所述用户大数据进行加密处理；
数据传输层15，用于将加密后的用户大数据进行传输；
数据源中心16，用于存储加密后的用户大数据；
集成模块2包括数据编译层21、在线历史库层22、离线归档库层23和数据仓库品台层24，数据编译层21、在线历史库层22、离线归档库层23和数据仓库品台层24之间通过无线或者有线网络依次连接；
数据编译层21，用于对数据源中心16存储的用户大数据进行编辑，并将编辑后的相关数据存储在所述在线历史库层22中；
在线历史库层22，根据数据的活跃情况将数据存储到所述离线归档库层23中；
离线归档库层23，用于存储在线历史库层22传送过来的数据信息，并将该数据信息发送给数据仓库品台层24；
数据仓库品台层24，对整理出的数据进行存储并构建数据集成的总体架构，实现与各业务系统数据的交互。
所述数据仓库品台层24包括用于向数据采集层11发送数据的发送器，数据仓库品台层24和数据采集层11之间通过用于接收数据仓库品台层24发送数据的接收器和用于向数据采集层11发送数据的发送器相连接。
所述数据采集层11中的本地采集器是利用JDBC方式周期性地对本地系统、异地系统对应的数据进行数据采集，互联网数据采集器是通过爬虫技术抓取所需的互联网信息。
所述数据运算层14中的加密处理是采用以下加密算法中的一种：数据加密算法DES、高级加密标准AES、RSA加密算法、Base64加密算法、消息摘要算法第五版MD5加密算法或者安全哈希算法SHA1。
所述数据挖掘层12是采用海杜普Hadoop分布式架构技术，对数据采集层11中的用户大数据进行挖掘。
工作原理：
首先，数据采集层11采集本地系统、异地系统和互联网对应大数据；数据挖掘层12对数据采集层11中的用户大数据进行挖掘，并对数据采集层11中的本地采集器、互联网数据采集器和接收器采集的数据进行解析，以判断对应数据的来源与目的；之后，数据处理层13，对从所述数据挖掘层12挖掘后的数据进行分析，并通过数据运算层14将所述用户大数据进行加密处理，再通过数据传输层15将加密后的用户大数据传输至数据源中心16存储起来；
然后，数据编译层21对数据源中心16存储的用户大数据进行编辑，并将编辑后的相关数据存储在所述在线历史库层22中，在线历史库层22，根据数据的活跃情况将数据存储到所述离线归档库层23中，并将该数据信息发送给数据仓库品台层24，数据仓库品台层24对整理出的数据进行存储并构建数据集成的总体架构，实现与各业务系统数据的交互，在用户下次采集数据信息时，能够通过数据采集层11采集本地系统、异地系统、互联网对应大数据和数据仓库品台层24存储的数据信息，供用户查看使用，能够有效实现其数据信息的统一管理，并且在数据调用的过程中实现自由读取的目的。
综上所述：本发明提供的一种大数据存储系统集成系统，通过设置的存储模块和集成模块，能够及时存储用户搜集而来的庞大数据组，并将用户搜集而来的庞大数据组在下次用户收集数据时被调用出来，供用户查看使用，能够有效实现其数据信息的统一管理，并且在数据调用的过程中实现自由读取的目的。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种大数据存储系统集成系统，其特征在于，包括存储模块(1)、集成模块(2)和传输模块(3)，存储模块(1)和集成模块(2)之间通过传输模块(3)相连接；
存储模块(1)包括数据采集层(11)、数据挖掘层(12)、数据处理层(13)、数据运算层(14)、数据传输层(15)以及数据源中心(16)，数据采集层(11)、数据挖掘层(12)、数据处理层(13)、数据运算层(14)、数据传输层(15)和数据源中心(16)之间通过无线或者有线网络依次连接；
数据采集层(11)，用于采集本地系统、异地系统和互联网对应大数据，其包括用于接收和发送数据的数据收发器，所述数据收发器包括用于采集本地系统、异地系统对应数据的本地采集器、用于采集互联网信息的互联网数据采集器、用于接收数据仓库品台层(24)发送数据的接收器、以及用于向数据挖掘层(12)发送数据的发送器；
数据挖掘层(12)，用于挖掘所述数据采集层(11)中的用户大数据，并对数据采集层(11)中的本地采集器、互联网数据采集器和接收器采集的数据进行解析，以判断对应数据的来源与目的；
数据处理层(13)，对从所述数据挖掘层(12)挖掘后的数据进行分析；
数据运算层(14)，用于将所述用户大数据进行加密处理；
数据传输层(15)，用于将加密后的用户大数据进行传输；
数据源中心(16)，用于存储加密后的用户大数据；
集成模块(2)包括数据编译层(21)、在线历史库层(22)、离线归档库层(23)和数据仓库品台层(24)，数据编译层(21)、在线历史库层(22)、离线归档库层(23)和数据仓库品台层(24)之间通过无线或者有线网络依次连接；
数据编译层(21)，用于对数据源中心(16)存储的用户大数据进行编辑，并将编辑后的相关数据存储在所述在线历史库层(22)中；
在线历史库层(22)，根据数据的活跃情况将数据存储到所述离线归档库层(23)中；
离线归档库层(23)，用于存储在线历史库层(22)传送过来的数据信息，并将该数据信息发送给数据仓库品台层(24)；
数据仓库品台层(24)，对整理出的数据进行存储并构建数据集成的总体架构，实现与各业务系统数据的交互。
2.根据权利要求1所述的一种大数据存储系统集成系统，其特征在于，所述数据仓库品台层(24)包括用于向数据采集层(11)发送数据的发送器，数据仓库品台层(24)和数据采集层(11)之间通过用于接收数据仓库品台层(24)发送数据的接收器和用于向数据采集层(11)发送数据的发送器相连接。
3.根据权利要求1所述的一种大数据存储系统集成系统，其特征在于，所述数据采集层(11)中的本地采集器是利用JDBC方式周期性地对本地系统、异地系统对应的数据进行数据采集，互联网数据采集器是通过爬虫技术抓取所需的互联网信息。
4.根据权利要求1所述的一种大数据存储系统集成系统，其特征在于，所述数据运算层(14)中的加密处理是采用以下加密算法中的一种：数据加密算法DES、高级加密标准AES、RSA加密算法、Base64加密算法、消息摘要算法第五版MD5加密算法或者安全哈希算法SHA1。
5.根据权利要求1所述的一种大数据存储系统集成系统，其特征在于，所述数据挖掘层(12)是采用海杜普Hadoop分布式架构技术，对数据采集层(11)中的用户大数据进行挖掘。
CN201910562778.4A 2019-06-26 2019-06-26 一种大数据存储系统集成系统 Withdrawn CN110347682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910562778.4A CN110347682A (zh) 2019-06-26 2019-06-26 一种大数据存储系统集成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910562778.4A CN110347682A (zh) 2019-06-26 2019-06-26 一种大数据存储系统集成系统

Publications (1)

Publication Number Publication Date
CN110347682A true CN110347682A (zh) 2019-10-18

Family

ID=68183287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910562778.4A Withdrawn CN110347682A (zh) 2019-06-26 2019-06-26 一种大数据存储系统集成系统

Country Status (1)

Country Link
CN (1) CN110347682A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556098A (zh) * 2020-04-08 2020-08-18 深圳供电局有限公司 一种基于人工智能的物联网数据的分析系统和分析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556098A (zh) * 2020-04-08 2020-08-18 深圳供电局有限公司 一种基于人工智能的物联网数据的分析系统和分析方法
CN111556098B (zh) * 2020-04-08 2023-09-15 深圳供电局有限公司 一种基于人工智能的物联网数据的分析系统和分析方法

Similar Documents

Publication Publication Date Title
Zhong et al. Big Data for supply chain management in the service and manufacturing sectors: Challenges, opportunities, and future perspectives
Kapil et al. A study of big data characteristics
CN106250424B (zh) 一种日志上下文内容的搜索方法、装置及系统
CN111782620B (zh) 一种信用链路自动跟踪平台及其方法
CN107818120A (zh) 基于大数据的数据处理方法和装置
CN107590250A (zh) 一种时空轨迹生成方法及装置
CN107945086A (zh) 一种应用于智慧城市的大数据资源管理系统
CN106709069A (zh) 高可靠性的大数据日志采集与传输方法
CN104615852A (zh) 一种针对网上预约挂号保障预约秩序及提高号源使用效率的方法
CN108388682A (zh) 一种智能化大数据储存分类平台及其方法
CN103258049A (zh) 一种基于海量数据的关联规则挖掘方法
US20130234863A1 (en) Method and apparatus for mobile metering
CN110933040B (zh) 基于区块链的数据上链方法、装置、设备及介质
CN106294644A (zh) 一种基于大数据技术的海量时序数据收集处理装置及方法
CN110363510A (zh) 一种基于区块链的加密货币用户特征挖掘、异常用户检测方法
CN104584524A (zh) 聚合中介系统中的数据
CN104574196A (zh) 一种用于农作物田间自动化数据采集管理系统
Madanian et al. IoT, cloud computing and big data: integrated framework for healthcare in disasters
CN110310176A (zh) 一种基于区块链网络的数据加密方法及装置
Hongqian et al. Cloud-based data management system for automatic real-time data acquisition from large-scale laying-hen farms
CN103020169A (zh) 一种电力数据的有效性及唯一性处理方法
CN116362772A (zh) 一种基于区块链的溯源处理方法及区块链分布式溯源系统
CN118094650B (zh) 一种基于区块链下农产品溯源存储方法
CN110347682A (zh) 一种大数据存储系统集成系统
CN100555935C (zh) 基于相似数据集的网络监测数据压缩存储和联合检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191018