CN107612984B - 一种基于互联网的大数据平台 - Google Patents

一种基于互联网的大数据平台 Download PDF

Info

Publication number
CN107612984B
CN107612984B CN201710784184.9A CN201710784184A CN107612984B CN 107612984 B CN107612984 B CN 107612984B CN 201710784184 A CN201710784184 A CN 201710784184A CN 107612984 B CN107612984 B CN 107612984B
Authority
CN
China
Prior art keywords
data
big data
layer
big
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710784184.9A
Other languages
English (en)
Other versions
CN107612984A (zh
Inventor
白云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tianping Inspection Bank Co ltd
Original Assignee
Beijing Tianping Inspection Bank Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tianping Inspection Bank Co ltd filed Critical Beijing Tianping Inspection Bank Co ltd
Priority to CN201710784184.9A priority Critical patent/CN107612984B/zh
Publication of CN107612984A publication Critical patent/CN107612984A/zh
Application granted granted Critical
Publication of CN107612984B publication Critical patent/CN107612984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明涉及一种基于互联网的大数据平台，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；所述数据采集层包括数据采集服务器；所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；本发明的有益效果是：本系统框架完整，功能齐全，涵盖互联网上的大量数据资源，提高了大数据平台的处理能力，且系统能够稳定运行，并且也解决了在大数据处理中数据丢失的问题。

Description

一种基于互联网的大数据平台
技术领域
本发明涉及大数据系统技术领域，具体说是一种基于互联网的大数据平台。
背景技术
大数据分析平台基于分布式海量数据存储与计算环境，提供图形化交互式数据处理和分析工具，丰富的数据分析与挖掘算法，以及交互式可视化分析工具，通过互联网服务方式向用户提供服务。这种系统实现策略不仅符合大数据应用的发展趋势，同时也满足中小企业和个人用户对于数据分析系统的可用性、时效性和低成本等方面的要求。大数据分析平台所采用的技术路线和应用模式融合了智能分析技术、高可扩展计算技术、非结构化数据处理技术和软件即时服务(SaaS)应用模式，符合当前国际大数据产业的发展趋势和产业化应用要求。
然而现有的大数据平台大多功能单一，框架不完善，并且在大数据处理中，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题，无法实现真正的大数据处理时代，因此本发明提供了一种基于互联网的大数据平台，来解决上述问题。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种基于互联网的大数据平台，解决现有的大数据平台功能单一，框架不完善，在大数据处理中，因数据量巨大，达成接收数据时网络堵塞，从而存在数据丢失的问题。
为达到以上目的，本发明采取的技术方案是：
一种基于互联网的大数据平台，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；
所述数据采集层用于实现批量数据的采集；
所述数据计算存储层用于对数据采集层采集的数据进行存储、计算和整合；
所述服务层用于对数据进行封装、分析、挖掘和共享，为用户提供基于互联网的大数据服务；
所述应用层用于为用户提供应用软件和搜索网站；
所述平台管理层为应用层和服务层的开发框架进行统一管理，实现各类数据资源的集中管控和统一调度；
所述数据治理层用于对数据进行管理；
所述数据采集层包括数据采集服务器；
所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；
所述数据采集服务器用于采集互联网上的数据，对数据进行分类，然后将相同类别的数据发送给大数据接收服务器；
所述大数据接收服务器用于接收数据采集服务器采集的数据，并对接收的数据按照数据类别和接收时间建立接收队列表，并将接收队列表发送给大数据存储服务器进行存储，将数据类别发送给大数据计算平台；
所述大数据计算平台包括若干个大数据计算服务器，大数据计算平台根据数据类别对各个大数据计算服务器进行分类，大数据计算服务器根据数据类别，接收同类别的数据；
所述大数据中央控制服务器用于采集大数据计算平台的状态，并根据采集的状态建立平台队列表；
大数据中央控制服务器循环读取大数据存储服务器中的接收队列表，并根据平台队列表中的数据控制数据的传输。
在上述方案的基础上，所述数据采集服务器包括数据优化模块，数据优化模块用于对采集的数据进行优化，将无用的数据剔除。
在上述方案的基础上，所述大数据中央控制服务器包括判断模块和数据安全控制模块。
在上述方案的基础上，所述判断模块用于对数据采集服务器采集的数据进行判断，若大数据计算平台中记录的数据与数据采集服务器采集的数据相同，则将相同的数据删除。
在上述方案的基础上，所述数据安全控制模块用于保证数据传输过程中的安全性。
在上述方案的基础上，所述大数据计算平台的状态包括各个大数据计算服务器的工作状态和空闲程度。
在上述方案的基础上，所述服务层基于Web和Open API技术提供大数据服务。
在上述方案的基础上，所述服务层包括业务服务层和支撑服务层。
在上述方案的基础上，所述业务服务层包括大数据建模服务、大数据管理服务、大数据分析服务、大数据挖掘服务和大数据融合服务。
在上述方案的基础上，所述数据治理层包括：元数据管理、数据质量管理、数据安全管理和数据生命周期管理。
本发明的有益效果是：本系统框架完整，功能齐全，涵盖互联网上的大量数据资源，提高了大数据平台的处理能力，且系统能够稳定运行，并且也解决了在大数据处理中数据丢失的问题。
附图说明
本发明有如下附图：
图1本发明的结构图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
如图1所示，本发明所述的基于互联网的大数据平台，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；
所述数据采集层用于实现批量数据的采集；
所述数据计算存储层用于对数据采集层采集的数据进行存储、计算和整合；
所述服务层用于对数据进行封装、分析、挖掘和共享，为用户提供基于互联网的大数据服务；
所述应用层用于为用户提供应用软件和搜索网站；
所述平台管理层为应用层和服务层的开发框架进行统一管理，实现各类数据资源的集中管控和统一调度；
所述数据治理层用于对数据进行管理；
所述数据采集层包括数据采集服务器；
所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；
所述数据采集服务器用于采集互联网上的数据，对数据进行分类，然后将相同类别的数据发送给大数据接收服务器；
所述大数据接收服务器用于接收数据采集服务器采集的数据，并对接收的数据按照数据类别和接收时间建立接收队列表，并将接收队列表发送给大数据存储服务器进行存储，将数据类别发送给大数据计算平台；
所述大数据计算平台包括若干个大数据计算服务器，大数据计算平台根据数据类别对各个大数据计算服务器进行分类，大数据计算服务器根据数据类别，接收同类别的数据；
所述大数据中央控制服务器用于采集大数据计算平台的状态，并根据采集的状态建立平台队列表；
大数据中央控制服务器循环读取大数据存储服务器中的接收队列表，并根据平台队列表中的数据控制数据的传输。
在上述方案的基础上，所述数据采集服务器包括数据优化模块，数据优化模块用于对采集的数据进行优化，将无用的数据剔除。
在上述方案的基础上，所述大数据中央控制服务器包括判断模块和数据安全控制模块。
在上述方案的基础上，所述判断模块用于对数据采集服务器采集的数据进行判断，若大数据计算平台中记录的数据与数据采集服务器采集的数据相同，则将相同的数据删除。
在上述方案的基础上，所述数据安全控制模块用于保证数据传输过程中的安全性。
在上述方案的基础上，所述大数据计算平台的状态包括各个大数据计算服务器的工作状态和空闲程度。
在上述方案的基础上，所述服务层基于Web和Open API技术提供大数据服务。
在上述方案的基础上，所述服务层包括业务服务层和支撑服务层。
在上述方案的基础上，所述业务服务层包括大数据建模服务、大数据管理服务、大数据分析服务、大数据挖掘服务和大数据融合服务。
在上述方案的基础上，所述数据治理层包括：元数据管理、数据质量管理、数据安全管理和数据生命周期管理。
本发明的有益效果是：本系统框架完整，功能齐全，涵盖互联网上的大量数据资源，提高了大数据平台的处理能力，且系统能够稳定运行，并且也解决了在大数据处理中数据丢失的问题。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种基于互联网的大数据平台，其特征在于，包括：数据采集层、数据计算存储层、服务层、应用层、平台管理层和数据治理层；
所述数据采集层用于实现批量数据的采集；
所述数据计算存储层用于对数据采集层采集的数据进行存储、计算和整合；
所述服务层用于对数据进行封装、分析、挖掘和共享，为用户提供基于互联网的大数据服务；
所述应用层用于为用户提供应用软件和搜索网站；
所述平台管理层为应用层和服务层的开发框架进行统一管理，实现各类数据资源的集中管控和统一调度；
所述数据治理层用于对数据进行管理；
所述数据采集层包括数据采集服务器；
所述数据计算存储层包括大数据存储服务器、大数据计算平台、大数据接收服务器和大数据中央控制服务器；
所述数据采集服务器用于采集互联网上的数据，对数据进行分类，然后将相同类别的数据发送给大数据接收服务器；
所述大数据接收服务器用于接收数据采集服务器采集的数据，并对接收的数据按照数据类别和接收时间建立接收队列表，并将接收队列表发送给大数据存储服务器进行存储，将数据类别发送给大数据计算平台；
所述大数据计算平台包括若干个大数据计算服务器，大数据计算平台根据数据类别对各个大数据计算服务器进行分类，大数据计算服务器根据数据类别，接收同类别的数据；
所述大数据中央控制服务器用于采集大数据计算平台的状态，并根据采集的状态建立平台队列表；
大数据中央控制服务器循环读取大数据存储服务器中的接收队列表，并根据平台队列表中的数据控制数据的传输；
所述数据采集服务器包括数据优化模块，数据优化模块用于对采集的数据进行优化，将无用的数据剔除；
所述大数据中央控制服务器包括判断模块和数据安全控制模块；
所述判断模块用于对数据采集服务器采集的数据进行判断，若大数据计算平台中记录的数据与数据采集服务器采集的数据相同，则将相同的数据删除；
所述数据安全控制模块用于保证数据传输过程中的安全性；
所述大数据计算平台的状态包括各个大数据计算服务器的工作状态和空闲程度。
2.如权利要求1所述的基于互联网的大数据平台，其特征在于，所述服务层基于Web和Open API技术提供大数据服务。
3.如权利要求1所述的基于互联网的大数据平台，其特征在于，所述服务层包括业务服务层和支撑服务层。
4.如权利要求3所述的基于互联网的大数据平台，其特征在于，所述业务服务层包括大数据建模服务、大数据管理服务、大数据分析服务、大数据挖掘服务和大数据融合服务。
5.如权利要求1所述的基于互联网的大数据平台，其特征在于，所述数据治理层包括：元数据管理、数据质量管理、数据安全管理和数据生命周期管理。
CN201710784184.9A 2017-09-04 2017-09-04 一种基于互联网的大数据平台 Active CN107612984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710784184.9A CN107612984B (zh) 2017-09-04 2017-09-04 一种基于互联网的大数据平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710784184.9A CN107612984B (zh) 2017-09-04 2017-09-04 一种基于互联网的大数据平台

Publications (2)

Publication Number Publication Date
CN107612984A CN107612984A (zh) 2018-01-19
CN107612984B true CN107612984B (zh) 2020-11-10

Family

ID=61057302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710784184.9A Active CN107612984B (zh) 2017-09-04 2017-09-04 一种基于互联网的大数据平台

Country Status (1)

Country Link
CN (1) CN107612984B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108287912A (zh) * 2018-02-06 2018-07-17 广东暨通信息发展有限公司 一种大数据存储系统
CN108875088A (zh) * 2018-07-20 2018-11-23 张碧清 一种基于家装电子测量的智能推送方法、存储介质及终端
CN111048164A (zh) * 2019-11-25 2020-04-21 中国医学科学院医学信息研究所 一种医学大数据长期保存系统
CN117076810A (zh) * 2023-10-12 2023-11-17 睿至科技集团有限公司 一种基于人工智能的互联网大数据处理系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005498A (zh) * 2015-06-10 2015-10-28 柳州市智融科技有限公司 互联网信息处理平台
CN105574643A (zh) * 2015-11-23 2016-05-11 江苏瑞中数据股份有限公司 一种电网实时数据中心与大数据平台融合方法
CN105681474A (zh) * 2016-03-31 2016-06-15 浪潮通信信息系统有限公司 一种基于企业级大数据平台支撑上层应用的系统架构
CN105933461A (zh) * 2016-07-18 2016-09-07 合肥赑歌数据科技有限公司 大数据平台系统及其运行方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201609B2 (en) * 2013-05-23 2015-12-01 Netapp, Inc. Efficient replication of changes to a byte-addressable persistent memory over a network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005498A (zh) * 2015-06-10 2015-10-28 柳州市智融科技有限公司 互联网信息处理平台
CN105574643A (zh) * 2015-11-23 2016-05-11 江苏瑞中数据股份有限公司 一种电网实时数据中心与大数据平台融合方法
CN105681474A (zh) * 2016-03-31 2016-06-15 浪潮通信信息系统有限公司 一种基于企业级大数据平台支撑上层应用的系统架构
CN105933461A (zh) * 2016-07-18 2016-09-07 合肥赑歌数据科技有限公司 大数据平台系统及其运行方法

Also Published As

Publication number Publication date
CN107612984A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN107612984B (zh) 一种基于互联网的大数据平台
Barika et al. Orchestrating big data analysis workflows in the cloud: research challenges, survey, and future directions
WO2022022477A1 (zh) 一种管理运维平台及数据处理方法
CN105631026A (zh) 一种安全数据分析系统
CN103400246B (zh) 一种基于云架构的核电厂风险监测系统及监测方法
CN105809356A (zh) 一种基于应用集成云平台的信息系统资源管理方法
CN106130960B (zh) 盗号行为的判断系统、负载调度方法和装置
CN105592122A (zh) 一种云平台监控方法以及云平台监控系统
CN105681474A (zh) 一种基于企业级大数据平台支撑上层应用的系统架构
CN103607418B (zh) 基于云服务数据特征的大规模数据分割系统及分割方法
CN115335821B (zh) 卸载统计收集
CN108924228B (zh) 基于边缘计算的工业互联网优化系统
CN103685517A (zh) 一种基于业务类别特征的存储分级调度方法及系统
CN108628954B (zh) 一种海量数据自助查询方法和装置
CN110232136A (zh) 一种基于云计算的大数据处理系统
CN113721856A (zh) 一种数字化社区管理数据存储系统
CN113553381A (zh) 一种基于管道的新式调度算法的分布式数据治理系统
CN116366692A (zh) 一种高性能智能边缘终端系统
US9430301B2 (en) Distributed system for downloading internet information and a method thereof
CN111708677B (zh) 一种云计算环境下的云硬盘使用量采集方法
US11200138B1 (en) Policy-based request tracing using a computer
CN110750608B (zh) 一种基于规则库的空间数据分析自动调度方法
CN115374101A (zh) 轨道交通站段级数据管理系统
KR20180024367A (ko) 하둡 기반 대용량 데이터 수집 관리 방법 및 이의 시스템
CN104168334A (zh) 一种基于saas云平台的中间件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant