CN206948385U - 一种大数据智能化分析运算处理系统 - Google Patents
一种大数据智能化分析运算处理系统 Download PDFInfo
- Publication number
- CN206948385U CN206948385U CN201720990565.8U CN201720990565U CN206948385U CN 206948385 U CN206948385 U CN 206948385U CN 201720990565 U CN201720990565 U CN 201720990565U CN 206948385 U CN206948385 U CN 206948385U
- Authority
- CN
- China
- Prior art keywords
- module
- information
- server
- san
- nas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本实用新型公开了一种大数据智能化分析运算处理系统，包括有信息采集模块、信息传输模块、信息存储模块、加工生成模块、信息汇总模块、信息处理模块、信息提取模块、信息备份模块、信号日志，其中，信息存储模块包括主干局域网、服务器、NAS存储模块、网关、SAN存储模块，该系统将NAS存储与SAN存储相结合，SAN的主要优势在于数据的高速存储和独立备份，适合作数据库服务器存储，而NAS的优势在于其平台无关性，可以实现多台服务器文件系统级的共享，适合作文件服务器，将SAN和NAS融合应用于存储模块中是提高系统性能的有效途径。
Description
技术领域
本实用新型涉及大数据处理领域，尤其涉及一种大数据智能化分析运算处理系统。
背景技术
这几十年是世界发展最为迅速的几十年，在这个几十年之中，世界已经开始从过去的时代转入了大数据时代，数以亿计的计算机和移动设备出现在人们生产生活的各个角落，不断的创造出惊人的财富，展现出了巨大的潜力，这是一个不可逆转的趋势，在未来，必然只会更加的昌盛，人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来，在这个巨大的浪潮冲击下，发展大数据信息处理技术，才能够在大数据时代下紧跟而上，不被时代的浪潮所淘汰。
现在市场上主要应用以DAS存储为主流方式，直接附加存储DAS 是将RAID硬盘阵列直接连接到网络系统的服务器扩展接口下的数据存储设备，它 以服务器为中心，完全依附于相应的服务器，各种IDE或SCSI存储设备组成 DAS通过I／O总线与服务器相连，存储设备的数据输入和输出由服务器的CPU处理，当客户机访问数据时，首先向服务器提出申请，服务器经过I／O 总线访问相应的存储设备，并把得到的数据传递给局域网内的客户机，服务器实际上起到了一种存储转发的作用，数据的备份通过服务器的CPU来实现，由于备份的数据量大，这种结构将会严重的影响系统的正常运行，另外当多 台客户机同时发出数据访问申请时，I／O的压力会变的很大，直接影响服务 器的性能，甚至会导致系统的崩溃。
网络附加存储NAS是利用专门的计算机硬件和软件构造而成的，与平台无关的专门用于存储数据的服务器或服务器群，在NAS结构中，存储系统不再通过I／O总线附属于某个特定的服务器，从而不会占用网络主服务器的系统资源，存储系统在整个网络是独立的一部分，通过局域网接口供用户通过 网络访问，但 是NAS结构会占用网络资源，存储设备和客户机之间的每一次数据交换，大量数据的备份工作都通过网络来实现，大大增加了网络开销。
存储局域网SAN 是指基于光纤通道技术，由光交换机和存储设备构成 的独立的专门用于实现数据存储的存储子网，SAN是独立于服务器网络系统 之外的高速存储网络，它使存储系统和客户机与服务器从物理连接和功能上都独立出来，分别组成自己的网络，所有的应用数据都驻留在SAN上，当主网络上的服务器需要调用数据时，SAN才转化为客户机网络，被连接到主干局域网上让所有的客户机共享数据。
有鉴于此，有必要提供一种能提高信息存储能力，增加系统稳定性的大数据处理系统。
实用新型内容
本实用新型公开了一种大数据智能化分析运算处理系统，其特征在于，包括有信息采集模块、信息传输模块、信息存储模块、加工生成模块、信息汇总模块、信息处理模块、信息提取模块，其中，信息采集模块与信息传输模块相连接，信息传输模块与信息存储模块相连接，信息存储模块与信息提取模块相连接，信息提取模块与信息处理模块相连接，信息处理模块与信息汇总模块相连接，信息汇总模块与加工生成模块相连接，加工生成模块与信息存储模块相连接；
所述信息存储模块包括主干局域网、服务器、NAS存储模块、网关、SAN存储模块，其中，服务器与主干局域网相连接，NAS存储模块与主干局域网相连接，SAN存储模块与服务器相连接，SAN存储模块通过网关与主干局域网相连接。
进一步地，所述处理系统设置有信息备份模块，所述信息备份模块与信息存储模块相连接。
进一步地，所述处理系统还设置有信号日志，信号日志与信息汇总模块相连接。
与现有技术相比，本实用新型的有益效果是：该系统将NAS存储与SAN存储相结合，与传统的DAS存储系统相比，NAS存储数据不再通过服务器内存转发，而是直接通过网络在客户机和存储设备问传送，服务器仅起控制管理作用 ，因而具有更快的响应速度和更高的数据带宽，也大大提高了服务器的可靠性，SAN存储采用高速的光纤通道作为传输媒体，大大高于传统的DAS存储系统所提供的传输能力，SAN的主要优势在于数据的高速存储和独立备份，将SAN作为数据库服务器存储，而NAS的优势在于其平台无关性，可以实现多台服务器文件系统级的共享，将NAS作为文件服务器。
附图说明
为了更清楚地说明本实用新型实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实用新型一种大数据智能化分析运算处理系统结构示意图。
图2为本实用新型信息存储模块结构示意图。
具体实施方式
下面结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚和详细的描述，显然，所描述的实施例仅仅是本实用新型的一部分实施例，而不是全部实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本实用新型保护的范围。请参阅图1，一种大数据智能化分析运算处理系统，包括有信息采集模块1、信息传输模块2、信息存储模块3、加工生成模块4、信息汇总模块5、信息处理模块6、信息提取模块7，其中，信息采集模块1与信息传输模块2相连接，信息传输模块2与信息存储模块3相连接，信息存储模块3与信息提取模块7相连接，信息提取模块7与信息处理模块6相连接，信息处理模块6与信息汇总模块5相连接，信息汇总模块5与加工生成模块4相连接，加工生成模块4与信息存储模块3相连接，信息采集模块1将信息采集，由信息传输模块2将信息传输到信息存储模块3中存储，信息提取模块7将信息提取出来，由信息处理模块6对信息进行处理，再经过信息汇总模块5与加工生成模块4对信息进行汇总加工生成，在储存到信息存储模块3中，处理系统内还设置有信息备份模块8与信号日志9，信号日志9与信息汇总模块5相连接，所述信息备份模块8与信息存储模块3相连接，信息备份模块8通过网关进行异地备份，以确保数据安全和作为灾难恢复，同时工作人员可通过查看信号日志9对信息的明细来源做出查询。
如图2所示，所述信息存储模块3包括主干局域网31、服务器32、NAS存储模块33、网关34、SAN存储模块35，其中，服务器32与主干局域网31相连接，NAS存储模块33与主干局域网31相连接，SAN存储模块35与服务器32相连接，SAN存储模块35通过网关34与主干局域网31相连接，NAS存储模块33中，数据直接通过主干局域网31与 NAS存储设备间传送，服务器32仅起控制管理作用，因而具有更快的响应速度和更高的数据带宽，也大大提高了服务器32的可靠性，SAN存储模块35中，所有的应用数据都驻留在SAN上，当主干局域网31上的服务器32需要调用数据时，SAN才通过网关34转化为服务机32网络，被连接到主干局域网31上让所有的服务机32共享数据，SAN的主要优势在于数据的高速存储和独立备份，适合作数据库服务器存储，而NAS的优势在于其平台无关性，可以实现多台服务器文件系统级的共享，适合作文件服务器。
综上所述，该系统将NAS存储与SAN存储相结合，与传统的DAS存储系统相比，NAS存储数据不再通过服务器内存转发，而是直接通过网络在客户机和存储设备问传送，服务器仅起控制管理作用 ，因而具有更快的响应速度和更高的数据带宽，也大大提高了服务器的可靠性，SAN存储采用高速的光纤通道作为传输媒体，大大高于传统的DAS存储系统所提供的传输能力，SAN的主要优势在于数据的高速存储和独立备份，将SAN作为数据库服务器存储，而NAS的优势在于其平台无关性，可以实现多台服务器文件系统级的共享，将NAS作为文件服务器。
以上对本实用新型所提供的一种大数据智能化分析运算处理系统进行了详细介绍，对于本领域的一般技术人员，依据本实用新型实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本实用新型的限制。
Claims (3)
1.一种大数据智能化分析运算处理系统，其特征在于，包括有信息采集模块（1）、信息传输模块（2）、信息存储模块（3）、加工生成模块（4）、信息汇总模块（5）、信息处理模块（6）、信息提取模块（7），其中，信息采集模块（1）与信息传输模块（2）相连接，信息传输模块（2）与信息存储模块（3）相连接，信息存储模块（3）与信息提取模块（7）相连接，信息提取模块（7）与信息处理模块（6）相连接，信息处理模块（6）与信息汇总模块（5）相连接，信息汇总模块（5）与加工生成模块（4）相连接，加工生成模块（4）与信息存储模块（3）相连接；
所述信息存储模块（3）包括主干局域网（31）、服务器（32）、NAS存储模块（33）、网关（34）、SAN存储模块（35），其中，服务器（32）与主干局域网（31）相连接，NAS存储模块（33）与主干局域网（31）相连接，SAN存储模块（35）与服务器（32）相连接，SAN存储模块（35）通过网关（34）与主干局域网（31）相连接。
2.根据权利要求1所述的一种大数据智能化分析运算处理系统，其特征在于，所述处理系统设置有信息备份模块（8），所述信息备份模块（8）与信息存储模块（3）相连接。
3.根据权利要求1所述的一种大数据智能化分析运算处理系统，其特征在于，所述处理系统还设置有信号日志（9），信号日志（9）与信息汇总模块（5）相连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201720990565.8U CN206948385U (zh) | 2017-08-09 | 2017-08-09 | 一种大数据智能化分析运算处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201720990565.8U CN206948385U (zh) | 2017-08-09 | 2017-08-09 | 一种大数据智能化分析运算处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN206948385U true CN206948385U (zh) | 2018-01-30 |
Family
ID=61372250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201720990565.8U Active CN206948385U (zh) | 2017-08-09 | 2017-08-09 | 一种大数据智能化分析运算处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN206948385U (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108480088A (zh) * | 2018-03-12 | 2018-09-04 | 安徽顺科包装制品有限公司 | 一种基于大数据处理的编织袋用点胶装置和工作方法 |
-
2017
- 2017-08-09 CN CN201720990565.8U patent/CN206948385U/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108480088A (zh) * | 2018-03-12 | 2018-09-04 | 安徽顺科包装制品有限公司 | 一种基于大数据处理的编织袋用点胶装置和工作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11340672B2 (en) | Persistent reservations for virtual disk using multiple targets | |
| US9507845B1 (en) | Virtual splitter | |
| CN103595799B (zh) | 一种实现分布式共享数据库的方法 | |
| US10936454B2 (en) | Disaster recovery for virtualized systems | |
| CN105138615A (zh) | 一种构建大数据分布式日志的方法和系统 | |
| CN102833580B (zh) | 基于infiniband的高清视频应用系统及方法 | |
| WO2011120791A1 (en) | Transmission of map-reduce data based on a storage network or a storage network file system | |
| CN101902498A (zh) | 一种基于网络技术的存储云备份方法 | |
| TW200929950A (en) | Packet forwarding apparatus and method for virtualization switch | |
| CN109547537A (zh) | 基于SAN存储共享卷实现openstack高可用的方法 | |
| CN102868727A (zh) | 一种实现逻辑卷高可用性的方法 | |
| CN108874590A (zh) | 一种云主机自动备份与恢复的系统 | |
| Zhuang et al. | Hoplite: efficient and fault-tolerant collective communication for task-based distributed systems | |
| KR101357135B1 (ko) | 로그 정보 수집 장치 | |
| US20220358106A1 (en) | Proxy-based database scaling | |
| CN102404201B (zh) | 一种实现Lustre并行文件系统最大带宽的方法 | |
| CN102137161B (zh) | 基于光纤通道的文件级数据共享存储系统 | |
| CN109302494A (zh) | 一种网络存储系统的配置方法、装置、设备及介质 | |
| CN106888116A (zh) | 一种双控制器集群共享资源的调度方法 | |
| CN103117878A (zh) | 一种基于Nagios的分布式监控系统的设计方法 | |
| CN103533068A (zh) | 基于ip的任务自主均衡分配集群系统 | |
| CN206948385U (zh) | 一种大数据智能化分析运算处理系统 | |
| CN104850548B (zh) | 一种实现大数据平台输入/输出处理的方法及系统 | |
| WO2019223444A1 (zh) | 数据存储系统 | |
| US10296419B1 (en) | Accessing a virtual device using a kernel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 230000 Anhui Hefei Shushan new industrial park Huguang road 1201 electricity supplier park 3 phase Patentee after: Yituo Communications Group Co., Ltd. Address before: 230088 No. 1201 Huguang Road, Shushan New Industrial Park, Hefei City, Anhui Province, Phase 3 Patentee before: ANHUI ETUO COMMUNICATION TECHNOLOGY GROUP CO., LTD. |
|
| CP03 | Change of name, title or address |