CN107508880A - 基于大数据处理的数据存储系统 - Google Patents

基于大数据处理的数据存储系统 Download PDF

Info

Publication number
CN107508880A
CN107508880A CN201710715627.9A CN201710715627A CN107508880A CN 107508880 A CN107508880 A CN 107508880A CN 201710715627 A CN201710715627 A CN 201710715627A CN 107508880 A CN107508880 A CN 107508880A
Authority
CN
China
Prior art keywords
data
reception module
transmission blocks
storages
multiple data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710715627.9A
Other languages
English (en)
Inventor
覃加加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Caizhi Shengyou Technology Co Ltd
Original Assignee
Chengdu Caizhi Shengyou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Caizhi Shengyou Technology Co Ltd filed Critical Chengdu Caizhi Shengyou Technology Co Ltd
Priority to CN201710715627.9A priority Critical patent/CN107508880A/zh
Priority to LU100482A priority patent/LU100482B1/en
Publication of CN107508880A publication Critical patent/CN107508880A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)

Abstract

本发明提供一种基于大数据处理的数据存储系统，包括数据采集器、数据接收模块、数据分类单元、多个数据处理器、主控机、多个数据存储器、以及运行在物理服务器上的虚拟机，数据采集器包括控制器、传感器、显示器和数据发送模块，传感器、显示器和数据发送模块分别与控制器相连接，数据发送模块和数据接收模块无线通讯，数据接收模块与数据分类单元相连接，数据接收模块分别与多个数据处理器相连接，多个数据处理器通过主控机与多个数据存储器一一对应连接，多个数据存储器与物理服务器相连接。本申请中，对多种不同数据源的数据进行分类后，单独进行处理和存储，并通过虚拟机支持的存储共享功能实现数据共享，从而满足客户的使用需求。

Description

基于大数据处理的数据存储系统
技术领域
本发明涉及计算机领域，特别是涉及一种基于大数据处理的数据存储系统。
背景技术
随着信息科技的不断发展，人们的生活中已经离不开数据信息，例如：在工作中需要通过数据信息来记录工作的进程等；生活中如网络购物等，也都需要通过数据信息来进行操作、记录，这就使得数据信息的高效管理和存储成为了一项发展的热点。目前，由于越来越多的人们、企业运用数据信息，使得数据信息的数量越来越多。但是，普通的数据存储装置无法实现数据共享，故不能够满足使用需求。
发明内容
鉴于以上所述现有技术的缺陷和各种不足之处，本发明要解决的技术问题在于提供一种基于大数据处理的数据存储系统。
为实现上述目的，本发明提供一种基于大数据处理的数据存储系统，包括数据采集器、数据接收模块、数据分类单元、多个数据处理器、主控机、多个数据存储器、以及运行在物理服务器上的虚拟机，所述数据采集器包括控制器、传感器、显示器和数据发送模块，所述传感器、显示器和数据发送模块分别与控制器相连接，所述数据发送模块和数据接收模块无线通讯，所述数据接收模块与数据分类单元相连接，所述数据接收模块分别与多个数据处理器相连接，多个数据处理器通过主控机与多个数据存储器一一对应连接，多个数据存储器与物理服务器相连接。
本发明涉及的基于大数据处理的数据存储系统具有以下有益效果：
本申请中，对多种不同数据源的数据进行分类后，单独进行处理和存储，并通过虚拟机支持的存储共享功能实现数据共享，从而满足客户的使用需求。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图对本专利进行详细说明。
附图说明
图1为本发明的原理框图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细介绍。
如图1所示，本发明提供一种基于大数据处理的数据存储系统，包括数据采集器1、数据接收模块2、数据分类单元3、多个数据处理器4、主控机5、多个数据存储器6、以及运行在物理服务器7上的虚拟机8，所述数据采集器1包括控制器11、传感器12、显示器13和数据发送模块14，所述传感器12、显示器13和数据发送模块14分别与控制器11相连接，所述数据发送模块14和数据接收模块2无线通讯，所述数据接收模块2与数据分类单元3相连接，所述数据接收模块2分别与多个数据处理器4相连接，多个数据处理器4通过主控机5与多个数据存储器6一一对应连接，多个数据存储器6与物理服务器7相连接。
上述基于大数据处理的数据存储系统在使用时，由数据采集器1中的传感器12进行数据采集，传感器12的类型有多种，可以为噪声传感器、压力传感器、光传感器、速度传感器、湿度传感器等，用于采集多种不同类型的数据。采集到的数据发送给控制器11进行预处理，比如进行压缩处理，之后再通过数据发送模块14和数据接收模块2发送给数据分类单元3进行数据分类处理，再由主控机5根据数据的来源存储到对应的数据存储器6中，通过运行在物理服务器7上的虚拟机8提供数据存储器6中的数据共享功能。所以，本申请中的基于大数据处理的数据存储系统在对多种不同数据源的数据进行分类后，单独进行处理和存储，并通过虚拟机8支持的存储共享功能实现数据共享，从而满足客户的使用需求。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

Claims (1)

1.一种基于大数据处理的数据存储系统，其特征在于：包括数据采集器、数据接收模块、数据分类单元、多个数据处理器、主控机、多个数据存储器、以及运行在物理服务器上的虚拟机，所述数据采集器包括控制器、传感器、显示器和数据发送模块，所述传感器、显示器和数据发送模块分别与控制器相连接，所述数据发送模块和数据接收模块无线通讯，所述数据接收模块与数据分类单元相连接，所述数据接收模块分别与多个数据处理器相连接，多个数据处理器通过主控机与多个数据存储器一一对应连接，多个数据存储器与物理服务器相连接。
CN201710715627.9A 2017-08-20 2017-08-20 基于大数据处理的数据存储系统 Pending CN107508880A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710715627.9A CN107508880A (zh) 2017-08-20 2017-08-20 基于大数据处理的数据存储系统
LU100482A LU100482B1 (en) 2017-08-20 2017-10-17 Data storage system based on large data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710715627.9A CN107508880A (zh) 2017-08-20 2017-08-20 基于大数据处理的数据存储系统

Publications (1)

Publication Number Publication Date
CN107508880A true CN107508880A (zh) 2017-12-22

Family

ID=60692094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710715627.9A Pending CN107508880A (zh) 2017-08-20 2017-08-20 基于大数据处理的数据存储系统

Country Status (2)

Country Link
CN (1) CN107508880A (zh)
LU (1) LU100482B1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257040A (zh) * 2018-01-19 2018-07-06 湖北省小龙虾产业技术研究院有限公司 一种应用于小龙虾养殖的服务系统
CN111831600A (zh) * 2020-07-13 2020-10-27 成都翔宇致远文化传播有限公司 一种大数据改性分类传输处理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043648A (zh) * 2009-10-23 2011-05-04 中兴通讯股份有限公司 多核系统及其启动方法
CN103414748A (zh) * 2013-07-12 2013-11-27 广东电子工业研究院有限公司 一种云平台监控架构及其监控实现方法
CN105321124A (zh) * 2015-11-23 2016-02-10 南京信息工程大学 一种基于Hadoop的电力云平台设计方案

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043648A (zh) * 2009-10-23 2011-05-04 中兴通讯股份有限公司 多核系统及其启动方法
CN103414748A (zh) * 2013-07-12 2013-11-27 广东电子工业研究院有限公司 一种云平台监控架构及其监控实现方法
CN105321124A (zh) * 2015-11-23 2016-02-10 南京信息工程大学 一种基于Hadoop的电力云平台设计方案

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257040A (zh) * 2018-01-19 2018-07-06 湖北省小龙虾产业技术研究院有限公司 一种应用于小龙虾养殖的服务系统
CN111831600A (zh) * 2020-07-13 2020-10-27 成都翔宇致远文化传播有限公司 一种大数据改性分类传输处理系统

Also Published As

Publication number Publication date
LU100482B1 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
US11182098B2 (en) Optimization for real-time, parallel execution of models for extracting high-value information from data streams
WO2020233212A1 (zh) 一种日志记录的处理方法、服务器及存储介质
US12008027B2 (en) Optimization for real-time, parallel execution of models for extracting high-value information from data streams
CN111813573B (zh) 管理平台与机器人软件的通信方法及其相关设备
CN103959270B (zh) 用于在计算装置处采用和便于动态和远程存储器协作的机制
CN110555019B (zh) 一种基于业务端的数据清洗方法
CN106169959A (zh) 一种日志处理装置
CN102937984B (zh) 一种收集数据的系统、客户端和方法
CN105183299A (zh) 一种人机界面服务处理系统和方法
CN111813751A (zh) 应用系统日志数据的处理方法、应用系统、设备及介质
CN107508880A (zh) 基于大数据处理的数据存储系统
US20120072589A1 (en) Information Processing Apparatus and Method of Operating the Same
CN114205641A (zh) 一种视频数据处理方法及装置
CN102129619A (zh) 一种基于云存储的业务数据处理方法及系统
US9380126B2 (en) Data collection and distribution management
CN111401206A (zh) 一种全景图共享方法、系统、设备和介质
CN106817262A (zh) 一种日志分析装置
CN108595480B (zh) 一种基于云计算的大数据etl工具系统及应用方法
CN106202509A (zh) 一种日志信息的处理方法
CN106250406A (zh) 一种日志处理方法
CN106227644A (zh) 一种海量信息处理装置
CN103297477A (zh) 一种数据采集上报系统及数据处理方法和代理服务器
CN101013408A (zh) 数据处理系统及数据处理方法
CN106227797A (zh) 一种海量日志信息的处理方法
CN111597026B (zh) 用于获取信息的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171222

WD01 Invention patent application deemed withdrawn after publication