CN103838308A - 科学数据仓系统设备 - Google Patents

科学数据仓系统设备 Download PDF

Info

Publication number
CN103838308A
CN103838308A CN201410102783.4A CN201410102783A CN103838308A CN 103838308 A CN103838308 A CN 103838308A CN 201410102783 A CN201410102783 A CN 201410102783A CN 103838308 A CN103838308 A CN 103838308A
Authority
CN
China
Prior art keywords
client
science data
storehouse
science
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410102783.4A
Other languages
English (en)
Inventor
宋应文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUMI INFORMATION TECHNOLOGY Ltd
Original Assignee
FUMI INFORMATION TECHNOLOGY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUMI INFORMATION TECHNOLOGY Ltd filed Critical FUMI INFORMATION TECHNOLOGY Ltd
Priority to CN201410102783.4A priority Critical patent/CN103838308A/zh
Publication of CN103838308A publication Critical patent/CN103838308A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种科学数据仓系统设备，它包括科学数据仓以及客户端；所述的科学数据仓包括一个低成本低功耗的硬件系统以及运行于该硬件系统的嵌入式软件系统，在客户端上安装有客户端操作系统，并且安装有网页浏览软件以及客户端版本管理软件；本发明公开的科学数据仓系统设备社会价值高、经济价值高、环境价值高、使用方便，适合大学和研究所实验室布局。

Description

科学数据仓系统设备
技术领域
本发明属于数据存储领域，涉及一种科学实验数据存储系统设备，特别是涉及一种完整保存整个科学实验进程的数据的科学数据仓系统设备。
背景技术
从计算机为人类使用开始，数据的存储便成为最核心的技术之一。存储的方法发展经历了纸卡打孔（1884）、磁带（1950）、硬盘（1956）、软盘（1969）、SSD（1978）、CD光盘(1982)、ZIP盘(1994)、DVD光盘(1993)、U盘(2000)、发展到了Blu-ray光盘(2000)等；为了提高存储容错性能IBM在1978年申请了RAID(Redundant Array of Independent Disks)专利，其思想源于David Patterson等人在1988年的SIGMOD论文集中发表的“A Casefor Redundant Arrays of Inexpensive Disks(RAID)”。从存储与计算机的连接架构上看主要有DAS（Direct-Attached Storage）、NAS（Network AttachedStorage）和SAN(Storage Area Network)、iSCSI(Internet Small ComputerSystem Interface)等。NAS的思想源于“Edward K.Lee1995年发表于InDigest of Papers COMPCON的论文Highly-Available,Scalable NetworkStorage”。存储的理论虽然比较成熟，但技术开发水平各不相同，核心技术往往只掌握在少数几个国际大公司手里，我国在这一领域的技术可以说处于劣势。政府已经认识到存储的重要性，为了开发有自主知识产权的存储技术，2011年的973项目中就针对存储技术进行开发，2012年科技部也投入大规模资金来研究存储。这些科研活动虽然取得了一定成就，但目前尚未从根本上改变我国的存储技术现状。
另一方面，随着人类社会正在步入“无论在何时、无论在何地、无论是什么、无论是谁”都可以连接到网络的物联网时代，任何领域的数据尤其是非结构化数据呈爆炸式增长。据发达国家预测，2025年的信息量将为现在的200倍，鉴于我国的经济发展速度更快，经济活动更活跃，我们需要存储的数据将会是国外的数倍。在这样一个特殊环境下，科学研究与工程建设也不例外，大量的科学研究和工程建设数据催生了“科学大数据”这一前沿领域。美国政府历来对科学数据工作极为重视，NSF于2007年9月正式发布了科学数据可持续保存计划（Sustainable Digital Data Preservationand Access Network Partners,DataNet），规划创建面向科研信息化的科学数据保存模式。澳大利亚政府从2008年启动建设国家科学数据服务网络（Australian National Data Service，ANDS），旨在全面整合全国数据资源，实现数据长期保存利用。中国政府也非常重视海量规模科学数据的保存和利用。中科院自上世纪80年代开始就部署科学数据库系统的建设，二十多年来不间断地支持科研过程数据的积累、整理与共享服务工作。“十五”期间，由45个研究所参加建设数据库系统总数据量达16.6TB，集成了503个数据库。“十一五”期间，科学数据库系统进一步整合了62个研究所的科学数据资源，可存科学数据将超过65TB。由此可见，科学数据的存储、管理、和维护变得越来越重要。
然而，我们的大多数实验室仍然采用传统的数据保存方法，也就是将数据保存到个人电脑中或共享电脑中。这种方法给实验室的科研活动带来很大风险。科研人员通常只保存自己感兴趣的一个或数个数据照相，不会保存实验活动的全过程数据，因系统破坏或其他原因所需数据丢失后实验还得从头开始；同时，科研人员离职或调动时常常不会将所有数据移交给后续人员，甚至有极个别人故意将珍贵的实验数据隐藏带走或销毁，造成实验室科研成果的大量流失。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种科学数据仓系统设备，用于保存大学和研究院所实验室所展开的实验活动全过程数据。
为了实现本目的，本发明的科学数据仓系统设备，包括科学数据仓以及客户端；
所述的科学数据仓包括一个低功耗的硬件系统以及运行于该硬件系统的嵌入式软件系统，其中，所述硬件系统包括一个利于排热的小型机箱、一个将交流电转换成5V直流电的高转换率电源模块、一张支持基本网络附加存储并设置有CPU的PCB板、至少一个IEEE802.3标准网口以及用于存储数据的存储介质；
所述嵌入式软件系统包括：一个基于Linux内核的轻量化嵌入式操作系统，其支持IEEE802.3ab、IEEE802.3u、IEEE802.3网络通信协议，并且支持RAID1～5容错协议；一套网络附加存储（NAS）的嵌入式中间件，其支持SMB/CIFS、FTP、FTPS、SFTP、NFS等文件协议；一套支持文件版本管理（SVN协议）的嵌入式应用；
所述客户端与科学数据仓通信连接，在客户端上安装有客户端操作系统，并且安装有网页浏览软件以及客户端版本管理软件。
优选地，所述的存储介质为普通硬盘或者固态硬盘，在所述硬件系统的小型机箱内设置有至少4个Serial ATA硬盘盘位。
优选地，所述客户端为PC机或移动终端。
优选地，所述每个客户端上的客户端操作系统为Windows、Linux、MacOS、iOS或Android等常用操作系统中的一种。
优选地，所述的客户端与科学数据仓由有线或者无线网络连接。
优选地，所述客户端与科学数据仓通过集线器相连接。
如上所述，本发明所述的科学数据仓系统，具有以下有益效果：
1）社会价值高：能够保障珍贵的实验数据的完整性和安全性，对科研单位而言应用价值较大。
2）经济价值高（低成本）：不计硬盘的成本在1800元以下，产品具有较高的利润空间。
3）环境价值高（低功耗）：本发明采用低功耗系统芯片或存储芯片，高效电源转换模块，相比于传统的桌面电脑或服务器，能耗约节约数十倍，可以不间断运行。
4）使用效率高：数据通过版本管理只保存差分值，避免了重复存储同样数值，节约了存储空间。
5）使用方便：本发明的主体设备科学数据仓重量轻、体积小、易于管理和使用，适合大学和研究所实验室布局；
附图说明
图1显示为本发明所述的科学数据仓架构的示意图。
图2显示为本发明的所述的科学数据仓的固件架构示意图。
图3显示为本发明所述的科学数据仓系统设备的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
下面结合实施例和附图对本发明进行详细说明。
实施例
如图1至图3所示，本实施例提供了一种科学数据仓系统设备，它包括科学数据仓以及客户端；
科学数据仓包括一个低成本低功耗的硬件系统以及运行于该硬件系统的嵌入式软件系统，其中，该硬件系统包括一个利于排热的小型机箱、一个将交流电转换成5V直流电的高转换率电源模块、一张支持基本网络附加存储并设置有CPU的PCB板、至少一个IEEE802.3标准网口以及用于存储数据的存储介质；存储介质为普通硬盘或者固态硬盘，在所述硬件系统的小型机箱内设置有至少4个Serial ATA硬盘盘位，这样可以根据实际需求而扩展存储空间的大小。
PCB板设置通信模块、内存模块、SATA模块、以及USB接口。
所述嵌入式软件系统包括：一个基于Linux内核的轻量化嵌入式操作系统，其支持IEEE802.3ab、IEEE802.3u、IEEE802.3网络通信协议，并且支持RAID1～5容错协议；一套网络附加存储（NAS）的嵌入式中间件，其支持SMB/CIFS、FTP、FTPS、SFTP、NFS等文件协议；一套支持文件版本管理（SVN协议）的嵌入式应用。
所述客户端与科学数据仓通信连接，在客户端上安装有客户端操作系统，并且安装有网页浏览软件以及客户端版本管理软件。客户端可以选用PC机，也可以选用笔记本电脑、智能手机或者PDA等各种移动终端。根据客户端的不同，每个客户端上的客户端操作系统可以为Windows、Linux、MacOS、iOS或Android等常见操作系统中的一种。
客户端与科学数据仓由有线或者无线网络连接，具体地，客户端与科学数据仓通过带有wifi功能的集线器相连接。图2所示的客户端1、客户端2、客户端N表示可以接入若干数量的客户端。
所述科学数据仓是设备的核心部分，用于提供包括NAS和SVN的各种服务，使得用户从客户端可以上传和下载文档和数据。所述科学数据仓的固件是嵌入式操作系统、中间件和应用：固件基于轻量化的Linux内核，中间件提供网络设定、磁盘管理、文件管理、用户管理、文件备份、系统状态，文件版本管理功能。
客户端的嵌入式应用则用于读写科学数据仓中的带有版本管理信息的数据和文件。
用户在客户端通过客户端版本管理软件将数据提交到科学数据仓保存后，被保存的每个文件即被赋予版本号，而且每次上传的文件版本号是唯一的，即便同名文件也因上传时间不同具有不同的版本号，科研人员可将每日获得的实验数据上传到数据仓，且不用担心旧文件被覆盖掉，这样便能将实验数据的全过程进行保存，保证了科学实验数据的完整性。而且，如果不慎将其中的某个版本删除了，也有其他版本存在，极大提高了数据的安全性。
以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种科学数据仓系统设备，其特征在于：包括科学数据仓以及客户端；
所述的科学数据仓包括一个低功耗的硬件系统以及运行于该硬件系统的嵌入式软件系统，其中，所述硬件系统包括一个利于排热的小型机箱、一个将交流电转换成5V直流电的高转换率电源模块、一张支持基本网络附加存储并设置有CPU的PCB板、至少一个IEEE802.3标准网口以及用于存储数据的存储介质；
所述嵌入式软件系统包括：一个基于Linux内核的轻量化嵌入式操作系统，其支持IEEE802.3ab、IEEE802.3u、IEEE802.3网络通信协议，并且支持RAID1～5容错协议；一套网络附加存储（NAS）的嵌入式中间件，其支持SMB/CIFS、FTP、FTPS、SFTP、NFS文件协议；一套支持文件版本管理（SVN协议）的嵌入式应用；
所述客户端与科学数据仓通信连接，在客户端上安装有客户端操作系统，并且安装有网页浏览软件以及客户端版本管理软件。
2.根据权利要求1所述的科学数据仓系统设备，其特征在于：所述的存储介质为普通硬盘或者固态硬盘，在所述硬件系统的小型机箱内设置有至少4个Serial ATA硬盘盘位。
3.根据权利要求1所述的科学数据仓系统设备，其特征在于：所述客户端为PC机或移动终端。
4.根据权利要求3所述的科学数据仓系统设备，其特征在于：所述每个客户端上的客户端操作系统为Windows、Linux、MacOS、iOS或Android等常用操作系统中的一种。
5.根据权利要求1所述的科学数据仓系统设备，其特征在于：所述的客户端与科学数据仓由有线或者无线网络连接。
6.根据权利要求5所述的科学数据仓系统设备，其特征在于：所述客户端与科学数据仓通过集线器相连接。
CN201410102783.4A 2014-03-06 2014-03-19 科学数据仓系统设备 Pending CN103838308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410102783.4A CN103838308A (zh) 2014-03-06 2014-03-19 科学数据仓系统设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410079810.0 2014-03-06
CN201410079810 2014-03-06
CN201410102783.4A CN103838308A (zh) 2014-03-06 2014-03-19 科学数据仓系统设备

Publications (1)

Publication Number Publication Date
CN103838308A true CN103838308A (zh) 2014-06-04

Family

ID=50801925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410102783.4A Pending CN103838308A (zh) 2014-03-06 2014-03-19 科学数据仓系统设备

Country Status (1)

Country Link
CN (1) CN103838308A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302242A (zh) * 2015-10-21 2016-02-03 苏州富米信息技术有限公司 一种企业数据仓系统设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016535A (en) * 1995-10-11 2000-01-18 Citrix Systems, Inc. Method for dynamically and efficiently caching objects by subdividing cache memory blocks into equally-sized sub-blocks
US6427195B1 (en) * 2000-06-13 2002-07-30 Hewlett-Packard Company Thread local cache memory allocator in a multitasking operating system
CN200962620Y (zh) * 2006-06-09 2007-10-17 合肥盛远视通科技有限公司 电信级家庭安全社会化运营系统
CN101387953A (zh) * 2007-09-14 2009-03-18 环达电脑(上海)有限公司 协同软件开发系统及方法
CN201332402Y (zh) * 2008-09-26 2009-10-21 中国海洋大学 一种基于嵌入式Linux的家庭下载服务器
CN103530761A (zh) * 2012-11-22 2014-01-22 广州七七八二信息科技有限公司 随身移动办公系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016535A (en) * 1995-10-11 2000-01-18 Citrix Systems, Inc. Method for dynamically and efficiently caching objects by subdividing cache memory blocks into equally-sized sub-blocks
US6427195B1 (en) * 2000-06-13 2002-07-30 Hewlett-Packard Company Thread local cache memory allocator in a multitasking operating system
CN200962620Y (zh) * 2006-06-09 2007-10-17 合肥盛远视通科技有限公司 电信级家庭安全社会化运营系统
CN101387953A (zh) * 2007-09-14 2009-03-18 环达电脑(上海)有限公司 协同软件开发系统及方法
CN201332402Y (zh) * 2008-09-26 2009-10-21 中国海洋大学 一种基于嵌入式Linux的家庭下载服务器
CN103530761A (zh) * 2012-11-22 2014-01-22 广州七七八二信息科技有限公司 随身移动办公系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302242A (zh) * 2015-10-21 2016-02-03 苏州富米信息技术有限公司 一种企业数据仓系统设备

Similar Documents

Publication Publication Date Title
Zicari Big data: Challenges and opportunities
US9569457B2 (en) Data processing method and apparatus for distributed systems
US8352429B1 (en) Systems and methods for managing portions of files in multi-tier storage systems
US10013440B1 (en) Incremental out-of-place updates for index structures
CN105630810B (zh) 一种对于海量小文件在分布式存储系统中上载的方法
CN105446990B (zh) 一种业务数据处理方法及设备
CN102821111A (zh) 文件云存储实时同步方法
US10592355B2 (en) Capacity management
US8515919B1 (en) Techniques for optimizing data migration
CN105357280A (zh) 一种基于hdfs的文件溯源ftp系统
CN102820998B (zh) 实现面向办公应用的双机容错服务系统及其数据存储方法
CN104158875A (zh) 一种分摊减轻数据中心服务器任务的方法及系统
CN201698255U (zh) 具有磁盘高速读写功能的服务器
CN104035522A (zh) 大数据库一体机
CN103838308A (zh) 科学数据仓系统设备
CN103092952A (zh) 一种海量非结构化数据的存储系统和管理方法
CN107220342A (zh) 一种分布式数据库的控制方法及系统
US8983910B1 (en) Systems and methods for adaptively selecting file-recall modes
CN102999106A (zh) 一种在刀片服务器上实现扩展pcie卡或存储设备的设计方法
CN105321124A (zh) 一种基于Hadoop的电力云平台设计方案
US9646014B1 (en) Systems and methods for selective defragmentation
CN204102026U (zh) 大数据库一体机
Byun Modeling and simulation of the redundant array of inexpensive/independent disks storage for internet of things monitoring servers
CN102663140B (zh) 基于tb级全景图像数据快速访问方法
CN105302242A (zh) 一种企业数据仓系统设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140604

RJ01 Rejection of invention patent application after publication