CN106341478A - 一种基于Hadoop的教育资源共享系统及实现方法 - Google Patents

一种基于Hadoop的教育资源共享系统及实现方法 Download PDF

Info

Publication number
CN106341478A
CN106341478A CN201610821264.2A CN201610821264A CN106341478A CN 106341478 A CN106341478 A CN 106341478A CN 201610821264 A CN201610821264 A CN 201610821264A CN 106341478 A CN106341478 A CN 106341478A
Authority
CN
China
Prior art keywords
user
node
request
hadoop
retrieval information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610821264.2A
Other languages
English (en)
Inventor
林格
李苗
陈宇文
何咏恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU XINGHAI INTELLIGENCE HOME SYSTEM INTEGRATION Co Ltd
GUANGZHOU ZHONGDA DIGITAL HOME ENGINEERING RESEARCH CENTER Co Ltd
Original Assignee
GUANGZHOU XINGHAI INTELLIGENCE HOME SYSTEM INTEGRATION Co Ltd
GUANGZHOU ZHONGDA DIGITAL HOME ENGINEERING RESEARCH CENTER Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU XINGHAI INTELLIGENCE HOME SYSTEM INTEGRATION Co Ltd, GUANGZHOU ZHONGDA DIGITAL HOME ENGINEERING RESEARCH CENTER Co Ltd filed Critical GUANGZHOU XINGHAI INTELLIGENCE HOME SYSTEM INTEGRATION Co Ltd
Priority to CN201610821264.2A priority Critical patent/CN106341478A/zh
Publication of CN106341478A publication Critical patent/CN106341478A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明实施例公开了一种基于Hadoop的教育资源共享系统及实现方法，其中，该系统包括：Web服务器，用于接收发自客户端的用户请求，并将用户请求发送给Master主节点，及将从Master主节点获得的检索信息返回给客户端；客户端，用于发送用户请求给Web服务器，并接收返回的检索信息；Master主节点，用于接收和处理用户请求，返回检索信息；MapReduce模块，用于根据Master主节点接收到的用户请求选择不同的算法策略，对互连的Slave节点里的数据进行搜索，汇总检索信息返回给Master主节点；Slave节点，用于根据MapReduce模块提供的算法策略进行数据搜索。实施本发明，可以在提高传输效率的同时提高I/O吞吐量，加快搜索速度及提高搜索效率，提高负载能力，并提高各个节点的吞吐量利用率。

Description

一种基于Hadoop的教育资源共享系统及实现方法
技术领域
本发明涉及网络资源共享技术领域，尤其涉及一种基于Hadoop的教育资源共享系统及实现方法。
背景技术
随着科学技术不断发展创新，现代社会迎来信息化变革的风暴。多媒体、网络、云存储等技术更新换代的频率越来越快，犹胜日新月异。而作为科学技术的摇篮，教育，以及相关教育资源的开发与管理，也受到了前所未有的重视。现今人们虽然可以通过各种渠道获取自己想要的信息，但是对于教育资源的需求却是有增无减。网络教育资源结构庞杂、条目繁多，使得系统管理、用户检索都变得非常不方便。将信息技术应用于教育资源的整合管理是科学技术对教育的反哺，具有很深的现实意义。
Hadoop是一个由Apache基金会开发的分布式系统基础架构，设计目标是使用户在不了解分布式系统底层细节的情况下，能够顺利地进行分布式程序的开发。Hadoop框架中的核心部分是Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)和MapReduce，其中HDFS提供了海量数据的存储技术，MapReduce(映射-规约)提供了分布式计算的技术。Hadoop框架的特点是可靠、高效、可伸缩。HDFS进行了冗余处理，维护了多个工作数据副本，保证了可靠性。MapReduce以并行的方式工作，保证了高效性。
目前将云存储技术应用于教育领域，主要存在的问题是重视教育资源的建设但忽视了建设的实用性，资源重复建设、利用率低、检索困难、无法有效共享等。目前基于B/S架构的教育资源管理系统的主要缺点是I/O吞吐量小、搜索缓慢、负载均衡等问题。
现有基于B/S架构的教育资源管理系统有基于校园网的管理系统和基于学习对象元数据的资源管理系统等。基于校园网的管理系统面向的对象是校内教师学生等使用校园网的用户，在数据存储方面一般采用常见的数据库系统如MySQL等，采用的检索算法是一般数据库的检索算法，在负载均衡方面没有进行优化，没有提供共享的API供第三方接入使用。基于学习对象元数据的资源管理系统定义了一种教育资源的存储规范，使用XML文档描述数据，在存储上依然使用集中式的数据库系统。
现有基于B/S架构的教育资源管理系统一般采用常见的数据库系统作为存储系统，在数据量不大的情况下能够满足性能要求，在面对海量数据存储要求时，就会暴露出I/O吞吐量低、检索算法效率低下等缺点，从而导致整个系统的反应速度变慢，影响用户的体验感。而且，由于没有适当的负载均衡策略，系统容易出现崩溃。最重要的是，由于没有开放资源共享的第三方API接口，不利于系统自身进行扩展，也不利于教育资源的分享和挖掘。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于Hadoop的教育资源共享系统及实现方法，可以在提高传输效率的同时提高I/O吞吐量，加快搜索速度及提高搜索效率，提高负载能力，并提高各个节点的吞吐量利用率。
为了解决上述问题，本发明提出了一种基于Hadoop的教育资源共享系统，所述系统包括：
Web服务器，用于接收发自客户端的用户请求，并将用户请求发送给Master主节点，及将从Master主节点获得的检索信息返回给客户端；
客户端，用于发送用户请求给Web服务器，并接收返回的检索信息；
Master主节点，用于接收和处理用户请求，返回检索信息；并与互连的Slave节点进行信息交互；
MapReduce模块，用于监视各Slave节点的吞吐量以及剩余存储容量，并根据Master主节点接收到的用户请求选择不同的算法策略，对互连的Slave节点里的数据进行搜索，汇总检索信息返回给Master主节点；
Slave节点，用于存储经过分块后的文件数据信息，并根据MapReduce模块提供的算法策略进行数据搜索。
优选地，所述Slave节点包括：
筛选单元，用于根据用户关键字和资源标签进行筛选；
匹配单元，用于根据用户关键字和资源名称进行匹配，并根据匹配程度进行排序。
优选地，MapReduce模块还用于对汇总后的检索信息进行排序。
优选地，MapReduce模块还包括：
制定单元，用于根据I/0负载制定优先队列；
选择单元，用于在优先队列中选择剩余存储容量最大的Slave节点作为存储节点。
相应地，本发明还提供一种基于Hadoop的教育资源共享系统的实现方法，所述方法包括：
客户端发送用户请求给Web服务器；
Web服务器接收发自客户端的用户请求，并将用户请求发送给Master主节点；
Master主节点接收和处理用户请求；
MapReduce模块根据Master主节点接收到的用户请求选择不同的算法策略，对互连的Slave节点里的数据进行搜索，汇总检索信息返回给Master主节点；
Slave节点根据MapReduce模块提供的算法策略进行数据搜索；
Master主节点将获得的检索信息经过Web服务器返回给客户端。
优选地，所述Slave节点根据MapReduce模块提供的算法策略进行数据搜索的步骤，包括：
根据用户关键字和资源标签进行筛选；
根据用户关键字和资源名称进行匹配，并根据匹配程度进行排序。
优选地，MapReduce模块汇总检索信息后，对汇总后的检索信息进行排序。
优选地，所述MapReduce模块根据Master主节点接收到的用户请求选择不同的算法策略的步骤，包括：
根据I/0负载制定优先队列；
在优先队列中选择剩余存储容量最大的Slave节点作为存储节点。
在本发明实施例中，在存储方面，基于hadoop的HDFS分布式文件系统可以提高存储系统的吞吐量；在搜索方面，采用Mapreduce算法且配合资源标签，可以加快资源搜索速度；在负载均衡方面，采用吞吐量较低优先的原则，对上传的教育资源进行均衡分配到数据节点上，保证各数据节点正常运行；同时开放资源共享的API接口，供第三方应用接入使用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例的基于Hadoop的教育资源共享系统的结构组成示意图；
图2是本发明实施例的基于Hadoop的教育资源共享系统的实现方法的流程示意图；
图3是本发明实施例中用户上传资源的过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于Hadoop的教育资源共享系统的结构组成示意图，如图1所示，该方法包括：
Web服务器1，用于接收发自客户端2的用户请求，并将用户请求发送给Master主节点3，及将从Master主节点3获得的检索信息返回给客户端2；
客户端2，用于发送用户请求给Web服务器1，并接收返回的检索信息；
Master主节点3，用于接收和处理用户请求，返回检索信息；并与互连的Slave节点5进行信息交互；
MapReduce模块4，用于监视各Slave节点5的吞吐量以及剩余存储容量，并根据Master主节点3接收到的用户请求选择不同的算法策略，对互连的Slave节点5里的数据进行搜索，汇总检索信息返回给Master主节点3；
Slave节点5，用于存储经过分块后的文件数据信息，并根据MapReduce模块4提供的算法策略进行数据搜索。
在本发明实施例中，Slave节点5为HDFS分布式存储系统的NameNode，其下面有若干个数据节点，文件经过分块后，存储于同一slave节点的不同数据节点中。
其中，Slave节点5进一步包括：
筛选单元，用于根据用户关键字和资源标签进行筛选；
匹配单元，用于根据用户关键字和资源名称进行匹配，并根据匹配程度进行排序。
MapReduce模块4还用于对汇总后的检索信息进行排序。具体地，MapReduce对各个Slave节点搜索结果进行归约，即再进行一次排序，并将结果逐层向上返回，最终返回给客户端，此时客户端获得的是检索信息而不是数据源。
MapReduce模块4还包括：
制定单元，用于根据I/0负载制定优先队列；具体地，1、I/0负载低的优先，以最低的I/0负载为基准，差距在5％以内的均为优先队列；
选择单元，用于在优先队列中选择剩余存储容量最大的Slave节点作为存储节点。
相应地，本发明实施例还提供一种基于Hadoop的教育资源共享系统的实现方法，如图2所示，该方法包括：
S1，客户端发送用户请求给Web服务器；
S2，Web服务器接收发自客户端的用户请求，并将用户请求发送给Master主节点；
S3，Master主节点接收和处理用户请求；
S4，MapReduce模块根据Master主节点接收到的用户请求选择不同的算法策略，对互连的Slave节点里的数据进行搜索，汇总检索信息返回给Master主节点；
S5，Slave节点根据MapReduce模块提供的算法策略进行数据搜索；
S6，Master主节点将获得的检索信息经过Web服务器返回给客户端。
进一步地，S5包括：
根据用户关键字和资源标签进行筛选；
根据用户关键字和资源名称进行匹配，并根据匹配程度进行排序。
另外，MapReduce模块汇总检索信息后，对汇总后的检索信息进行排序。
在S4中，MapReduce模块根据Master主节点接收到的用户请求选择不同的算法策略的步骤，包括：
根据I/0负载制定优先队列；
在优先队列中选择剩余存储容量最大的Slave节点作为存储节点。
另外，图3示出了本发明的用户上传资源的实施例的过程，包括：
步骤1：用户通过Web客户端发起上传资源请求。
步骤2：Web服务器接收到请求后，传给Master主节点均衡负载模块进行处理。
步骤3：MapReduce模块获取各Slave的节点情况，主要是I/0负载和剩余存储容量，均衡策略如下：
I/0负载低的优先，以最低的I/0负载为基准，差距在5％以内的均为优先队列；
在优先队列中，选择剩余存储容量最大的Slave节点作为存储节点；
步骤4：Slave节点锁定数据节点中的块，并将分配给资源的数据节点的块信息逐层上传，最终返回到客户端；
步骤5：客户端将资源和存储位置信息存入缓存服务器中，等待审核；
步骤6：审核通过后，将缓存服务器中的资源写入对于的存储块中；若审核不通过则释放存储块。
本发明的方法实施例的流程处理可参见本发明系统实施例中各功能模块的功能，这里不再赘述。
在本发明实施例中，在存储方面，基于hadoop的HDFS分布式文件系统可以提高存储系统的吞吐量；在搜索方面，采用Mapreduce算法且配合资源标签，可以加快资源搜索速度；在负载均衡方面，采用吞吐量较低优先的原则，对上传的教育资源进行均衡分配到数据节点上，保证各数据节点正常运行；同时开放资源共享的API接口，供第三方应用接入使用。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的基于Hadoop的教育资源共享系统及实现方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于Hadoop的教育资源共享系统，其特征在于，所述系统包括：
Web服务器，用于接收发自客户端的用户请求，并将用户请求发送给Master主节点，及将从Master主节点获得的检索信息返回给客户端；
客户端，用于发送用户请求给Web服务器，并接收返回的检索信息；
Master主节点，用于接收和处理用户请求，返回检索信息；并与互连的Slave节点进行信息交互；
MapReduce模块，用于监视各Slave节点的吞吐量以及剩余存储容量，并根据Master主节点接收到的用户请求选择不同的算法策略，对互连的Slave节点里的数据进行搜索，汇总检索信息返回给Master主节点；
Slave节点，用于存储经过分块后的文件数据信息，并根据MapReduce模块提供的算法策略进行数据搜索。
2.如权利要求1所述的基于Hadoop的教育资源共享系统，其特征在于，所述Slave节点包括：
筛选单元，用于根据用户关键字和资源标签进行筛选；
匹配单元，用于根据用户关键字和资源名称进行匹配，并根据匹配程度进行排序。
3.如权利要求1所述的基于Hadoop的教育资源共享系统，其特征在于，MapReduce模块还用于对汇总后的检索信息进行排序。
4.如权利要求1或3所述的基于Hadoop的教育资源共享系统，其特征在于，MapReduce模块还包括：
制定单元，用于根据I/0负载制定优先队列；
选择单元，用于在优先队列中选择剩余存储容量最大的Slave节点作为存储节点。
5.一种基于Hadoop的教育资源共享系统的实现方法，其特征在于，所述方法包括：
客户端发送用户请求给Web服务器；
Web服务器接收发自客户端的用户请求，并将用户请求发送给Master主节点；
Master主节点接收和处理用户请求；
MapReduce模块根据Master主节点接收到的用户请求选择不同的算法策略，对互连的Slave节点里的数据进行搜索，汇总检索信息返回给Master主节点；
Slave节点根据MapReduce模块提供的算法策略进行数据搜索；
Master主节点将获得的检索信息经过Web服务器返回给客户端。
6.如权利要求5所述的基于Hadoop的教育资源共享系统的实现方法，其特征在于，所述Slave节点根据MapReduce模块提供的算法策略进行数据搜索的步骤，包括：
根据用户关键字和资源标签进行筛选；
根据用户关键字和资源名称进行匹配，并根据匹配程度进行排序。
7.如权利要求5所述的基于Hadoop的教育资源共享系统的实现方法，其特征在于，MapReduce模块汇总检索信息后，对汇总后的检索信息进行排序。
8.如权利要求5所述的基于Hadoop的教育资源共享系统的实现方法，其特征在于，所述MapReduce模块根据Master主节点接收到的用户请求选择不同的算法策略的步骤，包括：
根据I/0负载制定优先队列；
在优先队列中选择剩余存储容量最大的Slave节点作为存储节点。
CN201610821264.2A 2016-09-13 2016-09-13 一种基于Hadoop的教育资源共享系统及实现方法 Pending CN106341478A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610821264.2A CN106341478A (zh) 2016-09-13 2016-09-13 一种基于Hadoop的教育资源共享系统及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610821264.2A CN106341478A (zh) 2016-09-13 2016-09-13 一种基于Hadoop的教育资源共享系统及实现方法

Publications (1)

Publication Number Publication Date
CN106341478A true CN106341478A (zh) 2017-01-18

Family

ID=57838853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610821264.2A Pending CN106341478A (zh) 2016-09-13 2016-09-13 一种基于Hadoop的教育资源共享系统及实现方法

Country Status (1)

Country Link
CN (1) CN106341478A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784895A (zh) * 2018-12-12 2019-05-21 四川商通实业有限公司 多线上商户单平台的统一接入方法及其系统
CN110659111A (zh) * 2018-06-29 2020-01-07 北京国双科技有限公司 数据处理方法及系统
CN110867961A (zh) * 2019-11-18 2020-03-06 国电南瑞科技股份有限公司 省级以上调度机构的wams数据存储浏览系统及其方法
CN112613390A (zh) * 2020-12-18 2021-04-06 南京甄视智能科技有限公司 多gpu集群并行人脸搜索方法与系统
CN114155122A (zh) * 2021-11-23 2022-03-08 陈冬冬 应用于在线教育的大数据资源共享方法及资源共享服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611723A (zh) * 2011-01-25 2012-07-25 赵天海 一种基于虚拟化技术构建高性能计算应用服务的方法
CN103473365A (zh) * 2013-09-25 2013-12-25 北京奇虎科技有限公司 一种基于hdfs的文件存储方法、装置及分布式文件系统
CN104503844A (zh) * 2014-12-29 2015-04-08 中国科学院深圳先进技术研究院 一种基于多阶段特征的MapReduce作业细粒度分类方法
CN105335513A (zh) * 2015-10-30 2016-02-17 迈普通信技术股份有限公司 一种分布式文件系统及文件存储方法
CN105511957A (zh) * 2014-09-25 2016-04-20 国际商业机器公司 用于生成作业告警的方法和系统
CN105740727A (zh) * 2016-02-02 2016-07-06 上海斐讯数据通信技术有限公司 隐私数据的分布式存储方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611723A (zh) * 2011-01-25 2012-07-25 赵天海 一种基于虚拟化技术构建高性能计算应用服务的方法
CN103473365A (zh) * 2013-09-25 2013-12-25 北京奇虎科技有限公司 一种基于hdfs的文件存储方法、装置及分布式文件系统
CN105511957A (zh) * 2014-09-25 2016-04-20 国际商业机器公司 用于生成作业告警的方法和系统
CN104503844A (zh) * 2014-12-29 2015-04-08 中国科学院深圳先进技术研究院 一种基于多阶段特征的MapReduce作业细粒度分类方法
CN105335513A (zh) * 2015-10-30 2016-02-17 迈普通信技术股份有限公司 一种分布式文件系统及文件存储方法
CN105740727A (zh) * 2016-02-02 2016-07-06 上海斐讯数据通信技术有限公司 隐私数据的分布式存储方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659111A (zh) * 2018-06-29 2020-01-07 北京国双科技有限公司 数据处理方法及系统
CN109784895A (zh) * 2018-12-12 2019-05-21 四川商通实业有限公司 多线上商户单平台的统一接入方法及其系统
CN110867961A (zh) * 2019-11-18 2020-03-06 国电南瑞科技股份有限公司 省级以上调度机构的wams数据存储浏览系统及其方法
CN110867961B (zh) * 2019-11-18 2022-11-11 国电南瑞科技股份有限公司 省级以上调度机构的wams数据存储浏览系统及其方法
CN112613390A (zh) * 2020-12-18 2021-04-06 南京甄视智能科技有限公司 多gpu集群并行人脸搜索方法与系统
CN114155122A (zh) * 2021-11-23 2022-03-08 陈冬冬 应用于在线教育的大数据资源共享方法及资源共享服务器
CN114155122B (zh) * 2021-11-23 2022-11-25 上海康裕企业管理咨询有限公司 应用于在线教育的大数据资源共享方法及资源共享服务器

Similar Documents

Publication Publication Date Title
CN106341478A (zh) 一种基于Hadoop的教育资源共享系统及实现方法
Kune et al. The anatomy of big data computing
CN106502792B (zh) 一种面向不同类型负载的多租户资源优化调度方法
CN103345508B (zh) 一种适用于社会网络图的数据存储方法及系统
US9459897B2 (en) System and method for providing data analysis service in cloud environment
CN108038236A (zh) 文件共享方法、装置、系统及可读存储介质
CN107291539A (zh) 基于资源重要程度的集群程序调度方法
US11960616B2 (en) Virtual data sources of data virtualization-based architecture
CN101419600A (zh) 基于面向对象文件系统的数据副本映射方法及装置
Zhang et al. Blockchain-based secure aggregation for federated learning with a traffic prediction use case
Xia et al. Qos-aware proactive data replication for big data analytics in edge clouds
US11687513B2 (en) Virtual data source manager of data virtualization-based architecture
US11263026B2 (en) Software plugins of data virtualization-based architecture
CN106170012A (zh) 一种面向云渲染的分布式文件系统及构建和访问方法
Zhengqiao et al. Research on clustering algorithm for massive data based on Hadoop platform
Feng et al. [Retracted] Construction of a Multimedia‐Based University Ideological and Political Big Data Cloud Service Teaching Resource Sharing Model
Larruscain et al. Efficiency in knowledge transmission in R&D project networks: European renewable energy sector
Zhiyong et al. An improved container cloud resource scheduling strategy
Liu et al. Towards dynamic reconfiguration of composite services via failure estimation of general and domain quality of services
CN111190963A (zh) 一种区块链应用后端系统
Guo et al. PicPick: a generic data selection framework for mobile crowd photography
US20220374424A1 (en) Join queries in data virtualization-based architecture
Suguna et al. Improvement of Hadoop ecosystem and their pros and cons in Big data
CN108280176A (zh) 基于MapReduce的数据挖掘优化方法
Ma et al. [Retracted] The Construction of Big Data Computational Intelligence System for E‐Government in Cloud Computing Environment and Its Development Impact

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170118

RJ01 Rejection of invention patent application after publication