CN101527736A - 分布式文件系统中业务内容处理、更新方法与装置 - Google Patents

分布式文件系统中业务内容处理、更新方法与装置 Download PDF

Info

Publication number
CN101527736A
CN101527736A CN200910081758A CN200910081758A CN101527736A CN 101527736 A CN101527736 A CN 101527736A CN 200910081758 A CN200910081758 A CN 200910081758A CN 200910081758 A CN200910081758 A CN 200910081758A CN 101527736 A CN101527736 A CN 101527736A
Authority
CN
China
Prior art keywords
files
blocks
service node
virtual file
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910081758A
Other languages
English (en)
Inventor
夏舰波
彭杰
张波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN200910081758A priority Critical patent/CN101527736A/zh
Priority to EP09842886.5A priority patent/EP2418809A4/en
Priority to PCT/CN2009/073330 priority patent/WO2010115325A1/zh
Priority to US13/257,209 priority patent/US20120016916A1/en
Publication of CN101527736A publication Critical patent/CN101527736A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明公开了一种分布式文件系统中业务节点的业务内容处理方法：接收到上载的业务内容后生成文件块，文件块存储于至少一个业务节点中，未存储文件块的业务节点中存储有与文件块对应的虚拟文件块，设置虚拟文件块的属性列表。本发明同时公开了一种业务内容更新方法：接收到文件块的点播请求后，业务节点判断是否为虚拟文件块，是时根据虚拟文件块的属性列表中文件块的至少一个访问地址信息读取文件块并响应点播请求，更新虚拟文件块的热度值，并判断更新后的热度值是否达到阈值，达到时将文件块下载到业务节点，并清除或清空虚拟文件块的属性列表，或删除虚拟标识信息。本发明同时公开了一种实现前述方法的装置。本发明简单实用。

Description

分布式文件系统中业务内容处理、更新方法与装置
技术领域
本发明涉及分布式文件系统中业务内容处理、更新技术，尤其涉及一种分布式文件系统中业务节点中的业务内容处理、更新方法与装置。
背景技术
分布式文件系统广泛应用于网络电视(IPTV，Internet Protocol Television)等视频业务的服务器中，用于管理单个业务节点(为一个区域或一部分用户提供服务)内业务数据的存储和读取。随着用户对业务多样性需求的不断提高，业务应用中需存储的业务数据量也越来越多，分布式文件系统中各个业务节点要提供完整的业务服务，就需要海量的存储空间，这将造成整个分布式文件系统的成本大幅提高，给运营商带来很大压力。
为了解决上述问题，分布式文件系统普遍采用业务内容调度的方法来解决，即所有的业务内容分散存储到各个业务节点，单个业务节点上并不存储所有的业务内容，但每个业务节点上所提供的业务内容目录却是相同的，当用户在某个节点上点播一个并未存储在本业务节点的业务内容时，该业务节点查找存储所点播业务内容的其它节点，将用户所点播的业务内容缓存到本业务节点，再提供给请求用户。
使用上述业务内容的调度方法，可大量节省分布式文件系统中各个业务节点的存储空间，从而降低了分布式文件系统的组建成本。但仍存在不足之处，业务内容的调度方法，在业务节点上没有相应的业务内容，而用户对该业务节点上的该业务内容的点播请求又较多时，虽然能从其他业务节点向用户提供业务服务，但这需耗费分布式文件系统较大的带宽，在点播用户数较多时，所提供的业务服务的质量很难得到保证。
发明内容
有鉴于此，本发明的主要目的在于提供一种分布式文件系统中业务节点的业务内容处理、更新方法与装置，能提升了热点业务内容的服务质量，且使所占用的存储空间较小。
为达到上述目的，本发明的技术方案是这样实现的：
一种分布式文件系统中业务节点的业务内容处理方法，包括：
接收到上载的业务内容后，分布式文件系统根据所述业务内容生成文件块，所述文件块存储于至少一个所述业务节点中，未存储所述文件块的所述业务节点中存储有与所述文件块对应的虚拟文件块，并设置所述虚拟文件块的属性列表，所述属性列表包括虚拟标识信息、访问热度值信息以及所述文件块的至少一个访问地址信息。
优选地，所述虚拟文件块与所述文件块的名称、属性值相同。
优选地，所述分布式文件系统根据所述业务内容生成文件块，具体为：
所述分布式文件系统将所述业务内容直接作为文件块，或将所述业务内容分割成两个以上的业务内容块而作为文件块。
一种分布式文件系统中业务节点的业务内容更新方法，包括：
接收到文件块的点播请求后，业务节点判断所点播的文件块是否为虚拟文件块，是时根据所述虚拟文件块的属性列表中的与所述虚拟文件块对应的所述文件块的至少一个访问地址信息读取所述文件块并响应所述点播请求，同时，更新所述业务节点中所述虚拟文件块的属性列表中的访问热度值，并判断更新后的访问热度值是否达到设定阈值，达到时根据所述文件块的至少一个访问地址信息将所述文件块下载到所述业务节点，并清除或清空所述虚拟文件块的属性列表，或删除所述虚拟文件块的属性列表中的虚拟标识信息。
优选地，所述业务节点判断所点播的文件块是否为虚拟文件块，具体为：
根据所点播的文件块的标识查找所点播的文件块是否包括属性列表或判断所查找到的属性列表是否为非空，或判断所查找到的属性列表中是否包括虚拟标识信息，是时所点播的文件块为虚拟文件块。
优选地，所述更新所述业务节点中所述虚拟文件块的属性列表中的访问热度值，具体为：使所述业务节点中所述虚拟文件块的属性列表中的访问热度值加一。
一种分布式文件系统中业务节点的业务内容处理装置，包括：
上载单元，用于向分布式文件系统上载业务内容；
文件块生成单元，用于将通过所述上载单元上载的所述业务内容生成文件块；
发布单元，用于将所述文件块存储于至少一个所述业务节点中，未存储所述文件块的所述业务节点中存储有与所述文件块对应的虚拟文件块；以及
设置单元，用于为所述虚拟文件块设置属性列表，所述属性列表包括虚拟标识信息、访问热度值信息以及所述文件块的至少一个访问地址信息。
优选地，所述虚拟文件块与所述文件块的名称、属性值相同。
一种分布式文件系统中业务节点的业务内容更新装置，包括：
接收单元，用于接收文件块的点播请求；
第一判断单元，用于判断所述点播请求所点播的文件块是否为虚拟文件块，是时触发读取及响应单元；
读取及响应单元，用于根据所述虚拟文件块的属性列表中的与所述虚拟文件块对应的所述文件块的至少一个访问地址信息读取所述文件块并响应所述点播请求，同时触发更新单元；
更新单元，用于更新所述虚拟文件块的属性列表中的访问热度值，并触发第二判断单元；
第二判断单元，用于判断更新后的所述虚拟文件块的属性列表中的访问热度值是否达到设定阈值，达到时触发下载及清除单元；以及
下载及清除单元，用于根据所述文件块的至少一个访问地址信息将所述文件块下载到所述虚拟文件块所在的所述业务节点，并清除或清空所述虚拟文件块的属性列表，或删除所述虚拟文件块的属性列表中的虚拟标识信息。
优选地，所述更新单元更新所述虚拟文件块的属性列表中的访问热度值，具体为：使所述业务节点中所述虚拟文件块的属性列表中的访问热度值加一。
本发明中，为业务节点中的虚拟文件块设置属性列表，属性列表中记载有虚拟标识信息、访问热度值信息以及所述文件块的至少一个访问地址信息，在用户对某业务节点中的某虚拟文件块点播后，更新虚拟文件块属性列表中的访问热度值，即使其访问热度值加一，并与设定阈值进行比较，达到设定阈值时，即认为该虚拟文件块对应的文件块在该业务节点上的热度较高，则根据虚拟文件块属性列表中的所述文件块的至少一个访问地址信息，将所述文件块下载到该业务节点上，并去除所述文件块的虚拟标识信息。这样，在其他用户再向该业务节点点播所述文件块时，该业务节点能直接在本地向用户提供业务服务，由于不必再到远程业务节点缓存所点播业务内容，提升了业务的服务质量，由于仅是将访问热度值超出阈值的业务内容下载到用户请求较多的业务节点上，并不会占用其他业务节点的存储空间，不必为分布式文件系统中的每个业务节点均配备很大的存储空间，实现成本较低。本发明实现简单且实用。
附图说明
图1为本发明分布式文件系统中业务节点的业务内容处理方法的流程图；
图2为本发明分布式文件系统中业务节点的业务内容更新方法的流程图；
图3为本发明分布式文件系统中业务节点的业务内容处理装置的组成结构示意图；
图4为本发明分布式文件系统中业务节点的业务内容更新装置的组成结构示意图。
具体实施方式
本发明的基本思想是：为业务节点中的虚拟文件块设置属性列表，属性列表中记载有虚拟标识信息、访问热度值信息以及所述文件块的至少一个访问地址信息，在用户对某业务节点中的某虚拟文件块点播后，更新虚拟文件块属性列表中的访问热度值，即使其访问热度值加一，并与设定阈值进行比较，达到设定阈值时，即认为该虚拟文件块对应的文件块在该业务节点上的热度较高，则根据虚拟文件块属性列表中的所述文件块的至少一个访问地址信息，将所述文件块下载到该业务节点上，并去除所述文件块的虚拟标识信息。这样，在其他用户再向该业务节点点播所述文件块时，该业务节点能直接在本地向用户提供业务服务，由于不必再到远程业务节点缓存所点播业务内容，提升了业务的服务质量，由于仅是将访问热度值超出阈值的业务内容下载到用户请求较多的业务节点上，并不会占用其他业务节点的存储空间，不必为分布式文件系统中的每个业务节点均配备很大的存储空间，实现成本较低。本发明实现简单且实用。
为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并参照附图，对本发明进一步详细说明。
图1为本发明分布式文件系统中业务节点的业务内容处理方法的流程图，如图1所示，本发明分布式文件系统中业务节点的业务内容处理方法包括以下步骤：
步骤101：接收到上载的业务内容后，分布式文件系统根据所述业务内容生成文件块。
分布式文件系统为维护人员提供业务内容的上载接口，维护人员通过上载接口能上载各种业务内容，所述业务内容包括各种音、视频文件，如电影或歌曲等文件。上载接口的实现是容易的，通过向维护人员提供业务内容的上载界面，设置相应的身份验证码，通过身份验证的用户即可实现业务内容的上载，上载接口由运营商维护。接收到维护人员上载的业务内容后，分布式文件系统根据用户的需求及分布式文件系统的运营特点，将上载的业务内容生成文件块。由于本发明分布式文件系统所面对的主要是点播业务，一般为用户提供经典的电影片段或歌曲及其片段，以供各种用户进行点播，因此，对于所上载的完整的电影或歌曲，需按用户的需求或运营需求对业务内容进行分割，分割成一个以上的文件块，再将所分割的文件块发布到分布式文件系统中的各业务节点上，供用户点播。业务内容分割可使用现有的分割软件来实现。如果维护人员所上载的业务内容本身即是符合要求的文件块或上载业务内容之前已进行过文件分割，则不再对其进行分割处理。
步骤102：将步骤101中所分割的文件块存储于至少一个业务节点中，未存储所述文件块的所述业务节点中存储有与所述文件块对应的虚拟文件块，并设置所述虚拟文件块的属性列表，所述属性列表包括虚拟标识信息、访问热度值信息以及所述文件块的至少一个访问地址信息。
步骤102中即实现文件块的发布，即将分布式文件系统中所有的文件块发布于各业务节点上，以供用户点播。但是，所有的文件块并不能全部存储于各业务节点上，这样将会导致分布式文件系统中各业务节点的存储空间要相当大，将使分布式文件系统的成本较高，因此，本发明是将分布式文件系统中所有的文件块分散存储到分布式文件系统中各业务节点中，以所有的业务节点分担文件块的存储任务，但是，在提供文件块的目录时，却是分布式文件系统中所有的文件块目录，即业务节点上存在虚拟文件块。虚拟文件块的含义是，所述文件块并不没有存储在显示该虚拟文件块目录的业务节点上，而是存储在其他业务节点上。在将文件块存储于业务节点上时，可以在对应的业务节点上设置所述文件块的文件夹，将所述文件块存储于对应的文件夹中，而业务节点上的发布的虚拟文件块与实际的文件块的名称、各种属性值如文件类型、大小及创建时间等均相同，虚拟文件块面向用户的信息与实际的文件块是完全相同的，用户并不知道哪些文件块未存储在接收了点播请求的业务节点上，这些信息是对用户屏蔽的。对于分布式文件系统中的每一个文件块，至少存储于一个业务节点上。
对于业务节点上的虚拟文件块，为其设置属性列表，所述属性列表中至少包括虚拟标识信息、访问热度值信息以及所述文件块的至少一个访问地址信息，虚拟标识用于标识文件块为虚拟文件块，访问热度值用于量化在设定的时间段内用户点播所述文件块的次数，例如1小时内某文件块在其所在业务节点中的点播次数，设定时间段内的点播次数越多，所述文件块的访问热度值就越高。而虚拟文件块所对应实际文件块的存储地址则是在业务节点接收到用户的点播请求后，根据该虚拟文件块属性列表中记载的实际文件块的存储地址，到对应存储所述实际文件块的业务节点上读取该文件块，缓存到所点播虚拟文件块所在的业务节点上，再将所缓存的文件块数据发送给所请求用户，向用户播放该文件块的数据。这样，用户在向业务节点请求点播业务时，即使所请求的是虚拟文件块，仍能得到所需的业务数据，并且，相应的业务节点将会更新虚拟文件块属性列表中的访问热度值信息，即使其访问热度值加一。
图2为本发明分布式文件系统中业务节点的业务内容更新方法的流程图，如图2所示，本发明分布式文件系统中业务节点的业务内容更新方法包括以下步骤：
步骤201：接收到文件块的点播请求后，业务节点判断所点播的文件块是否为虚拟文件块，是时根据所述虚拟文件块的属性列表中的与所述虚拟文件块对应的所述文件块的至少一个访问地址信息读取所述文件块并响应所述点播请求，同时，更新所述业务节点中所述虚拟文件块的属性列表中的访问热度值。
业务节点接收到文件块的点播请求后，判断所点播的文件块是否为虚拟文件块，具体可通过查找所点播的文件块是否设置有属性列表来确定，若分布式文件系统中对于虚拟文件块设置属性列表而非虚拟文件块不设置属性列表时，设置属性列表的即为虚拟文件块。而如果虚拟文件块转换为实际文件块时，业务节点仅清空属性列表或仅将属性列表中的对应信息如虚拟标识信息删除时，通过判断虚拟文件块的属性列表中是否包括虚拟标识信息来确定是否为虚拟文件块，包括虚拟标识信息的，即为虚拟文件块。如果所点播文件块是虚拟文件块，则根据该虚拟文件块的属性列表中与所述虚拟文件块对应的所述文件块的至少一个访问地址信息读取所述文件块，将所读取的所述文件块的数据缓存于所述业务节点上，并用所读取的所述文件块的缓存数据响应用户的点播请求，向用户播放其所点播的文件块，所述业务节点将所述虚拟文件块的属性列表中的访问热度值的计数值加一。访问热度值是一个动态值，在每个设定计数周期到来时，该访问热度值会被自动清零并重新计数，在用户请求点播所述虚拟文件块后，所述业务节点将其访问热度值的计数值加一。
步骤202：判断更新后的访问热度值是否达到设定阈值，达到时根据所述文件块的至少一个访问地址信息将所述文件块下载到所述业务节点，并清除或清空所述虚拟文件块的属性列表，或删除所述虚拟文件块的属性列表中的虚拟标识信息。
在所述虚拟文件块的访问热度值更新后，所述业务节点判断该更新后的访问热度值是否达到了设定阈值，如果达到了设定阈值，说明所述虚拟文件块在所述业务节点上的点播频率还是比较高的，则根据所述虚拟文件块的属性列表中的至少一个访问地址信息，将所述虚拟文件块对应的实际文件块下载到所述业务节点上，以在用户再次点播时，直接将本地的文件块数据响应给所点播的用户，以提高用户所点播业务的响应速度，提升业务的服务质量，文件块下载完毕后，将所述业务节点上所述虚拟文件块的属性列表清空或直接删除，或者仅删除所述虚拟文件块的属性列表中的虚拟标识信息，以宣示所述文件块不再是虚拟文件块。所述业务节点设置所述虚拟文件块为非虚拟文件块的方式，与分布式文件系统中定义虚拟文件块、非虚拟文件块的方式有关，判断所述文件块是否为虚拟文件块，也与此有关。访问热度值的设定阈值是一个经验值，根据实际系统而设定。
本领域技术人员应当理解，图2所示的分布式文件系统中业务节点的业务内容更新方法除自身构成技术方案外，还可结合图1所示的分布式文件系统中业务节点的业务内容处理方法而构成技术方案，此时，在图1所示的步骤1 01、102之后包括图2所示的步骤201、202。
图3为本发明分布式文件系统中业务节点的业务内容处理装置的组成结构示意图，如图3所示，本发明分布式文件系统中业务节点的业务内容处理装置包括上载单元30、文件块生成单元31、发布单元32和设置单元33，其中，上载单元30用于向分布式文件系统上载业务内容；上载单元30可通过上载接口而实现，维护人员通过上载单元30可上载各种业务内容。文件块生成单元31用于将通过上载单元30上载的所述业务内容生成文件块；即将所上载的业务内容按业务需求或用户需求等分割为一个以上的文件块，当所上载的业务内容符合发布要求或上载之前已分割为文件块时，直接将所述业务内容作为文件块。发布单元32用于将所述文件块存储于至少一个所述业务节点中，未存储所述文件块的所述业务节点中存储有与所述文件块对应的虚拟文件块；发布单元32将文件块生成单元31所生成的文件块发布到分布式文件系统中各业务节点上，各业务节点上的文件块的目录都是相同的，其中，未存储实际文件块的业务节点上，该文件块被设置成虚拟文件块。业务节点上的发布的虚拟文件块与实际的文件块的名称、各种属性值如文件类型、大小及创建时间等均相同。设置单元33用于为所述虚拟文件块设置属性列表，所述属性列表包括虚拟标识信息、访问热度值信息以及所述文件块的至少一个访问地址信息。
本领域技术人员应当理解，本发明图3所示的分布式文件系统中业务节点的业务内容处理装置是为实现图1所示的分布式文件系统中业务节点的业务内容处理方法而设计的，图3所示装置中的各处理单元的实现功能可参照图1所示的方法中的相关描述而理解，各单元的功能可通过运行于处理器上的程序而实现，也可通过相应的逻辑电路而实现。
图4为本发明分布式文件系统中业务节点的业务内容更新装置的组成结构示意图，如图4所示，本发明分布式文件系统中业务节点的业务内容更新装置包括接收单元40、第一判断单元41、读取及响应单元42、更新单元43、第二判断单元44和下载及清除单元45，其中，接收单元40用于接收文件块的点播请求；所述点播请求来自于各种用户。第一判断单元41用于判断所述点播请求所点播的文件块是否为虚拟文件块，是时触发读取及响应单元42；具体的，可以根据所请求文件块是否包括属性列表来判断，或者依据所述文件块的属性列表是否包括虚拟标识信息来判断，是时即为虚拟文件块。读取及响应单元42用于根据所述虚拟文件块的属性列表中的与所述虚拟文件块对应的所述文件块的至少一个访问地址信息读取所述文件块并响应所述点播请求，同时触发更新单元43。更新单元43用于更新所述虚拟文件块的属性列表中的访问热度值，并触发第二判断单元44，这里更新所述虚拟文件块的属性列表中的访问热度值即将访问热度值的计数加一。第二判断单元44用于判断更新后的所述虚拟文件块的属性列表中的访问热度值是否达到设定阈值，达到时触发下载及清除单元45；访问热度值的阈值为经验值，不同的系统经验值不同。下载及清除单元45用于根据所述文件块的至少一个访问地址信息将所述文件块下载到所述虚拟文件块所在的所述业务节点，并清除或清空所述虚拟文件块的属性列表，或删除所述虚拟文件块的属性列表中的虚拟标识信息。
本领域技术人员应当理解，本发明图4所示的分布式文件系统中业务节点的业务内容更新装置是为实现图2所示的分布式文件系统中业务节点的业务内容更新方法而设计的，图4所示装置中的各处理单元的实现功能可参照图2所示的方法中的相关描述而理解，各单元的功能可通过运行于处理器上的程序而实现，也可通过相应的逻辑电路而实现。
图4所示的分布式文件系统中业务节点的业务内容更新装置中还可包括图3所示的分布式文件系统中业务节点的业务内容处理装置。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1、一种分布式文件系统中业务节点的业务内容处理方法，其特征在于，包括：
接收到上载的业务内容后，分布式文件系统根据所述业务内容生成文件决，所述文件块存储于至少一个所述业务节点中，未存储所述文件块的所述业务节点中存储有与所述文件块对应的虚拟文件块，并设置所述虚拟文件块的属性列表，所述属性列表包括虚拟标识信息、访问热度值信息以及所述文件块的至少一个访问地址信息。
2、根据权利要求1所述的方法，其特征在于，所述虚拟文件块与所述文件块的名称、属性值相同。
3、根据权利要求1所述的方法，其特征在于，所述分布式文件系统根据所述业务内容生成文件块，具体为：
所述分布式文件系统将所述业务内容直接作为文件块，或将所述业务内容分割成两个以上的业务内容块而作为文件块。
4、一种分布式文件系统中业务节点的业务内容更新方法，其特征在于，包括：
接收到文件块的点播请求后，业务节点判断所点播的文件块是否为虚拟文件块，是时根据所述虚拟文件块的属性列表中的与所述虚拟文件块对应的所述文件块的至少一个访问地址信息读取所述文件块并响应所述点播请求，同时，更新所述业务节点中所述虚拟文件块的属性列表中的访问热度值，并判断更新后的访问热度值是否达到设定阈值，达到时根据所述文件块的至少一个访问地址信息将所述文件块下载到所述业务节点，并清除或清空所述虚拟文件块的属性列表，或删除所述虚拟文件块的属性列表中的虚拟标识信息。
5、根据权利要求4所述的方法，其特征在于，所述业务节点判断所点播的文件块是否为虚拟文件块，具体为：
根据所点播的文件块的标识查找所点播的文件块是否包括属性列表或判断所查找到的属性列表是否为非空，或判断所查找到的属性列表中是否包括虚拟标识信息，是时所点播的文件块为虚拟文件块。
6、根据权利要求4所述的方法，其特征在于，所述更新所述业务节点中所述虚拟文件块的属性列表中的访问热度值，具体为：使所述业务节点中所述虚拟文件块的属性列表中的访问热度值加一。
7、一种分布式文件系统中业务节点的业务内容处理装置，其特征在于，包括：
上载单元，用于向分布式文件系统上载业务内容；
文件块生成单元，用于将通过所述上载单元上载的所述业务内容生成文件块；
发布单元，用于将所述文件块存储于至少一个所述业务节点中，未存储所述文件块的所述业务节点中存储有与所述文件块对应的虚拟文件块；以及
设置单元，用于为所述虚拟文件块设置属性列表，所述属性列表包括虚拟标识信息、访问热度值信息以及所述文件块的至少一个访问地址信息。
8、根据权利要求7所述的装置，其特征在于，所述虚拟文件块与所述文件块的名称、属性值相同。
9、一种分布式文件系统中业务节点的业务内容更新装置，其特征在于，包括：
接收单元，用于接收文件块的点播请求；
第一判断单元，用于判断所述点播请求所点播的文件块是否为虚拟文件块，是时触发读取及响应单元；
读取及响应单元，用于根据所述虚拟文件块的属性列表中的与所述虚拟文件块对应的所述文件块的至少一个访问地址信息读取所述文件块并响应所述点播请求，同时触发更新单元；
更新单元，用于更新所述虚拟文件块的属性列表中的访问热度值，并触发第二判断单元；
第二判断单元，用于判断更新后的所述虚拟文件块的属性列表中的访问热度值是否达到设定阈值，达到时触发下载及清除单元；以及
下载及清除单元，用于根据所述文件块的至少一个访问地址信息将所述文件块下载到所述虚拟文件块所在的所述业务节点，并清除或清空所述虚拟文件块的属性列表，或删除所述虚拟文件块的属性列表中的虚拟标识信息。
10、根据权利要求9所述的装置，其特征在于，所述更新单元更新所述虚拟文件块的属性列表中的访问热度值，具体为：使所述业务节点中所述虚拟文件块的属性列表中的访问热度值加一。
CN200910081758A 2009-04-09 2009-04-09 分布式文件系统中业务内容处理、更新方法与装置 Pending CN101527736A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN200910081758A CN101527736A (zh) 2009-04-09 2009-04-09 分布式文件系统中业务内容处理、更新方法与装置
EP09842886.5A EP2418809A4 (en) 2009-04-09 2009-08-18 METHOD AND DEVICE FOR PROCESSING AND UPDATING SERVICE CONTENT IN A DISTRIBUTED FILE SYSTEM
PCT/CN2009/073330 WO2010115325A1 (zh) 2009-04-09 2009-08-18 分布式文件系统中业务内容处理、更新方法与装置
US13/257,209 US20120016916A1 (en) 2009-04-09 2009-08-18 Method and Apparatus for Processing and Updating Service Contents in a Distributed File System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910081758A CN101527736A (zh) 2009-04-09 2009-04-09 分布式文件系统中业务内容处理、更新方法与装置

Publications (1)

Publication Number Publication Date
CN101527736A true CN101527736A (zh) 2009-09-09

Family

ID=41095429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910081758A Pending CN101527736A (zh) 2009-04-09 2009-04-09 分布式文件系统中业务内容处理、更新方法与装置

Country Status (4)

Country Link
US (1) US20120016916A1 (zh)
EP (1) EP2418809A4 (zh)
CN (1) CN101527736A (zh)
WO (1) WO2010115325A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883012A (zh) * 2010-07-09 2010-11-10 四川长虹电器股份有限公司 一种对网络边缘节点中存储资源的处理方法
WO2013063965A1 (zh) * 2011-10-31 2013-05-10 华为技术有限公司 存储系统服务质量控制方法、装置和系统
CN104023050A (zh) * 2014-05-16 2014-09-03 中国科学院计算技术研究所 一种设备云环境下设备协同多屏互动系统及其方法
CN104780228A (zh) * 2015-05-09 2015-07-15 北京银信长远科技股份有限公司 提升网络内容服务器效率的方法
CN106257461A (zh) * 2016-08-29 2016-12-28 董晓明 数据存储方法及装置
CN106385588A (zh) * 2016-09-23 2017-02-08 北京赢点科技有限公司 一种基于点播热度的资源调度方法及装置
CN108388613A (zh) * 2018-02-08 2018-08-10 竞技世界（北京）网络技术有限公司 一种缓存数据的更新方法
CN109325010A (zh) * 2018-09-26 2019-02-12 中国平安人寿保险股份有限公司 日志查看方法、装置、计算机设备和存储介质
CN110351290A (zh) * 2019-07-17 2019-10-18 中国联合网络通信集团有限公司 数据缓存方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI507891B (zh) * 2012-03-23 2015-11-11 Egis Technology Inc 具雲端儲存空間管理功能之電子裝置、雲端儲存系統、其方法及其電腦程式產品
JP5962269B2 (ja) * 2012-07-09 2016-08-03 富士通株式会社 評価装置，分散格納システム，評価方法及び評価プログラム
JP2014146246A (ja) * 2013-01-30 2014-08-14 Fujitsu Ltd アクセス数管理プログラム、アクセス数管理装置及びアクセス数管理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7062490B2 (en) * 2001-03-26 2006-06-13 Microsoft Corporation Serverless distributed file system
WO2004046971A1 (en) * 2002-11-14 2004-06-03 Isilon Systems, Inc. Systems and methods for restriping files in a distributed file system
CN1972311A (zh) * 2006-12-08 2007-05-30 华中科技大学 一种基于集群均衡负载的流媒体服务器系统
US20080263056A1 (en) * 2007-04-19 2008-10-23 Youbiquity, Llc Electronic content asset publication system
US8738621B2 (en) * 2009-01-27 2014-05-27 EchoStar Technologies, L.L.C. Systems and methods for managing files on a storage device

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883012B (zh) * 2010-07-09 2012-04-18 四川长虹电器股份有限公司 一种对网络边缘节点中存储资源的处理方法
CN101883012A (zh) * 2010-07-09 2010-11-10 四川长虹电器股份有限公司 一种对网络边缘节点中存储资源的处理方法
US9594518B2 (en) 2011-10-31 2017-03-14 Huawei Technologies Co., Ltd. Method, apparatus and system for controlling quality of service of storage system
WO2013063965A1 (zh) * 2011-10-31 2013-05-10 华为技术有限公司 存储系统服务质量控制方法、装置和系统
CN104023050A (zh) * 2014-05-16 2014-09-03 中国科学院计算技术研究所 一种设备云环境下设备协同多屏互动系统及其方法
CN104023050B (zh) * 2014-05-16 2017-06-27 中国科学院计算技术研究所 一种设备云环境下设备协同多屏互动系统及其方法
CN104780228A (zh) * 2015-05-09 2015-07-15 北京银信长远科技股份有限公司 提升网络内容服务器效率的方法
CN106257461A (zh) * 2016-08-29 2016-12-28 董晓明 数据存储方法及装置
CN106257461B (zh) * 2016-08-29 2023-09-08 董晓明 数据存储方法及装置
CN106385588A (zh) * 2016-09-23 2017-02-08 北京赢点科技有限公司 一种基于点播热度的资源调度方法及装置
CN108388613A (zh) * 2018-02-08 2018-08-10 竞技世界（北京）网络技术有限公司 一种缓存数据的更新方法
CN108388613B (zh) * 2018-02-08 2020-09-11 竞技世界（北京）网络技术有限公司 一种缓存数据的更新方法
CN109325010A (zh) * 2018-09-26 2019-02-12 中国平安人寿保险股份有限公司 日志查看方法、装置、计算机设备和存储介质
CN109325010B (zh) * 2018-09-26 2023-08-04 中国平安人寿保险股份有限公司 日志查看方法、装置、计算机设备和存储介质
CN110351290A (zh) * 2019-07-17 2019-10-18 中国联合网络通信集团有限公司 数据缓存方法及系统
CN110351290B (zh) * 2019-07-17 2021-08-06 中国联合网络通信集团有限公司 数据缓存方法及系统

Also Published As

Publication number Publication date
EP2418809A1 (en) 2012-02-15
EP2418809A4 (en) 2014-04-23
WO2010115325A1 (zh) 2010-10-14
US20120016916A1 (en) 2012-01-19

Similar Documents

Publication Publication Date Title
CN101527736A (zh) 分布式文件系统中业务内容处理、更新方法与装置
KR101825770B1 (ko) 공유된 캐시 저장 시스템에서 파일의 업로드를 관리하기 위한 시스템 및 방법
US8463802B2 (en) Card-based management of discardable files
CN108965910B (zh) 一种视频缓存方法及播放器
CN101170675B (zh) 网络电视系统中管理j2me应用程序的方法和系统
CN111054067B (zh) 游戏存档文件存储方法、电子设备和存储介质
CN111200657B (zh) 一种管理资源状态信息的方法和资源下载系统
CN101141627A (zh) 一种流媒体文件的存储系统及方法
US20120173594A1 (en) System and Method for Managing Discardable Objects
CN101635734A (zh) 非易失性存储介质上的下载数据存储管理方法及装置
CN107197359B (zh) 视频文件缓存方法及装置
CN102307234A (zh) 基于移动终端的资源检索方法
CN102970358A (zh) 网盘中移动客户端的本地缓存的控制方法和装置
CN105141672A (zh) 一种数据存储方法、装置及系统
CN103036948B (zh) 网络文件处理方法、执行节点、软件即服务SaaS平台
CN102789477A (zh) 文件管理装置以及文件管理方法
CN112734982A (zh) 无人车驾驶行为数据的存储方法和系统
EP2406733A1 (en) Download management of discardable files
CN102523301A (zh) 一种云存储中在客户端缓存数据的方法
CN113590027B (zh) 数据存储方法、数据获取方法、系统、设备和介质
CN101110844B (zh) 一种节目片段预取方法及一种对等网络节点
CN102413367A (zh) 一种动态更新节目录制单的方法及装置
CN101819589B (zh) 一种控制文件输入输出缓存的方法及装置
WO2012096951A2 (en) System and method for managing discardable objects
CN101917474B (zh) 文件的下载方法、系统及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090909