CN110784534A - 数据服务方法、装置、系统及电子设备 - Google Patents

数据服务方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN110784534A
CN110784534A CN201911023602.8A CN201911023602A CN110784534A CN 110784534 A CN110784534 A CN 110784534A CN 201911023602 A CN201911023602 A CN 201911023602A CN 110784534 A CN110784534 A CN 110784534A
Authority
CN
China
Prior art keywords
data
cache device
target data
cached
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911023602.8A
Other languages
English (en)
Other versions
CN110784534B (zh
Inventor
田江明
庹虎
程建刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911023602.8A priority Critical patent/CN110784534B/zh
Publication of CN110784534A publication Critical patent/CN110784534A/zh
Application granted granted Critical
Publication of CN110784534B publication Critical patent/CN110784534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例提供了数据服务方法、装置、系统及电子设备，该数据服务系统包括：无缓存设备及大缓存设备，无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备；大缓存设备中缓存有目标数据，无缓存设备及大缓存设备属于同一局域网；大缓存设备用于响应于目标数据的数据请求，向无缓存设备发送目标数据；无缓存设备用于接收大缓存设备发送的目标数据，并上传目标数据。无缓存设备获取大缓存设备中的目标数据进行上传，能够充分利用无缓存设备的上行带宽，从而增加网络中总体的上行带宽，从而提高了网络的数据传输效率。

Description

数据服务方法、装置、系统及电子设备
技术领域
本申请涉及计算机技术领域，特别是涉及数据服务方法、装置、系统及电子设备。
背景技术
随着互联网技术的发展，互联网中的数据量呈现井喷式的增长。为了应对日益增加的网络数据，提高用户的数据下载速度，P2P(Peer-to-Peer，点对点)网络应运而生，P2P网络中各计算机即可以作为数据的消费者又可以作为数据的提供者，从而增加数据下载速度。
基于P2P网络的在线视频、在线音乐等在线业务中，当前用户在观看或收听某节目时，会将该节目的数据缓存在当前用户设备的内存或磁盘中，当其他用户需要下载相同的数据时，当前用户设备基于P2P功能上传这些缓存的数据，以帮助其他用户的快速下载。
然而发明人在研究中发现，一些用户设备由于内存及磁盘容量较小等原因，导致缓存的数据很少，因此这些用户设备中缓存数据的命中率很低，从而导致这些用户设备的上行带宽资源闲置，影响网络整体的数据传输效率。
发明内容
本申请实施例的目的在于提供一种数据服务方法、装置、系统及电子设备，以实现提高网络的数据传输效率。具体技术方案如下：
第一方面，本申请实施例提供了一种数据服务系统，所述数据服务系统包括：无缓存设备及大缓存设备，所述无缓存设备为内存容量小于第一内存容量阈值、且磁盘可用容量小于第一磁盘容量阈值的设备，所述大缓存设备为内存容量大于第二内存容量阈值或磁盘可用容量大于第二磁盘容量阈值的设备；所述大缓存设备中缓存有目标数据，所述无缓存设备与所述大缓存设备属于同一局域网；
所述大缓存设备，用于响应于所述目标数据的数据请求，向所述无缓存设备发送所述目标数据；
所述无缓存设备，用于接收所述大缓存设备发送的所述目标数据，并上传所述目标数据给所述目标数据的请求端，其中，所述请求端不在所述局域网中。
可选的，所述无缓存设备中存储有已缓存数据表，所述已缓存数据表中包括数据标识；所述大缓存设备中存储有所述已缓存数据表中各数据标识表征的数据；
所述无缓存设备，还用于在接收到所述请求端针对所述已缓存数据表中记录的目标数据的上传请求时，响应于所述上传请求向所述大缓存设备发送针对目标数据的数据请求；
所述大缓存设备，具体用于在获取到所述数据请求信息后，响应于所述数据请求信息向所述无缓存设备发送所述目标数据。
可选的，所述无缓存设备的数量为至少一个；
所述大缓存设备存储有多个数据分组，各所述数据分组包括已缓存数据，各所述数据分组分别对应相应的无缓存设备。
可选的，每个所述数据分组仅对应一个无缓存设备，同一所述大缓存设备中各所述数据分组对应的无缓存设备各不同。
可选的，所述目标请求为所述局域网外其他设备发送的针对所述目标数据的上传请求；
所述大缓存设备，具体于在接收到所述请求端针对所述大缓存设备中已缓存的目标数据的数据请求时，响应于所述数据请求确定所述目标数据所属的数据分组对应的无缓存设备，并向该对应的无缓存设备发送所述目标数据。
可选的，所述大缓存设备中设置有至少一个磁盘，各所述数据分组分布在所述至少一个磁盘上。
可选的，不同的数据分组对应不同的哈希值范围，所述大缓存设备，还用于在接收到待缓存数据时，计算所述待缓存数据的哈希值，将所述待缓存数据的哈希值所在的哈希值范围，作为目标哈希值范围；将所述待缓存数据缓存到所述目标哈希值范围对应的数据分组中。
可选的，各所述目标数据对应唯一的索引，所述大缓存设备，还用于在所述大缓存设备剩余的容量小于预设剩余容量阈值的情况下，当接收到待缓存数据时，在已缓存数据中选取待删除数据，先删除所述待删除数据的索引，后添加所述待缓存数据的索引。
可选的，所述大缓存设备包括进程间通信-服务器进程，所述无缓存设备包括进程间通信-客户端进程，所述大缓存设备的进程间通信-服务器进程与所述无缓存设备的进程间通信-客户端进程建立传输控制协议TCP连接；
所述大缓存设备，具体用于响应于所述目标数据的数据请求，利用所述进程间通信-服务器进程向所述无缓存设备发送所述目标数据；
所述无缓存设备，具体用于利用所述进程间通信-客户端进程接收所述大缓存设备发送的所述目标数据，并上传所述目标数据给所述目标数据的请求端。
第二方面，本申请实施例提供了一种数据服务方法，应用于数据服务系统中的大缓存设备，所述数据服务系统还包括无缓存设备，所述无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，所述大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，所述大缓存设备中缓存有目标数据，所述无缓存设备及所述大缓存设备属于同一局域网，所述方法包括：
接收针对所述目标数据的数据请求；
响应于所述目标数据的数据请求，向所述无缓存设备发送所述目标数据，以使所述无缓存设备接收并上传所述目标数据。
可选的，所述无缓存设备中存储有已缓存数据表，所述已缓存数据表中包括数据标识；所述大缓存设备中存储有所述已缓存数据表中各数据标识表征的数据；
所述接收针对所述目标数据的数据请求，包括：
接收到所述无缓存设备针对所述目标数据发送的数据请求。
可选的，所述大缓存设备存储有多个数据分组，各所述数据分组包括已缓存数据，各所述数据分组分别对应相应的无缓存设备。
可选的，每个所述数据分组仅对应一个无缓存设备，同一所述大缓存设备中各所述数据分组对应的无缓存设备均不同。
可选的，所述接收针对所述目标数据的数据请求，包括：
接收所述局域网外其他设备发送的针对所述目标数据的数据请求；
所述响应于所述目标数据的数据请求，向所述无缓存设备发送所述目标数据，包括：
响应于所述数据请求，获取所述目标数据所属的数据分组对应的无缓存设备；
向所述目标数据所属的数据分组对应的无缓存设备发送所述目标数据。
可选的，不同的数据分组对应不同的哈希值范围，所述方法还包括：
在接收到待缓存数据时，计算所述待缓存数据的哈希值；
将所述待缓存数据的哈希值所在的哈希值范围，作为目标哈希值范围；
将所述待缓存数据缓存到所述目标哈希值范围对应的数据分组中。
可选的，各所述目标数据对应唯一的索引，所述方法还包括：
在所述大缓存设备剩余的容量小于预设剩余容量阈值的情况下，当接收到待缓存数据时，在已缓存数据中选取待删除数据，先删除所述待删除数据的索引，后添加所述待缓存数据的索引。
第三方面，本申请实施例提供了一种数据服务方法，应用于数据服务系统中的无缓存设备，所述数据服务系统还包括大缓存设备，所述无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，所述大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，所述大缓存设备中缓存有目标数据，所述无缓存设备及所述大缓存设备属于同一局域网，所述方法包括：
接收所述大缓存设备发送的所述目标数据，并上传所述目标数据给所述目标数据的请求端，其中，所述请求端不在所述局域网中。
可选的，所述无缓存设备中存储有已缓存数据表，所述已缓存数据表中包括数据标识；所述大缓存设备中存储有所述已缓存数据表中各数据标识表征的数据；
在所述接收所述大缓存设备发送的所述目标数据，并上传所述目标数据之前，所述方法还包括：
在接收所述局域网外其他设备发送的针对所述目标数据的上传请求时，向所述大缓存设备发送针对目标数据的数据请求，以使所述大缓存设备按照所述数据请求信息返回所述目标数据。
第四方面，本申请实施例提供了一种数据服务装置，应用于数据服务系统中的大缓存设备，所述数据服务系统还包括无缓存设备，所述无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，所述大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，所述大缓存设备中缓存有目标数据，所述无缓存设备及所述大缓存设备属于同一局域网，所述装置包括：
数据请求接收模块，用于接收针对所述目标数据的数据请求；
目标数据发送模块，用于响应于所述目标数据的数据请求，向所述无缓存设备发送所述目标数据，以使所述无缓存设备接收并上传所述目标数据。
可选的，所述无缓存设备中存储有已缓存数据表，所述已缓存数据表中包括数据标识；所述大缓存设备中存储有所述已缓存数据表中各数据标识表征的数据；
所述数据请求接收模块，具体用于：接收到所述无缓存设备针对所述目标数据发送的数据请求。
可选的，所述大缓存设备存储有多个数据分组，各所述数据分组包括已缓存数据，各所述数据分组分别对应相应的无缓存设备。
可选的，每个所述数据分组仅对应一个无缓存设备，同一所述大缓存设备中各所述数据分组对应的无缓存设备均不同。
可选的，所述数据请求接收模块，具体用于：接收所述局域网外其他设备发送的针对所述目标数据的数据请求；
所述目标数据发送模块，具体用于：响应于所述数据请求，获取所述目标数据所属的数据分组对应的无缓存设备；向所述目标数据所属的数据分组对应的无缓存设备发送所述目标数据。
可选的，不同的数据分组对应不同的哈希值范围，所述装置还包括：
数据存储模块，用于在接收到待缓存数据时，计算所述待缓存数据的哈希值；将所述待缓存数据的哈希值所在的哈希值范围，作为目标哈希值范围；将所述待缓存数据缓存到所述目标哈希值范围对应的数据分组中。
可选的，各所述目标数据对应唯一的索引，所述装置还包括：
数据更新模块，用于在所述大缓存设备剩余的容量小于预设剩余容量阈值的情况下，当接收到待缓存数据时，在已缓存数据中选取待删除数据，先删除所述待删除数据的索引，后添加所述待缓存数据的索引。
第五方面，本申请实施例提供了一种数据服务装置，应用于数据服务系统中的无缓存设备，所述数据服务系统还包括大缓存设备，所述无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，所述大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，所述大缓存设备中缓存有目标数据，所述无缓存设备及所述大缓存设备属于同一局域网，所述装置包括：
目标数据接收模块，用于接收所述大缓存设备发送的所述目标数据，并上传所述目标数据给所述目标数据的请求端，其中，所述请求端不在所述局域网中。
可选的，所述无缓存设备中存储有已缓存数据表，所述已缓存数据表中包括数据标识；所述大缓存设备中存储有所述已缓存数据表中各数据标识表征的数据；
所述装置还包括：数据请求发送模块，用于在接收所述局域网外其他设备发送的针对所述目标数据的上传请求时，向所述大缓存设备发送针对目标数据的数据请求，以使所述大缓存设备按照所述数据请求信息返回所述目标数据。
第六方面，本申请实施例提供了一种电子设备，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第二方面任一所述的数据服务方法。
第七方面，本申请实施例提供了一种电子设备，，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第三方面任一所述的数据服务方法。
第八方面，在申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第二方面任一所述的数据服务方法。
第九方面，在申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第三方面任一所述的数据服务方法。
第十方面，在申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面任一所述的数据服务方法。
第十一方面，在申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第三方面任一所述的数据服务方法。
本申请实施例提供了数据服务方法、装置、系统及电子设备，数据服务系统包括：无缓存设备及大缓存设备，上述无缓存设备为内存容量小于第一内存容量阈值、且磁盘可用容量小于第一磁盘容量阈值的设备，上述大缓存设备为内存容量大于第二内存容量阈值或磁盘可用容量大于第二磁盘容量阈值的设备；上述大缓存设备中缓存有目标数据，上述无缓存设备与上述大缓存设备属于同一局域网；上述大缓存设备，用于响应于上述目标数据的数据请求，向上述无缓存设备发送上述目标数据；上述无缓存设备，用于接收上述大缓存设备发送的上述目标数据，并上传上述目标数据给上述目标数据的请求端，其中，上述请求端不在上述局域网中。无缓存设备获取大缓存设备中的目标数据进行上传，充分利用了无缓存设备的上传带宽，充分利用了大缓存设备的存储资源，从而提高各设备的资源的利用率，能够增加网络中总体的上行带宽，从而提高了网络的数据传输效率。当然，实施本申请的任一产品或方法并不一定需要同时达到以上上述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的数据服务系统的第一种示意图；
图2为本申请实施例的数据服务系统的第二种示意图；
图3为本申请实施例的应用于大缓存设备的数据服务方法的第一种示意图；
图4为本申请实施例的应用于大缓存设备的数据服务方法的第二种示意图；
图5为本申请实施例的应用于大缓存设备的数据服务方法的第三种示意图
图6a为本申请实施例的应用于无缓存设备的数据服务方法的第一种示意图；
图6b为本申请实施例的应用于无缓存设备的数据服务方法的第二种示意图；
图7a为本申请实施例的应用于大缓存设备的数据服务装置的第一种示意图；
图7b为本申请实施例的应用于大缓存设备的数据服务装置的第二种示意图；
图7c为本申请实施例的应用于大缓存设备的数据服务装置的第三种示意图；
图8a为本申请实施例的应用于无缓存设备的数据服务装置的第一种示意图；
图8b为本申请实施例的应用于无缓存设备的数据服务装置的第二种示意图；
图9为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高网络整体的数据传输效率，本申请实施例提供了一种数据服务系统，该数据服务系统包括：无缓存设备及大缓存设备，无缓存设备为内存容量小于第一内存容量阈值、且磁盘可用容量小于第一磁盘容量阈值的设备，大缓存设备为内存容量大于第二内存容量阈值或磁盘可用容量大于第二磁盘容量阈值的设备；大缓存设备中缓存有目标数据，无缓存设备与大缓存设备属于同一局域网；
大缓存设备，用于响应于目标数据的数据请求，向无缓存设备发送目标数据；
无缓存设备，用于接收大缓存设备发送的目标数据，并上传目标数据给目标数据的请求端，其中，请求端不在局域网中。
在本申请实施例中，无缓存设备获取大缓存设备中的目标数据进行上传，能够充分利用无缓存设备的上行带宽，从而增加网络中总体的上行带宽，从而提高了网络的数据传输效率。结合缓存不足的无缓存设备及缓存过剩的大缓存设备，充分利用各设备的资源，充分利用了无缓存设备的上传带宽，充分利用了大缓存设备的存储资源，从而提高各设备的资源的利用率，能够降低接入门槛、增加上述服务规模，将更多的设备纳入共享带宽业务中，扩大规模，增加上传服务带宽。
下面针对上述技术方案进行具体说明。
参见图1，其为本申请实施例的数据服务系统的一种示意图，该数据服务系统包括：
无缓存设备及大缓存设备，其中，无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备；大缓存设备中缓存有目标数据，无缓存设备及大缓存设备属于同一局域网；
大缓存设备，用于响应于目标数据的数据请求，向无缓存设备发送目标数据；
无缓存设备，用于接收大缓存设备发送的目标数据，并上传目标数据给目标数据的请求端，其中，上述请求端不在局域网中。
在设备的内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值时，表示该设备中可用于缓存数据的空间较小；在设备的内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值时，表示设备中可用于缓存数据的空间较大。第一内存容量阈值、第一磁盘容量阈值、第二内存容量阈值及第二磁盘容量阈值均可以根据实际应用场景进行设定，但是第二内存容量阈值应大于第一内存容量阈值及第一磁盘容量阈值，第二磁盘容量阈值应大于第一内存容量阈值及第一磁盘容量阈值。
例如，第一内存容量阈值可以设置为4GB(Giga Byte，吉字节)、8GB或16GB等，第一磁盘容量阈值可以设置为8GB、10GB或20GB等，第二内存容量阈值可以设置为16GB、32GB或64GB等，第二内存容量阈值可以设置为100GB、200GB或500GB等。
大缓存设备中缓存有大量的数据，大缓存设备可以通过CDN(Content DeliveryNetwork，内容分发网络)或P2P网络获取预分发的数据并存储在该大缓存设备存储中，无缓存设备中不缓存数据或缓存的数据的数据量很小，在进行数据上传时，无缓存设备从大缓存设备中获取目标数据进行上传，从而充分利用无缓存设备的上行带宽。
大缓存设备及无缓存设备均为网络中的节点，例如，可以为用户的智能手机、平板电脑、笔记本电脑或台式电脑等设备，可以作为数据的需求方，也可以作为数据的上传方。大缓存设备与无缓存设备间可以通过局域网进行通信。
在本申请实施例中，无缓存设备获取大缓存设备中的目标数据进行上传，能够充分利用无缓存设备的上行带宽，从而增加P2P网络中总体的上行带宽，从而提高了网络的数据传输效率。结合缓存不足的无缓存设备及缓存过剩的大缓存设备，充分利用了无缓存设备的上传带宽，充分利用了大缓存设备的存储资源，从而提高各设备的资源的利用率，以产生若干可以上传数据的设备，可以降低接入门槛、增加上述服务规模，将更多的设备纳入共享带宽业务中，扩大规模，增加上传服务带宽。
在一种可能的实施方式中，大缓存设备包括进程间通信-服务器进程，无缓存设备包括进程间通信-客户端进程，大缓存设备的进程间通信-服务器进程与无缓存设备的进程间通信-客户端进程建立TCP(Transmission Control Protocol，传输控制协议)连接。
大缓存设备，具体用于响应于目标数据的数据请求，利用进程间通信-服务器进程向无缓存设备发送目标数据。
无缓存设备，具体用于利用进程间通信-客户端进程接收大缓存设备发送的目标数据，并上传目标数据给目标数据的请求端。
无缓存设备中运行有IPC(Inter-Process Communication，进程间通信)-C(Client，客户端)进程，大缓存设备中运行有IPC-S(Server，服务器)进程，无缓存设备利用IPC-C进程与大缓存设备中的IPC-S进程建立TCP长连接，从而实现无缓存设备与大缓存设备的长连接通信，增加通信的稳定性。
在本申请实施例中，利用进程间通信-服务器进程与进程间通信-客户端进程建立大缓存设备与无缓存设备的TCP连接，方便大缓存设备与无缓存设备之间进行实时通信。
在一种可能的实施方式中，无缓存设备的数量为至少一个；大缓存设备存储有多个数据分组，各数据分组包含已缓存数据，各数据分组分别对应相应的无缓存设备。
数据服务系统中可以包括至少一个大缓存设备及多个无缓存设备，一个大缓存设备可以对应多个无缓存设备，大缓存设备与无缓存设备的对应关系可以按照实际情况进行设定，可选的，按照各设备所在的网络环境，将同一局域网中的各设备划分为一个数据服务系统，在数据上传的过程中，大缓存设备仅向自身所属的数据服务系统中的无缓存设备发送目标数据，无缓存设备也仅从自身所属的数据服务系统的大缓存设备中获取目标数据。
为了方便数据的管理，在大缓存设备中可以将已缓存数据划分为多个数据分组，每个数据分组包含部分已缓存数据。在大缓存设备仅包括一个磁盘时，各数据分组可以全部存储在该磁盘上。
在一种可能的实施方式中，大缓存设备包括多个磁盘，各数据分组均匀分布在各磁盘上。
例如，一个大缓存设备包括两个磁盘及四个数据分组，则每个磁盘上可以分配两个数据分组。各数据分组均匀分布在各磁盘上，可以利用多个线程对多个磁盘中的数据分组中的数据执行并行读写操作，充分利用各磁盘的IO吞吐量，从而提高数据的传输效率。
数据分组与无缓存设备的对应关系可以按照实际需求进行设定，在一种可能的实施方式中，每个数据分组仅对应一个无缓存设备，同一大缓存设备中各数据分组对应的无缓存设备均不同。其中，针对任一数据分组，该数据分组仅对自身对应的无缓存设备提供上传数据，而不为其他无缓存设备提供上传数据。数据分组与无缓存设备一一对应，能够方便数据的管理。
目标数据上传给目标数据的请求端，可以为大缓存设备发起的，当大缓存设备接收到局域网外的请求端针对目标数据的请求时，发起上传目标数据。在一种可能的实施方式中，目标请求为局域网外其他设备发送的针对目标数据的上传请求；大缓存设备，具体于在接收到请求端针对大缓存设备中已缓存的目标数据的数据请求时，响应于数据请求确定目标数据所属的数据分组对应的无缓存设备，并向该对应的无缓存设备发送目标数据。
大缓存设备在接收到请求端针对目标数据的上传请求时，大缓存设备查询自身的各数据分组，若大缓存设备自身的数据分组中包括目标数据，选取包含目标数据的数据分组对应的无缓存设备，向该无缓存设备发送目标数据，以使该无缓存设备向请求端上述目标数据；若大缓存设备自身的数据分组中不包括目标数据，则丢弃该上传请求。
在本申请实施例中，大缓存设备发起数据上传，方便利用大缓存设备对数据上传进行整体的管理。
目标数据上传给目标数据的请求端，还可以为无缓存设备发起的，当无缓存设备接收到局域网外的请求端针对目标数据的请求时，发起上传目标数据。在一种可能的实施方式中，无缓存设备中存储有已缓存数据表，已缓存数据表中包括数据标识；大缓存设备中存储有已缓存数据表中各数据标识表征的数据。
无缓存设备，还用于在接收到请求端针对已缓存数据表中记录的目标数据的上传请求时，响应于上传请求向大缓存设备发送针对目标数据的数据请求。
大缓存设备，具体用于在获取到数据请求信息后，响应于数据请求信息向无缓存设备发送目标数据。
针对任一无缓存设备，该无缓存设备的已缓存数据表中可以包括该无缓存设备负责上传的各数据文件的数据标识，从而方便无缓存设备上传数据。无缓存设备在接收到请求端针对目标数据的上传请求时，无缓存设备查询自身的已缓存数据表，若无缓存设备自身的已缓存数据表中包括目标数据的标识，则该无缓存设备向大缓存设备发送针对目标数据的数据请求；若无缓存设备自身的已缓存数据表中不包括目标数据的标识，则丢弃该上传请求。
例如，无缓存设备A获取到网络中设备S针对目标数据1的上传请求，无缓存设备A查询自身的已缓存数据表，发现包括目标数据1的数据标识，无缓存设备A向自身对应的大缓存设备发送针对目标数据1的数据请求信息，大缓存设备在获取到该数据请求信息后，按照该数据请求信息的源地址返回目标数据1，无缓存设备A接收并上传目标数据1，以使设备S下载目标数据1。
在本申请实施例中，由无缓存设备发起数据上传，相比于由大缓存设备负责发起数据上传，各无缓存设备分担了大缓存设备发起数据上传的工作，能过减少大缓存设备的处理压力。
大缓存设备还用于在获取到待缓存数据时，将待缓存数据缓存到相应的数据分组中。待缓存数据一般为大缓存设备自身产生的消费数据，例如为大缓存设备中在线视频软件或音频软件产生的缓存数据，此种情况下大缓存设备可以按照轮询的方式或平均分配的方式确定待缓存数据对应的数据分组；在一些情况下，例如在大缓存设备与无缓存设备处于同一局域网时，待缓存数据也可以为无缓存设备产生的消费数据，此种情况下待缓存数据对应的数据分组为该无缓存设备对应的数据分组。
在一种可能的实施方式中，不同的数据分组对应不同的哈希值范围，大缓存设备，还用于在接收到待缓存数据时，计算待缓存数据的哈希值，将待缓存数据的哈希值所在的哈希值范围，作为目标哈希值范围；将待缓存数据缓存到目标哈希值范围对应的数据分组中。
在本申请实施例中，在缓存新的数据时，将待缓存数据缓存到相应的数据分组，能够方便数据的管理。
在一种可能的实施方式中，各目标数据对应唯一的索引，大缓存设备还用于：在大缓存设备剩余的容量小于预设剩余容量阈值的情况下，当接收到待缓存数据时，在已缓存数据中选取待删除数据，先删除待删除数据的索引，后添加待缓存数据的索引。
预设剩余容量阈值可以按照实际情况自定义设定，当大缓存设备剩余的容量小于预设剩余容量阈值时，说明大缓存设备剩余的容量不足，若此时有新的待缓存数据需要存储，可以对已缓存数据进行更新。可以在已缓存数据中，选取待删除数据，先删除待删除数据的索引，然后将待缓存数据存储到待删除数据的位置，覆盖待删除数据，并再添加待缓存数据的索引。一般情况下已缓存数据是以文件的形式进行存储的，一个文件中包括多个数据分片(每个数据分片可以视为一个数据)，为了减少索引的同步次数，可以以文件为单位，进行数据的更新。待删除数据的选取方法可以按照实际情况进行设定，例如，在已缓存数据中，选取最近一段时间内，使用次数最少的数据，作为待删除数据。
在一些情况下，例如新增无缓存设备后，需要为新增的无缓存设备建立新的数据分组，此时可以将现有数据分组中的部分数据，分配到新的数据分组中。在一种可能的实施方式中，大缓存设备还用于：在接收的新的无缓存设备的接入请求时，建立该新的无缓存设备对应的数据分组；在各数据分组中选取待更新数据；在各数据分组中删除待更新数据的索引；在新的无缓存设备对应的数据分组中添加各待更新数据的索引。
可以按照预设的选取规则在各数据分组中选取待更新数据。例如，可以在各数据分组中随机选取待更新数据；例如，可以按照数据的哈希值进行选取。在建立新的无缓存设备对应的数据分组后，可以重新划分各数据分组对应的哈希值范围，将新的无缓存设备对应的数据分组对应的哈希值范围称为第一哈希值范围，在各数据分组中选取哈希值在第一哈希值范围内的数据，作为待更新数据。
本申请实施例的数据服务系统还可以如图2所示，包括，多个无缓存设备及大缓存设备，无缓存设备通过P2P功能负责数据的上传，大缓存设备负责数据分发、存储及为无缓存设备提供数据。这些设备工作在同一个局域网中。
无缓存设备负责数据上传，其本身可以不使用磁盘进行数据缓存。上传时，无缓存设备通过IPC-C与大缓存设备的IPC-S进行通信，从而从大缓存设备中获取数据。大缓存设备分配若干个线程对大缓存设备的IO进行操作处理，上述线程可以是不同磁盘不同线程。IPC-S负责管理连入的IPC-C，建立通信，将接收到的消息转交给大缓存设备中的Storage(存储进程)，并将来自存储进程的消息发送给对应的IPC-C。IPC-C使用TCP与IPC-S建立长连接，用于传递数据请求、数据回复等消息。
例如，无缓存设备在接收到请求端针对目标数据的上传请求时，该无缓存设备查询自身的已缓存数据表，若该无缓存设备自身的已缓存数据表中包括目标数据的标识，则该无缓存设备通过IPC-C向大缓存设备发送针对目标数据的数据请求；若无缓存设备自身的已缓存数据表中不包括目标数据的标识，则丢弃该上传请求。大缓存设备在通过IPC-S接收到无缓存设备针对目标数据的数据请求后，响应于该数据请求，通过IPC-S向该无缓存设备发送目标数据。该无缓存设备通过IPC-C接收目标数据，并利用P2P功能向请求端上述目标数据。
大缓存设备中存储有多个数据分组，数据分组与无缓存设备一一对应，每组数据分组只提供给一个无缓存设备用于上传。各数据分组可以位于一个磁盘上，也可以位于不同的磁盘上，此处不做具体限定。存储进程用于加载所有数据分组的缓存数据并管理各数据分组的数据索引，在无缓存设备连线时，为新接入的无缓存设备分配数据分组，在数据分组与无缓存设备的对应关系建立后应尽量保持对应关系稳定，减少对应关系的变更。在已缓存数据更新过程中，需要进程对数据索引进行同步：先删除后增加，为了减少同步次数，以文件为单位进行数据删除替换。先通知删除索引，后通知添加索引。
例如，在大缓存设备接收的新的无缓存设备的接入请求时，响应于该接入请求，大缓存设备建立该新的无缓存设备对应的数据分组。在各数据分组中选取待更新数据；先在各数据分组中删除待更新数据的索引，然后在新的无缓存设备对应的数据分组中添加各待更新数据的索引。
大缓存设备可以由NAS(Network Attached Storage，网络附属存储)设备实现，Predeploy(重新部署线程)负责数据分发(包括P2P传输及CDN传输)，并为无缓存设备提供上传数据，根据设备内存大小，进行数据缓存。由于大缓存设备磁盘空间较大，存储进程对缓存数据进行分组管理，存储进程在存储数据时，可以按照数据文件的FID(一种文件类型)Hash(哈希)值，按照均匀分布的原则，将数据存储到不同的数据分组中。
例如，可以为每个数据分组设置不同的哈希值范围，重新部署线程在接收到待缓存数据时，计算待缓存数据的哈希值，将待缓存数据的哈希值所在的哈希值范围，作为目标哈希值范围；并将待缓存数据缓存到目标哈希值范围对应的数据分组中。
在本申请实施例中，无缓存设备获取大缓存设备中的目标数据进行上传，能够充分利用无缓存设备的上行带宽，从而增加P2P网络中总体的上行带宽，从而提高了网络的数据传输效率。结合缓存不足的无缓存设备及缓存过剩的大缓存设备，充分利用各设备的资源，从而产生若干可以上传数据的设备，可以降低接入门槛、增加上述服务规模，将更多的设备纳入共享带宽业务中，扩大规模，增加上传服务带宽。
本申请实施例还提供了一种数据服务方法，应用于数据服务系统中的大缓存设备，数据服务系统还包括无缓存设备，无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，大缓存设备中缓存有目标数据，无缓存设备及大缓存设备属于同一局域网，参见图3，该方法包括：
S301，接收针对目标数据的数据请求。
S302，响应于目标数据的数据请求，向无缓存设备发送目标数据，以使无缓存设备接收并上传目标数据。
本申请实施例的数据服务方法应用于大缓存设备，因此具体可以通过大缓存设备实现。
数据请求可以是无缓存设备发送的，可选的，无缓存设备中存储有已缓存数据表，已缓存数据表中包括数据标识；大缓存设备中存储有已缓存数据表中各数据标识表征的数据。
参见图4，上述接收针对目标数据的数据请求，包括：
S401，接收到无缓存设备针对目标数据发送的数据请求。
可选的，大缓存设备存储有多个数据分组，各数据分组包括已缓存数据，各数据分组分别对应相应的无缓存设备。
可选的，每个数据分组仅对应一个无缓存设备，同一大缓存设备中各数据分组对应的无缓存设备均不同。
数据请求可以是局域网外的请求端发送的，可选的，上述接收针对目标数据的数据请求，包括：
接收局域网外其他设备发送的针对目标数据的数据请求。
上述响应于目标数据的数据请求，向无缓存设备发送目标数据，包括：响应于数据请求，获取目标数据所属的数据分组对应的无缓存设备。向目标数据所属的数据分组对应的无缓存设备发送目标数据。
可选的，不同的数据分组对应不同的哈希值范围，参见图5，上述方法还包括：
S501，在接收到待缓存数据时，计算待缓存数据的哈希值。
S502，将待缓存数据的哈希值所在的哈希值范围，作为目标哈希值范围。
S503，将待缓存数据缓存到目标哈希值范围对应的数据分组中。
可选的，各目标数据对应唯一的索引，上述方法还包括：在大缓存设备剩余的容量小于预设剩余容量阈值的情况下，当接收到待缓存数据时，在已缓存数据中选取待删除数据，先删除待删除数据的索引，后添加待缓存数据的索引。
本申请实施例提供了一种数据服务方法，应用于数据服务系统中的无缓存设备，数据服务系统还包括大缓存设备，无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，大缓存设备中缓存有目标数据，无缓存设备及大缓存设备属于同一局域网，参见图6a，该方法包括：
S601，接收大缓存设备发送的目标数据，并上传目标数据给目标数据的请求端，其中，请求端不在局域网中。
本申请实施例的数据服务方法应用于无缓存设备，因此具体可以通过无缓存设备实现。
参见图6b，可选的，无缓存设备中存储有已缓存数据表，已缓存数据表中包括数据标识；大缓存设备中存储有已缓存数据表中各数据标识表征的数据。
在接收大缓存设备发送的目标数据，并上传目标数据之前，方法还包括：
S600，在接收局域网外其他设备发送的针对目标数据的上传请求时，向大缓存设备发送针对目标数据的数据请求，以使大缓存设备按照数据请求信息返回目标数据。
本申请实施例提供了一种数据服务装置，应用于数据服务系统中的大缓存设备，数据服务系统还包括无缓存设备，无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，大缓存设备中缓存有目标数据，无缓存设备及大缓存设备属于同一局域网，参见图7a，该装置包括：
数据请求接收模块701，用于接收针对目标数据的数据请求。
目标数据发送模块702，用于响应于目标数据的数据请求，向无缓存设备发送目标数据，以使无缓存设备接收并上传目标数据。
可选的，无缓存设备中存储有已缓存数据表，已缓存数据表中包括数据标识；大缓存设备中存储有已缓存数据表中各数据标识表征的数据。
数据请求接收模块701，具体用于：接收到无缓存设备针对目标数据发送的数据请求。
可选的，大缓存设备存储有多个数据分组，各数据分组包括已缓存数据，各数据分组分别对应相应的无缓存设备。
可选的，每个数据分组仅对应一个无缓存设备，同一大缓存设备中各数据分组对应的无缓存设备均不同。
可选的，数据请求接收模块701，具体用于：接收局域网外其他设备发送的针对目标数据的数据请求。
目标数据发送模块702，具体用于：响应于数据请求，获取目标数据所属的数据分组对应的无缓存设备；向目标数据所属的数据分组对应的无缓存设备发送目标数据。
可选的，不同的数据分组对应不同的哈希值范围，参见图7b，上述装置还包括：
数据存储模块703，用于在接收到待缓存数据时，计算待缓存数据的哈希值；将待缓存数据的哈希值所在的哈希值范围，作为目标哈希值范围；将待缓存数据缓存到目标哈希值范围对应的数据分组中。
可选的，各目标数据对应唯一的索引，参见图7c，上述装置还包括：
数据更新模块704，用于在大缓存设备剩余的容量小于预设剩余容量阈值的情况下，当接收到待缓存数据时，在已缓存数据中选取待删除数据，先删除待删除数据的索引，后添加待缓存数据的索引。
本申请实施例提供了一种数据服务装置，应用于数据服务系统中的无缓存设备，数据服务系统还包括大缓存设备，无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，大缓存设备中缓存有目标数据，无缓存设备及大缓存设备属于同一局域网，参见图8a，该装置包括：
目标数据接收模块801，用于接收大缓存设备发送的目标数据，并上传目标数据给目标数据的请求端，其中，请求端不在局域网中。
参见图8b，可选的，无缓存设备中存储有已缓存数据表，已缓存数据表中包括数据标识；大缓存设备中存储有已缓存数据表中各数据标识表征的数据。
上述装置还包括：数据请求发送模块800，用于在接收局域网外其他设备发送的针对目标数据的上传请求时，向大缓存设备发送针对目标数据的数据请求，以使大缓存设备按照数据请求信息返回目标数据。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：
接收针对目标数据的数据请求；
响应于目标数据的数据请求，向无缓存设备发送目标数据，以使无缓存设备接收并上传目标数据。
具体的，该电子设备为基于内容分发网络的数据服务系统中的大缓存设备，数据服务集群还包括无缓存设备，无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，无缓存设备及大缓存设备属于同一局域网。
可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述任一应用于大缓存设备的数据服务方法。
可选的，参见图9，本申请实施例的电子设备还包括通信接口902和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：
接收大缓存设备发送的目标数据，并上传目标数据给目标数据的请求端，其中，请求端不在局域网中。
具体的，该电子设备为基于内容分发网络的数据服务系统中的无缓存设备，数据服务集群还包括大缓存设备，无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，无缓存设备及大缓存设备属于同一局域网。
可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述任一应用于无缓存设备的数据服务方法。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一应用于大缓存设备的数据服务方法。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一应用于无缓存设备的数据服务方法。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (15)

1.一种数据服务系统，其特征在于，所述数据服务系统包括：无缓存设备及大缓存设备，所述无缓存设备为内存容量小于第一内存容量阈值、且磁盘可用容量小于第一磁盘容量阈值的设备，所述大缓存设备为内存容量大于第二内存容量阈值或磁盘可用容量大于第二磁盘容量阈值的设备；所述大缓存设备中缓存有目标数据，所述无缓存设备与所述大缓存设备属于同一局域网；
所述大缓存设备，用于响应于所述目标数据的数据请求，向所述无缓存设备发送所述目标数据；
所述无缓存设备，用于接收所述大缓存设备发送的所述目标数据，并上传所述目标数据给所述目标数据的请求端，其中，所述请求端不在所述局域网中。
2.根据权利要求1所述的系统，其特征在于，所述无缓存设备中存储有已缓存数据表，所述已缓存数据表中包括数据标识；所述大缓存设备中存储有所述已缓存数据表中各数据标识表征的数据；
所述无缓存设备，还用于在接收到所述请求端针对所述已缓存数据表中记录的目标数据的上传请求时，响应于所述上传请求向所述大缓存设备发送针对目标数据的数据请求；
所述大缓存设备，具体用于在获取到所述数据请求信息后，响应于所述数据请求信息向所述无缓存设备发送所述目标数据。
3.根据权利要求1所述的系统，其特征在于，所述无缓存设备的数量为至少一个；
所述大缓存设备存储有多个数据分组，各所述数据分组包括已缓存数据，各所述数据分组分别对应相应的无缓存设备。
4.根据权利要求3所述的系统，其特征在于，每个所述数据分组仅对应一个无缓存设备，同一所述大缓存设备中各所述数据分组对应的无缓存设备各不同。
5.根据权利要求4所述的系统，其特征在于，所述目标请求为所述局域网外其他设备发送的针对所述目标数据的上传请求；
所述大缓存设备，具体于在接收到所述请求端针对所述大缓存设备中已缓存的目标数据的数据请求时，响应于所述数据请求确定所述目标数据所属的数据分组对应的无缓存设备，并向该对应的无缓存设备发送所述目标数据。
6.根据权利要求3所述的系统，其特征在于，所述大缓存设备中设置有至少一个磁盘，各所述数据分组分布在所述至少一个磁盘上。
7.根据权利要求3所述的系统，其特征在于，不同的数据分组对应不同的哈希值范围，所述大缓存设备，还用于在接收到待缓存数据时，计算所述待缓存数据的哈希值，将所述待缓存数据的哈希值所在的哈希值范围，作为目标哈希值范围；将所述待缓存数据缓存到所述目标哈希值范围对应的数据分组中。
8.根据权利要求3所述的系统，其特征在于，各所述目标数据对应唯一的索引，所述大缓存设备，还用于在所述大缓存设备剩余的容量小于预设剩余容量阈值的情况下，当接收到待缓存数据时，在已缓存数据中选取待删除数据，先删除所述待删除数据的索引，后添加所述待缓存数据的索引。
9.根据权利要求1所述的系统，其特征在于，所述大缓存设备包括进程间通信-服务器进程，所述无缓存设备包括进程间通信-客户端进程，所述大缓存设备的进程间通信-服务器进程与所述无缓存设备的进程间通信-客户端进程建立传输控制协议TCP连接；
所述大缓存设备，具体用于响应于所述目标数据的数据请求，利用所述进程间通信-服务器进程向所述无缓存设备发送所述目标数据；
所述无缓存设备，具体用于利用所述进程间通信-客户端进程接收所述大缓存设备发送的所述目标数据，并上传所述目标数据给所述目标数据的请求端。
10.一种数据服务方法，其特征在于，应用于数据服务系统中的大缓存设备，所述数据服务系统还包括无缓存设备，所述无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，所述大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，所述大缓存设备中缓存有目标数据，所述无缓存设备及所述大缓存设备属于同一局域网，所述方法包括：
接收针对所述目标数据的数据请求；
响应于所述目标数据的数据请求，向所述无缓存设备发送所述目标数据，以使所述无缓存设备接收并上传所述目标数据。
11.一种数据服务方法，其特征在于，应用于数据服务系统中的无缓存设备，所述数据服务系统还包括大缓存设备，所述无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，所述大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，所述大缓存设备中缓存有目标数据，所述无缓存设备及所述大缓存设备属于同一局域网，所述方法包括：
接收所述大缓存设备发送的所述目标数据，并上传所述目标数据给所述目标数据的请求端，其中，所述请求端不在所述局域网中。
12.一种数据服务装置，其特征在于，应用于数据服务系统中的大缓存设备，所述数据服务系统还包括无缓存设备，所述无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，所述大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，所述大缓存设备中缓存有目标数据，所述无缓存设备及所述大缓存设备属于同一局域网，所述装置包括：
数据请求接收模块，用于接收针对所述目标数据的数据请求；
数据传输模块，用于响应于所述目标数据的数据请求，向所述无缓存设备发送所述目标数据，以使所述无缓存设备接收并上传所述目标数据。
13.一种数据服务装置，其特征在于，应用于数据服务系统中的无缓存设备，所述数据服务系统还包括大缓存设备，所述无缓存设备为内存小于第一内存容量阈值、且磁盘空间小于第一磁盘容量阈值的设备，所述大缓存设备为内存大于第二内存容量阈值或磁盘空间大于第二磁盘容量阈值的设备，所述大缓存设备中缓存有目标数据，所述无缓存设备及所述大缓存设备属于同一局域网，所述装置包括：
数据上传模块，接收所述大缓存设备发送的所述目标数据，并上传所述目标数据给所述目标数据的请求端，其中，所述请求端不在所述局域网中。
14.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求10所述的数据服务方法。
15.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求11所述的数据服务方法。
CN201911023602.8A 2019-10-25 2019-10-25 数据服务方法、装置、系统及电子设备 Active CN110784534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911023602.8A CN110784534B (zh) 2019-10-25 2019-10-25 数据服务方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911023602.8A CN110784534B (zh) 2019-10-25 2019-10-25 数据服务方法、装置、系统及电子设备

Publications (2)

Publication Number Publication Date
CN110784534A true CN110784534A (zh) 2020-02-11
CN110784534B CN110784534B (zh) 2023-03-10

Family

ID=69386685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911023602.8A Active CN110784534B (zh) 2019-10-25 2019-10-25 数据服务方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN110784534B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612537A (zh) * 2020-12-16 2021-04-06 平安普惠企业管理有限公司 配置数据缓存方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1312632A (zh) * 2001-02-27 2001-09-12 北京邮电大学 分拣机柔性变址的控制方法及其系统
WO2002047384A1 (en) * 2000-12-05 2002-06-13 Starguide Digital Networks, Inc. Method and apparatus for ip multicast content distribution system having national and regional demographically targeted advertisement insertion
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
WO2015140927A1 (ja) * 2014-03-18 2015-09-24 株式会社日立製作所 データ転送監視システム、データ転送監視方法、および拠点システム
WO2018036314A1 (zh) * 2016-08-22 2018-03-01 中兴通讯股份有限公司 一种单点登录认证方法及装置、存储介质
CN109254981A (zh) * 2018-08-27 2019-01-22 阿里巴巴集团控股有限公司 一种分布式缓存系统的数据管理方法和装置
CN110086790A (zh) * 2019-04-17 2019-08-02 江苏全链通信息科技有限公司 基于数据中心的日志存储方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002047384A1 (en) * 2000-12-05 2002-06-13 Starguide Digital Networks, Inc. Method and apparatus for ip multicast content distribution system having national and regional demographically targeted advertisement insertion
CN1312632A (zh) * 2001-02-27 2001-09-12 北京邮电大学 分拣机柔性变址的控制方法及其系统
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
WO2015140927A1 (ja) * 2014-03-18 2015-09-24 株式会社日立製作所 データ転送監視システム、データ転送監視方法、および拠点システム
WO2018036314A1 (zh) * 2016-08-22 2018-03-01 中兴通讯股份有限公司 一种单点登录认证方法及装置、存储介质
CN109254981A (zh) * 2018-08-27 2019-01-22 阿里巴巴集团控股有限公司 一种分布式缓存系统的数据管理方法和装置
CN110086790A (zh) * 2019-04-17 2019-08-02 江苏全链通信息科技有限公司 基于数据中心的日志存储方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
祖东辉: "大容量雷达数据存储与管理技术研究", 《万方学术论文》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612537A (zh) * 2020-12-16 2021-04-06 平安普惠企业管理有限公司 配置数据缓存方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110784534B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN108984560B (zh) 文件存储方法及装置
US11392497B1 (en) Low latency access to data sets using shared data set portions
CN109600437B (zh) 一种流媒体资源的下载方法及缓存服务器
US8019830B2 (en) Methods and apparatus for acquiring file segments
US11550713B1 (en) Garbage collection in distributed systems using life cycled storage roots
CN112513830A (zh) 内容分发网络中的回源方法及相关装置
US20170153909A1 (en) Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine
CN108540510B (zh) 一种云主机创建方法、装置及云服务系统
US11593270B1 (en) Fast distributed caching using erasure coded object parts
CN111597213A (zh) 一种缓存方法、软件服务器及存储介质
CN105677754A (zh) 获取文件系统中子项元数据的方法、装置和系统
CN110784534B (zh) 数据服务方法、装置、系统及电子设备
CN111597259B (zh) 数据存储系统、方法、装置、电子设备及存储介质
CN113676514A (zh) 一种文件回源方法及装置
CN110401731B (zh) 用于分配内容分发节点的方法和装置
US10327133B2 (en) Making subscriber data addressable as a device in a mobile data network
KR102007981B1 (ko) 비트토렌트 기반의 네트워크 품질 관리 시스템 및 이를 이용한 네트워크 서비스 품질 향상 방법
CN107846429B (zh) 一种文件备份方法、装置和系统
CN114143377A (zh) 资源请求的配置方法、服务端、客户端、设备和存储介质
CN110784775A (zh) 一种视频分片缓存方法、装置及视频点播系统
US10171554B2 (en) Distributing subscriber data in a mobile data network
KR20190119497A (ko) 분산 파일 시스템 기반의 대용량 다중 vod 스트리밍 서비스 제공 시스템 및 그 제공 방법
US8725866B2 (en) Method and system for link count update and synchronization in a partitioned directory
CN114610691B (zh) 存储对象的获取方法、存储对象的获取装置、设备及介质
CN114172945B (zh) 一种模拟实现全双工即时通信方法与设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant