CN103049572B - 适用于有时效保证通讯系统的点对点通讯的文件检索方法 - Google Patents
适用于有时效保证通讯系统的点对点通讯的文件检索方法 Download PDFInfo
- Publication number
- CN103049572B CN103049572B CN201310001281.8A CN201310001281A CN103049572B CN 103049572 B CN103049572 B CN 103049572B CN 201310001281 A CN201310001281 A CN 201310001281A CN 103049572 B CN103049572 B CN 103049572B
- Authority
- CN
- China
- Prior art keywords
- file
- terminal
- value
- point
- retrieval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种适用于有时效保证通讯系统的点对点通讯的文件检索方法，其基于文件全文MD5值建立hash表，hash表的来源依赖于终端节点的状态汇报，每台终端登陆之后汇报所拥有的文件MD5值,每次终端完成下载之后会回报新增文件请求，上传文件之后会向服务器进行文件管理上传请求，从而保证文件hash表的实时性和可靠性，检索的时候根据文件MD5值查找到对应的hash表项，从而确定文件所在的终端。本发明使用MD5值代表文件，能够使用最小的内存空间保存所有终端的文件信息，同时调度服务器只保留终端与文件的映射，检索效率非常高，还可以减少交互协议的传输数据。
Description
【技术领域】
本发明涉及一种适用于有时效保证通讯系统的点对点通讯的文件检索方法。
背景技术
现有的文件检索方法多是基于Distribute Hash Table(DHT)算法，适用于非特定目标的，发散式的检索算法，优点是适合于无服务器端的大规模网络，缺点是检索目标不确定，结果无法预料。而数字标牌等领域的通讯系统的通讯特点是均有时效保证，需要的文件分发系统有个明确的文件源，与文件调度系统，这样决定了检索算法是在有限范围内进行的快速检索，因此目前的检索方法显然不适合用于数字标牌等领域的需要的文件分发系统。
发明内容
本发明要解决的技术问题，在于提供一种适用于有时效保证通讯系统的点对点通讯的文件检索方法，采用了最简单的全文MD5与终端唯一标识(终端ID)进行关联的检索算法，可以存储最少的信息，同时能最快检索出文件所在的终端信息。
本发明是这样实现的：一种适用于有时效保证通讯系统的点对点通讯的文件检索方法，基于文件全文MD5值建立hash表，hash表的来源依赖于终端节点的状态汇报，每台终端登陆之后汇报所拥有的文件MD5值,每次终端完成下载之后会汇报新增文件请求，上传文件之后会向服务器进行文件管理上传请求，从而保证文件hash表的实时性和可靠性，检索的时候根据文件MD5值查找到对应的hash表项，从而确定文件所在的终端。
进一步的，本发明所述检索包括终端检索流程和调度服务器检索流程；所述终端检索流程为：终端发起文件检索请求，调度服务器接收请求后将根据文件MD5值定位对应的文件树，从中找出最优的几个终端节点返回给终 端，终端进行节点连接，下载对应文件；所述调度服务器检索流程为：1.检索文件树的建立，该文件树包含文件索引队列和文件树队列；该文件索引队列即为所述hash表，单终端汇报的文件在索引队列里面不存在的时候，添加该文件MD5值，同时创建新的文件树，将该终端列为新文件树的第一个节点;2.文件树的删除，当终端离开或者掉线时，删除该终端的所有文件关联，但是不删除文件索引；3.终端文件检索，调度服务器收到终端文件检索请求，先查询文件索引队列，看看是否有匹配的，如果有，查找对应的文件树，读取最优的几个终端节点的通讯配置，并发送给终端；如果没有，将负责初始文件分发的文件服务器的地址发送给终端。
进一步的，本发明所述检索时用到的交互协议包括：文件关联汇报协议：终端发送给调度服务器，建立终端与文件MD5值的关联关系，协议要素为终端编码和至少1个文件MD5值；文件关联删除协议：终端删除本地文件的同时，删除服务器上的文件关联关系，协议要素为终端编码和至少1个文件MD5值；文件检索协议:终端编码：单个文件MD5值，终端发起到调度服务器要求检索对应的文件。
进一步的，本发明所述调度服务器发送给终端的最优的终端节点数为5个。
本发明具有如下优点：本发明使用MD5值代表文件，能够使用最小的内存空间保存所有终端的文件信息，同时调度服务器只保留终端与文件的映射，检索效率非常高；通过文件索引的查询可以很快的定位到文件，调度服务器不保存文件的长度、文件名等具体信息，这些参数在终端之间建立连接之后进行传输，因此可以减少交互协议的传输数据，适用于有时效保证通讯系统的点对点通讯的文件检索。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法所对应的有时效保证通讯系统点对点通讯系统的架构图。
具体实施方式
本发明的适用于有时效保证通讯系统的点对点通讯的文件检索方法，是基于文件全文MD5值建立hash表，hash表的来源依赖于终端节点的状态汇报，每台终端登陆之后汇报所拥有的文件MD5值,每次终端完成下载之后会汇报新增文件请求，上传文件之后会向服务器进行文件管理上传请求，从而保证文件hash表的实时性和可靠性，检索的时候根据文件MD5值查找到对应的hash表项，从而确定文件所在的终端。
如图1所示，本发明方法所对应的有时效保证通讯系统点对点通讯系统的架构可以包含调度服务器、终端、文件服务器、配置服务器以及媒体库；其中，本发明方法的检索算法运行在调度服务器上，用于管理终端和文件服务器。所述调度服务器负责终端管理、文件列表管理以及检索功能；所述文件服务器负责初始文件分发；所述终端用于下载文件，同时也给其他终端提供文件；所述配置服务器用于下载任务发布,以及下载终端的通信参数配置和状态管理；所述媒体库用于保存所有的媒体文件,是本系统中所有的文件内容来源。配置服务器发布下载任务给终端,终端接收到任务后去调度服务器查询文件所在情况,如果查询不到由文件服务器去媒体库下载,否则去返回的终端去下载,如果终端与终端之间有防火墙无法穿过,可以通过调度服务器进行辅助穿透。
本发明可以在上述架构的基础上进行检索，所述检索包括终端检索流程和调度服务器检索流程；
所述终端检索流程为：终端发起文件检索请求，调度服务器接收请求后将根据文件MD5值定位对应的文件树，从中找出最优的几个（5个较佳的）终端节点返回给终端，终端进行节点连接，下载对应文件；
所述调度服务器检索流程为：
1.检索文件树的建立，该文件树包含文件索引队列和文件树队列；该文件索引队列即为所述hash表，单终端汇报的文件在索引队列里面不存在的时候，添加该文件MD5值，同时创建新的文件树，将该终端列为新文件树的第一个节点；
2.文件树的删除，当终端离开或者掉线时，删除该终端的所有文件关联，但是不删除文件索引；
3.终端文件检索，调度服务器收到终端文件检索请求，先查询文件索引队列，看看是否有匹配的，如果有，查找对应的文件树，读取最优的几个（5个较佳的）终端节点的通讯配置，并发送给终端；如果没有，将负责初始文件分发的文件服务器的地址发送给终端。
本发明所述检索时用到的交互协议包括：
文件关联汇报协议：终端发送给调度服务器，建立终端与文件MD5值的关联关系，协议要素为终端编码和至少1个文件MD5值；
文件关联删除协议：终端删除本地文件的同时，删除服务器上的文件关联关系，协议要素为终端编码和至少1个文件MD5值；
文件检索协议:终端编码：单个文件MD5值，终端发起到调度服务器要求检索对应的文件。
本发明使用MD5值代表文件，能够使用最小的内存空间保存所有终端的文件信息，以一台终端拥有1000个文件为例，一次完成汇报，只需要32000个字节，按一个UDP报文传输8K来计算，只需要4个报文就能完成传输，同时调度服务器只保留终端与文件的映射，即UID（8）-〉GUID（32）个，检索效率非常高；通过文件索引的查询，可以很快的定位到文件，调度服务器不保存文件的长度，文件名等具体信息，这些参数在终端之间建立连接之后进行传输，因此可以减少交互协议的传输数据。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (4)
1.一种适用于有时效保证通讯系统的点对点通讯的文件检索方法，其特征在于：基于文件全文MD5值建立hash表，hash表的来源依赖于终端节点的状态汇报，每台终端登陆之后汇报所拥有的文件MD5值,每次终端完成下载之后会汇报新增文件请求，上传文件之后会向服务器进行文件管理上传请求，从而保证文件hash表的实时性和可靠性，检索的时候根据文件MD5值查找到对应的hash表项，从而确定文件所在的终端。
2.根据权利要求1所述的适用于有时效保证通讯系统的点对点通讯的文件检索方法，其特征在于：所述检索包括终端检索流程和调度服务器检索流程；
所述终端检索流程为：
终端发起文件检索请求，调度服务器接收请求后将根据文件MD5值定位对应的文件树，从中找出最优的几个终端节点返回给终端，终端进行节点连接，下载对应文件；
所述调度服务器检索流程为：
(1).检索文件树的建立，该文件树包含文件索引队列和文件树队列；该文件索引队列即为所述hash表，当终端汇报的文件在索引队列里面不存在的时候，添加该文件MD5值，同时创建新的文件树，将该终端列为新文件树的第一个节点；
(2).文件树的删除，当终端离开或者掉线时，删除该终端的所有文件关联，但是不删除文件索引；
(3).终端文件检索，调度服务器收到终端文件检索请求，先查询文件索引队列，看看是否有匹配的，如果有，查找对应的文件树，读取最优的几个终端节点的通讯配置，并发送给终端；如果没有，将负责初始文件分发的文件服务器的地址发送给终端。
3.根据权利要求1或2所述的适用于有时效保证通讯系统的点对点通讯的文件检索方法，其特征在于：所述检索时用到的交互协议包括：
文件关联汇报协议：终端发送给调度服务器，建立终端与文件MD5值的关联关系，协议要素为终端编码和至少1个文件MD5值；
文件关联删除协议：终端删除本地文件的同时，删除服务器上的文件关联关系，协议要素为终端编码和至少1个文件MD5值；
文件检索协议:终端编码：单个文件MD5值，终端发起到调度服务器要求检索对应的文件。
4.根据权利要求2所述的适用于有时效保证通讯系统的点对点通讯的文件检索方法，其特征在于：所述调度服务器发送给终端的最优的终端节点数为5个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310001281.8A CN103049572B (zh) | 2013-01-04 | 2013-01-04 | 适用于有时效保证通讯系统的点对点通讯的文件检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310001281.8A CN103049572B (zh) | 2013-01-04 | 2013-01-04 | 适用于有时效保证通讯系统的点对点通讯的文件检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103049572A CN103049572A (zh) | 2013-04-17 |
| CN103049572B true CN103049572B (zh) | 2015-08-05 |
Family
ID=48062212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310001281.8A Active CN103049572B (zh) | 2013-01-04 | 2013-01-04 | 适用于有时效保证通讯系统的点对点通讯的文件检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103049572B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599886A (zh) * | 2008-06-05 | 2009-12-09 | 华为技术有限公司 | 分布式结构化网络中的查询方法、系统和设备 |
| US20090327505A1 (en) * | 2008-06-27 | 2009-12-31 | Microsoft Corporation | Content Identification for Peer-to-Peer Content Retrieval |
| CN101860474A (zh) * | 2009-04-08 | 2010-10-13 | 中兴通讯股份有限公司 | 基于对等网络的资源信息处理方法及对等网络 |
| CN102035861A (zh) * | 2009-09-24 | 2011-04-27 | 中兴通讯股份有限公司 | 一种单跳分布式哈希表叠加网络的负载均衡方法和系统 |
| CN102065112A (zh) * | 2009-11-18 | 2011-05-18 | 中国移动通信集团公司 | 对等网络系统、建立对等网络系统的方法及相关装置 |
-
2013
- 2013-01-04 CN CN201310001281.8A patent/CN103049572B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599886A (zh) * | 2008-06-05 | 2009-12-09 | 华为技术有限公司 | 分布式结构化网络中的查询方法、系统和设备 |
| US20090327505A1 (en) * | 2008-06-27 | 2009-12-31 | Microsoft Corporation | Content Identification for Peer-to-Peer Content Retrieval |
| CN101860474A (zh) * | 2009-04-08 | 2010-10-13 | 中兴通讯股份有限公司 | 基于对等网络的资源信息处理方法及对等网络 |
| CN102035861A (zh) * | 2009-09-24 | 2011-04-27 | 中兴通讯股份有限公司 | 一种单跳分布式哈希表叠加网络的负载均衡方法和系统 |
| CN102065112A (zh) * | 2009-11-18 | 2011-05-18 | 中国移动通信集团公司 | 对等网络系统、建立对等网络系统的方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103049572A (zh) | 2013-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102882985B (zh) | 基于云存储的文件共享方法 | |
| EP3223165B1 (en) | File processing method, system and server-clustered system for cloud storage | |
| CN111200657B (zh) | 一种管理资源状态信息的方法和资源下载系统 | |
| CN1988535A (zh) | 文件存储同步方法、系统及客户端 | |
| CN103024082B (zh) | 一种用于数字媒体分发的点对点通信方法 | |
| CN105243067A (zh) | 一种实现实时增量同步数据的方法及装置 | |
| CN103532754A (zh) | 一种通过高速内存、分布式处理海量日志的系统及方法 | |
| CN103841170A (zh) | 一种云存储方法和服务器 | |
| CN103227818A (zh) | 终端、服务器、文件传输方法、文件存储管理系统和方法 | |
| CN103841180A (zh) | 一种基于操作指令的网络数据同步方法、装置、终端设备和服务器 | |
| CN111273863B (zh) | 高速缓存管理 | |
| CN103823807A (zh) | 一种去除重复数据的方法、装置及系统 | |
| CN103269302A (zh) | 用于即时通信的共享文件管理方法和系统 | |
| CN104023070A (zh) | 基于云存储的文件压缩方法 | |
| CN106919574B (zh) | 一种实时处理远程同步文件的方法 | |
| CN102164152A (zh) | 一种远程处理文件的方法及系统 | |
| CN103049572B (zh) | 适用于有时效保证通讯系统的点对点通讯的文件检索方法 | |
| CN107547645B (zh) | Linux服务端与windows客户端之间跨平台文件的传输方法 | |
| US10956373B1 (en) | Page-based metadata system for distributed filesystem | |
| GB2584895A (en) | Determining a state of a network | |
| CN108566421A (zh) | 一种基于网络附属存储器的网络式分布方法及系统 | |
| CN113900990A (zh) | 文件分片存储方法、装置、设备及存储介质 | |
| EP2751720B1 (en) | Processing communications data | |
| CN104753873A (zh) | 一种提供内容服务的方法、装置和系统 | |
| CN103281234A (zh) | 即时通信中的文件处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: FUJIAN STAR-NET COMMUNICATION CO., LTD. Free format text: FORMER OWNER: FUJIAN STARNET E-VIDEO INFORMATION SYSTEM CO., LTD. Effective date: 20150826 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20150826 Address after: Cangshan District of Fuzhou City, Fujian province 350000 Jinshan Road No. 618 juyuanzhou Ruijie Science Park building 19-22 Patentee after: Fujian Star-net Communication Co., Ltd. Address before: Cangshan District of Fuzhou City, Fujian province 350000 to build a new town, Jinshan Road No. 618, juyuanzhou Industrial Park No. 19 building one or two layer Patentee before: Fujian Starnet e-Video Information System Co., Ltd. |