CN108241635A - 一种多用户节点间非结构化数据转发方法 - Google Patents

一种多用户节点间非结构化数据转发方法 Download PDF

Info

Publication number
CN108241635A
CN108241635A CN201611207006.1A CN201611207006A CN108241635A CN 108241635 A CN108241635 A CN 108241635A CN 201611207006 A CN201611207006 A CN 201611207006A CN 108241635 A CN108241635 A CN 108241635A
Authority
CN
China
Prior art keywords
user
node
unstructured data
data group
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611207006.1A
Other languages
English (en)
Inventor
李振钊
安西民
徐凤桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Star Technology (beijing) Co Ltd
Original Assignee
Space Star Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Star Technology (beijing) Co Ltd filed Critical Space Star Technology (beijing) Co Ltd
Priority to CN201611207006.1A priority Critical patent/CN108241635A/zh
Publication of CN108241635A publication Critical patent/CN108241635A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种多用户节点间非结构化数据转发方法，该方法根据时间戳对中间节点的非结构化数据进行一致性判断，兼顾了数据的实时性和传输速度，更加符合用户特定需求。

Description

一种多用户节点间非结构化数据转发方法
【技术领域】
本发明属于数据传输领域，尤其涉及多用户节点间非结构化数据转发方法。
【背景技术】
一般情况下，非结构化数据在节点间的转发不考虑数据的更新，非结构化数据从源节点发送到中间节点后，源节点处的非结构化数据又发生了更新，而中间节点缓存的数据没有进行及时更新，转发给第三节点的数据通常不是最新的，不能保证转发数据的实时性和一致性。另外，数据传输规则通常是系统设定好的，不能根据用户的需求进行个性化设置，而不同的用户对于数据传输数度和数据实时性有不同的需求。
基于上述问题，现在亟需一种新的多用户节点间非结构化数据转发方法，根据时间戳对中间节点的非结构化数据进行一致性判断，兼顾了数据的实时性和传输速度，更加符合用户特定需求。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种多用户节点间非结构化数据转发方法。
本发明采用的技术方案如下：
一种多用户节点间非结构化数据转发方法，其特征在于，该方法包括如下步骤：
(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；
(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；
(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点；
(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组；
(5)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较，判断两个时间戳是否一致；
(6)如果两个时间戳不一致，则第二用户节点对上述复制的指定非结构化数据组进行增量更新处理。
本发明的有益效果包括：根据时间戳对中间节点的非结构化数据进行一致性判断，并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输，兼顾了数据的实时性和传输速度，更加符合用户特定需求。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明多用户节点间非结构化数据复制方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，一种多用户节点间非结构化数据转发方法，
在一个实施方式中，所述多用户节点处于分布式系统中，在其他实施方式中所述多个用户节点还可以处于云系统中。每个用户节点上设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块。
其中前端模块，用于用户节点上非结构化数据的采集、交互和呈现；协议模块，用于封装所述用户节点与消息模块、传输模块的通信协议；消息模块，用于多线程并发处理消息的接收、处理；数据传输模块，用于非结构化数据文件内容的传输；存储模块，用于将前端模块采集的非结构化数据内容存储在本地数据库中，所述非结构化数据内容分组为数据组进行存储，每个非结构化数据组对应一个时间戳；更新模块，当通过前端模块采集的非结构化数据发生数据更新时，对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致，并更新时间戳；缓存模块，用于将通过传输模块接收的非结构化数据存储在缓存中；判断模块，用于进行时间戳是否一致的判断；该方法包括如下步骤：
(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；
(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；
(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点；
(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组；
(5)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较，判断两个时间戳是否一致；
(6)如果两个时间戳不一致，则第二用户节点对上述复制的指定非结构化数据组进行增量更新处理。
实施例2，该方法包括如下步骤：
(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；
(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；
(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点；
(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组；
(5)第二用户节点通过消息模块接收来自第三用户节点发送的上述复制的指定非结构化数据组的数据请求消息；
(6)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较，判断两个时间戳是否一致；
(6-1)如果指定非结构化数据组复制到第二用户节点后，在第一用户节点中对上述指定非结构化数据组没有进行数据更新，时间戳也没有进行更新，则指定非结构化数据组在第一用户节点中对应的时间戳和复制的非结构化数据组在第二节点中对应的时间戳一致，则第二用户节点通过传输模块将上述复制的指定非结构化数据组直接进行二次复制并将二次复制的非结构化数据组传输给第三用户节点；
(6-2)如果指定非结构化数据组复制到第二用户节点后，在第一用户节点中对上述指定非结构化数据组通过更新模块又进行了数据更新，时间戳也进行更新，则指定非结构化数据组在第一用户节点中对应的时间戳和复制的非结构化数据组在第二节点中对应的时间戳不一致，则第二用户节点根据用户自定义预设规则对上述复制的指定非结构化数据组处理后通过传输模块将上述处理后的复制的指定非结构化数据组传输给第三用户节点；
在一个实施方式中，所述用户自定义预设规则包括：(a)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行全量更新；(b)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行增量更新；(3)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果没有超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组不更新。
在上述用户自定义预设规则中通过数据差异量阈值的设置，兼顾了数据传输速度和数据实时性，在数据差异没有超过预设阈值时，牺牲了一定的数据实时性来提升了数据传输速度，而在数据差异超过预设阈值时，仍然保证了数据实时性，因此在提高数据传输数度的同时较高程度地保持了数据的实时性。
除了上述用户自定义预设规则外，还可以根据用户的实际需求，设置其他的用户自定义预设规则。由于不同的用户对于数据传输数度和数据实时性有不同的需求，有的用户希望传输速度快、对数据实时性要求不高，而有的用户倾向数据的准确性，能够根据用户的需求进行个性化设置。
(7)第三用户节点接收并在缓存中缓存第二节点设备发送的非结构化数据组。
本发明根据时间戳对中间节点的非结构化数据进行一致性判断，兼顾了数据的实时性和传输速度，更加符合用户特定需求。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (3)

1.一种多用户节点间非结构化数据转发方法，其特征在于，该方法包括如下步骤：
(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；
(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；
(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点；
(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组；
(5)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较，判断两个时间戳是否一致；
(6)如果两个时间戳不一致，则第二用户节点对上述复制的指定非结构化数据组进行增量更新处理。
2.根据权利要求1所述的多用户节点间非结构化数据转发方法，其特征在于，所述多用户节点处于分布式系统中。
3.根据权利要求1所述的多用户节点间非结构化数据转发方法，其特征在于，所述多用户节点处于云系统中。
CN201611207006.1A 2016-12-23 2016-12-23 一种多用户节点间非结构化数据转发方法 Pending CN108241635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611207006.1A CN108241635A (zh) 2016-12-23 2016-12-23 一种多用户节点间非结构化数据转发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611207006.1A CN108241635A (zh) 2016-12-23 2016-12-23 一种多用户节点间非结构化数据转发方法

Publications (1)

Publication Number Publication Date
CN108241635A true CN108241635A (zh) 2018-07-03

Family

ID=62704286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611207006.1A Pending CN108241635A (zh) 2016-12-23 2016-12-23 一种多用户节点间非结构化数据转发方法

Country Status (1)

Country Link
CN (1) CN108241635A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127783A (zh) * 2007-09-28 2008-02-20 北京金山软件有限公司 一种网站缓存方法和一种网站缓存的装置
CN101400018A (zh) * 2007-09-30 2009-04-01 中兴通讯股份有限公司 一种广播数据同步层的实现方法
CN102054035A (zh) * 2010-12-29 2011-05-11 北京播思软件技术有限公司 一种基于数据范围的数据库数据同步方法
CN102227142A (zh) * 2011-06-10 2011-10-26 复旦大学 一种基于视频数据块分发的同步播放方法
CN103379159A (zh) * 2012-04-24 2013-10-30 阿里巴巴集团控股有限公司 一种分布式Web站点数据同步的方法
CN103985075A (zh) * 2014-05-30 2014-08-13 厦门市智业软件工程有限公司 一种医院成本的分摊方法
CN106059825A (zh) * 2016-07-08 2016-10-26 福建天晴数码有限公司 一种分布式系统及配置方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127783A (zh) * 2007-09-28 2008-02-20 北京金山软件有限公司 一种网站缓存方法和一种网站缓存的装置
CN101400018A (zh) * 2007-09-30 2009-04-01 中兴通讯股份有限公司 一种广播数据同步层的实现方法
CN102054035A (zh) * 2010-12-29 2011-05-11 北京播思软件技术有限公司 一种基于数据范围的数据库数据同步方法
CN102227142A (zh) * 2011-06-10 2011-10-26 复旦大学 一种基于视频数据块分发的同步播放方法
CN103379159A (zh) * 2012-04-24 2013-10-30 阿里巴巴集团控股有限公司 一种分布式Web站点数据同步的方法
CN103985075A (zh) * 2014-05-30 2014-08-13 厦门市智业软件工程有限公司 一种医院成本的分摊方法
CN106059825A (zh) * 2016-07-08 2016-10-26 福建天晴数码有限公司 一种分布式系统及配置方法

Similar Documents

Publication Publication Date Title
WO2017097011A1 (zh) 基于集群节点间即时拷贝的会话同步方法
CN106533970B (zh) 面向云计算数据中心网络的差分流传输控制方法及装置
WO2016004733A1 (zh) 基于远程调阅和信息交互的主配网图/模/数集成系统及方法
CN104519130B (zh) 一种跨idc的数据共享缓存方法
CN102456052B (zh) 一种嵌入式设备与数据库数据同步方法
CN102541984B (zh) 一种分布式文件系统客户端的文件系统的实现方法
CN103888934B (zh) 一种移动终端缓存管理装置及管理方法
CN104580734A (zh) 多系统设备的数据同步方法、数据同步系统和终端
CN109040183A (zh) 节点信息获取方法、装置、设备及计算机可读存储介质
CN105740248B (zh) 一种数据同步方法、装置及系统
CN109474449A (zh) 一种处理网络切片实例的方法及装置
CN101651709A (zh) 一种p2p下载文件完整性校验方法
CN107222412B (zh) 一种基于网络拓扑判定的sdn混合模式流表下发方法及装置
CN109873857A (zh) 一种无网络状态下移动端数据同步方法及装置
CN104899249B (zh) 一种海量数据下可靠索引更新系统及方法
CN106571991A (zh) 一种数据传输方法及装置
CN106603687B (zh) 一种多用户节点间非结构化数据传输方法
CN108241635A (zh) 一种多用户节点间非结构化数据转发方法
CN108241636A (zh) 一种多用户节点间非结构化数据复制方法
CN100499637C (zh) 一种通讯系统中获取信息的方法
CN105824763B (zh) 一种缓存服务实现方法
CN106855869A (zh) 一种实现数据库高可用的方法、装置和系统
CN108241637A (zh) 一种多用户节点间数据传输系统
CN101834914A (zh) 一种身份与位置映射关系的实现方法
CN104717258B (zh) 一种数据发送方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant after: Zhongke Star Map Co.,Ltd.

Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing

Applicant before: GEOVIS TECHNOLOGY (BEIJING) Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180703