CN106603687B - 一种多用户节点间非结构化数据传输方法 - Google Patents

一种多用户节点间非结构化数据传输方法 Download PDF

Info

Publication number
CN106603687B
CN106603687B CN201611209329.4A CN201611209329A CN106603687B CN 106603687 B CN106603687 B CN 106603687B CN 201611209329 A CN201611209329 A CN 201611209329A CN 106603687 B CN106603687 B CN 106603687B
Authority
CN
China
Prior art keywords
user
unstructured data
module
node
data group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611209329.4A
Other languages
English (en)
Other versions
CN106603687A (zh
Inventor
林殷
安西民
徐凤桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Star Map Co Ltd
Original Assignee
Zhongke Star Map Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Star Map Co Ltd filed Critical Zhongke Star Map Co Ltd
Priority to CN201611209329.4A priority Critical patent/CN106603687B/zh
Publication of CN106603687A publication Critical patent/CN106603687A/zh
Application granted granted Critical
Publication of CN106603687B publication Critical patent/CN106603687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种多用户节点间非结构化数据传输方法，该方法根据时间戳对中间节点的非结构化数据进行一致性判断，并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输，兼顾了数据的实时性和传输速度，更加符合用户特定需求。

Description

一种多用户节点间非结构化数据传输方法
【技术领域】
本发明属于数据传输领域，尤其涉及多用户节点间非结构化数据传输方法。
【背景技术】
一般情况下，非结构化数据在节点间的转发不考虑数据的更新，非结构化数据从源节点发送到中间节点后，源节点处的非结构化数据又发生了更新，而中间节点缓存的数据没有进行及时更新，转发给第三节点的数据通常不是最新的，不能保证转发数据的实时性和一致性。另外，数据传输规则通常是系统设定好的，不能根据用户的需求进行个性化设置，而不同的用户对于数据传输数度和数据实时性有不同的需求。
基于上述问题，现在亟需一种新的多用户节点间非结构化数据传输方法，根据时间戳对中间节点的非结构化数据进行一致性判断，并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输，兼顾了数据的实时性和传输速度，更加符合用户特定需求。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种多用户节点间非结构化数据传输方法。
本发明采用的技术方案如下：
一种多用户节点间非结构化数据传输方法，其特征在于，每个用户节点上设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块，其中前端模块，用于用户节点上非结构化数据的采集、交互和呈现；协议模块，用于封装所述用户节点与消息模块、传输模块的通信协议；消息模块，用于多线程并发处理消息的接收、处理；数据传输模块，用于非结构化数据文件内容的传输；存储模块，用于将前端模块采集的非结构化数据内容存储在本地数据库中，所述非结构化数据内容分组为数据组进行存储，每个非结构化数据组对应一个时间戳；更新模块，当通过前端模块采集的非结构化数据发生数据更新时，对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致，并更新时间戳；缓存模块，用于将通过传输模块接收的非结构化数据存储在缓存中；判断模块，用于进行时间戳是否一致的判断；该方法包括如下步骤：
(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；
(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；
(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点；
(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组；
(5)第二用户节点通过消息模块接收来自第三用户节点发送的上述复制的指定非结构化数据组的数据请求消息；
(6)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较，判断两个时间戳是否一致；
(6-1)如果两个时间戳一致，则第二用户节点将上述复制的指定非结构化数据组直接进行二次复制并通过传输模块将二次复制的非结构化数据组传输给第三用户节点；
(6-2)如果两个时间戳不一致，则第二用户节点根据用户自定义预设规则对上述复制的指定非结构化数据组处理后通过传输模块将上述处理后的复制的指定非结构化数据组传输给第三用户节点；
其中所述用户自定义预设规则包括下述规则中的一种：(a)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行全量更新；(b)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行增量更新；(c )第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果没有超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组不更新。
(7)第三用户节点接收并在缓存中缓存第二节点设备发送的非结构化数据组。
本发明的有益效果包括：根据时间戳对中间节点的非结构化数据进行一致性判断，并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输，兼顾了数据的实时性和传输速度，更加符合用户特定需求。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明多用户节点间非结构化数据传输方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，一种多用户节点间非结构化数据传输方法，
在一个实施方式中，所述多用户节点处于分布式系统中，在其他实施方式中所述多个用户节点还可以处于云系统中。每个用户节点上设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块。
其中前端模块，用于用户节点上非结构化数据的采集、交互和呈现；协议模块，用于封装所述用户节点与消息模块、传输模块的通信协议；消息模块，用于多线程并发处理消息的接收、处理；数据传输模块，用于非结构化数据文件内容的传输；存储模块，用于将前端模块采集的非结构化数据内容存储在本地数据库中，所述非结构化数据内容分组为数据组进行存储，每个非结构化数据组对应一个时间戳；更新模块，当通过前端模块采集的非结构化数据发生数据更新时，对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致，并更新时间戳；缓存模块，用于将通过传输模块接收的非结构化数据存储在缓存中；判断模块，用于进行时间戳是否一致的判断；该方法包括如下步骤：
(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；
(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；
(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点；
(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组；
(5)第二用户节点通过消息模块接收来自第三用户节点发送的上述复制的指定非结构化数据组的数据请求消息；
(6)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较，判断两个时间戳是否一致；
(6-1)如果指定非结构化数据组复制到第二用户节点后，在第一用户节点中对上述指定非结构化数据组没有进行数据更新，时间戳也没有进行更新，则指定非结构化数据组在第一用户节点中对应的时间戳和复制的非结构化数据组在第二节点中对应的时间戳一致，则第二用户节点将上述复制的指定非结构化数据组直接进行二次复制并通过传输模块将二次复制的非结构化数据组传输给第三用户节点；
(6-2)如果指定非结构化数据组复制到第二用户节点后，在第一用户节点中对上述指定非结构化数据组通过更新模块又进行了数据更新，时间戳也进行更新，则指定非结构化数据组在第一用户节点中对应的时间戳和复制的非结构化数据组在第二节点中对应的时间戳不一致，则第二用户节点根据用户自定义预设规则对上述复制的指定非结构化数据组处理后通过传输模块将上述处理后的复制的指定非结构化数据组传输给第三用户节点；
在一个实施方式中，所述用户自定义预设规则包括：(a)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行全量更新；(b)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行增量更新；(c )第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果没有超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组不更新。
在上述用户自定义预设规则中通过数据差异量阈值的设置，兼顾了数据传输速度和数据实时性，在数据差异没有超过预设阈值时，牺牲了一定的数据实时性来提升了数据传输速度，而在数据差异超过预设阈值时，仍然保证了数据实时性，因此在提高数据传输数度的同时较高程度地保持了数据的实时性。
除了上述用户自定义预设规则外，还可以根据用户的实际需求，设置其他的用户自定义预设规则。由于不同的用户对于数据传输数度和数据实时性有不同的需求，有的用户希望传输速度快、对数据实时性要求不高，而有的用户倾向数据的准确性，能够根据用户的需求进行个性化设置。
(7)第三用户节点接收并在缓存中缓存第二节点设备发送的非结构化数据组。
本发明根据时间戳对中间节点的非结构化数据进行一致性判断，并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输，兼顾了数据的实时性和传输速度，更加符合用户特定需求。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (3)

1.一种多用户节点间非结构化数据传输方法，其特征在于，每个用户节点上设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块、更新模块和判断模块，其中前端模块，用于用户节点上非结构化数据的采集、交互和呈现；协议模块，用于封装所述用户节点与消息模块、数据传输模块的通信协议；消息模块，用于多线程并发处理消息的接收、处理；数据传输模块，用于非结构化数据的传输；存储模块，用于将前端模块采集的非结构化数据存储在本地数据库中，将所述非结构化数据分组为数据组进行存储，每个非结构化数据组对应一个时间戳；更新模块，当通过前端模块采集的非结构化数据发生数据更新时，对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致，并更新时间戳；缓存模块，用于将通过数据传输模块接收的非结构化数据存储在缓存中；判断模块，用于进行时间戳是否一致的判断；该方法包括如下步骤：
(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；
(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；
(3)第一用户节点通过数据传输模块将复制的指定非结构化数据组传输给第二用户节点；
(4)第二用户节点接收并在缓存模块中缓存第一节点设备发送的上述复制的指定非结构化数据组；
(5)第二用户节点通过消息模块接收来自第三用户节点发送的上述复制的指定非结构化数据组的数据请求消息；
(6)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较，判断两个时间戳是否一致；
(6-1)如果两个时间戳一致，则第二用户节点将上述复制的指定非结构化数据组直接进行二次复制并通过数据传输模块将二次复制的非结构化数据组传输给第三用户节点；
(6-2)如果两个时间戳不一致，则第二用户节点根据用户自定义预设规则对上述复制的指定非结构化数据组处理后通过数据传输模块将上述处理后的复制的指定非结构化数据组传输给第三用户节点；
其中所述用户自定义预设规则包括下述规则中的一种：(a)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行全量更新、(b)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行增量更新或(c)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果没有超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组不更新；
(7)第三用户节点接收并在缓存中缓存第二节点设备发送的非结构化数据组。
2.根据权利要求1所述的多用户节点间非结构化数据传输方法，其特征在于，所述多用户节点处于分布式系统中。
3.根据权利要求1所述的多用户节点间非结构化数据传输方法，其特征在于，所述多用户节点处于云系统中。
CN201611209329.4A 2016-12-23 2016-12-23 一种多用户节点间非结构化数据传输方法 Active CN106603687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611209329.4A CN106603687B (zh) 2016-12-23 2016-12-23 一种多用户节点间非结构化数据传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611209329.4A CN106603687B (zh) 2016-12-23 2016-12-23 一种多用户节点间非结构化数据传输方法

Publications (2)

Publication Number Publication Date
CN106603687A CN106603687A (zh) 2017-04-26
CN106603687B true CN106603687B (zh) 2019-03-12

Family

ID=58603407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611209329.4A Active CN106603687B (zh) 2016-12-23 2016-12-23 一种多用户节点间非结构化数据传输方法

Country Status (1)

Country Link
CN (1) CN106603687B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1480858A (zh) * 2002-09-03 2004-03-10 鸿富锦精密工业（深圳）有限公司 非结构化数据同步系统及方法
CN105320755A (zh) * 2015-10-14 2016-02-10 夏君 一种安全高速数据传输方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140195449A1 (en) * 2004-06-18 2014-07-10 Glenbrook Networks System and method for automatic building of business contacts temporal social network using corporate emails and internet

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1480858A (zh) * 2002-09-03 2004-03-10 鸿富锦精密工业（深圳）有限公司 非结构化数据同步系统及方法
CN105320755A (zh) * 2015-10-14 2016-02-10 夏君 一种安全高速数据传输方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"非结构化数据存储管理研究";张孝 等;《科研信息化技术与应用》;20130131;第4卷(第1期);第30-40页

Also Published As

Publication number Publication date
CN106603687A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
KR101844522B1 (ko) 메모리 액세스 처리 방법 및 장치 그리고 시스템
WO2017097011A1 (zh) 基于集群节点间即时拷贝的会话同步方法
CN104811493B (zh) 一种网络感知的虚拟机镜像存储系统及读写请求处理方法
CN104239417A (zh) 一种分布式数据库数据分片后动态调整方法及装置
CN103780682B (zh) 一种面向Ad Hoc网络的信息共享系统
JP2008537619A5 (zh)
CN108540556A (zh) 一种基于高速缓存的精细化Session集群共享系统及方法
CN108614847B (zh) 一种数据的缓存方法及系统
CN108881444A (zh) 一种内容流行度分布不一致的雾无线接入网非同步编码缓存方法
CN108616455A (zh) 一种单机堆叠系统的路由同步方法
CN106603687B (zh) 一种多用户节点间非结构化数据传输方法
CN106354775A (zh) 一种基于自定义字段的数据动态配置系统及配置方法
JP5609584B2 (ja) シェーピング装置及び方法
CN109607341A (zh) 基于区块链的电梯运转信息管理系统
CN106855869A (zh) 一种实现数据库高可用的方法、装置和系统
CN102075584B (zh) 一种分布式文件系统及其访问方法
US9767023B2 (en) Method of controlling data writing to persistent storage device
CN107707621A (zh) 一种实现智能缓存的方法及装置
CN103581119B (zh) 一种生产过程数据高速显示系统及方法
CN108241636A (zh) 一种多用户节点间非结构化数据复制方法
CN105656814B (zh) 一种sdn网络转发系统与方法
CN108241635A (zh) 一种多用户节点间非结构化数据转发方法
CN108241637A (zh) 一种多用户节点间数据传输系统
CN103618680B (zh) 一种eps系统中基于承载分层的tft维护方法
CN106254540B (zh) 一种适用于分布式系统的节点服务监控系统及实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant after: Zhongke Star Map Co., Ltd.

Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing

Applicant before: Space Star Technology (Beijing) Co., Ltd.

GR01 Patent grant
GR01 Patent grant