CN102480505A - 数据增量传输方法及装置 - Google Patents
数据增量传输方法及装置 Download PDFInfo
- Publication number
- CN102480505A CN102480505A CN2010105657488A CN201010565748A CN102480505A CN 102480505 A CN102480505 A CN 102480505A CN 2010105657488 A CN2010105657488 A CN 2010105657488A CN 201010565748 A CN201010565748 A CN 201010565748A CN 102480505 A CN102480505 A CN 102480505A
- Authority
- CN
- China
- Prior art keywords
- data
- timestamp
- receiving terminal
- transmission
- transmission ends
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000000463 material Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000012467 final product Substances 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明揭示了一种数据增量传输方法及装置。该方法包括步骤：在数据传输时，将接收端数据的时间戳与传输端数据的时间戳进行比较；当所述接收端数据的时间戳小于传输端数据的时间戳时，启动所述数据传输。上述数据增量传输方法及装置，在接收端记录上次数据传输的时间戳，再次传输时，只需检测服务器中该最大时间戳后更改或新增的数据来传输，大大减少了传输的数据量，并且，无需对已传输的数据进行检测；提高了数据传输的效率。
Description
技术领域
本发明涉及到数据传输领域，特别涉及到一种数据增量传输方法及装置。
背景技术
现有技术中，数据的传输一般采用非增量传输方式，比如追加模式以及覆盖模式。上述两种模式都需要检测所有已传输的数据；检测完成后，追加模式对于接收方已经存在(根据代码相同等判断)的数据就不再传输；而覆盖模式传输，则会把已存在的数据更改掉。
上述采用非增量传输方式进行数据传输，都需要把所有已传输的数据都检测甚至传输，比较耗费时间。
发明内容
本发明的主要目的为提供一种数据增量传输方法及装置，提升了数据传输的效率。
本发明提出一种数据增量传输方法，包括步骤：
在数据传输时，将接收端数据的时间戳与传输端数据的时间戳进行比较；
当所述接收端数据的时间戳小于传输端数据的时间戳时，启动所述数据传输。
优选地，所述方法还包括：
数据在传输端形成时，生成时间戳；
在传输端传输数据至接收端时，将数据与生成的时间戳一并传输。
优选地，所述方法还包括：
分别在传输端以及接收端建立时间戳文件，保存数据的时间戳记录。
优选地，所述时间戳记录为最大时间戳记录。
优选地，所述接收端数据的时间戳作为传入参数传送至传输端。
本发明还提出一种数据增量传输装置，包括：
比较模块，用于在数据传输时，将接收端数据的时间戳与传输端数据的时间戳进行比较；
启动模块，用于当所述接收端数据的时间戳小于传输端数据的时间戳时，启动所述数据传输。
优选地，所述装置还包括：
时间戳生成模块，用于数据在传输端形成时，生成时间戳；
时间戳传送模块，用于在传输端传输数据至接收端时，将数据与生成的时间戳一并传输。
优选地，所述装置还包括：
时间戳文件建立模块，用于分别在传输端以及接收端建立时间戳文件，保存数据的时间戳记录。
优选地，所述时间戳记录为最大时间戳记录。
优选地，所述接收端数据的时间戳作为传入参数传送至传输端。
本发明的数据增量传输方法及装置，在接收端记录上次数据传输的时间戳，再次传输时，只需检测服务器中该最大时间戳后更改或新增的数据来传输，大大减少了传输的数据量，并且，无需对已传输的数据进行检测；减少了数据传输时间，提高了数据传输的效率。
附图说明
图1是本发明数据增量传输方法一实施例的步骤流程示意图；
图2是本发明数据增量传输方法一实施例的另一步骤流程示意图；
图3是本发明数据增量传输装置一实施例的结构示意图；
图4是本发明数据增量传输装置一实施例的另一结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，提出本发明一实施例的一种数据增量传输方法。该数据增量传输方法包括：
步骤S10、在数据传输时，将接收端数据的时间戳与传输端数据的时间戳进行比较；
步骤S11、当上述接收端数据的时间戳小于传输端数据的时间戳时，启动上述数据传输。
以下以服务器(传输端)与客户端(接收端)之间的数据传输为例，详细说明上述数据增量传输方法。
假设将服务器的数据传送至客户端，首先可以在服务器上建立一个时间戳文件，保存数据的时间戳记录。该数据可以包括物料数据、供应商数据以及客户数据等。该时间戳记录可以为最大时间戳值的记录，即最后一次更新的时间戳记录。
在客户端从服务器下载上述数据时，服务器将上述时间戳文件中保存的最大时间戳值的记录，与数据一并传送至客户端。该客户端可在本地建立一个客户端的时间戳文件，记录服务器传送的最大时间戳值。
在上述客户端再次从服务器下载数据，且选择了增量传输时，则可首先从各自的时间戳文件中，获取同一类型数据的最大时间戳值进行比较。在客户端数据的最大时间戳值小于服务器相应数据的最大时间戳值时，客户端下载该服务器的相应数据。比如，上述客户端需要向服务器下载客户数据时，先从时间戳文件中获取其客户数据的最大时间戳值，与服务器中客户数据的最大时间戳值进行比较；在客户端的最大时间戳值小于该服务器的最大时间戳值时，该客户端从服务器下载客户数据；否则不下载服务器的客户数据。
其中，上述客户端的最大时间戳值，可作为传入参数传送至服务器，以进行最大时间戳值的比较。
上述数据增量传输方法，在客户端(接收端)记录上次数据传输的时间戳(最大时间戳)，再次传输时，只需检测服务器中该最大时间戳后更改或新增的数据来传输(下载)，大大减少了传输的数据量，提高了数据传输的效率；并且，无需对已传输(下载)的数据进行检测。
参照图2，上述数据增量传输方法，在步骤S10之前还包括：
步骤S101、数据在传输端形成时，生成时间戳；
步骤S102、在传输端传输数据至接收端时，将数据与生成的时间戳一并传输。
在上述服务器更新物料数据、供应商数据以及客户数据等数据后，分别生成物料数据时间戳、供应商数据时间戳以及客户数据时间戳等。如果上述物料数据、供应商数据以及客户数据等是首次置入服务器，则在首次置入时生成相应的时间戳。并在服务器与客户端传输数据时，将数据对应的时间戳与数据一并传送。并可分别在传输端以及接收端建立时间戳文件，保存数据对应的时间戳记录。
比如，可在客户端(接收端)建立时间戳文件，记录所有基础资料数据(如物料数据、供应商数据以及客户数据等)的时间戳。刚新建的时间戳文件可以没有对应值，在接收服务器传输数据后，将对应的基础资料数据的最大时间戳记录在该时间戳文件中。
再次传输数据时，选择该时间戳文件，即可用该时间戳文件里记录的基础资料数据对应的最大时间戳作为过滤条件，过滤出这个时间点以后新增或修改的基础资料数据进行接收。在每个基础资料数据的数据表，需要增加时间戳列。
上述数据增量传输方法，可应用在多个数据库实体开始数据同步的时候，特别是数据量非常大时，通过时间戳过滤，后续某数据库实体数据有少量修改或增加，可用增量传输进行数据同步即可，减少传输时间。
参照图3，提出本发明一实施例的一种数据增量传输装置。该数据增量传输装置包括：
比较模块21，用于在数据传输时，将接收端数据的时间戳与传输端数据的时间戳进行比较；
启动模块22，用于当上述接收端数据的时间戳小于传输端数据的时间戳时，启动上述数据传输。
以下以服务器(传输端)与客户端(接收端)之间的数据传输为例，详细说明上述数据增量传输装置。
假设将服务器的数据传送至客户端，首先可以在服务器上建立一个时间戳文件，保存数据的时间戳记录。该数据可以包括物料数据、供应商数据以及客户数据等。该时间戳记录可以为最大时间戳值的记录，即最后一次更新的时间戳记录。
在客户端从服务器下载上述数据时，服务器将上述时间戳文件中保存的最大时间戳值的记录，与数据一并传送至客户端。该客户端可在本地建立一个客户端的时间戳文件，记录服务器传送的最大时间戳值。
在上述客户端再次从服务器下载数据，且选择了增量传输时，则可首先从各自的时间戳文件中，获取同一类型数据的最大时间戳值通过比较模块21进行比较。在客户端数据的最大时间戳值小于服务器相应数据的最大时间戳值时，利用启动模块22启动客户端下载该服务器的相应数据。比如，上述客户端需要向服务器下载客户数据时，先从时间戳文件中获取其客户数据的最大时间戳值，与服务器中客户数据的最大时间戳值进行比较；在客户端的最大时间戳值小于该服务器的最大时间戳值时，该客户端从服务器下载客户数据；否则不下载服务器的客户数据。
其中，上述客户端的最大时间戳值，可作为传入参数传送至服务器，以进行最大时间戳值的比较。
上述数据增量传输装置，在客户端(接收端)记录上次数据传输的时间戳(最大时间戳)，再次传输时，只需检测服务器中该最大时间戳后更改或新增的数据来传输(下载)，大大减少了传输的数据量，提高了数据传输的效率；并且，无需对已传输(下载)的数据进行检测。
参照图4，上述装置还包括：
时间戳生成模块23，用于数据在传输端形成时，生成时间戳；
时间戳传送模块24，用于在传输端传输数据至接收端时，将数据与生成的时间戳一并传输。
上述装置还包括：时间戳文件建立模块25，用于分别在传输端以及接收端建立时间戳文件，保存数据的时间戳记录。
在上述服务器更新物料数据、供应商数据以及客户数据等数据后，通过时间戳文件建立模块25，分别生成物料数据时间戳、供应商数据时间戳以及客户数据时间戳等。如果上述物料数据、供应商数据以及客户数据等是首次置入服务器，则在首次置入时生成相应的时间戳。并在服务器与客户端传输数据时，将数据对应的时间戳与数据一并传送。并可分别在传输端以及接收端建立时间戳文件，保存数据对应的时间戳记录。
比如，可在客户端(接收端)建立时间戳文件，记录所有基础资料数据(如物料数据、供应商数据以及客户数据等)的时间戳。刚新建的时间戳文件可以没有对应值，在接收服务器传输数据后，将对应的基础资料数据的最大时间戳记录在该时间戳文件中。
再次传输数据时，选择该时间戳文件，即可用该时间戳文件里记录的基础资料数据对应的最大时间戳作为过滤条件，过滤出这个时间点以后新增或修改的基础资料数据进行接收。在每个基础资料数据的数据表，需要增加时间戳列。
上述数据增量传输装置，可应用在多个数据库实体开始数据同步的时候，特别是数据量非常大时，通过时间戳过滤，后续某数据库实体数据有少量修改或增加，可用增量传输进行数据同步即可，减少传输时间。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据增量传输方法，其特征在于，包括步骤：
在数据传输时，将接收端数据的时间戳与传输端数据的时间戳进行比较；
当所述接收端数据的时间戳小于传输端数据的时间戳时，启动所述数据传输。
2.根据权利要求1所述的数据增量传输方法，其特征在于，所述方法还包括：
数据在传输端形成时，生成时间戳；
在传输端传输数据至接收端时，将数据与生成的时间戳一并传输。
3.根据权利要求1或2所述的数据增量传输方法，其特征在于，所述方法还包括：
分别在传输端以及接收端建立时间戳文件，保存数据的时间戳记录。
4.根据权利要求3所述的数据增量传输方法，其特征在于，所述时间戳记录为最大时间戳记录。
5.根据权利要求1或2所述的数据增量传输方法，其特征在于，所述接收端数据的时间戳作为传入参数传送至传输端。
6.一种数据增量传输装置，其特征在于，包括：
比较模块，用于在数据传输时，将接收端数据的时间戳与传输端数据的时间戳进行比较；
启动模块，用于当所述接收端数据的时间戳小于传输端数据的时间戳时，启动所述数据传输。
7.根据权利要求6所述的数据增量传输装置，其特征在于，所述装置还包括：
时间戳生成模块，用于数据在传输端形成时，生成时间戳；
时间戳传送模块，用于在传输端传输数据至接收端时，将数据与生成的时间戳一并传输。
8.根据权利要求6或7所述的数据增量传输装置，其特征在于，所述装置还包括：
时间戳文件建立模块，用于分别在传输端以及接收端建立时间戳文件，保存数据的时间戳记录。
9.根据权利要求8所述的数据增量传输装置，其特征在于，所述时间戳记录为最大时间戳记录。
10.根据权利要求6或7所述的数据增量传输装置，其特征在于，所述接收端数据的时间戳作为传入参数传送至传输端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105657488A CN102480505A (zh) | 2010-11-30 | 2010-11-30 | 数据增量传输方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105657488A CN102480505A (zh) | 2010-11-30 | 2010-11-30 | 数据增量传输方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102480505A true CN102480505A (zh) | 2012-05-30 |
Family
ID=46092985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010105657488A Pending CN102480505A (zh) | 2010-11-30 | 2010-11-30 | 数据增量传输方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102480505A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103326929A (zh) * | 2013-06-24 | 2013-09-25 | 北京小米科技有限责任公司 | 一种消息传输方法和装置 |
| CN105224326A (zh) * | 2015-09-30 | 2016-01-06 | 北京恒华伟业科技股份有限公司 | 一种系统代码的增量部署方法及装置 |
| CN106936870A (zh) * | 2015-12-29 | 2017-07-07 | 北京广联达正源兴邦科技有限公司 | 网络数据共享平台、共享方法和共享系统 |
| CN107154834A (zh) * | 2017-04-12 | 2017-09-12 | 重庆知行地理信息咨询服务有限公司 | 一种cad、gis、swmm数据协同传输和组织管理方法 |
| CN109191121A (zh) * | 2018-08-07 | 2019-01-11 | 扬州油软网络科技有限公司 | 一种基于车牌识别与触屏加油机的收银方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101127915A (zh) * | 2007-09-20 | 2008-02-20 | 中兴通讯股份有限公司 | 一种基于增量式的电子节目导航数据同步方法及系统 |
| CN101242356A (zh) * | 2007-12-06 | 2008-08-13 | 中兴通讯股份有限公司 | Iptv系统中内存数据库的实现方法及iptv系统 |
| CN101453451A (zh) * | 2007-12-07 | 2009-06-10 | 北京闻言科技有限公司 | 一种增量下载数据的方法 |
| US20100138483A1 (en) * | 2008-11-28 | 2010-06-03 | Hitoshi Oitaira | Data Reception Device, Data Transmission Device, and Data Distribution Method |
-
2010
- 2010-11-30 CN CN2010105657488A patent/CN102480505A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101127915A (zh) * | 2007-09-20 | 2008-02-20 | 中兴通讯股份有限公司 | 一种基于增量式的电子节目导航数据同步方法及系统 |
| CN101242356A (zh) * | 2007-12-06 | 2008-08-13 | 中兴通讯股份有限公司 | Iptv系统中内存数据库的实现方法及iptv系统 |
| CN101453451A (zh) * | 2007-12-07 | 2009-06-10 | 北京闻言科技有限公司 | 一种增量下载数据的方法 |
| US20100138483A1 (en) * | 2008-11-28 | 2010-06-03 | Hitoshi Oitaira | Data Reception Device, Data Transmission Device, and Data Distribution Method |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103326929A (zh) * | 2013-06-24 | 2013-09-25 | 北京小米科技有限责任公司 | 一种消息传输方法和装置 |
| CN103326929B (zh) * | 2013-06-24 | 2017-02-08 | 小米科技有限责任公司 | 一种消息传输方法和装置 |
| CN105224326A (zh) * | 2015-09-30 | 2016-01-06 | 北京恒华伟业科技股份有限公司 | 一种系统代码的增量部署方法及装置 |
| CN106936870A (zh) * | 2015-12-29 | 2017-07-07 | 北京广联达正源兴邦科技有限公司 | 网络数据共享平台、共享方法和共享系统 |
| CN107154834A (zh) * | 2017-04-12 | 2017-09-12 | 重庆知行地理信息咨询服务有限公司 | 一种cad、gis、swmm数据协同传输和组织管理方法 |
| CN107154834B (zh) * | 2017-04-12 | 2018-11-13 | 重庆大学 | 一种cad、gis、swmm数据协同传输和组织管理方法 |
| CN109191121A (zh) * | 2018-08-07 | 2019-01-11 | 扬州油软网络科技有限公司 | 一种基于车牌识别与触屏加油机的收银方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103036956B (zh) | 一种分布式组态化海量数据归档系统及实现方法 | |
| CN102480505A (zh) | 数据增量传输方法及装置 | |
| CN104123149B (zh) | 软件升级方法、装置、客户端及系统 | |
| CN105094875A (zh) | 一种软件升级方法及装置 | |
| CN102737065A (zh) | 数据的获取方法和装置 | |
| CN101459528A (zh) | 一种网络终端设备在线升级方法及在线升级系统 | |
| CN101355590B (zh) | 下载提示方法、系统及装置 | |
| CN104144466A (zh) | 物联网中传感器接入方法、物联网系统和服务器 | |
| CN105183496A (zh) | 一种基于国产cpu和操作系统的软件自动升级和推送方法 | |
| CN102611688B (zh) | 终端pos装置黑名单数据远程更新方法 | |
| CN104504006A (zh) | 对新闻客户端的数据采集及解析的方法及系统 | |
| CN102480520A (zh) | 一种基于差量元数据描述性结构的媒体数据同步方法 | |
| CN106020891A (zh) | 页面加载的方法和装置 | |
| CN105446975A (zh) | 一种文件打包方法及装置 | |
| CN106897052B (zh) | Apk文件压缩方法及装置 | |
| CN102377821A (zh) | 网络终端设备的版本智能更新方法和装置 | |
| CN101645031A (zh) | 一种动态按时间输出日志文件的方法 | |
| CN105718569A (zh) | 复合文档的上传方法、装置及系统 | |
| CN103702354A (zh) | 基站工程参数采集和解析方法 | |
| CN104424188A (zh) | 对获取的网页数据进行更新的系统及方法 | |
| CN102685155B (zh) | 内容传送的方法、内容传送服务器及内容传送代理服务器 | |
| CN101635742A (zh) | 下载方法和装置 | |
| CN101540110A (zh) | 多版本交通位置参考下的交通信息匹配处理方法及装置 | |
| CN103532595A (zh) | 基于电力载波的电力设备软体升级方法 | |
| CN104301352A (zh) | 双卡终端的适配方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120530 |