CN108241693B - 同步数据的方法和装置 - Google Patents

同步数据的方法和装置 Download PDF

Info

Publication number
CN108241693B
CN108241693B CN201611220559.0A CN201611220559A CN108241693B CN 108241693 B CN108241693 B CN 108241693B CN 201611220559 A CN201611220559 A CN 201611220559A CN 108241693 B CN108241693 B CN 108241693B
Authority
CN
China
Prior art keywords
data synchronization
waiting time
data
synchronization request
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611220559.0A
Other languages
English (en)
Other versions
CN108241693A (zh
Inventor
张�雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201611220559.0A priority Critical patent/CN108241693B/zh
Publication of CN108241693A publication Critical patent/CN108241693A/zh
Application granted granted Critical
Publication of CN108241693B publication Critical patent/CN108241693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种同步数据的方法和装置。其中，该方法包括：获取数据同步任务的状态信息；如果数据同步任务的状态信息为未完成状态，则发送数据同步请求；获取注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间；根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；根据注册账户的访问频率访问媒体资源，以便根据所述请求下载的数据类型进行数据下载。本发明解决了现有技术在同步数据时没有合理请求任务的策略的技术问题。

Description

同步数据的方法和装置
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种同步数据的方法和装置。
背景技术
目前，数据同步程序自动从搜索引擎，例如：百度、搜狗、360、神马等同步用户投放广告的物料数据和前一天消费数据。其中，搜索引擎提供给数据同步程序访问的API是基于Http协议的WebAPI或者WebService，使得数据同步程序为客户端去访问搜索引擎的API获取搜索引擎营销的相关数据。
在现有技术中，数据同步程序根据账户信息调用媒体API(ApplicationProgramming Interface,应用程序编程接口)获取要下载数据，媒体同时自动创建一个请求下载的任务，并把任务的ID反馈给数据同步程序。数据同步程序根据任务的ID访问媒体API获取任务的状态；其中，请求媒体API获取任务的状态时，如果有错误或者媒体数据准备未就绪时，数据同步程序根据向媒体API发送三次请求，每次请求之间间隔3秒，如果三次数据请求都失败，则数据同步程序抛出异常并提示本次下载失败的信息；如果任务状态未完成或者任务发生异常时，数据同步程序一直向媒体API循环请求直到任务状态成功为止，每次请求时间的间隔为1秒。
由于账户之间的物料数据和消费数据的数据量可能有很大差异，所以媒体API在接收到数据同步程序的请求任务时生成数据消耗时间不相同；其中，针对物料数据大和消费数据大的账户，可能会出现同步错误的情况而且出现网络问题或者媒体API接口异常，数据同步程序反馈的任务状态是未完成状态，从而数据同步程序将会一直处在循环之中；按照每次请求时间间隔为1秒，因为请求次数太频繁，服务器就会访问阻塞。媒体API检测出数据同步程序太频繁的访问，也可能将访问的IP出现进行封杀。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种同步数据的方法和装置，以至少解决现有技术在同步数据时没有合理请求任务的策略的技术问题。
根据本发明实施例的一个方面，提供了一种同步数据的方法，包括：获取数据同步任务的状态信息；如果数据同步任务的状态信息为未完成状态，则发送数据同步请求；其中，数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；获取注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间，数据同步请求等待时间指发起数据同步请求到当前时刻所经过的时间；根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；根据注册账户的访问频率访问媒体资源，以便根据请求下载的数据类型进行数据下载。
进一步地，根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率，包括：比较数据同步请求等待时间和历史等待时间的大小；如果数据同步请求等待时间小于历史等待时间，则确定第一频率为注册账户的访问频率，第一频率的取值大于零、且小于最大访问频率，且第一频率随数据同步请求等待时间的增加而逐步增大；如果数据同步请求等待时间等于历史等待时间，则确定最大访问频率为注册账户的访问频率；如果数据同步请求等待时间小于历史等待时间，则确定第二频率为注册账户的访问频率，第二频率的取值大于零、且小于最大访问频率，且第二频率随数据同步请求等待时间的增加而逐步减少。
进一步地，第一频率与数据同步请求等待时间成正比，第二频率与数据同步请求等待时间成反比。
进一步地，在发送数据同步请求后，方法还包括：对数据同步请求等待时间进行计时；如果数据同步请求等待时间超过预设时间阈值，则停止访问媒体资源，并输出数据同步失败的提示信息。
进一步地，在获取数据同步任务的状态信息之前，方法还包括：获取数据同步任务对应的ID，以便根据ID获取数据同步任务的状态信息。
根据本发明实施例的另一方面，还提供了一种同步数据的装置，包括：第一获取模块，用于获取数据同步任务的状态信息；发送模块，用于如果数据同步任务的状态信息为未完成状态，则发送数据同步请求；其中，数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；第二获取模块，用于获取注册账户进行数据同步的历史等待时间；第三获取模块，用于获取数据同步请求等待时间，数据同步请求等待时间指发起数据同步请求到当前时刻所经过的时间；确定模块，用于根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；访问模块，根据注册账户的访问频率访问媒体资源，以便根据请求下载的数据类型进行数据下载。
进一步地，确定模块包括：比较模块，用于比较数据同步请求等待时间和历史等待时间的大小；第一确定模块，用于如果数据同步请求等待时间小于历史等待时间，则确定第一频率为注册账户的访问频率；其中，第一频率的取值大于零、且小于最大访问频率，且第一频率随数据同步请求等待时间的增加而逐步增大；第二确定模块，用于如果数据同步请求等待时间等于历史等待时间，则确定最大访问频率为注册账户的访问频率；第三确定模块，用于如果数据同步请求等待时间小于历史等待时间，则确定第二频率为注册账户的访问频率；其中，第二频率的取值大于零、且小于最大访问频率，且第二频率随数据同步请求等待时间的增加而逐步减少。
进一步地，第一频率与数据同步请求等待时间成正比，第二频率与数据同步请求等待时间成反比。
进一步地，第三获取模块还包括：计时模块,用于对数据同步请求等待时间进行计时；处理模块,用于如果数据同步请求等待时间超过预设时间阈值，则停止访问媒体资源，并输出数据同步失败的提示信息。
进一步地，第一获取模块还包括：第四获取模块,用于获取数据同步任务对应的ID，以便根据ID获取数据同步任务的状态信息。
在本发明实施例中，采用获取数据同步任务的状态信息；如果数据同步任务的状态信息为未完成状态，则发送数据同步请求，其中，数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；获取注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间，数据同步请求等待时间指发起数据同步请求到当前时刻所经过的时间；根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；根据注册账户的访问频率访问媒体资源，以便根据请求下载的数据类型进行数据下载，达到了在下载数据时自动配置循环等待的次数和每次请求媒体API的时间间隔的目的，从而实现了请求下载较大物料数据和较大消费数据时避免超时失败、请求死循环和频繁访问媒体API的技术效果，进而解决了现有技术在同步数据时没有合理请求任务的策略的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种同步数据的处理方法流程图；
图2是根据本发明实施例的一种发送同步数据的访问频率与当前的数据同步请求等待时间关系图；
图3是根据本发明实施例的一种可选的同步数据的处理方法中的部分流程图；
图4是根据本发明实施例的一种可选的同步数据的处理方法中的部分流程图；以及
图5是根据本发明实施例的一种可选的同步数据的装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种同步数据的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种同步数据的处理方法流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取数据同步任务的状态信息。
具体地，在上述步骤中，根据数据同步任务对应的ID将状态信息可以分为完成和未完成两个任务状态。
步骤S104，如果数据同步任务的状态信息为未完成状态，则发送数据同步请求；其中，数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型。
具体地，在上述步骤中，数据可以是注册账户在搜索引擎所在的平台中投放预定数据(例如广告)的物料数据和消费数据，上述物料数据包括：广告的关键字；上述消费数据包括：注册账户每天在搜索引擎所在的平台上投放的广告的显示次数、点击次数和消费金额；上述账户信息包括账户名称；请求的数据类型包括：物料数据和消费数据；其中，物料数据是指注册账户在搜索引擎所在的平台中投放预定数据(例如广告)进行物料投放的数据；消费数据是指注册账户在搜索引擎所在的平台中投放预定数据(例如广告)进行消费的数据。
在一种可选的实施例中，注册账户A通过数据同步程序发送同步消费数据的请求a，其中，注册账户A的账户信息包括：账户名称可以为北京国双科技有限公司；下载请求的数据类型为消费数据。
步骤S106，获取注册账户进行数据同步的历史等待时间。
具体地，根据数据同步程序发动请求的数据类型自动创建一个请求下载的任务，通过数据同步程序把注册账户同步数据的历史等待时间返回到注册账户；其中，上述历史等待时间为以往成功下载相同数据类型的数据所需的等待时间。
在一种可选的实施例中，获取到注册账户A同步消费数据的历史等待时间为9秒。
步骤S108，获取数据同步请求等待时间，数据同步请求等待时间指发起数据同步请求到当前时刻所经过的时间。
步骤S110，根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率。
具体地，如果当前的数据同步请求等待时间小于历史等待时间的时间段，则以第一访问频率请求下载数据，其中，第一访问频率与数据同步请求等待时间成正比；如果当前的数据同步请求等待时间等于历史等待时间，则注册账户的访问频率达到最大值；如果当前的数据同步请求等待时间大于等于历史等待时间，则以第二访问频率请求下载数据，其中，第二访问频率与当前的数据同步请求等待时间成反比。
在一种可选的实施例中，在根据注册账户A同步消费数据的历史等待时间可以为9秒，注册账户A当前的数据同步请求等待时间可以为18秒的示例中，由于注册账户当前的数据同步请求等待时间小于历史等待时间，因此，当前的数据同步请求等待时间在0秒到9秒的范围之内时，发送同步数据的访问频率与数据同步请求等待时间成正比，当前的数据同步请求等待时间等于历史等待时间为9秒时，则注册账户的访问频率达到最大值；当前的数据同步请求等待时间在10秒到18秒的范围之内，向服务发送同步数据的访问频率与当前请求任务的时间成反比；如图2所示，同步数据程序向服务发送同步数据的访问频率与当前的数据同步请求等待时间关系。
具体地，在图2中中横坐标表示当前的数据同步请求等待时间，纵坐标表示同步数据程序发送同步数据的访问频率，t0表示注册账户A同步消费数据的历史等待时间为9秒,t1表示注册账户当前的数据同步请求可以为18秒的阶段；在0～t0的范围之内，发送同步数据的访问频率随着当前的数据同步请求等待时间增加而递增，在t0时刻，同步数据程序发送同步数据的访问频率达到最大值；在t0～t1的范围之内，发送同步数据的访问频率随着当前的数据同步请求等待时间增加而递减。
步骤S112，根据注册账户的访问频率访问媒体资源，以便根据请求下载的数据类型进行数据下载。
具体的，请求下载的数据类型包括：物料数据和消费数据；其中，物料数据是指注册账户在搜索引擎所在的平台中投放预定数据(例如广告)进行物料投放的数据；消费数据是指注册账户在搜索引擎所在的平台中投放预定数据(例如广告)进行消费的数据。
在一种可选的实施例中，注册账户A通过数据同步程序发送同步消费数据的请求a，下载请求的数据类型为消费数据。
本发明上述步骤S102至步骤S112所公开的方案中，在本发明实施例中，采用获取数据同步任务的状态信息；如果数据同步任务的状态信息为未完成状态，则发送数据同步请求，其中，数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；获取注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间，数据同步请求等待时间指发起数据同步请求到当前时刻所经过的时间；根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；根据注册账户的访问频率访问媒体资源，以便根据请求下载的数据类型进行数据下载，达到了在下载数据时自动配置循环等待的次数和每次请求媒体API的时间间隔的目的，从而实现了请求下载较大物料数据和较大消费数据时避免超时失败、请求死循环和频繁访问媒体API的技术效果，进而解决了现有技术在同步数据时没有合理请求任务的策略的技术问题。
在一种可选的实施例中，如图3所示，根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率，可以通过如下步骤来实现：
步骤S302，比较数据同步请求等待时间和历史等待时间的大小。
步骤S304，如果数据同步请求等待时间小于历史等待时间，则确定第一频率为注册账户的访问频率；其中，第一频率的取值大于零、且小于最大访问频率，且第一频率随数据同步请求等待时间的增加而逐步增大。
步骤S306，如果数据同步请求等待时间等于历史等待时间，则确定最大访问频率为注册账户的访问频率。
步骤S308，如果数据同步请求等待时间小于历史等待时间，则确定第二频率为注册账户的访问频率；其中，第二频率的取值大于零、且小于最大访问频率，且第二频率随数据同步请求等待时间的增加而逐步减少。
在上述步骤S302至步骤S308公开的方案中，第一频率和第二频率是指注册账户通过数据同步程序发送同步数据访问的频率。
此处需要说明的是，注册账户A当前的数据同步请求等待时间可以为18秒的阶段，因为注册账户当前数据同步请求等待时间小于历史等待时间，在当前数据同步请求等待时间在1秒至9秒的范围内，则发送同步数据的访问频率与当前数据同步请求等待时间成正比，当前数据同步请求等待时间达到历史等待时间9秒时，则注册账户发送同步数据的访问频率达到最大值；在当前数据同步请求等待时间在10秒至18秒的范围内，则发送同步数据的访问频率与当前数据同步请求等待时间成反比。
通过上述实施例步骤S302至步骤S308达到了在下载数据时自动配置循环等待的次数和每次请求媒体API的时间间隔的目的。
在一种可选的实施例中，第一频率与数据同步请求等待时间成正比，第二频率与数据同步请求等待时间成反比。
在上述步骤中，第一频率与数据同步请求等待时间成正比可以指随着当前的数据同步请求等待时间增加逐步提高发送同步数据的访问频率；第二频率与数据同步请求等待时间成反比可以指随着当前的数据同步请求等待时间增加逐步降低发送同步数据的访问频率。
在一种可选的实施例中，如图4所示，在发送数据同步请求后，还可以执行如下步骤：
步骤S402，对数据同步请求等待时间进行计时。
步骤S404，如果数据同步请求等待时间超过预设时间阈值，则停止访问媒体资源，并输出数据同步失败的提示信息。
具体的，上述预设时间的阈值为历史等待时间的两倍。
此处需要说明的，如果注册账户A数据同步请求等待时间超过预设时间18秒，则数据同步程序停止访问媒体资源，输出数据同步失败的提示信息。
在一种可选的实施例中，在获取数据同步任务的状态信息之前，方法还包括：获取数据同步任务对应的ID，以便根据ID获取数据同步任务的状态信息。
此处需要说明的是，获取数据同步任务对应的ID可以为0002，数据同步任务的状态信息可以为未完成。
综上可知，本发明实施例提供的方案可以实现请求下载较大物料数据和较大消费数据时避免超时失败、请求死循环和频繁访问媒体API的技术效果，达到在下载数据时自动配置循环等待的次数和每次请求媒体API的时间间隔的目的，进而解决了现有技术在同步数据时没有合理请求任务的策略的技术问题。
实施例2
根据本发明实施例，还提供了一种同步数据的处理装置实施例。本发明实施例1中的同步数据的处理方法可以在本发明实施例2的处理装置中执行。
图5是根据本发明实施例的一种同步数据的处理装置的结构示意图，该装置包括：第一获取模块501，发送模块503，第二获取模块505，第三获取模块507，确定模块509，访问模块511。
其中，第一获取模块501，用于获取数据同步任务的状态信息；发送模块503，用于如果数据同步任务的状态信息为未完成状态，则发送数据同步请求，其中，数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；第二获取模块505，用于获取注册账户进行数据同步的历史等待时间；第三获取模块507，用于获取数据同步请求等待时间，数据同步请求等待时间指发起数据同步请求到当前时刻所经过的时间；确定模块509，用于根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；访问模块511，根据注册账户的访问频率访问媒体资源，以便根据请求下载的数据类型进行数据下载。
上述第一获取模块501，对应于实施例1中步骤S102；根据数据同步任务对应的ID将状态信息可以分为完成和未完成两个任务状态。
上述发送模块503，对应实施例1中步骤S104；数据可以是注册账户在搜索引擎投放广告的物料数据和消费数据，上述物料数据包括：广告的关键字；上述消费数据包括：注册账户每天在搜索引擎上投放广告的显示次数、点击次数和消费金额；上述账户信息包括账户名称；请求的数据类型包括：物料数据和消费数据。
此处需要说明的是，第二获取模块505中对应于实施例1中步骤S106；注册账户A通过数据同步程序发送同步消费数据的请求a，其中，注册账户A的账户信息包括：账户名称可以为北京国双科技有限公司；下载请求的数据类型为消费数据。
第三获取模块507，根据数据同步程序发动请求的数据类型自动创建一个请求下载的任务，通过数据同步程序把注册账户同步数据的历史等待时间返回至客户端上的注册账户；其中，上述历史等待时间为以往成功下载相同数据类型的数据所需的等待时间。
此处需要说明的是，第三获取模块507对应于实施例1中的步骤S108；获取到服务器中存储的注册账户A同步消费数据的历史等待时间为9秒。
上述确定模块509，用于如果当前的数据同步请求等待时间小于历史等待时间的时间段，则以第一访问频率请求下载数据，其中，第一访问频率与数据同步请求等待时间成正比；如果当前的数据同步请求等待时间等于历史等待时间，则注册账户的访问频率达到最大值；如果当前的数据同步请求等待时间大于等于历史等待时间，则以第二访问频率请求下载数据，其中，第二访问频率与当前的数据同步请求等待时间成反比。
此处需要说明的是，确定模块509对应于实施例1中的步骤S110；在根据注册账户A同步消费数据的历史等待时间可以为9秒，注册账户A当前的数据同步请求等待时间的预设时间可以为18秒的示例中，由于注册账户当前的数据同步请求等待时间小于历史等待时间，因此，当前的数据同步请求等待时间在0秒到9秒的范围之内时，发送同步数据的访问频率与数据同步请求等待时间成正比，当前的数据同步请求等待时间等于历史等待时间为9秒时，则注册账户的访问频率达到最大值；当前的数据同步请求等待时间在10秒到18秒的范围之内，向服务发送同步数据的访问频率与当前请求任务的时间成反比。
在上述访问模块511中，请求下载的数据类型包括：物料数据和消费数据；其中，物料数据是指注册账户在搜索引擎所在的平台中投放预定数据(例如广告)进行物料投放的数据；消费数据是指注册账户在搜索引擎所在的平台中投放预定数据(例如广告)进行消费的数据。
此处需要说明的是，访问模块511对应于实施例1中的步骤S112；注册账户A通过数据同步程序发送同步消费数据的请求a的下载请求的数据类型为消费数据。
可选的，上述确定模块509还包括：比较模块，用于比较数据同步请求等待时间和历史等待时间的大小；第一确定模块，用于如果数据同步请求等待时间小于历史等待时间，则确定第一频率为注册账户的访问频率，第一频率的取值大于零、且小于最大访问频率，且第一频率随数据同步请求等待时间的增加而逐步增大；最大值模块，用于如果数据同步请求等待时间等于历史等待时间，则确定最大访问频率为注册账户的访问频率；第三确定模块，用于如果数据同步请求等待时间小于历史等待时间，则确定第二频率为注册账户的访问频率，第二频率的取值大于零、且小于最大访问频率，且第二频率随数据同步请求等待时间的增加而逐步减少。
可选的，第一频率与数据同步请求等待时间成正比，第二频率与数据同步请求等待时间成反比。
可选的，第三获取模块还包括：计时模块,用于对数据同步请求等待时间进行计时；处理模块,用于如果数据同步请求等待时间超过预设时间阈值，则停止访问媒体资源，并输出数据同步失败的提示信息。
可选的，第一获取模块还包括：第四获取模块,用于获取数据同步任务对应的ID，以便根据ID获取数据同步任务的状态信息。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种数据同步的方法，其特征在于，包括：
获取数据同步任务的状态信息；
如果所述数据同步任务的状态信息为未完成状态，则发送数据同步请求，其中，所述数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；
获取所述注册账户进行数据同步的历史等待时间；
获取数据同步请求等待时间，所述数据同步请求等待时间指发起所述数据同步请求到当前时刻所经过的时间；
根据所述数据同步请求等待时间和所述历史等待时间，确定所述注册账户的访问频率；
根据所述注册账户的访问频率访问媒体资源，以便根据所述请求下载的数据类型进行数据下载；
其中，根据所述数据同步请求等待时间和所述历史等待时间，确定所述注册账户的访问频率，包括：
比较所述数据同步请求等待时间和所述历史等待时间的大小；
如果所述数据同步请求等待时间小于所述历史等待时间，则确定第一频率为所述注册账户的访问频率；其中，所述第一频率的取值大于零、且小于最大访问频率，且所述第一频率随所述数据同步请求等待时间的增加而逐步增大；
如果所述数据同步请求等待时间等于所述历史等待时间，则确定最大访问频率为所述注册账户的访问频率；
如果所述数据同步请求等待时间大于所述历史等待时间，则确定第二频率为所述注册账户的访问频率；其中，所述第二频率的取值大于零、且小于最大访问频率，且所述第二频率随所述数据同步请求等待时间的增加而逐步减少。
2.根据权利要求1所述的方法，其特征在于，所述第一频率与所述数据同步请求等待时间成正比，所述第二频率与所述数据同步请求等待时间成反比。
3.根据权利要求1所述的方法，其特征在于，在发送数据同步请求后，所述方法还包括：对数据同步请求等待时间进行计时；
如果所述数据同步请求等待时间超过预设时间阈值，则停止访问媒体资源，并输出数据同步失败的提示信息。
4.根据权利要求1所述的方法，其特征在于，在获取数据同步任务的状态信息之前，所述方法还包括：
获取数据同步任务对应的ID，以便根据所述ID获取数据同步任务的状态信息。
5.一种同步数据的装置，其特征在于，包括：
第一获取模块，用于获取数据同步任务的状态信息；
发送模块，用于如果所述数据同步任务的状态信息为未完成状态，则发送数据同步请求；其中，所述数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；
第二获取模块，用于获取所述注册账户进行数据同步的历史等待时间；
第三获取模块，用于获取数据同步请求等待时间，所述数据同步请求等待时间指发起所述数据同步请求到当前时刻所经过的时间；
确定模块，用于根据所述数据同步请求等待时间和所述历史等待时间，确定所述注册账户的访问频率；
访问模块，用于根据所述注册账户的访问频率访问媒体资源，以便根据所述请求下载的数据类型进行数据下载；
其中，所述确定模块包括：
比较模块，用于比较所述数据同步请求等待时间和所述历史等待时间的大小；
第一确定模块，用于如果所述数据同步请求等待时间小于所述历史等待时间，则确定第一频率为所述注册账户的访问频率；其中，所述第一频率的取值大于零、且小于最大访问频率，且所述第一频率随所述数据同步请求等待时间的增加而逐步增大；
第二确定模块，用于如果所述数据同步请求等待时间等于所述历史等待时间，则确定最大访问频率为所述注册账户的访问频率；
第三确定模块，用于如果所述数据同步请求等待时间大于所述历史等待时间，则确定第二频率为所述注册账户的访问频率；其中，所述第二频率的取值大于零、且小于最大访问频率，且所述第二频率随所述数据同步请求等待时间的增加而逐步减少。
6.根据权利要求5所述的装置，其特征在于，所述第一频率与所述数据同步请求等待时间成正比，所述第二频率与所述数据同步请求等待时间成反比。
7.根据权利要求5所述的装置，其特征在于，所述第三获取模块包括：
计时模块,用于对数据同步请求等待时间进行计时；
处理模块,用于如果所述数据同步请求等待时间超过预设时间阈值，则停止访问媒体资源，并输出数据同步失败的提示信息。
8.根据权利要求5所述的装置，其特征在于，所述第一获取模块包括：
第四获取模块,用于获取数据同步任务对应的ID，以便根据所述ID获取数据同步任务的状态信息。
CN201611220559.0A 2016-12-26 2016-12-26 同步数据的方法和装置 Active CN108241693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611220559.0A CN108241693B (zh) 2016-12-26 2016-12-26 同步数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611220559.0A CN108241693B (zh) 2016-12-26 2016-12-26 同步数据的方法和装置

Publications (2)

Publication Number Publication Date
CN108241693A CN108241693A (zh) 2018-07-03
CN108241693B true CN108241693B (zh) 2020-10-27

Family

ID=62701852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611220559.0A Active CN108241693B (zh) 2016-12-26 2016-12-26 同步数据的方法和装置

Country Status (1)

Country Link
CN (1) CN108241693B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656999B (zh) * 2018-10-11 2024-03-15 平安科技（深圳）有限公司 大数据量的数据同步方法、设备、存储介质及装置
CN111191179B (zh) * 2019-12-30 2023-11-14 合肥工大高科信息科技股份有限公司 一种ajax异步访问数据调度方法及系统
CN111339113B (zh) * 2020-02-28 2023-04-28 湖南九鼎科技（集团）有限公司 基于etl技术的配方直达方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132269A (zh) * 2007-07-26 2008-02-27 中兴通讯股份有限公司 数据同步方法及使用该方法的iptv内容分发网络系统
CN102316097A (zh) * 2011-07-27 2012-01-11 杭州斯凯网络科技有限公司 一种减少用户等待时间的流媒体调度分发方法
CN102819553A (zh) * 2012-06-25 2012-12-12 北京奇虎科技有限公司 一种进行页面交互的方法及装置
CN103269262A (zh) * 2013-04-01 2013-08-28 柳州市达迪通信设备有限公司 一种时间同步装置的守时方法
CN103542848A (zh) * 2012-07-17 2014-01-29 株式会社电装 目的地推荐系统和目的地推荐方法
CN103795813A (zh) * 2014-03-10 2014-05-14 上海亦存网络科技有限公司 文件锁定、解锁方法及系统
CN103885763A (zh) * 2012-12-21 2014-06-25 腾讯科技（深圳）有限公司 操作系统资源访问方法和系统
CN104199970A (zh) * 2014-09-22 2014-12-10 北京国双科技有限公司 网页数据更新处理方法及装置
CN104317843A (zh) * 2014-10-11 2015-01-28 上海瀚之友信息技术服务有限公司 一种数据同步etl系统
US9104964B1 (en) * 2012-11-16 2015-08-11 Amazon Technologies, Inc. Data estimation of historical data that identifies fine grained time period data and coarse grained time period data and applies correlated slopes to time periods
CN104917844A (zh) * 2015-06-17 2015-09-16 深圳市腾讯计算机系统有限公司 一种数据同步方法、装置及系统
CN104935753A (zh) * 2015-07-03 2015-09-23 金陵科技学院 手机App数据本地存储和同步方法
CN106101256A (zh) * 2016-07-07 2016-11-09 百度在线网络技术（北京）有限公司 用于同步数据的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6136995B2 (ja) * 2014-03-07 2017-05-31 株式会社Ｊｖｃケンウッド 雑音低減装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132269A (zh) * 2007-07-26 2008-02-27 中兴通讯股份有限公司 数据同步方法及使用该方法的iptv内容分发网络系统
CN102316097A (zh) * 2011-07-27 2012-01-11 杭州斯凯网络科技有限公司 一种减少用户等待时间的流媒体调度分发方法
CN102819553A (zh) * 2012-06-25 2012-12-12 北京奇虎科技有限公司 一种进行页面交互的方法及装置
CN103542848A (zh) * 2012-07-17 2014-01-29 株式会社电装 目的地推荐系统和目的地推荐方法
US9104964B1 (en) * 2012-11-16 2015-08-11 Amazon Technologies, Inc. Data estimation of historical data that identifies fine grained time period data and coarse grained time period data and applies correlated slopes to time periods
CN103885763A (zh) * 2012-12-21 2014-06-25 腾讯科技（深圳）有限公司 操作系统资源访问方法和系统
CN103269262A (zh) * 2013-04-01 2013-08-28 柳州市达迪通信设备有限公司 一种时间同步装置的守时方法
CN103795813A (zh) * 2014-03-10 2014-05-14 上海亦存网络科技有限公司 文件锁定、解锁方法及系统
CN104199970A (zh) * 2014-09-22 2014-12-10 北京国双科技有限公司 网页数据更新处理方法及装置
CN104317843A (zh) * 2014-10-11 2015-01-28 上海瀚之友信息技术服务有限公司 一种数据同步etl系统
CN104917844A (zh) * 2015-06-17 2015-09-16 深圳市腾讯计算机系统有限公司 一种数据同步方法、装置及系统
CN104935753A (zh) * 2015-07-03 2015-09-23 金陵科技学院 手机App数据本地存储和同步方法
CN106101256A (zh) * 2016-07-07 2016-11-09 百度在线网络技术（北京）有限公司 用于同步数据的方法和装置

Also Published As

Publication number Publication date
CN108241693A (zh) 2018-07-03

Similar Documents

Publication Publication Date Title
CN108737467B (zh) 一种服务器日志查看方法、装置和系统
CN109857427A (zh) 配置更新方法及相关产品
WO2017148268A1 (zh) 基于分布式系统的任务处理方法、装置和系统
CN108241693B (zh) 同步数据的方法和装置
CN103095743A (zh) 一种灰度发布的处理方法及系统
CN110636340B (zh) 视频文件的上传方法、存储设备、终端设备及存储介质
CN110309161B (zh) 一种数据同步方法、装置及服务器
CN109173270B (zh) 一种游戏服务系统和实现方法
CN104601702B (zh) 集群远程过程调用方法及系统
CN110324680B (zh) 一种视频推送方法、装置及服务器、客户端、存储介质
CN110673833B (zh) 用于程序化广告投放的信息管理系统及广告投放平台系统
CN105208047A (zh) 分布式系统服务器上下线方法及服务器
WO2017143909A1 (zh) 网页中的数据处理方法、装置及系统
CN106407395B (zh) 数据查询的处理方法及装置
CN105373563B (zh) 数据库切换方法及装置
CN108415908B (zh) 一种多媒体数据的处理方法及服务器
CN110858201B (zh) 数据处理方法及系统、处理器、存储介质
CN117874033A (zh) 数据库分表方法、装置、电子设备及存储介质
CN113839991A (zh) 设备信息的确认方法、装置、存储介质及电子装置
CN111400266B (zh) 数据处理方法和系统、操作事件的诊断处理方法和装置
CN108650168B (zh) 多人会话的成员数据获取方法和装置、存储介质、处理器
CN105323270B (zh) 网络信息推送方法和系统
CN110298001A (zh) 日志数据包的获取方法和装置及计算机可读存储介质
CN112801705B (zh) 信息的投放方法、装置、存储介质和处理器
CN107332679B (zh) 一种无中心信息同步方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant