CN113204574B - 数据处理方法、装置、计算机可读存储介质及处理器 - Google Patents

数据处理方法、装置、计算机可读存储介质及处理器 Download PDF

Info

Publication number
CN113204574B
CN113204574B CN202110584301.3A CN202110584301A CN113204574B CN 113204574 B CN113204574 B CN 113204574B CN 202110584301 A CN202110584301 A CN 202110584301A CN 113204574 B CN113204574 B CN 113204574B
Authority
CN
China
Prior art keywords
data
target
stored
time interval
timestamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110584301.3A
Other languages
English (en)
Other versions
CN113204574A (zh
Inventor
张文洋
张国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenyan Intelligent Technology Co ltd
Original Assignee
Beijing Shenyan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenyan Intelligent Technology Co ltd filed Critical Beijing Shenyan Intelligent Technology Co ltd
Priority to CN202110584301.3A priority Critical patent/CN113204574B/zh
Publication of CN113204574A publication Critical patent/CN113204574A/zh
Application granted granted Critical
Publication of CN113204574B publication Critical patent/CN113204574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2308Concurrency control
    • G06F16/2315Optimistic concurrency control
    • G06F16/2322Optimistic concurrency control using timestamps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/448Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4488Object-oriented
    • G06F9/449Object-oriented method invocation or resolution
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法、装置、计算机可读存储介质及处理器。其中,该方法包括:获取目标数据,其中,目标数据包括目标标识数据和目标指标数据;在数据库中查找是否存在第一预存数据,其中,第一预存数据包括第一标识数据和第一指标数据,第一标识数据与目标标识数据相同;在第一预存数据存在的情况下,比较第一指标数据和目标指标数据是否相同;在第一指标数据和目标指标数据不同的情况下,根据目标数据,更新第一预存数据,得到第二预存数据,以及根据目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据;将第二预存数据和第二时间戳数据发送给服务器。本发明解决了服务器处理从平台获取的大量重复数据时耗费算力的技术问题。

Description

数据处理方法、装置、计算机可读存储介质及处理器
技术领域
本发明涉及数据处理领域,具体而言,涉及一种数据处理方法、装置、计算机可读存储介质及处理器。
背景技术
服务器从平台拉取数据时,由于数据量非常大,服务器通常需要先对拉取到的海量数据进行预处理,然后才能进行后续的数据处理步骤。然而,海量的数据中会存在大量的重复数据,对重复数据进行重复处理会极大地耗费服务器的算力,加重服务器的负担,同时使得服务器处理数据的效率低下,成本升高。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法、装置、计算机可读存储介质及处理器,以至少解决服务器处理从平台获取的大量重复数据时耗费算力的技术问题。
根据本发明实施例的一个方面,提供了一种数据处理方法,包括:获取目标数据,其中,所述目标数据包括:目标标识数据和目标指标数据;在数据库中查找是否存在第一预存数据,其中,所述第一预存数据包括:第一标识数据和第一指标数据,所述第一标识数据与所述目标标识数据相同;在所述第一预存数据存在的情况下,比较所述第一指标数据和所述目标指标数据是否相同;在所述第一指标数据和所述目标指标数据不同的情况下,根据所述目标数据,更新所述第一预存数据,得到第二预存数据,以及根据所述目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,其中,所述第一时间戳数据包括所述第一预存数据的生成时间,所述第二时间戳数据包括所述当前时间;将所述第二预存数据和所述第二时间戳数据发送给服务器。
可选地,根据所述目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,包括:确定与所述第一预存数据对应的所述第一时间戳数据,其中,所述第一时间戳数据包括:第三标识数据和第一时间戳,所述第三标识数据与所述第一标识数据相同,所述第一时间戳存储所述第一预存数据的生成时间;根据所述当前时间,生成当前时间戳;使用所述当前时间戳替换所述第一时间戳,得到所述第二时间戳数据。
可选地,在所述数据库中不存在所述第一预存数据的情况下,在所述数据库中生成第三预存数据和第三时间戳数据,其中,所述第三预存数据和所述第三时间戳数据与所述目标数据对应,所述第三时间戳数据存储所述第三预存数据的生成时间;将所述第三预存数据和所述第三时间戳数据发送给所述服务器。
可选地,获取所述目标数据,包括:根据预定时间间隔,定时向目标平台发送请求数据,其中,所述请求数据包括:请求的标识数据和请求的指标数据类型;接收所述目标平台返回的所述目标数据,其中,所述目标数据的目标标识数据与所述请求的标识数据相同,所述目标指标数据的类型包括所述请求的指标数据类型。
可选地,根据所述当前时间和所述第一预存数据的生成时间,确定第一时间间隔;根据所述第一时间间隔调整所述预定时间间隔,得到第二时间间隔;根据所述第二时间间隔,定时向所述目标平台发送所述请求数据。
可选地,根据所述第一时间间隔调整所述预定时间间隔,得到第二时间间隔,包括:基于所述第一时间间隔和所述预定时间间隔的比值,确定发送请求的概率,其中,所述比值越大,所述发送请求的概率越小;根据所述发送请求的概率和所述预定时间间隔,确定所述第二时间间隔。
可选地,根据所述发送请求的概率和所述预定时间间隔,确定所述第二时间间隔,包括:执行一次条件判断,其中,所述条件判断的判断结果为是的概率等于所述发送请求的概率;若所述条件判断的结果为否,则再执行一次所述条件判断,直到所述条件判断的结果为是,得到执行所述条件判断的次数;根据所述预定时间间隔和所述次数,确定所述第二时间间隔。
根据本发明实施例的另一方面,还提供了一种数据处理装置,包括:获取模块,用于获取目标数据,其中,所述目标数据包括:目标标识数据和目标指标数据;查找模块,用于在数据库中查找是否存在第一预存数据,其中,所述第一预存数据包括:第一标识数据和第一指标数据,所述第一标识数据与所述目标标识数据相同;比较模块,如果所述第一预存数据存在,用于比较所述第一指标数据和所述目标指标数据是否相同;更新模块,如果所述第一指标数据和所述目标指标数据不同,用于根据所述目标数据,更新所述第一预存数据,得到第二预存数据,以及根据所述目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,其中,所述第一时间戳数据包括所述第一预存数据的生成时间,所述第二时间戳数据包括所述当前时间;发送模块,用于将所述第二预存数据和所述第二时间戳数据发送给服务器。
根据本发明实施例的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行上述中任意一项所述数据处理方法。
根据本发明实施例的再一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述任意一项所述数据处理方法。
在本发明实施例中,采用存储预存数据和时间戳数据的数据库的方式,在数据库中能够查找到与目标数据对应的第一预存数据的情况下,通过比较目标数据和第一预存数据各自的指标数据,在各自的指标数据不同时,根据目标数据,更新第一预存数据,得到第二预存数据,以及根据目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,达到了获得发送给服务器的更新后的第二预存数据和第二时间戳数据的目的,从而实现了节省服务器处理大量重复数据时所需要耗费的算力的技术效果,进而解决了服务器处理从平台获取的大量重复数据时耗费算力的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例提供的数据处理方法的流程示意图;
图2是根据本发明优选实施方式的从媒体平台获取数据的方法的流程示意图;
图3是根据本发明实施例提供的数据处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例提供的数据处理方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤S101,获取目标数据,其中,目标数据包括:目标标识数据和目标指标数据。可选地,可以根据请求从目标平台中获取目标数据,目标平台可以是媒体平台或者其他广告投放平台。目标标识数据可以为用于标识对象的数据,对象可以为与目标指标数据相关的目标平台中的对象。目标指标数据可以为对象的具体的行为数据,例如广告投放后在平台中产生的交互数据。
例如,当目标平台为广告投放平台时,对象可以为在广告投放平台中投放的广告,获取目标数据即为从广告投放平台调取与投放广告相关的数据,其中,目标数据可以为如下结构:
{"advertiserId":123,"platform":"GDT","cost":100,"impression":30","click":10}。
在上述目标数据的结构中,目标标识数据为"advertiserId":123和"platform":"GDT"部分,两部分分别表示投放广告的投放者的ID以及投放广告的平台的名称;目标指标数据为"cost":100,"impression":30","click":10部分,分别表示该广告的广告收费、广告曝光次数和广告的点击次数,即与广告对象相关的行为数据。
步骤S102,在数据库中查找是否存在第一预存数据,其中,第一预存数据包括:第一标识数据和第一指标数据,第一标识数据与目标标识数据相同。当第一预存数据的第一标识数据部分与目标数据的目标标识数据部分相同时,可以认为第一预存数据与目标数据均用于记录同一个对象,两者与同一个对象匹配。
步骤S103,在第一预存数据存在的情况下,比较第一指标数据和目标指标数据是否相同。当第一指标数据与目标指标数据相同时,可以认为目标平台没有更新针对该上述对象的数据,也可以认为目标平台没有更新数据。因此,此时若将没有更新的数据直接发送给服务器,就会在服务器中产生大量的重复无效数据,耗费服务器的算力。
步骤S104,在第一指标数据和目标指标数据不同的情况下,根据目标数据,更新第一预存数据,得到第二预存数据,以及根据目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,其中,第一时间戳数据包括第一预存数据的生成时间,第二时间戳数据包括当前时间。
如果第一指标数据和目标指标数据不同,可以认为目标平台更新了数据,与对象相关的行为数据发生了变化,此时可以更新数据库中与该对象对应的第一预存数据中的第一指标数据,以及记录此次捕捉到平台更新数据的时间节点,并将该时间节点记录在与该对象对应的第一时间戳数据中,得到第二时间戳数据。
步骤S105,将第二预存数据和第二时间戳数据发送给服务器。本步骤中发送给服务器的数据即为平台更新后的数据,避免了向服务器发送大量的重复数据的问题,因此降低了服务器的算力耗费。
在本发明实施例中,采用存储预存数据和时间戳数据的数据库的方式,在数据库中能够查找到与目标数据对应的第一预存数据的情况下,通过比较目标数据和第一预存数据各自的指标数据,在各自的指标数据不同时,根据目标数据,更新第一预存数据,得到第二预存数据,以及根据目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,达到了获得发送给服务器的更新后的第二预存数据和第二时间戳数据的目的,从而实现了节省服务器处理大量重复数据时所需要耗费的算力的技术效果,进而解决了服务器处理从平台获取的大量重复数据时耗费算力的技术问题。
作为一种可选的实施例,可以通过如下方式获取目标数据:根据预定时间间隔,定时向目标平台发送请求数据,其中,请求数据包括:请求的标识数据和请求的指标数据类型;接收目标平台返回的目标数据,其中,目标数据的目标标识数据与请求的标识数据相同,目标指标数据的类型包括请求的指标数据类型。
需要说明的是,请求的标识数据可以用来标识目标平台中的对象,而指标数据类型可以用于确定该请求希望从目标平台中获取的与对象相关的哪些类型的数据。例如,当目标平台为广告投放平台,对象为广告主在该平台投放的广告时,请求的标识数据可以用于确定对象是哪个广告主在该平台投放的哪个广告,指标数据的类型可以包括点击、曝光等与广告相关的数据类型,之后由目标数据中的目标指标数据部分具体返回该广告在该广告投放平台的点击、曝光的具体数据。
作为一种可选的实施例,根据当前时间和第一预存数据的生成时间,确定第一时间间隔;根据第一时间间隔调整预定时间间隔,得到第二时间间隔;根据第二时间间隔,定时向目标平台发送请求数据。
需要说明的是,许多平台的接口有硬性的调用次数限制,不允许无限制的从目标平台中调用数据。同时,平台的数据更新可能并不频繁。因此,固化地按照预定时间间隔调用平台数据,可能导致早早用完了平台允许的调用次数,或者调用到了大量的未更新的无效数据。
根据本可选的实施例,可以动态改变调用数据的时间间隔,规避上述问题。优选的,当第一预存数据生成时,可以确定平台最迟在该生成时间完成了一次数据更新,在当前时间完成了第二次数据更新的情况下,根据当前时间以及第一预存数据的生成时间,可以大致确定平台此次数据更新的时间间隔,根据该时间间隔优化调整预定时间间隔,可以实现动态改变调用数据的时间频率,在时间维度上更好地分配有限的平台接口调用次数,同时减少未更新的重复数据的调用次数,节省算力。
作为一种可选的实施例,可以采用如下方式得到第二时间间隔:基于第一时间间隔和预定时间间隔的比值,确定发送请求的概率,其中,比值越大,发送请求的概率越小;根据发送请求的概率和预定时间间隔,确定第二时间间隔。
由于第一时间间隔可以作为平台上次更新数据的时间间隔的估计值,因此可以认为,在平台上一次更新数据之后经过了一个预定时间间隔后的时刻,第一时间间隔与预定时间间隔的比值越大,该时刻下平台再次更新数据的可能性越小。因此,更新数据的可能性越小,本实施例中设置的向平台发送调用数据请求的概率越小,进而实现对调用平台数据的时间间隔的动态调节。
作为一种可选的实施例,确定第二时间间隔可以采用如下方式:执行一次条件判断,其中,条件判断的判断结果为是的概率等于发送请求的概率;若条件判断的结果为否,则再执行一次条件判断,直到条件判断的结果为是,得到执行条件判断的次数;根据预定时间间隔和次数,确定第二时间间隔。
可选地,至少可以采用两种方式确定第二时间间隔:
方案1)每经过一个预定时间间隔,执行一次条件判断,若条件判断的结果为是,则发送请求,向平台调取数据,若结果为否,则不向平台发送请求,等待经过下一个预定时间间隔后,再次执行条件判断,直到条件判断的结果为是,记录此时的时间减去初始的时间为第二时间间隔。
方案2)执行条件判断,若条件判断的结果为是,则停止,否则继续执行条件判断,直到条件判断的结果为是,记录经过的条件判断的次数,将上述次数乘以预定时间间隔,即得到第二时间间隔。
作为一种可选的实施例,在数据库中不存在第一预存数据的情况下,在数据库中生成第三预存数据和第三时间戳数据,其中,第三预存数据和第三时间戳数据与目标数据对应,第三时间戳数据存储第三预存数据的生成时间;将第三预存数据和第三时间戳数据发送给服务器。
在本实施例所述的情况中,数据库中不存在第一预存数据,即数据库中不存在与目标数据的目标标识数据指向的对象相匹配的数据,因此可以认为,与该对象相关的数据为第一次存储数据库中,此时可以采用本实施例所述的方法将目标数据初始化到数据库中,并发送给服务器。其中,第三时间戳数据中存储的第三预存数据的生成时间也就是初次调取上述对象的数据的时间。
作为一种可选的实施例,根据目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,可以采用如下方式:确定与第一预存数据对应的第一时间戳数据,其中,第一时间戳数据包括:第三标识数据和第一时间戳,第三标识数据与第一标识数据相同,第一时间戳存储第一预存数据的生成时间;根据当前时间,生成当前时间戳;使用当前时间戳替换第一时间戳,得到第二时间戳数据。
下面以从媒体平台调取广告数据为例,详细说明一种本发明优选的实施方式。
本优选实施方式所述的方法可以应用于一种交易采购系统中,交易采购系统还可以称为程序化广告交易桌面,是一种需求方服务平台,其核心是为广告主或代理商连接DSP、数据和工具的营销平台,定位更靠近大型广告主,下文中将该交易采购系统简称为TD(Trading Desk)系统。
TD系统的一个主要功能为数据回传,将广告主在多个媒体平台中投放的广告的数据通过多个媒体平台提供的API接口收集到TD系统上并完成整合工作,然后发送给大数据平台进行进一步处理,便于广告主的分析与营销。
在使用TD系统从媒体平台中调取数据的过程中,由于媒体平台的API接口有硬性的调用次数限制,同时媒体平台的数据更新频次不确定导致调用大量重复的指标数据,因此TD系统采用固化的定时调用数据策略不能很好地完成工作。
图2是根据本发明优选实施方式的从媒体平台获取数据的方法的流程示意图,如图2所示,该方法包括如下步骤:
S1,TD系统开始从媒体平台调用数据的任务,该任务为定时任务,每隔一定的时间间隔从媒体平台调取一次广告数据。本优选实施方式中,TD系统从媒体平台调用的数据为目标广告数据,目标广告数据对应的目标广告可以为一个广告主的一项广告创意,也可以为一个广告主在该平台投放的全部广告,根据需求灵活调用数据。
S2,对从媒体平台拉取数据的频次是否需要降频进行判断。
具体的,本步骤中,可以从RocksDB数据库中查找目标广告数据上次更新的时间戳,以及获取当前的时间,将当前时间减去目标广告数据上次更新的时间,即可得到该目标广告的未更新时长。
不更新周期=[当前时间()-该广告数据上次更新时间()]/(定时任务时间间隔)
随机值上限=log2(不更新周期)
根据上式计算得到不更新周期数并进一步的得到一个随机值上限,之后进行是否拉取数据的条件判断可以采用如下公式:
if(不更新周期>5&&random.nextInt(随机值上限)==1){向媒体平台请求数据}
其中,random.nextInt(随机值上限)表示相等概率返回小于等于随机值上限的任意一个非负整数,假设随机值上限=5,该方法返回0,1,2,3,4,5中的随机一个值。
上述公式表示在不更新周期的数值大于5,且random.nextInt(随机值上限)返回的随机值恰好等于1的情况下,条件判断的结果为是,即向媒体平台请求数据,否则,条件判断的结果为否,则不向媒体平台请求数据。
S3、S4和S5分别为请求媒体平台A、B和C返回数据,S2中可以分别对媒体平台A、媒体平台B和媒体平台C执行降频的条件判断,TD系统调取各个媒体平台的数据的过程相互独立不受影响。
S6,通过将从媒体平台调取的目标广告数据与该广告在RocksDB数据库中预存的上次更新时的数据进行对比,判断两者是否相同,如果相同,认为媒体平台没有更新数据,如果不同,则将RocksDB数据库中的数据更新,并将更新后的数据发送给大数据平台。
实施例2
根据本发明实施例,还提供了一种用于实施上述数据处理方法的数据处理装置,图3是根据本发明实施例提供的数据处理装置的结构框图,如图3所示,该数据处理装置包括:获取模块31,查找模块32,比较模块33,更新模块34和发送模块35,下面对该数据处理装置进行说明。
获取模块31,用于获取目标数据,其中,目标数据包括:目标标识数据和目标指标数据;
查找模块32,连接于上述获取模块31,用于在数据库中查找是否存在第一预存数据,其中,第一预存数据包括:第一标识数据和第一指标数据,第一标识数据与目标标识数据相同;
比较模块33,连接于上述查找模块32,如果第一预存数据存在,用于比较第一指标数据和目标指标数据是否相同;
更新模块34,连接于上述比较模块33,如果第一指标数据和目标指标数据不同,用于根据目标数据,更新第一预存数据,得到第二预存数据,以及根据目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,其中,第一时间戳数据包括第一预存数据的生成时间,第二时间戳数据包括当前时间;
发送模块35,连接于上述更新模块34,用于将第二预存数据和第二时间戳数据发送给服务器。
此处需要说明的是,上述获取模块31,查找模块32,比较模块33,更新模块34和发送模块35对应于实施例1中的步骤S101至步骤S105,多个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。
实施例3
本发明的实施例可以提供一种计算机设备,可选地,在本实施例中,上述计算机设备可以位于计算机网络的多个网络设备中的至少一个网络设备。该计算机设备包括存储器和处理器。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的数据处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器可包括高速随机存储器,还可以包括计算机可读存储器,如一个或者多个磁性存储装置、闪存、或者其他计算机可读固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取目标数据,其中,目标数据包括:目标标识数据和目标指标数据;在数据库中查找是否存在第一预存数据,其中,第一预存数据包括:第一标识数据和第一指标数据,第一标识数据与目标标识数据相同;在第一预存数据存在的情况下,比较第一指标数据和目标指标数据是否相同;在第一指标数据和目标指标数据不同的情况下,根据目标数据,更新第一预存数据,得到第二预存数据,以及根据目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,其中,第一时间戳数据包括第一预存数据的生成时间,第二时间戳数据包括当前时间;将第二预存数据和第二时间戳数据发送给服务器。
可选的,上述处理器还可以执行如下步骤的程序代码:根据目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,包括:确定与第一预存数据对应的第一时间戳数据,其中,第一时间戳数据包括:第三标识数据和第一时间戳,第三标识数据与第一标识数据相同,第一时间戳存储第一预存数据的生成时间;根据当前时间,生成当前时间戳;使用当前时间戳替换第一时间戳,得到第二时间戳数据。
可选的,上述处理器还可以执行如下步骤的程序代码:在数据库中不存在第一预存数据的情况下,在数据库中生成第三预存数据和第三时间戳数据,其中,第三预存数据和第三时间戳数据与目标数据对应,第三时间戳数据存储第三预存数据的生成时间;将第三预存数据和第三时间戳数据发送给服务器。
可选的,上述处理器还可以执行如下步骤的程序代码:获取目标数据,包括:根据预定时间间隔,定时向目标平台发送请求数据,其中,请求数据包括:请求的标识数据和请求的指标数据类型;接收目标平台返回的目标数据,其中,目标数据的目标标识数据与请求的标识数据相同,目标指标数据的类型包括请求的指标数据类型。
可选的,上述处理器还可以执行如下步骤的程序代码:根据当前时间和第一预存数据的生成时间,确定第一时间间隔;根据第一时间间隔调整预定时间间隔,得到第二时间间隔;根据第二时间间隔,定时向目标平台发送请求数据。
可选的,上述处理器还可以执行如下步骤的程序代码:根据第一时间间隔调整预定时间间隔,得到第二时间间隔,包括:基于第一时间间隔和预定时间间隔的比值,确定发送请求的概率,其中,比值越大,发送请求的概率越小;根据发送请求的概率和预定时间间隔,确定第二时间间隔。
可选的,上述处理器还可以执行如下步骤的程序代码:根据发送请求的概率和预定时间间隔,确定第二时间间隔,包括:执行一次条件判断,其中,条件判断的判断结果为是的概率等于发送请求的概率;若条件判断的结果为否,则再执行一次条件判断,直到条件判断的结果为是,得到执行条件判断的次数;根据预定时间间隔和次数,确定第二时间间隔。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种计算机可读存储介质。可选地,在本实施例中,上述计算机可读存储介质可以用于保存上述实施例1所提供的数据处理方法所执行的程序代码。
可选地,在本实施例中,上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:获取目标数据,其中,目标数据包括:目标标识数据和目标指标数据;在数据库中查找是否存在第一预存数据,其中,第一预存数据包括:第一标识数据和第一指标数据,第一标识数据与目标标识数据相同;在第一预存数据存在的情况下,比较第一指标数据和目标指标数据是否相同;在第一指标数据和目标指标数据不同的情况下,根据目标数据,更新第一预存数据,得到第二预存数据,以及根据目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,其中,第一时间戳数据包括第一预存数据的生成时间,第二时间戳数据包括当前时间;将第二预存数据和第二时间戳数据发送给服务器。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:根据目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,包括:确定与第一预存数据对应的第一时间戳数据,其中,第一时间戳数据包括:第三标识数据和第一时间戳,第三标识数据与第一标识数据相同,第一时间戳存储第一预存数据的生成时间;根据当前时间,生成当前时间戳;使用当前时间戳替换第一时间戳,得到第二时间戳数据。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:在数据库中不存在第一预存数据的情况下,在数据库中生成第三预存数据和第三时间戳数据,其中,第三预存数据和第三时间戳数据与目标数据对应,第三时间戳数据存储第三预存数据的生成时间;将第三预存数据和第三时间戳数据发送给服务器。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:获取目标数据,包括:根据预定时间间隔,定时向目标平台发送请求数据,其中,请求数据包括:请求的标识数据和请求的指标数据类型;接收目标平台返回的目标数据,其中,目标数据的目标标识数据与请求的标识数据相同,目标指标数据的类型包括请求的指标数据类型。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:根据当前时间和第一预存数据的生成时间,确定第一时间间隔;根据第一时间间隔调整预定时间间隔,得到第二时间间隔;根据第二时间间隔,定时向目标平台发送请求数据。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:根据第一时间间隔调整预定时间间隔,得到第二时间间隔,包括:基于第一时间间隔和预定时间间隔的比值,确定发送请求的概率,其中,比值越大,发送请求的概率越小;根据发送请求的概率和预定时间间隔,确定第二时间间隔。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:根据发送请求的概率和预定时间间隔,确定第二时间间隔,包括:执行一次条件判断,其中,条件判断的判断结果为是的概率等于发送请求的概率;若条件判断的结果为否,则再执行一次条件判断,直到条件判断的结果为是,得到执行条件判断的次数;根据预定时间间隔和次数,确定第二时间间隔。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
获取目标数据,其中,所述目标数据包括:目标标识数据和目标指标数据;
在数据库中查找是否存在第一预存数据,其中,所述第一预存数据包括:第一标识数据和第一指标数据,所述第一标识数据与所述目标标识数据相同;
在所述第一预存数据存在的情况下,比较所述第一指标数据和所述目标指标数据是否相同;
在所述第一指标数据和所述目标指标数据不同的情况下,根据所述目标数据,更新所述第一预存数据,得到第二预存数据,以及根据所述目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,其中,所述第一时间戳数据包括所述第一预存数据的生成时间,所述第二时间戳数据包括所述当前时间;
将所述第二预存数据和所述第二时间戳数据发送给服务器。
2.根据权利要求1所述的方法,其特征在于,根据所述目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,包括:
确定与所述第一预存数据对应的所述第一时间戳数据,其中,所述第一时间戳数据包括:第三标识数据和第一时间戳,所述第三标识数据与所述第一标识数据相同,所述第一时间戳存储所述第一预存数据的生成时间;
根据所述当前时间,生成当前时间戳;
使用所述当前时间戳替换所述第一时间戳,得到所述第二时间戳数据。
3.根据权利要求1所述的方法,其特征在于,还包括:
在所述数据库中不存在所述第一预存数据的情况下,在所述数据库中生成第三预存数据和第三时间戳数据,其中,所述第三预存数据和所述第三时间戳数据与所述目标数据对应,所述第三时间戳数据存储所述第三预存数据的生成时间;
将所述第三预存数据和所述第三时间戳数据发送给所述服务器。
4.根据权利要求1所述的方法,其特征在于,获取所述目标数据,包括:
根据预定时间间隔,定时向目标平台发送请求数据,其中,所述请求数据包括:请求的标识数据和请求的指标数据类型;
接收所述目标平台返回的所述目标数据,其中,所述目标数据的目标标识数据与所述请求的标识数据相同,所述目标指标数据的类型包括所述请求的指标数据类型。
5.根据权利要求4所述的方法,其特征在于,还包括:
根据所述当前时间和所述第一预存数据的生成时间,确定第一时间间隔;
根据所述第一时间间隔调整所述预定时间间隔,得到第二时间间隔;
根据所述第二时间间隔,定时向所述目标平台发送所述请求数据。
6.根据权利要求5所述的方法,其特征在于,根据所述第一时间间隔调整所述预定时间间隔,得到第二时间间隔,包括:
基于所述第一时间间隔和所述预定时间间隔的比值,确定发送请求的概率,其中,所述比值越大,所述发送请求的概率越小;
根据所述发送请求的概率和所述预定时间间隔,确定所述第二时间间隔。
7.根据权利要求6所述的方法,其特征在于,根据所述发送请求的概率和所述预定时间间隔,确定所述第二时间间隔,包括:
执行一次条件判断,其中,所述条件判断的判断结果为是的概率等于所述发送请求的概率;
若所述条件判断的结果为否,则再执行一次所述条件判断,直到所述条件判断的结果为是,得到执行所述条件判断的次数;
根据所述预定时间间隔和所述次数,确定所述第二时间间隔。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于获取目标数据,其中,所述目标数据包括:目标标识数据和目标指标数据;
查找模块,用于在数据库中查找是否存在第一预存数据,其中,所述第一预存数据包括:第一标识数据和第一指标数据,所述第一标识数据与所述目标标识数据相同;
比较模块,如果所述第一预存数据存在,用于比较所述第一指标数据和所述目标指标数据是否相同;
更新模块,如果所述第一指标数据和所述目标指标数据不同,用于根据所述目标数据,更新所述第一预存数据,得到第二预存数据,以及根据所述目标数据和当前时间,更新第一时间戳数据,得到第二时间戳数据,其中,所述第一时间戳数据包括所述第一预存数据的生成时间,所述第二时间戳数据包括所述当前时间;
发送模块,用于将所述第二预存数据和所述第二时间戳数据发送给服务器。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述数据处理方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述数据处理方法。
CN202110584301.3A 2021-05-27 2021-05-27 数据处理方法、装置、计算机可读存储介质及处理器 Active CN113204574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110584301.3A CN113204574B (zh) 2021-05-27 2021-05-27 数据处理方法、装置、计算机可读存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110584301.3A CN113204574B (zh) 2021-05-27 2021-05-27 数据处理方法、装置、计算机可读存储介质及处理器

Publications (2)

Publication Number Publication Date
CN113204574A CN113204574A (zh) 2021-08-03
CN113204574B true CN113204574B (zh) 2024-01-26

Family

ID=77023437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110584301.3A Active CN113204574B (zh) 2021-05-27 2021-05-27 数据处理方法、装置、计算机可读存储介质及处理器

Country Status (1)

Country Link
CN (1) CN113204574B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136335A (zh) * 2013-01-31 2013-06-05 北京千分点信息科技有限公司 一种基于数据平台的数据控制方法
CN107547548A (zh) * 2017-09-05 2018-01-05 北京京东尚科信息技术有限公司 数据处理方法及系统
CN110737655A (zh) * 2019-10-21 2020-01-31 京东数字科技控股有限公司 用于上报数据的方法和装置
CN111245548A (zh) * 2020-01-14 2020-06-05 平安国际智慧城市科技股份有限公司 基于时间戳的数据同步方法、装置和计算机设备
CN112463872A (zh) * 2020-11-04 2021-03-09 中国建设银行股份有限公司 一种可视化指标数据获取方法、装置、系统及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136335A (zh) * 2013-01-31 2013-06-05 北京千分点信息科技有限公司 一种基于数据平台的数据控制方法
CN107547548A (zh) * 2017-09-05 2018-01-05 北京京东尚科信息技术有限公司 数据处理方法及系统
CN110737655A (zh) * 2019-10-21 2020-01-31 京东数字科技控股有限公司 用于上报数据的方法和装置
CN111245548A (zh) * 2020-01-14 2020-06-05 平安国际智慧城市科技股份有限公司 基于时间戳的数据同步方法、装置和计算机设备
CN112463872A (zh) * 2020-11-04 2021-03-09 中国建设银行股份有限公司 一种可视化指标数据获取方法、装置、系统及介质

Also Published As

Publication number Publication date
CN113204574A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN103841134B (zh) 基于api发送、接收信息的方法、装置及系统
CN103069413A (zh) 基于另一个用户的用户偏好为一个用户定制显示内容
CN103176790A (zh) 应用发布方法和系统
CN111314238A (zh) 令牌的管理方法和装置、存储介质、电子装置
CN109582470B (zh) 一种数据处理方法及数据处理装置
CN110287196B (zh) 区块存储方法、平行链交易获取方法、设备和存储介质
CN104956680A (zh) 推荐媒体内容的智能预取
CN106096926B (zh) 事件处理方法、装置、电子装置和存储介质
CN101378561B (zh) 提供终端外观内容的方法、外观定制服务器和系统
CN110569185A (zh) 一种前端埋点方法和装置
CN112395024B (zh) 一种接口调用方法和相关装置
CN106209731B (zh) 会话业务处理方法及装置
CN101673217A (zh) 一种实现远端程序调用的方法和系统
CN113204574B (zh) 数据处理方法、装置、计算机可读存储介质及处理器
CN107146115A (zh) 广告展现方法、装置以及终端设备
CN105592029B (zh) 虚拟资源转移操作状态的同步方法及服务器
CN111198986B (zh) 信息发送方法、装置、电子设备及存储介质
CN115129390A (zh) 客户端代码区间执行时长的确定方法、装置、设备及介质
CN105791350B (zh) 项目数据处理方法和系统
CN114418627A (zh) 网络广告投放处理方法及其装置、设备、介质、产品
CN111784421A (zh) 媒体信息的显示方法和装置、存储介质及电子设备
CN110457582A (zh) 一种数据分发方法及推荐系统
CN111047351A (zh) 广告投放方法及装置、存储介质及电子装置
JP2004164141A (ja) 情報提供システム、情報提供方法およびプログラム
KR20200012229A (ko) 리워드 서비스 제공을 위한 사용자 적합 어플리케이션 추천 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant