CN112883041B - 一种数据更新方法、装置、电子设备及存储介质 - Google Patents
一种数据更新方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112883041B CN112883041B CN202110203554.1A CN202110203554A CN112883041B CN 112883041 B CN112883041 B CN 112883041B CN 202110203554 A CN202110203554 A CN 202110203554A CN 112883041 B CN112883041 B CN 112883041B
- Authority
- CN
- China
- Prior art keywords
- data
- update
- updating
- update request
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000003111 delayed effect Effects 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010200 validation analysis Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据更新方法、装置、电子设备及存储介质,数据处理技术领域,进一步涉及大数据技术,可应用于智能交通等技术领域,包括:获取消息队列发送的数据更新请求;确定所述数据更新请求的更新请求类型;其中,所述更新请求类型包括延迟更新请求和/或实时更新请求;根据所述更新请求类型对所述数据更新请求对应的待更新数据进行更新处理。本申请实施例能够提高数据更新性能。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及大数据技术,可应用于智能交通等技术领域。
背景技术
在大数据领域中,数据更新是数据处理的一种常态操作。不同类型的数据对应的数据更新方式也不同。例如,具有实时性的数据需要实时更新,具有延迟性的数据需要延迟更新。而在数据更新场景中,往往会存在不同类型的数据的更新需求。因此,如何根据数据的类型对数据进行合理化更新,对于提高大数据的数据更新性能的影响较为深重。
发明内容
本申请实施例提供了一种数据更新方法、装置、电子设备及存储介质,以提高数据更新的实时性,进而提高数据更新性能。
第一方面,本申请实施例提供了一种数据更新方法,包括:
获取消息队列发送的数据更新请求;
确定所述数据更新请求的更新请求类型;其中,所述更新请求类型包括所述延迟更新请求和/或实时更新请求;
根据所述更新请求类型对所述数据更新请求对应的待更新数据进行更新处理。
第二方面,本申请实施例提供了一种数据更新装置,包括:
数据更新请求获取模块,用于获取消息队列发送的数据更新请求;
更新请求类型确定模块,用于确定所述数据更新请求的更新请求类型;其中,所述更新请求类型包括所述延迟更新请求和/或实时更新请求;
待更新数据更新模块,用于根据所述更新请求类型对所述数据更新请求对应的待更新数据进行更新处理。
第三方面,本申请实施例提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面实施例所提供的数据更新方法。
第四方面,本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行第一方面实施例所提供的数据更新方法。
第五方面,本申请实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现第一方面实施例所提供的数据更新方法。
本申请实施例通过利用消息队列存储延迟更新请求和/或实时更新请求,并通过消息队列发送数据更新请求。相应的,在获取到消息队列发送的数据更新请求之后,确定数据更新请求的更新请求类型,以根据更新请求类型对待更新数据进行更新处理,解决现有数据更新方法存在的数据更新实时性较低的问题,以在不影响数据库性能的情况下,提高数据更新的实时性,进而提高数据更新性能。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是现有技术中的一种数据更新方法的流程示意图;
图2是本申请实施例提供的一种数据更新方法的流程图;
图3是本申请实施例提供的一种数据更新方法的流程图;
图4是本申请实施例提供的一种数据更新方法的流程示意图;
图5是本申请实施例提供的一种数据更新装置的结构图;
图6是用来实现本申请实施例的数据更新方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在数据更新应用场景中,用户贡献或者网络抓取的很多数据不是要立即生效的,这种类型的数据称为延迟生效数据。延迟生效数据在发送后不立即可见,需要在用户指定的时间更新。例如,当前发送一条延迟1分钟的消息,消息发送后立即发送给服务器,但是服务器在1分钟后才将该消息进行发布。又例如,电子地图的后台服务系统在2021年1月1日收到一些更新信息:“XXX美食店将于2021年1月3日上午11点开业”,或者,“XXX景点将在1月3日09点到1月10日18点封闭8天”。也就是说,POI(Point of Interest,兴趣点)数据的状态(开放、停业及封闭等)不是在1月1日得到通知后就立即更新,而是需要等到将来某个时间点才需要更新。在互联网大数据时代,数据状态的更新是非常重要的,比如疫情期间店面/景点/办公楼的封闭和开放情况需要及时更新,否则导致电子地图用户提供导航服务时,导航到某个已经封闭或停业的地点,造成极差的用户体验。
与延迟生效数据相对立的为实时生效数据,也即需要实时更新的数据。图1是现有技术中的一种数据更新方法的流程示意图,在现有技术中,如图1所示,对于实时生效数据和延迟生效数据采用的数据更新方法为:从所有待更新的数据中统一收集延迟生效数据,对实时生效数据进行实时更新处理,而延迟生效的数据需要统一按照周期批量更新,直到数据生效为止。比如电子地图的后台服务系统于1月1日得到通知“XXX景点将于2021年1月3日09点开放”,则后台服务系统会分别于1月1日、1月2日、1月3日及1月4日每天都更新一次。
上述数据更新方法会导致延迟生效数据更新不及时的问题。例如,每天凌晨0点对所有延迟生效数据进行一次数据批量更新,针对其中一条延迟生效数据“XXX景点将于2021年1月3日09点开放”,在1月3日0点更新时,该景点还没有对外开放,所以该景点的数据状态仍然是“关闭状态”。只能等到1月4日0点再次批量更新延迟生效数据时,该景点的数据状态才会被更新为“开放状态”。
另外,如果为了提高延迟生效数据更新的实时性而增加批量更新的频率,会导致降低数据库的性能。例如,从“每天更新一次”升级为“每个小时更新一次”,那么数据库每小时数据更新量太大,导致数据库压力较大无法及时处理,影响数据库性能,或者会导致数据库可用性降级等故障。
在一个示例中,图2是本申请实施例提供的一种数据更新方法的流程图,本实施例可适用于利用消息队列发送的数据更新请求的类型对待更新数据进行更新的情况,该方法可以由数据更新装置来执行,该装置可以由软件和/或硬件的方式来实现,并一般可集成在电子设备中,该电子设备可以是具备数据服务的设备。相应的,如图2所示,该方法包括如下操作:
S110、获取消息队列发送的数据更新请求。
其中,消息队列用于存储所有需要更新的数据,也即待更新数据,包括延迟生效数据和实时生效数据。数据更新请求可以是消息队列针对当前需要更新的数据生成的更新请求,用于请求对当前的待更新数据进行更新。
在本申请实施例中,当外部业务系统生成待更新数据时,可以将待更新数据直接存入消息队列中。可选的,消息队列在接收到待更新数据后,可以根据待更新数据的数据内容实时生成数据更新请求。数据更新请求可以包括但不限于请求的ID号以及待更新数据等。相应的,消息队列可以按照数据存储的顺序依次对各个待更新数据进行实时处理,以生成数据更新请求,并将数据更新请求发送至数据服务。或者,外部业务系统还可以直接生成包括ID号以及待更新数据等信息的数据更新请求,并将数据更新请求直接存储至消息队列中。相应的,消息队列无需对数据更新请求再次进行处理,可以直接按照数据存储的顺序依次将各数据更新请求发送至数据服务。
数据服务可以是消息队列和数据库之间的中间服务,用于接收消息队列发送的数据更新请求并对数据库进行数据更新操作。可选的,当消息队列采用多管道的方式处理各个待更新数据时,消息队列的各个数据管道可以同时向数据服务发送不同的数据更新请求。相应的,数据服务可以同时接收到多个不同的数据更新请求。也即,数据更新请求的数量可以根据消息队列的数据处理能力配置,本申请实施例并不对数据更新请求的数量进行限定。
需要说明的是,消息队列和数据服务之间的通信效率极高。待更新数据发布至消息队列时,数据服务可以实时通过消息队列获取到待更新数据的相关信息。
S120、确定所述数据更新请求的更新请求类型;其中,所述更新请求类型包括延迟更新请求和/或实时更新请求。
其中,延迟更新请求可以表明待更新数据中部分或全部数据需要延迟更新,也即延迟生效数据对应发起的更新请求。实时更新请求可以表明待更新数据中的全部数据均需要实时更新,也即实时生效数据对应发起的更新请求。
相应的,当数据服务接收到消息队列发送的各个数据更新请求之后,可以对各数据更新请求的请求进行判断,以确定各数据更新请求的更新请求类型。
S130、根据所述更新请求类型对所述数据更新请求对应的待更新数据进行更新处理。
其中,待更新数据可以是数据更新请求向数据服务请求更新数据库的数据。
在本申请实施例中,当数据更新请求的更新请求类型不同时,数据服务对数据更新请求对应的待更新数据的更新处理方式也不同。可选的,如果确定更新请求类型为实时更新请求,则可以对实时更新请求的待更新数据进行实时更新。如果确定更新请求类型为延迟更新请求,则可以对延迟更新请求的待更新数据进行延迟更新。例如,在确定延迟更新请求的待更新数据没有达到预期的更新时间时,将延迟更新请求的待更新数据的关联信息缓存至消息队列,作为消息队列的新的待处理消息,以通过消息队列重新发送数据更新请求,直至完成对待更新数据的更新操作。
也即,利用消息队列可以完成对所有类型待更新数据的统一处理,不需要统一收集延迟生效数据后对所有的延迟生效数据进行批量处理,消息队列中的每条数据更新请求都可以被实时处理,从而避免因各延迟生效数据的数据更新时间不同导致数据更新不及时的问题,提高数据更新的实时性。
在本申请的一个可选实施例中,待更新数据可以包括待更新POI数据;根据更新请求类型对数据更新请求对应的待更新数据进行更新处理,可以包括:根据更新请求类型和待更新POI数据对地图基础数据进行更新处理。
其中,待更新POI数据可以是需要更新的POI数据。
在一个具体的应用场景中,互联网地图产品数据中的待更新POI数据部分为实时生效数据,部分为延迟生效数据。相应的,可以利用消息队列按照数据的生成顺序依次存储各待更新POI数据,并对当前处理的待更新POI数据生成对应的数据更新请求。相应的,数据服务可以根据待更新POI数据的数据更新请求的类型对不同类型的待更新POI数据对地图基础数据进行更新处理。例如,如果确定数据更新请求为实时更新请求,则可以直接根据待更新POI数据对地图基础数据进行更新处理。如果确定数据更新请求为延迟更新请求,且延迟更新请求的待更新数据没有达到预期的更新时间,则可以重新生成该数据更新请求的关联信息缓存至消息队列,以重新参加数据更新过程,直到确定延迟更新请求的待更新数据达到预期的更新时间,可以利用待更新POI数据对地图基础数据进行更新处理。这种数据更新方式可以有效提高地图基础数据的数据更新的实时性,且不会对存储地图基础数据的数据库性能造成影响,进而提高电子地图数据的准确率,进一步提高电子地图在智能交通领域中的应用效果。
本申请实施例通过利用消息队列存储延迟更新请求和/或实时更新请求,并通过消息队列发送数据更新请求。相应的,在获取到消息队列发送的数据更新请求之后,确定数据更新请求的更新请求类型,以根据更新请求类型对待更新数据进行更新处理,解决现有数据更新方法存在的数据更新实时性较低的问题,以在不影响数据库性能的情况下,提高数据更新的实时性,进而提高数据更新性能。
在一个示例中,图3是本申请实施例提供的一种数据更新方法的流程图,图4是本申请实施例提供的一种数据更新方法的流程示意图,本申请实施例在上述各实施例的技术方案的基础上,进行了优化改进,给出了确定数据更新请求的更新请求类型,以及根据更新请求类型对待更新数据进行更新处理的多种具体可选的实现方式。
如图3和图4所示的一种数据更新方法,包括:
S210、获取消息队列发送的数据更新请求。
在本申请实施例中,可选的,消息队列可以根据待更新数据的生成时间按顺序存储各个待更新数据,以保证先生成的数据可以被先进行更新处理。同时,消息队列还可以采用多管道的方式处理各个待更新数据,以进一步提高数据更新效率。可选的,消息队列可以采用卡夫卡(Kafka)队列等,本申请实施例并不对消息队列的具体类型进行限定。如图4所示,Msg1-Msg9可以表示各个待更新数据或消息队列根据待更新数据对应生成的数据更新请求。
S220、判断数据更新请求是否包括数据更新时钟,若是,则执行S230,否则执行S240。
其中,数据更新时钟可以是待更新数据对应的时钟数据,用于标识待更新数据中延迟生效数据的数据更新时间。可选的,数据更新时钟可以配置为数据更新的具体日期时间,例如“XX年XX月XX日XX时XX分”,表明待更新数据需要在“XX年XX月XX日XX时XX分”的时间点进行更新。数据更新时钟也可以配置为倒计时的模式,例如设置为2天的时间为倒计时的时间,当数据更新时钟计时为00:00:00时,表明时间到期,可以对待更新数据进行更新。只要能够标识待更新数据的数据更新时间即可,本申请实施例并不对数据更新时钟的计时方式进行限定。
S230、确定数据更新请求为延迟更新请求。
S240、确定数据更新请求为实时更新请求。
在本申请实施例中,可选的,当消息队列确定接收到的待更新数据为延迟生效数据时,除了可以为延迟生效数据对应的延迟更新请求添加ID号,还可以在延迟更新请求中添加数据更新时钟。示例性的,假设待更新数据为“XXX景点将于2021年1月3日09点开放”,则消息队列可以根据该待更新数据生成对应的数据更新时钟“2021年1月3日09点”,表明需要在2021年1月3日09点时刻更新该景点的状态。
相应的,当数据服务获取到消息队列发送的数据更新请求之后,可以判断数据更新请求是否包括数据更新时钟。如果确定数据更新请求包括数据更新时钟,表明待更新数据为延迟生效数据,则确定数据更新请求为延迟更新请求。如果确定数据更新请求不包括数据更新时钟,表明待更新数据为实时生效数据,则确定数据更新请求为实时更新请求。
上述技术方案,通过利用数据更新时钟标识待更新数据中延迟生效数据的数据更新时间,可以使得数据服务快速判断数据更新请求的更新请求类型。
S250、判断数据更新请求是否为延迟更新请求,若是,则执行S260,否则执行S290。
S260、确定待更新数据对应的实时更新数据和/或延迟更新数据。
其中,实时更新数据可以是需要实时更新的数据,也即实时生效数据。延迟更新数据可以是需要延迟更新的数据,也即延迟生效数据。
因此,当数据服务确定数据更新请求为延迟更新请求时,可以进一步根据待更新数据确定其对应的实时更新数据和/或延迟更新数据,以分别对实时更新数据和延迟更新数据进行不同的更新处理操作。
可以理解的是,虽然延迟生效数据需要延迟更新,但是部分类型的延迟生效数据也需要实时更新相关内容。需要说明的是,在某些数据更新场景中,待更新数据可以直接包括实时更新数据和/或延迟更新数据不同类型的数据。相应的,数据服务可以从待更新数据中直接获取实时更新数据和/或延迟更新数据。但在某些数据更新场景中,待更新数据以业务数据的方式呈现,此时,数据服务需要分析待更新数据的业务需求,以根据待更新数据生成实时更新数据和/或延迟更新数据不同类型的数据。可以理解的是,数据服务生成的更新数据和/或延迟更新数据需要满足待更新数据的数据更新需求。
示例性的,在电子地图的应用场景中,如果待更新POI数据为“XXX景点将于2021年1月3日09点开放”,虽然需要在2021年1月3日09点时刻更新该景点的状态,但待该景点的开放公告信息可以实时更新。例如,当用户搜索该景点时,虽然该景点尚未开放,当电子地图可以在地图显示界面对用户反馈“XXX景点将于2021年1月3日09点开放”的公告信息,以使用户实时了解景点的开放情况。相应的,针对上述待更新POI数据,数据服务生成的实时更新数据可以为“XXX景点计划于2021年1月3日09点开放”,该实时更新数据可以作为该景点的公告信息更新数据库,但不更新景点的开放状态。同时,数据服务生成的延迟更新数据可以为“于2021年1月3日09点准时更新XXX景点的开放状态”,该延迟更新数据可以实现在2021年1月3日09点时刻准时更新数据库中该景点的开放状态。
S270、在确定存在实时更新数据且实时更新数据未更新的情况下,对实时更新数据进行实时更新处理。
相应的,如果数据服务确定待更新数据中存在实时更新数据,且待更新数据对应的实时更新数据没有更新,则可以对实时更新数据进行实时更新处理,也即实时更新该实时更新数据。
需要说明的是,部分待更新数据只需要延迟更新数据,不需要实时更新任何数据。针对这类待更新数据,数据服务只能确定其对应的延迟更新数据,也即实时更新数据为空。
可以理解的是,如果待更新数据为消息队列从外部系统第一次接收的数据,且该待更新数据可以生成对应的实时更新数据,则数据服务对待更新数据的实时更新数据更新之后,后续无需再次对该待更新数据的实时更新数据进行实时更新。
S280、对延迟更新数据进行延迟更新处理。
相应的,如果数据服务确定待更新数据中存在延迟更新数据,则可以对延迟更新数据进行延迟更新处理,也即延时更新该延迟更新数据。
上述技术方案,通过对待更新数据确定实时更新数据和延迟更新数据,以分别对实时更新数据和延迟更新数据进行更新处理,可以保证实时更新数据能够实时更新,延迟更新数据能够延迟更新,从而提高数据更新的实时性和准确率。
在本申请的一个可选实施例中,对延迟更新数据进行延迟更新处理,可以包括:获取延迟更新请求的数据回写标识;根据数据回写标识对延迟更新数据进行延迟更新处理。
其中,数据回写标识用于标识延时更新请求为数据服务回写至消息队列的请求,可以是任意类型的标识信息,本申请实施例并不对数据回写标识的具体标识类型进行限定。
具体的,数据服务对延迟更新数据进行延迟更新处理时,可以判断消息队列发送的延迟更新请求中是否包括数据回写标识。需要说明的是,如果延迟更新请求中不包括数据回写标识,则表明该延迟更新请求为消息队列针对同一待更新数据第一次发送的数据更新请求。如果延迟更新请求中包括数据回写标识,则表明延迟更新请求为消息队列针对同一待更新数据循环发送的数据更新请求。相应的,针对不同类型的延迟更新请求,数据服务可以别采取不同的延迟更新处理,以满足延迟更新数据的延迟更新需求。
在本申请的一个可选实施例中,根据数据回写标识对延迟更新数据进行延迟更新处理,可以包括:在确定数据回写标识为空的情况下,生成延迟更新数据匹配的数据回写标识;根据数据回写标识生成延迟更新数据匹配的回写更新请求;将回写更新请求回写至消息队列;将延迟更新数据进行缓存。
其中,回写更新请求可以是数据服务对不需要更新的延迟更新数据重新生成的数据更新请求,可以回写至消息队列中作为新的数据更新请求,以重新请求数据服务进行更新处理。
可选的,如果数据服务确定延迟更新请求中不包括数据回写标识,则表明该延迟更新请求为消息队列针对待更新数据第一次生成的数据更新请求。例如,消息队列接收到待更新数据“XXX景点将于2021年1月3日09点开放”时,可以生成唯一标识该待更新数据的ID号,并将ID号和该待更新数据作为延迟更新请求发送至数据服务。此时,数据服务可以生成待更新数据中延迟更新数据的数据回写标识,并根据生成的数据回写标识生成延迟更新数据匹配的回写更新请求。得到回写更新请求后,数据服务可以将回写更新请求回写至消息队列,作为消息队列的新的数据更新请求。同时,数据服务还需要将延迟更新数据进行缓存,如缓存至数据库或消息队列中,以在确定到达更新时间时,利用缓存的延迟更新数据直接更新数据库。消息队列接收到回写更新请求后,将其作为新的数据更新请求发送至数据服务,数据服务接收到回写更新请求后,判断回写更新请求为一种延迟更新请求,且该回写更新请求对应缓存的延迟更新数据仍不需要更新时,数据服务继续将该回写更新请求回写至消息队列,且暂不对该回写更新请求对应缓存的延迟更新数据进行更新。如此反复操作,直至数据服务根据回写更新请求确定可以对该回写更新请求对应缓存的延迟更新数据进行更新,则终止对该待更新数据的回写更新请求的回写操作。此时,该延迟更新数据对应的待更新数据更新完毕。
上述技术方案,通过利用数据回写标识生成回写更新请求,以进一步根据回写更新请求对延迟更新数据进行延迟更新处理,可以避免延迟更新数据定期批量更新数据库导致降低数据库性能的问题,且能够实时监测延迟更新数据的更新时效。
在本申请的一个可选实施例中,根据数据回写标识生成延迟更新数据匹配的回写更新请求,可以包括:获取延迟更新请求中的数据更新时钟和更新请求标识;根据数据回写标识、数据更新时钟和更新请求标识生成回写更新请求。
其中,更新请求标识可以用于唯一标识延迟更新请求,可选的,更新请求标识可以是延迟更新请求对应的ID号。
具体的,数据服务可以获取延迟更新请求中的数据更新时钟和更新请求标识,并利用生成的数据回写标识与延迟更新请求的数据更新时钟和更新请求标识生成该延迟更新请求对应的回写更新请求。也即,当数据服务生成延迟更新请求对应的回写更新请求之后,该延迟更新请求本身即失效,由回写更新请求作为该延迟更新请求对应的新的待处理消息回写至消息队列。相应的,当数据服务重新接收到消息队列发送的回写更新请求后,由于该回写更新请求包括数据更新时钟,因此数据服务确定该回写更新请求为一种延迟更新请求。由于回写更新请求不包括待更新的数据,所以数据服务不需要根据回写更新请求再次对其对应的实时更新数据进行实时更新处理。同时该回写更新请求对应的延迟更新数据已经被缓存,因此也不需要再次缓存延迟更新数据,仅需要利用回写更新请求中的数据更新时钟判断缓存的延迟更新数据是否可以更新。如果回写更新请求中的数据更新时钟到期,表明延迟更新数据达到更新时间。此时,数据服务可以理解对缓存的延迟更新数据对数据库进行更新。如果回写更新请求中的数据更新时钟未到期,表明延迟更新数据未到达更新时间。此时,数据服务可以再次将回写更新请求重新回写至消息队列,且无需再次缓存延迟更新数据。由此可见,上述回写更新请求的应用可以避免大量延迟生效数据定期批量更新数据的操作,从而有效避免降低数据库性能的问题。
在本申请的一个可选实施例中,根据数据回写标识对延迟更新数据进行延迟更新处理,可以包括:在确定存在数据回写标识的情况下,获取延迟更新请求中包括的数据更新时钟;在根据数据更新时钟确定延迟更新数据未达到更新时间的情况下,将延迟更新请求作为回写更新请求;将回写更新请求回写至消息队列;在根据数据更新时钟确定延迟更新数据达到更新时间的情况下,对延迟更新数据进行实时更新处理。
相应的,如果数据服务确定延迟更新请求中包括数据回写标识,则表明该延迟更新请求为数据服务回写至消息队列的回写更新请求,仅包括数据回写标识、数据更新时钟和更新请求标识等信息。由于回写更新请求对应的实时更新数据已经被实时更新,且延迟更新数据已经被缓存,所以不再需要更新实时更新数据。此时,数据服务需要判断回写更新请求中的数据更新时钟是否到期。根据数据更新时钟形式的不同,数据服务判断数据更新时钟是否到期的方式也不同。示例性的,假设数据更新时钟配置为数据更新的具体日期时间,则数据服务可以获取数据服务所在系统的当前系统时间,并将数据更新时钟与当前系统时间进行匹配。数据服务如果确定当前系统时间与数据更新时钟不匹配,则表明数据更新时钟尚未到期;否则,表明数据更新时钟已经到期。假设数据更新时钟配置为倒计时的模式,则数据服务可以判断数据更新时钟的当前时间是否达到预设的倒计时时间,如00:00:00等。数据服务如果确定数据更新时钟的当前时间尚未达到预设的倒计时时间,则表明数据更新时钟尚未到期;否则,表明数据更新时钟已经到期。相应的,数据服务在确定数据更新时钟尚未到期时,表明延迟更新数据未达到更新时间。此时,数据服务可以将该延迟更新请求作为回写更新请求重新回写至消息队列中。数据服务在确定数据更新时钟到期时,表明延迟更新数据达到更新时间。此时,数据服务可以利用缓存的延迟更新数据直接对数据库进行实时更新。
S290、对待更新数据进行实时更新处理。
上述技术方案,利用数据更新请求中的数据更新时钟对延迟更新数据进行延迟更新处理的过程中,通过对数据回写标识的判定及回写更新请求的回写操作,在消息队列与数据服务中间形成请求的反馈环路,既可以保证延迟更新数据可以在达到更新时间时被实时更新,又可以避免延迟更新数据多次批量更新数据库降低数据库性能,保证数据库能够有效更新数据,从而提高数据更新的实时性,进而提高数据更新性能。
在一个示例中,图5是本申请实施例提供的一种数据更新装置的结构图,本申请实施例可适用于利用消息队列发送的数据更新请求的类型对待更新数据进行更新的情况,该装置通过软件和/或硬件实现,并具体配置于电子设备中,该电子设备可以是具备数据服务的设备。
如图5所示的一种数据更新装置300,包括:数据更新请求获取模块310、更新请求类型确定模块320和待更新数据更新模块330。其中,数据更新请求获取模块310,用于获取消息队列发送的数据更新请求;
更新请求类型确定模块320,用于确定数据更新请求的更新请求类型;其中,更新请求类型包括延迟更新请求和/或实时更新请求;
待更新数据更新模块330,用于根据更新请求类型对数据更新请求对应的待更新数据进行更新处理。
本申请实施例通过利用消息队列存储延迟更新请求和/或实时更新请求,并通过消息队列发送数据更新请求。相应的,在获取到消息队列发送的数据更新请求之后,确定数据更新请求的更新请求类型,以根据更新请求类型对待更新数据进行更新处理,解决现有数据更新方法存在的数据更新实时性较低的问题,以在不影响数据库性能的情况下,提高数据更新的实时性,进而提高数据更新性能。
可选的,更新请求类型确定模块320具体用于:在确定数据更新请求包括数据更新时钟的情况下,确定数据更新请求为延迟更新请求;在确定数据更新请求不包括数据更新时钟的情况下,确定数据更新请求为实时更新请求。
可选的,待更新数据更新模块330具体用于:在确定数据更新请求为延迟更新请求的情况下,确定待更新数据对应的实时更新数据和/或延迟更新数据;在确定存在实时更新数据且实时更新数据未更新的情况下,对实时更新数据进行实时更新处理;和/或,对延迟更新数据进行延迟更新处理。
可选的,待更新数据更新模块330具体用于:获取延迟更新请求的数据回写标识;根据数据回写标识对延迟更新数据进行延迟更新处理。
可选的,待更新数据更新模块330具体用于:在确定数据回写标识为空的情况下,生成延迟更新数据匹配的数据回写标识;根据数据回写标识生成延迟更新数据匹配的回写更新请求;将回写更新请求回写至消息队列;将延迟更新数据进行缓存。
可选的,待更新数据更新模块330具体用于:获取延迟更新请求中的数据更新时钟和更新请求标识;根据数据回写标识、数据更新时钟和更新请求标识生成回写更新请求。
可选的,待更新数据更新模块330具体用于:在确定存在数据回写标识的情况下,获取延迟更新请求中包括的数据更新时钟;在根据数据更新时钟确定延迟更新数据未达到更新时间的情况下,将延迟更新请求作为回写更新请求;将回写更新请求回写至消息队列;在根据数据更新时钟确定延迟更新数据达到更新时间的情况下,对延迟更新数据进行实时更新处理。
可选的,待更新数据更新模块330具体用于:在确定数据更新请求为实时更新请求的情况下,对待更新数据进行实时更新处理。
可选的,待更新数据包括待更新POI数据;待更新数据更新模块330具体用于:根据更新请求类型和待更新POI数据对地图基础数据进行更新处理。
上述数据更新装置可执行本申请任意实施例所提供的数据更新方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请任意实施例提供的数据更新方法。
由于上述所介绍的数据更新装置为可以执行本申请实施例中的数据更新方法的装置,故而基于本申请实施例中所介绍的数据更新方法,本领域所属技术人员能够了解本实施例的数据更新装置的具体实施方式以及其各种变化形式,所以在此对于该数据更新装置如何实现本申请实施例中的数据更新方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中数据更新方法所采用的装置,都属于本申请所欲保护的范围。
在一个示例中,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备400包括计算单元401,其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序,来执行各种适当的动作和处理。在RAM 403中,还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405,包括:输入单元406,例如键盘、鼠标等;输出单元407,例如各种类型的显示器、扬声器等;存储单元408,例如磁盘、光盘等;以及通信单元409,例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理,例如数据更新方法。例如,在一些实施例中,数据更新方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时,可以执行上文描述的数据更新方法的一个或多个步骤。备选地,在其他实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据更新方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
本申请实施例通过利用消息队列存储延迟更新请求和/或实时更新请求,并通过消息队列发送数据更新请求。相应的,在获取到消息队列发送的数据更新请求之后,确定数据更新请求的更新请求类型,以根据更新请求类型对待更新数据进行更新处理,解决现有数据更新方法存在的数据更新实时性较低的问题,以在不影响数据库性能的情况下,提高数据更新的实时性,进而提高数据更新性能。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (16)
1.一种数据更新方法,包括:
获取消息队列发送的数据更新请求;
确定所述数据更新请求的更新请求类型;其中,所述更新请求类型包括延迟更新请求和实时更新请求;所述延迟更新请求包括延迟更新数据;
根据所述更新请求类型对所述数据更新请求对应的待更新数据进行更新处理;
其中,所述根据所述更新请求类型对所述数据更新请求对应的待更新数据进行更新处理,包括:
获取所述延迟更新请求的数据回写标识;
根据所述数据回写标识对所述延迟更新数据进行延迟更新处理;
其中,所述根据所述数据回写标识对所述延迟更新数据进行延迟更新处理,包括:
在确定存在所述数据回写标识的情况下,获取所述延迟更新请求中包括的数据更新时钟;
在根据所述数据更新时钟确定所述延迟更新数据未达到更新时间的情况下,将所述延迟更新请求作为回写更新请求;
将所述回写更新请求回写至所述消息队列;
在根据所述数据更新时钟确定所述延迟更新数据达到更新时间的情况下,对所述延迟更新数据进行实时更新处理。
2.根据权利要求1所述的方法,其中,所述确定所述数据更新请求的更新请求类型,包括:
在确定所述数据更新请求包括数据更新时钟的情况下,确定所述数据更新请求为所述延迟更新请求;
在确定所述数据更新请求不包括数据更新时钟的情况下,确定所述数据更新请求为所述实时更新请求。
3.根据权利要求1所述的方法,其中,所述根据所述更新请求类型对所述数据更新请求对应的待更新数据进行更新处理,还包括:
在确定所述数据更新请求为所述延迟更新请求的情况下,确定所述待更新数据对应的实时更新数据;
在确定存在所述实时更新数据且所述实时更新数据未更新的情况下,对所述实时更新数据进行实时更新处理。
4.根据权利要求1所述的方法,其中,所述根据所述数据回写标识对所述延迟更新数据进行延迟更新处理,还包括:
在确定所述数据回写标识为空的情况下,生成所述延迟更新数据匹配的数据回写标识;
根据所述数据回写标识生成所述延迟更新数据匹配的回写更新请求;
将所述回写更新请求回写至所述消息队列;
将所述延迟更新数据进行缓存。
5.根据权利要求4所述的方法,其中,所述根据所述数据回写标识生成所述延迟更新数据匹配的回写更新请求,包括:
获取所述延迟更新请求中的数据更新时钟和更新请求标识;
根据所述数据回写标识、所述数据更新时钟和所述更新请求标识生成所述回写更新请求。
6.根据权利要求1所述的方法,其中,所述根据所述更新请求类型对所述数据更新请求对应的待更新数据进行更新处理,包括:
在确定所述数据更新请求为所述实时更新请求的情况下,对所述待更新数据进行实时更新处理。
7.根据权利要求1-6任一所述的方法,其中,所述待更新数据包括待更新兴趣点POI数据;
所述根据所述更新请求类型对所述数据更新请求对应的待更新数据进行更新处理,包括:
根据所述更新请求类型和所述待更新兴趣点POI数据对地图基础数据进行更新处理。
8.一种数据更新装置,包括:
数据更新请求获取模块,用于获取消息队列发送的数据更新请求;
更新请求类型确定模块,用于确定所述数据更新请求的更新请求类型;其中,所述更新请求类型包括延迟更新请求和实时更新请求;所述延迟更新请求包括延迟更新数据;
待更新数据更新模块,用于根据所述更新请求类型对所述数据更新请求对应的待更新数据进行更新处理;
其中,所述待更新数据更新模块具体用于:
获取所述延迟更新请求的数据回写标识;
根据所述数据回写标识对所述延迟更新数据进行延迟更新处理;
其中,所述待更新数据更新模块具体用于:
在确定存在所述数据回写标识的情况下,获取所述延迟更新请求中包括的数据更新时钟;
在根据所述数据更新时钟确定所述延迟更新数据未达到更新时间的情况下,将所述延迟更新请求作为回写更新请求;
将所述回写更新请求回写至所述消息队列;
在根据所述数据更新时钟确定所述延迟更新数据达到更新时间的情况下,对所述延迟更新数据进行实时更新处理。
9.根据权利要求8所述的装置,其中,所述更新请求类型确定模块具体用于:
在确定所述数据更新请求包括数据更新时钟的情况下,确定所述数据更新请求为所述延迟更新请求;
在确定所述数据更新请求不包括数据更新时钟的情况下,确定所述数据更新请求为所述实时更新请求。
10.根据权利要求8所述的装置,其中,所述待更新数据更新模块具体用于:
在确定所述数据更新请求为所述延迟更新请求的情况下,确定所述待更新数据对应的实时更新数据和/或延迟更新数据;
在确定存在所述实时更新数据且所述实时更新数据未更新的情况下,对所述实时更新数据进行实时更新处理;和/或,
对所述延迟更新数据进行延迟更新处理。
11.根据权利要求8所述的装置,其中,所述待更新数据更新模块具体用于:
在确定所述数据回写标识为空的情况下,生成所述延迟更新数据匹配的数据回写标识;
根据所述数据回写标识生成所述延迟更新数据匹配的回写更新请求;
将所述回写更新请求回写至所述消息队列;
将所述延迟更新数据进行缓存。
12.根据权利要求11所述的装置,其中,所述待更新数据更新模块具体用于:
获取所述延迟更新请求中的数据更新时钟和更新请求标识;
根据所述数据回写标识、所述数据更新时钟和所述更新请求标识生成所述回写更新请求。
13.根据权利要求8所述的装置,其中,所述待更新数据更新模块具体用于:
在确定所述数据更新请求为所述实时更新请求的情况下,对所述待更新数据进行实时更新处理。
14.根据权利要求8-13任一所述的装置,其中,所述待更新数据包括待更新兴趣点POI数据;
所述待更新数据更新模块具体用于:根据所述更新请求类型和所述待更新兴趣点POI数据对地图基础数据进行更新处理。
15.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据更新方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行权利要求1-7中任一项所述的数据更新方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110203554.1A CN112883041B (zh) | 2021-02-23 | 2021-02-23 | 一种数据更新方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110203554.1A CN112883041B (zh) | 2021-02-23 | 2021-02-23 | 一种数据更新方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112883041A CN112883041A (zh) | 2021-06-01 |
CN112883041B true CN112883041B (zh) | 2024-03-08 |
Family
ID=76053900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110203554.1A Active CN112883041B (zh) | 2021-02-23 | 2021-02-23 | 一种数据更新方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112883041B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114048197B (zh) * | 2022-01-13 | 2022-04-19 | 浙江大华技术股份有限公司 | 树形结构数据处理方法、电子设备及计算机可读存储装置 |
CN115550279A (zh) * | 2022-09-28 | 2022-12-30 | 苏州浪潮智能科技有限公司 | 一种资料更新方法、装置及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103647729A (zh) * | 2013-11-19 | 2014-03-19 | 华为技术有限公司 | 一种基于令牌桶的延迟请求处理方法及装置 |
CN106371925A (zh) * | 2016-08-31 | 2017-02-01 | 北京中测安华科技有限公司 | 一种高速大数据的检测方法及装置 |
CN109547357A (zh) * | 2018-12-03 | 2019-03-29 | 郑州云海信息技术有限公司 | 一种存储系统中数据信息的传输方法、装置、设备及介质 |
CN111328148A (zh) * | 2020-03-11 | 2020-06-23 | 展讯通信(上海)有限公司 | 数据传输方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9348861B2 (en) * | 2013-09-10 | 2016-05-24 | International Business Machines Corporation | Capturing change data of deferred updates |
CN112214166B (zh) * | 2017-09-05 | 2022-05-24 | 华为技术有限公司 | 用于传输数据处理请求的方法和装置 |
-
2021
- 2021-02-23 CN CN202110203554.1A patent/CN112883041B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103647729A (zh) * | 2013-11-19 | 2014-03-19 | 华为技术有限公司 | 一种基于令牌桶的延迟请求处理方法及装置 |
CN106371925A (zh) * | 2016-08-31 | 2017-02-01 | 北京中测安华科技有限公司 | 一种高速大数据的检测方法及装置 |
CN109547357A (zh) * | 2018-12-03 | 2019-03-29 | 郑州云海信息技术有限公司 | 一种存储系统中数据信息的传输方法、装置、设备及介质 |
CN111328148A (zh) * | 2020-03-11 | 2020-06-23 | 展讯通信(上海)有限公司 | 数据传输方法及装置 |
Non-Patent Citations (3)
Title |
---|
利用Coherence扩展WebLogic集群会话复制功能及应用;李晓溪;中国优秀硕士学位论文全文数据库(第3期);全文 * |
基于SSD的HDD缓存系统研究;闫林;中国优秀硕士学位论文全文数据库;全文 * |
用于云存储数据服务器的I/O请求调度算法;李宇;;西南交通大学学报(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112883041A (zh) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112883041B (zh) | 一种数据更新方法、装置、电子设备及存储介质 | |
CN112540806B (zh) | 一种小程序页面渲染方法、装置、电子设备及存储介质 | |
CN110764796A (zh) | 更新缓存的方法和装置 | |
CN114500443B (zh) | 消息推送方法、装置、系统、电子设备和存储介质 | |
CN115525666A (zh) | 一种实时数据更新方法、装置、电子设备及存储介质 | |
CN116668464B (zh) | 一种多串口服务同步处理方法、装置、电子设备及介质 | |
CN114629748B (zh) | 一种楼宇数据的处理方法、楼宇的边缘网关及存储介质 | |
CN115840604B (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN114553894B (zh) | 数据同步方法、装置、系统及存储介质 | |
CN112948461B (zh) | 日程数据处理的方法、设备、存储介质和程序产品 | |
CN117608944A (zh) | 权属迁移量配比的计算方法、装置、电子设备和存储介质 | |
CN117997870B (zh) | 一种ems北向云平台对接方法、装置、电子设备及存储介质 | |
CN118055068A (zh) | 基于dpdk的报文处理方法、装置、设备和介质 | |
CN116431928A (zh) | 一种时序数据推送方法、装置、设备及存储介质 | |
CN117827949A (zh) | 一种基于内存队列的数据批量写入数据库方法及装置 | |
CN115858104A (zh) | 一种事务提交序号快照获取方法、装置、设备及存储介质 | |
CN115098520A (zh) | 设备数据更新方法、装置、电子设备及存储介质 | |
CN117499224A (zh) | 一种物联网设备边缘网关接入方法、装置、设备及介质 | |
CN117406964A (zh) | 数据架构模型设计方法、装置、电子设备和存储介质 | |
CN114268558A (zh) | 监控图的生成方法、装置、设备、介质 | |
CN115499500A (zh) | 消息推送方法、装置、设备和存储介质 | |
CN117633110A (zh) | 敏感操作日志记录的存储方法、装置、设备和介质 | |
CN116302371A (zh) | 事务可见性判断方法、装置、设备及存储介质 | |
CN116233234A (zh) | 消息推送方法、装置、服务器及存储介质 | |
CN118250175A (zh) | 一种分布式计算实现方法、装置、网卡芯片及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |