CN116455956B - 一种基于消息中间件的数据采集和数据回放的方法和系统 - Google Patents
一种基于消息中间件的数据采集和数据回放的方法和系统 Download PDFInfo
- Publication number
- CN116455956B CN116455956B CN202310713841.6A CN202310713841A CN116455956B CN 116455956 B CN116455956 B CN 116455956B CN 202310713841 A CN202310713841 A CN 202310713841A CN 116455956 B CN116455956 B CN 116455956B
- Authority
- CN
- China
- Prior art keywords
- playback
- data
- file
- playback file
- message server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000013499 data model Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/2871—Implementation details of single intermediate entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种基于消息中间件的数据采集和数据回放的方法和系统，该方法是基于消息中间件在数据采集、处理、存储等各环节设计的数据采集和数据回放方法，提高系统的稳定性与可用性。通过设计并实现数据采集和数据回放系统，将存储在分布式消息中间件中的数据进行统一处理和存储；然后通过数据模型的推导将数据进行处理；将处理之后的数据信息传输给用户。采用本方法可帮助用户完成分析，在回放过程中对原来参加传输的客户端均在线回放，再次展现协作过程，保证回放过程中业务处理逻辑的正确性。另外回放主题、起止时间也是一个可控的因素，用于灵活控制回放进度，便于分析业务处理的关键点和聚焦重点业务执行情况。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种基于消息中间件的数据采集和数据回放的方法和系统。
背景技术
分布式系统在数据传输过程中，数据量大、可移植性差的，一旦出现不准确的结果，严重影响使用。消息中间件包括消息队列和发布/订阅两种工作模式。消息队列模式通过一个消息队列来传递消息，解决了通信双方时间和空间松耦合问题，但消费者不能对特定队列或主题消息再传输过程的复现，包括数据重新表达显示以及事件处理过程的显示还原。
发明内容
基于此，有必要针对上述技术问题，提供一种基于消息中间件的数据采集和数据回放的方法和系统。
一种基于消息中间件的数据采集和数据回放的方法，所述方法包括：
将业务系统产生的数据发送到消息服务器，并按照业务分类把对应的数据信息保存到消息服务器中。
对所述消息服务器中的数据信息建立索引信息；所述索引信息包括以写入顺序为关键字的索引。
响应回放客户端的数据回放请求，根据所述数据回放请求、所述索引信息以及所述消息服务器中存储的数据信息，生成回放文件；
将所述回放文件发送至所述回放客户端。
在其中一个实施例中，对所述消息服务器中的数据信息建立索引信息，包括：
当所述数据信息存储到所述消息服务器中后，所述消息服务器在后台开启一个定时任务，对所述消息服务器上的数据信息建立以数据信息写入时间、批次为关键字的顺序索引。
将所述顺序索引按照关键字值的大小进行排序，每个索引元素保存关键字值相同的队列，得到所述数据信息对应的索引信息。
将所述索引信息保存到索引文件中。
在其中一个实施例中，响应回放客户端的数据回放请求，根据所述数据回放请求、所述索引信息以及所述消息服务器中存储的数据信息，生成回放文件，包括：
响应回放客户端的数据回放请求。
当回放文件不存在时，如果查询历史版本，则消息服务器调用历史查询接口，查询工作节点对应的历史纪录；如果不查询历史版本，则直接指定版本号为-1，使用最新的版本进行回放文件的生成。
回放客户端选定生成回放文件的版本号，发送生成对应版本回放文件的请求。
当消息服务器接收到生成回放文件请求时，创建回放索引文件生成线程。
在回放文件生成过程中，查询回放文件生成进度，等待回放文件生成成功。
当回放文件生成成功后，如果本地没有对应回放文件，则拉取整个回放文件到回放客户端本地；如果本地已存在回放文件，则获取本地回放文件最后offset，使用最后offset向工作节点拉取回放文件，更新本地回放文件。
当本地回放文件拉取或更新完成后，回放客户端加载回放文件，调用回放文件解析接口解析回放文件。
一种基于消息中间件的数据采集和数据回放的系统，所述系统包括：
数据采集模块，用于将业务系统产生的数据发送到消息服务器，并按照业务分类把对应的数据信息保存到消息服务器中。
数据处理模块，对所述消息服务器中的数据信息建立索引信息；所述索引信息包括以写入顺序为关键字的索引。
回放数据生成模块，用于响应回放客户端的数据回放请求；当回放文件不存在时，如果查询历史版本，则消息服务器调用历史查询接口，查询工作节点对应的历史纪录；如果不查询历史版本，则直接指定版本号为-1，使用最新的版本进行回放文件的生成；回放客户端选定生成回放文件的版本号，发送生成对应版本回放文件的请求；当消息服务器接收到生成回放文件请求时，创建回放索引文件生成线程；在回放文件生成过程中，查询回放文件生成进度，等待回放文件生成成功；当回放文件生成成功后，如果本地没有对应回放文件，则拉取整个回放文件到回放客户端本地；如果本地已存在回放文件，则获取本地回放文件最后offset，使用最后offset向工作节点拉取回放文件，更新本地回放文件；当本地回放文件拉取或更新完成后，回放客户端加载回放文件，调用回放文件解析接口解析回放文件；
数据模块，用于将所述回放文件发送至所述回放客户端。
在其中一个实施例中，数据处理模块，还用于当所述数据信息存储到所述消息服务器中后，所述消息服务器在后台开启一个定时任务，对所述消息服务器上的数据信息建立以数据信息写入时间、批次为关键字的顺序索引；将所述顺序索引按照关键字值的大小进行排序，每个索引元素保存关键字值相同的队列，得到所述数据信息对应的索引信息；将所述索引信息保存到索引文件中。
在其中一个实施例中，回放数据生成模块，还用于响应回放客户端的数据回放请求；当回放文件不存在时，如果查询历史版本，则消息服务器调用历史查询接口，查询工作节点对应的历史纪录；如果不查询历史版本，则直接指定版本号为-1，使用最新的版本进行回放文件的生成；回放客户端选定生成回放文件的版本号，发送生成对应版本回放文件的请求；当消息服务器接收到生成回放文件请求时，创建回放索引文件生成线程；在回放文件生成过程中，查询回放文件生成进度，等待回放文件生成成功；当回放文件生成成功后，如果本地没有对应回放文件，则拉取整个回放文件到回放客户端本地；如果本地已存在回放文件，则获取本地回放文件最后offset，使用最后offset向工作节点拉取回放文件，更新本地回放文件；当本地回放文件拉取或更新完成后，回放客户端加载回放文件，调用回放文件解析接口解析回放文件。
上述一种基于消息中间件的数据采集和数据回放的方法和系统，该方法是基于消息中间件在数据采集、处理、存储等各环节设计的数据采集和数据回放方法，以提高系统的稳定性与可用性。通过设计并实现数据采集和数据回放系统，将存储在分布式消息中间件中的数据进行统一的处理和存储。然后通过数据模型的推导将数据进行处理；通过对数据信息进行处理之后将数据传输给用户。采用本方法可以帮助用户完成分析，在回放过程中对原来参加传输的客户端均在线回放，再次展现协作的过程，保证回放过程中业务处理逻辑的正确性。另外回放主题、起止时间也是一个可控的因素，用于灵活控制回放的进度，便于分析业务处理的关键点和聚焦重点业务执行情况。
附图说明
图1为一个实施例中基于消息中间件的数据采集和数据回放的方法的流程示意图；
图2为另一个实施例中回放文件生成过程中回放客户端和消息服务器的交互流程；
图3为另一个实施例中回放索引示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于消息中间件的数据采集和数据回放的方法，该方法包括以下步骤：
步骤100：将业务系统产生的数据发送到消息服务器，并按照业务分类把对应的数据信息保存到消息服务器中。
具体的，业务系统中产生的数据可以发送到消息系统服务器中进行保存，后续的业务系统可以从消息服务器中拉取消息进行业务的处理。业务系统按照业务分类把对应的数据信息发送到消息服务器中进行分类并保存，从而可以把业务系统中需要用到的业务数据存储到消息服务器中便于后续对数据的使用和分析。
时序性保证了回放数据采集过程中成员状态变化和业务数据更新的逻辑正确性，避免回放过程中的各成员数据处理的混乱问题。
步骤102：对消息服务器中的数据信息建立索引信息；索引信息包括以写入顺序为关键字的索引。
回放数据的处理是回放的基本要求，回放数据必须进行持久化存储，在回放时还原在最准确的时刻点，出现局部超前或者滞后的情况均会对原过程的还原造成消极的影响；另外，回放过程必须完整，对于事件执行过程的动态操作情况需要有完备的重现方案，回放数据也必须完整地在回放过程中被呈现，出现数据丢失或者数据反复处理等问题都会导致逻辑出现错误。
可对采集的数据建立高性能索引，以支撑数据的快速检索定位。系统可让用户快速的从消息服务器中查询自己想要的消息。消息服务器上会存储大量的消息，如果直接在磁盘中进行消息的搜索匹配会造成搜索效率严重下降，此时就要对消息服务器中保存的消息建立对应的索引。
步骤104：响应回放客户端的数据回放请求；当回放文件不存在时，如果查询历史版本，则消息服务器调用历史查询接口，查询工作节点对应的历史纪录；如果不查询历史版本，则直接指定版本号为-1，使用最新的版本进行回放文件的生成；回放客户端选定生成回放文件的版本号，发送生成对应版本回放文件的请求；当消息服务器接收到生成回放文件请求时，创建回放索引文件生成线程；在回放文件生成过程中，查询回放文件生成进度，等待回放文件生成成功；当回放文件生成成功后，如果本地没有对应回放文件，则拉取整个回放文件到回放客户端本地；如果本地已存在回放文件，则获取本地回放文件最后offset，使用最后offset向工作节点拉取回放文件，更新本地回放文件；当本地回放文件拉取或更新完成后，回放客户端加载回放文件，调用回放文件解析接口解析回放文件；
回放文件生成过程中回放客户端和消息服务器的交互流程如图2所示。
步骤106：将回放文件发送至回放客户端。
上述基于消息中间件的数据采集和数据回放的方法中，该方法是基于消息中间件在数据采集、处理、存储等各环节设计的数据采集和数据回放方法，以提高系统的稳定性与可用性。通过设计并实现数据采集和数据回放系统，将存储在分布式消息中间件中的数据进行统一的处理和存储。然后通过数据模型的推导将数据进行处理；通过对数据信息进行处理之后将数据传输给用户。采用本方法可以帮助用户完成分析，在回放过程中对原来参加传输的客户端均在线回放，再次展现协作的过程，保证回放过程中业务处理逻辑的正确性。另外回放主题、起止时间也是一个可控的因素，用于灵活控制回放的进度，便于分析业务处理的关键点和聚焦重点业务执行情况。
在其中一个实施例中，步骤102包括：当数据信息存储到消息服务器中后，消息服务器在后台开启一个定时任务，对消息服务器上的数据信息建立以数据信息写入时间、批次为关键字的顺序索引；将顺序索引按照关键字值的大小进行排序，每个索引元素保存关键字值相同的队列，得到数据信息对应的索引信息；将索引信息保存到索引文件中。
具体的，当客户端拉取消息的时候，先从索引中匹配到对应的消息，然后再根据索引去磁盘中加载消息内容并返回给客户端。当消息在存储服务器中进行保存的时候，消息服务器会在后台开启一个定时任务，定时的去把磁盘上的消息建立对应的索引信息单独保存在一个文件中，定时任务会给每条消息建一个索引信息。当用户要查询消息的时候，首先根据索引信息到索引文件中查询索引对应的索引信息，然后根据索引信息再去磁盘加载对应的消息内容返回给客户端。
回放索引包括以写入顺序为关键字的索引。
以不同维度为关键字的顺序索引。这里认为系统内的时间、批次都为变量，创建以这些变量为key的顺序索引。
索引的key各不相同，按照大小进行排序，每个索引元素保存key相同的队列。
回放索引示意图如图3所示。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种基于消息中间件的数据采集和数据回放的系统，该系统包括：
数据采集模块，用于将业务系统产生的数据发送到消息服务器，并按照业务分类把对应的数据信息保存到消息服务器中。
数据处理模块，对消息服务器中的数据信息建立索引信息；索引信息包括以写入顺序为关键字的索引。
回放数据生成模块，用于响应回放客户端的数据回放请求；当回放文件不存在时，如果查询历史版本，则消息服务器调用历史查询接口，查询工作节点对应的历史纪录；如果不查询历史版本，则直接指定版本号为-1，使用最新的版本进行回放文件的生成；回放客户端选定生成回放文件的版本号，发送生成对应版本回放文件的请求；当消息服务器接收到生成回放文件请求时，创建回放索引文件生成线程；在回放文件生成过程中，查询回放文件生成进度，等待回放文件生成成功；当回放文件生成成功后，如果本地没有对应回放文件，则拉取整个回放文件到回放客户端本地；如果本地已存在回放文件，则获取本地回放文件最后offset，使用最后offset向工作节点拉取回放文件，更新本地回放文件；当本地回放文件拉取或更新完成后，回放客户端加载回放文件，调用回放文件解析接口解析回放文件。
数据模块，用于将回放文件发送至回放客户端。
在其中一个实施例中，数据处理模块，还用于当数据信息存储到消息服务器中后，消息服务器在后台开启一个定时任务，对消息服务器上的数据信息建立以数据信息写入时间、批次为关键字的顺序索引；将顺序索引按照关键字值的大小进行排序，每个索引元素保存关键字值相同的队列，得到数据信息对应的索引信息；将索引信息保存到索引文件中。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (4)
1.一种基于消息中间件的数据采集和数据回放的方法，其特征在于，所述方法包括：
将业务系统产生的数据发送到消息服务器，并按照业务分类把对应的数据信息保存到消息服务器中；
对所述消息服务器中的数据信息建立索引信息；所述索引信息包括以写入顺序为关键字的索引；
响应回放客户端的数据回放请求；
当回放文件不存在时，如果查询历史版本，则消息服务器调用历史查询接口，查询工作节点对应的历史纪录；如果不查询历史版本，则直接指定版本号为-1，使用最新的版本进行回放文件的生成；
回放客户端选定生成回放文件的版本号，发送生成对应版本回放文件的请求；
当消息服务器接收到生成回放文件请求时，创建回放索引文件生成线程；
在回放文件生成过程中，查询回放文件生成进度，等待回放文件生成成功；
当回放文件生成成功后，如果本地没有对应回放文件，则拉取整个回放文件到回放客户端本地；如果本地已存在回放文件，则获取本地回放文件最后offset，使用最后offset向工作节点拉取回放文件，更新本地回放文件；
当本地回放文件拉取或更新完成后，回放客户端加载回放文件，调用回放文件解析接口解析回放文件；
将所述回放文件发送至所述回放客户端。
2.根据权利要求1所述的方法，其特征在于，对所述消息服务器中的数据信息建立索引信息，包括：
当所述数据信息存储到所述消息服务器中后，所述消息服务器在后台开启一个定时任务，对所述消息服务器上的数据信息建立以数据信息写入时间、批次为关键字的顺序索引；
将所述顺序索引按照关键字值的大小进行排序，每个索引元素保存关键字值相同的队列，得到所述数据信息对应的索引信息；
将所述索引信息保存到索引文件中。
3.一种基于消息中间件的数据采集和数据回放的系统，其特征在于，所述系统包括：
数据采集模块，用于将业务系统产生的数据发送到消息服务器，并按照业务分类把对应的数据信息保存到消息服务器中；
数据处理模块，对所述消息服务器中的数据信息建立索引信息；所述索引信息包括以写入顺序为关键字的索引；
回放数据生成模块，用于响应回放客户端的数据回放请求；当回放文件不存在时，如果查询历史版本，则消息服务器调用历史查询接口，查询工作节点对应的历史纪录；如果不查询历史版本，则直接指定版本号为-1，使用最新的版本进行回放文件的生成；回放客户端选定生成回放文件的版本号，发送生成对应版本回放文件的请求；当消息服务器接收到生成回放文件请求时，创建回放索引文件生成线程；在回放文件生成过程中，查询回放文件生成进度，等待回放文件生成成功；当回放文件生成成功后，如果本地没有对应回放文件，则拉取整个回放文件到回放客户端本地；如果本地已存在回放文件，则获取本地回放文件最后offset，使用最后offset向工作节点拉取回放文件，更新本地回放文件；当本地回放文件拉取或更新完成后，回放客户端加载回放文件，调用回放文件解析接口解析回放文件；
数据模块，用于将所述回放文件发送至所述回放客户端。
4.根据权利要求3所述的系统，其特征在于，数据处理模块，还用于当所述数据信息存储到所述消息服务器中后，所述消息服务器在后台开启一个定时任务，对所述消息服务器上的数据信息建立以数据信息写入时间、批次为关键字的顺序索引；将所述顺序索引按照关键字值的大小进行排序，每个索引元素保存关键字值相同的队列，得到所述数据信息对应的索引信息；将所述索引信息保存到索引文件中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310713841.6A CN116455956B (zh) | 2023-06-16 | 2023-06-16 | 一种基于消息中间件的数据采集和数据回放的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310713841.6A CN116455956B (zh) | 2023-06-16 | 2023-06-16 | 一种基于消息中间件的数据采集和数据回放的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116455956A CN116455956A (zh) | 2023-07-18 |
| CN116455956B true CN116455956B (zh) | 2023-08-15 |
Family
ID=87134185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310713841.6A Active CN116455956B (zh) | 2023-06-16 | 2023-06-16 | 一种基于消息中间件的数据采集和数据回放的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116455956B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116662140B (zh) * | 2023-07-24 | 2023-10-03 | 中国人民解放军国防科技大学 | 一种仿真数据的自动化采集与回放方法、装置和设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6252947B1 (en) * | 1999-06-08 | 2001-06-26 | David A. Diamond | System and method for data recording and playback |
| CN105072196A (zh) * | 2015-08-27 | 2015-11-18 | 携程计算机技术（上海）有限公司 | 分布式数据包存储、回溯方法及系统 |
| CN105404664A (zh) * | 2015-11-10 | 2016-03-16 | 上海尚毅测控技术有限公司 | 一种针对海量数据可配置的多重索引及回放方法及其系统 |
| CN109729371A (zh) * | 2018-12-21 | 2019-05-07 | 中电福富信息科技有限公司 | 一种基于hls协议多级管理的直播时移系统及方法 |
| CN110109873A (zh) * | 2019-05-08 | 2019-08-09 | 重庆大学 | 一种用于消息队列的文件管理方法 |
| CN113656191A (zh) * | 2021-07-19 | 2021-11-16 | 中国电子科技集团公司第十五研究所 | 一种消息中间件的历史消息回放方法及装置 |
| CN114090304A (zh) * | 2022-01-19 | 2022-02-25 | 飞狐信息技术（天津）有限公司 | 一种基于消息中间件的消息回放方法和装置 |
| CN115357023A (zh) * | 2022-08-31 | 2022-11-18 | 上海木蚁机器人科技有限公司 | 移动机器人运行数据的回放方法、装置、设备和存储介质 |
| CN115391059A (zh) * | 2022-08-22 | 2022-11-25 | 平安银行股份有限公司 | 数据回放方法、装置、计算机设备及计算机可读存储介质 |
| CN116028811A (zh) * | 2022-12-29 | 2023-04-28 | 杭州网易云音乐科技有限公司 | 数据回溯方法、介质、装置和计算设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100027966A1 (en) * | 2008-08-04 | 2010-02-04 | Opanga Networks, Llc | Systems and methods for video bookmarking |
| WO2016052846A1 (ko) * | 2014-10-02 | 2016-04-07 | 엘지전자(주) | 컨텐트 재생 방법 및 장치 |
| US20180176278A1 (en) * | 2016-12-19 | 2018-06-21 | Qualcomm Incorporated | Detecting and signaling new initialization segments during manifest-file-free media streaming |
-
2023
- 2023-06-16 CN CN202310713841.6A patent/CN116455956B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6252947B1 (en) * | 1999-06-08 | 2001-06-26 | David A. Diamond | System and method for data recording and playback |
| CN105072196A (zh) * | 2015-08-27 | 2015-11-18 | 携程计算机技术（上海）有限公司 | 分布式数据包存储、回溯方法及系统 |
| CN105404664A (zh) * | 2015-11-10 | 2016-03-16 | 上海尚毅测控技术有限公司 | 一种针对海量数据可配置的多重索引及回放方法及其系统 |
| CN109729371A (zh) * | 2018-12-21 | 2019-05-07 | 中电福富信息科技有限公司 | 一种基于hls协议多级管理的直播时移系统及方法 |
| CN110109873A (zh) * | 2019-05-08 | 2019-08-09 | 重庆大学 | 一种用于消息队列的文件管理方法 |
| CN113656191A (zh) * | 2021-07-19 | 2021-11-16 | 中国电子科技集团公司第十五研究所 | 一种消息中间件的历史消息回放方法及装置 |
| CN114090304A (zh) * | 2022-01-19 | 2022-02-25 | 飞狐信息技术（天津）有限公司 | 一种基于消息中间件的消息回放方法和装置 |
| CN115391059A (zh) * | 2022-08-22 | 2022-11-25 | 平安银行股份有限公司 | 数据回放方法、装置、计算机设备及计算机可读存储介质 |
| CN115357023A (zh) * | 2022-08-31 | 2022-11-18 | 上海木蚁机器人科技有限公司 | 移动机器人运行数据的回放方法、装置、设备和存储介质 |
| CN116028811A (zh) * | 2022-12-29 | 2023-04-28 | 杭州网易云音乐科技有限公司 | 数据回溯方法、介质、装置和计算设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于流式计算的遥感卫星数据快视处理方法;宋峣;孙小涓;胡玉新;雷斌;卢晓军;;计算机工程与应用(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116455956A (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107038218B (zh) | 报表处理方法和系统 | |
| JP2014523568A (ja) | 効率的な状態調整 | |
| CN116455956B (zh) | 一种基于消息中间件的数据采集和数据回放的方法和系统 | |
| CN106874334B (zh) | 一种数据处理方法及装置、资讯处理系统 | |
| CN108874946B (zh) | 一种id管理方法及装置 | |
| CN111339186A (zh) | 工作流引擎数据同步方法、装置、介质及电子设备 | |
| CN112765152B (zh) | 用于合并数据表的方法和装置 | |
| KR20110079740A (ko) | 데이터 동기화를 위한 검색 기반 사양 | |
| KR101559046B1 (ko) | 항상 준비된 클라이언트/서버 데이터 동기화 방법 | |
| US10747622B2 (en) | Efficient backup, search and restore | |
| CN113204598B (zh) | 一种数据同步方法、系统及存储介质 | |
| CN112003915A (zh) | 一种文件的访问方法、装置、设备及可读介质 | |
| CN108255955B (zh) | 一种数据处理方法及装置 | |
| CN112737918B (zh) | 即时通讯系统中的群发消息处理方法、装置 | |
| JP7353076B2 (ja) | 会話関連データを収集する方法、コンピュータプログラム、コンピュータ機器及びサーバーシステム | |
| CN112685557A (zh) | 可视化信息资源管理方法及装置 | |
| CN112597119A (zh) | 一种处理日志的生成方法、装置及存储介质 | |
| CN107332679B (zh) | 一种无中心信息同步方法及装置 | |
| CN112035413A (zh) | 元数据信息查询方法、装置及存储介质 | |
| CN110740385A (zh) | 音频或视频的循环播放方法、存储介质及电子设备 | |
| CN108363617B (zh) | 一种ssr上的离线清单异步导入方法 | |
| CN115904762A (zh) | 属性信息的实时确定方法、装置、电子设备及存储介质 | |
| CN111966533B (zh) | 电子文件管理方法、装置、计算机设备和存储介质 | |
| CN115718764A (zh) | 业务数据处理方法、装置、计算机设备以介质 | |
| CN117118938A (zh) | 操作任务处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |