CN114416485A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN114416485A
CN114416485A CN202210068485.2A CN202210068485A CN114416485A CN 114416485 A CN114416485 A CN 114416485A CN 202210068485 A CN202210068485 A CN 202210068485A CN 114416485 A CN114416485 A CN 114416485A
Authority
CN
China
Prior art keywords
log
target
service
current
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210068485.2A
Other languages
English (en)
Inventor
张怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hode Information Technology Co Ltd
Original Assignee
Shanghai Hode Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hode Information Technology Co Ltd filed Critical Shanghai Hode Information Technology Co Ltd
Priority to CN202210068485.2A priority Critical patent/CN114416485A/zh
Publication of CN114416485A publication Critical patent/CN114416485A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3086Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves the use of self describing data formats, i.e. metadata, markup languages, human readable formats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供数据处理方法及装置,其中,所述数据处理方法包括:在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识;基于所述业务数据和所述当前日志标识生成目标日志;发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。本申请的数据处理方法,通过将生成的目标日志发送至日志服务器,便于日志服务器接收到包含当前日志标识的日志文件,进而便于基于日志标识对日志文件进行排序;基于目标日志更新当前日志标识,便于后续基于更新后的当前日志标识生成日志或调用请求,从而使得不同日志对应不同的日志标识,进而提升确定日志顺序的效率。

Description

数据处理方法及装置
技术领域
本申请涉及互联网技术领域,特别涉及数据处理方法。本申请同时涉及数据处理装置,一种数据处理系统,一种计算设备,以及一种计算机可读存储介质。
背景技术
目前,为了提高数据处理效率,常采用分布式系统实现单个计算机无法实现的计算、存储等任务;在分布式环境下,通过日志系统可以对数据的处理情况进行追踪,进而实现对数据的统计和性能的分析。
然而,在分布式系统中的日志往往由其他系统调用写入,这种调用方式往往是通过网络来通讯的,当网络存在延迟时,由于网络延迟的关系很有可能先收到系统B的日志再收到系统A的日志,日志的顺序与实际情况不符;为解决上述问题,目前的做法是通过系统调用本地的时间来确定日志的先后顺序,但是由于分布式中系统与系统的时间之间存在偏差,并不能准确确定日志顺序。
因此,如何更为准确的确定日志文件的排序成为本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本申请实施例提供了数据处理方法。本申请同时涉及数据处理装置,一种数据处理系统,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的无法准确确定日志文件排序的问题。
根据本申请实施例的第一方面,提供了一种数据处理方法,应用于目标业务服务器,包括:
在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识;
基于所述业务数据和所述当前日志标识生成目标日志;
发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。
根据本申请实施例的第二方面,提供了一种数据处理方法,应用于日志服务器,包括:
接收目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识;
基于所述当前日志标识对所述目标日志进行存储。
根据本申请实施例的第三方面,提供了一种数据处理装置,应用于目标业务服务器,包括:
获取模块,被配置为在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识;
生成模块,被配置为基于所述业务数据和所述当前日志标识生成目标日志;
发送模块,被配置为发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。
根据本申请实施例的第四方面,提供了一种数据处理装置,应用于日志服务器,包括:
接收模块,被配置为接收目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识;
存储模块,被配置为基于所述当前日志标识对所述目标日志进行存储。
根据本申请实施例的第五方面,提供了一种数据处理系统,所述数据处理系统包括日志服务器和目标业务服务器:
所述目标业务服务器,被配置为接收针对目标业务的业务处理请求,获取所述目标业务的业务数据和当前日志标识;基于所述业务数据和所述当前日志标识生成目标日志,并将所述目标日志发送至所述日志服务器;
所述日志服务器,被配置为接收所述目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识;基于所述当前日志标识对所述目标日志进行存储;
所述目标业务服务器,进一步被配置为基于所述目标日志更新所述当前日志标识。
根据本申请实施例的第六方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述计算机指令时实现所述数据处理方法的步骤。
根据本申请实施例的第七方面,提供了一种计算机可读存储介质,其存储有计算机指令,该计算机指令被处理器执行时实现所述数据处理方法的步骤。
本申请提供的数据处理方法,在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识;基于所述业务数据和所述当前日志标识生成目标日志;发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。
本申请一实施例实现了在接收到业务处理请求的情况下,获取目标业务的业务数据和当前日志标识,便于后续基于业务数据和当前日志标识生成可基于当前日志标识进行排序的目标日志;通过将生成的目标日志发送至日志服务器,便于日志服务器接收到包含当前日志标识的日志文件,进而便于基于日志标识对日志文件的顺序进行排列,提升顺序的准确性;基于目标日志更新当前日志标识,便于后续基于更新的当前日志标识生成日志或调用请求,从而使得不同日志内容对应不同的日志标识,进而提升确定日志顺序的效率。
附图说明
图1是本申请一实施例提供的一种数据处理方法的流程图;
图2是本申请一实施例提供的另一种数据处理方法的流程图;
图3是本申请一实施例提供的一种应用于游戏系统的数据处理方法的处理流程示意图;
图4是本申请一实施例提供的一种数据处理系统的结构示意图;
图5是本申请一实施例提供的一种数据处理装置的结构示意图;
图6是本申请一实施例提供的另一种数据处理装置的结构示意图;
图7是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本申请一个或多个实施例中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本申请一个或多个实施例涉及的名词术语进行解释。
分布式系统:由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务,分布式系统可以利用更多的终端,处理更多的数据。
日志:网络设备、系统及服务程序等,在运作时都会产生一个日志事件记录;每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。
分布式环境下,日志系统作为独立的模块存在于系统中起到了不可估量的作用,但是在分布式系统中日志往往由别的系统调用写入,这种调用方式往往是通过网络来通讯的,当网络存在延迟时,由于网络延迟的关系很有可能先收到系统B的日志再收到系统A的日志,这个时候如何在系统与系统之间确定各个日志发生的顺序很重要;目前做法往往是通过系统调用本地的时间来确定日志的先后顺序,但是由于是分布式,系统与系统之间的时间存在偏差,所以这种做法得到的结果并不准确;然而,可以准确的记录系统调用日志的顺序链,无论对追溯问题,或是分析用户行为都是非常必要的。
故基于上述问题,本申请提供的数据处理方法,不通过系统时间而是在每个系统中定义一个本地序号,通过该序号来修正日志顺序,即在分布式系统中每个服务维护一个自己的一个递增的序号,同时该序号的增加遵循以下两点规则:1.业务服务在向日志系统发送日志消息后,本地序号为当前序号加1;2.如果一个业务服务接受了外部服务的调用,那么系统当前的日志序号为当前系统的序号与接受到的调用请求中的日志序号中较大者加1。
在本申请中,提供了数据处理方法,本申请同时涉及数据处理装置,一种数据处理系统,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种数据处理方法的流程图,所述方法应用于目标业务服务器,具体包括以下步骤:
步骤102:在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识。
其中,目标业务是指可以由目标业务服务器处理的业务,如,图片处理业务、视频编辑业务等等;目标业务服务器是指可以处理目标业务的实体或虚拟终端,如,智能计算机、平板电脑等等;业务数据是指目标业务的数据中用于生成目标业务对应的日志的数据,如,图片处理业务中的图片名称、视频编辑业务中的视频长度信息等等;当前日志标识是指目标业务对应的当前日志序号。
具体的,目前为了实现对目标业务服务器的实时监控,进而可以通过追踪到的数据变化较快定位出现在目标业务服务器中的问题,一般会设置日志服务器;将目标业务服务器中产生的数据以日志文件的形式发送至日志服务器,并由日志服务器进行记录;由于日志文件的传输需要通过网络,若网络存在延迟等问题,则传输至日志服务器的日志文件与日志文件实际的生成顺序不一致;为解决此问题,目前通常会采集本地时间来确定日志文件的顺序,然而,在分布式系统中,节点与节点之间可能会存在时间差,导致得到的基于时间顺序排序日志文件的结果并不准确。
为了解决上述日志文件排序不准确的问题,本实施例的数据处理方法会在接收到启动目标业务请求的情况下,为目标业务设置初始日志标识,即为在处理目标业务的目标业务服务器中设置初始日志标识,以使后续可以基于初始日志标识向日志服务器发送目标业务服务器中产生的日志。
在实际应用中,为目标业务服务器设置初始日志标识的具体方法包括:
接收目标业务开启请求;
响应于所述目标业务开启请求,为目标业务设置初始日志标识。
其中,目标业务开启请求是指开启目标业务的请求,其中,开启目标业务是指目标业务服务器开始处理目标业务;初始日志标识是指为目标业务设置的最初的日志序号,后续可基于目标业务发送调用请求或发送日志等处理对初始日志标识进行更新。
具体的,在分布式系统中可以包含多个业务服务器,分别用于处理不同的业务;本实施例的数据处理方法,可以为分布式系统中的每个节点或部分节点添加初始日志标识,即为每个业务服务器或部分业务服务器中设置初始日志标识,以便后续基于初始日志标识生成日志或调用请求。
在本申请一具体实施方式中,以图片处理业务为例,图片处理服务器接收图片处理业务开启请求;响应于图片数据业务开启请求,为图片数据处理业务添加对应的初始日志序号“0”。
在目标业务服务器中设置有初始日志标识的基础上,目标业务服务器可以接收针对目标业务的业务处理请求;在接收到针对目标业务的业务处理请求的情况下,可以获取用于生成目标业务的目标日志的业务数据,并获取目标业务服务器中记录的当前日志标识,其中,若在为目标业务服务器设置了初始日志标识后,目标业务服务器未进行其他处理,即未更新初始日志标识,则此时的初始日志标识即为当前日志标识。
若初始日志标识与当前日志标识不一致,则当前日志标识可以是目标业务向日志服务器发送日志后更新日志标识得到当前日志标识,或是在目标业务接收到调用请求后更新日志标识得到的当前日志标识。
具体的,在接收到调用请求获取所述目标业务的当前日志标识的方法包括:
在接收到针对目标业务的调用请求的情况下,确定所述调用请求中的业务日志标识;
获取所述目标业务的日志标识,并将所述日志标识与所述业务日志标识进行比对,获得比对结果;
基于所述比对结果确定所述目标业务的当前日志标识。
其中,调用请求是指调用目标业务的请求;实际应用中,由于单一业务可以调用其他业务共同完成数据的处理,故目标业务会接收到调用请求,如,游戏登录服务向礼物发放服务发送调用请求,礼物发放服务会接收到调用请求,后续可基于调用请求为登录游戏的用户发放礼物;业务日志标识是指调用请求中携带的日志标识,如,服务1向服务2发送调用请求,服务2接收的调用请求是基于服务1的当前日志标识生成的。
在确定调用请求中业务日志标识的同时确定目标业务的日志标识;目标业务的日志标识是指未接收到调用请求时目标业务的日志标识;比对结果是指日志标识与业务日志标识的比对结果。
在本申请一具体实施方式中,以调用请求Q为例,在接收到针对图片处理业务的调用请求Q,确定调用请求Q中的业务日志标识“3”;获取图片处理业务的日志标识“3”,并将业务日志标识与日志标识进行比对,获得比对结果A;基于比对结果A确定图片处理业务的当前日志标识。
在实际应用中,基于所述比对结果确定所述目标业务的当前日志标识的方法包括:
在所述日志标识大于等于所述业务日志标识的情况下,将所述日志标识作为当前日志标识;
在所述日志标识小于所述业务日志标识的情况下,将所述业务日志标识作为当前日志标识。
具体的,为了保证日志服务器中可以接收到包含不同日志标识的日志,可以在目标业务接收到调用请求后,将调用请求中的业务日志标识与目标业务的日志标识进行对比,确定较大的标识即序号值较大的日志标识作为当前日志标识;如,图片处理业务的日志序号为“3”,图片处理业务接收调用请求,调用请求中包含的业务日志序号为“5”;将日志序号“3”与业务日志序号“5”进行比较,确定业务日志序号较大,则将业务日志序号“5”作为图片处理业务的当前日志标识。
在本申请一具体实施方式中,以调用请求m为例,调用请求m中的业务日志序号为“4”,视频处理业务的日志序号为“5”;将业务日志序号与日志序号进行比对,确定日志序号“5”大于业务日志序号“4”,则将日志序号作为视频处理业务的当前日志序号,即当前日志序号为“5”。
在本申请另一具体实施方式中,以调用请求n为例,调用请求n中的业务日志序号为“6”,视频处理业务的日志序号为“5”;将业务日志序号与日志序号进行比对,确定日志序号“5”小于业务日志序号“6”,则将业务日志序号“6”作为视频处理业务的当前日志序号,即当前日志序号为“6”。
除上述目标业务可接收调用请求外,目标业务也可以发出调用请求;在目标业务发送调用请求后,也需要对目标业务的当前业务标识进行更新,具体方法包括:
监控所述目标业务发送的业务调用请求;
基于所述业务调用请求更新所述当前日志标识。
其中,业务调用请求是指由目标业务发送的调用请求,如,游戏升级服务可以向道具发送服务发送调用请求;基于业务调用请求更新当前日志标识是指在接收到目标业务的调用请求发送成功消息的情况下,或在目标业务发送业务调用请求的同时,基于预设计算规则更新当前日志标识,其中,预设计算规则是指更新当前日志标识的规则,如,预设计算规则为自增1,即将日志序号“5”增加1得到当前日志序号为“6”。
在本申请一具体实施方式中,以评论审核业务为例,对评论审核业务进行监控,确定评论审核任务发送的调用请求;评论审核业务在发送调用请求后,确定日志序号为“5”,基于预设计算规则和日志序号计算得到评论审核任务在发送调用请求后的当前日志标识为“6”。
在实际应用中,目标业务的业务调用请求可以根据如下步骤获得:
接收调用请求发送任务;
响应于所述调用请求发送任务,获取所述目标业务的当前日志标识;
基于所述当前日志标识生成业务调用请求。
其中,调用请求发送任务是指目标业务接收到的发送调用请求的任务;基于调用请求发送任务获取目标业务的当前日志标识,并根据当前日志标识生成业务调用请求,便于后续其他业务服务器接收到调用请求发送任务后,可以基于调用请求发送任务中的日志标识与业务对应的日志标识进行比对。
在本申请一具体实施方式中,以游戏登录业务为例,游戏登录业务接收礼物发放调用任务;响应于接收到的礼物发送调用任务,获取游戏登录业务的当前日志序号“2”;基于当前日志序号生成业务调用请求,生成的业务调用请求用于发送至礼物发放业务。
通过在接收到针对目标业务的业务处理请求的情况下,获取目标业务的业务数据和当前日志标识,便于后续基于当前日志标识生成目标业务对应的日志。
步骤104:基于所述业务数据和所述当前日志标识生成目标日志。
具体的,在确定用于生成目标日志的业务数据以及目标业务的当前日志标识后,可以基于当前日志标识和业务数据生成目标日志,其中,目标日志是指包含目标业务的业务数据的日志文件。
在本申请一具体实施方式中,以图片处理业务为例,基于图片处理业务的业务数据a以及图片处理业务的当前日志序号“3”生成图片处理日志。
通过基于业务数据和当前日志标识生成目标日志,便于后续日志服务器在接收到目标日志后,可以基于目标日志中的当前日志标识对目标日志进行排序,进而确定日志生成的先后顺序。
步骤106:发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。
在基于业务数据和当前业务标识生成目标日志后,即可将目标日志发送至日志服务器中,便于日志服务器对目标日志的存储;在目标业务发送目标日志后,可以基于目标日志对当前日志标识进行更新。
具体的,基于所述目标日志更新所述当前日志标识的方法包括:
确定预设计算规则;
基于所述预设计算规则和所述目标日志对所述当前日志标识进行更新。
其中,预设计算规则是指对当前日志标识进行更新的规则。
在实际应用中,将目标日志发送至日志服务器之后,或在向日志服务器发送目标日志的同时,可以基于目标日志对当前日志标识进行更新,即在接收到目标日志发送消息后,确定目标业务服务器中记录的当前日志标识,并基于预设计算规则更新当前日志标识。
在本申请一具体实施方式中,以当前日志序号“2”为例,确定预设计算规则为当前日志序号加1;在将目标日志发送至日志服务器后,获得日志发送成功消息;根据预设计算规则对当前日志序号进行更新,得到更新后的当前日志标识为“3”。
通过在发送目标日志后,对当前日志标识进行更新,即对目标业务服务器中的当前日志标识进行更新,实现了将包含不同日志标识的日志发送至日志服务器,以使服务器可以基于日志标识对日志进行排序。
本申请应用于目标业务服务器的数据处理方法,在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识;基于所述业务数据和所述当前日志标识生成目标日志;发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。
本实施例应用于目标业务服务器的数据处理方法,在接收到业务处理请求的情况下,获取目标业务的业务数据和当前日志标识,便于后续基于业务数据和当前日志标识生成可基于当前日志标识进行排序的目标日志;通过将生成的目标日志发送至日志服务器,便于日志服务器接收到包含当前日志标识的日志文件,进而便于基于日志标识对日志文件的顺序进行排列;基于目标日志更新当前日志标识,便于后续基于更新的当前日志标识生成日志或调用请求,从而使得不同日志内容对应不同的日志标识,进而提升确定日志顺序的效率。
图2示出了根据本申请一实施例提供的另一种数据处理方法的流程图,所述方法应用于日志服务器,具体包括以下步骤:
步骤202:接收目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识。
具体的,目标日志即基于业务数据和当前日志标识生成的日志;对目标服务器接收到的目标日志进行解析,获得目标日志中包含的当前日志标识,便于后续基于当前日志标识对目标日志进行存储。
步骤204:基于所述当前日志标识对所述目标日志进行存储。
具体的,在确定目标日志的当前日志标识后,可基于当前日志标识对多数目标日志按顺序进行存储。
在实际应用中,基于所述当前日志标识对所述目标日志进行存储的具体方法包括:
基于所述当前日志标识对所述目标日志进行排序,获得排序结果;
根据所述排序结果和预设存储规则对所述目标日志进行存储。
其中,排序结果是指对日志服务器中的日志进行排序得到的结果;预设存储规则是指将目标日志在日志服务器中存储的规则。
具体的,确定目标日志的当前日志标识以及日志服务器中包含的每个日志的日志标识;基于日志标识的数据大小对日志进行排序,进而确定目标日志的排序结果;将目标日志根据预设存储规则存储在基于排序结果确定的位置中。
需要注意的是,除了在将目标日志存储至日志服务器之前,对目标日志和日志服务器中包含的日志进行排序以外,还可以直接将目标日志存储至日志服务器,即在无需在存储日志前排序;在接收到日志获取请求后,在日志服务器中获取日志,再根据每个日志的日志标识对日志进行排序即可。
在本申请一具体实施方式中,以当前日志序号“5”为例,确定图片处理业务的当前日志序号“5”和对应的日志内容以及日志服务器中每个日志的日志序号和对应的日志内容,得到的日志序号和对应的日志内容如下述表1所示:
表1
日志序号 日志内容
3 内容3
5 内容5
1 内容1
... ...
基于当前日志序号和每个日志的日志序号进行排序,获得排序结果;确定预设存储规则为将日志标识以64位整型存储,将日志内容以及文本类型存储;基于排序结果和预设存储规则对日志进行存储,得到的日志序号和对应的日志内容如下述表2所示:
表2
日志序号(64位整型) 日志内容(文本类型)
1 内容1
3 内容3
5 内容5
... ...
本申请应用于日志服务器的数据处理方法,接收调用请求发送任务;响应于所述调用请求发送任务,获取所述目标业务的当前日志标识;基于所述当前日志标识生成业务调用请求。通过接收包含当前日志标识的目标日志,便于后续基于当前日志标识对目标日志进行排序;将排序后的目标日志存储至日志服务器,以及后续可以在日志服务器中获取到顺序准确性高的日志。
下述结合附图3,以本申请提供的数据处理方法在游戏系统的应用为例,对所述数据处理方法进行进一步说明。其中,图3示出了本申请一实施例提供的一种应用于游戏系统的数据处理方法的处理流程示意图,具体包括以下步骤:
步骤302:启动游戏账户服务,并为游戏账户服务设置初始日志序号0。
具体的,本实施例中的游戏系统中包含日志服务器、游戏发放服务以及游戏账户服务。
步骤304:启动礼物发放服务,并为礼物发放服务设置初始日志序号0。
步骤306:客户端向游戏账户服务发送的玩家登录请求。
步骤308:游戏账户服务响应于玩家登录请求,获取当前日志序号0和登录日志数据,并根据当前日志序号和登录日志数据生成玩家登录日志。
步骤310:游戏账户服务将玩家登录日志发送至日志服务器,由日志服务器对玩家登录日志进行存储。
步骤312:将游戏账户服务的当前日志标识更新为1。
步骤314:游戏账户服务基于当前日志标识1生成调用请求,将调用请求发送至礼物发放服务。
步骤316:将游戏账户服务的当前日志标识更新为2。
步骤318:礼物发放服务接收调用请求,并将调用请求中的日志标识与礼物发放服务的当前日志标识0进行比较,基于比较结果更新当前日志标识为1。
步骤320:礼物发放服务基于当前标识1生成礼物发放日志,并将礼物发放日志发送至日志服务器,由日志服务器进行存储。
步骤322:礼物发放服务更新当前日志标识为2。
本申请的数据处理方法,在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识;基于所述业务数据和所述当前日志标识生成目标日志;发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。
本实施例应用于目标业务服务器的数据处理方法,在接收到业务处理请求的情况下,获取目标业务的业务数据和当前日志标识,便于后续基于业务数据和当前日志标识生成可基于当前日志标识进行排序的目标日志;通过将生成的目标日志发送至日志服务器,便于日志服务器接收到包含当前日志标识的日志文件,进而便于基于日志标识对日志文件的顺序进行排列;基于目标日志更新当前日志标识,便于后续基于更新的当前日志标识生成日志或调用请求,从而使得不同日志内容对应不同的日志标识,进而提升确定日志顺序的效率。
与上述方法实施例相对应,本申请还提供了数据处理系统实施例,图4示出了本申请一实施例提供的一种数据处理系统的结构示意图。如图4所示,该系统包括目标业务服务器402和日志服务器404:
所述目标业务服务器402,被配置为接收针对目标业务的业务处理请求,获取所述目标业务的业务数据和当前日志标识;基于所述业务数据和所述当前日志标识生成目标日志,并将所述目标日志发送至所述日志服务器;
所述日志服务器404,被配置为接收所述目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识;基于所述当前日志标识对所述目标日志进行存储;
所述目标业务服务器402,进一步被配置为基于所述目标日志更新所述当前日志标识。
本申请的数据处理系统,目标业务服务器,被配置为接收针对目标业务的业务处理请求,获取所述目标业务的业务数据和当前日志标识;基于所述业务数据和所述当前日志标识生成目标日志,并将所述目标日志发送至所述日志服务器;日志服务器,被配置为接收所述目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识;基于所述当前日志标识对所述目标日志进行存储;目标业务服务器,进一步被配置为基于所述目标日志更新所述当前日志标识。
通过在接收到业务处理请求的情况下,获取目标业务的业务数据和当前日志标识,便于后续基于业务数据和当前日志标识生成可基于当前日志标识进行排序的目标日志;通过将生成的目标日志发送至日志服务器,便于日志服务器接收到包含当前日志标识的日志文件,进而便于基于日志标识对日志文件的顺序进行排列;基于目标日志更新当前日志标识,便于后续基于更新的当前日志标识生成日志或调用请求,从而使得不同日志内容对应不同的日志标识,进而提升确定日志顺序的效率。
与上述方法实施例相对应,本申请还提供了数据处理装置实施例,图5示出了本申请一实施例提供的一种数据处理装置的结构示意图。如图5所示,该装置包括:
获取模块502,被配置为在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识;
生成模块504,被配置为基于所述业务数据和所述当前日志标识生成目标日志;
发送模块506,被配置为发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。
可选地,所述装置还包括接收子模块,被配置为:
接收目标业务开启请求;
响应于所述目标业务开启请求,为目标业务设置初始日志标识。
可选地,所述发送模块506,进一步被配置为:
确定预设计算规则;
基于所述预设计算规则和所述目标日志对所述当前日志标识进行更新。
可选地,所述获取模块502,进一步被配置为:
在接收到针对目标业务的调用请求的情况下,确定所述调用请求中的业务日志标识;
获取所述目标业务的日志标识,并将所述日志标识与所述业务日志标识进行比对,获得比对结果;
基于所述比对结果确定所述目标业务的当前日志标识。
可选地,所述获取模块502,进一步被配置为:
在所述日志标识大于等于所述业务日志标识的情况下,将所述日志标识作为当前日志标识;
在所述日志标识小于所述业务日志标识的情况下,将所述业务日志标识作为当前日志标识。
可选地,所述装置还包括,监控模块,被配置为:
监控所述目标业务发送的业务调用请求;
基于所述业务调用请求更新所述当前日志标识。
可选地,所述业务调用请求根据如下步骤获得:
接收调用请求发送任务;
响应于所述调用请求发送任务,获取所述目标业务的当前日志标识;
基于所述当前日志标识生成业务调用请求。
本申请应用于目标业务服务器的数据处理装置,获取模块,被配置为在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识;生成模块,被配置为基于所述业务数据和所述当前日志标识生成目标日志;发送模块,被配置为发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。
通过在接收到业务处理请求的情况下,获取目标业务的业务数据和当前日志标识,便于后续基于业务数据和当前日志标识生成可基于当前日志标识进行排序的目标日志;通过将生成的目标日志发送至日志服务器,便于日志服务器接收到包含当前日志标识的日志文件,进而便于基于日志标识对日志文件的顺序进行排列;基于目标日志更新当前日志标识,便于后续基于更新的当前日志标识生成日志或调用请求,从而使得不同日志内容对应不同的日志标识,进而提升确定日志顺序的效率。
与上述方法实施例相对应,本申请还提供了另一种数据处理装置实施例,图6示出了本申请一实施例提供的另一种数据处理装置的结构示意图。如图6所示,该装置包括:
接收模块602,被配置为接收目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识;
存储模块604,被配置为基于所述当前日志标识对所述目标日志进行存储。
可选地,所述存储模块604,进一步被配置为:
基于所述当前日志标识对所述目标日志进行排序,获得排序结果;
根据所述排序结果和预设存储规则对所述目标日志进行存储。
本申请应用于日志服务器的数据处理装置,接收模块,被配置为接收目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识;存储模块,被配置为基于所述当前日志标识对所述目标日志进行存储。
通过接收包含当前日志标识的目标日志,便于后续基于当前日志标识对目标日志进行排序;将排序后的目标日志存储至日志服务器,以及后续可以在日志服务器中获取到顺序准确性高的日志。
上述为本实施例的数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理装置的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
图7示出了根据本申请一实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接,数据库750用于保存数据。
计算设备700还包括接入设备740,接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本申请的一个实施例中,计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
其中,处理器720执行所述计算机指令时实现所述的数据处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该计算机指令被处理器执行时实现如前所述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本申请的内容,可作很多的修改和变化。本申请选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种数据处理方法,其特征在于,应用于目标业务服务器,包括:
在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识;
基于所述业务数据和所述当前日志标识生成目标日志;
发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。
2.如权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
接收目标业务开启请求;
响应于所述目标业务开启请求,为目标业务设置初始日志标识。
3.如权利要求1所述的数据处理方法,其特征在于,基于所述目标日志更新所述当前日志标识,包括:
确定预设计算规则;
基于所述预设计算规则和所述目标日志对所述当前日志标识进行更新。
4.如权利要求1所述的数据处理方法,其特征在于,获取所述目标业务的当前日志标识,包括:
在接收到针对目标业务的调用请求的情况下,确定所述调用请求中的业务日志标识;
获取所述目标业务的日志标识,并将所述日志标识与所述业务日志标识进行比对,获得比对结果;
基于所述比对结果确定所述目标业务的当前日志标识。
5.如权利要求4所述的数据处理方法,其特征在于,基于所述比对结果确定所述目标业务的当前日志标识,包括:
在所述日志标识大于等于所述业务日志标识的情况下,将所述日志标识作为当前日志标识;
在所述日志标识小于所述业务日志标识的情况下,将所述业务日志标识作为当前日志标识。
6.如权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
监控所述目标业务发送的业务调用请求;
基于所述业务调用请求更新所述当前日志标识。
7.如权利要求6所述的数据处理方法,其特征在于,所述业务调用请求根据如下步骤获得:
接收调用请求发送任务;
响应于所述调用请求发送任务,获取所述目标业务的当前日志标识;
基于所述当前日志标识生成业务调用请求。
8.一种数据处理方法,其特征在于,应用于日志服务器,包括:
接收目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识;
基于所述当前日志标识对所述目标日志进行存储。
9.如权利要求8所述的数据处理方法,其特征在于,基于所述当前日志标识对所述目标日志进行存储,包括:
基于所述当前日志标识对所述目标日志进行排序,获得排序结果;
根据所述排序结果和预设存储规则对所述目标日志进行存储。
10.一种数据处理系统,其特征在于,所述数据处理系统包括日志服务器和目标业务服务器;
所述目标业务服务器,被配置为接收针对目标业务的业务处理请求,获取所述目标业务的业务数据和当前日志标识;基于所述业务数据和所述当前日志标识生成目标日志,并将所述目标日志发送至所述日志服务器;
所述日志服务器,被配置为接收所述目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识;基于所述当前日志标识对所述目标日志进行存储;
所述目标业务服务器,进一步被配置为基于所述目标日志更新所述当前日志标识。
11.一种数据处理装置,其特征在于,应用于目标业务服务器,包括:
获取模块,被配置为在接收到针对目标业务的业务处理请求的情况下,获取所述目标业务的业务数据和当前日志标识;
生成模块,被配置为基于所述业务数据和所述当前日志标识生成目标日志;
发送模块,被配置为发送所述目标日志至日志服务器,并基于所述目标日志更新所述当前日志标识。
12.一种数据处理装置,其特征在于,应用于日志服务器,包括:
接收模块,被配置为接收目标业务服务器发送的目标日志,其中,所述目标日志中包含当前日志标识;
存储模块,被配置为基于所述当前日志标识对所述目标日志进行存储。
13.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述计算机指令时实现权利要求1-7或者8-9任意一项所述方法的步骤。
14.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-7或者8-9任意一项所述方法的步骤。
CN202210068485.2A 2022-01-20 2022-01-20 数据处理方法及装置 Pending CN114416485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210068485.2A CN114416485A (zh) 2022-01-20 2022-01-20 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210068485.2A CN114416485A (zh) 2022-01-20 2022-01-20 数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN114416485A true CN114416485A (zh) 2022-04-29

Family

ID=81274578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210068485.2A Pending CN114416485A (zh) 2022-01-20 2022-01-20 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN114416485A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342277A (zh) * 2021-06-21 2021-09-03 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN115412592A (zh) * 2022-08-19 2022-11-29 恒生电子股份有限公司 业务处理系统以及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342277A (zh) * 2021-06-21 2021-09-03 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN113342277B (zh) * 2021-06-21 2022-11-08 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN115412592A (zh) * 2022-08-19 2022-11-29 恒生电子股份有限公司 业务处理系统以及方法
CN115412592B (zh) * 2022-08-19 2023-08-22 恒生电子股份有限公司 业务处理系统以及方法

Similar Documents

Publication Publication Date Title
CN114416485A (zh) 数据处理方法及装置
US20140099930A1 (en) Contact information synchronization system and method
US9639444B2 (en) Architecture for end-to-end testing of long-running, multi-stage asynchronous data processing services
CN109213758B (zh) 数据存取方法、装置、设备及计算机可读存储介质
CN111694644A (zh) 基于机器人操作系统的消息处理方法、装置及计算机设备
CN111783415B (zh) 模板配置方法以及装置
CN109325056A (zh) 一种大数据处理方法及装置、通信设备
CN111327466B (zh) 一种告警分析方法、系统、设备以及介质
CN110086894B (zh) 人员关联信息挖掘方法、通讯推荐方法及相关装置
CN110248030B (zh) 短信补偿机制的测试方法、装置、设备及存储介质
CN112416557B (zh) 调用关系的确定方法和装置、存储介质及电子装置
CN113297229B (zh) 路由读请求、反馈报文的方法以及各自装置、数据库
CN113626863A (zh) 数据处理方法及装置
CN115412592B (zh) 业务处理系统以及方法
CN110442439B (zh) 任务进程处理方法、装置和计算机设备
CN116719750A (zh) 软件测试方法及装置、服务器设备和存储介质
CN110909072B (zh) 一种数据表建立方法、装置及设备
CN113422739B (zh) 数据传输方法、发送端及数据传输系统
US20190335327A1 (en) Partitioning network addresses in network cell data to address user privacy
CN115580647A (zh) 一种服务调用链路追踪方法、系统及电子设备
CN111475492B (zh) 数据处理方法以及装置
CN113723800A (zh) 风险识别模型训练方法及装置、风险识别方法及装置
CN111757115A (zh) 一种视频流处理方法及装置
CN112206507B (zh) 协议处理方法及装置
CN109361730A (zh) 基于面部的名片信息获取方法、系统及云服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination