CN107301197B - 一种业务数据跟踪处理系统及方法 - Google Patents
一种业务数据跟踪处理系统及方法 Download PDFInfo
- Publication number
- CN107301197B CN107301197B CN201710335659.6A CN201710335659A CN107301197B CN 107301197 B CN107301197 B CN 107301197B CN 201710335659 A CN201710335659 A CN 201710335659A CN 107301197 B CN107301197 B CN 107301197B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- business
- center
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种业务数据跟踪处理系统及方法,属于业务系统技术领域;系统包括部署中心、监控中心以及数据分析与处理中心;方法包括采用数据采集点采集得到业务数据;采用部署中心根据信息反馈链将业务数据、对应业务数据的第一标记以及第二标记均编写到对应的业务步骤生成的日志数据中;采用监控中心将日志数据传输至数据分析与处理中心;采用数据分析与处理中心将日志数据按照第一标记进行关联于业务流程的分类,并将隶属于同一个业务流程的若干个日志数据按照第二标记进行关联于业务步骤的顺序排列,从而形成契合于信息反馈链的业务信息并保存。上述技术方案的有益效果是:提升业务数据排查疑问的效率,准确快速定位引起业务异常的具体问题。
Description
技术领域
本发明涉及业务系统技术领域,尤其涉及一种业务数据跟踪处理系统及方法。
背景技术
随着业务系统的多样化以及业务流程的层出不穷,各种部署方案和程序机构也在不断演变,从而导致业务流程的日志输出点增多。现有对业务流程进行线上疑问排查的方法主要是人工提取线上日志到本地,再用大文件编辑器进行搜索和查找。这种排查方法的效率快慢在很大程度上受申请流程以及网络等其他因素的制约,其直接制约效果就是排查疑问的效率较低,同时人工排查需要耗费大量的人力成本和排查时间,人力效率也非常低,并且容易定位出错,降低了排查的准确度。
发明内容
根据现有技术中存在的上述问题,现提供一种业务数据跟踪处理系统及方法的技术方案,旨在提升业务数据排查疑问的效率,准确快速定位引起业务异常的具体问题,为系统的快速恢复打下基础,同时避免了大量日志数据的同步所需的大量时间和人力成本。
上述技术方案具体包括:
一种业务数据跟踪处理系统,其中,预先定义不同业务流程分别对应的信息反馈链,每个所述信息反馈链中包括对应的所述业务流程中不同业务步骤的先后排列顺序;
于所述信息反馈链中,每个所述业务流程具有唯一标识的第一标记,每个所述业务步骤具有唯一标识的第二标记;
于运行业务流程的应用程序中设置若干个数据采集点,每个所述数据采集点对应于所述业务流程中的一个所述业务步骤;
所述业务数据跟踪处理系统包括:
部署中心,用于将每个所述数据采集点部署到对应的所述应用程序中,并根据所述信息反馈链将所述数据采集点采集得到的业务数据、对应所述业务数据的所述第一标记以及所述第二标记均编写到对应的所述业务步骤生成的日志数据中;
监控中心,连接所述部署中心,用于监控并获取生成的所述日志数据,并将所述日志数据发送至与所述监控中心连接的一数据分析与处理中心;
所述数据分析与处理中心将接收到的所述日志数据按照所述第一标记进行关联于所述业务流程的分类,并将隶属于同一个所述业务流程的若干个所述日志数据按照所述第二标记进行关联于所述业务步骤的顺序排列,从而形成契合于所述信息反馈链的业务信息并保存。
优选的,该业务数据跟踪处理系统,其中,所述部署中心还包括:
第一存储单元,用于保存所述数据采集点采集并输出的所述日志数据;
查询单元,获取外部输入的查询请求;
检索单元,分别连接所述查询单元和所述第一存储单元,用于根据所述查询请求输出所述第一存储单元中相应的所述日志数据。
优选的,该业务数据跟踪处理系统,其中,所述监控中心通过一数据管道将所述日志数据传输至所述数据分析与处理中心。
优选的,该业务数据跟踪处理系统,其中,于所述日志数据中还包括用于唯一标识所述业务数据的数据来源的第三标记;
所述数据分析与处理中心具体包括:
第一接收单元,用于获取所述日志数据;
第一分类单元,连接所述第一接收单元,用于将所述日志数据按照所述第一标记进行关联于所述业务流程的分类,并输出相应的第一分类结果;
第二分类单元,连接所述第一分类单元,用于根据所述第一分类结果,将隶属于同一个所述业务流程的所述日志数据按照所述第三标记进行关联于所述数据来源的分类,并输出相应的第二分类结果;
排序单元,连接所述第二分类单元,用于根据所述第二分类结果,于来自同一个所述数据来源的隶属于同一个所述业务流程的所述日志数据按照所述第二标记进行关联于所述业务步骤的顺序排列,以形成契合于所述信息反馈链的所述业务信息;
存储单元,连接所述排序单元,用于保存所述业务信息。
优选的,该业务信息跟踪处理系统,其中,还包括:
数据搜索中心,连接所述数据分析与处理中心,用于获取所述业务信息并根据各所述业务信息的所述信息反馈链形成唯一标识符,并以所述唯一标识符建立索引目录;
所述数据搜索中心按照所述索引目录保存所述业务信息。
优选的,该业务信息跟踪处理系统,其中,还包括:
数据搜索中心,连接所述数据分析与处理中心,用于获取所述业务信息并根据各所述业务信息对应的所述第一标记和所述第三标记结合形成的唯一标识符建立索引目录;
所述数据搜索中心按照所述索引目录保存所述业务信息。
优选的,该业务信息跟踪处理系统,其中,还包括一连接所述数据搜索中心的客户端;
所述客户端具体包括:
页面展示单元,用于展示预先设定的搜索页面,并提供给使用者在所述搜索页面上输入包括所述唯一标识符的搜索请求;
搜索请求单元,连接所述页面展示单元,用于将所述搜索请求发送至所述数据搜索中心;
第二接收单元,连接所述页面展示单元,用于获取所述数据搜索中心根据所述搜索请求反馈的所述业务信息,并将所述业务信息显示在所述搜索页面上供使用者查看。
一种业务信息跟踪处理方法,其中,预先定义不同业务流程分别对应的信息反馈链,每个所述信息反馈链中包括对应的所述业务流程中不同业务步骤的先后排列顺序;
于所述信息反馈链中,每个所述业务流程具有唯一标识的第一标记,每个所述业务步骤具有唯一标识的第二标记;
于运行业务流程的应用程序中设置若干个数据采集点,每个所述数据采集点对应于所述业务流程中的一个所述业务步骤;
还包括:
步骤S1,采用所述数据采集点采集得到业务数据;
步骤S2,采用一部署中心根据所述信息反馈链将所述业务数据、对应所述业务数据的所述第一标记以及所述第二标记均编写到对应的所述业务步骤生成的日志数据中;
步骤S3,采用一监控中心将所述日志数据传输至一数据分析与处理中心;
步骤S4,采用所述数据分析与处理中心将所述日志数据按照所述第一标记进行关联于所述业务流程的分类,并将隶属于同一个所述业务流程的若干个所述日志数据按照所述第二标记进行关联于所述业务步骤的顺序排列,从而形成契合于所述信息反馈链的业务信息并保存。
优选的,该业务信息跟踪处理方法,其中,于所述日志数据中还包括用于唯一标识所述业务数据的数据来源的第三标记;
所述步骤S4具体包括:
步骤S41,获取所述日志数据,并将所述日志数据按照所述第一标记进行关联于所述业务流程的分类,输出相应的第一分类结果;
步骤S42,根据所述第一分类结果,将隶属于同一个所述业务流程的所述日志数据按照所述第三标记进行关联于所述数据来源的分类,并输出相应的第二分类结果;
步骤S43,根据所述第二分类结果,于来自同一个所述数据来源的隶属于同一个所述业务流程的所述日志数据按照所述第二标记进行关联于所述业务步骤的顺序排列,以形成契合于所述信息反馈链的所述业务信息;
步骤S44,保存所述业务信息。
优选的,该业务信息跟踪处理方法,其中,采用一数据搜索中心根据各所述业务信息对应的所述第一标记和所述第三标记结合形成的唯一标识符建立索引目录,以及按照所述索引目录保存所述业务信息。
优选的,该业务信息跟踪处理方法,其中,采用一数据搜索中心获取所述业务信息并根据各所述业务信息对应的所述第一标记和所述第三标记结合形成的唯一标识符建立索引目录,以及按照所述索引目录保存所述业务信息。
优选的,该业务信息跟踪处理方法,其中,还提供一所述业务信息的数据搜索步骤,具体包括:
步骤A1,于一客户端上提供一搜索页面供使用者输入包括所述唯一标识符的搜索请求;
步骤A2,所述数据搜索中心根据所述搜索请求反馈给所述客户端对应的所述业务信息;
步骤A3,所述客户端将反馈的所述业务信息显示在所述搜索页面上供使用者查看。
上述技术方案的有益效果是:
1)提供一种业务信息跟踪处理系统,能够提升业务数据排查疑问的效率,准确快速定位引起业务异常的具体问题,为系统的快速恢复打下基础,同时避免了大量日志数据的同步所需的大量时间和人力成本;
2)提供一种业务信息跟踪处理方法,能够支持上述业务信息跟踪处理系统运行。
附图说明
图1是本发明的较佳的实施例中,一种业务信息跟踪处理系统的总体结构示意图;
图2是本发明的较佳的实施例中,部署中心的结构示意图;
图3是本发明的较佳的实施例中,数据分析与处理中心的结构示意图;
图4是本发明的较佳的实施例中,客户端的结构示意图;
图5是本发明的较佳的实施例中,于充值流程中,监控中心向数据分析与处理中心传递日志数据的示意图;
图6是本发明的较佳的实施例中,在图5的基础上,于充值流程中,数据分析与处理中心对日志数据进行分类并排序整理的示意图;
图7是本发明的较佳的实施例中,一种业务信息跟踪处理方法的总体流程示意图;
图8是本发明的较佳的实施例中,采用数据分析与处理中心对日志数据进行处理的流程示意图;
图9是本发明的较佳的实施例中,采用客户端对业务信息进行搜索的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
根据现有技术中存在的上述问题,现提供一种业务数据跟踪处理系统,该系统中,预先定义不同业务流程分别对应的信息反馈链,每个信息反馈链中包括对应的业务流程中不同业务步骤的先后排列顺序;
于信息反馈链中,每个业务流程具有唯一标识的第一标记,每个业务步骤具有唯一标识的第二标记;
于运行业务流程的应用程序中设置若干个数据采集点,每个数据采集点对应于业务流程中的一个业务步骤;
则上述业务数据跟踪处理系统的具体结构如图1所示,包括:
部署中心A,用于将每个数据采集点部署到对应的应用程序中,并根据信息反馈链将数据采集点采集得到的业务数据、对应业务数据的第一标记以及第二标记均编写到对应的业务步骤生成的日志数据中;
监控中心B,连接部署中心A,用于监控并获取生成的日志数据,并将日志数据发送至与监控中心连接的一数据分析与处理中心C;
数据分析与处理中心C将接收到的日志数据按照第一标记进行关联于业务流程的分类,并将隶属于同一个业务流程的若干个日志数据按照第二标记进行关联于业务步骤的顺序排列,从而形成契合于信息反馈链的业务信息并保存。
具体地,本实施例中,每个业务流程分别有其不同的业务步骤,以充值流程为例,通常包括充值参数的检测→充值商户的状态检测→充值商户的账户检测→判断充值是否成功等几个业务步骤,每个业务步骤在整个业务流程中具有其特有的位置顺序,即一个业务流程中的所有业务步骤均按照一个预先设定好的顺序排列并执行,这种顺序排列并执行的状态就可以用一个信息反馈链来表示,针对一个业务流程,对应的信息反馈链中包括该业务流程中不同业务步骤的先后排列顺序。
本实施例中,每个业务流程均具有一对应的第一标记,该第一标记用于唯一标识该业务流程。每个业务流程中的每个业务步骤也具有一对应的第二标记,该第二标记用于唯一标识该业务步骤。上述第一标记和第二标记均被设置在对应的信息反馈链中。换言之,于一个信息反馈链中,可以设置该信息反馈链对应的业务流程的第一标记,以及该业务流程中每个业务步骤对应的第二标记。
本实施例中,在后端运行业务流程的应用程序中预先设置若干个数据采集点,每个数据采集点分别对应于一个业务步骤,即每个数据采集点被用于采集一个对应的业务步骤被执行时产生的业务数据。上述数据采集点也就是数据埋点,被预先“埋入”应用程序中。例如,针对充值流程而言,在充值参数检测的步骤中设置一数据埋点,以采集得到该业务步骤被执行时产生的相关业务数据,同样地,在商户账户检测的步骤中设置一数据埋点,也可以采集到该业务步骤被执行时产生的相关业务数据。
本实施例中,上述数据采集点(图中未示出)的设置通过一部署中心A实现。具体地,部署中心A预先将各个数据采集点“埋入”各自对应的应用程序中对应的业务步骤内,在完成数据采集点的部署之后,再启动埋点程序的业务包,将这些已经“埋入”数据采集点的应用程序部署到各个应用服务器(未示出)上。
本实施例中,同时,该部署中心A还根据信息反馈链将数据采集点采集得到的业务数据、对应业务数据的第一标记以及第二标记均编写到对应的业务步骤生成的日志数据中。具体地,对于某个数据采集点输出的业务数据,其会携带对应的业务步骤的第二标记,以及该业务步骤所在的业务流程的第一标记,则上述部署中心A会将具体的业务数据、该业务数据所对应的第二标记以及第一标记全部编写到该业务数据对应的业务步骤被执行时所生成的日志数据中。换言之,数据采集点采集得到的业务数据被包括在各应用程序执行时生成的日志数据中并被输出。
本实施例中,上述监控中心B主要负责监控部署中心A的服务器上的日志数据的输出,并在部署中心A输出日志数据时获取该日志数据并传输至与该监控中心B连接的一数据分析与处理中心C。
本实施例中,数据分析与处理中心C收集从监控中心B传输过来的日志数据并对其进行分析。具体地,数据分析与处理中心C首先按照日志数据中包括的各业务数据的第一标记,将日志数据按照不同的业务流程进行分类。随后,数据分析与处理中心C再按照日志数据中包括的各业务数据的第二标记,将日志数据按照各自对应的业务流程中不同的业务步骤进行排序。排序依据即为上述预先设定好的信息反馈链中各业务步骤的执行顺序。最后,形成契合于信息反馈链的业务信息并保存。该业务信息针对一个具体的业务流程,并且其中包括该业务流程下的完整且被顺序排列保存的所有业务步骤的业务数据。
本发明技术方案中采用预先设定信息反馈链的方式,利用标记来对各业务流程以及各业务流程中的各业务步骤进行标识,并在数据分析时按照标记以及在信息反馈链中的位置顺序来整理各日志数据,以形成条理清晰且符合业务流程执行顺序的业务信息,从而方便人工查看和线上疑问排查,使用者可以根据顺序排列的日志数据较为准确地定位业务流程中出错的位置,提升了线上疑问排查的排查效率和排查准确度,降低了排查时间,减少了排查所需的人力成本。
本发明的较佳的实施例中,如图2中所示,上述部署中心A中还包括:
第一存储单元A1,用于保存数据采集点采集并输出的日志数据;
查询单元A2,获取外部输入的查询请求;
检索单元A3,分别连接查询单元A2和第一存储单元A1,用于根据查询请求输出第一存储单元A1中相应的日志数据。
具体地,本实施例中,上述部署中心A提供一个能够执行查询检索和存储的中间件,该中间件即由上述第一存储单元A1、查询单元A2以及检索单元A3组成。该中间件提供给开发人员查询业务流程的日志数据使用,即获取开发人员的查询请求,根据查询请求对第一存储单元A1中的日志数据进行检索,再提取检索到的日志数据并反馈给开发人员。本发明的一个较佳的实施例中,可以由一个独立且远程连接部署中心A的服务器的查询端(图中未示出)发送查询请求给部署中心A的服务器,也可以由部署中心A的服务器直接生成查询页面供使用者输入查询请求,在此不再赘述。
本发明的较佳的实施例中,上述监控中心B通过一数据管道(图中未示出)连接数据分析与处理中心C,并通过该数据管道将日志数据传输至数据分析与处理中心C。该数据管道在现有技术中存在较多实现方式,在此不再赘述。
本发明的较佳的实施例中,于上述日志数据中还包括用于唯一标识业务数据的数据来源的第三标记;
则如图3中所述,上述数据分析与处理中心C中具体包括:
第一接收单元C1,用于获取日志数据;
第一分类单元C2,连接第一接收单元C1,用于将日志数据按照第一标记进行关联于业务流程的分类,并输出相应的第一分类结果;
第二分类单元C3,连接第一分类单元C2,用于根据第一分类结果,将隶属于同一个业务流程的日志数据按照第三标记进行关联于数据来源的分类,并输出相应的第二分类结果;
排序单元C4,连接第二分类单元C3,用于根据第二分类结果,于来自同一个数据来源的隶属于同一个业务流程的日志数据按照第二标记进行关联于业务步骤的顺序排列,以形成契合于信息反馈链的业务信息;
存储单元C5,连接排序单元C4,用于保存业务信息。
具体地,本实施例中,上述第一接收单元C1接收日志数据后送入第一分类单元C2进行第一次分类。第一次分类的标准是唯一标识业务流程的第一标记,即通过第一标记将日志数据划分到不同的业务流程中。
本实施例中,经过上述第一次分类后得到第一分类结果,该第一分类结果用于表示日志数据被划分到哪个具体的业务流程中。随后第二分类单元C3根据上述第一分类结果,将同一个业务流程中的日志数据按照第三标记进行数据源的划分。具体地,所谓数据源,仍然以充值为例,在充值的日志数据中,可能混杂了若干个不同商户的充值记录,这些不同的商户就是不同的数据源。换言之,在充值流程中,第三标记可以用于唯一标识对应的业务数据来源的商户。因此,上述第二分类单元C3根据第三标记将来自同一个数据源的日志数据划分到一起,并输出相应的第二分类结果。
本实施例中,上述排序单元C4得到第二分类结果后,需要排序的日志数据的范围就缩小到了同一个数据源发送的关联于同一个业务流程的数据。此时排序单元C4再根据用于唯一标识业务步骤的第二标记,将上述日志数据进行关联于业务步骤的顺序排列,从而形成契合于该业务流程的信息反馈链的业务信息并保存在上述存储单元C5中。上述业务信息中包括了来自同一个数据源的依照对应的业务流程内业务步骤的执行顺序被排列的所有业务数据。
本发明的较佳的实施例中,仍然如图1所示,上述业务数据跟踪处理系统中还包括:
数据搜索中心D,连接上述数据分析与处理中心C。该数据搜索中心D用于根据上述数据分析与处理中心C中保存的业务信息以及对应的信息反馈链建立用于检索业务信息的索引目录,并将上述业务信息按照索引目录保存在数据搜索中心D内。
具体地,本发明的一个较佳的实施例中,上述数据搜索中心D可以根据各业务信息所对应的信息反馈链建立索引目录。例如,可以根据各业务信息对应的第一标记来建立索引目录,或者根据各业务信息对应的第二标记来建立索引目录,或者根据各业务信息中对应的信息反馈链内各标记独立或组合形成数据索引来建立索引目录。进一步地,上述数据索引可以为一唯一标识符,用于唯一标识一个对应的业务信息。
本发明的另一个较佳的实施例中,上述数据搜索中心D还可以根据各业务信息所对应的第一标记和第三标记建立索引目录。具体地,将各业务信息对应的第一标记和第三标记结合形成一唯一标识符,该唯一标识符用于唯一标识一个对应的业务信息,随后根据该唯一标识符建立索引目录。
则本发明的较佳的实施例中,仍然如图1所示,上述业务数据跟踪处理系统中还包括一连接数据搜索中心D的客户端E。
该客户端E具体如图4中所示,包括:
页面展示单元E1,用于展示预先设定的搜索页面,并提供给使用者在搜索页面上输入包括唯一标识符的搜索请求;
搜索请求单元E2,连接页面展示单元E1,用于将搜索请求发送至数据搜索中心;
第二接收单元E3,连接页面展示单元E1,用于获取数据搜索中心根据搜索请求反馈的业务信息,并将业务信息显示在搜索页面上供使用者查看。
具体地,本实施例中,上述客户端E提供给使用者按照数据搜索中心D建立好的索引目录进行业务信息检索的功能。具体地,使用者可以通过根据索引目录构成并显示在页面展示单元E1中的搜索页面来键入搜索请求,该搜索请求中应当包括上述唯一标识符。随后搜索请求单元E2会将搜索请求发送至数据搜索中心D,数据搜索中心D会根据唯一标识符提取对应的业务信息并反馈给客户端E,客户端E再将反馈得到的业务信息显示在上述搜索页面上。
本发明的较佳的实施例中,上述数据搜索中心D反馈给客户端E的业务信息可能有多条,其数量取决于唯一标识符的设置规则。例如唯一标识符被设置为只包括第一标记,则通过唯一标识符检索到并反馈给客户端E的业务信息为同一个业务流程中的所有业务信息。又例如唯一标识符被设置为包括第一标记和第三标记,则通过唯一标识符检索到并反馈给客户端E的业务信息为由同一个数据源发送的隶属于同一个业务流程中的所有业务信息。
本发明的一个较佳的实施例中,以充值为例,本次充值的数据来源包括商户1和商户2,其中商户1的第三标记被设定为001,商户2的第三标记被设定为002;
充值的信息反馈链为:参数检测→商户状态检测→商户账户检测→充值成功;
充值流程的第一标记被设定为recharge。
在监控中心B通过数据管道向数据分析与处理中心C传递日志数据时,由于日志数据的传递不可能完全按照业务步骤排列,因此数据分析与处理中心C初始收到的日志数据的排列方式即如图5中所示,商户1和商户2的数据相互交叉,同时业务步骤之间也是打乱的。
随后,数据分析与处理中心C针对上述日志数据进行分类处理,首先按照第一标记进行业务流程的分类(本实施例中不涉及第二种业务流程,在此省略对该分类过程的描述),例如按照第一标记recharge找到包括在充值流程中的所有日志数据。随后数据分析与处理中心C根据第三标记进行数据源的划分,即将商户1的数据和商户2的数据划分开来。最后数据分析与处理中心C根据第二标记对充值流程中同一个数据源的日志数据进行业务步骤上的排序,最终形成如图6中所示的契合于信息反馈链的业务信息。
最后,数据分析与处理中心C将上述业务信息存入数据搜索中心D,数据搜索中心D根据业务信息的信息反馈链中的各个标记或独立或整合形成唯一标识符,并提供在数据展示搜索页面上供使用者检索。
上述实施例中,在图5-6中未列明日志数据中的第二标记。
具体地,本实施例中,上述唯一标识符可以由第一标记和第三标记整合形成。例如对于商户1的充值交易流程,唯一标识符就可以被设定为recharge-001;同样地,对于商户2的充值交易流程,唯一标识符就可以被设定为recharge-002。
则在客户端E打开搜索页面并搜索唯一标识符后,会在搜索页面上展示该唯一标识符所代表的所有业务信息。例如本实施例中,搜索唯一标识符recharge-001,就能够将商户1充值交易流程下的所有信息显示给使用者查看。
本发明的较佳的实施例中,基于上文中所述的业务数据跟踪处理系统,现提供一种业务数据跟踪处理方法,该方法中,首先预先定义不同业务流程分别对应的信息反馈链,每个信息反馈链中包括对应的业务流程中不同业务步骤的先后排列顺序;
于信息反馈链中,每个业务流程具有唯一标识的第一标记,每个业务步骤具有唯一标识的第二标记;
于运行业务流程的应用程序中设置若干个数据采集点,每个数据采集点对应于业务流程中的一个业务步骤;
上述方法还包括如图7所示的下述步骤:
步骤S1,采用数据采集点采集得到业务数据;
步骤S2,采用一部署中心根据信息反馈链将业务数据、对应业务数据的第一标记以及第二标记均编写到对应的业务步骤生成的日志数据中;
步骤S3,采用一监控中心将日志数据传输至一数据分析与处理中心;
步骤S4,采用数据分析与处理中心将日志数据按照第一标记进行关联于业务流程的分类,并将隶属于同一个业务流程的若干个日志数据按照第二标记进行关联于业务步骤的顺序排列,从而形成契合于信息反馈链的业务信息并保存。
本发明的较佳的实施例中,上述方法中,于日志数据中还包括用于唯一标识业务数据的数据来源的第三标记;
则上述步骤S4具体如图8所示,包括:
步骤S41,获取日志数据,并将日志数据按照第一标记进行关联于业务流程的分类,输出相应的第一分类结果;
步骤S42,根据第一分类结果,将隶属于同一个业务流程的日志数据按照第三标记进行关联于数据来源的分类,并输出相应的第二分类结果;
步骤S43,根据第二分类结果,于来自同一个数据来源的隶属于同一个业务流程的日志数据按照第二标记进行关联于业务步骤的顺序排列,以形成契合于信息反馈链的业务信息;
步骤S44,保存业务信息。
本发明的一个较佳的实施例中,上述方法中,采用一数据搜索中心根据各业务信息的信息反馈链形成唯一标识符,以及根据唯一标识符建立索引目录,以及按照索引目录保存业务信息。
本发明的另一个较佳的实施例中,上述方法中,采用一数据搜索中心获取业务信息并根据各业务信息对应的第一标记和第三标记结合形成的唯一标识符建立索引目录,以及按照索引目录保存业务信息。
本发明的较佳的实施例中,还提供一业务信息的数据搜索步骤,具体如图9所示,包括:
步骤A1,于一客户端上提供一搜索页面供使用者输入包括唯一标识符的搜索请求;
步骤A2,数据搜索中心根据搜索请求反馈给客户端对应的业务信息;
步骤A3,客户端将反馈的业务信息显示在搜索页面上供使用者查看。
以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。
Claims (10)
1.一种业务数据跟踪处理系统,其特征在于,预先定义不同业务流程分别对应的信息反馈链,每个所述信息反馈链中包括对应的所述业务流程中不同业务步骤的先后排列顺序;
于所述信息反馈链中,每个所述业务流程具有唯一标识的第一标记,每个所述业务步骤具有唯一标识的第二标记;
于运行业务流程的应用程序中设置若干个数据采集点,每个所述数据采集点对应于所述业务流程中的一个所述业务步骤;
所述业务数据跟踪处理系统包括:
部署中心,用于将每个所述数据采集点部署到对应的所述应用程序中,并根据所述信息反馈链将所述数据采集点采集得到的业务数据、对应所述业务数据的所述第一标记以及所述第二标记均编写到对应的所述业务步骤生成的日志数据中;
监控中心,连接所述部署中心,用于监控并获取生成的所述日志数据,并将所述日志数据发送至与所述监控中心连接的一数据分析与处理中心;
所述数据分析与处理中心将接收到的所述日志数据按照所述第一标记进行关联于所述业务流程的分类,并将隶属于同一个所述业务流程的若干个所述日志数据按照所述第二标记进行关联于所述业务步骤的顺序排列,从而形成契合于所述信息反馈链的业务信息并保存;
于所述日志数据中还包括用于唯一标识所述业务数据的数据来源的第三标记;
所述数据分析与处理中心具体包括:
第一接收单元,用于获取所述日志数据;
第一分类单元,连接所述第一接收单元,用于将所述日志数据按照所述第一标记进行关联于所述业务流程的分类,并输出相应的第一分类结果;
第二分类单元,连接所述第一分类单元,用于根据所述第一分类结果,将隶属于同一个所述业务流程的所述日志数据按照所述第三标记进行关联于所述数据来源的分类,并输出相应的第二分类结果;
排序单元,连接所述第二分类单元,用于根据所述第二分类结果,于来自同一个所述数据来源的隶属于同一个所述业务流程的所述日志数据按照所述第二标记进行关联于所述业务步骤的顺序排列,以形成契合于所述信息反馈链的所述业务信息;
存储单元,连接所述排序单元,用于保存所述业务信息。
2.如权利要求1所述的业务数据跟踪处理系统,其特征在于,所述部署中心还包括:
第一存储单元,用于保存所述数据采集点采集并输出的所述日志数据;
查询单元,获取外部输入的查询请求;
检索单元,分别连接所述查询单元和所述第一存储单元,用于根据所述查询请求输出所述第一存储单元中相应的所述日志数据。
3.如权利要求1所述的业务数据跟踪处理系统,其特征在于,所述监控中心通过一数据管道将所述日志数据传输至所述数据分析与处理中心。
4.如权利要求1所述的业务数据跟踪处理系统,其特征在于,还包括:
数据搜索中心,连接所述数据分析与处理中心,用于获取所述业务信息并根据各所述业务信息的所述信息反馈链形成唯一标识符,以及根据所述唯一标识符建立索引目录;
所述数据搜索中心按照所述索引目录保存所述业务信息。
5.如权利要求1所述的业务数据跟踪处理系统,其特征在于,还包括:
数据搜索中心,连接所述数据分析与处理中心,用于获取所述业务信息并根据各所述业务信息对应的所述第一标记和所述第三标记结合形成的唯一标识符建立索引目录;
所述数据搜索中心按照所述索引目录保存所述业务信息。
6.如权利要求4或5所述的业务数据跟踪处理系统,其特征在于,还包括一连接所述数据搜索中心的客户端;
所述客户端具体包括:
页面展示单元,用于展示预先设定的搜索页面,并提供给使用者在所述搜索页面上输入包括所述唯一标识符的搜索请求;
搜索请求单元,连接所述页面展示单元,用于将所述搜索请求发送至所述数据搜索中心;
第二接收单元,连接所述页面展示单元,用于获取所述数据搜索中心根据所述搜索请求反馈的所述业务信息,并将所述业务信息显示在所述搜索页面上供使用者查看。
7.一种业务数据跟踪处理方法,其特征在于,预先定义不同业务流程分别对应的信息反馈链,每个所述信息反馈链中包括对应的所述业务流程中不同业务步骤的先后排列顺序;
于所述信息反馈链中,每个所述业务流程具有唯一标识的第一标记,每个所述业务步骤具有唯一标识的第二标记;
于运行业务流程的应用程序中设置若干个数据采集点,每个所述数据采集点对应于所述业务流程中的一个所述业务步骤;
还包括:
步骤S1,采用所述数据采集点采集得到业务数据;
步骤S2,采用一部署中心根据所述信息反馈链将所述业务数据、对应所述业务数据的所述第一标记以及所述第二标记均编写到对应的所述业务步骤生成的日志数据中;
步骤S3,采用一监控中心将所述日志数据传输至一数据分析与处理中心;
步骤S4,采用所述数据分析与处理中心将所述日志数据按照所述第一标记进行关联于所述业务流程的分类,并将隶属于同一个所述业务流程的若干个所述日志数据按照所述第二标记进行关联于所述业务步骤的顺序排列,从而形成契合于所述信息反馈链的业务信息并保存;
于所述日志数据中还包括用于唯一标识所述业务数据的数据来源的第三标记;
所述步骤S4具体包括:
步骤S41,获取所述日志数据,并将所述日志数据按照所述第一标记进行关联于所述业务流程的分类,输出相应的第一分类结果;
步骤S42,根据所述第一分类结果,将隶属于同一个所述业务流程的所述日志数据按照所述第三标记进行关联于所述数据来源的分类,并输出相应的第二分类结果;
步骤S43,根据所述第二分类结果,于来自同一个所述数据来源的隶属于同一个所述业务流程的所述日志数据按照所述第二标记进行关联于所述业务步骤的顺序排列,以形成契合于所述信息反馈链的所述业务信息;
步骤S44,保存所述业务信息。
8.如权利要求7所述的业务数据跟踪处理方法,其特征在于,采用一数据搜索中心根据各所述业务信息的所述信息反馈链形成唯一标识符,以及根据所述唯一标识符建立索引目录,以及按照所述索引目录保存所述业务信息。
9.如权利要求7所述的业务数据跟踪处理方法,其特征在于,采用一数据搜索中心获取所述业务信息并根据各所述业务信息对应的所述第一标记和所述第三标记结合形成的唯一标识符建立索引目录,以及按照所述索引目录保存所述业务信息。
10.如权利要求8或9所述的业务数据跟踪处理方法,其特征在于,还提供一所述业务信息的数据搜索步骤,具体包括:
步骤A1,于一客户端上提供一搜索页面供使用者输入包括所述唯一标识符的搜索请求;
步骤A2,所述数据搜索中心根据所述搜索请求反馈给所述客户端对应的所述业务信息;
步骤A3,所述客户端将反馈的所述业务信息显示在所述搜索页面上供使用者查看。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710335659.6A CN107301197B (zh) | 2017-05-12 | 2017-05-12 | 一种业务数据跟踪处理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710335659.6A CN107301197B (zh) | 2017-05-12 | 2017-05-12 | 一种业务数据跟踪处理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107301197A CN107301197A (zh) | 2017-10-27 |
CN107301197B true CN107301197B (zh) | 2020-12-01 |
Family
ID=60137140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710335659.6A Active CN107301197B (zh) | 2017-05-12 | 2017-05-12 | 一种业务数据跟踪处理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107301197B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902892A (zh) * | 2017-12-08 | 2019-06-18 | 中国石油化工股份有限公司 | 基于流程标签的安全责任制优化方法 |
CN108388616B (zh) * | 2018-02-09 | 2020-08-28 | 深圳壹账通智能科技有限公司 | 数据收集装置、方法、系统及计算机可读存储介质 |
CN110213067B (zh) * | 2018-03-06 | 2022-07-08 | 腾讯科技(深圳)有限公司 | 业务请求的跟踪信息处理方法、装置和系统 |
CN108647284B (zh) * | 2018-05-03 | 2021-07-23 | 网易宝有限公司 | 记录用户行为的方法及装置、介质和计算设备 |
CN108829802B (zh) * | 2018-06-06 | 2020-11-13 | 中国人民银行清算总中心 | 关联日志回放方法及装置 |
CN109726240A (zh) * | 2018-12-26 | 2019-05-07 | 亚信科技(中国)有限公司 | 实时业务轨迹跟踪方法和实时业务轨迹处理方法 |
CN109919729A (zh) * | 2019-03-13 | 2019-06-21 | 神州灵云(北京)科技有限公司 | 业务数据的分析方法、装置及电子设备 |
CN111930367B (zh) * | 2019-05-13 | 2024-04-16 | 阿里巴巴集团控股有限公司 | 数据的处理方法、装置及设备 |
CN111507636A (zh) * | 2020-04-22 | 2020-08-07 | 时时同云科技(成都)有限责任公司 | 业务流程运行状态分析方法及系统 |
CN112199580B (zh) * | 2020-09-11 | 2021-05-28 | 智广海联大数据技术有限公司 | 面向云计算和大数据定位的业务处理方法及人工智能平台 |
CN118535411A (zh) * | 2023-02-22 | 2024-08-23 | 华为云计算技术有限公司 | 一种业务会话数据跟踪方法、装置及相关设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
CN105591821A (zh) * | 2016-01-06 | 2016-05-18 | 北京京东尚科信息技术有限公司 | 监控系统和业务系统 |
CN106250424A (zh) * | 2016-07-22 | 2016-12-21 | 杭州朗和科技有限公司 | 一种日志上下文内容的搜索方法、装置及系统 |
CN106487596A (zh) * | 2016-10-26 | 2017-03-08 | 宜人恒业科技发展(北京)有限公司 | 分布式服务跟踪实现方法 |
CN106656536A (zh) * | 2015-11-03 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 一种用于处理服务调用信息的方法与设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080114627A1 (en) * | 2006-11-15 | 2008-05-15 | Sap Ag | System and Method for Capturing Process Instance Information in Complex or Distributed Systems |
-
2017
- 2017-05-12 CN CN201710335659.6A patent/CN107301197B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
CN106656536A (zh) * | 2015-11-03 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 一种用于处理服务调用信息的方法与设备 |
CN105591821A (zh) * | 2016-01-06 | 2016-05-18 | 北京京东尚科信息技术有限公司 | 监控系统和业务系统 |
CN106250424A (zh) * | 2016-07-22 | 2016-12-21 | 杭州朗和科技有限公司 | 一种日志上下文内容的搜索方法、装置及系统 |
CN106487596A (zh) * | 2016-10-26 | 2017-03-08 | 宜人恒业科技发展(北京)有限公司 | 分布式服务跟踪实现方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107301197A (zh) | 2017-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107301197B (zh) | 一种业务数据跟踪处理系统及方法 | |
CN105553769B (zh) | 一种数据采集分析系统和方法 | |
CN108959059B (zh) | 一种测试方法以及测试平台 | |
CN101501452B (zh) | 地图更新数据提供装置、版本表、地图数据更新系统和地图更新数据提供方法 | |
CN112327808A (zh) | 一种汽车故障诊断方法、系统和汽车故障诊断仪 | |
CN104025159A (zh) | 用于自动和手动数据捕获配置的方法和系统 | |
CN105608011A (zh) | 代码测试覆盖率统计结果的确定方法及装置 | |
US7698013B2 (en) | Parts production management system and parts production management method | |
CN109165170A (zh) | 一种自动化请求测试的方法及系统 | |
CN112433991A (zh) | 一种问题定位方法和装置 | |
CN105515702A (zh) | 获取电台音乐的媒体信息的方法及车载收音机 | |
CN110221933A (zh) | 代码缺陷辅助修复方法及系统 | |
CN103679355B (zh) | 控制业务流程的方法和装置 | |
CN109727674A (zh) | 一种基因检测报告的解读方法及装置 | |
CN111897737B (zh) | 微服务系统程序测试的遗漏检测方法及装置 | |
CN111506305B (zh) | 工具包生成方法、装置、计算机设备及可读存储介质 | |
CN109032956A (zh) | 一种接口测试方法及装置 | |
CN117093497A (zh) | 测试报告处理方法、装置、电子设备及存储介质 | |
CN105391602B (zh) | 一种数据采集测试方法和装置 | |
JP3974034B2 (ja) | 販売管理システム | |
CN110162463A (zh) | 基于自动化测试工具的软件测试方法、装置及电子设备 | |
CN114356781A (zh) | 软件功能测试方法和装置 | |
CN108415915A (zh) | 一种基于纸币数据的算法验证方法及装置 | |
CN117078213B (zh) | 基于大数据整合分析的建筑工程管理平台 | |
CN110069416B (zh) | 一种测试数据处理方法、装置以及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |