CN111740871A - 一种数据采集方法及装置 - Google Patents
一种数据采集方法及装置 Download PDFInfo
- Publication number
- CN111740871A CN111740871A CN201910229295.2A CN201910229295A CN111740871A CN 111740871 A CN111740871 A CN 111740871A CN 201910229295 A CN201910229295 A CN 201910229295A CN 111740871 A CN111740871 A CN 111740871A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- identifier
- data acquisition
- service processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/062—Generation of reports related to network traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请实施例公开了一种数据采集方法及装置,第一服务器不仅将终端设备基于用户在终端设备上触发的业务处理操作而生成的第一数据上报给了数据采集设备,第一服务器还将第一服务器的功能模块对第一数据进行处理得到的第二数据上报给了数据采集设备,并且通过第一标识将第一数据和第二数据关联起来,表征第一数据和第二数据是针对同一业务处理操作进行处理所产生的数据。由此可见,针对一个业务处理操作,既可以采集到体现触发该业务处理操作的人机交互过程的数据即第一数据,又可以采集到体现第一服务器针对该业务处理操作进行处理所得到的数据即第二数据。相比与传统技术所采集的数据量更多,更有利于有效的对应用处理业务的性能进行评估。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种数据采集方法及装置。
背景技术
随着互联网技术的发展,许多业务例如电信运营商领域的业务的处理都是通过大规模分布式集群来实现的,处理业务的应用可以运行在多台服务器上。一般来讲,对一个业务进行处理,可以有一个或者多个服务器参与。
在实际应用中,往往需要对应用处理业务的性能进行评估。而对应用处理业务的性能进行评估,首先可以采集应用处理业务所产生的数据,从而进一步基于采集的数据分析应用处理业务的性能。目前用于采集应用处理业务所产生的数据的方法,例如基于远程过程调用(remote procedure call,RPC)框架来进行埋点的方法,只能采集服务器与服务器之间的交互数据,不能采集到与该业务处理相关的其它数据。从而使得采集到的数据有限,基于采集到的数据不能有效的对应用处理业务的性能进行评估。
因此,如何采集到更多与该业务处理相关的其它数据,是目前急需解决的问题。
发明内容
本申请实施例提供了一种数据采集方法、装置及设备,可以解决传统技术中只能采集服务器与服务器之间的交互数据,不能采集到与该业务处理相关的其它数据的问题。
在本申请实施例的第一方面,提供了一种数据采集方法,第一服务器不仅将终端设备基于用户在终端设备上触发的业务处理操作而生成的第一数据上报给了数据采集设备,第一服务器还将第一服务器的功能模块对第一数据进行处理得到的第二数据上报给了数据采集设备,并且通过第一标识将第一数据和第二数据关联起来,表征第一数据和第二数据是针对同一业务处理操作进行处理所产生的数据。由此可见,利用本申请实施例提供方法,针对一个业务处理操作,既可以采集到体现触发该业务处理操作的人机交互过程的数据即第一数据,又可以采集到体现第一服务器针对该业务处理操作进行处理所得到的数据即第二数据。相比与传统技术只能采集到服务器与服务器之间的交互数据,所采集的数据量更多,更有利于有效的对应用处理业务的性能进行评估。
在一种可能的实现方式中,前述第一标识可以由数据采集设备生成,并发送给第一服务器,具体地,第一服务器接收到第一数据之后,可以生成一个标识获取请求,并向数据采集设备发送该标识获取请求。数据采集设备接收到该标识获取请求之后,可以生成第一标识,并将该第一标识发送给第一服务器。
在一种可能的实现方式中,考虑到业务处理操作可能是用户在第三方开发的应用程序上触发的,对于这种情况,为了区分第三方开发的应用程序和电信运营商体系内的应用程序,前述第一标识可以是终端设备发送给第一服务器的,换言之,终端设备除了将第一数据发送给第一服务器之外,还可以将第一标识发送给第一服务器。终端设备可以通过设置该第一标识中的特定字段,用于标识该第三方开发的应用程序。
在一种可能的实现方式中,考虑到在实际应用中,第一服务器的业务处理量很大,对应的资源占用也比较多,而向数据采集设备上报第一标识、所述第一数据以及第二数据,也会占用第一服务器的部分资源。为了降低第一服务器的资源消耗,第一服务器可以获取数据上报指令,并基于所述数据上报指令,确定是否将第一标识、第一数据以及第二数据对应上报给数据采集设备。
在一种可能的实现方式中,数据上报指令可以体现为第二标识,该第二标识可以是基于前述第一服务器发送给数据采集设备的标识获取请求生成的。换言之,数据采集设备接收到标识获取请求之后,向第一服务器返回两个标识,分别为第一标识和第二标识,第一标识用于将第一数据和第二数据关联起来,表征第一数据和第二数据是针对同一业务处理操作进行处理所产生的数据;第二标识用于指示第一服务器是否将针对业务处理操作进行处理所产生的数据上报给数据采集设备。
在一种可能的实现方式中,数据上报指令可以是第一服务器根据第一服务器自身的负载情况确定的。换言之,第一服务器可以根据自身的负载情况,确定是否上报针对业务处理操作进行处理产生的数据,可以在不影响针对业务处理操作进行处理的前提下,将针对业务处理操作进行处理产生的数据上报给数据采集设备。
在一种可能的实现方式中,考虑到第一服务器的中央处理器(centralprocessing unit,CPU)占用率以及第一服务器的输入输出(input/output,I/O)吞吐率,均可以体现第一服务器的负载情况,因此,第一服务器的负载情况可以体现为第一服务器的CPU占用率和/或第一服务器的I/O吞吐率。
在本申请实施例的第二方面,提供了一种数据采集方法,可以理解的是,针对一个业务处理操作,参与对该业务处理操作进行处理的服务器可以是一个,也可以是多个。在本申请实施例中,将针对一个业务处理操作进行处理的过程中,终端设备与服务器之间的交互,以及多个服务器之间的交互,称为一条调用链。针对调用链中并非与终端设备直接交互的服务器,采集各个中间服务器针对业务处理操作进行处理产生的数据的方式是类似的。为方便描述,将任意一个中间服务器称为第二服务器,将调用链中第二服务器的前一个服务器称为第一服务器。对于第二服务器而言,第二服务器接收第一服务器发送的第一标识和第三数据;所述第二服务器将所述第一标识和第四数据对应上报给数据采集设备;所述第四数据为所述第二服务器的多个功能模块对所述第三数据进行处理得到的数据。也就是说,该第一标识在调用链中逐级传递,由第一服务器发送给第二服务器,从而使得该调用链中的各个服务器上报针对业务处理操作产生的数据时,均将第一标识对应上报,从而使得可以基于第一标识将针对同一业务处理操作进行处理所产生的数据关联起来。
在一种可能的实现方式中,考虑到在实际应用中,第二服务器的业务处理量很大,对应的资源占用也比较多,而向数据采集设备上报第一标识以及第四数据,也会占用第二服务器的部分资源。为了降低第二服务器的资源消耗,所述第二服务器可以获取数据上报指令;若所述数据上报指令指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,所述第二服务器将所述第一标识和所述第四数据对应上报给数据采集设备,所述业务处理操作是用户在终端设备上触发的操作。
在一种可能的实现方式中,所述数据上报指令,体现为第二标识,所述第二标识可以是所述第一服务器发送给所述第二服务器的。
在一种可能的实现方式中,所述数据上报指令是所述第二服务器根据所述第二服务器的负载情况生成的。换言之,第二服务器可以根据自身的负载情况,确定是否上报针对业务处理操作进行处理产生的数据,可以在不影响针对业务处理操作进行处理的前提下,将针对业务处理操作进行处理产生的数据上报给数据采集设备。
在一种可能的实现方式中,考虑到第二服务器的中央处理器CPU占用率以及第二服务器的I/O吞吐率,均可以体现第一服务器的负载情况,因此,第二服务器的负载情况可以体现为第二服务器的CPU占用率和/或第二服务器的I/O吞吐率。
在本申请实施例的第三方面,本申请实施例提供了一种数据采集方法,具体地,数据采集设备接收第一服务器对应上报的第一数据、第二数据和第一标识;所述第一数据是终端设备响应于用户在所述终端设备上触发的业务处理操作而产生、并发送给所述第一服务器的数据;所述第二数据为所述第一服务器的至少一个功能模块对所述第一数据进行处理得到的数据;所述数据采集设备将所述第一数据、所述第二数据和所述第一标识对应保存。由此可见,针对一个业务处理操作,数据采集设备既可以采集到体现触发该业务处理操作的人机交互过程的数据即第一数据,又可以采集到体现第一服务器针对该业务处理操作进行处理所得到的数据即第二数据。相比与传统技术只能采集到服务器与服务器之间的交互数据,所采集的数据量更多,更有利于有效的对应用处理业务的性能进行评估。
在一种可能的实现方式中,前述第一标识是由数据采集设备生成,并发送给第一服务器的,换言之,数据采集设备还可以接收第一服务器发送的标识获取请求,并针对所述标识获取请求生成第一标识;生成第一标识之后,所述数据采集设备将所述第一标识发送给所述第一服务器,以便于第一服务器将第一数据、第二数据以及第一标识对应上报给数据采集设备。
在一种可能的实现方式中,针对一个业务处理操作,若参与对该业务处理操作进行处理的服务器是多个时,将多个服务器中除第一服务器之外的任一服务器称为第二服务器,数据采集设备还可以接收第二服务器上报的所述第一标识和第三数据,所述第三数据是所述第二服务器的多个功能模块对所述第一服务器输出的数据进行处理得到的数据所述第一标识是由所述第一服务器发送给所述第二服务器的;所述数据采集设备将所述第一标识和所述第三数据对应保存。
在一种可能的实现方式中,数据采集设备保存针对业务处理操作产生的数据之后,可以根据这些数据对应用处理业务的性能进行分析。考虑到不同业务的处理过程不同,对应的性能分析方法也不同。因此,在对应用处理业务的性能进行分析时,可以首先确定出对应的业务。在本申请实施例中,可以通过机器学习模型确定对应的业务。具体地,所述数据采集设备获取多组目标数据;所述多组目标数据中的每组目标数据分别对应一个业务处理操作;所述一组目标数据包括所述第一数据、所述第二数据和所述第三数据中的任意一项或组合;所述数据采集设备根据所述多组目标数据,通过机器学习模型,确定所述多组目标数据对应的业务;所述机器学习模型,是基于多组训练数据和所述训练数据所对应的标签训练得到的;所述训练数据对应的标签,表征所述训练数据实际对应的业务;所述多组训练数据对应一个或者多个业务,一个业务的处理过程对应一个或者多个所述业务处理操作,所述多组训练数据中的每组训练数据均对应一个业务处理操作。
在一种可能的实现方式中,确定出前述多组目标数据对应的业务之后,数据采集设备还可以进一步确定多组目标数据对应的业务处理性能。在本申请实施例中,数据采集设备可以对所述多组所述目标数据进行分类,得到多个聚类集合;数据采集设备对所述多个聚类集合中包含的目标数据进行分析,确定所述多个聚类集合分别对应的业务处理性能。
在本申请实施例的第四方面,提供了一种数据采集装置,应用于第一服务器,所述装置包括:接收单元,用于接收终端设备发送的第一数据,所述第一数据是终端设备响应于用户在所述终端设备上触发的业务处理操作而产生的数据;确定单元,用于确定所述第一数据对应的第一标识;上报单元,用于将所述第一标识、所述第一数据以及第二数据对应上报给数据采集设备;所述第二数据为所述第一服务器的至少一个功能模块对所述第一数据进行处理得到的数据。
在一种可能的实现方式中,所述确定单元,具体用于:向数据采集设备发送标识获取请求,并接收所述数据采集设备基于所述标识获取请求生成的所述第一标识。
在一种可能的实现方式中,所述确定单元,具体用于:接收所述终端设备发送的所述第一标识。
在一种可能的实现方式中,所述上报单元,包括:获取子单元,用于获取数据上报指令;上报子单元,用于若所述数据上报指令指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,则将所述第一标识、所述第一数据以及所述第二数据对应上报所述数据采集设备。
在一种可能的实现方式中,所述数据上报指令体现为第二标识,所述第二标识是由所述数据采集设备基于所述标识获取请求生成、并发送给所述第一服务器的。
在一种可能的实现方式中,所述数据上报指令是所述第一服务器根据所述第一服务器的负载情况生成的。
在一种可能的实现方式中,所述负载情况,包括:中央处理器CPU占用率和/或输入输出I/O吞吐率。
在本申请实施例的第五方面,提供了一种数据采集装置,应用于第二服务器,所述装置包括:接收单元,用于接收第一服务器发送的第一标识和第三数据;上报单元,用于将所述第一标识和第四数据对应上报给数据采集设备;所述第四数据为所述第二服务器的多个功能模块对所述第三数据进行处理得到的数据。
在一种可能的实现方式中,所述上报单元,包括:获取子单元,用于获取数据上报指令;上报子单元,用于若所述数据上报指令指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,将所述第一标识和所述第四数据对应上报给数据采集设备,所述业务处理操作是用户在终端设备上触发的操作。
在一种可能的实现方式中,所述数据上报指令,体现为第二标识,所述第二标识是所述第一服务器发送给所述第二服务器的。
在一种可能的实现方式中,所述数据上报指令是所述第二服务器根据所述第二服务器的负载情况生成的。
在一种可能的实现方式中,所述负载情况,包括:中央处理器CPU占用率和/或输入输出I/O吞吐率。
在本申请实施例的第六方面,提供了一种数据采集装置,所述装置包括:
第一接收单元,用于接收第一服务器对应上报的第一数据、第二数据和第一标识;所述第一数据是终端设备响应于用户在所述终端设备上触发的业务处理操作而产生、并发送给所述第一服务器的数据;所述第二数据为所述第一服务器的至少一个功能模块对所述第一数据进行处理得到的数据;第一保存单元,用于所述数据采集设备将所述第一数据、所述第二数据和所述第一标识对应保存。
在一种可能的实现方式中,所述装置还包括:第二接收单元,用于接收第一服务器发送的标识获取请求,并针对所述标识获取请求生成第一标识;发送单元,用于将所述第一标识发送给所述第一服务器。
在一种可能的实现方式中,所述装置还包括:第三接收单元,用于接收第二服务器上报的所述第一标识和第三数据,所述第三数据是所述第二服务器的多个功能模块对所述第一服务器输出的数据进行处理得到的数据所述第一标识是由所述第一服务器发送给所述第二服务器的;第二保存单元,用于将所述第一标识和所述第三数据对应保存。
在一种可能的实现方式中,所述装置还包括:获取单元,用于获取多组目标数据;所述多组目标数据中的每组目标数据分别对应一个业务处理操作;所述一组目标数据包括所述第一数据、所述第二数据和所述第三数据中的任意一项或组合;确定单元,用于所述数据采集设备根据所述多组目标数据,通过机器学习模型,确定所述多组目标数据对应的业务;所述机器学习模型,是基于多组训练数据和所述训练数据所对应的标签训练得到的;所述训练数据对应的标签,表征所述训练数据实际对应的业务;所述多组训练数据对应一个或者多个业务,一个业务的处理过程对应一个或者多个所述业务处理操作,所述多组训练数据中的每组训练数据均对应一个业务处理操作。
在一种可能的实现方式中,所述装置还包括:分类单元,用于对所述多组所述目标数据进行分类,得到多个聚类集合;分析单元,用于对所述多个聚类集合中包含的目标数据进行分析,确定所述多个聚类集合分别对应的业务处理性能。
在本申请实施例的第七方面,提供了一种数据采集设备,所述设备包括:处理器和存储器;所述存储器,用于存储指令;所述处理器,用于执行所述存储器中的所述指令,执行以上第一方面任意一项所述的方法。
在本申请实施例的第八方面,提供了一种数据采集设备,所述设备包括:处理器和存储器;所述存储器,用于存储指令;所述处理器,用于执行所述存储器中的所述指令,执行以上第二方面任意一项所述的方法。
在本申请实施例的第九方面,提供了一种数据采集设备,所述设备包括:处理器和存储器;所述存储器,用于存储指令;所述处理器,用于执行所述存储器中的所述指令,执行以上第三方面任意一项所述的方法。
在本申请实施例的第十方面,提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行以上第一方面任意一项所述的方法。
在本申请实施例的第十一方面,提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行以上第二方面任意一项所述的方法。
在本申请实施例的第十二方面,提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行以上第三方面任意一项所述的方法。
在本申请实施例的第十三方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上第一方面任意一项所述的方法。
在本申请实施例的第十四方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上第二方面任意一项所述的方法。
在本申请实施例的第十五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上第三方面任意一项所述的方法。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种示例性应用场景示意图;
图2为本申请实施例提供的一种数据采集方法的流程示意图;
图3为本申请实施例提供的一种示例性应用场景示意图;
图4为本申请实施例提供的一种数据采集方法的流程示意图;
图5为本申请实施例提供的一种数据采集方法的流程示意图;
图6为本申请实施例提供的一种数据采集装置的结构示意图;
图7为本申请实施例提供的一种数据采集装置的结构示意图;
图8为本申请实施例提供的一种数据采集装置的结构示意图;
图9为本申请实施例提供的一种数据采集设备的结构示意图。
具体实施方式
本申请实施例提供了一种数据采集方法、装置及设备,用于解决传统技术中只能采集服务器与服务器之间的交互数据,不能采集到与该业务处理相关的其它数据的问题。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在传统技术中,采集应用处理业务所产生的数据的方法,只能采集服务器与服务器之间的交互数据,不能采集到与该业务处理相关的其它数据。一方面,业务的处理,一般是由用户在终端设备上执行的业务处理操作而触发的,因此,用户触发该业务处理操作而产生的数据,即终端设备基于该业务处理操作而生成的数据,也是业务处理过程中产生的重要数据。另一方面,服务器一般包括至少一个功能模块,功能模块之间相互调用,以实现相应的业务处理功能,因此,服务器的功能模块基于该业务处理操作进行处理所得到的数据,也是业务处理过程中产生的重要数据。传统技术既不能采集到终端设备基于业务处理操作而生成的数据,也采集不到服务器的功能模块所得到的数据。从而使得采集到的数据不能有效的对应用处理业务的性能进行评估。
鉴于此,本申请实施例提供了一种数据采集方法,以解决上述问题。
需要说明的是,本申请实施例不具体限定前述提及的“业务”,该业务例如可以为电信运营商领域的业务,所业务又如可以为金融领域例如银行的业务,等等。在本申请实施例的以下描述中,以该业务为电信运营商领域的业务为例进行说明。
为方便理解,首先对本申请实施例的应用场景进行简单介绍。对参见图1,该图为本申请实施例提供的一种示例性应用场景示意图。在图1所示的场景中,包括终端设备100,服务器200和数据采集设备300。
本申请实施例中的终端设备100,可以为智能手机、平板电脑等移动终端,也可以为台式计算机等终端设备,本申请实施例不做具体限定。用户可以在终端设备100上触发业务处理操作,例如,运营商营业厅的业务员在终端设备100显示的网页上触发业务处理操作;又如,用户在智能手机上安装的应用程序例如掌上营业厅中触发业务处理操作。服务器200例如可以为电信运营商体系内的服务器,可以针对用户触发的业务处理操作,进行相应的处理。数据采集设备300采集针对该业务处理操作进行处理而产生的数据(包括终端设备100基于该业务处理操作而生成的数据,以及服务器200的功能模块针对该业务处理操作进行处理所得到的数据)。本申请实施例不具体限定数据采集设备300,数据采集设备300可以为终端设备,也可以为服务器。需要说明的是,对于该业务处理操作,参与对该业务处理操作进行处理的服务器可以是一个,也可以是多个,虽然图1中仅示出了一个服务器200,但是图1仅是为了方便理解而示出,其并不构成对本申请实施例的限定。
以下结合图1和图2介绍本申请实施例提供的数据采集方法。图2为本申请实施例提供的一种数据采集方法的流程示意图。本申请实施例提供的数据采集方法,例如可以通过如下步骤101-103实现。
步骤101:服务器200接收终端设备100发送的第一数据,第一数据是终端设备响应于用户在终端设备100上触发的业务处理操作而产生的数据。
在本申请实施例中,用户在终端设备100上触发业务处理操作,可以是点击了终端设备显示的网页上的某一个菜单,例如“话费”菜单。可以理解的是,用户在终端设备100上触发该业务处理操作之后,终端设备100会基于用户触发的业务处理操作,生成对应的第一数据,并将该第一数据发送给服务器200,以便所述服务器200对该第一数据进行处理。
如前文,用户在终端设备100上触发业务处理操作,可以是运营商营业厅的业务员在终端设备100显示的网页上触发业务处理操作,也可以是用户在智能手机上安装的应用程序例如掌上营业厅中触发业务处理操作。
在本申请实施例中,若所述业务处理操作,是运营商营业厅的业务员在终端设备100显示的网页上触发业务处理操作,所述第一数据例如可以包括营业员ID、营业员所处营业厅的标识、该业务处理操作对应的电话号码以及用户触发该业务处理操作的时间等数据。若业务处理操作是用户在智能手机上安装的应用程序例如掌上营业厅中触发业务处理操作,所述第一数据例如可以包括所述用户的用户ID、该业务处理操作对应的电话号码以及用户触发该业务处理操作的时间等数据。
在本申请实施例中,服务器200接收终端设备100发送的第一数据,可以是服务器200直接从终端设备处接收第一数据。例如,用户在电信运营商体系内的网页上触发业务处理操作,则终端设备100可以直接将第一数据发送给服务器200。
服务器200接收终端设备100发送的第一数据,也可以是服务器200通过其他中间设备接收该第一数据。例如,若业务处理操作是用户在智能手机上安装的应用程序例如掌上营业厅中触发业务处理操作,而在智能手机上安装的应用程序例如掌上营业厅,并非是电信运营商体系内的应用程序,而是第三方开发的应用程序,则服务器200可以通过第三方服务器接收终端设备100发送的第一数据。换言之,终端设备100首先将第一数据发送给第三方服务器,而后第三方服务器将第一数据发送给服务器200。
步骤102:服务器200确定第一数据对应的第一标识。
在本申请实施例中,从用户触发一次业务处理操作开始,直至对该业务处理操作处理完成的过程,称为对该业务处理操作的处理过程。在本申请实施例中,所述第一数据对应的标识,可以用于标识在对该业务处理操作的处理过程中所产生的数据。
在本申请实施例中,步骤102在具体实现时,可以有多种实现方式。
在本申请实施例的一种实现方式中,服务器200接收到第一数据之后,可以生成一个标识获取请求,并向数据采集设备300发送该标识获取请求。数据采集设备300接收到该标识获取请求之后,可以生成第一标识,并将该第一标识发送给服务器200。
本申请实施例不具体限定标识获取请求的具体内容,作为一种示例,所述标识获取请求中可以包括第一数据中的部分数据。本申请实施例不具体限定数据采集设备300生成第一标识的具体实现方式,作为一种示例,数据采集设备300可以按照一定的规则生成随机数,从而得到第一标识。
在本申请实施例的又一种实现方式中,终端设备100除了将第一数据发送给服务器200之外,还可以将第一标识发送给服务器200,因此,服务器200可以接收终端设备100发送的第一标识。如前文,考虑到对于用户在第三方开发的应用程序上触发业务处理操作这种情况,若第一标识是终端设备100发送给服务器200的,终端设备100可以通过设置该第一标识中的特定字段,用于标识该第三方开发的应用程序,从而使得可以基于该第一标识确定用户触发业务处理操作的场景。
步骤103:服务器200将第一标识、第一数据以及第二数据对应上报给数据采集设备300。
在本申请实施例中,服务器200可以包括至少一个功能模块,本申请实施例不具体限定服务器200的至少一个功能模块,服务器200的至少一个功能模块,例如可以包括统一渠道(omin channel,OC)模块、面向用户的体验环境(user experience envirenment,UEE)模块,底层组件开发模块、订单管理(order managemengt,OM)模块、公共(英文:commin)模块、业务流程管理(business process management,BPM)模块等中的任意一项或者多项。
可以理解的是,服务器200接收到第一数据之后,服务器200的功能模块可以对第一数据进行处理。在本申请实施例中,将服务器200的至少一个功能模块对第一数据进行处理得到的数据,称为第二数据。在本申请实施例中,服务器200对第一数据进行处理得到第二数据之后,可以将第一标识、第一数据以及第二数据对应上报给数据采集设备300。数据采集设备接收到服务器200发送的第一标识、第一数据和第二数据之后,可以将第一标识、第一数据和第二数据对应保存。
需要说明的是,本申请实施例不具体限定服务器200将第一标识、第一数据以及第二数据对应上报给数据采集设备300的具体实现方式,作为一种示例,服务器200可以将第一标识、第一数据以及第二数据封装成符合服务器200和数据采集设备300之间的通信协议的数据报文,从而将第一标识、第一数据以及第二数据对应上报给数据采集设备300。作为又一种示例,服务器200可以将第一标识、第一数据以及第二数据对应保存在服务器200的日志文件中,通过将日志文件发送给数据采集设备300的方式,将第一标识、第一数据以及第二数据对应上报给数据采集设备300。
通过以上描述可知,第一服务器不仅将终端设备基于用户在终端设备上触发的业务处理操作而生成的第一数据上报给了数据采集设备,第一服务器还将第一服务器的功能模块对第一数据进行处理得到的第二数据上报给了数据采集设备,并且通过第一标识将第一数据和第二数据关联起来,表征第一数据和第二数据是针对同一业务处理操作进行处理所产生的数据。由此可见,利用本申请实施例提供方法,针对一个业务处理操作,既可以采集到体现触发该业务处理操作的人机交互过程的数据即第一数据,又可以采集到体现第一服务器针对该业务处理操作进行处理所得到的数据即第二数据。相比与传统技术只能采集到服务器与服务器之间的交互数据,所采集的数据量更多,更有利于有效的对应用处理业务的性能进行评估。
在本申请实施例中,考虑到在实际应用中,服务器200的业务处理量很大,对应的资源占用也比较多,而向数据采集设备300上报第一标识、所述第一数据以及第二数据,也会占用服务器200的部分资源。鉴于此,在本申请实施例中,为了降低服务器200的资源消耗,服务器200可以获取数据上报指令,并基于所述数据上报指令,确定是否将第一标识、第一数据以及第二数据对应上报给数据采集设备300。在本申请实施例中,数据上报指令用于指示是否将针对业务处理操作进行处理产生的数据上报给数据采集设备300。若数据上报指令指示将针对业务处理操作进行处理产生的数据上报给数据采集设备300,则服务器200将第一标识、第一数据以及第二数据对应上报所述数据采集设备300;相应的,若数据上报指令指示无需将针对业务处理操作进行处理产生的数据上报给数据采集设备300,则服务器200不执行将第一标识、第一数据以及第二数据对应上报所述数据采集设备300的操作。
如前文,服务器200接收到第一数据之后,可以生成一个标识获取请求,并向数据采集设备300发送该标识获取请求。数据采集设备300接收到该标识获取请求之后,可以生成第一标识,并将该第一标识发送给服务器200。对于第一标识是数据采集设备300生成的这种情况,在本申请实施例中提及的数据上报指令,可以体现为第一标识。具体地,若服务器200接收到数据采集设备300发送的第一标识,则表示数据上报指令指示将针对业务处理操作进行处理产生的数据上报给数据采集设备300;若服务器200未接收到数据采集设备300发送的第一标识,则表示数据上报指令指示无需将针对业务处理操作进行处理产生的数据上报给数据采集设备300。对于这种情况,第一标识既可以将第一数据和第二数据关联起来,表征第一数据和第二数据是针对同一业务处理操作进行处理所产生的数据,又可以作为数据上报指令,指示服务器200是否将针对业务处理操作进行处理所产生的数据上报给数据采集设备300。
在本申请实施例的又一种实现方式中,数据上报指令可以体现为第二标识,该第二标识可以是基于前述服务器200发送给数据采集设备300的标识获取请求生成的。换言之,数据采集设备300接收到标识获取请求之后,向服务器200返回两个标识,分别为第一标识和第二标识,第一标识用于将第一数据和第二数据关联起来,表征第一数据和第二数据是针对同一业务处理操作进行处理所产生的数据;第二标识用于指示服务器200是否将针对业务处理操作进行处理所产生的数据上报给数据采集设备300。
本申请实施例不具体限定数据采集设备300生成第二标识的具体实现方式,作为一种示例,数据采集设备300可以根据第一随机生成的第一标识,生成第二标识。例如,可以根据第一标识的值,确定第二标识。具体地,如果ID<(264-1)*s,则生成指示服务器200将针对业务处理操作进行处理所产生的数据上报给数据采集设备300的第二标识,否则生成指示服务器200无需将针对业务处理操作进行处理所产生的数据上报给数据采集设备300的第二标识。其中,ID为第一标识的具体值,s为数据采集设备300对应的采样因子,该采样因子s可以为用户预先自主配置的,也可以是数据采集设备300按照其它规则确定的,本申请实施例不做具体限定。
在本申请实施例的又一种实现方式中,数据上报指令可以是服务器200根据服务器200自身的负载情况确定的。具体地,若服务器200的负载率比较高,则表示服务器200可能没有多余的资源来上报针对业务处理操作进行处理产生的数据,若服务器200的负载率比较低,则表示服务器200可以有足够的资源来上报针对业务处理操作进行处理产生的数据。换言之,服务器200可以根据自身的负载情况,确定是否上报针对业务处理操作进行处理产生的数据,可以在不影响针对业务处理操作进行处理的前提下,将针对业务处理操作进行处理产生的数据上报给数据采集设备300。本申请实施例不具体限定服务器200的负载情况,作为一种示例,服务器200的负载情况可以体现为服务器200的中央处理器(centralprocessing unit,CPU)占用率和/或输入输出(input/output,I/O)吞吐率。
在本申请实施例的又一种实现方式中,数据上报指令可以根据前述第一标识以及服务器200自身的负载情况确定,具体地,可以将第一标识ID映射到平面坐标系中,得到坐标点(s′,d′),利用公式hash(ID)<(264-1)*d计算第一标识的一次哈希值hash(ID)。若s′≤s andd′≤d,则生成指示服务器200将针对业务处理操作进行处理所产生的数据上报给数据采集设备300的数据上报指令,否则生成指示服务器200无需将针对业务处理操作进行处理所产生的数据上报给数据采集设备300的数据上报指令。其中,d为与服务器200对应的采样因子,d可以是根据服务器200的负载情况确定的;其中s为数据采集设备300对应的采样因子,该采样因子s可以是用户预先自主配置的,也可以是数据采集设备300按照其它规则确定的,本申请实施例不做具体限定。
如前文,针对一个业务处理操作,参与对该业务处理操作进行处理的服务器可以是一个,也可以是多个。以下结合图3,介绍当参与对该业务处理操作进行处理的服务器是多个时,对应的数据采集方法。图3为本申请实施例提供的又一种应用场景示意图。图3与图1所示的场景类似,只是图3所示的场景中,针对用户在终端设备100上触发的业务处理操作进行处理的服务器,不仅包括服务器200,还包括服务器201和服务器202。当然,图3只是示例性说明,针对用户在终端设备100上触发的业务处理操作进行处理的服务器,也可以仅包括服务器200和服务器201,还可以包括三个以上服务器。
为方便描述,将针对一个业务处理操作进行处理的过程中,终端设备与服务器之间的交互,以及多个服务器(针对有多个服务器的情况)之间的交互,称为一条调用链。例如,针对于图1所示的场景,终端设备100-服务器200构成一条调用链,针对图3所示的场景,终端设备100-服务器200-服务器201-服务器203构成一条调用链。
需要说明的是,在申请实施例中,针对调用链中并非与终端设备100直接交互的服务器(例如服务器201和服务器202,以下简称中间服务器),采集各个中间服务器针对业务处理操作进行处理产生的数据的方式是类似的。为方便描述,将任意一个中间服务器称为第二服务器,将调用链中第二服务器的前一个服务器称为第一服务器。以下结合图4介绍采集第二服务器针对业务处理操作进行处理产生的数据的方法。图4为本申请实施例提供的一种数据采集方法的流程示意图。
步骤201:第二服务器接收第一服务器发送的第一标识和第三数据。
本申请实施例中提及的第三数据,是指第一服务器针对该业务处理操作进行处理之后输出的数据。
在本申请实施例中,第一服务器可以将第一标识和第三数据封装成数据报文,发送给第二服务器,本申请实施例不具体限定该数据报文的帧格式,作为一种示例,可以将第一标识封装在该数据报文的报文头中,发送给第二服务器。
步骤202:第二服务器将第一标识和第四数据对应上报给数据采集设备,第四数据为第二服务器的多个功能模块对第三数据进行处理得到的数据。
关于步骤201和步骤202,可以理解的是,若第二服务器为服务器201,则第一服务器为服务器200;若第二服务器为202,则第一服务器为201。
关于第二服务器的多个功能模块,可以参考前文对于服务器200的功能模块的描述部分,此处不再详述。
在本申请实施例中,为了将针对同一业务处理操作进行处理所产生的数据关联起来,第一服务器在将第三数据发送给第二服务器时,还可以将前述第一标识发送给第二服务器,第二服务器的多个功能模块对第三数据进行处理得到第四数据之后,可以将第四数据和第一标识对应上报给数据采集设备300。数据采集设备300接收到第二服务器对应上报的第一标识和第四数据之后,可以将第一标识和第四数据对应保存。
本申请实施例不具体限定第二服务器将第一标识以及第四数据对应上报给数据采集设备的具体实现方式,作为一种示例,第一服务器可以将第一标识以及第四数据封装成符合第二服务器和数据采集设备之间的通信协议的数据报文,从而将第一标识以及第四数据对应上报给数据采集设备。作为又一种示例,第二服务器可以将第一标识以及第四数据对应保存在第二服务器的日志文件中,通过将日志文件发送给数据采集设备的方式,将第一标识以及第四数据对应上报给数据采集设备。
如前文对于服务器200的描述部分,类似地,考虑到在实际应用中,第二服务器的业务处理量可能很大,对应的资源占用也比较多,而向数据采集设备上报第一标识以及第四数据,也会占用第二服务器的部分资源。鉴于此,在本申请实施例中,为了降低第二服务器的资源消耗,第二服务器可以获取数据上报指令,并基于所述数据上报指令,确定是否将第一标识以及第四数据对应上报给数据采集设备。在本申请实施例中,数据上报指令用于指示是否将针对业务处理操作进行处理产生的数据上报给数据采集设备。若数据上报指令指示将针对业务处理操作进行处理产生的数据上报给数据采集设备,则第二服务器将第一标识以及第四数据对应上报给数据采集设备;相应的,若数据上报指令指示无需将针对业务处理操作进行处理产生的数据上报给数据采集设备,则第二服务器不执行将第一标识以及第四数据对应上报所述数据采集设备的操作。
本申请实施例不具体限定数据上报指令,作为一种示例,该数据上报指令可以体现为第一标识,具体地,具体地,若第二服务器接收到第一服务器发送的第一标识,则表示数据上报指令指示将针对业务处理操作进行处理产生的数据上报给数据采集设备;若第二服务器未接收到第一服务器发送的第一标识,则表示数据上报指令指示无需将针对业务处理操作进行处理产生的数据上报给数据采集设备。对于这种情况,第一标识既可以将第一数据、第二数据以及第四数据关联起来,表征第一数据、第二数据以及第四数据是针对同一业务处理操作进行处理所产生的数据,又可以作为数据上报指令,指示第二服务器是否将针对业务处理操作进行处理所产生的数据上报给数据采集设备300。
在本申请实施例的另一种实现方式中,数据上报指令可以体现为第二标识,该第二标识可以是基于前述实施例提及的服务器200发送给数据采集设备300的标识获取请求生成的。对于这种情况,第一服务器将第三数据发送给第二服务器时,除了将第一标识发送给第二服务器之外,还可以将第二标识发送给第二服务器。换言之,第一服务器可以将第三数据、第一标识和第二标识均发送给第二服务器,第一标识用于将第一数据、第二数据和第四数据关联起来,表征第一数据、第二数据和第四数据是针对同一业务处理操作进行处理所产生的数据;第二标识用于指示第二服务器是否将针对业务处理操作进行处理所产生的数据上报给数据采集设备。
在本申请实施例的又一种实现方式中,数据上报指令可以是第二服务器根据第二服务器自身的负载情况确定的。具体地,若第二服务器的负载率比较高,则表示第二服务器可能没有多余的资源来上报针对业务处理操作进行处理产生的数据,若第二服务器的负载率比较低,则表示第二服务器可以有足够的资源来上报针对业务处理操作进行处理产生的数据。换言之,第二服务器可以根据自身的负载情况,确定是否上报针对业务处理操作进行处理产生的数据,可以在不影响针对业务处理操作进行处理的前提下,将针对业务处理操作进行处理产生的数据上报给数据采集设备。本申请实施例不具体限定第二服务器的负载情况,作为一种示例,第二服务器的负载情况可以体现为第二服务器的中央处理器(central processing unit,CPU)占用率和/或输入输出(input/output,I/O)吞吐率。
在本申请实施例的又一种实现方式中,数据上报指令可以根据前述第一标识以及第二服务器自身的负载情况确定。对于这种情况,可以参考上文对于服务器200根据前述第一标识以及服务器200自身的负载情况确定数据上报指令的描述部分,此处不再详述。
在本申请实施例中,考虑到在实际应用中,针对一个业务操作,参与对该业务处理操作进行处理的服务器可以是多个时,该多个服务器针对该业务处理操作的处理过程在时间上并非是连续的。例如,对于一些套餐开通业务,往往并非是一开通立即生效,而是要等到特定时间例如月初才能生效。对于这种情况,可结合图1所示的场景进行说明,在图3中,针对用户在终端设备100上触发的关于套餐开通业务的业务处理操作,服务器200针对该业务处理操作进行处理之后,完成了该套餐的开通。而套餐生效需要由服务器201来进行处理,但是套餐生效的时间例如2019年4月1号与套餐开通的时间例如2019年3月8号之间并非是连续的,因此,服务器200并非立即将服务器200针对该业务处理操作进行处理输出的数据以及第一标识和第二标识发送给服务器201,而是等到开通套餐时才将服务器200针对该业务处理操作进行处理输出的数据以及第一标识和第二标识发送给服务器201。对于这种情况,一方面,为了防止第一标识,导致不能将针对同一业务处理操作进行处理所产生的数据关联起来。另一方面,为了防止第二标识丢失,导致服务器201无法通过第二标识确定是否将针对业务处理操作进行处理得到的数据上报给数据采集设备。在本申请实施例中,可以将第一标识和/或第二标识存储起来,当需要向服务器201发送时,再将预先存储的第一标识和/或第二标识读取出来发送给服务器201。总而言之,前述第一服务器可以将第一标识和/或第二标识存储起来,当需要向第二服务器发送该第一标识和/或第二标识时,再将预先存储的第一标识和/或第二标识读取出来发送给第二服务器。
以上对本申请实施例提供的数据采集方法进行了介绍,以下以图3所示的场景为例,结合图5从信令交互的角度,介绍本申请实施例提供的数据采集方法。图5为本申请实施例提供的一种数据采集方法的信令交互图。
步骤301:终端设备100响应于用户在终端设备100上触发的业务处理操作,生成第一数据。
步骤302:终端设备100将该第一数据发送给服务器200。
步骤303:服务器200向数据采集设备300发送标识获取请求。
步骤304:数据采集设备300向服务器200发送第一标识和第二标识。
可以理解的是,数据采集设备300首先生成第一标识和第二标识,而后将第一标识和第二标识发送给服务器200。
步骤305:服务器200将第一标识、第一数据以及第二数据对应上报给数据采集设备300。
服务器200确定第二标识指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备之后,将第一标识、第一数据以及第二数据对应上报给数据采集设备300。
步骤306:数据采集设备300将第一标识、第一数据以及第二数据对应保存。
步骤307:服务器200将第一标识、第二标识以及服务器200输出的数据,发送给服务器201。
服务器200输出的数据,是指服务器200的至少一个功能模块针对第一数据进行处理得到的第二数据中的部分或者全部数据。
需要说明的是,本申请实施例不具体限定步骤305和步骤307的执行顺序,步骤305和步骤307可以同时执行,步骤307也可以在步骤305之前、步骤304之后执行,本申请实施例不具体限定。
步骤308:服务器201将服务器201的多个功能模块针对服务器200输出的数据进行处理得到的数据,以及第一标识对应上报给数据采集设备300。
可以理解的是,服务器201确定第二标识指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,故而将服务器201的多个功能模块针对服务器200输出的数据进行处理得到的数据,以及第一标识对应上报给数据采集设备300。
关于步骤308需要说明的是,服务器201还可以根据自身的负载情况,确定是否将服务器201的多个功能模块针对服务器200输出的数据进行处理得到的数据,以及第一标识对应上报给数据采集设备300。
步骤309:数据采集设备300将“服务器202的多个功能模块针对服务器201输出的数据进行处理得到的数据”以及“第一标识”对应保存。
步骤310、服务器201将第一标识、第二标识以及服务器201输出的数据,发送给服务器202。
本申请实施例不具体限定步骤308和步骤310的执行顺序,步骤308和步骤310可以同时执行,步骤310也可以在步骤308之前、步骤307之后执行。
步骤311:服务器202将服务器202的多个功能模块针对服务器201输出的数据进行处理得到的数据,以及第一标识对应上报给数据采集设备300。
可以理解的是,服务器202确定第二标识指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,故而将服务器202的多个功能模块针对服务器201输出的数据进行处理得到的数据,以及第一标识对应上报给数据采集设备300。
关于311需要说明的是,服务器202还可以根据自身的负载情况,确定是否将服务器202的多个功能模块针对服务器201输出的数据进行处理得到的数据,以及第一标识对应上报给数据采集设备300。
步骤312:数据采集设备300将“服务器202的多个功能模块针对服务器201输出的数据进行处理得到的数据”以及“第一标识”对应保存。
在本申请实施例中,数据采集设备存储针对业务处理操作进行处理的数据之后,可以利用第一标识将针对一个业务处理操作进行处理的数据关联起来。由于利用本申请实施例的数据采集方法,采集的数据不仅包括能够体现人机交互的前述第一数据,还可以包括体现服务器针对业务处理操作进行处理得到的数据例如前述第二数据和第四数据,因此利用本申请实施例提供的方法采集到的数据,基本上可以体现触发该业务处理操作的人机交互过程,以及具体处理过程。相比与传统技术只能采集到服务器与服务器之间的交互数据,所采集的数据量更多,更有利于有效的对应用处理业务的性能进行评估。
可以理解的是,在对应用处理业务的性能进行分析时,考虑到不同业务的处理过程不同,对应的性能分析方法也不同。因此,在对应用处理业务的性能进行分析时,可以首先确定出对应的业务。在传统技术中,可以通过在网页中显示的菜单添加业务标签的方式,来确定具体的业务。例如,为“话费”菜单添加业务标签“话费查询”等。但是,这种添加业务标签的方式,一方面,需要修改该菜单对应的底层代码,而电信运营商的业务众多,对应的菜单也很多,故而修改成本比较大。另一方面,对于同一个菜单,其可能对应多个业务,例如,在”开户”业务中,要点击菜单“话费”,而在“套餐办理”业务中,也可能要点击菜单“话费”。对于这种情况,通过未菜单添加业务标签的方式,可能并不能准确的确定出该菜单对应的业务。
鉴于此,在本申请实施例中,可以利用机器学习模型,确定所采集到的数据具体对应的业务。
具体地,数据采集设备可以获取多组目标数据,而后通过机器学习模型确定该多组目标数据对应的业务。
可以理解的是,一个业务的处理过程,可以包括一个或者多个业务处理操作,例如,对于办理开户业务,首先可以查询可用号码,选择号码之后要提交订单等等,而查询可用号码和提交订单各对应一个业务处理操作。本申请实施例中提及的多组目标数据,可以对应多个业务处理操作,一个业务处理操作对应一组目标数据。
在本申请实施例中,一组目标数据中可以包括对该组目标数据对应的业务处理操作进行处理的一个或者多个服务器上报的数据。此处需要说明的是,由于对业务处理操作进行处理的一个或者多个服务器,可以根据其自身的负载情况,确定是否向数据采集设备上报相应的数据,因此,数据采集设备采集到的可能并不是对业务处理操作进行处理的一个或者多个服务器,针对该业务处理操作得到的全部数据。换言之,一组目标数据例如可以包括前述第一数据、第二数据以及第四数据的任意一项或组合。
在本申请实施例中,该机器学习模型可以是基于多组训练数据和所述训练数据所对应的标签训练得到的。在本申请实施例中,多组训练数据对应的标签,可以用于表示多组训练数据实际对应的业务。如前文,一个业务处理过程可以包括一个或者多个业务处理操作,在本申请实施例中,一个业务处理操作可以对应一组训练数据;每组训练数据可以是基于一个或者多个服务器针对一个业务处理操作进行处理得到的数据。前述多组训练数据可以对应一个或者多个业务。
本申请实施例不具体限定该机器学习模型,该机器学习模型例如可以为神经网络模型。
本申请实施例也不具体限定该机器学习模型的训练方式,作为一种示例,可以通过聚类训练或者融合训练的方式训练得到该机器学习模型。具体地,可以采用基于支持向量机(support vector machine,SVM)、逻辑回归(logistic regression,LR)、随机森林(random forest,RF)以及梯度迭代提升树(gradient boosting decison tree,GBDT)这几种算法中的至少一项,采用融合训练的方式,训练得到该机器学习模型。
训练得到该机器学习模型之后,将多组目标数据输入该机器学习模型,机器学习模型就可以输出该多组目标数据对应的业务。需要说明的是,在本申请实施例中,该多组目标数据可以对应一个业务,也可以对应多个业务,本申请实施例不做具体限定。
由此可见,利用本申请实施例的方案,无需修改底层代码,就可以准确的确定出目标数据对应的业务。
在本申请实施例中,数据采集设备确定出采集的数据例如前述多组目标数据对应的业务之后,可以对该业务的业务处理性能进行分析。具体地,在本申请实施例中,数据采集设备可以对前述多组目标数据进行分类,得到多个聚类集合;而后对该多个聚类集合中包含的目标数据进行分析,确定该多个聚类集合分别对应的业务处理性能。
需要说明的是,在本申请实施例中,聚类得到的多个聚类集合,每个聚类集合中可以包括一组或者多组目标数据。
在本申请实施例中,数据采集设备可以利用聚类算法对该多组目标数据进行分类。具体地,针对多组目标数据{x(1),...,x(n)}利用聚类算法进行聚类在具体实现时,可以预先设置将多组目标数据进行聚类得到的聚类集合的数目。例如,将业务处理性能分为“优”、“良”“差”三种,则可以预先设置将多组目标数据进行聚类得到的聚类集合的数目为3。
以下以预先设置的聚类集合的数目为k为例,介绍对应的聚类算法。其中,x(1)为一组目标数据,相应的x(n)为一组目标数据。
首先可以随机初始化k个聚类集合的质心,分别为前述k个聚类集合的质心。在执行聚类算法时,可以通过多次迭代来实现,在每一次迭代过程中,对于各组目标数据而言,可以计算该组目标数据与当前各个质心之间的距离,得到多个距离,并将该目标数据与前述多个距离中的最小距离对应的质心聚成一类。而后,计算每个聚类集合中的多组目标数据的均值,作为该聚类集合的新的质心。如此循环迭代若干次,直至得到的k个聚类集合的损益函数小于预设阈值。其中,损益函数通过如下公式来表示:
其中,表示一组目标数据x(i)距离其所在聚类集合的集群质心之间距离的平方和;J(c,μ)表示n组目标数据距离其所在聚类集合的集群质心之间距离的平方和的和。从J(c,μ)的定义得知,J(c,μ)是单调递减的,即J(c,μ)值必定收敛。也就是说,采用聚类算法,理论上一定可以得到k个聚类集合,使得J(c,μ)小于预设阈值。
需要说明的是,损益函数J(c,μ)是非凸函数,因此J(c,μ)并不能保证收敛到全局最小值。换句话说,J(c,μ)可能收敛于局部最优值。但是,尽管J(c,μ)收敛域局部最优值,也可以小于前述预设阈值。若希望得到更优的聚类结果,即使得J(c,μ)收敛与全局最小值,可以执行多次前述聚类算法,得到多种聚类结果,从该多种聚类结果中选择出损益函数值最小的一个J(c,μ)对应的聚类结果,作为最终的聚类结果。可以理解的是,考虑到聚类算法本身是基于数据的相似程度(即数据之间的距离)进行聚类的,故而一方面,若前述多组目标数据对应同一个业务,则一个聚类集合中的目标数据对应的业务处理性能是类似的。因此,可以通过对该多个聚类集合中包含的一组或者多组目标数据进行分析,确定该多个聚类集合分别对应的业务处理性能。具体地,为方便描述,将该多个聚类集合中的任意一个聚类集合称为目标聚类集合。对于目标聚类集合而言,可以对目标聚类集合中包含的一组或者多组目标数据进行分析,确定该多个聚类集合分别对应的业务处理性能。举例说明,对10组目标数据{x(1),...,x(10)}进行处理之后,得到3个聚类集合,第一个聚类集合中包括3组目标数据,分别为x(1)、x(2)和x(3);第二个聚类集合中包括4组目标数据,分别为x(4)、x(5)、x(6)和x(7);第三个聚类集合中包括3组目标数据,分别为x(8)、x(9)和x(10),则可以通过对第一个聚类集合中的目标数据例如x(1)进行分析,确定第一个聚类集合对应的业务处理性能,例如确定第一个聚类集合对应的业务员处理业务的效率为“优”;通过对第二个聚类集合中的目标数据例如x(5)和x(6)进行分析,确定第二个聚类集合对应的业务处理性能,例如确定第一个聚类集合对应的业务员处理业务的效率为“良”;通过对第三个聚类集合中的目标数据例如x(9)进行分析,确定第三个聚类集合对应的业务处理性能,例如确定第一个聚类集合对应的业务员处理业务的效率为“中”。
另一方面,考虑到多个不同的业务的处理过程,可能包括相同的业务处理操作,例如“开户”业务和“套餐办理”业务均可能包括“话费查询”这一业务处理操作。而同一业务处理操作在不同业务中对应的目标数据之间的相似度是比较高的。因此若前述多组目标数据对应多个业务,则对应同一业务处理操作的多组目标数据可能会被聚类到同一聚类集合中。因此,若前述多组目标数据对应多个业务,则目标聚类集合中的多组目标数据,可能包括某一业务处理操作在不同业务中分别对应的目标数据。对于这种情况,可以对目标聚类集合中的多组目标数据进行分析,确定同一业务操作在不同业务中的业务处理性能。举例说明,对10组目标数据{x(1),...,x(10)}进行处理之后,得到3个聚类集合,其中一个聚类集合中包括3组目标数据,分别为x(1)、x(2)和x(3);x(1)、x(2)和x(3)分别为业务处理操作“话费查询”在“开户”业务、“套餐办理”业务以及“话费充值”业务中对应的目标数据,则可以对目标数据x(1)、x(2)和x(3)进行分析,分别确定业务处理操作“话费查询”在“开户”业务、“套餐办理”业务以及“话费充值”业务中分别对应的业务处理性能。例如,确定“话费查询”业务处理操作在”开户”业务中的处理性能例如处理效率,比在“话费充值”业务中的处理性能高、并且,“话费查询”业务处理操作在“话费充值”业务中的处理性能,比在“套餐办理”业务中的处理性能高。
如前文,由于对业务处理操作进行处理的一个或者多个服务器,可以根据其自身的负载情况,确定是否向数据采集设备上报相应的数据,因此,数据采集设备采集到的可能并不是对业务处理操作进行处理的一个或者多个服务器,针对该业务处理操作得到的全部数据。例如对于图3所示的场景,可能服务器200将第一标识、第一数据和第二数据上报给了数据采集设备,而服务器201的负载率比较高,则未将针对业务处理操作进行处理产生的数据上报给数据采集设备,服务器202的负载率比较低,故服务器202将针对业务处理操作进行处理产生的数据以及第一标识对应上报给了数据采集设备。
但是,由于电信运营商系统具有用户量大的特点,因此,对于一个业务处理操作,可能被执行许多次,例如,有很多用户办理开户业务,因此,开户业务对应的业务处理操作,会被触发很多次。因此,针对一次业务处理操作,即使未采集到针对该业务处理操作得到的全部数据,也不会影响后续的业务处理性能的分析,因为该业务处理操作多次被触发,每次触发该业务处理操作时,针对该业务处理操作进行处理的服务器均可能会上报针对该业务处理操作进行处理所得到全部或者部分数据,因此,针对该业务处理操作而言,数据采集设备针对该业务处理操作多次被触发时所采集的数据之间可以互相弥补。而且,对于某一服务器而言,数据采集设备采集到的该服务器针对业务处理操作进行处理得到的数据,已经可以反映出该服务器处理业务的业务处理性能。
基于以上实施例提供的数据采集方法,本申请实施例还提供了相应的数据采集装置和数据采集设备,以下结合附图介绍该数据采集装置和数据采集设备。
参见图6,该图为本申请实施例提供的一种数据采集装置的结构示意图,图6所示的数据采集装置600,可以应用于前述实施例提及的服务器200。该数据采集装置600,包括:接收单元610、确定单元620和上报单元630。
接收单元610,用于接收终端设备发送的第一数据,所述第一数据是终端设备响应于用户在所述终端设备上触发的业务处理操作而产生的数据;
确定单元620,用于确定所述第一数据对应的第一标识;
上报单元630,用于将所述第一标识、所述第一数据以及第二数据对应上报给数据采集设备;所述第二数据为所述第一服务器的至少一个功能模块对所述第一数据进行处理得到的数据。
在一种可能的实现方式中,所述确定单元620,具体用于:
向数据采集设备发送标识获取请求,并接收所述数据采集设备基于所述标识获取请求生成的所述第一标识。
在一种可能的实现方式中,所述确定单元620,具体用于:
接收所述终端设备发送的所述第一标识。
在一种可能的实现方式中,所述上报单元630,包括:
获取子单元,用于获取数据上报指令;
上报子单元,用于若所述数据上报指令指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,则将所述第一标识、所述第一数据以及所述第二数据对应上报所述数据采集设备。
在一种可能的实现方式中,所述数据上报指令体现为第二标识,所述第二标识是由所述数据采集设备基于所述标识获取请求生成、并发送给所述第一服务器的。
在一种可能的实现方式中在一种可能的实现方式中,所述数据上报指令是所述第一服务器根据所述第一服务器的负载情况生成的。
在一种可能的实现方式中,所述负载情况,包括:
中央处理器CPU占用率和/或输入输出I/O吞吐率。
由于所述装置600是与以上方法实施例提供的由服务器200执行的数据采集方法对应的装置,所述装置600的各个单元的具体实现,均与以上方法实施例为同一构思,因此,关于所述装置600的各个单元的具体实现,可以参考以上方法实施例中关于服务器200执行的数据采集方法的描述部分,此处不再赘述。
参见图7,该图为本申请实施例提供的一种数据采集装置的结构示意图,图7所示的数据采集装置700,可以应用于前述实施例提及的第二服务器。该数据采集装置700,包括:接收单元710和上报单元720。
接收单元710,用于接收第一服务器发送的第一标识和第三数据;
上报单元720,用于将所述第一标识和第四数据对应上报给数据采集设备;所述第四数据为所述第二服务器的多个功能模块对所述第三数据进行处理得到的数据。
在一种可能的实现方式中,所述上报单元720,包括:
获取子单元,用于获取数据上报指令;
上报子单元,用于若所述数据上报指令指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,将所述第一标识和所述第四数据对应上报给数据采集设备,所述业务处理操作是用户在终端设备上触发的操作。
在一种可能的实现方式中,所述数据上报指令,体现为第二标识,所述第二标识是所述第一服务器发送给所述第二服务器的。
在一种可能的实现方式中,所述数据上报指令是所述第二服务器根据所述第二服务器的负载情况生成的。
在一种可能的实现方式中,所述负载情况,包括:
中央处理器CPU占用率和/或输入输出I/O吞吐率。
由于所述装置700是与以上方法实施例提供的由第二服务器执行的数据采集方法对应的装置,所述装置700的各个单元的具体实现,均与以上方法实施例为同一构思,因此,关于所述装置700的各个单元的具体实现,可以参考以上方法实施例中关于第二服务器执行的数据采集方法的描述部分,此处不再赘述。
参见图8,该图为本申请实施例提供的一种数据采集装置的结构示意图,图8所示的数据采集装置800,可以应用于前述实施例提及的数据采集设备。该数据采集设备800,包括:第一接收单元810和第一保存单元820。
第一接收单元810,用于接收第一服务器对应上报的第一数据、第二数据和第一标识;所述第一数据是终端设备响应于用户在所述终端设备上触发的业务处理操作而产生、并发送给所述第一服务器的数据;所述第二数据为所述第一服务器的至少一个功能模块对所述第一数据进行处理得到的数据;
第一保存单元820,用于所述数据采集设备将所述第一数据、所述第二数据和所述第一标识对应保存。
在一种可能的实现方式中,所述装置还包括:
第二接收单元,用于接收第一服务器发送的标识获取请求,并针对所述标识获取请求生成第一标识;
发送单元,用于将所述第一标识发送给所述第一服务器。
在一种可能的实现方式中,所述装置还包括:
第三接收单元,用于接收第二服务器上报的所述第一标识和第三数据,所述第三数据是所述第二服务器的多个功能模块对所述第一服务器输出的数据进行处理得到的数据所述第一标识是由所述第一服务器发送给所述第二服务器的;
第二保存单元,用于将所述第一标识和所述第三数据对应保存。
在一种可能的实现方式中,所述装置还包括:
获取单元,用于获取多组目标数据;所述多组目标数据中的每组目标数据分别对应一个业务处理操作;所述一组目标数据包括所述第一数据、所述第二数据和所述第三数据中的任意一项或组合;
确定单元,用于所述数据采集设备根据所述多组目标数据,通过机器学习模型,确定所述多组目标数据对应的业务;
所述机器学习模型,是基于多组训练数据和所述训练数据所对应的标签训练得到的;所述训练数据对应的标签,表征所述训练数据实际对应的业务;所述多组训练数据对应一个或者多个业务,一个业务的处理过程对应一个或者多个所述业务处理操作,所述多组训练数据中的每组训练数据均对应一个业务处理操作。
在一种可能的实现方式中,所述装置还包括:
分类单元,用于对所述多组所述目标数据进行分类,得到多个聚类集合;
分析单元,用于对所述多个聚类集合中包含的目标数据进行分析,确定所述多个聚类集合分别对应的业务处理性能。
由于所述装置800是与以上方法实施例提供的由数据采集设备执行的数据采集方法对应的装置,所述装置800的各个单元的具体实现,均与以上方法实施例为同一构思,因此,关于所述装置800的各个单元的具体实现,可以参考以上方法实施例中关于数据采集设备300执行的数据采集方法的描述部分,此处不再赘述。
本申请实施例还提供了一种对应于数据采集装置600的数据采集设备,该数据采集设备包括处理器和存储器;
所述存储器,用于存储指令;
所述处理器,用于执行所述存储器中的所述指令,执行以上实施例提供的由服务器200执行的数据采集方法。
本申请实施例还提供了一种对应于数据采集装置700的数据采集设备,该数据采集设备包括处理器和存储器;
所述存储器,用于存储指令;
所述处理器,用于执行所述存储器中的所述指令,执行以上实施例提供的由第二服务器执行的数据采集方法。
本申请实施例还提供了一种对应于数据采集装置800的数据采集设备,该数据采集设备包括处理器和存储器;
所述存储器,用于存储指令;
所述处理器,用于执行所述存储器中的所述指令,执行以上实施例提供的由数据采集设备300执行的数据采集方法。
需要说明的是,本申请实施例中提供的对应于数据采集装置600的数据采集设备、对应于数据采集装置700的数据采集设备、以及对应于数据采集装置800的数据采集设备,其硬件结构均可以为如图9所示的结构,图9为本申请实施例提供的一种数据采集设备的结构示意图。
请参阅图9所示,数据采集设备900包括:处理器910、通信接口920和和存储器930。其中数据采集设备900中的处理器910的数量可以一个或多个,图9中以一个处理器为例。本申请实施例中,处理器910、通信接口920和存储器930可通过总线系统或其它方式连接,其中,图9中以通过总线系统940连接为例。
处理器910可以是中央处理器(central processing unit,CPU),网络处理器(network processor,NP)或者CPU和NP的组合。处理器910还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。
存储器930可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(random-access memory,RAM);存储器930也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器930还可以包括上述种类的存储器的组合。
存储器930可以将前述实施例提及的第一数据、第二数据、第四数据以及第一标识等数据以日志形式存储在存储器930中。
可选地,存储器930存储有操作系统和程序、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,程序可包括各种操作指令,用于实现各种操作。操作系统可包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。处理器910可以读取存储器930中的程序,实现本申请实施例提供的数据采集方法。
总线系统940可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。总线系统940可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请实施例还提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行以上服务器200执行的数据采集方法。
本申请实施例还提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行以上第二服务器执行的数据采集方法。
本申请实施例还提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行以上数据采集设备300执行的数据采集方法。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上服务器200执行的数据采集方法。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上第二服务器执行的数据采集方法。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上数据采集设备300执行的数据采集方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,第一服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (43)
1.一种数据采集方法,其特征在于,所述方法包括:
第一服务器接收终端设备发送的第一数据,所述第一数据是终端设备响应于用户在所述终端设备上触发的业务处理操作而产生的数据;
所述第一服务器确定所述第一数据对应的第一标识;
所述第一服务器将所述第一标识、所述第一数据以及第二数据对应上报给数据采集设备;所述第二数据为所述第一服务器的至少一个功能模块对所述第一数据进行处理得到的数据。
2.根据权利要求1所述的方法,其特征在于,所述第一服务器确定所述第一数据对应的第一标识,包括:
所述第一服务器向数据采集设备发送标识获取请求,并接收所述数据采集设备基于所述标识获取请求生成的所述第一标识。
3.根据权利要求1所述的方法,其特征在于,所述第一服务器确定所述第一数据对应的第一标识,包括:
所述第一服务器接收所述终端设备发送的所述第一标识。
4.根据权利要求2所述的方法,其特征在于,所述第一服务器将所述第一标识、所述第一数据以及第二数据对应上报所述数据采集设备,包括:
所述第一服务器获取数据上报指令;
若所述数据上报指令指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,则所述第一服务器将所述第一标识、所述第一数据以及所述第二数据对应上报所述数据采集设备。
5.根据权利要求4所述的方法,其特征在于,所述数据上报指令体现为第二标识,所述第二标识是由所述数据采集设备基于所述标识获取请求生成、并发送给所述第一服务器的。
6.根据权利要求4所述的方法,其特征在于,所述数据上报指令是所述第一服务器根据所述第一服务器的负载情况生成的。
7.根据权利要求6所述的方法,其特征在于,所述负载情况,包括:
中央处理器CPU占用率和/或输入输出I/O吞吐率。
8.一种数据采集方法,其特征在于,所述方法包括:
第二服务器接收第一服务器发送的第一标识和第三数据;
所述第二服务器将所述第一标识和第四数据对应上报给数据采集设备;所述第四数据为所述第二服务器的多个功能模块对所述第三数据进行处理得到的数据。
9.根据权利要求8所述的方法,其特征在于,所述第二服务器将所述第一标识和第四数据对应上报给数据采集设备,包括:
所述第二服务器获取数据上报指令;
若所述数据上报指令指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,所述第二服务器将所述第一标识和所述第四数据对应上报给数据采集设备,所述业务处理操作是用户在终端设备上触发的操作。
10.根据权利要求9所述的方法,其特征在于,所述数据上报指令,体现为第二标识,所述第二标识是所述第一服务器发送给所述第二服务器的。
11.根据权利要求9所述的方法,其特征在于,所述数据上报指令是所述第二服务器根据所述第二服务器的负载情况生成的。
12.根据权利要求11所述的方法,其特征在于,所述负载情况,包括:
中央处理器CPU占用率和/或输入输出I/O吞吐率。
13.一种数据采集方法,其特征在于,所述方法包括:
数据采集设备接收第一服务器对应上报的第一数据、第二数据和第一标识;所述第一数据是终端设备响应于用户在所述终端设备上触发的业务处理操作而产生、并发送给所述第一服务器的数据;所述第二数据为所述第一服务器的至少一个功能模块对所述第一数据进行处理得到的数据;
所述数据采集设备将所述第一数据、所述第二数据和所述第一标识对应保存。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
所述数据采集设备接收第一服务器发送的标识获取请求,并针对所述标识获取请求生成第一标识;
所述数据采集设备将所述第一标识发送给所述第一服务器。
15.根据权利要求13所述的方法,其特征在于,所述方法还包括:
所述数据采集设备接收第二服务器上报的所述第一标识和第三数据,所述第三数据是所述第二服务器的多个功能模块对所述第一服务器输出的数据进行处理得到的数据所述第一标识是由所述第一服务器发送给所述第二服务器的;
所述数据采集设备将所述第一标识和所述第三数据对应保存。
16.根据权利要求15所述的方法,其特征在于,所述方法还包括:
所述数据采集设备获取多组目标数据;所述多组目标数据中的每组目标数据分别对应一个业务处理操作;所述一组目标数据包括所述第一数据、所述第二数据和所述第三数据中的任意一项或组合;
所述数据采集设备根据所述多组目标数据,通过机器学习模型,确定所述多组目标数据对应的业务;
所述机器学习模型,是基于多组训练数据和所述训练数据所对应的标签训练得到的;所述训练数据对应的标签,表征所述训练数据实际对应的业务;所述多组训练数据对应一个或者多个业务,一个业务的处理过程对应一个或者多个所述业务处理操作,所述多组训练数据中的每组训练数据均对应一个业务处理操作。
17.根据权利要求16所述的方法,其特征在于,所述方法还包括:
数据采集设备对所述多组所述目标数据进行分类,得到多个聚类集合;
数据采集设备对所述多个聚类集合中包含的目标数据进行分析,确定所述多个聚类集合分别对应的业务处理性能。
18.一种数据采集装置,其特征在于,应用于第一服务器,所述装置包括:
接收单元,用于接收终端设备发送的第一数据,所述第一数据是终端设备响应于用户在所述终端设备上触发的业务处理操作而产生的数据;
确定单元,用于确定所述第一数据对应的第一标识;
上报单元,用于将所述第一标识、所述第一数据以及第二数据对应上报给数据采集设备;所述第二数据为所述第一服务器的至少一个功能模块对所述第一数据进行处理得到的数据。
19.根据权利要求18所述的装置,其特征在于,所述确定单元,具体用于:
向数据采集设备发送标识获取请求,并接收所述数据采集设备基于所述标识获取请求生成的所述第一标识。
20.根据权利要求18所述的装置,其特征在于,所述确定单元,具体用于:
接收所述终端设备发送的所述第一标识。
21.根据权利要求19所述的装置,其特征在于,所述上报单元,包括:
获取子单元,用于获取数据上报指令;
上报子单元,用于若所述数据上报指令指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,则将所述第一标识、所述第一数据以及所述第二数据对应上报所述数据采集设备。
22.根据权利要求21所述的装置,其特征在于,所述数据上报指令体现为第二标识,所述第二标识是由所述数据采集设备基于所述标识获取请求生成、并发送给所述第一服务器的。
23.根据权利要求21所述的装置,其特征在于,所述数据上报指令是所述第一服务器根据所述第一服务器的负载情况生成的。
24.根据权利要求23所述的装置,其特征在于,所述负载情况,包括:
中央处理器CPU占用率和/或输入输出I/O吞吐率。
25.一种数据采集装置,其特征在于,应用于第二服务器,所述装置包括:
接收单元,用于接收第一服务器发送的第一标识和第三数据;
上报单元,用于将所述第一标识和第四数据对应上报给数据采集设备;所述第四数据为所述第二服务器的多个功能模块对所述第三数据进行处理得到的数据。
26.根据权利要求25所述的装置,其特征在于,所述上报单元,包括:
获取子单元,用于获取数据上报指令;
上报子单元,用于若所述数据上报指令指示将针对业务处理操作进行处理产生的数据上报给所述数据采集设备,将所述第一标识和所述第四数据对应上报给数据采集设备,所述业务处理操作是用户在终端设备上触发的操作。
27.根据权利要求26所述的装置,其特征在于,所述数据上报指令,体现为第二标识,所述第二标识是所述第一服务器发送给所述第二服务器的。
28.根据权利要求26所述的装置,其特征在于,所述数据上报指令是所述第二服务器根据所述第二服务器的负载情况生成的。
29.根据权利要求28所述的装置,其特征在于,所述负载情况,包括:
中央处理器CPU占用率和/或输入输出I/O吞吐率。
30.一种数据采集装置,其特征在于,所述装置包括:
第一接收单元,用于接收第一服务器对应上报的第一数据、第二数据和第一标识;所述第一数据是终端设备响应于用户在所述终端设备上触发的业务处理操作而产生、并发送给所述第一服务器的数据;所述第二数据为所述第一服务器的至少一个功能模块对所述第一数据进行处理得到的数据;
第一保存单元,用于所述数据采集设备将所述第一数据、所述第二数据和所述第一标识对应保存。
31.根据权利要求30所述的装置,其特征在于,所述装置还包括:
第二接收单元,用于接收第一服务器发送的标识获取请求,并针对所述标识获取请求生成第一标识;
发送单元,用于将所述第一标识发送给所述第一服务器。
32.根据权利要求30所述的装置,其特征在于,所述装置还包括:
第三接收单元,用于接收第二服务器上报的所述第一标识和第三数据,所述第三数据是所述第二服务器的多个功能模块对所述第一服务器输出的数据进行处理得到的数据所述第一标识是由所述第一服务器发送给所述第二服务器的;
第二保存单元,用于将所述第一标识和所述第三数据对应保存。
33.根据权利要求32所述的装置,其特征在于,所述装置还包括:
获取单元,用于获取多组目标数据;所述多组目标数据中的每组目标数据分别对应一个业务处理操作;所述一组目标数据包括所述第一数据、所述第二数据和所述第三数据中的任意一项或组合;
确定单元,用于所述数据采集设备根据所述多组目标数据,通过机器学习模型,确定所述多组目标数据对应的业务;
所述机器学习模型,是基于多组训练数据和所述训练数据所对应的标签训练得到的;所述训练数据对应的标签,表征所述训练数据实际对应的业务;所述多组训练数据对应一个或者多个业务,一个业务的处理过程对应一个或者多个所述业务处理操作,所述多组训练数据中的每组训练数据均对应一个业务处理操作。
34.根据权利要求33所述的装置,其特征在于,所述装置还包括:
分类单元,用于对所述多组所述目标数据进行分类,得到多个聚类集合;
分析单元,用于对所述多个聚类集合中包含的目标数据进行分析,确定所述多个聚类集合分别对应的业务处理性能。
35.一种数据采集设备,所述设备包括:处理器和存储器;
所述存储器,用于存储指令;
所述处理器,用于执行所述存储器中的所述指令,执行权利要求1-7任意一项所述的方法。
36.一种数据采集设备,所述设备包括:处理器和存储器;
所述存储器,用于存储指令;
所述处理器,用于执行所述存储器中的所述指令,执行权利要求8-12任意一项所述的方法。
37.一种数据采集设备,所述设备包括:处理器和存储器;
所述存储器,用于存储指令;
所述处理器,用于执行所述存储器中的所述指令,执行权利要求13-17任意一项所述的方法。
38.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行以上权利要求1-7任意一项所述的方法。
39.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行以上权利要求8-12任意一项所述的方法。
40.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行以上权利要求13-17任意一项所述的方法。
41.一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上权利要求1-7任意一项所述的方法。
42.一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上权利要求8-12任意一项所述的方法。
43.一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上权利要求13-17任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910229295.2A CN111740871A (zh) | 2019-03-25 | 2019-03-25 | 一种数据采集方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910229295.2A CN111740871A (zh) | 2019-03-25 | 2019-03-25 | 一种数据采集方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111740871A true CN111740871A (zh) | 2020-10-02 |
Family
ID=72646250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910229295.2A Pending CN111740871A (zh) | 2019-03-25 | 2019-03-25 | 一种数据采集方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111740871A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112910972A (zh) * | 2021-01-21 | 2021-06-04 | 深圳市九洲电器有限公司 | 一种数据采集方法、终端以及数据采集系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104468248A (zh) * | 2013-09-16 | 2015-03-25 | 腾讯科技(深圳)有限公司 | 业务性能的监控方法、反向代理服务器、统计分析服务器及系统 |
CN104683181A (zh) * | 2015-02-12 | 2015-06-03 | 北京蓝海讯通科技有限公司 | 一种性能监控方法、设备和系统 |
CN107135128A (zh) * | 2017-06-28 | 2017-09-05 | 努比亚技术有限公司 | 调用链数据采集方法、移动终端及计算机可读存储介质 |
CN108471366A (zh) * | 2018-02-02 | 2018-08-31 | 深圳市康拓普信息技术有限公司 | 一种面向云原生应用的立体监控系统 |
US20180316743A1 (en) * | 2017-04-30 | 2018-11-01 | Appdynamics Llc | Intelligent data transmission by network device agent |
CN109120461A (zh) * | 2018-09-29 | 2019-01-01 | 广州源典科技有限公司 | 一种业务性能端到端监控方法、系统及装置 |
-
2019
- 2019-03-25 CN CN201910229295.2A patent/CN111740871A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104468248A (zh) * | 2013-09-16 | 2015-03-25 | 腾讯科技(深圳)有限公司 | 业务性能的监控方法、反向代理服务器、统计分析服务器及系统 |
CN104683181A (zh) * | 2015-02-12 | 2015-06-03 | 北京蓝海讯通科技有限公司 | 一种性能监控方法、设备和系统 |
US20180316743A1 (en) * | 2017-04-30 | 2018-11-01 | Appdynamics Llc | Intelligent data transmission by network device agent |
CN107135128A (zh) * | 2017-06-28 | 2017-09-05 | 努比亚技术有限公司 | 调用链数据采集方法、移动终端及计算机可读存储介质 |
CN108471366A (zh) * | 2018-02-02 | 2018-08-31 | 深圳市康拓普信息技术有限公司 | 一种面向云原生应用的立体监控系统 |
CN109120461A (zh) * | 2018-09-29 | 2019-01-01 | 广州源典科技有限公司 | 一种业务性能端到端监控方法、系统及装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112910972A (zh) * | 2021-01-21 | 2021-06-04 | 深圳市九洲电器有限公司 | 一种数据采集方法、终端以及数据采集系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9838483B2 (en) | Methods, systems, and computer readable media for a network function virtualization information concentrator | |
CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
CN108683530B (zh) | 多维度数据的数据分析方法、装置及存储介质 | |
US20150215228A1 (en) | Methods, systems, and computer readable media for a cloud-based virtualization orchestrator | |
CN110069495A (zh) | 数据存储方法、装置和终端设备 | |
CN108388675A (zh) | 一种身份标识拉通方法及终端设备 | |
CN110347888B (zh) | 订单数据的处理方法、装置及存储介质 | |
US10834183B2 (en) | Managing idle and active servers in cloud data centers | |
CN103403699A (zh) | 估算流数据库应用中的负荷削减数据 | |
US10334013B2 (en) | Avoiding web request failures before they occur by component analysis | |
JP2015530666A (ja) | データインデックス化方法及び装置 | |
CN108429754A (zh) | 一种云端分布式检测方法、系统及相关装置 | |
CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
CN111740871A (zh) | 一种数据采集方法及装置 | |
CN112035286A (zh) | 故障原因的确定方法及装置、存储介质、电子装置 | |
CN111324583B (zh) | 一种业务日志的分类方法及装置 | |
CN111431733A (zh) | 服务告警覆盖信息的评估方法及装置 | |
CN116700929A (zh) | 基于人工智能的任务批量处理方法及系统 | |
WO2023093255A1 (zh) | 聚类集合的确定方法和装置、存储介质及电子装置 | |
CN110297748A (zh) | 一种定位调用出错的方法、装置和计算机可读存储介质 | |
WO2021159668A1 (zh) | 机器人对话方法、装置、计算机设备和存储介质 | |
CN109635015B (zh) | 属性数据使用对象的确定方法、装置和服务器 | |
CN114390015A (zh) | 一种基于物模型的数据推送系统、方法、设备及存储介质 | |
CN113626387A (zh) | 一种任务数据的导出方法、装置、电子设备及存储介质 | |
CN110851249A (zh) | 一种数据导出的方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201002 |