CN113778831B - 一种数据应用性能分析方法、装置、设备和介质 - Google Patents

Abstract

本发明公开了一种数据应用性能分析方法、装置、设备和介质，应用于云平台内的指标分析组件，方法包括：通过轮询数据应用的各个应用副本对应的元信息；根据对元信息的轮询结果从多个应用副本中确定目标应用副本；发送性能指标获取请求至目标应用副本；当接收到目标应用副本返回的性能指标数据时，对性能指标数据进行聚类，生成各个逻辑组件对应的目标聚类簇；分别计算各个目标聚类簇对应的聚类特征，生成目标应用副本所属数据应用的应用性能消耗结果。从而通过获取各个应用副本内逻辑组件的性能指标数据，综合分析应用副本在处理不同数据下的逻辑组件性能消耗情况，从而更为针对性地对数据应用进行后续优化。

Description

一种数据应用性能分析方法、装置、设备和介质

技术领域

本发明涉及应用性能分析技术领域，尤其涉及一种数据应用性能分析方法、装置、设备和介质。

背景技术

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助决策更积极的数据。

而在对大数据的处理环境中，数据处理应用需要同时在成千上万个不同的环境中并行使用，通常是通过云端基于同一个数据应用进行大量的应用副本复制执行，其中每个应用副本均处理不同的数据。

在现有技术中，对应用副本性能进行分析的过程通常是通过定时打印应用日志、采用应用本身记录性能指标或者定时向固定服务器发送性能指标进行分析。但无论是上述何种方案，均是对单一应用副本的性能指标进行应用运行环境的性能消耗分析，无法准确得知应用内部各个逻辑组件的性能消耗情况，不便于后续对应用的针对性优化。

发明内容

本发明提供了一种数据应用性能分析方法、装置、设备和介质，解决了现有的性能分析方法通常是对单一应用副本的性能指标进行应用运行环境的性能消耗分析，无法准确得知应用内部各个逻辑组件的性能消耗情况，不便于后续对应用的针对性优化的技术问题。

本发明第一方面提供的一种数据应用性能分析方法，应用于云平台内的指标分析组件，所述云平台内运行有多个数据应用分别对应的多个应用副本，所述应用副本包括多个逻辑组件，所述方法包括：

轮询各个所述应用副本对应的元信息；

根据对所述元信息的轮询结果从多个所述应用副本中确定目标应用副本；

发送性能指标获取请求至所述目标应用副本；

当接收到所述目标应用副本返回的性能指标数据时，对所述性能指标数据进行聚类，生成各个所述逻辑组件对应的目标聚类簇；

分别计算各个所述目标聚类簇对应的聚类特征，根据所述聚类特征生成所述目标应用副本所属数据应用的应用性能消耗结果。

可选地，在所述轮询各个所述应用副本对应的元信息的步骤之前，所述方法还包括：

当接收到任一所述数据应用发送的应用提交请求时，获取所述数据应用的运行提交参数；

读取所述运行提交参数；

若所述运行提交参数内包括性能指标分析任务标识，则在所述数据应用对应的元信息中增加数据筛选标签；

若所述运行提交参数内不包括所述性能指标分析任务标识，则保留所述数据应用对应的元信息。

可选地，所述根据对所述元信息的轮询结果从多个所述应用副本中确定目标应用副本的步骤，包括：

判断所述元信息中是否包括所述数据筛选标签；

若是，则将所述元信息所对应的应用副本确定为目标应用副本；

若否，则跳转执行所述判断所述元信息中是否包括所述数据筛选标签的步骤，直至达到预设的查询终止次数。

可选地，所述应用副本还包括指标收集组件，所述逻辑组件包括数据收集组件；所述当接收到所述目标应用副本返回的性能指标数据时，对所述性能指标数据进行聚类，生成各个所述逻辑组件对应的目标聚类簇的步骤，包括：

当接收到所述指标收集组件响应所述性能指标获取请求返回的性能指标数据时，存储所述性能指标数据至预设的时间序列数据库；

根据所述性能指标数据所携带的跟踪信息，确定所述性能指标数据与所述逻辑组件之间的关联关系；

按照所述关联关系对所述性能指标数据进行聚类，生成各个所述逻辑组件对应的目标聚类簇；

其中，所述数据收集组件，用于获取所述逻辑组件从运行开始时刻至运行结束时刻的资源消耗数据；所述指标收集组件，用于收集各个所述资源消耗数据，并在所述资源消耗数据中添加预设的跟踪信息，生成与各个逻辑组件对应的性能指标数据。

可选地，所述跟踪信息包括副本归属信息以及时间信息；所述根据所述性能指标数据所携带的跟踪信息，确定所述性能指标数据与所述逻辑组件之间的关联关系的步骤，包括：

依据所述副本归属信息搜寻所述性能指标数据对应的目标应用副本；

获取所述目标应用副本所包含的逻辑组件；

依据所述时间信息对所述目标应用副本所包含的逻辑组件进行排序，确定每个所述性能指标数据与所述逻辑组件之间的关联关系。

可选地，所述聚类特征包括多种聚类子特征；所述分别计算各个所述目标聚类簇对应的聚类特征，根据所述聚类特征生成所述目标应用副本所属数据应用的应用性能消耗结果的步骤，包括：

采用各个目标聚类簇内的性能指标数据，分别计算各个所述目标聚类簇所属逻辑组件对应的多种聚类子特征；

按照所述聚类子特征的类型对所述逻辑组件进行排序并连接，得到初始组件调用链；

计算各所述初始逻辑组件调用链内的聚类子特征之间的特征比例，构建特征比例序列；

按照各个所述特征比例序列分别对所述初始组件调用链内的逻辑组件长度进行调整，生成多条目标逻辑组件调用链；

将全部所述目标逻辑组件调用链确定为所述目标应用副本所属数据应用的应用性能消耗结果。

可选地，所述方法还包括：

计算所述特征比例序列两两之间的序列差值；

将所述序列差值大于预设序列阈值的逻辑组件确定为待优化逻辑组件；

获取所述待优化逻辑组件对应的功能需求数据类型和输入数据类型；

匹配所述功能需求数据类型和所述输入数据类型，根据匹配结果确定所述待优化逻辑组件的优化方案。

可选地，所述输入数据类型包括多种输入数据子类型；所述匹配所述功能需求数据类型和所述输入数据类型，根据匹配结果确定所述待优化逻辑组件的优化方案的步骤，包括：

匹配所述功能需求数据类型和多种所述输入数据子类型；

若所述功能需求数据类型和任一所述输入数据子类型匹配失败，则将所述输入数据子类型确定为所述待优化逻辑组件的禁止处理数据类型；

若所述功能需求数据类型和全部所述输入数据子类型匹配成功，则检测所述待优化逻辑组件中是否存在调用模型；

若检测到所述调用模型，则采用所述输入数据子类型所对应的输入数据对所述调用模型进行训练。

本发明第二方面提供了一种数据应用性能分析装置，应用于云平台内的指标分析组件，所述云平台内运行有多个数据应用分别对应的多个应用副本，所述应用副本包括多个逻辑组件，所述装置包括：

元信息轮询模块，用于轮询各个所述应用副本对应的元信息；

目标应用副本确定模块，用于根据对所述元信息的轮询结果从多个所述应用副本中确定目标应用副本；

请求发送模块，用于发送性能指标获取请求至所述目标应用副本；

性能指标聚类模块，用于当接收到所述目标应用副本返回的性能指标数据时，对所述性能指标数据进行聚类，生成各个所述逻辑组件对应的目标聚类簇；

聚类分析模块，用于分别计算各个所述目标聚类簇对应的聚类特征，根据所述聚类特征生成所述目标应用副本所属数据应用的应用性能消耗结果。

本发明第三方面提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如本发明第一方面任一项所述的数据应用性能分析方法的步骤。

本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面任一项所述的数据应用性能分析方法。

从以上技术方案可以看出，本发明具有以下优点：

当数据应用提交到云平台以多个应用副本的形式运行后，云平台通过轮询各个应用副本对应的元信息，根据轮询结果从多个应用副本中确定目标应用副本，再发送性能指标获取请求至目标应用副本，以实现对目标应用副本的访问；当接收到目标应用副本返回的性能指标数据后，按照性能指标数据所携带的跟踪信息确定所属的目标应用副本以及逻辑组件，以此为标准对性能指标数据进行聚类，生成各个逻辑组件对应的目标聚类簇；最后分别计算各个目标聚类簇对应的聚类特征，得到各个逻辑组件在不同的性能指标评判标准下的逻辑组件长度，再依次连接各个逻辑组件生成目标应用副本所属数据应用的应用性能消耗结果。解决现有的性能分析方法通常是对单一应用副本的性能指标进行应用运行环境的性能消耗分析，无法准确得知应用内部各个逻辑组件的性能消耗情况，不便于后续对应用的针对性优化的技术问题，能够通过获取各个应用副本内逻辑组件的性能指标数据，综合分析应用副本在处理不同数据下的逻辑组件性能消耗情况，从而更为针对性地对数据应用进行后续优化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一提供的一种数据应用性能分析方法的步骤流程图；

图2为本发明实施例二提供的一种数据应用性能分析方法的步骤流程图；

图3为本发明实施例中部分目标逻辑组件调用链的结构框图；

图4为本发明实施例三提供的一种数据应用性能分析装置的结构框图。

具体实施方式

本发明实施例提供了一种数据应用性能分析方法、装置、设备和介质，用于解决现有的性能分析方法通常是对单一应用副本的性能指标进行应用运行环境的性能消耗分析，无法准确得知应用内部各个逻辑组件的性能消耗情况，不便于后续对应用的针对性优化的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例一提供的一种数据应用性能分析方法的步骤流程图。

本发明提供的一种数据应用性能分析方法，应用于云平台内的指标分析组件，云平台内运行有多个数据应用分别对应的多个应用副本，应用副本包括多个逻辑组件，方法包括以下步骤：

步骤101，轮询各个应用副本对应的元信息；

元信息指的是对该应用副本接收、处理和输出等信息进行描述的信息，包括但不限于对应用副本是否进行性能指标分析的标签、应用副本的全局唯一 ID等。

数据应用指的是采用大数据应用技术实现的大数据应用程序，通常通过多个逻辑组件组成。可以包括但不限于通过API、智能感知、挖掘建模等大数据技术所构建的应用程序，技术发展涉及机器学习、多学科融合、大规模应用开源技术等领域。其在云平台上运行时能够复制为多个应用副本，每个应用副本分别表示数据应用的运行态，每个运行态的输入都是独立的，在获取到各个应用副本的输出时，将各个输出组合作为数据应用的完整输出。

在本发明实施例中，用户能够在本地客户端进行数据应用的构建后，将其提交到云平台，而数据应用在云平台上运行时，能够在云平台上复制多个应用副本，其中每个应用副本均复制有与数据应用相同的多个逻辑组件，以实现在大数据环境下的不同数据并行处理。而在各个应用副本运行时，为筛选需要进行性能指标分析的应用副本，云平台通过轮询各个应用副本所对应的元信息，即按照预定时间间隔查询各个应用副本对应的元信息，以确定需要进一步访问的应用副本。

步骤102，根据对元信息的轮询结果从多个应用副本中确定目标应用副本；

在本发明实施例中，由于云平台上同一时间可能同时运行有多个数据应用，每个数据应用可能有多个应用副本，而所需要的可能仅是某一应用副本中对特定数据处理的应用副本。因此，在云平台轮询每个元信息后，基于轮询结果判断各个应用副本中是否存在数据筛选标签，若是存在数据筛选标签，则表明该应用副本属于待分析的应用副本，此时可以将该应用副本确定为目标应用副本。

需要说明的是，若是应用副本的元信息中并不存在数据筛选标签，则表明该应用副本不属于需求的数据应用，或是未需要对处理该类型数据的应用副本进行性能指标的分析，此时对该类应用副本不做处理。

步骤103，发送性能指标获取请求至目标应用副本；

步骤104，当接收到目标应用副本返回的性能指标数据时，对性能指标数据进行聚类，生成各个逻辑组件对应的目标聚类簇；

性能指标数据指的是衡量目标应用副本处理各种类型的输入数据的指标数据，例如响应时间、吞吐量、资源利用率和数据处理耗时等，其中目标应用副本的数量可以为一个或多个。

目标聚类簇指的是以逻辑组件为聚类类别，对性能指标数据聚类得到的多个数据序列。

在本发明实施例中，云平台在确定目标应用副本后，为从目标应用副本获取到对应的性能指标数据，可以构建性能指标获取请求并发送至目标应用副本，以访问目标应用副本的特定端口。当目标应用副本接收到该性能指标获取请求后，可以通过该特定端口返回收集到的性能指标数据至云平台。当云平台接收到返回的性能指标数据后，可以按照性能指标数据所携带的跟踪信息对其进行聚类，生成各个逻辑组件分别对应的目标聚类簇。

步骤105，分别计算各个目标聚类簇对应的聚类特征，根据聚类特征生成目标应用副本所属数据应用的应用性能消耗结果。

在具体实现中，各个目标聚类簇内分别存有某一逻辑组件在处理各种输入数据时的性能指标数据，为确定逻辑组件的优化方向以及由逻辑组件所组成的数据应用的应用性能消耗结果。在获取到各个逻辑组件对应的目标聚类簇后，可以按照用户预先设置的特征类别，分别计算各个目标聚类簇对应的聚类特征，再按照逻辑组件之间的关联顺序，以聚类特征的形式生成目标应用副本所属数据应用的应用性能消耗结果并显示。

需要说明的是，数据应用的性能指标区别于服务的性能指标，对发生的时间不敏感，因此在生成应用性能消耗结果时，可以抹去实际处理的时间，按照聚类特征之间的特征比例序列以不同的逻辑组件长度进行链式展示。

在本发明实施例中，当数据应用提交到云平台以多个应用副本的形式运行后，云平台通过轮询各个应用副本对应的元信息，根据轮询结果从多个应用副本中确定目标应用副本，再发送性能指标获取请求至目标应用副本，以实现对目标应用副本的访问；当接收到目标应用副本返回的性能指标数据后，按照性能指标数据所携带的跟踪信息确定所属的目标应用副本以及逻辑组件，以此为标准对性能指标数据进行聚类，生成各个逻辑组件对应的目标聚类簇；最后分别计算各个目标聚类簇对应的聚类特征，得到各个逻辑组件在不同的性能指标评判标准下的逻辑组件长度，再依次连接各个逻辑组件生成目标应用副本所属数据应用的应用性能消耗结果。解决现有的性能分析方法通常是对单一应用副本的性能指标进行应用运行环境的性能消耗分析，无法准确得知应用内部各个逻辑组件的性能消耗情况，不便于后续对应用的针对性优化的技术问题，能够通过获取各个应用副本内逻辑组件的性能指标数据，综合分析应用副本在处理不同数据下的逻辑组件性能消耗情况，从而更为针对性地对数据应用进行后续优化。

请参阅图2，图2为本发明实施例二提供的一种数据应用性能分析方法的步骤流程图。

本发明提供的一种数据应用性能分析方法，应用于云平台内的指标分析组件，云平台内运行有多个数据应用分别对应的多个应用副本，应用副本包括多个逻辑组件，应用副本还包括指标收集组件，逻辑组件包括数据收集组件，方法包括以下步骤：

步骤201，轮询各个应用副本对应的元信息；

元信息指的是对该应用副本接收、处理和输出等信息进行描述的信息，包括但不限于对应用副本是否进行性能指标分析的标签、应用副本的全局唯一 ID等。

数据应用指的是采用大数据应用技术实现的大数据应用程序，通常通过多个逻辑组件组成。可以包括但不限于通过API、智能感知、挖掘建模等大数据技术所构建的应用程序，技术发展涉及机器学习、多学科融合、大规模应用开源技术等领域。其在云平台上运行时能够复制为多个应用副本，每个应用副本分别表示数据应用的运行态，每个运行态的输入都是独立的，在获取到各个应用副本的输出时，将各个输出组合作为数据应用的完整输出。

在本发明实施例中，用户能够在本地客户端进行数据应用的构建后，将其提交到云平台，而数据应用在云平台上运行时，能够在云平台上复制多个应用副本，其中每个应用副本均复制有与数据应用相同的多个逻辑组件，以实现在大数据环境下的不同数据并行处理。而在各个应用副本运行时，为筛选需要进行性能指标分析的应用副本，云平台通过轮询各个应用副本所对应的元信息，即按照预定时间间隔查询各个应用副本对应的元信息，以确定需要进一步访问的应用副本。

可选地，在执行步骤201之前，本方法还可以包括以下子步骤S11-S14：

S11、当接收到任一数据应用发送的应用提交请求时，获取数据应用的运行提交参数；

S12、读取运行提交参数；

S13、若运行提交参数内包括性能指标分析任务标识，则在数据应用对应的元信息中增加数据筛选标签；

S14、若运行提交参数内不包括性能指标分析任务标识，则保留数据应用对应的元信息。

运行提交参数指的是该数据应用在云平台上运行所设置的运行必须参数，其中包括提供勾选选项的性能指标分析任务标识以及其他运行参数。

在本发明实施例中，在云平台的指标分析组件执行对元信息的轮询之前，若是云平台接收到了任一数据应用发送的应用提交请求，则可以获取该数据应用的运行提交参数，通过读取该运行提交参数，判断其中是否包括有性能分析任务标识；若包括性能指标分析任务标识，则可以在数据应用对应的元信息中增加数据筛选标签，以便后续快速筛选得到需要收集性能指标数据的应用副本；若是不包括性能指标分析任务标识，则保留原始的元信息。

值得一提的是，在数据应用提交到云平台后，在云平台所运行的各个应用副本均复制有数据应用对应的元信息以及逻辑组件等。其中，数据筛选标签可以为全局唯一ID，以此区分其他数据应用。

需要说明的是，在提交数据应用之前，可以在数据应用内的各个逻辑组件安装数据收集组件，用于在启用逻辑组件和逻辑组件运行结束时分别记录该模块的资源消耗情况并计算差值，以生成与该逻辑组件对应的性能指标数据。

步骤202，根据对元信息的轮询结果从多个应用副本中确定目标应用副本；

可选地，步骤202可以包括以下子步骤：

判断元信息中是否包括数据筛选标签；

若是，则将元信息所对应的应用副本确定为目标应用副本；

若否，则跳转执行判断元信息中是否包括数据筛选标签的步骤，直至达到预设的查询终止次数。

在本发明的一个示例中，在云平台的指标分析组件轮询各个元信息的过程中，若是查询到的元信息中包括有数据筛选标签，则将该源信息所对应的应用副本确定为目标应用副本，以得到后续性能指标数据的获取对象；若是元信息中不包括有数据筛选标签，则表明当前的应用副本并不是需要进行性能指标分析的应用副本，此时可以继续轮询各个元信息，判断元信息中是否包括数据筛选标签，直至轮询次数达到预设的查询终止次数。

在本发明的另一个示例中，云平台上可以同时运行有多个数据应用的应用副本，而每个数据应用可能设有唯一的数据筛选标签。因此在元信息的轮询过程中，若是元信息中包括有数据筛选标签，可以进一步检测该数据筛选标签是否与当前需要性能指标分析的数据应用的数据筛选标签相同，若是不相同，则继续轮询，若是相同则将该元信息所对应的应用副本确定为目标应用副本。

步骤203，发送性能指标获取请求至目标应用副本；

在本发明实施例中，云平台的指标分析组件在确定目标应用副本后，为从目标应用副本获取到对应的性能指标数据，可以构建性能指标获取请求并发送至目标应用副本，以访问目标应用副本的特定端口。

步骤204，当接收到指标收集组件响应性能指标获取请求返回的性能指标数据时，存储性能指标数据至预设的时间序列数据库；

其中，所述数据收集组件，用于获取所述逻辑组件从运行开始时刻至运行结束时刻的资源消耗数据；所述指标收集组件，用于收集各个所述资源消耗数据，并在所述资源消耗数据中添加预设的跟踪信息，生成与各个逻辑组件对应的性能指标数据；

性能指标数据指的是衡量目标应用副本处理各种类型的输入数据的指标数据，例如响应时间、吞吐量、资源利用率和数据处理耗时等，其中目标应用副本的数量可以为一个或多个。

时间序列数据库指的是按照时间顺序存储获取到的各个性能指标数据的数据库。

在本发明实施例中，目标应用副本内的指标收集组件实时获取由各个逻辑组件内的数据收集组件所收集的资源消耗数据，并附加上跟踪信息生成性能指标数据。同时，指标收集组件还实时监听是否接收到性能指标获取请求，若是接收到该性能指标获取请求，则返回该性能指标数据至云平台的指标分析组件，以提供该应用副本的性能指标数据。当指标分析组件接收到性能指标数据后，由于云平台的大数据应用副本运行可能会产生海量的性能指标数据，为避免云平台的处理负荷过大，可以按照接收到的时间将性能指标数据存储至预设的时间序列数据库。

步骤205，根据性能指标数据所携带的跟踪信息，确定性能指标数据与逻辑组件之间的关联关系；

可选地，跟踪信息包括副本归属信息以及时间信息；步骤205可以包括以下子步骤：

依据副本归属信息搜寻性能指标数据对应的目标应用副本；

获取目标应用副本所包含的逻辑组件；

依据时间信息对目标应用副本所包含的逻辑组件进行排序，确定每个性能指标数据与逻辑组件之间的关联关系。

在本发明实施例中的跟踪信息指的是包括副本归属信息和时间信息的信息集合，其中副本归属信息为通过指标收集组件在获取到应用副本内各个数据收集组件所提供的性能指标数据后的副本标识，时间信息指的是各个数据收集组件所记录的运行开始时刻或运行结束时刻的时间戳信息，用于确定各个逻辑组件之间的运行顺序。

在具体实现中，指标分析组件在获取到性能指标数据后，由于大数据应用对应的应用副本存在的个数较多，指标分析组件在同一时间所接收到的性能指标数据也是海量的。为确定性能指标数据的来源，指标分析组件可以根据性能指标数据所携带的跟踪信息，从中以副本归属信息记载的应用副本为目标进行搜寻，从而确定性能指标数据所对应的目标应用副本。在确定目标应用副本后，由于逻辑组件之间的数据处理是按照时间顺序的，此时为确定目标应用副本内的逻辑组件连接顺序，可以按照跟踪信息内的时间信息对从目标应用副本获取到的逻辑组件，按照性能指标数据在各个逻辑组件的处理开始时间或处理结束时间对各个逻辑组件进行排序，以确定性能指标数据与各个逻辑组件之间的关联关系。

例如，在指标分析组件获取到X个性能指标数据后，基于性能指标数据所携带的副本归属信息，确定X个性能指标数据中的Y个性能指标数据属于目标应用副本Q，目标应用副本Q中包括Y个逻辑组件，再依据所携带的时间信息，匹配Y个性能指标数据和Y个逻辑组件，从而确定性能数据与逻辑组件之间的关联关系。

步骤206，按照关联关系对性能指标数据进行聚类，生成各个逻辑组件对应的目标聚类簇；

目标聚类簇指的是以逻辑组件为聚类类别，对性能指标数据聚类得到的多个数据序列。

在大数据处理的应用环境中，各个应用副本所处理的输入数据可能会有较大的不同，而应用副本本身的逻辑组件是固定结构，在不同的输入数据下可能会出现处理效率上的差别。为针对性对逻辑组件进行优化，在确定性能指标数据和逻辑组件之间的关联关系后，可以按照关联关系以各个逻辑组件为聚类类别，对性能指标数据进行聚类，以得到由同一数据应用的不同应用副本内各个逻辑组件在数据处理过程中的性能指标数据所组成的目标聚类簇，从而提供后续对各个逻辑组件的性能指标分析的数据基础。

步骤207，分别计算各个目标聚类簇对应的聚类特征，根据聚类特征生成目标应用副本所属数据应用的应用性能消耗结果。

可选地，聚类特征包括多种聚类子特征，步骤207可以包括以下子步骤 S21-S25：

S21、采用各个目标聚类簇内的性能指标数据，分别计算各个目标聚类簇所属逻辑组件对应的多种聚类子特征；

S22、按照聚类子特征的类型对逻辑组件进行排序并连接，得到初始组件调用链；

S23、计算各初始逻辑组件调用链内的聚类子特征之间的特征比例，构建特征比例序列；

S24、按照各个特征比例序列分别对初始组件调用链内的逻辑组件长度进行调整，生成多条目标逻辑组件调用链；

S25、将全部目标逻辑组件调用链确定为目标应用副本所属数据应用的应用性能消耗结果。

本发明实施例中的聚类特征指的是以目标聚类簇内的性能指标数据为数据基础所计算的数学特征，其中包括多种聚类子特征，例如分位值、平均值、中位值、最大值和最小值等，其中，对于最大值和最小值，可以附带当时处理的数据信息，以供后期优化逻辑组件的数据参照。

在本发明的一个示例中，在获取到目标聚类簇后，也就获取到各个逻辑组件所对应的性能指标数据，此时可以采用各个目标聚类簇内的性能指标数据作为数据输入，分别计算各个目标聚类簇所属逻辑组件对应的多种聚类子特征。再按照聚类子特征的类型分别对各个逻辑组件进行排序并连接，以得到初始组件调用链；同时为更为直观地得知各个逻辑组件之间的性能指标消耗情况，可以计算初始逻辑组件调用链内的聚类子特征之间的特征比例序列，按照特征比例序列分别调整各条初始逻辑组件调用链内的逻辑组件长度，得到多条目标逻辑组件调用链；在得到全部目标逻辑组件调用链后，将其确定为目标应用副本所属的数据应用的应用性能消耗结果并输出。

如图3所示，图3示出了本发明实施例中部分目标逻辑组件调用链的结构框图。

在本发明实施例中，性能指标数据为数据处理的耗时值，目标逻辑组件调用链对应的聚类子特征分别为耗时平均值、耗时P95分位值和耗时最大值。该目标逻辑组件调用链所对应的数据应用包括有ABCD四个逻辑组件，在计算耗时最大值时，逻辑组件A所处理的数据为bag2，逻辑组件B和C所处理的数据为bag6，逻辑组件D所处理的数据为bag8。

进一步，方法还可以包括以下子步骤S31-S34：

S31、计算特征比例序列两两之间的序列差值；

S32、将序列差值大于预设序列阈值的逻辑组件确定为待优化逻辑组件；

在本发明实施例中，在获取到性能消耗结果后，可以响应用户的需求，获取性能消耗结果内的各条目标逻辑组件调用链对应的特征比例序列，计算各个特征比例序列两两之间的序列差值，以确定各个逻辑组件之间的差值，若是序列差值大于预设的序列阈值，则可以将其对应的逻辑组件确定为待优化逻辑组件。

如图3所示，其中各条目标逻辑组件调用链对应的特征比例序列分别为 A:B:C:D＝[3:2:1:4]、[3:2:1.5:4]、[3:2:4:4]，序列阈值设置为2。

分别计算两两序列之间的序列差值，可见逻辑组件C的特征比例相对其他逻辑组件的变化值大于了预设的序列阈值2。因此，在耗时平均值和耗时 P95分位值的角度上，逻辑组件之间的性能并未有较大的差别。但从耗时最大值的角度上，逻辑组件C的特征比例出现了较大的变化，也就是说在对特定数据包bag6的处理上存在优化空间。后续可以针对数据包bag6对逻辑组件C 的数据处理逻辑或模型参数进行进一步优化。

S33、获取待优化逻辑组件对应的功能需求数据类型和输入数据类型；

在本发明实施例中，在确定待优化逻辑组件后，为实现对逻辑组件的针对性优化，可以先获取待优化逻辑组件所处理数据的输入数据类型，以及待优化逻辑组件对应的功能需求数据类型，等待后续进行功能需求数据类型和输入数据类型的匹配。

需要说明的是，功能需求数据类型指的是实现待优化逻辑组件的功能所需要的数据类型，或者说经过待优化逻辑组件内的数据处理能够得到具有物理意义的数据类型。输入数据类型指的是输入数据对应的数据类型。

S34、匹配功能需求数据类型和输入数据类型，根据匹配结果确定待优化逻辑组件的优化方案。

可选地，输入数据类型包括多种输入数据子类型，步骤S34可以包括以下子步骤：

匹配功能需求数据类型和多种输入数据子类型；

若功能需求数据类型和任一输入数据子类型匹配失败，则将输入数据子类型确定为待优化逻辑组件的禁止处理数据类型；

若功能需求数据类型和全部输入数据子类型匹配成功，则检测待优化逻辑组件中是否存在调用模型；

若检测到调用模型，则采用输入数据子类型所对应的输入数据对调用模型进行训练。

在本发明的一个示例中，输入数据类型可以包括多种输入数据子类型，通过匹配功能需求数据类型和多种输入数据子类型，若是功能需求数据类型和任一输入数据子类型匹配失败，则表明该输入数据子类型在待优化逻辑组件中的数据处理操作，并没有实际的物理意义，此时可以将该匹配失败的输入数据子类型确定为该待优化逻辑组件的禁止处理数据类型，以实现对待优化逻辑组件的针对性优化。例如参照图3，发现组件C对bag6这种数据处理效率很低，进一步检查bag6这个数据，可以得知这是一个源于顶面摄像头，对天空的数据，而组件C是一个估计距离的模块。针对性的优化方案就是组件C 可以直接不处理顶面摄像头的数据。

若是模块需求数据类型和全部输入数据子类型均匹配成功，则表明当前的全部输入数据子类型均可以实现该待优化逻辑组件内的功能，而待优化逻辑组件对该输入数据子类型的处理效率有待提高，输入数据子类型对应的输入数据所含的数据量较高。此时可以进一步检测待优化逻辑组件中是否存在调用模型，若是检测到其中存在调用模型，则可以采用输入数据子类型所对应的输入数据作为训练集，进一步对调用模型进行训练，以实现对待优化逻辑组件的针对性优化。

在本发明的另一个示例中，若是待优化逻辑组件中不存在调用模型，表明待优化逻辑组件仅是逻辑规律上的运算，此时可以进一步对逻辑规律进行进一步优化调整，实现对待优化逻辑组件的针对性优化。

在本发明实施例中，当数据应用提交到云平台以多个应用副本的形式运行后，云平台通过轮询各个应用副本对应的元信息，根据轮询结果从多个应用副本中确定目标应用副本，再发送性能指标获取请求至目标应用副本，以实现对目标应用副本的访问；当接收到目标应用副本返回的性能指标数据后，按照性能指标数据所携带的跟踪信息确定所属的目标应用副本以及逻辑组件，以此为标准对性能指标数据进行聚类，生成各个逻辑组件对应的目标聚类簇；最后分别计算各个目标聚类簇对应的聚类特征，得到各个逻辑组件在不同的性能指标评判标准下的逻辑组件长度，再依次连接各个逻辑组件生成目标应用副本所属数据应用的应用性能消耗结果。解决现有的性能分析方法通常是对单一应用副本的性能指标进行应用运行环境的性能消耗分析，无法准确得知应用内部各个逻辑组件的性能消耗情况，不便于后续对应用的针对性优化的技术问题，能够通过获取各个应用副本内逻辑组件的性能指标数据，综合分析应用副本在处理不同数据下的逻辑组件性能消耗情况，从而更为针对性地对数据应用进行后续优化。

请参阅图4，图4为本发明实施例三提供的一种数据应用性能分析装置的结构框图。

本发明实施例提供了一种数据应用性能分析装置，应用于云平台内的指标分析组件，云平台内运行有多个数据应用分别对应的多个应用副本，应用副本包括多个逻辑组件，装置包括：

元信息轮询模块301，用于轮询各个应用副本对应的元信息；

目标应用副本确定模块302，用于根据对元信息的轮询结果从多个应用副本中确定目标应用副本；

请求发送模块303，用于发送性能指标获取请求至目标应用副本；

性能指标聚类模块304，用于当接收到目标应用副本返回的性能指标数据时，对性能指标数据进行聚类，生成各个逻辑组件对应的目标聚类簇；

聚类分析模块305，用于分别计算各个目标聚类簇对应的聚类特征，根据聚类特征生成目标应用副本所属数据应用的应用性能消耗结果。

可选地，装置还包括：

运行提交参数获取模块，用于当接收到任一数据应用发送的应用提交请求时，获取数据应用的运行提交参数；

运行提交参数读取模块，用于读取运行提交参数；

数据筛选标签增加模块，用于若运行提交参数内包括性能指标分析任务标识，则在数据应用对应的元信息中增加数据筛选标签；

元信息保留模块，用于若运行提交参数内不包括性能指标分析任务标识，则保留数据应用对应的元信息。

可选地，目标应用副本确定模块302包括：

标签判断子模块，用于判断元信息中是否包括数据筛选标签；

目标应用副本确定子模块，用于若是，则将元信息所对应的应用副本确定为目标应用副本；

循环跳转子模块，用于若否，则跳转执行判断元信息中是否包括数据筛选标签的步骤，直至达到预设的查询终止次数。

可选地，应用副本还包括指标收集组件，逻辑组件包括数据收集组件；性能指标聚类模块304包括：

数据存储子模块，用于当接收到指标收集组件响应性能指标获取请求返回的性能指标数据时，存储性能指标数据至预设的时间序列数据库；

关联关系确定子模块，用于根据性能指标数据所携带的跟踪信息，确定性能指标数据与逻辑组件之间的关联关系；

数据聚类子模块，用于按照关联关系对性能指标数据进行聚类，生成各个逻辑组件对应的目标聚类簇；

其中，所述数据收集组件，用于获取所述逻辑组件从运行开始时刻至运行结束时刻的资源消耗数据；所述指标收集组件，用于收集各个所述资源消耗数据，并在所述资源消耗数据中添加预设的跟踪信息，生成与各个逻辑组件对应的性能指标数据。

可选地，关联关系确定子模块具体用于：

依据副本归属信息搜寻性能指标数据对应的目标应用副本；

获取目标应用副本所包含的逻辑组件；

依据时间信息对目标应用副本所包含的逻辑组件进行排序，确定每个性能指标数据与逻辑组件之间的关联关系。

可选地，聚类特征包括多种聚类子特征；聚类分析模块305包括：

聚类子特征计算子模块，用于采用各个目标聚类簇内的性能指标数据，分别计算各个目标聚类簇所属逻辑组件对应的多种聚类子特征；

初始组件调用链生成子模块，用于按照聚类子特征的类型对逻辑组件进行排序并连接，得到初始组件调用链；

特征比例序列生成子模块，用于计算各初始逻辑组件调用链内的聚类子特征之间的特征比例，构建特征比例序列；

长度调整子模块，用于按照各个特征比例序列分别对初始组件调用链内的逻辑组件长度进行调整，生成多条目标逻辑组件调用链；

性能消耗结果生成子模块，用于将全部目标逻辑组件调用链确定为目标应用副本所属数据应用的应用性能消耗结果。

可选地，装置还包括：

序列差值计算模块，用于计算特征比例序列两两之间的序列差值；

待优化逻辑组件确定模块，用于将序列差值大于预设序列阈值的逻辑组件确定为待优化逻辑组件；

组件处理类型获取模块，用于获取待优化逻辑组件对应的功能需求数据类型和输入数据类型；

类型匹配模块，用于匹配功能需求数据类型和输入数据类型，根据匹配结果确定待优化逻辑组件的优化方案。

可选地，输入数据类型包括多种输入数据子类型；类型匹配模块包括：

类型匹配子模块，用于匹配功能需求数据类型和多种输入数据子类型；

匹配失败判定子模块，用于若功能需求数据类型和任一输入数据子类型匹配失败，则将输入数据子类型确定为待优化逻辑组件的禁止处理数据类型；

匹配成功判定子模块，用于若功能需求数据类型和全部输入数据子类型匹配成功，则检测待优化逻辑组件中是否存在调用模型；

模型训练子模块，用于若检测到调用模型，则采用输入数据子类型所对应的输入数据对调用模型进行训练。

本发明实施例提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如本发明任一实施例任一项所述的数据应用性能分析方法的步骤。

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明任一实施例所述的数据应用性能分析方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种数据应用性能分析方法，其特征在于，应用于云平台内的指标分析组件，所述云平台内运行有多个数据应用分别对应的多个应用副本，所述应用副本包括多个逻辑组件，所述方法包括：

轮询各个所述应用副本对应的元信息；

根据对所述元信息的轮询结果从多个所述应用副本中确定目标应用副本；

发送性能指标获取请求至所述目标应用副本；

当接收到所述目标应用副本返回的性能指标数据时，对所述性能指标数据进行聚类，生成各个所述逻辑组件对应的目标聚类簇；

分别计算各个所述目标聚类簇对应的聚类特征，根据所述聚类特征生成所述目标应用副本所属数据应用的应用性能消耗结果。

2.根据权利要求1所述的方法，其特征在于，在所述轮询各个所述应用副本对应的元信息的步骤之前，所述方法还包括：

当接收到任一所述数据应用发送的应用提交请求时，获取所述数据应用的运行提交参数；

读取所述运行提交参数；

若所述运行提交参数内包括性能指标分析任务标识，则在所述数据应用对应的元信息中增加数据筛选标签；

若所述运行提交参数内不包括所述性能指标分析任务标识，则保留所述数据应用对应的元信息。

3.根据权利要求2所述的方法，其特征在于，所述根据对所述元信息的轮询结果从多个所述应用副本中确定目标应用副本的步骤，包括：

判断所述元信息中是否包括所述数据筛选标签；

若是，则将所述元信息所对应的应用副本确定为目标应用副本；

若否，则跳转执行所述判断所述元信息中是否包括所述数据筛选标签的步骤，直至达到预设的查询终止次数。

4.根据权利要求1所述的方法，其特征在于，所述应用副本还包括指标收集组件，所述逻辑组件包括数据收集组件；所述当接收到所述目标应用副本返回的性能指标数据时，对所述性能指标数据进行聚类，生成各个所述逻辑组件对应的目标聚类簇的步骤，包括：

当接收到所述指标收集组件响应所述性能指标获取请求返回的性能指标数据时，存储所述性能指标数据至预设的时间序列数据库；

根据所述性能指标数据所携带的跟踪信息，确定所述性能指标数据与所述逻辑组件之间的关联关系；

按照所述关联关系对所述性能指标数据进行聚类，生成各个所述逻辑组件对应的目标聚类簇；

其中，所述数据收集组件，用于获取所述逻辑组件从运行开始时刻至运行结束时刻的资源消耗数据；所述指标收集组件，用于收集各个所述资源消耗数据，并在所述资源消耗数据中添加预设的跟踪信息，生成与各个逻辑组件对应的性能指标数据。

5.根据权利要求4所述的方法，其特征在于，所述跟踪信息包括副本归属信息以及时间信息；所述根据所述性能指标数据所携带的跟踪信息，确定所述性能指标数据与所述逻辑组件之间的关联关系的步骤，包括：

依据所述副本归属信息搜寻所述性能指标数据对应的目标应用副本；

获取所述目标应用副本所包含的逻辑组件；

依据所述时间信息对所述目标应用副本所包含的逻辑组件进行排序，确定每个所述性能指标数据与所述逻辑组件之间的关联关系。

6.根据权利要求1所述的方法，其特征在于，所述聚类特征包括多种聚类子特征；所述分别计算各个所述目标聚类簇对应的聚类特征，根据所述聚类特征生成所述目标应用副本所属数据应用的应用性能消耗结果的步骤，包括：

采用各个目标聚类簇内的性能指标数据，分别计算各个所述目标聚类簇所属逻辑组件对应的多种聚类子特征；

按照所述聚类子特征的类型对所述逻辑组件进行排序并连接，得到初始组件调用链；

计算各所述初始组件调用链内的聚类子特征之间的特征比例，构建特征比例序列；

按照各个所述特征比例序列分别对所述初始组件调用链内的逻辑组件长度进行调整，生成多条目标逻辑组件调用链；

将全部所述目标逻辑组件调用链确定为所述目标应用副本所属数据应用的应用性能消耗结果。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

计算所述特征比例序列两两之间的序列差值；

将所述序列差值大于预设序列阈值的逻辑组件确定为待优化逻辑组件；

获取所述待优化逻辑组件对应的功能需求数据类型和输入数据类型；

匹配所述功能需求数据类型和所述输入数据类型，根据匹配结果确定所述待优化逻辑组件的优化方案。

8.根据权利要求7所述的方法，其特征在于，所述输入数据类型包括多种输入数据子类型；所述匹配所述功能需求数据类型和所述输入数据类型，根据匹配结果确定所述待优化逻辑组件的优化方案的步骤，包括：

匹配所述功能需求数据类型和多种所述输入数据子类型；

若所述功能需求数据类型和任一所述输入数据子类型匹配失败，则将所述输入数据子类型确定为所述待优化逻辑组件的禁止处理数据类型；

若所述功能需求数据类型和全部所述输入数据子类型匹配成功，则检测所述待优化逻辑组件中是否存在调用模型；

若检测到所述调用模型，则采用所述输入数据子类型所对应的输入数据对所述调用模型进行训练。

9.一种数据应用性能分析装置，其特征在于，应用于云平台内的指标分析组件，所述云平台内运行有多个数据应用分别对应的多个应用副本，所述应用副本包括多个逻辑组件，所述装置包括：

元信息轮询模块，用于轮询各个所述应用副本对应的元信息；

目标应用副本确定模块，用于根据对所述元信息的轮询结果从多个所述应用副本中确定目标应用副本；

请求发送模块，用于发送性能指标获取请求至所述目标应用副本；

性能指标聚类模块，用于当接收到所述目标应用副本返回的性能指标数据时，对所述性能指标数据进行聚类，生成各个所述逻辑组件对应的目标聚类簇；

聚类分析模块，用于分别计算各个所述目标聚类簇对应的聚类特征，根据所述聚类特征生成所述目标应用副本所属数据应用的应用性能消耗结果。

10.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-8任一项所述的数据应用性能分析方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的数据应用性能分析方法。