CN103729244A - 一种收集方法及装置 - Google Patents

Abstract

本发明实施例公开了一种收集方法，包括：构建程序中每个过程的控制流图和数据流图，识别每个过程的变量访问语句，收集每个过程中的变量访问语句的程序局部性信息；构建程序的调用流图，根据所述调用流图对所述程序进行遍历，收集各个变量访问语句的访问顺序和亲和性关系。本发明实施例还公开了一种收集装置。采用本发明，可收集到程序准确的访存信息，且对程序的执行干扰较小。

Description

一种收集方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种收集方法及装置。

背景技术

随着半导体工艺的发展，在过去的40多年中，芯片单位面积晶体管数量按照摩尔定律揭示的规律，以指数级速度增长。持续增长的晶体管数量使处理器架构师能够设计更多、更复杂的组件，提高处理器性能。统计数据表明，处理器性能在1980年至1986年间，大约每年增长25%，1986年至2004年，每年增长52%，2004年至今，每年增长20%。在过去的30年中，处理器性能的增长超过了10000倍。相比较而言，内存性能增长缓慢。1980年至今，内存性能每年增长速度大约为7%。在过去的30年，内存性能增长不足10倍，严重滞后于处理器的性能。并且由于增长速度的差异依旧存在并保持相对稳定，内存和处理器之间的性能差距仍将持续增大。因此内存已经成为计算机系统整体性能的瓶颈之一。

现代计算机系统广泛采用缓存技术缓解处理器和内存之间的性能差异。缓存能够有效缓解处理器对内存数据迫切需求的原理在于，程序访问数据的模式并不是随机的。在一段时间中，程序倾向于集中访问全体数据中的一小部分，这一特性被称为程序的局部性。程序的局部性包含两个方面特性，时间局部性和空间局部性，具体地，时间局部性即在某一时刻，如果内存中的某一位置被程序访问到，那么同一位置在不久的将来很可能被程序再次访问到。数据访问序列对同一内存位置具有访问上的时间邻近性。时间局部性对于缓存的意义在于，当前使用到的数据应当从内存复制到缓存中。当该数据下次被访问时，处理器可以自缓存中快速获得数据，避免向内存发出请求。空间局部性即在某一时刻，如果内存中的某一位置被程序访问到，那么与该内存位置临近的位置在不久的将来很可能被程序访问到。空间上邻近的数据往往总是同时被使用。空间局部性对缓存的意义在于，与当前使用到的数据邻近的数据应当从内存复制到缓存中。当这些数据被访问时，处理器可以自缓存中快速获得数据，避免向内存发出请求。因此通过分析程序的时间局部性和空间局部性，可以有效发现程序中影响程序访存性能的瓶颈，帮助优化程序性能，提高程序效率。

在现有技术中，目前获取程序的访问局部性，主要通过动态插桩技术获取。该方法主要是在程序内部插入用户代码，然后在程序运行时定期中断程序的执行，获取程序的访存信息，包括各级缓存访问缺失率、内存带宽利用率等。但是由于所有信息都需要动态获取，收集过程的开销很大；且每次收集时，需要中断程序的执行，导致程序的执行时间变长甚至程序行为发生变化，因此收集的程序访存行为和真实程序的访存行为可能存在差异。

发明内容

本发明实施例所要解决的技术问题在于，提供一种收集方法及装置。以解决收集程序的局部性信息结果不准确且收集过程中开销大的问题。

为了解决上述技术问题，本发明实施例第一方面提供了一种收集方法，包括：

构建程序中每个过程的控制流图和数据流图，识别每个过程的变量访问语句，收集每个过程中的变量访问语句的程序局部性信息；

构建程序的调用流图，根据所述调用流图对所述程序进行遍历，收集各个变量访问语句的访问顺序和亲和性关系。

在第一方面的第一种可能的实现方式中，在所述各个变量访问语句插桩函数，以便在所述程序运行时收集所述各个变量访问语句的访问频率；

以预设频率读取所述程序的函数栈，输出所述程序每次执行时的函数调用路径；

对所述函数调用路径进行排序，获取所述程序的关键路径；

采用处理器计数器技术，收集按照各个变量访问语句访问顺序生成的路径上的访存信息。

结合第一方面或结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，在构建程序的调用流图，根据所述调用流图对所述程序进行遍历之后，还包括：

将所述每个过程中的变量访问语句的程序局部性信息传输至所有过程。

结合第一方面或结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，所述变量访问语句包括全局变量访问语句、预先标记的变量访问语句或堆内存访问语句。

在第一方面的第四种可能的实现方式中，所述根据所述调用流图对所述程序进行遍历，包括：

根据所述调用流图对所述程序进行自顶向下或自底向上的遍历。

相应地，本发明实施例第二方面还提供了一种收集装置，包括：

构建单元，用于构建程序中每个过程的控制流图和数据流图以及构建程序的调用流图；

识别单元，用于识别每个过程的变量访问语句；

收集单元，用于收集每个过程中的变量访问语句的程序局部性信息，以及根据所述调用流图对所述程序进行遍历，收集各个变量访问语句的访问顺序和亲和性关系。

在第二方面的第一种可能的实现方式中，还包括：

插桩单元，用于在所述各个变量访问语句插桩函数，以便在所述程序运行时收集所述各个变量访问语句的访问频率；

路径获取单元，用于以预设频率读取所述程序的函数栈，输出所述程序每次执行时的函数调用路径，对所述函数调用路径进行排序，获取所述程序的关键路径；

动态采集单元，用于采用处理器计数器技术，收集按照各个变量访问语句访问顺序生成的路径上的访存信息。

结合第二方面或结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述收集单元还用于将所述每个过程中的变量访问语句的程序局部性信息传输至所有过程。

结合第二方面或结合第二方面的第一种可能的实现方式，在第三种可能的实现方式中，所述变量访问语句包括全局变量访问语句、预先标记的变量访问语句或堆内存访问语句。

在第二方面的第四种可能的实现方式中，所述收集单元根据所述调用流图对所述程序进行遍历，包括：

所述收集单元根据所述调用流图对所述程序进行自顶向下或自底向上的遍历。

实施本发明实施例，具有如下有益效果：

通过在静态时分析程序中过程内变量访问语句的亲和性信息，以及分析过程间各个变量访问语句的访问顺序，从而获取变量访问语句的亲和性信息，结果准确，且对程序动态执行造成影响很小，为调整程序的数据访问顺序，优化程序的访存模式提供了指导，利于提高程序的缓存命中率，提升程序的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明收集方法的第一实施例的流程示意图；

图2是本发明收集方法的第二实施例的流程示意图；

图3是本发明收集装置的第一实施例的组成示意图；

图4是本发明收集装置的第二实施例的组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，为本发明收集方法的第一实施例的流程示意图，在本实施例中，所述方法包括以下步骤：

S101，构建程序中每个过程的控制流图和数据流图，识别每个过程的变量访问语句，收集每个过程中的变量访问语句的程序局部性信息。

具体地，此步骤可在编译器的过程内分析阶段进行，其中，所述变量访问语句可以是全局变量访问语句、由人为预先标记的变量访问语句或者堆内存访问语句。

根据过程为单位进行变量访问语句的程序局部性信息收集，其中可包括变量访问语句的时间局部性信息和空间局部性信息。

S102，构建程序的调用流图，根据所述调用流图对所述程序进行遍历，收集各个变量访问语句的访问顺序。

在对每个过程内的情况进行分析之后，可在编译器的过程间分析阶段，根据所述调用流图对所述程序进行自顶向下或自底向上的遍历。

优选地，可将所述每个过程中的变量访问语句的程序局部性信息传输至所有过程，以便收集到更加准确的过程间的程序局部性信息。

尤其对于堆内存而言，可按照程序访问的顺序，输出堆内存访问语句的亲和性信息以便收集所述堆内存访问语句的程序局部性信息。

在本实施例中，通过在静态时分析程序中过程内变量访问语句的亲和性信息，以及分析过程间各个变量访问语句的访问顺序，从而获取变量访问语句的亲和性信息，结果准确，且对程序动态执行造成影响很小，为调整程序的数据访问顺序，优化程序的访存模式提供了指导，利于提高程序的缓存命中率，提升程序的性能。

请参照图2，为本发明收集方法的第二实施例的流程示意图，在本实施例中，所述方法包括以下步骤：

S201，构建程序中每个过程的控制流图和数据流图，识别每个过程的变量访问语句，收集每个过程中的变量访问语句的程序局部性信息。

S202，构建程序的调用流图，根据所述调用流图对所述程序进行遍历，收集各个变量访问语句的访问顺序。

S203，在所述各个变量访问语句插桩函数。

S204，在所述程序运行时收集所述各个变量访问语句的访问频率。

S205，以预设频率读取所述程序的函数栈，输出所述程序每次执行时的函数调用路径，对所述函数调用路径进行排序，获取所述程序的关键路径。

具体地，所述预设频率可以通过用户态定时器来配置。

其中，在对所述函数调用路径进行排序时，可以根据函数调用路径的时间先后顺序进行排序，也可以根据函数调用路径的访问频率进行排序。

S206，采用处理器计数器技术，收集所述按照各个变量访问语句访问顺序生成的路径上的访存信息。

此处访存信息可以包括缓存访问缺失率、浮点指令个数、内存带宽利用率等信息。

需要说明的是，步骤S204-S206可以并列同时进行，当然，也可以单独依次进行。例如，当S205和S206并列同时进行时，可以收集按照各个变量访问语句访问顺序生成的路径上的访存信息，再结合获取到的关键路径，将关键路径与按照各个变量访问语句访问顺序生成的路径进行比对，即可以获取到关键路径的访存信息；而当S205和S206单独依次进行时，当然也可以在获取到所述程序的关键路径之后，可以对关键路径上的缓存访问缺失率、浮点指令个数、内存带宽利用率等访存信息进行收集以便确定最终缓存的内容或补充缓存缺失的内容，最终提升程序的性能。

在本实施例中，通过步骤S201-S202的静态分析，可以获知程序中过程内以及过程间的变量访问语句的程序局部性信息，类似由单独的点扩展到点与点组成的线及网络；再结合步骤S203-S206的动态分析，可以获知程序执行过程中变量访问语句的访问频率信息，类似由点与点之间的单次连接的线与网络扩展为点与点之间的多次连接的线与网络；从而提高程序的缓存命中率，提高程序的整体性能。

请参照图3，为本发明收集装置的第一实施例的组成示意图，在本实施例中，所述装置包括：

构建单元100，用于构建程序中每个过程的控制流图和数据流图以及构建程序的调用流图；

识别单元200，用于识别每个过程的变量访问语句；

收集单元300，用于收集每个过程中的变量访问语句的程序局部性信息，以及根据所述调用流图对所述程序进行遍历，收集各个变量访问语句的访问顺序。

优选地，所述收集单元300还用于将所述每个过程中的变量访问语句的程序局部性信息传输至所有过程。

其中，所述变量访问语句包括全局变量访问语句、预先标记的变量访问语句或堆内存访问语句。

所述收集单元300根据所述调用流图对所述程序进行遍历，包括：

所述收集单元300根据所述调用流图对所述程序进行自顶向下或自底向上的遍历。

请参照图4，为本发明收集装置的第二实施例的组成示意图，在本实施例中，所述装置包括：

构建单元100，用于构建程序中每个过程的控制流图和数据流图以及构建程序的调用流图；

识别单元200，用于识别每个过程的变量访问语句；

收集单元300，用于收集每个过程中的变量访问语句的程序局部性信息，以及根据所述调用流图对所述程序进行遍历，收集各个变量访问语句的访问顺序。

插桩单元400，用于在所述各个变量访问语句插桩函数，以便在所述程序运行时收集所述各个变量访问语句的访问频率；

路径获取单元500，用于以预设频率读取所述程序的函数栈，输出所述程序每次执行时的函数调用路径，对所述函数调用路径进行排序，获取所述程序的关键路径；

动态采集单元600，用于采用处理器计数器技术，收集按照各个变量访问语句访问顺序生成的路径上的访存信息。

其中，处理器计数器可以集成在所述动态采集单元600内，也可以独立设置，由所述动态采集单元600控制处理器计数器工作以便收集按照各个变量访问语句访问顺序生成的路径上的访存信息。当然，所述动态采集单元600也可以与所述路径获取单元500相连，在所述路径获取单元500获取到关键路径后，直接收集所述关键路径的访存信息即可。

优选地，所述收集单元300还用于将所述每个过程中的变量访问语句的程序局部性信息传输至所有过程。

其中，所述变量访问语句包括全局变量访问语句、预先标记的变量访问语句或堆内存访问语句。

所述收集单元300根据所述调用流图对所述程序进行遍历，包括：

所述收集单元300根据所述调用流图对所述程序进行自顶向下或自底向上的遍历。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过上述实施例的描述，本发明具有以下优点：

通过在静态时分析程序中过程内变量访问语句的亲和性信息，以及分析过程间各个变量访问语句的访问顺序，从而获取变量访问语句的亲和性信息，结果准确，且对程序动态执行造成影响很小，为调整程序的数据访问顺序，优化程序的访存模式提供了指导，利于提高程序的缓存命中率，提升程序的性能。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，简称ROM）或随机存储记忆体（Random Access Memory，简称RAM）等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种收集方法，其特征在于，包括：

构建程序中每个过程的控制流图和数据流图，识别每个过程的变量访问语句，收集每个过程中的变量访问语句的程序局部性信息；

构建程序的调用流图，根据所述调用流图对所述程序进行遍历，收集各个变量访问语句的访问顺序和亲和性关系。

2.如权利要求1所述的方法，其特征在于，还包括：

在所述各个变量访问语句插桩函数，以便在所述程序运行时收集所述各个变量访问语句的访问频率；

以预设频率读取所述程序的函数栈，输出所述程序每次执行时的函数调用路径；

对所述函数调用路径进行排序，获取所述程序的关键路径；

采用处理器计数器技术，收集按照各个变量访问语句访问顺序生成的路径上的访存信息。

3.如权利要求1或2所述的方法，其特征在于，在构建程序的调用流图，根据所述调用流图对所述程序进行遍历之后，还包括：

将所述每个过程中的变量访问语句的程序局部性信息传输至所有过程。

4.如权利要求所述1或2所述的方法，其特征在于，所述变量访问语句包括全局变量访问语句、预先标记的变量访问语句或堆内存访问语句。

5.如权利要求1所述的方法，其特征在于，所述根据所述调用流图对所述程序进行遍历，包括：

根据所述调用流图对所述程序进行自顶向下或自底向上的遍历。

6.一种收集装置，其特征在于，包括：

构建单元，用于构建程序中每个过程的控制流图和数据流图以及构建程序的调用流图；

识别单元，用于识别每个过程的变量访问语句；

收集单元，用于收集每个过程中的变量访问语句的程序局部性信息，以及根据所述调用流图对所述程序进行遍历，收集各个变量访问语句的访问顺序和亲和性关系。

7.如权利要求6所述的收集装置，其特征在于，还包括：

插桩单元，用于在所述各个变量访问语句插桩函数，以便在所述程序运行时收集所述各个变量访问语句的访问频率；

路径获取单元，用于以预设频率读取所述程序的函数栈，输出所述程序每次执行时的函数调用路径，对所述函数调用路径进行排序，获取所述程序的关键路径；

动态采集单元，用于采用处理器计数器技术，收集按照各个变量访问语句访问顺序生成的路径上的访存信息。

8.如权利要求6或7所述的收集装置，其特征在于，所述收集单元还用于将所述每个过程中的变量访问语句的程序局部性信息传输至所有过程。

9.如权利要求6或7所述的收集装置，其特征在于，所述变量访问语句包括全局变量访问语句、预先标记的变量访问语句或堆内存访问语句。

10.如权利要求所述的，其特征在于，所述收集单元根据所述调用流图对所述程序进行遍历，包括：

所述收集单元根据所述调用流图对所述程序进行自顶向下或自底向上的遍历。

Images