CN103677997A - 多核心装置以及其多线程调度方法 - Google Patents

Abstract

一种多核心装置以及其多线程调度方法。多线程调度方法包括以下步骤：记录一线程的线程效能相关参数；并且，于该多核心装置的一多核心处理器的多个中央处理单元之间实行线程负载平衡。所述线程负载平衡是基于线程的线程效能危急状况实行。线程效能危急状况是基于上述线程效能相关参数而判定。

Description

多核心装置以及其多线程调度方法

技术领域

本发明主要是关于多核心装置(multi-core device)，且特别有关于多核心装置的多线程管理(multi-thread management)。

背景技术

一调度器(scheduler)为现代操作系统(OS)的资源仲裁设计(arbiter)，用于决定所有可执行的线程(threads)或工作(tasks)的执行顺序。传统上，操作系统的调度规则是以优先权(priority)为考虑。高优先权的线程优于低优先权的线程领先执行。此外，相较于低优先权的线程，高优先权的线程所配置得到的执行区间较长。

至于多核心装置的操作系统，其调度器会定期将所有可执行的线程均匀配置给各中央处理单元，此动作称为线程负载平衡(thread load balancing)。传统上，线程负载平衡在考虑线程优先权外，是以均衡不同中央处理单元的线程数量为目的。然而，仅考虑线程数量或优先权的线程负载平衡并无法确实将各线程(或事件)实际的负载程度考虑于其中。因为，不同的线程对中央处理单元的资源的需求量不同。传统技术无法保证各线程是配置由该些中央处理单元中适当的该个中央处理单元执行。此外，线程效能危急时(criticalproblem)，空等下一个传统线程负载平衡时间区间到来可能会来不及处理当下危急的线程负载问题(本说明书所揭露技术将此类问题反映成线程效能危急状况)。以上问题在移动装置上更严重，因为移动装置一般会将闲置的中央处理单元关闭以节省电池用电，如此会导致只有少数个中央处理单元得以用来分担工作量。

发明内容

本说明书揭露一种多核心装置以及一种多线程调度方法。

根据本发明一种实施方式所实现的一多核心装置包括：一多核心处理器，一随机存取存储器以及一程序码储存装置。该多核心处理器包括多个中央处理单元。该随机存取存储器是耦接该多核心处理器。该多核心处理器以该随机存取存储器储存一线程的线程效能相关参数。该程序码储存装置存有操作系统程序码，经该多核心处理器执行，以提供一操作系统调度器于该等中央处理单元之间实行线程负载平衡。所述线程负载平衡是根据该线程的线程效能危急状况实施。所述线程效能危急状况是基于上述线程效能相关参数作判定。

另外有一种实施方式是揭露多核心装置的一种多线程调度方法，包括以下步骤：记录一线程的线程效能相关参数；并且，于该多核心装置的一多核心处理器的多个中央处理单元之间实施线程负载平衡。所述线程负载平衡是根据该线程的线程效能危急状况实施。所述线程效能危急状况是基于上述线程效能相关参数作判定。

下文特举实施例，并配合所附图示，详细说明本发明的内容。

附图说明

图1以方块图图解根据本发明一种实施方式所实施的一多核心装置100；

图2根据本发明一种实施方式图解效能相关参数PAP的一种数据结构；

图3根据本发明一种实施方式图解一线程的状态图；

图4A以及图4B用于说明基于历来等待时间信息(图2的210)以及当下估算的等待时间(图2的212)而作的线程效能判断算法(藉方块324执行)；

图5A以及图5B用于说明基于历来每秒百万指令数/时钟数信息(图2的214)以及当下估算的每秒百万指令数/时钟数(图2的216)而作的线程效能判断算法(藉方块326执行)；

图6图解一多核心处理器的不同中央处理单元CPU1～CPU4之间的线程负载平衡。

[标号说明]

具体实施方式

以下叙述列举本发明的多种实施例。以下叙述介绍本发明的基本概念，且并非意图限制本发明内容。实际发明范围应依照申请专利范围界定之。

图1以方块图图解根据本发明一种实施方式所实现的一多核心装置(multi-core device)100。多核心装置100包括一多核心处理器(multi-coreprocessor)102、一程序码储存装置104以及一随机存取存储器106。该多核心处理器102包括多个中央处理单元CPU1、CPU2、CPU3与CPU4。程序码储存装置104存有操作系统程序码108，由该多核心处理器102执行，以实现一操作系统调度器，对线程(thread)或工作(task)作管理。所述操作系统调度器负责线程效能估算，且于不同中央处理单元CPU1～CPU4之间实施线程负载平衡。通过所述执行操作系统调度器，多核心处理器102估算各线程的效能，并基于所估算的线程效能分配线程至该些中央处理单元CPU1、CPU2、CPU3以及CPU4。多核心处理器102采用随机存取存储器106储存线程效能相关参数(PAP1、PAP2…)，以做线程效能估算、且在该些中央处理单元CPU1～CPU4间作线程负载平衡。

以图1所示的实施方式为例，每一线程的效能相关参数是与传统线程信息(如，线程序文，thread context)一同暂时储存在该随机存取存储器106中。如图所示，线程TH1的效能相关参数PAP1与线程TH1的传统线程信息TI1一同储存在随机存取存储器106中，线程TH2的效能相关参数PAP2与线程TH2的传统线程信息TI2一同储存在随机存取存储器106中，其余类推。

图2根据本发明一种实施方式图解效能相关参数PAP的数据结构。关于线程TH，与传统线程信息TI一同储存在随机存取存储器中的效能相关参数PAP包括中断计数202、等待时间信息204、每秒百万指令数/时钟数信息206、以及危急标签208。历来等待时间信息210以及当下估算的等待时间212都记录在等待时间信息204中。历来每秒百万指令数/时钟数信息214以及当下估算的每秒百万指令数/时钟数216都记录在每秒百万指令数/时钟数信息206中。以下段落讨论效能相关参数PAP如何应用在线程效能估算以及线程负载平衡上。

图3根据本发明一种实施方式图解一线程如何在多种状态间切换。在操作系统调度器操作下，一线程会在可执行状态(runnable state)302、执行中状态(running state)304、阻隔状态(blocked state)306以及消灭状态(dead state)308之间切换。在可执行状态302，线程列队于可执行队列中，竞争处理器资源。当线程获得处理器资源，线程是切换到执行中状态304执行。当执行中的线程需暂停等待某事件(例如，输入输出中断事件)，线程是切换到阻隔状态306。当线程所等待的事件发生但处理器资源已经被其它更高优先权的线程占据时(对应判断方块310，释放出来的线程仅为可执行但无法立即执行)，释放出的线程是切换至可执行状态302且被推入可执行队列；反之，释放出的线程是切换回执行中状态304完成后续动作。当线程遭强制终止或是程序结束(对应判断方块312、314)，线程是切换到消灭状态308。此外，执行中的线程会在面临更高优先权的线程时被夺走处理器资源，因而延滞执行。被延滞执行的线程应当脱离执行中状态304且再次被推入可执行队列成可执行状态302。方块322～330显示效能相关参数PAP在不同线程状态下如何变化与应用。效能危急判断是由方块324与326执行。

如方块322所示，新线程产生时，需将其等待时间的计数重置、并将其中断计数归零。等待时间显示线程切换至执行中状态304前在可执行状态302中等待多久。参阅方块324，线程切换到执行中状态304时，总结其滞留在可执行状态302的等待时间，以据以判断线程是否面临效能危急问题。线程效能危急时，线程需要更多的处理器资源完成其工作。过长的等待时间可能表示线程效能危急。线程若被判定效能危急，即标记图2的危急标志208(如，确认线程效能危急状况)。

此外，参阅方块324，每秒百万指令数/时钟数是在线程切换至执行中状态304时重置。每秒百万指令数英文简称为MIPS，代表线程于执行中状态304的执行速度，也可以时钟的时钟计数代表(例如，将中央处理单元的频率乘上一定时器输出即可得之)。另外，参阅方块326，每当线程对系统资源的使用优先权被超越(preempted)，线程的中断计数加1，该线程于执行中状态304的每秒百万指令数/时钟数遭总结，据以判断线程的效能是否危急。低每秒百万指令数/时钟数可代表线程效能低落。若线程效能危急，标记图2危急标志208。

线程的等待时间可更在方块326或方块330重置，此时线程再次切换回可执行状态302。每秒百万指令数/时钟数可更如方块328于线程自阻隔状态306释放切换至执行中状态304时重置。此外，当阻隔状态306所释放出的线程是再次被推入可执行队列(切换至可执行状态302)，如方块330所示归零其中断计数。中断计数可及时由图2所示、随机存取存储器106的字段202记录。当下估算的等待时间(于方块324观察得)是最新计数的等待时间，可及时由图2所示、随机存取存储器106的字段212记录。当下估算的每秒百万指令数/时钟数也是最新计数的结果，可及时由图2所示、随机存取存储器106的字段216记录。此外，等待时间与每秒百万指令数/时钟数的历来信息可由图2所示、随机存取存储器106的字段210与214分别记录，是随当下估算的等待时间212以及每秒百万指令数/时钟数216更新。中断计数是用于方块324的线程效能判断，决定历来等待时间信息210与当前估算的等待时间212之间的考虑比例。中断计数还用于方块326的线程效能判断，决定历来每秒百万指令数/时钟数信息214与当下估算的每秒百万指令数/时钟数216之间的考虑比例。高中断计数表示历来信息210或214需以更高比重做考虑。

图4A以及图4B图解基于历来等待时间信息(图2的210)以及当下估算的等待时间(图2的212)而形成的线程效能判断算法(藉方块324执行)。参阅图4A，五数值Latency[0]、Latency[1]、Latency[2]、Latency[3]以及Latency[4]受监控，记录为历来等待时间信息210，其中：

Latency[0]=Latency[0]x(A0-1)/A0+Curr_Latency/A0

Latency[1]=Latency[1]x(A1-1)/A1+Curr_Latency/A1

Latency[2]=Latency[2]x(A2-1)/A2+Curr_Latency/A2

Latency[3]=Latency[3]x(A3-1)/A3+Curr_Latency/A3

Latency[4]=Latency[4]x(A4-1)/A4+Curr_Latency/A4

Curr_Latency为当下估算的等待时间，由方块324估算，且记录于字段212。至于参数A0～A4，是A0<A1<A2<A3<A4；如，A0=1、A1=2、A2=4、A3=8且A4=16。随着索引值增加，历来等待时间信息越具代表性。所揭露的算法是根据一查表规则400操作，以下以图4B的流程图说明之。

参阅图4B所描述的查表规则400，步骤S402负责将中断计数的逻辑右移量n(用来做“>>n”逻辑运算)初始化为0。步骤S404判断中断计数作逻辑右移n位后是否为0。若中断计数逻辑右移n位后还不为0，实施步骤S406，将n值加1。一旦中断计数逻辑右移n位后为0，实施步骤S408，将等待时间评断值设定为Latency[n]。步骤S410判断当下估算的等待时间Curr_Latency是否较该等待时间评断值(Latency[n])长。若当下估算的等待时间Curr_Latency较该等待时间评断值(Latency[n])长，实施步骤S412，判定线程效能危急，标记图2的危急标志208。反之，实施步骤S414，判定线程效能不危急，无须标记(或，将清除)图2的危急标志208(如，是显示一线程效能危急状况不成立)。

举例来说，若中断计数为4，逻辑右移运算将得出零值发生在逻辑右移3位时(4>>3=0)。因此，数值Latency[3]被检出，以与数值Curr_Latency比较。当数值Curr_Latency长于数值Latency[3]，意指线程效能危急。反之，代表线程效能不危急。

图5A以及图5B图解基于历来每秒百万指令数/时钟数(图2的214)以及当下估算的每秒百万指令数/时钟数(图2的216)而形成的线程效能判断算法(藉方块326执行)。参阅图5A，五数值MIPS[0]、MIPS[1]、MIPS[2]、MIPS[3]以及MIPS[4]受监控，记录为历来每秒百万指令数/时钟数信息214，其中：

MIPS[0]=MIPS[0]x(A0-1)/A0+Curr_MIPS/A0

MIPS[1]=MIPS[1]x(A1-1)/A1+Curr_MIPS/A1

MIPS[2]=MIPS[2]x(A2-1)/A2+Curr_MIPS/A2

MIPS[3]=MIPS[3]x(A3-1)/A3+Curr_MIPS/A3

MIPS[4]=MIPS[4]x(A4-1)/A4+Curr_MIPS/A4

Curr_MIPS为当下估算的每秒百万指令数/时钟数，由方块326估算，且记录于字段216。至于参数A0～A4，是A0<A1<A2<A3<A4；如，A0=1、A1=2、A2=4、A3=8且A4=16。随着索引值增加，历来每秒百万指令数/时钟数越具代表性。所揭露的算法是根据一查表规则500操作，以下以图5B的流程图说明之。

参阅图5B所描述的查表规则500，步骤S502负责将中断计数的逻辑右移量n(用来做“>>n”逻辑运算)初始化为0。步骤S504判断中断计数逻辑右移n位后是否为0。若中断计数作逻辑右移n位后还不为0，实施步骤S506将n值加1。一旦中断计数的逻辑右移n位后为0，实施步骤S508将每秒百万指令数/时钟数评断值设定为MIPS[n]。步骤S510判断当下估算的每秒百万指令数/时钟数Curr_MIPS是否较该每秒百万指令数/时钟数评断值(MIPS[n])低。若当下估算的每秒百万指令数/时钟数Curr_MIPS较该每秒百万指令数/时钟数评断值(MIPS[n])低，实施步骤S512，判定线程效能危急，标记图2的危急标志208。反之，实施步骤S514，判定线程效能不危急，无须标记(或，将清除)图2的危急标志208(如，显示一线程效能危急状况不成立)。

举例来说，若中断计数为4，逻辑右移运算将得出零值发生在逻辑右移3位时(4>>3=0)。因此，数值MIPS[3]被检出，以与数值Curr_MIPS比较。当数值Curr_MIPS少于数值MIPS[3]，意指线程效能危急。反之，代表线程效能不危急。

请留意评断值候选并不限定为5个(不限定为Latency[0]～Latency[4]或MIPS[0]～MIPS[4])，并且，参数A0～A4并不限定为2⁰～2⁴，是可随使用者需求设定。

在其它实施方式中，线程于可执行队列的等待时间可无须纳入考虑；线程效能判断是赖于每秒百万指令数/时钟数。在某些实施方式中，每秒百万指令数/时钟数可无须纳入考虑，线程效能判断是赖于等待时间。

操作系统调度器的线程负载平衡程序将参考不同线程的危急标志208操作。图6以图例说明一多核心处理器不同中央处理单元CPU1～CPU4之间的线程负载平衡。如图所示，多核心装置上运行三个应用程序APP1、APP2与APP3。应用程序APP1包括三个线程TH1、TH2与TH3，危急标志分别为’C’、’NC’与’C’。以下以’C’代表线程效能危急，’NC’代表线程非效能危急。应用程序APP2包括两个线程TH4以及TH5，危急标志分别为’C’与’NC’。应用程序APP3包括两个线程TH6以及TH7，危急标志分别为’NC’与’C’。根据不同线程TH1～TH7各自的危急标志，操作系统调度器所做的线程负载平衡程序将线程TH1～TH7分配给该些中央处理单元CPU1～CPU4以平衡工作量。如图所示，判定为效能危急的该些线程TH1、TH3、TH4以及TH7是分散配置给不同的中央处理单元CPU1～CPU4。相较之，传统线程负载平衡技术仅考虑不同中央处理单元的线程数量平衡、而未考虑线程效能危急状况。本说明书所揭露的线程负载平衡技术显着提升多核心处理器整体效能。

此外，所揭露的线程负载平衡程序可更考虑依据动态电压与频率调节(dynamic voltage and frequency scaling，DVFS)机制，以调升使用中的处理器频率，缓解线程效能危急状况。因此，所有中央处理单元上的危急的工作/线程数量可及时减少，因而增加整体系统效能。

此外，根据本说明书所揭露的线程效能判断技术，节能模式(例如，睡眠模式)的中央处理单元可被唤醒以执行效能危急的线程。例如，若检测到效能极危急的线程(例如，线程等待时间相当长、或者每秒百万指令数/时钟数相当低)，睡眠模式的中央处理单元可立即被唤醒，以缓解效能危急的线程。

另外有一种实施方式是有关于一多核心装置的一种多线程调度方法，包括以下步骤：估算各线程的线程效能；并且，基于所估算的线程效能分配线程给一多核心处理器的多个中央处理单元。特别是，所揭露技术包括针对各线程估算效能相关参数，已实施线程效能估算、并在多个中央处理单元之间实施负载平衡。

所揭露的多线程调度方法可如图1所示编码入操作系统程序码。然而，所揭露的多线程调度方法并不限定要以图1所示的计算器架构实现。任何基于所揭露的多线程调度方法而实现的多线程管理方式都属本案所欲保护内容。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (14)

1.一种多核心装置，包括：

一多核心处理器，包括多个中央处理单元；

一随机存取存储器，耦接该多核心处理器，在该多核心处理器操作下储存一线程的线程效能相关参数；以及

一程序码储存装置，储存操作系统程序码，在该多核心处理器执行下运作一操作系统调度器，于上述该多个中央处理单元之间实施线程负载平衡，

其中：

该线程负载平衡是基于该线程的线程效能危急状况而实施，上述线程效能危急状况是基于上述线程效能相关参数做判定。

2.根据权利要求1所述的多核心装置，其中：

上述线程效能相关参数包括一等待时间，标示该线程切换成一执行中状态前于一可执行队列的等待时间，上述线程效能危急状况是基于该线程上述等待时间作估算。

3.根据权利要求2所述的多核心装置，其中：

该线程效能相关参数还包括历来等待时间信息；

该线程一当下估算的等待时间是与一等待时间评断值作比较，以评估该线程的线程效能危急状况是否确为危急；并且

该等待时间评断值是基于上述历来等待时间信息以及该当下估算的等待时间而设定。

4.根据权利要求1所述的多核心装置，其中：

上述线程效能相关参数包括一每秒百万指令数/时钟数，标示该线程于一执行中状态的执行速度，且该线程的线程效能危急状况是基于该线程的每秒百万指令数/时钟数而估算。

5.根据权利要求4所述的多核心装置，其中：

上述线程效能相关参数还包括历来每秒百万指令数/时钟数信息；

该线程一当下估算的每秒百万指令数/时钟数是与一每秒百万指令数/时钟数评断值作比较，以评估该线程的线程效能危急状况是否确为危急；并且，

该每秒百万指令数/时钟数评断值是基于上述历来每秒百万指令数/时钟数信息以及该当下估算的每秒百万指令数/时钟数而设定。

6.根据权利要求1所述的多核心装置，其中：

该线程效能危急状况确为危急时，上述该多个中央处理单元之一自一节能模式唤醒以执行该线程。

7.根据权利要求1所述的多核心装置，其中：

该线程效能危急状况确为危急时，执行该线程的该中央处理单元的处理器频率依据动态电压与频率调节机制而提升。

8.一种多核心装置的多线程调度方法，包括：

记录一线程的线程效能相关参数；以及

于该多核心装置的一多核心处理器的多个中央处理单元间实施线程负载平衡，

其中，上述线程负载平衡是根据该线程的一线程效能危急状况而操作，且上述线程效能危急状况是基于上述线程效能相关参数而评断。

9.根据权利要求8所述的多线程调度方法，其中：

上述线程效能相关参数包括一等待时间，标示该线程切换成一执行中状态前于一可执行队列的等待时间，且上述线程效能危急状况是基于该线程的等待时间而评断。

10.根据权利要求9所述的多线程调度方法，其中：

上述线程效能相关参数还包括历来等待时间信息；

该线程一当下估算的等待时间是与一等待时间评断值作比较，以评估该线程的线程效能危急状况是否确为危急；并且

该等待时间评断值是基于上述历来等待时间信息以及该当下估算的等待时间而设定。

11.根据权利要求8所述的多线程调度方法，其中：

上述线程效能相关参数包括一每秒百万指令数/时钟数，标示该线程于一执行中状态的执行速度，且该线程的线程效能危急状况是基于该线程的每秒百万指令数/时钟数而估算。

12.根据权利要求11所述的多线程调度方法，其中：

上述线程效能相关参数还包括历来每秒百万指令数/时钟数信息；

该线程一当下估算的每秒百万指令数/时钟数是与一每秒百万指令数/时钟数评断值作比较，以评估该线程的线程效能危急状况是否确为危急；并且，

该每秒百万指令数/时钟数评断值是基于上述历来每秒百万指令数/时钟数信息以及该当下估算的每秒百万指令数/时钟数而设定。

13.根据权利要求8所述的多线程调度方法，其中：

该线程效能危急状况确为危急时，上述该多个中央处理单元之一自一节能模式唤醒以执行该线程。

14.根据权利要求8所述的多线程调度方法，其中：

该线程效能危急状况确为危急时，执行该线程的该中央处理单元的处理器频率依据动态电压与频率调节机制而提升。

Images