CN117540804A - 人工智能模型运算加速系统及人工智能模型运算加速方法 - Google Patents

Abstract

一种人工智能模型运算加速方法包含：开启一应用程序，取得运行该应用程序所需的复数个AI模型及该些AI模型各自对应的一模型名称，并列举复数个运算装置及该些运算装置各自对应的一装置名称；通过一推理模型依据该些AI模型名称及该些装置名称作为输入资料，以输出一推理结果。

Description

人工智能模型运算加速系统及人工智能模型运算加速方法

技术领域

本发明是关于一种运算加速系统，特别是关于一种人工智能模型运算加速系统及人工智能模型运算加速方法。

背景技术

晶片厂与软件大厂各自推出其人工智能(artificial intelligence，AI)架构(Framework)，如：Google的tensorflow、Intel的OpenVINO等。但是要调用那个AI加速装置，如处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、视觉处理器(Vision Processing Unit，VPU)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)等，大多由程序或指令方式指定，并无智能型且自动方法。

此外，若由程序、指令指定AI加速装置进行推理运算，直接程序结束为止，所有与AI有关的运算功能，皆由AI加速装置来担待，但是AI加速装置也有可能变成忙碌状态。若再加入AI运算需求，会造成整体效能下降，使用者体验不佳。

另外，单一AI加速装置，并非都适合各种AI应用。如VPU仅适合低功耗之图像、影像与声音优化。

另外，研究人员发现，既使到了Windows SV2，仍无依模型或AI情境，动态指定AI加速装置进行运算。

因此，如何提供一种AI模型运算加速系统，可以解决因为有AI运算需求，让AI加速装置过于忙碌的问题，避免造成使用者体验不佳的情形；并能够让AI模型运算加速系统，能够自适性的优化运算速度的效果，已成为本领域待解决的问题之一。

发明内容

为了解决上述的问题，本揭露内容之一态样提供了一种人工智能(artificialintelligence，AI)模型运算加速系统。人工智能模型运算加速系统包含一应用程序层以及一推理模型。应用程序层用以开启一应用程序，通过一处理装置取得运行该应用程序所需的复数个AI模型及该些AI模型各自对应的一模型名称，并列举复数个运算装置及该些运算装置各自对应的一装置名称。推理模型用以取得该应用程序的一程序名称，并接收该些AI模型各自对应的该模型名称，并接收该些运算装置各自对应的该装置名称，依据该些AI模型名称及该些装置名称作为输入资料，以输出一推理结果；其中，该推理结果包含一特定装置名称及一特定AI模型名称其中，该推理模型将该推理结果传送到一应用程序API(application programming interface，API)层，该API层由该应用程序取得该些AI模型，并在执行(run-time)阶段时，依据该推理结果，将该特定AI模型名称对应的该AI模型指定给该特定装置名称对应的该运算装置进行运算。

一种人工智能(artificial intelligence，AI)模型运算加速方法包含：开启一应用程序，取得运行该应用程序所需的复数个AI模型及该些AI模型各自对应的一模型名称，并列举复数个运算装置及该些运算装置各自对应的一装置名称；通过一推理模型以取得该应用程序的一程序名称；通过该推理模型接收该些AI模型各自对应的该模型名称，并接收该些运算装置各自对应的该装置名称；以及通过该推理模型依据该些AI模型名称及该些装置名称作为输入资料，以输出一推理结果；其中，该推理结果包含一特定装置名称及一特定AI模型名称；其中，该推理模型将该推理结果传送到一应用程序API(applicationprogramming interface，API)层，该API层由该应用程序取得该些AI模型，并在执行(run-time)阶段时，依据该推理结果，将该特定AI模型名称对应的该AI模型指定给该特定装置名称对应的该运算装置进行运算。

本发明所示之人工智能模型运算加速系统及人工智能模型运算加速方法，解决了因为有AI运算需求，让AI加速装置过于忙碌的问题，藉此可让使用者在使用各种应用程序的时候，即使需要运行多个AI模型，也能使系统运行更为顺畅，减少画面停滞的情形，提升使用者体验，并且达到让推理模型自适性优化运算速度的效果。

附图说明

图1系依照本发明一实施例绘示之人工智能模型运算加速系统之方块图。

图2系依照本发明一实施例绘示之人工智能模型运算加速方法之流程图。

图3系依照本发明一实施例绘示之训练资料集产生方法之示意图。

图4系依照本发明一实施例绘示之训练推理模型的方法之示意图。

图5A～图5B系依照本发明一实施例绘示之推理模型产生推理结果的方法之流程图。

图6系依照本发明一实施例绘示之优化推理模型的方法之示意图。

其中：

100：人工智能模型运算加速系统；

10：应用程序；

20：AI装置列举程序；

30：推理模型；

41～43：AI模型；

50：加速装置引擎；

61～63：运算装置；

200：人工智能模型运算加速方法；

210～250,310～320,510～519,630：步骤；

300：训练资料集产生方法；

322～328：资料集；

400：训练推理模型30的方法；

500：推理模型产生推理结果的方法；

600：优化推理模型30的方法；

610：状态控制器610；

620：监测模块。

具体实施方式

以下说明系为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。

必须了解的是，使用于本说明书中的“包含”、“包括”等词，系用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。

于权利要求中使用如“第一”、“第二”、“第三”等词系用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。

请参照图1与图2，图1系依照本发明一实施例绘示之人工智能(artificialintelligence，AI)模型运算加速系统100之方块图。图2系依照本发明一实施例绘示之人工智能模型运算加速方法200之流程图。

如图1所示，人工智能模型运算加速系统100包含一应用程序层、一推理模型30、一应用程序API(application programming interface，API)层、一执行阶段及一驱动与装置(driver and devices)层。于一实施例中，人工智能模型运算加速系统100实现于笔记型电脑、台式电脑、平板、手机或其它电子装置。

于一实施例中，人工智能模型运算加速系统100包含应用程序层及推理模型30。请一并参阅图2，图2所述的人工智能模型运算加速方法200可以由人工智能模型运算加速系统100中的元件实现之。

于步骤210中，应用程序层开启一应用程序10，取得运行应用程序10所需的多个AI模型41～43及此些AI模型41～43各自对应的一模型名称，并列举多个运算装置61～63及此些运算装置61～63各自对应的一装置名称。

于一实施例中，应用程序层中包含应用程序10及AI装置列举程序20。

其中，应用程序10可以是绘图软件、高阶游戏(例如3A游戏)、浏览器…等等。

于一实施例中，应用程序10的部分指令(例如没有使用到AI模型的部分指令)及AI装置列举程序20是通过一处理装置(例如处理器或微处理器)执行。

于一实施例中，处理器亦可以由微控制单元(microcontroller)、微处理器(microprocessor)、数字信号处理器(digital signal processor)、特殊应用集成电路(application specific integrated circuit，ASIC)或一逻辑电路实现之，但并不限于此。

于一实施例中，AI装置列举程序20可以列举出目前的运行应用程序10所需要的AI模型及这些AI模型各自对应的一模型名称，并列举人工智能模型运算加速系统100中多个运算装置，及运算装置对应的装置名称。

于一实施例中，AI模型41～43对应的名称例如为WinML 41、DirectML 42、NNAPI43…等等，此些AI模型41～43位于应用程序API层。然而，此处仅为举例，AI模型不限于此。

于一实施例中，运算装置61～63对应的名称例如为处理器61、图形处理器62、视觉处理器63…等等，此些运算装置61～63位于驱动与装置层。然而，此处仅为举例，运算装置不限于此。

于步骤220中，一推理模型30以取得应用程序10的一程序名称(program name)。

于一实施例中，通过一处理装置(例如处理器或微处理器)将目前执行的应用程序10的名称取得出来，例如应用程序10是一个游戏，应用程序10的程序名称为古墓奇兵(TombRaider)，处理装置再将程序名称传送到推理模型30。

于步骤230中，推理模型30接收此些AI模型各自对应的模型名称，并接收此些运算装置各自对应的装置名称。

举例而言，应用程序层可以侦测出古墓奇兵这款游戏会用到的AI模型，且AI模型的模型名称为WinML 41、DirectML 42，并且可侦测到人工智能模型运算加速系统100中有三个运算装置，此些运算装置的名称分别为处理器61、图形处理器62、视觉处理器63。应用程序层将这些资料传送给推理模型30。

因此，推理模型30可收到应用程序10的程序名称为古墓奇兵，会用到的AI模型的模型名称为WinML 41、DirectML 42，可以使用的运算装置的名称为处理器61、图形处理器62、视觉处理器63，此些资讯都视为输入推理模型30的资料。

于步骤240中，推理模型30依据此些AI模型名称及此些装置名称作为输入资料，以输出一推理结果；其中，推理结果包含一特定装置名称及一特定AI模型名称。

于一实施例中，推理结果可以是：“处理器61，WinML 41”，意思是以处理器61执行WinML 41，在此例中，特定装置名称为处理器61，特定AI模型名称为WinML 41。

于一实施例中，推理结果可以是多组，例如除了“处理器61，WinML 41”之外，另外一组推理结果为，“图形处理器62，DirectML 42”，意思是以图形处理器62执行DirectML42。然而，此处仅为举例，推理结果的输出方式不限于此，可以是代码或其他型态的显示方式。

于步骤250中，推理模型30将推理结果传送到一应用程序API(applicationprogramming interface，API)层，API层由应用程序10取得此些AI模型，并在执行(run-time)阶段时，依据推理结果，将特定AI模型名称对应的AI模型指定给特定装置名称对应的运算装置进行运算。

举例而言，推理模型30将推理结果例如为：“处理器61，WinML 41”(意思是以处理器61执行WinML 41)及“图形处理器62，DirectML 42”(意思是以图形处理器62执行DirectML42)传送到一应用程序API层，API层由应用程序10取得此些AI模型(即WinML 41与DirectML42)，并在执行阶段时，依据推理结果，将WinML 41指定给处理器61进行运算，并将DirectML 42指定给图形处理器62进行运算。

于一实施例中，在执行阶段时，API层通过一加速装置引擎(acceleration deviceengine)50，将特定AI模型名称对应的AI模型(例如WinML 41)传送到特定装置名称对应的该运算装置(例如处理器61)的一暂存空间(buffer)。

由此可知，推理模型30可以在取得多个AI模型名称及装置名称后，自动输出推理结果，在执行阶段时，人工智能模型运算加速系统100可以依据推理结果将多个AI模型的运算指定给对应的运算装置，以达到较佳的运算配置。

于一实施例中，前述图2中的推理模型30系已完成训练的模型。以下详述推理模型30训练的方法。

一并参阅图1及图3，图3系依照本发明一实施例绘示之训练资料集产生方法300之示意图。于一实施例中，推理模型30在训练阶段时，需要收集多个资料集322～328，此些资料集322～328作为一训练资料集，此些资料集包含：程序名称322、一帧率(frame rate)及帧流程停滞次数(pending times of frame process)324、一模型名称与对应的该装置名称326、一平均帧流程停滞时间及装置名称328。

于步骤310中，通过处理装置取得目前执行的应用程序10的程序名称。

例如，应用程序10是一个游戏，处理装置(例如处理器或微处理器)取得应用程序10的程序名称为古墓奇兵。

于步骤312中，通过处理装置侦测应用程序10中的AI模型指令。

于步骤314中，处理装置判断是否侦测到应用程序10中包含AI模型指令。响应于处理装置判断侦测到应用程序10中包含AI模型指令，则进入步骤316。响应于处理装置判断侦测到应用程序10中包含AI模型指令，则结束此流程。

于步骤316中，处理装置取得AI模型及此些AI模型各自对应的模型名称。

于步骤318中，处理装置列举运算装置及此些运算装置各自对应的一装置名称。

于一实施例中，处理装置仅列举可以运行AI模型的运算装置。

于步骤320中，处理装置取得帧流程状态(frame process status)。

于一实施例中，帧流程状态例如为，帧率、帧流程停滞次数(例如，在一段时间中，画面停滞，造成滞后(lag)的次数)、平均帧流程停滞时间(例如，在一段时间中，滞后的平均时间)…等。

经由上述步骤，可以得到资料集322～328，包含：程序名称322、帧率及帧流程停滞次数324、模型名称与对应的装置名称326、平均帧流程停滞时间及装置名称328。这些资料集322～328作为训练资料集。

请一并参阅图1及图4，图4系依照本发明一实施例绘示之训练推理模型30的方法400之示意图。推理模型30在训练阶段时，将此些资料集输入一类神经网路，以训练出推理模型30。类神经网路例如为卷积神经网路(Convolutional Neural Network，CNN)，然本案不限于此，只要是能分类资料类神经网路都可以。

于图4中，处理装置将通过图3的训练资料集产生方法300所收集到的：程序名称322、帧率及帧流程停滞次数324、模型名称与对应的装置名称326、平均帧流程停滞时间及装置名称328，输入到类神经网路，当完成此类神经网路的训练，此完成训练的类神经网路即为推理模型30。

完成此类神经网路的训练的停止条件可以是完成了一预设的期(epoch)，或是此类神经网路的学习曲线趋缓，学习曲线的斜率更动小于一预设值时。然而，本案关于此类神经网路的训练的停止条件不限于此，可以依实际应用时进行调整。

请一并参阅图1及图5A、图5B，图5A与图5B系依照本发明一实施例绘示之推理模型30产生推理结果的方法500之流程图。

于步骤510中，开启应用程序10。

于一实施例中，应用程序10可以是由使用者开启，或是由其他程序促使处理装置开启。

于步骤512中，处理装置取得应用程序10的程序名称及此些装置名称，并将程序名称及此些装置名称输入推理模型30。

于一实施例中，应用程序层开启应用程序10后，列举多个运算装置61～63及此些运算装置61～63各自对应的一装置名称，处理装置将这些装置名称传送到推理模型30。

于一实施例中，这些装置61～63可以被调用，以执行应用程序10中的AI模型。

于一实施例中，通过处理装置(例如处理器或微处理器)将目前执行的应用程序10的名称取得出来，例如应用程序10是一个游戏，应用程序10的程序名称为古墓奇兵，处理装置再将程序名称传送到推理模型30。

于步骤514中，推理模型30判断程序名称是否有对应到此些模型名称的其中至少之一者。若是，则步骤516。若否，则进入步骤515。

更具体而言，由于推理模型30是已经被训练完成的模型，因此，推理模型30只要知道程序名称，即可判断此程序名称对应的应用程序是否需要运行AI模型。当推理模型30判断此程序名称对应的应用程序需要运行AI模型(例如此应用程序是3A等级的游戏)，则进入步骤516。当推理模型30判断此程序名称对应的应用程序不需要运行AI模型(例如此应用程序为记事本，其功能只有接收使用者输入的文字，并储存)，则进入步骤515。

于步骤516中，推理模型30进一步判断是否此些装置名称所对应的此些运算装置中，包含任何一运算装置使一帧流程停滞时间为零。

于一实施例中，应用程序层开启应用程序10后，列举多个运算装置61～63及此些运算装置61～63各自对应的一装置名称，处理装置将这些装置名称传送到推理模型30。推理模型30进一步判断是否此些装置名称所对应的此些运算装置61～63中，包含任何一运算装置使一帧流程停滞时间为零。

于步骤519中，当推理模型30判断此些装置名称所对应的此些运算装置61～63中，包含一运算装置时，例如：运算装置62)使帧流程停滞时间为零，则推理模型30将使帧流程停滞时间为零的运算装置(例如为运算装置62)视为一特定运算装置，将此些模型名称的其中至少之一者所对应的AI模型(例如为DirectML 42)暂存到特定运算装置(例如为运算装置62)对应的一特定暂存器中，例如运算装置62为图形处理器，则将DirectML 42暂存到图形处理器62的存储器中。

于一实施例中，当推理模型30判断此些装置名称所对应的此些运算装置61～63中，包含多个运算装置时，例如：运算装置61、62都可以使帧流程停滞时间为零，则推理模型30将使帧流程停滞时间为零的运算装置61、62各自视为一特定运算装置，将此些模型名称对应的多个AI模型(例如为WinML 41、DirectML 42)暂存到这些特定运算装置(例如为运算装置61、62)各自对应的一特定暂存器中，例如，运算装置61为处理器，则将WinML 41暂存到处理器62的存储器中；运算装置62为图形处理器，则将DirectML 42暂存到图形处理器62的存储器中。

于一实施例中，当推理模型30判断此些装置名称所对应的运算装置61(如处理器)能使一帧流程停滞时间为零时，代表运算装置61有足够的运算能力可以顺畅的运算对应的AI模型(如WinML 41)，因此，推理模型30自动将AI模型(如WinML 41)指定由运算装置61(如处理器)执行。

另一方面，于步骤515中，推理模型30取得一平均帧流程停滞时间及此些装置名称，并借由一优先选项处理器(例如设定运算装置62为优先选项处理器)，将程序名称暂存到一优选装置的一优选暂存器中(例如运算装置62的存储器中)。

于一实施例中，推理模型30取得一平均帧流程停滞时间及此些装置名称后，可以将平均帧流程停滞时间及此些装置名称显示在使用者界面上，让使用者选择欲采用的装置以运行AI模型。

另一方面，于步骤517中，推理模型30取得一帧流程停滞时间、一帧率及此些装置名称，并借由一优先选项处理器(例如设定运算装置62为优先选项处理器)，将此些模型名称对应的此些AI模型(例如为WinML 41、DirectML 42及NNAPI 43)暂存到对应一优选装置的一优选暂存器中(例如运算装置62的存储器中)。

于一实施例中，推理模型30取得一帧流程停滞时间、一帧率及此些装置名称后，可以将帧流程停滞时间、帧率及此些装置名称显示在使用者界面上，让使用者选择欲采用的装置以运行AI模型。

请一并参阅图1及图6，图6系依照本发明一实施例之优化推理模型30的方法600之示意图。人工智能模型运算加速系统100中，更包括状态控制器610与监测模块620。

于一实施例中，状态控制器610与监测模块620可以由软件、固件、硬件(如晶片、电路)以实现之。

于一实施例中，状态控制器610与监测模块620可以与应用程序层通信连结。

于一实施例中，状态控制器610与监测模块620可以与应用程序API层通信连结。

于一实施例中，状态控制器610与监测模块620可以与推理模型30连结。

图6中的虚线回圈，代表人工智能模型运算加速系统100正常运作。在步骤615中，状态控制器610判断是否发生帧流程停滞事件。若否，则状态控制器610传送一正常信息给监测模块620，监测模块620回传一保持现有推理模型信息给状态控制器610。

图6中的实线部分的流程，代表人工智能模型运算加速系统100发生一帧流程停滞事件。在步骤615中，状态控制器610判断是否发生帧流程停滞事件，若是，则发送一资料更新信息到监测模块620，监测模块620取得当下正在运行的一当前装置名称、一当前模型名称及程序名称，并将此些资料传到推理模型30，使推理模型30得知发生一帧流程停滞事件，且需要利用此些资料进行步骤630，以重新训练模型(model retrain)。

因此，当推理模型30判断发生帧流程停滞事件，则推理模型30取得当下正在运行的当前装置名称、当前模型名称及程序名称，将此三者视为一资料组合，并降低资料组合的一权重，以重新调整推理模型30，并产生新的推理模型30’。

藉此，新的推理模型30’将降低此三者(当前装置名称、当前模型名称及程序名称)协同运作的配置机率，换言之，新的推理模型30’接收到此程序名称时，会依据降低资料组合的权重，减少输出此当前装置名称及此当前模型名称的组合；因此，新的推理模型30’能大幅降低发生帧流程停滞事件的配置方式，进而达到优化推理模型30的效果。

本发明所示之人工智能模型运算加速系统及人工智能模型运算加速方法，解决了因为有AI运算需求，让AI加速装置过于忙碌的问题，藉此可让使用者在使用各种应用程序的时候，即使需要运行多个AI模型，也能使系统运行更为顺畅，减少画面停滞的情形，提升使用者体验，并且达到让推理模型自适性优化运算速度的效果。

虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明之精神和范围内，当可作各种之更动与润饰，因此本发明之保护范围当视权利要求书所界定者为准。

Claims (18)

1.一种人工智能模型运算加速系统，包含：

一应用程序层，用以开启一应用程序，通过一处理装置取得运行该应用程序所需的复数个AI模型及该些AI模型各自对应的一模型名称，并列举复数个运算装置及该些运算装置各自对应的一装置名称；以及

一推理模型，用以取得该应用程序的一程序名称，并接收该些AI模型各自对应的该模型名称，并接收该些运算装置各自对应的该装置名称，依据该些AI模型名称及该些装置名称作为输入资料，以输出一推理结果；其中，该推理结果包含一特定装置名称及一特定AI模型名称；

其中，该推理模型将该推理结果传送到一应用程序API层，该API层由该应用程序取得该些AI模型，并在执行阶段时，依据该推理结果，将该特定AI模型名称对应的该AI模型指定给该特定装置名称对应的该运算装置进行运算。

2.如权利要求1所述的人工智能模型运算加速系统，其特征在于，在执行阶段时，该API层通过一加速装置引擎，将该特定AI模型名称对应的该AI模型传送到该特定装置名称对应的该运算装置的一暂存空间。

3.如权利要求1所述的人工智能模型运算加速系统，其特征在于，该推理模型系已完成训练的模型。

4.如权利要求1所述的人工智能模型运算加速系统，其特征在于，该推理模型在训练阶段时，需要收集复数个资料集，该些资料集作为一训练资料集，该些资料集包含：该程序名称、一帧率及帧流程停滞次数、一模型名称与对应的该装置名称、一平均帧流程停滞时间及装置名称。

5.如权利要求4所述的人工智能模型运算加速系统，其特征在于，该推理模型在训练阶段时，将该些资料集输入一类神经网路，以训练出该推理模型。

6.如权利要求1所述的人工智能模型运算加速系统，其特征在于，当该应用程序开启后，一处理装置取得该程序名称及该些装置名称，并将该程序名称及该些装置名称输入该推理模型，该推理模型判断该程序名称是否有对应到该些模型名称的其中至少之一者；以及

当该推理模型判断该程序名称对应到该些模型名称的其中至少之一者，则该推理模型进一步判断是否该些装置名称所对应的该些运算装置中，包含任何一运算装置使一帧流程停滞时间为零；

当该推理模型判断该些装置名称所对应的该些运算装置中，包含一运算装置使该帧流程停滞时间为零，则该推理模型将使该帧流程停滞时间为零的该运算装置视为一特定运算装置，将该些模型名称的其中至少之一者所对应的该AI模型暂存到该特定运算装置对应的一特定暂存器中。

7.如权利要求6所述的人工智能模型运算加速系统，其特征在于，当该推理模型判断该程序名称没有对应到该些模型名称的其中至少之一者，则该推理模型取得一平均帧流程停滞时间及该些装置名称，并藉由一优先选项处理器，将该程序名称暂存到一优选装置的一优选暂存器中。

8.如权利要求6所述的人工智能模型运算加速系统，其特征在于，当该推理模型判断该些装置名称所对应的该些运算装置中，不包含任何一运算装置使该帧流程停滞时间为零，则该推理模型取得一帧流程停滞时间、一帧率及该些装置名称，并藉由一优先选项处理器，将该些模型名称对应的该些AI模型暂存到对应一优选装置的一优选暂存器中。

9.如权利要求6所述的人工智能模型运算加速系统，其特征在于，当该推理模型判断发生一帧流程停滞事件，则该推理模型取得当下正在运行的一当前装置名称、一当前模型名称及该程序名称，将此三者视为一资料组合，并降低该资料组合的一权重，以重新调整该推理模型，并产生新的推理模型。

10.一种人工智能模型运算加速方法，包含：

开启一应用程序，取得运行该应用程序所需的复数个AI模型及该些AI模型各自对应的一模型名称，并列举复数个运算装置及该些运算装置各自对应的一装置名称；

通过一推理模型以取得该应用程序的一程序名称；

通过该推理模型接收该些AI模型各自对应的该模型名称，并接收该些运算装置各自对应的该装置名称；以及

通过该推理模型依据该些AI模型名称及该些装置名称作为输入资料，以输出一推理结果；其中，该推理结果包含一特定装置名称及一特定AI模型名称；

其中，该推理模型将该推理结果传送到一应用程序API层，该API层由该应用程序取得该些AI模型，并在执行阶段时，依据该推理结果，将该特定AI模型名称对应的该AI模型指定给该特定装置名称对应的该运算装置进行运算。

11.如权利要求10所述的人工智能模型运算加速方法，其特征在于，在执行阶段时，该API层通过一加速装置引擎，将该特定AI模型名称对应的该AI模型传送到该特定装置名称对应的该运算装置的一暂存空间。

12.如权利要求10所述的人工智能模型运算加速方法，其特征在于，该推理模型系已完成训练的模型。

13.如权利要求10所述的人工智能模型运算加速方法，其特征在于，该推理模型在训练阶段时，需要收集复数个资料集，该些资料集作为一训练资料集，该些资料集包含：该程序名称、一帧率及帧流程停滞次数、一模型名称与对应的该装置名称、一平均帧流程停滞时间及装置名称。

14.如权利要求13所述的人工智能模型运算加速方法，其特征在于，该推理模型在训练阶段时，将该些资料集输入一类神经网路，以训练出该推理模型。

15.如权利要求10所述的人工智能模型运算加速方法，其特征在于，当该应用程序开启后，更包含：

通过一处理装置取得该程序名称及该些装置名称，并将该程序名称及该些装置名称输入该推理模型；

通过该推理模型判断该程序名称是否有对应到该些模型名称的其中至少之一者；以及

当该推理模型判断该程序名称对应到该些模型名称的其中至少之一者，则该推理模型进一步判断是否该些装置名称所对应的该些运算装置中，包含任何一运算装置使一帧流程停滞时间为零；

当该推理模型判断该些装置名称所对应的该些运算装置中，包含一运算装置使该帧流程停滞时间为零，则该推理模型将使该帧流程停滞时间为零的该运算装置视为一特定运算装置，将该些模型名称的其中至少之一者所对应的该AI模型暂存到该特定运算装置对应的一特定暂存器中。

16.如权利要求15所述的人工智能模型运算加速方法，其特征在于，当该推理模型判断该程序名称没有对应到该些模型名称的其中至少之一者，则该推理模型取得一平均帧流程停滞时间及该些装置名称，并藉由一优先选项处理器，将该程序名称暂存到一优选装置的一优选暂存器中。

17.如权利要求15所述的人工智能模型运算加速方法，其特征在于，当该推理模型判断该些装置名称所对应的该些运算装置中，不包含任何一运算装置使该帧流程停滞时间为零，则该推理模型取得一帧流程停滞时间、一帧率及该些装置名称，并藉由一优先选项处理器，将该些模型名称对应的该些AI模型暂存到对应一优选装置的一优选暂存器中。

18.如权利要求15所述的人工智能模型运算加速方法，其特征在于，当该推理模型判断发生一帧流程停滞事件，则该推理模型取得当下正在运行的一当前装置名称、一当前模型名称及该程序名称，将此三者视为一资料组合，并降低该资料组合的一权重，以重新调整该推理模型，并产生新的推理模型。