CN111860844A - 推理框架的执行方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种推理框架的执行方法、装置及存储介质。其中，执行方法包括：第一终端响应于应用程序的启动指令，向策略中心服务器发送策略请求，策略中心服务器根据策略请求和历史运行数据，确定第一终端执行推理框架的策略，策略中心服务器向第一终端发送策略响应，该策略响应用于指示第一终端采用主进程或者独立进程执行推理框架，终端根据策略响应执行推理框架。上述方法可动态配置第一终端的执行策略，确保第一终端执行推理框架的稳定性。

Description

推理框架的执行方法、装置及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种推理框架的执行方法、装置及存储介质。

背景技术

随着人工智能技术的不断发展，人工智能在移动终端的应用越来越普遍。许多公司都推出了移动端的推理框架，例如TensorFlow lite、Core ML、Caffe、NCNN、MACE、MNN等，在该推理框架上建立不同应用类型的推理模型，用于图像检测、声音识别等。

安卓终端的推理框架通过Java本地接口(Java Native Interface,JNI)调用native库代码执行推理过程，推理框架执行推理过程可以包括以下五个环节：初始化、前处理、执行推理、后处理、回收资源。上述任何一个环节出现崩溃，将导致安卓应用崩溃。目前的方案是通过独立进程执行推理过程，实现主进程和独立进程的隔离，从而防止用户主进程崩溃。

然而，在上述方案中，执行推理过程时，涉及主进程和独立进程之间的数据传输，且在数据传输前需要对数据进行序列化或者反序列化处理，如果待处理的数据量较大时，终端的执行时间较长，影响终端的处理性能。

发明内容

本发明提供一种推理框架的执行方法、装置及存储介质，实现动态调整终端推理框架的运行策略，提升终端执行推理框架的稳定性。

本发明的第一方面提供一种推理框架的执行方法，该方法应用于终端侧，包括：响应于应用程序的启动指令，向策略中心服务器发送策略请求；接收所述策略中心服务器返回的策略响应，所述策略响应用于指示所述第一终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；根据所处策略响应执行所述推理框架。

可选的，所述策略请求包括设备标识和/或机型标识。

在一种可能的实现方式中，所述根据所述策略响应执行所述推理框架之前，还包括：根据所述策略响应更新缓存策略，所述缓存策略是所述策略中心服务器最近一次指示的所述第一终端执行所述推理框架的策略。

在一种可能的实现方式中，若在预设时段内未接收到所述策略中心服务器返回的策略响应，所述方法还包括：确定本地是否存在所述缓存策略；若确定存在所述缓存策略，根据所述缓存策略执行所述推理框架；或者，若确定不存在所述缓存策略，根据所述第一终端默认的执行策略执行所述推理框架。

在一种可能的实现方式中，执行所述推理框架的过程中，还包括：向所述策略中心服务器上报运行数据，所述运行数据用于指示所述策略中心服务器所述第一终端执行所述推理框架的运行状态。

可选的，所述运行数据包括设备标识、机型标识、操作类型以及所述操作类型的操作时间。

本发明的第二方面提供一种推理框架的执行方法，该方法应用于服务器侧，包括：接收第一终端发送的策略请求；根据所述策略请求和历史运行数据，确定所述第一终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；向所述第一终端发送策略响应，所述策略响应用于指示所述第一终端执行所述推理框架的策略。

可选的，所述历史运行数据包括所述第一终端上报的历史运行数据；或者，所述第一终端上报的历史运行数据以及其他终端上报的历史运行数据；其中，所述其他终端是与所述第一终端具有相同机型标识的终端。

可选的，所述策略请求包括设备标识和/或机型标识。

在一种可能的实现方式中，所述策略请求包括所述设备标识和所述机型标识；所述根据所述策略请求和历史运行数据，确定所述第一终端执行所述推理框架的策略，包括：根据所述设备标识和所述第一终端上报的历史运行数据，确定所述第一终端执行所述推理框架的崩溃次数；根据所述机型标识、所述第一终端上报的历史运行数据和其他终端上报的历史运行数据，确定所述机型执行所述推理框架的崩溃率；根据所述崩溃次数和所述崩溃率，确定所述第一终端执行所述推理框架的策略。

在一种可能的实现方式中，所述根据所述崩溃次数和所述崩溃率，确定所述第一终端执行所述推理框架的策略，包括：若所述崩溃次数大于预设次数，确定所述第一终端采用独立进程执行所述推理框架；或者，若所述崩溃次数小于或者等于所述预设次数，且所述崩溃率大于或者等于预设崩溃率，确定所述第一终端采用独立进程执行所述推理框架；或者，若所述崩溃次数小于或者等于所述预设次数，且所述崩溃率小于所述预设崩溃率，确定所述第一终端采用主进程执行所述推理框架。

在一种可能的实现方式中，所述策略请求包括所述设备标识；所述根据所述策略请求和历史运行数据，确定所述第一终端执行所述推理框架的策略，包括：根据所述设备标识和所述第一终端上报的历史运行数据，确定所述第一终端执行所述推理框架的崩溃次数；若所述崩溃次数大于预设次数，确定所述第一终端采用独立进程执行所述推理框架；或者，若所述崩溃次数小于或者等于所述预设次数，确定所述第一终端采用主进程执行所述推理框架。

在一种可能的实现方式中，所述接收第一终端发送的策略请求之前，还包括：接收不同终端上报的运行数据，所述运行数据用于指示各个终端执行所述推理框架的运行状态；存储所述运行数据。

可选的，所述运行数据包括设备标识、机型标识、操作类型以及所述操作类型的操作时间。

本发明的第三方面提供一种终端，包括：发送模块，用于响应于应用程序的启动指令，向策略中心服务器发送策略请求；接收模块，用于接收所述策略中心服务器返回的策略响应，所述策略响应用于指示所述终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；执行模块，用于根据所处策略响应执行所述推理框架。

本发明的第四方面提供一种服务器，包括：接收模块，用于接收终端发送的策略请求；执行模块，用于根据所述策略请求和历史运行数据，确定所述终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；发送模块，用于向所述终端发送策略响应，所述策略响应用于指示所述终端执行所述推理框架的策略。

本发明的第五方面提供一种终端，包括：存储器，处理器以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如本发明的第一方面中任一项所述的方法。

本发明的第六方面提供一种服务器，包括：存储器，处理器以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如本发明的第二方面中任一项所述的方法。

本发明的第七方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如本发明的第一方面中任一项所述的方法。

本发明的第八方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如本发明的第二方面中任一项所述的方法。

本发明提供一种推理框架的执行方法、装置及存储介质。其中，执行方法包括：第一终端响应于应用程序的启动指令，向策略中心服务器发送策略请求，策略中心服务器根据策略请求和历史运行数据，确定第一终端执行推理框架的策略，策略中心服务器向第一终端发送策略响应，该策略响应用于指示第一终端采用主进程或者独立进程执行推理框架，终端根据策略响应执行推理框架。上述方法可动态配置第一终端的执行策略，确保第一终端执行推理框架的稳定性。

附图说明

图1为本发明实施例提供的推理框架的执行方法的系统架构图；

图2为本发明实施例提供的终端执行推理框架的运行示意图；

图3为本发明一实施例提供的推理框架的执行方法的交互图；

图4为本发明一实施例提供的确定终端推理框架执行策略的流程图；

图5为本发明另一实施例提供的确定终端推理框架执行策略的流程图；

图6为本发明又一实施例提供的确定终端推理框架执行策略的流程图；

图7为本发明一实施例提供的终端与策略中心服务器之间数据传输的交互图；

图8为本发明一实施例提供的终端的结构示意图；

图9为本发明一实施例提供的服务器的结构示意图；

图10为本发明一实施例提供的终端的硬件结构示意图；

图11为本发明一实施例提供的服务器的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着人工智能技术的不断发展，人工智能在移动终端的应用越来越普遍。开发人员可以基于移动端的推理框架创建不同应用类型的推理模型，例如图像检测模型、语音识别模型等等，推理框架以及推理模型运行的稳定性将直接影响用户的实际体验。

以安卓平台为例，推理框架可通过JNI调用native库代码执行推理过程(即运行推理模型)。其中，执行推理过程可以包括以下五个环节：初始化、前处理、执行推理、后处理、回收资源。示例性的，提供如下的一种应用场景：用户当前打开一个应用程序APP，通过该APP的图像检测模型识别拍摄图像中的商品，获取图像中该商品的特征信息，并向用户推荐与该商品类似的购物链接。在该场景中，执行上述推理过程：初始化是用户开启该APP时终端的执行动作，用于加载推理框架和推理模型；前处理用于将输入数据转换成推理模型需要的输入数据，例如，对拍摄图像的尺寸进行缩放处理等，使得待检测图像满足图像检测模型的输入要求；执行推理是推理模型的执行过程，例如，图像检测模型的运行过程，最终输出待检测图像中商品的特征信息；后处理用于将推理模型的输出数据转换成业务输出数据，例如，图像检测模型输出数组1[0,0,1,0,0,0,0,0,0]以及数组2[1,0,0,0,0,0,0,0,0]，将数组转换成检测对象的标识，数组1对应检测对象为银行卡的标识，数据2对应检测对象为公交卡的标识；回收资源是指在执行完上述推理过程之后，从内存中清除加载的推理框架和推理模型。如果上述推理过程运行在主进程中，上述任何一个环节出现崩溃，将导致整个APP崩溃，用户只能通过重启APP，重复操作以获取需要的信息，导致用户体验不佳。

为了解决上述问题，目前一种较为成熟的方案是通过独立进程运行推理模型，实现主进程和独立进程的隔离，从而防止主进程崩溃。基于该方案，执行推理过程中需要给推理模型输入数据，例如，上述实例中给图像检测模型输入经过前处理后的图像数据，此时需要将数据从用户主进程传输至独立进程，主进程和独立进程之间的数据传输还涉及到数据的序列化/反序列化，一旦需要处理的数据量较大时，终端的执行时间较长，影响终端的处理性能，也会导致用户体验不佳。

综上可知，将推理过程固化在主进程中，一旦执行推理框架的过程中出现崩溃，整个APP也将崩溃；将推理过程固化在独立进程中，主进程与独立进程之间的数据传输量较大时，对终端执行速度的影响也较大。基于此，本发明实施例提供一种推理框架的执行方法，不局限于将终端推理框架的执行过程固定在独立进程或者主进程中执行，而是通过与服务端的交互，动态地获取服务端为终端配置的运行策略，根据动态配置的运行策略执行推理框架。由于服务器在动态配置运行策略时充分考虑了终端的历史运行情况以及该终端同一机型的其他终端的历史运行情况，因此可获知该终端在主进程或者独立进程中崩溃的次数，以及该终端机型在执行推理框架时整体的崩溃率，从而确定适合该终端的运行策略。通过本实施例提供的方法，为各个终端配置最佳的运行策略，确保终端执行推理框架的稳定性。

图1为本发明实施例提供的推理框架的执行方法的系统架构图。如图1所示，本实施例提供的系统包括策略中心服务器11以及多个终端(图1所示的终端12、终端13、终端14、终端15)。其中，策略中心服务器11分别与终端12、终端13、终端14、终端15通信连接。不同的终端具有不同的设备标识，设备标识唯一确定终端。终端12、终端13、终端14具有相同的机型标识，终端15的机型标识不同于终端12、终端13、终端14。

图2为本发明实施例提供的终端执行推理框架的运行示意图。图1所示的任意终端均可以通过图2执行推理框架，如图2所示，终端通过决策流程确定采用独立进程或者主进程执行推理框架。决策流程中，终端需要与策略中心服务器交互，通过访问策略中心服务器，获取策略中心服务器指示的运行策略。当策略中心服务器指示终端采用独立进程执行推理框架时，主进程绑定独立进程，在绑定成功后，主进程和独立进程通过安卓接口定义语言(Android Interface Definition Language，AIDL)进行通信，即通过Binder机制来实现进程间通信。为了保证进程之间数据传输的效率，可使用Protostuff对待传输数据进行序列化或者反序列化处理。其中，序列化是将数据结构转换成二进制数据流或者文本流的过程。序列化之后的数据方便在网络上传输和在硬盘上存储。反序列化是与序列化相反的过程，是将二进制数据流或者文本流转换成易于处理和阅读的数据结构的过程。两者的本质其实还是一种协议，一种数据格式，方便数据的存储和传输。

需要说明的是，终端无论是通过主进程还是独立进程执行推理框架，其执行推理的过程均相同，包括初始化、前处理、执行推理、后处理以及回收资源，如图2所示。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图3为本发明一实施例提供的推理框架的执行方法的交互图。如图3所示，该方法包括如下步骤：

S101、第一终端响应于应用程序的启动指令，向策略中心服务器发送策略请求。

在本实施例中，策略请求包括设备标识和/或机型标识。设备标识唯一确定终端设备，机型标识唯一标识终端设备的机型。应理解，不同终端的设备标识必然不同，不同设备的机型标识可能相同也可能不同。

S102、策略中心服务器根据策略请求和历史运行数据，确定第一终端执行推理框架的策略。其中，第一终端执行推理框架的策略包括主进程执行策略或者独立进程执行策略。

由S101可知，策略请求包括设备标识和/或机型标识。若策略请求包括设备标识，相应的，历史运行数据包括第一终端上报的历史运行数据；若策略请求包括设备标识和机型标识，相应的，历史运行数据包括第一终端上报的历史运行数据以及其他终端上报的历史运行数据。其中，其他终端是指与该第一终端具有相同机型标识的终端。若策略请求包括机型标识，相应的，历史运行数据包括其他终端上报的历史运行数据。策略请求中携带的标识不同，策略中心服务器的决策方式存在一定的差异。

具体的，策略中心服务器根据策略请求和历史运行数据，确定第一终端执行推理框架的策略包括如下几种实现方式：

在一种可能的实现方式中，策略中心服务器根据策略请求中的设备标识和第一终端上报的历史运行数据，确定该第一终端执行推理框架的策略。

在另一种可能的实现方式中，策略中心服务器根据策略请求中的设备标识和机型标识、第一终端上报的历史运行数据以及其他终端上报的历史运行数据，确定该第一终端执行推理框架的策略。

由于第二种实现方式在确定第一终端的执行策略时，考虑了与其机型标识相同的其他终端的运行情况，决策结果相较于第一种实现方式更加准确。

在又一种可能的实现方式中，策略中心服务器根据策略请求中的机型标识和该机型标识对应的所有终端上报的历史运行数据，确定第一终端执行推理框架的策略。

下面结合附图4、附图5、附图6对上述三种实现方式进行详细说明。

图4为本发明一实施例提供的确定终端推理框架执行策略的流程图。如图4所示，该方法的执行主体为策略中心服务器，具体包括如下步骤：

S201、根据设备标识和第一终端上报的历史运行数据，确定第一终端执行推理框架的崩溃次数。

在本实施例中，第一终端上报的历史运行数据包括设备标识、机型标识、操作类型以及操作类型的操作时间。其中，操作类型包括执行推理过程的五个操作，分别是初始化、前处理、执行推理、后处理、回收资源。操作类型的操作时间包括执行某一操作的开始时间和结束时间。

具体的，第一终端上报历史运行数据的触发场景包括如下几种场景：

(1)响应于应用程序的启动指令，本地如有未上传的运行数据，可以立刻上传该运行数据。

(2)初始化推理框架后，可以立刻上传初始化相关的运行数据，包括初始化操作的开始时间和结束时间。

(3)在完成一次完整的数据前处理、执行推理和数据后处理之后，可以上传运行数据，包括前处理、执行推理以及后处理的开始时间和结束时间。该运行数据不会立刻上传，需要判断当前时刻与上一次上传时刻的时间差值是否大于预设差值，或者，判断本地采集的待上传数据的总帧数是否大于预设帧数，若时间差至大于预设差值，或者，待上传数据的总帧数大于预设帧数，上传运行数据。

(4)回收资源执行完毕后，可以立刻上传运行数据，包括回收资源的开始时间和结束时间。

在本实施例中，策略中心服务器根据第一终端上报的运行数据，确定该第一终端在某一预设时段内的崩溃次数，具体的统计方式为：若第一终端上报的运行数据中的某一操作类型仅记录了开始时间，则认为该第一终端在执行推理框架过程中发生了一次崩溃。

需要指出的是，第一终端可以通过主进程或者独立进程执行推理框架，因此，执行推理框架过程中发生的崩溃包括主进程崩溃或者独立进程崩溃。策略中心服务器统计的第一终端执行推理框架的崩溃次数包括在主进程执行推理框架的崩溃次数和独立进程执行推理框架的崩溃次数。

S202、若崩溃次数大于预设次数，确定第一终端采用独立进程执行推理框架。

S203、若崩溃次数小于或者等于预设次数，确定第一终端采用主进程执行推理框架。

示例性的，预设次数可以设置为0，若崩溃次数等于0，则说明该第一终端执行推理框架的稳定性较高，为了避免进程之间数据传输影响执行效率，策略中心服务器可判定该第一终端采用主进程执行推理框架。若崩溃次数大于0，例如3次，则说明该第一终端执行推理框架的稳定性较差，为了降低崩溃次数，策略中心服务器可判定该第一终端采用独立进程执行推理框架，独立进程的崩溃并不会影响主进程的执行过程，可有效改善该第一终端执行推理框架的稳定性。

本方案中，策略中心服务器主要通过第一终端自身的历史运行情况进行策略判定，实现动态调整第一终端的执行策略，能够改善第一终端执行推理框架的稳定性。

图5为本发明另一实施例提供的确定终端推理框架执行策略的流程图。如图5所示，该方法的执行主体为策略中心服务器，具体包括如下步骤：

S301、根据设备标识和第一终端上报的历史运行数据，确定第一终端执行推理框架的崩溃次数。

本实施例的S301同上述实施例的S201，具体可参见上述实施例，此处不再赘述。

S302、根据机型标识、第一终端上报的历史运行数据和其他终端上报的历史运行数据，确定机型执行推理框架的崩溃率。

在本实施例中，其他终端上报的历史运行数据同S201中第一终端上报的历史运行数据，具体可参见上述实施例。

具体的，策略中心服务器根据机型标识、第一终端上报的历史运行数据和其他终端上报的历史运行数据，确定该机型在预设时段内的崩溃率，具体的统计方式为：统计在预设时段内上报历史运行数据的该机型标识的所有终端的第一数量；统计在该预设时段内至少发生过一次崩溃的该机型标识的所有终端的第二数量，即只要该机型标识对应的某一终端在该预设时段内发生过一次崩溃，则将第二数量加一。崩溃率可以用如下公式表示：

某一机型的崩溃率＝第二数量/第一数量。

由此可见，某一机型的崩溃率用于指示该机型的设备在执行推理框架时发生崩溃的概率。

S303、根据崩溃次数和崩溃率，确定第一终端执行推理框架的策略。

具体的，若崩溃次数大于预设次数，确定第一终端采用独立进程执行推理框架；或者，若崩溃次数小于或者等于预设次数，且崩溃率大于或者等于预设崩溃率，确定第一终端采用独立进程执行推理框架；或者，若崩溃次数小于或者等于预设次数，且崩溃率小于预设崩溃率，确定第一终端采用主进程执行推理框架。

示例性的，预设次数可以设置为0，预设崩溃次数可以设置为0.01％。若第一终端的崩溃次数大于0，则说明该第一终端执行推理框架的稳定性较差，为了降低崩溃次数，策略中心服务器可直接判定该第一终端采用独立进程执行推理框架；若第一终端的崩溃次数等于0，且该第一终端对应的机型的崩溃率大于或者等于0.01％，则说明该机型整体执行推理框架的稳定性不高，虽然当前第一终端没有发生过崩溃，但不代表以后不会发生崩溃，因此，结合该机型的统计情况，策略中心服务器可判定该第一终端采用独立进程执行推理框架；若第一终端的崩溃次数等于0，且该第一终端对应的机型的崩溃率小于0.01％，则说明该机型整体执行推理框架的稳定性较高，因此，结合该机型的统计情况，策略中心服务器可判定该第一终端采用主进程执行推理框架。

本方案中，策略中心服务器结合第一终端自身的历史运行情况以及与第一终端机型一致的其他终端的历史运行情况进行综合判定，实现动态调整第一终端的执行策略，能够有效地改善第一终端执行推理框架的稳定性，与上述方案相比，判定的准确率更高。

图6为本发明又一实施例提供的确定终端推理框架执行策略的流程图。如图6所示，该方法的执行主体为策略中心服务器，具体包括如下步骤：

S401、根据机型标识获取机型标识对应的所有终端的历史运行数据。

在本实施例中，机型标识对应的所有终端的历史运行数据包括第一终端的历史运行数据以及机型标识对应的除了第一终端之外的其他终端的历史运行数据。

S402、根据所述机型标识对应的所有终端的历史运行数据，确定机型执行推理框架的崩溃率。

本实施例的S402与上述实施例的S302类似，具体可参见上述实施例，此处不再赘述。

S403、若崩溃率大于或者等于预设崩溃率，确定第一终端采用独立进程执行推理框架。

S404、若崩溃率小于预设崩溃率，确定第一终端采用主进程执行推理框架。

示例性的，预设崩溃次数可以设置为0.01％。若该第一终端对应的机型的崩溃率大于或者等于0.01％，不论该第一终端是否发生过崩溃(即不考虑第一终端的崩溃次数)，策略中心服务器可判定该第一终端采用独立进程执行推理框架；若该第一终端对应的机型的崩溃率小于0.01％，不论该第一终端是否发生过崩溃，策略中心服务器可判定该第一终端采用主进程执行推理框架。

本方案中，策略中心服务器主要通过获取第一终端的机型标识，统计该机型标识对应的崩溃率，根据机型标识对应的崩溃率进行策略判定，实现动态调整第一终端的执行策略，能够改善第一终端执行推理框架的稳定性。

应理解，不论上述哪一种方案，随着终端推理框架以及推理框架上推理模型的不断升级，不同终端或者不同机型的设备的崩溃率将逐渐下降，通过本发明提供的服务端动态调整策略，可有效改善各个终端执行推理框架的稳定性。

S103、策略中心服务器向终端发送策略响应，策略响应用于指示终端执行推理框架的策略。

S104、终端根据策略响应执行推理框架。

本发明实施例提供的推理框架的执行方法，第一终端响应于应用程序的启动指令，向策略中心服务器发送策略请求，策略中心服务器根据策略请求和历史运行数据，确定第一终端执行推理框架的策略，策略中心服务器向第一终端发送策略响应，该策略响应用于指示第一终端采用主进程或者独立进程执行推理框架，终端根据策略响应执行推理框架。上述方法可动态配置第一终端的执行策略，确保第一终端执行推理框架的稳定性。

在上述实施例中，存在一种可能的情况，由于网络侧的问题，终端与策略中心服务器连接失效，此时终端无法发送策略请求，或者终端在发送策略请求后，无法接收到策略中心服务器返回的策略响应。基于此，本发明实施例提供如下解决方案：

终端确定本地是否存在缓存策略，若确定存在缓存策略，终端根据缓存策略执行推理框架。其中缓存策略是指策略中心服务器最近一次指示的终端执行推理框架的策略，该缓存策略可以是主进程执行策略或者独立进程执行策略。若确定不存在缓存策略，终端根据默认的执行策略执行推理框架，通常，默认的执行策略为独立进程执行策略。

上述实施例公开了终端通过策略中心服务器获取动态配置的执行推理框架的运行策略，以及策略中心服务器如何决策某一终端的运行策略。其中，策略中心服务器需要根据策略请求和历史运行数据，确定终端执行推理框架的运行策略，历史运行数据是策略中心服务器存储的各个终端上报的运行数据。下面结合附图7对终端与策略中心服务器之间的数据传输过程进行详细的说明。

图7为本发明一实施例提供的终端与策略中心服务器之间数据传输的交互图。如图7所示，本实施例提供的数据传输过程包括：

终端响应于宿主APP的启动指令，执行初始化操作，首先通过业务封装SDK确定是否有未上传的崩溃记录。如果有未上传的崩溃记录，向策略中心服务器发送未上传的崩溃记录；如果没有未上传的崩溃记录，业务封装SDK记录初始化的开始时间，推理框架SDK执行初始化操作，业务封装SDK记录初始化的结束时间。在初始化操作结束后，业务封装SDK向策略中心服务器发送初始化成功的信息，该信息包括初始化操作的运行数据。

终端接收AI业务调用，通过业务封装SDK执行前处理和后处理操作，通过推理框架SDK执行推理操作，该过程中业务封装SDK分别记录前处理、执行推理以及后处理的开始时间和结束时间，并在后处理操作结束后，向策略中心服务器发送推理执行成功的信息，该信息包括前处理、执行推理以及后处理的运行数据。需要说明的是，上述的前处理和后处理操作由业务封装SDK执行，而不在推理框架SDK中执行。其中，业务封装SDK通常在主进程中运行。但是，当涉及使用native代码进行图像处理，且终端采用独立进程执行推理框架时，前处理和后处理操作也可以在独立进程中运行，从而防止不可捕获的异常导致主进程的崩溃。

终端检测到宿主APP切换至后台时，业务封装SDK会清除本地记录的各个操作对应的开始时间和结束时间(也称为打点记录)。

终端响应于宿主APP的回收资源指令，执行回收资源，通过推理框架SDK执行回收资源操作，该过程中业务封装SDK分别记录回收资源的开始时间和结束时间，并在回收资源结束后，向策略中心服务器发送资源回收成功的信息，该信息包括回收资源的运行数据。

综上，策略中心服务器可实时地接收各个终端上报的运行数据，并将这些运行数据保存起来。需要说明的是，上述运行数据除了包括终端执行各个操作的开始时间和结束时间之外，还包括设备标识以及机型标识。可选的，由于同一推理框架上可以运行的推理模型的种类较多，运行数据还可以包括推理模型的标识。策略中心服务器在接收到不同终端发送的策略请求时，可以从数据库中获取该终端的历史运行期数据，或者与该终端相关的其他终端的历史运行数据，从而进行较为准确的策略指导，向该终端发送策略响应，实现动态调整终端运行策略，提升终端执行推理框架的稳定性。

图8为本发明一实施例提供的终端的结构示意图。如图8所示，该终端500包括：

发送模块501，用于响应于应用程序的启动指令，向策略中心服务器发送策略请求；

接收模块502，用于接收所述策略中心服务器返回的策略响应，所述策略响应用于指示所述第一终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；

执行模块503，用于根据所处策略响应执行所述推理框架。

可选的，所述策略请求包括设备标识和/或机型标识。

可选的，在执行模块503根据所述策略响应执行所述推理框架之前，还用于：

根据所述策略响应更新缓存策略，所述缓存策略是所述策略中心服务器最近一次指示的所述第一终端执行所述推理框架的策略。

可选的，若接收模块502在预设时段内未接收到所述策略中心服务器返回的策略响应，执行模块503，还用于：

确定本地是否存在所述缓存策略；

若确定存在所述缓存策略，根据所述缓存策略执行所述推理框架；或者

若确定不存在所述缓存策略，根据所述第一终端默认的执行策略执行所述推理框架。

可选的，执行所述推理框架的过程中，发送模块501，还用于：

向所述策略中心服务器上报运行数据，所述运行数据用于指示所述策略中心服务器所述第一终端执行所述推理框架的运行状态。

可选的，所述运行数据包括设备标识、机型标识、操作类型以及所述操作类型的操作时间。

本实施例提供的终端，可以执行上述任一方法实施例中第一终端的技术方案，其实现原理和技术效果类似，此处不再赘述。

图9为本发明一实施例提供的服务器的结构示意图。如图9所示，该服务器600包括：

接收模块601，用于接收第一终端发送的策略请求；

执行模块602，用于根据所述策略请求和历史运行数据，确定所述第一终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；

发送模块603，用于向所述第一终端发送策略响应，所述策略响应用于指示所述第一终端执行所述推理框架的策略。

可选的，所述历史运行数据包括所述第一终端上报的历史运行数据；或者，所述第一终端上报的历史运行数据以及其他终端上报的历史运行数据；其中，所述其他终端是与所述第一终端具有相同机型标识的终端。

可选的，所述策略请求包括设备标识和/或机型标识。

可选的，所述策略请求包括所述设备标识和所述机型标识；执行模块602，具体用于：

根据所述设备标识和所述第一终端上报的历史运行数据，确定所述第一终端执行所述推理框架的崩溃次数；

根据所述机型标识、所述第一终端上报的历史运行数据和其他终端上报的历史运行数据，确定所述机型执行所述推理框架的崩溃率；

根据所述崩溃次数和所述崩溃率，确定所述第一终端执行所述推理框架的策略。

可选的，执行模块602，具体用于：

若所述崩溃次数大于预设次数，确定所述第一终端采用独立进程执行所述推理框架；或者

若所述崩溃次数小于或者等于所述预设次数，且所述崩溃率大于或者等于预设崩溃率，确定所述第一终端采用独立进程执行所述推理框架；或者

若所述崩溃次数小于或者等于所述预设次数，且所述崩溃率小于所述预设崩溃率，确定所述第一终端采用主进程执行所述推理框架。

可选的，所述策略请求包括所述设备标识；执行模块602，具体用于：

根据所述设备标识和所述第一终端上报的历史运行数据，确定所述第一终端执行所述推理框架的崩溃次数；

若所述崩溃次数大于预设次数，确定所述第一终端采用独立进程执行所述推理框架；或者

若所述崩溃次数小于或者等于所述预设次数，确定所述第一终端采用主进程执行所述推理框架。

可选的，接收模块601接收第一终端发送的策略请求之前，还用于：

接收不同终端上报的运行数据，所述运行数据用于指示各个终端执行所述推理框架的运行状态；

存储模块604，用于存储所述运行数据。

可选的，所述运行数据包括设备标识、机型标识、操作类型以及所述操作类型的操作时间。

本实施例提供的服务器，可以执行上述任一方法实施例中策略中心服务器的技术方案，其实现原理和技术效果类似，此处不再赘述。

图10为本发明一实施例提供的终端的硬件结构示意图。如图10所示，本实施例的提供的终端700，包括：

存储器701，处理器702以及计算机程序；

其中，计算机程序存储在存储器701中，并被配置为由处理器702执行以实现上述任一方法实施例中第一终端的技术方案，其实现原理和技术效果类似，此处不再赘述。

可选的，存储器701既可以是独立的，也可以跟处理器702集成在一起。

当存储器701是独立于处理器702之外的器件时，终端700还包括：总线703，用于连接存储器701和处理器702。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器702执行以实现如上任一方法实施例中第一终端所执行的各个步骤。

图11为本发明一实施例提供的服务器的硬件结构示意图。如图11所示，本实施例的提供的服务器800，包括：

存储器801，处理器802以及计算机程序；

其中，计算机程序存储在存储器801中，并被配置为由处理器802执行以实现上述任一方法实施例中策略中心服务器的技术方案，其实现原理和技术效果类似，此处不再赘述。

可选的，存储器801既可以是独立的，也可以跟处理器802集成在一起。

当存储器801是独立于处理器802之外的器件时，服务器800还包括：总线803，用于连接存储器801和处理器802。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器802执行以实现如上任一方法实施例中策略中心服务器所执行的各个步骤。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例中方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或者服务器中。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的范围。

Claims (20)

1.一种推理框架的执行方法，其特征在于，所述方法包括：

响应于应用程序的启动指令，向策略中心服务器发送策略请求；

接收所述策略中心服务器返回的策略响应，所述策略响应用于指示所述第一终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；

根据所处策略响应执行所述推理框架。

2.根据权利要求1所述的方法，其特征在于，所述策略请求包括设备标识和/或机型标识。

3.根据权利要求1所述的方法，其特征在于，所述根据所述策略响应执行所述推理框架之前，还包括：

根据所述策略响应更新缓存策略，所述缓存策略是所述策略中心服务器最近一次指示的所述第一终端执行所述推理框架的策略。

4.根据权利要求1-3中任一项所述的方法，其特征在于，若在预设时段内未接收到所述策略中心服务器返回的策略响应，所述方法还包括：

确定本地是否存在所述缓存策略；

若确定存在所述缓存策略，根据所述缓存策略执行所述推理框架；或者

若确定不存在所述缓存策略，根据所述第一终端默认的执行策略执行所述推理框架。

5.根据权利要求1-3中任一项所述的方法，其特征在于，执行所述推理框架的过程中，还包括：

向所述策略中心服务器上报运行数据，所述运行数据用于指示所述策略中心服务器所述第一终端执行所述推理框架的运行状态。

6.根据权利要求5所述的方法，其特征在于，所述运行数据包括设备标识、机型标识、操作类型以及所述操作类型的操作时间。

7.一种推理框架的执行方法，其特征在于，包括：

接收第一终端发送的策略请求；

根据所述策略请求和历史运行数据，确定所述第一终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；

向所述第一终端发送策略响应，所述策略响应用于指示所述第一终端执行所述推理框架的策略。

8.根据权利要求7所述的方法，其特征在于，所述历史运行数据包括所述第一终端上报的历史运行数据；或者

所述第一终端上报的历史运行数据以及其他终端上报的历史运行数据；

其中，所述其他终端是与所述第一终端具有相同机型标识的终端。

9.根据权利要求7所述的方法，其特征在于，所述策略请求包括设备标识和/或机型标识。

10.根据权利要求7-9中任一项所述的方法，其特征在于，所述策略请求包括设备标识和机型标识；所述根据所述策略请求和历史运行数据，确定所述第一终端执行所述推理框架的策略，包括：

根据所述设备标识和所述第一终端上报的历史运行数据，确定所述第一终端执行所述推理框架的崩溃次数；

根据所述机型标识、所述第一终端上报的历史运行数据和其他终端上报的历史运行数据，确定所述机型执行所述推理框架的崩溃率；

根据所述崩溃次数和所述崩溃率，确定所述第一终端执行所述推理框架的策略。

11.根据权利要求10所述的方法，其特征在于，所述根据所述崩溃次数和所述崩溃率，确定所述第一终端执行所述推理框架的策略，包括：

若所述崩溃次数大于预设次数，确定所述第一终端采用独立进程执行所述推理框架；或者

若所述崩溃次数小于或者等于所述预设次数，且所述崩溃率大于或者等于预设崩溃率，确定所述第一终端采用独立进程执行所述推理框架；或者

若所述崩溃次数小于或者等于所述预设次数，且所述崩溃率小于所述预设崩溃率，确定所述第一终端采用主进程执行所述推理框架。

12.根据权利要求7-9中任一项所述的方法，其特征在于，所述策略请求包括设备标识；所述根据所述策略请求和历史运行数据，确定所述第一终端执行所述推理框架的策略，包括：

根据所述设备标识和所述第一终端上报的历史运行数据，确定所述第一终端执行所述推理框架的崩溃次数；

若所述崩溃次数大于预设次数，确定所述第一终端采用独立进程执行所述推理框架；或者

若所述崩溃次数小于或者等于所述预设次数，确定所述第一终端采用主进程执行所述推理框架。

13.根据权利要求7-9中任一项所述的方法，其特征在于，所述接收第一终端发送的策略请求之前，还包括：

接收不同终端上报的运行数据，所述运行数据用于指示各个终端执行所述推理框架的运行状态；

存储所述运行数据。

14.根据权利要求13所述的方法，其特征在于，所述运行数据包括设备标识、机型标识、操作类型以及所述操作类型的操作时间。

15.一种终端，其特征在于，包括：

发送模块，用于响应于应用程序的启动指令，向策略中心服务器发送策略请求；

接收模块，用于接收所述策略中心服务器返回的策略响应，所述策略响应用于指示所述终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；

执行模块，用于根据所处策略响应执行所述推理框架。

16.一种服务器，其特征在于，包括：

接收模块，用于接收终端发送的策略请求；

执行模块，用于根据所述策略请求和历史运行数据，确定所述终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；

发送模块，用于向所述终端发送策略响应，所述策略响应用于指示所述终端执行所述推理框架的策略。

17.一种终端，其特征在于，包括：

存储器，处理器以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1至6中任一项所述的方法。

18.一种服务器，其特征在于，包括：

存储器，处理器以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求7至14中任一项所述的方法。

19.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至6中任一项所述的方法。

20.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求7至14中任一项所述的方法。

Images