CN113688992B - 一种模型优化系统和方法 - Google Patents

Abstract

本申请提供了一种模型优化系统，系统包括：公共模块、核心模块；公共模块包括任务管理单元；核心模块包括模型优化单元和模型部署单元；任务管理单元，用于获取待优化模型以及待优化模型对应的优化参数、配置参数；根据配置参数，确定目标设备以及目标设备的设备形态参数；模型优化单元，用于根据目标设备的设备形态参数和优化参数，对待优化模型进行优化，得到优化后的模型；模型部署单元，用于将优化后的模型部署至目标设备中。可见，本申请提供的模型优化系统可以针对不同的优化参数、配置参数对模型采取不同的优化手段，即可以通过待优化模型对应的优化参数、配置参数，帮助部署人员选择出最优的模型，减轻模型部署的工作难度，提高部署效率。

Description

一种模型优化系统和方法

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型优化系统和方法。

背景技术

近年来，人工智能领域的研究和发展可谓是与日俱新，各式各样研究成果与应用层出不穷，所处理的问题也愈发的复杂。同时，新的问题也随之而来，5G的发展对模型运行的实时性要求越来越高，对算力所产生的需求也越来越高。目前，迫切需要一种方法在没有特殊硬件加速器的普通手机（或其他边缘设备）上，克服高算力需求，将各种AI应用实时化。在模型研发过程中使用的研发训练框架也对模型部署优化制约，因为模型生产环境和开发环境的不同，涉及到不同角色人员：模型训练是数据科学家和数据分析师的工作，但是模型部署是开发和运维工程师的事情，诸多的机器学习工具如Scikit-Learn，Spark,TensorFlow, MXNet, PyTorch提供给数据科学家们不同的选择，不同的工具，训练框架产生不同格式的模型结果文件，这些不同的格式背后的设计理论也不尽相同，对模型采用的优化算法也会产生重要影响，这些也给模型的部署带来了太多的挑战。

因此，目前，亟需一种易用的模型部署系统，能自动对管理的模型针对所部署的硬件环境采取不同的优化手段，通过对比各种自动优化方案实施后的结果，帮助部署人员选择出最优的模型，减轻模型部署的工作难度，提高部署效率。

发明内容

本申请提供实现了一种，以减轻模型部署的工作难度，提高模型部署效率。

第一方面，本申请提供了一种模型优化系统，所述系统包括：公共模块、核心模块；所述公共模块包括任务管理单元；所述核心模块包括模型优化单元和模型部署单元；

所述任务管理单元，用于获取待优化模型以及所述待优化模型对应的优化参数、配置参数；根据所述配置参数，确定目标设备以及所述目标设备的设备形态参数；

所述模型优化单元，用于根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型进行优化，得到优化后的模型；

所述模型部署单元，用于将所述优化后的模型部署至所述目标设备中。

第二方面，本申请提供了一种模型优化方法，所述方法包括：

获取待优化模型以及所述待优化模型对应的优化参数、配置参数；

根据所述配置参数，确定目标设备以及所述目标设备的设备形态参数；

根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型进行优化，得到优化后的模型；

将所述优化后的模型部署至所述目标设备中。

第三方面，本发明提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第二方面中任一所述的方法。

第四方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第二方面中任一所述的方法。

由上述技术方案可以看出，本申请提供了一种模型优化系统，所述系统包括：公共模块、核心模块；所述公共模块包括任务管理单元；所述核心模块包括模型优化单元和模型部署单元；所述任务管理单元，用于获取待优化模型以及所述待优化模型对应的优化参数、配置参数；根据所述配置参数，确定目标设备以及所述目标设备的设备形态参数；所述模型优化单元，用于根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型进行优化，得到优化后的模型；所述模型部署单元，用于将所述优化后的模型部署至所述目标设备中。可见，本申请提供的模型优化系统可以针对不同的优化参数、配置参数对模型采取不同的优化手段，即可以通过待优化模型对应的优化参数、配置参数，帮助部署人员选择出最优的模型，减轻模型部署的工作难度，提高部署效率。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的一种模型优化系统的结构示意图；

图2为本发明一种模型优化方法的流程示意图；

图3为本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

发明人经研究发现，在模型研发过程中使用的研发训练框架也对模型部署优化制约，因为模型生产环境和开发环境的不同，涉及到不同角色人员：模型训练是数据科学家和数据分析师的工作，但是模型部署是开发和运维工程师的事情，诸多的机器学习工具如Scikit-Learn，Spark, TensorFlow, MXNet, PyTorch提供给数据科学家们不同的选择，不同的工具，训练框架产生不同格式的模型结果文件，这些不同的格式背后的设计理论也不尽相同，对模型采用的优化算法也会产生重要影响，这些也给模型的部署带来了太多的挑战。因此，目前，亟需一种易用的模型部署系统，能自动对管理的模型针对所部署的硬件环境采取不同的优化手段，通过对比各种自动优化方案实施后的结果，帮助部署人员选择出最优的模型，减轻模型部署的工作难度，提高部署效率。

故此，本申请提供了本申请提供了一种模型优化系统，所述系统包括：公共模块、核心模块；所述公共模块包括任务管理单元；所述核心模块包括模型优化单元和模型部署单元；所述任务管理单元，用于获取待优化模型以及所述待优化模型对应的优化参数、配置参数；根据所述配置参数，确定目标设备以及所述目标设备的设备形态参数；所述模型优化单元，用于根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型进行优化，得到优化后的模型；所述模型部署单元，用于将所述优化后的模型部署至所述目标设备中。可见，本申请提供的模型优化系统可以针对不同的优化参数、配置参数自动对管理的模型针对所部署的硬件环境采取不同的优化手段，即可以通过待优化模型对应的优化参数、配置参数对比各种自动优化方案实施后的结果，帮助部署人员选择出最优的模型，减轻模型部署的工作难度，提高部署效率。

下面结合附图，详细说明本申请的各种非限制性实施方式。

参见图1，本申请实施例提供了一种模型优化系统，所述系统包括：公共模块、核心模块；所述公共模块包括任务管理单元；所述核心模块包括模型优化单元和模型部署单元。

所述任务管理单元可以用于获取待优化模型以及所述待优化模型对应的优化参数、配置参数。在本实施例中，待优化模型可以为深度学习神经网络；待优化模型对应的优化参数可以理解为用户预设的需要优化模型的参数，例如可以是具体的模型参数、模型架构等；待优化模型对应的配置参数可以理解为用户预设的用于部署模型的设备的配置要求，例如设备的运行内存要求、CPU要求等。

所述任务管理单元可以根据所述配置参数，确定目标设备以及所述目标设备的设备形态参数。可以理解的是，任务管理单元可以根据配置参数，查询符合配置参数的设备，并将符合配置参数的设备作为目标设备。目标设备的设备形态参数可以理解能够反映目标设备的配置的信息，例如CPU的类型是ARM CPU，GPU为英伟达GPU等。

在本实施例的一种实现方式，所述公共模块还包括：接入服务；所述系统还包括前端访问模块。接入服务可以理解用于接收前端访问模块发送的数据，并将该数据转发至公共模块中的其他单元。前端访问模块可以理解为用户能够输入指令的模块，例如前端访问模块可以为前端图形界面模块（WebUI），即前端图形界面模块可以提供一指令输入界面，用户可以通过该界面输入操作指令（比如待优化模型以及所述待优化模型对应的优化参数、配置参数）；又例如，前端访问模块可以为SDK（即软件开发包），用户便可以通过SDK输入操作指令（比如待优化模型以及所述待优化模型对应的优化参数、配置参数）。

可以理解的是，在本实施例中，所述前端访问模块，用于接收用户操作指令（比如待优化模型以及所述待优化模型对应的优化参数、配置参数），并通过所述接入服务，将所述用户操作指令向所述任务管理单元发送，以便所述任务管理单元响应于所述用户操作指令，根据所述配置参数，确定目标设备以及所述目标设备的设备形态参数。

所述模型优化单元，用于根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型进行优化，得到优化后的模型。可以理解的是，模型优化单元可以根据目标设备的设备形态参数和优化参数，确定对待优化模型进行优化的目标优化方式，可以理解的是，目标优化方式可以理解为能够使得待优化模型调整为最优性能的模型（比如运行性能较高、成本较低的模型）的优化方式。然后，模型优化单元可以根据目标优化方式对所述待优化模型进行优化，得到优化后的模型。

所述模型部署单元，可以用于将所述优化后的模型部署至所述目标设备中。所述目标设备可以为云服务器（比如云计算数据中心的服务器）或者边缘端设备（用户侧的手机），这样，便可以在云服务器或者边缘端设备上使用运行该优化后的模型。

具体地，在一种实现方式中，所述任务管理单元，还可以用于根据优化参数确定所述待优化模型的优化任务。可以理解的是，任务管理单元接收到优化参数后，可以根据优化参数转换为优化任务，即根据用户预设的优化参数确定需要对待优化模型进行哪些优化操作（即优化任务），例如提高待优化模型的运行性能或者简化优化模型的网络架构等。在一种实现方式中，所述优化任务可以包括模型格式转换任务、模型高层优化任务、模型底层优化任务、目标代码生成任务。模型转换任务可以理解为将待优化模型的模型格式转换为通用虚拟机模型格式，比如可以转换为TensorFlow、PyTorch、ONNX等模型格式。模型高层优化任务可以理解为对待优化模型进行与具体设备无关的高层优化，比如代数简化、算子优化、布局转换等。模型底层优化任务可以理解为对待优化模型进行与具体设备有关的底层优化，比如内存分片优化、多面体优化等。目标代码生成任务可以理解为生成待优化模型对应的与具体设备有关的代码，例如X86 CPU、ARM CPU、英伟达GPU等对应的代码。

任务管理单元，还可以用于根据所述配置参数，确定所述待优化模型的配置任务。可以理解的是，任务管理单元接收到配置参数后，可以根据配置参数转换为配置任务，即根据用户预设的配置参数确定需要对待优化模型进行的配置操作，例如将优化后的模型配置部署在哪些设备或服务器中。

在一种实现方式中，所述系统还包括基础模块，所述基础模块包括模型管理单元、资源管理单元、分布式计算单元和异构计算单元。

所述模型管理单元，用于存储所述待优化模型和所述优化后的模型。可以理解的是，模型管理单元可以存储待优化模型和模型版本，以及，还可以存储优化后的模型和模型版本。

所述异构计算单元，可以用于根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型的优化任务进行优化调整，得到优化调整后的优化任务，在本实施例中，异构计算单元可以根据目标设备的设备形态参数以及优化参数，确定目标优化方式，并利用目标优化方式对待优化模型的优化任务进行优化调整，得到优化调整后的优化任务，这样，就不需要人工进行模型的优化任务的调整，提高了优化任务调整的效率。所述异构计算单元，还可以用于根据所述目标设备的设备形态参数和所述配置参数，对所述待优化模型的配置任务进行优化调整，得到优化调整后的配置任务，即根据目标设备的设备形态参数和配置参数，对配置任务进行调整，例如当前CPU的大小不足，可以对配置任务调整为增加CPU大小，以保证模型优化的继续进行。

所述资源管理单元，用于存储各个优化执行设备的硬件资源信息。优化执行设备可以理解为用于执行对待优化模型进行优化以及对优化后的模型部署的设备，例如可以为多台服务器；而优化执行设备的硬件资源信息可以为优化执行设备的CPU、GPU、内存、磁盘、FPGA、ASIC等硬件资源的使用情况。

所述分布式计算单元，可以用于根据所述优化调整后的优化任务以及各个优化执行设备的硬件资源信息，将所述优化调整后的优化任务分配至若干优化执行设备，以便所述若干优化执行设备执行所述优化调整后的优化任务。可以理解的是，分布式计算单元可以先根据各个优化执行设备的硬件资源信息，确定空间的优化执行设备的数量，再根据优化调整后的优化任务所需要的优化执行设备的数据，确定执行所述优化调整后的优化任务的优化执行设备，并将所述优化调整后的优化任务分配至若干优化执行设备，以便所述若干优化执行设备执行所述优化调整后的优化任务。

所述分布式计算单元，还可以用于根据所述优化调整后的配置任务以及各个优化执行设备的硬件资源信息，将所述优化调整后的配置任务分配至若干优化执行设备，以便所述若干优化执行设备执行所述优化调整后的配置任务。可以理解的是，分布式计算单元可以先根据各个优化执行设备的硬件资源信息，确定空间的优化执行设备的数量，再根据优化调整后的配置任务所需要的优化执行设备的数据，确定执行所述优化调整后的配置任务的优化执行设备，并将所述优化调整后的配置任务分配至若干优化执行设备，以便所述若干优化执行设备执行所述优化调整后的配置任务。

相应地，所述模型优化单元，具体用于向所述异构计算单元发送所述目标设备的设备形态参数和所述优化参数，接收所述异构计算单元返回的所述优化调整后的优化任务；以及，向所述分布式计算单元发送所述优化调整后的优化任务，接收所述分布式计算单元返回的优化后的模型。可以理解的是，所述模型优化单元可以先向所述异构计算单元发送所述目标设备的设备形态参数和所述优化参数；在异构计算单元根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型的优化任务进行优化调整，得到优化调整后的优化任务之后，可以向模型优化单元返回优化调整后的优化任务，模型优化单元接收所述异构计算单元返回的所述优化调整后的优化任务；以及，模型优化单元可以向所述分布式计算单元发送所述优化调整后的优化任务，分布式计算单元根据所述优化调整后的优化任务以及各个优化执行设备的硬件资源信息，将所述优化调整后的优化任务分配至若干优化执行设备，以便所述若干优化执行设备执行所述优化调整后的优化任务得到优化后的模型，分布式计算单元再将优化后的模型向模型优化单元返回，模型优化单元便可以接收所述分布式计算单元返回的优化后的模型。

所述模型部署单元，具体用于向所述异构计算单元发送所述目标设备的设备形态参数和所述配置参数，接收所述异构计算单元返回的所述优化调整后的配置任务；以及，向所述分布式计算单元发送所述优化调整后的配置任务，以便将所述优化后的模型部署至所述目标设备中。可以理解的是，模型部署单元可以先向所述异构计算单元发送所述目标设备的设备形态参数和所述配置参数，在异构计算单元根据所述目标设备的设备形态参数和所述配置参数，对所述待优化模型的配置任务进行优化调整，得到优化调整后的配置任务之后，可以向模型部署单元返回优化调整后的配置任务，模型部署单元可以接收所述异构计算单元返回的所述优化调整后的配置任务；以及，模型部署单元向所述分布式计算单元发送所述优化调整后的配置任务，分布式计算单元根据所述优化调整后的配置任务以及各个优化执行设备的硬件资源信息，将所述优化调整后的配置任务分配至若干优化执行设备，以便所述若干优化执行设备执行所述优化调整后的配置任务，将所述优化后的模型部署至所述目标设备中。需要说明的是，在本实施例中，所述模型部署单元，还可以用于根据各个优化执行设备的硬件资源信息，对执行所述优化调整后的配置任务的优化执行设备的数量进行调整，例如，各个优化执行设备的硬件资源不足，则可以增加执行所述优化调整后的配置任务的优化执行设备的数量，若各个优化执行设备的硬件资源多余，则可以减少执行所述优化调整后的配置任务的优化执行设备的数量，从而提高了优化执行设备的利用率。

在本实施例的一种实现方式中，所述公共模块还可以包括：用户管理单元；所述用户管理单元，可以用于对访问终端进行身份验证以及权限验证。可以理解的是，接入服务接收到待优化模型以及所述待优化模型对应的优化参数、配置参数后，可以先对发来上述数据的访问终端进行身份验证和权限验证，身份验证和权限验证通过后，任务管理单元才开始执行后续操作；需要说明的是，用户管理单元可以预先存储有若干用户信息以及其权限。

在本实施例的一种实现方式中，所述公共模块还包括：告警日志单元。所述告警日志单元，可以用于采集各个优化执行设备的日志信息，以及，若监测到所采集到的日志信息中存在异常日志信息，则生成告警信息。

在本实施例的一种实现方式中，所述公共模块还包括：性能监控单元。所述性能监控单元，可以用于监控所述各个优化执行设备的硬件资源信息，比如，可以是CPU使用率、内存使用率、接口调用次数等信息，以便可以根据各个优化执行设备的硬件资源情况对各个优化执行设备进行调整。

由上述技术方案可以看出，本申请提供了一种模型优化系统，所述系统包括：公共模块、核心模块；所述公共模块包括任务管理单元；所述核心模块包括模型优化单元和模型部署单元；所述任务管理单元，用于获取待优化模型以及所述待优化模型对应的优化参数、配置参数；根据所述配置参数，确定目标设备以及所述目标设备的设备形态参数；所述模型优化单元，用于根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型进行优化，得到优化后的模型；所述模型部署单元，用于将所述优化后的模型部署至所述目标设备中。可见，本申请提供的模型优化系统可以针对不同的优化参数、配置参数对模型采取不同的优化手段，即可以通过待优化模型对应的优化参数、配置参数，帮助部署人员选择出最优的模型，减轻模型部署的工作难度，提高部署效率。

针对图1所示的一种模型优化系统，本申请还提供了一种模型优化方法，参见图2，所述方法例如可以包括以下步骤：

S201：获取待优化模型以及所述待优化模型对应的优化参数、配置参数。

在本实施例中，待优化模型可以为深度学习神经网络；待优化模型对应的优化参数可以理解为用户预设的需要优化模型的参数，例如可以是具体的模型参数、模型架构等；待优化模型对应的配置参数可以理解为用户预设的用于部署模型的设备的配置要求，例如设备的运行内存要求、CPU要求等。

在本实施例的一种实现方式，可以提供用户能够输入指令的页面，例如可以为一指令输入界面，用户可以通过该界面输入操作指令（比如待优化模型以及所述待优化模型对应的优化参数、配置参数）；又例如，可以通过SDK输入操作指令（比如待优化模型以及所述待优化模型对应的优化参数、配置参数）。

S202：根据所述配置参数，确定目标设备以及所述目标设备的设备形态参数。

在本实施例中，可以根据配置参数，查询符合配置参数的设备，并将符合配置参数的设备作为目标设备。目标设备的设备形态参数可以理解能够反映目标设备的配置的信息，例如CPU的类型是ARM CPU，GPU为英伟达GPU等。

S203：根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型进行优化，得到优化后的模型。

在本实施中，可以根据目标设备的设备形态参数和优化参数，确定对待优化模型进行优化的目标优化方式，可以理解的是，目标优化方式可以理解为能够使得待优化模型调整为最优性能的模型（比如运行性能较高、成本较低的模型）的优化方式。然后，可以根据目标优化方式对所述待优化模型进行优化，得到优化后的模型。

接收到优化参数后，可以根据优化参数转换为优化任务，即根据用户预设的优化参数确定需要对待优化模型进行哪些优化操作（即优化任务），例如提高待优化模型的运行性能或者简化优化模型的网络架构等。在一种实现方式中，所述优化任务可以包括模型格式转换任务、模型高层优化任务、模型底层优化任务、目标代码生成任务。模型转换任务可以理解为将待优化模型的模型格式转换为通用虚拟机模型格式，比如可以转换为TensorFlow、PyTorch、ONNX等模型格式。模型高层优化任务可以理解为对待优化模型进行与具体设备无关的高层优化，比如代数简化、算子优化、布局转换等。模型底层优化任务可以理解为对待优化模型进行与具体设备有关的底层优化，比如内存分片优化、多面体优化等。目标代码生成任务可以理解为生成待优化模型对应的与具体设备有关的代码，例如X86CPU、ARM CPU、英伟达GPU等对应的代码。

作为一种示例，可以根据目标设备的设备形态参数以及优化参数，确定目标优化方式，并利用目标优化方式对待优化模型的优化任务进行优化调整，得到优化调整后的优化任务，这样，就不需要人工进行模型的优化任务的调整，提高了优化任务调整的效率。

具体地，在根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型的优化任务进行优化调整，得到优化调整后的优化任务之后，可以根据优化调整后的优化任务，得到所述优化调整后的优化任务；以及，可以根据所述优化调整后的优化任务以及各个优化执行设备的硬件资源信息，将所述优化调整后的优化任务分配至若干优化执行设备，以便所述若干优化执行设备执行所述优化调整后的优化任务得到优化后的模型。

S204：将所述优化后的模型部署至所述目标设备中。

所述目标设备可以为云服务器（比如云计算数据中心的服务器）或者边缘端设备（用户侧的手机），这样，便可以在云服务器或者边缘端设备上使用运行该优化后的模型。

在一种实现方式中，接收到配置参数后，可以根据配置参数转换为配置任务，即根据用户预设的配置参数确定需要对待优化模型进行的配置操作，例如将优化后的模型配置部署在哪些设备或服务器中。

在本实施例的一种实现方式中，可以根据所述目标设备的设备形态参数和所述配置参数，对所述待优化模型的配置任务进行优化调整，得到优化调整后的配置任务，即根据目标设备的设备形态参数和配置参数，对配置任务进行调整，例如当前CPU的大小不足，可以对配置任务调整为增加CPU大小，以保证模型优化的继续进行。

可以理解的是，在根据所述目标设备的设备形态参数和所述配置参数，对所述待优化模型的配置任务进行优化调整，得到优化调整后的配置任务之后，可以根据所述优化调整后的配置任务以及各个优化执行设备的硬件资源信息，将所述优化调整后的配置任务分配至若干优化执行设备，以便所述若干优化执行设备执行所述优化调整后的配置任务，将所述优化后的模型部署至所述目标设备中。

需要说明的是，在本实施例中，还可以根据各个优化执行设备的硬件资源信息，对执行所述优化调整后的配置任务的优化执行设备的数量进行调整，例如，各个优化执行设备的硬件资源不足，则可以增加执行所述优化调整后的配置任务的优化执行设备的数量，若各个优化执行设备的硬件资源多余，则可以减少执行所述优化调整后的配置任务的优化执行设备的数量，从而提高了优化执行设备的利用率。

在本实施例的一种实现方式中，在S201之后，S202之前，可以对访问终端进行身份验证以及权限验证。可以理解的是，接收到待优化模型以及所述待优化模型对应的优化参数、配置参数后，可以先对发来上述数据的访问终端进行身份验证和权限验证，身份验证和权限验证通过后，才开始执行后续操作；需要说明的是，在本实施例中可以预先存储有若干用户信息以及其权限。

在本实施例的一种实现方式中，可以在优化、部署模型的过程中采集各个优化执行设备的日志信息，以及，若监测到所采集到的日志信息中存在异常日志信息，则生成告警信息。

在本实施例的一种实现方式中，可以监控所述各个优化执行设备的硬件资源信息，比如，可以是CPU使用率、内存使用率、接口调用次数等信息，以便可以根据各个优化执行设备的硬件资源情况对各个优化执行设备进行调整。

由上述技术方案可以看出，本申请提供了一种模型优化方法，所述方法可以先获取待优化模型以及所述待优化模型对应的优化参数、配置参数；根据所述配置参数，确定目标设备以及所述目标设备的设备形态参数；根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型进行优化，得到优化后的模型；将所述优化后的模型部署至所述目标设备中。可见，本申请提供的模型优化系统可以针对不同的优化参数、配置参数对模型采取不同的优化手段，即可以通过待优化模型对应的优化参数、配置参数，帮助部署人员选择出最优的模型，减轻模型部署的工作难度，提高部署效率。

图3是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成模型优化的装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任一实施例中提供的模型优化的方法。

上述如本发明图2所示实施例提供的模型优化的装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本发明实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本发明任一实施例中提供的模型优化的方法，并具体用于执行上述模型优化的所述的方法。

前述各个实施例中所述的电子设备可以为计算机。

本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种模型优化系统，其特征在于，所述系统包括：公共模块、核心模块；所述公共模块包括任务管理单元；所述核心模块包括模型优化单元和模型部署单元；

所述任务管理单元，用于获取待优化模型以及所述待优化模型对应的优化参数、配置参数；根据所述配置参数，确定目标设备以及所述目标设备的设备形态参数；

所述模型优化单元，用于根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型进行优化，得到优化后的模型；

所述模型部署单元，用于将所述优化后的模型部署至所述目标设备中；

所述任务管理单元，还用于根据优化参数确定所述待优化模型的优化任务；根据所述配置参数，确定所述待优化模型的配置任务；

所述系统还包括基础模块，所述基础模块包括模型管理单元、资源管理单元、分布式计算单元和异构计算单元；

所述模型管理单元，用于存储所述待优化模型和所述优化后的模型；

所述异构计算单元，用于根据所述目标设备的设备形态参数和所述优化参数，对所述待优化模型的优化任务进行优化调整，得到优化调整后的优化任务；根据所述目标设备的设备形态参数和所述配置参数，对所述待优化模型的配置任务进行优化调整，得到优化调整后的配置任务；

所述资源管理单元，用于存储各个优化执行设备的硬件资源信息；

所述分布式计算单元，用于根据所述优化调整后的优化任务以及各个优化执行设备的硬件资源信息，将所述优化调整后的优化任务分配至若干优化执行设备，以便所述若干优化执行设备执行所述优化调整后的优化任务；根据所述优化调整后的配置任务以及各个优化执行设备的硬件资源信息，将所述优化调整后的配置任务分配至若干优化执行设备，以便所述若干优化执行设备执行所述优化调整后的配置任务；

相应地，所述模型优化单元，具体用于向所述异构计算单元发送所述目标设备的设备形态参数和所述优化参数，接收所述异构计算单元返回的所述优化调整后的优化任务；以及，向所述分布式计算单元发送所述优化调整后的优化任务，接收所述分布式计算单元返回的优化后的模型；

所述模型部署单元，具体用于向所述异构计算单元发送所述目标设备的设备形态参数和所述配置参数，接收所述异构计算单元返回的所述优化调整后的配置任务；以及，向所述分布式计算单元发送所述优化调整后的配置任务，以便所述若干优化执行设备执行所述优化调整后的配置任务，将所述优化后的模型部署至所述目标设备中。

2.根据权利要求1所述的系统，其特征在于，所述优化任务包括模型格式转换任务、模型高层优化任务、模型底层优化任务、目标代码生成任务。

3.根据权利要求1所述的系统，其特征在于，所述目标设备为云服务器或者边缘端设备；所述模型部署单元，还用于根据各个优化执行设备的硬件资源信息，对执行所述优化调整后的配置任务的优化执行设备的数量进行调整。

4.根据权利要求1-3中任一所述的系统，其特征在于，所述公共模块还包括：用户管理单元；所述用户管理单元，用于对访问终端进行身份验证以及权限验证。

5.根据权利要求1-3中任一所述的系统，其特征在于，所述公共模块还包括：告警日志单元；

所述告警日志单元，用于采集各个优化执行设备的日志信息，以及，若监测到所采集到的日志信息中存在异常日志信息，则生成告警信息。

6.根据权利要求3所述的系统，其特征在于，所述公共模块还包括：性能监控单元；

所述性能监控单元，用于监控所述各个优化执行设备的硬件资源信息。

7.根据权利要求1-3中任一所述的系统，其特征在于，所述公共模块还包括：接入服务；所述系统还包括前端访问模块；

所述前端访问模块，用于接收用户操作指令，并通过所述接入服务，将所述用户操作指令向所述任务管理单元发送，以便所述任务管理单元响应于所述用户操作指令。

Images