CN118379605B - 一种图像识别大模型的部署方法、装置及存储介质 - Google Patents

Abstract

本说明书公开了一种图像识别大模型的部署方法、装置及存储介质，本方法应用于边端实时决策场景的所述图像识别大模型包括自编码器及分类器，先将能耗消耗较高的自编码器部署在异构存算一体芯片的模拟架构核中，将所述分类器部署在异构存算一体芯片的数字架构核中，以降低能耗。通过获取样本图像，将所述样本图像输入所述自编码器中，得到所述自编码器输出的样本图像特征。根据所述样本图像特征，对部署在所述数字架构核中的分类器进行训练，提高图像识别大模型的精度。也就是说，通过将能耗较高的自编码器部署在能耗消耗较低的模拟架构核中，降低能耗，对部署在数字架构核的分类器进行训练，提高图像识别大模型的精度。

Description

一种图像识别大模型的部署方法、装置及存储介质

技术领域

本说明书涉及计算机领域，尤其涉及一种图像识别大模型的部署方法、装置及存储介质。

背景技术

存算一体芯片拥有存储单元与计算单元一体化的特性，可解决传统芯片架构中计算单元与存储单元存在的数据传输延迟、能量损耗的问题。存算一体芯片的特性使得该存算一体芯片自身具有低延迟的特点，因此，存算一体芯片适用于处理图像信息的边端实时决策场景，这是由于在边端实时决策场景下，需要直接进行数据处理和决策，这类场景对响应速度要求较高。

例如，存算一体芯片可应用于事件相机，事件相机的特点是利用图像感应设备，判断拍摄的图像是否出现光线骤变，如果出现，则激活图像识别大模型执行人型物体识别任务。因此，存算一体芯片在事件相机中的主要职责是以低能耗的方式承载高精度的图像模型的图像识别任务。

事件相机可用于监控密林环境中是否存在人，那么，事件相机采集图像，利用图像感应设备，判断采集的图像是否出现光线骤变，如果是，将该图像输入图像识别大模型，图像识别大模型判断该图像中是否存在人，若存在，则触发报警装置。

随着业务需求的增多，图像识别模型的参数量日益增多，以便支持复杂环境中的图像识别任务。图像识别大模型需要大量的存储空间和运算资源来维持正常运作，从而对能源的需求也随之增加。当前，存算一体芯片主流的架构包括模拟存算一体架构和数字存算一体架构。模拟存算一体架构虽然能耗低，但存在计算误差的问题，从而使得计算结果的精度较低，因此，如果在基于模拟存算一体架构的芯片上部署图像识别大模型，可能会导致事件相机运行异常，如无法识别图像中的目标物等。而数字存算一体架构虽然能提供准确度较高的计算结果，但能耗较高。因此，如果在基于数字存算一体架构的芯片上部署图像识别大模型时，则可能引起事件相机的能耗过高，导致事件相机过热，使用寿命变短。

那么，如何使得存算一体芯片以低功耗、高精度的方式承载图像识别大模型的运行是个亟待解决的问题。

基于此，本说明书提供一种图像识别大模型的部署方法。

发明内容

本说明书提供一种图像识别大模型的部署方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种图像识别大模型的部署方法，应用于边端实时决策场景的所述图像识别大模型包括自编码器及分类器，所述方法包括：

将所述自编码器部署在异构存算一体芯片的模拟架构核中；

将所述分类器部署在异构存算一体芯片的数字架构核中；

获取样本图像，并将所述样本图像输入所述自编码器中，得到所述自编码器输出的样本图像特征；

根据所述样本图像特征，对部署在所述数字架构核中的分类器进行训练，得到部署完成后的图像识别大模型，所述部署完成后的图像识别大模型执行图像识别任务。

可选地，将所述自编码器部署在异构存算一体芯片的模拟架构核中，具体包括：

根据预设分组条件，对所述自编码器中的若干个神经网络层进行分组，得到包括若干个组别的分组结果，所述组别中包括若干个神经网络层；

针对每个组别，根据预设部署条件，将该组别部署在异构存算一体芯片的模拟架构核中，得到部署后的自编码器。

可选地，异构存算一体芯片包括若干个模拟架构核；

根据预设分组条件，对所述自编码器中的若干个神经网络层进行分组，具体包括：

针对异构存算一体架构中的每个模拟架构核，确定该模拟架构核中的存储资源，作为第一存储资源；

针对所述自编码器中的每个神经网络层，确定该神经网络层所需的存储资源，作为第二存储资源；

根据所述第一存储资源及所述第二存储资源，对所述自编码器进行分组。

可选地，所述方法还包括：

将所述图像识别大模型中的自编码器确定为教师自编码器，并构建学生自编码器；

将所述样本图像分别输入所述教师自编码器及所述学生自编码器，得到所述教师自编码器输出的第一图像特征及所述学生自编码器输出的第二图像特征；

根据所述第一图像特征及所述第二图像特征，对所述学生自编码器进行蒸馏训练；

将蒸馏训练后的学生自编码器确定为所述图像识别大模型的自编码器。

可选地，构建学生自编码器，具体包括：

针对异构存算一体架构中的每个模拟架构核，确定该模拟架构核中的存储资源；

根据各个模拟架构核中的存储资源，确定所述异构存算一体架构中模拟架构核的总存储资源；

确定所述模拟架构核支持的最小数据类型所需的数据位数；并确定存储资源的预留比例；

根据所述模拟架构核的总存储资源、所述数据位数及所述预留比例，确定学生自编码器的参数阈值；

根据所述学生自编码器的参数阈值，构建学生自编码器。

可选地，根据所述第一图像特征及所述第二图像特征，对所述学生自编码器进行蒸馏训练，具体包括：

获取所述样本图像的图像特征标签；

判断所述图像特征标签与所述第一图像特征的差异是否小于预设差异值；

若是，则根据所述第一图像特征及所述第二图像特征，对所述学生自编码器进行蒸馏训练。

可选地，根据所述样本图像特征，对部署在所述数字架构核中的分类器进行训练，具体包括：

获取所述样本图像的分类结果，作为样本图像的分类标签；

将所述样本图像特征输入部署在所述数字架构核中的分类器中，得到预测分类结果；

冻结部署在异构存算一体芯片的模拟架构核的自编码器的参数；

根据所述预测分类结果及所述分类标签，对所述部署在所述数字架构核中的分类器进行训练。

可选地，所述方法还包括：

当通过图像采集设备获取的待识别图像出现光线骤变时，将所述待识别图像输入所述部署完成后的图像识别大模型中，所述部署完成后的图像识别大模型通过自编码器，提取所述待识别图像的图像特征；

将所述待识别图像的图像特征输入所述部署完成后的图像识别大模型中的分类器，得到所述分类器输出的识别结果。

本说明书提供了一种图像识别大模型的部署装置，应用于边端实时决策场景的所述图像识别大模型包括自编码器及分类器，所述装置包括：

自编码器部署模块，用于将所述自编码器部署在异构存算一体芯片的模拟架构核中；

分类器部署模块，用于将所述分类器部署在异构存算一体芯片的数字架构核中；

样本图像特征确定模块，用于获取样本图像，并将所述样本图像输入所述自编码器中，得到所述自编码器输出的样本图像特征；

分类器训练模块，用于根据所述样本图像特征，对部署在所述数字架构核中的分类器进行训练，得到部署完成后的图像识别大模型，所述部署完成后的图像识别大模型执行图像识别任务。

可选地，所述自编码器部署模块具体用于，根据预设分组条件，对所述自编码器中的若干个神经网络层进行分组，得到包括若干个组别的分组结果，所述组别中包括若干个神经网络层；针对每个组别，根据预设部署条件，将该组别部署在异构存算一体芯片的模拟架构核中，得到部署后的自编码器。

可选地，异构存算一体芯片包括若干个模拟架构核；

所述自编码器部署模块具体用于，针对异构存算一体架构中的每个模拟架构核，确定该模拟架构核中的存储资源，作为第一存储资源；针对所述自编码器中的每个神经网络层，确定该神经网络层所需的存储资源，作为第二存储资源；根据所述第一存储资源及所述第二存储资源，对所述自编码器进行分组。

可选地，所述装置还包括：

自编码器蒸馏模块，用于将所述图像识别大模型中的自编码器确定为教师自编码器，并构建学生自编码器；将所述样本图像分别输入所述教师自编码器及所述学生自编码器，得到所述教师自编码器输出的第一图像特征及所述学生自编码器输出的第二图像特征；根据所述第一图像特征及所述第二图像特征，对所述学生自编码器进行蒸馏训练；将蒸馏训练后的学生自编码器确定为所述图像识别大模型的自编码器。

可选地，所述自编码器蒸馏模块具体用于，针对异构存算一体架构中的每个模拟架构核，确定该模拟架构核中的存储资源；根据各个模拟架构核中的存储资源，确定所述异构存算一体架构中模拟架构核的总存储资源；确定所述模拟架构核支持的最小数据类型所需的数据位数；并确定存储资源的预留比例；根据所述模拟架构核的总存储资源、所述数据位数及所述预留比例，确定学生自编码器的参数阈值；根据所述学生自编码器的参数阈值，构建学生自编码器。

可选地，所述自编码器蒸馏模块具体用于，获取所述样本图像的图像特征标签；判断所述图像特征标签与所述第一图像特征的差异是否小于预设差异值；若是，则根据所述第一图像特征及所述第二图像特征，对所述学生自编码器进行蒸馏训练。

可选地，所述分类器训练模块具体用于，获取所述样本图像的分类结果，作为样本图像的分类标签；将所述样本图像特征输入部署在所述数字架构核中的分类器中，得到预测分类结果；冻结部署在异构存算一体芯片的模拟架构核的自编码器的参数；根据所述预测分类结果及所述分类标签，对所述部署在所述数字架构核中的分类器进行训练。

可选地，所述装置还包括：

应用模块，用于当通过图像采集设备获取的待识别图像出现光线骤变时，将所述待识别图像输入所述部署完成后的图像识别大模型中，所述部署完成后的图像识别大模型通过自编码器，提取所述待识别图像的图像特征；将所述待识别图像的图像特征输入所述部署完成后的图像识别大模型中的分类器，得到所述分类器输出的识别结果。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像识别大模型的部署方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像识别大模型的部署方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

从本说明书提供的图像识别大模型的部署方法可以看出，本方法应用于边端实时决策场景的图像识别大模型包括自编码器及分类器，先将能耗消耗较高的自编码器部署在异构存算一体芯片的模拟架构核中，将分类器部署在异构存算一体芯片的数字架构核中，以降低能耗。通过获取样本图像，将样本图像输入自编码器中，得到自编码器输出的样本图像特征。根据样本图像特征，对部署在数字架构核中的分类器进行训练，提高图像识别大模型的精度。也就是说，通过将能耗较高的自编码器部署在能耗消耗较低的模拟架构核中，降低能耗，对部署在数字架构核的分类器进行训练，提高图像识别大模型的精度。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书中提供的一种图像识别大模型的部署方法的流程示意图；

图2为本说明书提供的异构存算一体芯片的结构示意图；

图3为本说明书提供的分类器的训练流程示意图；

图4为本说明书提供的蒸馏训练流程图；

图5为本说明书提供的图像识别流程示意图；

图6为本说明书提供的一种图像识别大模型的部署装置的示意图；

图7为本说明书提供的一种对应于图1的电子设备的结构示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书中提供的一种图像识别大模型的部署方法的流程示意图，包括以下步骤：

S100：将所述自编码器部署在异构存算一体芯片的模拟架构核中。

传统芯片架构的特点是将计算单元和存储单元分开，即运算器在中央处理器中，而存储器位于中央处理器之外，需要执行指令或访问数据时，存储器与运算器通过总线进行数据传输，以使运算器进行数据处理。现有一种存算一体芯片，拥有存储单元与计算单元一体化的特性，可解决传统芯片架构中计算单元与存储单元存在的数据传输延迟、能量损耗的问题。并且存算一体芯片的特性使得该存算一体芯片适用于处理图像信息的边端实时决策场景。这是由于在边端实时决策场景下，需要直接进行数据处理和决策，这类场景对响应速度要求较高，而存算一体芯片的特性使得该芯片具有低延迟。边端实时决策场景可包括利用事件相机进行监控，事件相机采集图像，并通过图像识别大模型进行识别，判断图像中是否存在人等业务。存算一体芯片包括模拟存算一体架构和数字存算一体架构，但由于图像识别大模型参数量较大，至少为亿量级，部署在模拟存算一体架构中，得到的计算结果准确率较低，部署在数字存算一体架构上能耗较高。因此，本说明书提供一种图像识别大模型的部署方法。使得部署后的图像识别大模型能耗较低，且能得到较为准确的识别结果。

本说明书提供的图像识别大模型的部署方法可以应用于各类终端设备，其中，终端设备可以为服务器、超级移动个人计算机(ultra-mobile personal computer，UMPC)、平板电脑、车载设备、台式电脑、手机、可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑等，还可为其他具有低功耗、高性能、实时处理等特点边端设备，如智能传感器、物联网网关、嵌入式系统等，本说明书终端设备的具体类型不作任何限制。但前述的各类终端应包括或可安装异构存算一体芯片，为了便于说明，本说明书以事件相机为终端设备进行说明，该事件相机中包括异构存算一体芯片。本说明书的执行主体可为可进行模型部署的服务器等其他计算设备，为了便于说明，本说明书以服务器为执行主体进行说明，执行主体可与终端设备进行数据交互。

图2为本说明书提供的异构存算一体芯片的结构示意图，如图2所示，异构存算一体芯片包括若干个模拟架构核及若干个数字架构核，模拟架构核具有模拟存算一体架构的低能耗、低精度的特点，数字架构核具有数字存算一体架构的高能耗、高精度的特点。也可以理解为异构存算一体芯片既包括了模拟存算一体架构，又包括了数字存算一体架构。每个数字架构核中包括了若干个存储单元及计算单元，每个存储单元的存储资源量相同。每个模拟架构核包括了一个存储单元及一个用于计算及数据转换的数模转换器。也就是说，数字架构核及模拟架构核的结构均为存算一体的结构。数字架构核与模拟架构核之间可以通信，以便进行数据传输，共同执行图像识别任务。当然，也可根据需要在模拟架构核中设计多个存储单元，本说明书以每个模拟架构核中存在一个存储单元为例进行说明。

在本说明书一个或多个实施例中，应用于边端实时决策场景的图像识别大模型包括自编码器及分类器，自编码器可包括Transformer，残差网络架构、卷积神经网络、ResNet、Visual Geometry Group（VGG）、Inception、EfficientNet、MobileNet、DenseNet等，其中，图像识别大模型的自编码器通常占图像识别大模型体积的95%以上，而分类器块仅占图像识别大模型体积的5%。基于模拟架构核进行计算时，其功耗远小于基于数字架构核。因此，可将该自编码器部署在异构存算一体芯片的模拟架构核中，减少能耗。

S102：将所述分类器部署在异构存算一体芯片的数字架构核中。

由于模拟架构核具有低功耗的特性，因此，将占模型体积大部分的自编码器部分部署于模拟架构核上，以保障图像识别大模型在运行时，异构存算一体芯片的低功耗。由于数字架构核的计算精确性，将图像识别大模型的分类器部署于字架构核上，以保障模型精确的图像识别能力。

S104：获取样本图像，并将所述样本图像输入所述自编码器中，得到所述自编码器输出的样本图像特征。

在本说明书一个或多个实施例中，由于模拟架构核存在计算误差问题，并且，基于模拟架构核的计算误差具有规律性，因此，可对部署在该数字架构核中的分类器进行训练，使图像识别大模型适应这种误差，提高图像识别大模型的识别结果的准确性。

具体的，图3为本说明书提供的分类器的训练流程示意图，如图3所示，先获取样本图像，将该样本图像输入该自编码器中，得到该自编码器输出的样本图像特征，以便根据该样本图像特征，对分类器进行训练，提高输出精度。

S106：根据所述样本图像特征，对部署在所述数字架构核中的分类器进行训练，得到部署完成后的图像识别大模型，所述部署完成后的图像识别大模型执行图像识别任务。

具体的，还需获取该样本图像的分类结果，作为样本图像的分类标签。将该样本图像特征输入部署在该数字架构核中的分类器中，得到预测分类结果。分类器包括若干个神经网络层及归一化指数函数，神经网络层中包括F1（X）、F2（X）、F3（X）等参数，在对分类器进行训练时，冻结部署在异构存算一体芯片的模拟架构核的自编码器的参数，也即是说，自编码器的所有参数不参与更新。采用后向传播算法，根据该分类结果及该分类标签，对该部署在该数字架构核中的分类器进行训练。

可采用二元交叉熵损失，根据该分类结果及该分类标签，计算损失值，并基于该损失值对分类器的所有的参数进行更新。其中，二元交叉熵损失计算公式如下式：

是分类标签，取值为0或1，是分类器输出的预测分类结果，表示为真实类别为1的概率，由归一化指数函数输出。

还可设置验证图集，通过验证图集确定是否停止训练。具体而言，将验证图集中的若干个验证图像输入分类器，得到分类器输出的验证图像的预测结果，当预测结果的正确率达到预设正确率时，停止训练。其中，预测结果的正确率可通过各个验证图像的预测结果确定。

基于图1所示的图像识别大模型的部署方法，本方法应用于边端实时决策场景的图像识别大模型包括自编码器及分类器，先将能耗消耗较高的自编码器部署在异构存算一体芯片的模拟架构核中，将分类器部署在异构存算一体芯片的数字架构核中，以降低能耗。通过获取样本图像，将样本图像输入自编码器中，得到自编码器输出的样本图像特征。根据样本图像特征，对部署在数字架构核中的分类器进行训练，提高图像识别大模型的精度。也就是说，通过将能耗较高的自编码器部署在能耗消耗较低的模拟架构核中，降低能耗，对部署在数字架构核的分类器进行训练，提高图像识别大模型的精度。

需要说明的是，本说明书提供的图像识别大模型的部署方法不仅可以应用于边端实时决策场景，还可应用于其他场景。对于前述的多种场景中，本说明书提供的方法可以快速响应任务执行需求并执行，提高任务执行效率及准确性，减少能耗。

针对步骤S100，为了使得自编码器中的神经网络层合理的部署在异构存算一体芯片的每个模拟架构核中，则可先根据预设分组条件，对该自编码器中的若干个神经网络层进行分组，得到包括若干个组别的分组结果，该组别中包括若干个神经网络层，该预设分组条件是指神经网络层所需的存储资源。之后，针对每个组别，根据预设部署条件，将该组别部署在异构存算一体芯片的模拟架构核中，得到部署后的自编码器，预设部署条件是指将每个组别部署在具有足够的存储资源的模拟架构核中。

在进行分组时，针对异构存算一体架构中的每个模拟架构核，确定该模拟架构核中的存储资源，作为第一存储资源，针对该自编码器中的每个神经网络层，确定该神经网络层所需的存储资源，作为第二存储资源，根据该第一存储资源及该第二存储资源，对该自编码器进行分组。

相似的，针对步骤S102，在对分类器进行部署时，可确定数字架构核中的存储单元的数量，再确定数字架构核中每个存储单元的存储资源，作为第三存储资源，确定分类器中每个神经网络层所需的存储资源，作为第四存储资源，根据数字架构核中的存储单元的数量、该第三存储资源及第四存储资源，对该分类器进行分组，得到包括若干个组别的分组结果，根据该分组结果，将分类器中的神经网络层部署在数字架构核中。

例如，自编码器有50层，每层需要占用0.45MB内存，即第二存储资源为0.45MB，分类器包含4层，分别需要1MB，0.5MB，0.5MB，0.001MB，即第四存储资源分别为1MB，0.5MB，0.5MB，0.001MB。一块异构存算一体芯片包含4个模拟架构核，每个模拟架构核拥有12MB的内存，即第一模拟架构核位12MB，2个数字架构核，每个数字架构核含有6块存储单元，每个存储单元的存储资源量为2MB，即第三存储资源为2MB。

若不考虑预留比例，则可将自编码器的50个神经网络层平均分为两组，每组部署在一个模拟架构核中。根据分类器的第四存储资源，将分类器的4个神经网络层分为两组，其中，第四存储资源为1MB的神经网络层为一组，剩余第四存储资源分别为0.5MB，0.5MB，0.001MB的为一组，每组部署在一个数字架构核中。

预留比例代表预留存储空间百分比，可用于存储参数的存储资源量，预留比例为一个在[0,1）区间内的浮点数，值越大则代表预留存储空间越小。需要预留存储空间是因为模拟架构核上的存储资源包含了L1、L2、L3级缓存，通常模型的参数部署于L3级缓存上，另外需要预留存储空间以保存模型运行时各层产出的中间参数，通常预留比例被设定为0.6至0.8之间，具体可根据需要设置。

若考虑预留比例，则先确定出该预留比例，根据该预留比例、该第一存储资源及该第二存储资源，对该自编码器进行分组，根据该预留比例、该第三存储资源及该第四存储资源，对该自编码器进行分组。当设定为0.7时，则每个模拟架构核上至多存放8.4MB的模型，即一个模拟架构核上可存放自编码器的18层神经网络，则部署自编码器需要分布部署于3块模拟架构核上，每个数字架构核的每个存储单元上至多存放1.4MB的模型，即分类器的第一层需要一个单独的存储单元，分类器的第二、第三、第四层可以部署于同一个存储单元。

执行步骤S106之后，即可通过部署完成的图像识别大模型执行图像识别任务。具体而言，图5为本说明书提供的图像识别流程示意图，如图5所示，事件相机中包括图像采集设备、异构存算一体芯片、图像感应设备、通信端口及部署在异构存算一体芯片中的图像识别大模型。图像采集设备可包括单目摄像头、双目摄像头等，图像感应设备可部署在异构存算一体芯片的模拟架构核中。

例如，面向一个事件相机设备，该设备包括一个图像采集设备、一个异构存算一体芯片，该芯片由2个数字架构核与4个模拟架构核构成，该芯片可表述为{核_数1、核_数2、核_拟1、核_拟2、核_拟3、核_拟4}，其中核_拟1部署了图像感应设备，基于前述的物理拓扑之下，训练完成的学生自编码器的1-18层网络部署于核_拟2，19-36层网络部署于核_拟3，37-50层网络部署于核_拟4，训练完成的分类器部署于核_数1。

当事件相机开启时，图像采集设备持续采集待识别图像，并将待识别图像输入图像感应设备，基于图像感应设备的判断，决定是否激活部署在异构存算一体芯片上的图像识别大模型。也即是说，当通过图像采集设备获取的待识别图像出现光线骤变时，也可理解为待识别图像出现光强变化时，将该待识别图像输入该部署完成后的图像识别大模型中，该部署完成后的图像识别大模型通过自编码器，提取该待识别图像的图像特征，将该待识别图像的图像特征输入该部署完成后的图像识别大模型中的分类器，得到该分类器输出的识别结果。该识别结果可发送至通信端口，经由通信端口输出至外部设备。该事件相机中还可包括其他装置，本说明不限制事件相机内包括的其他装置的类型，如报警装置，那么，可将识别结果输入该事件相机中的报警装置，进而驱动该报警装置的开启与关闭。

进一步地，事件相机还可与云端设备进行交互，那么，该通信端口可与云端连接，识别结果可经由通信端口输出至云端设备。需要说明的是，事件相机中的图像感应设备的工作原理为本领域熟知的技术，本说明书对此不再赘述。

为了进一步减少图像识别大模型的能耗，还可通过知识蒸馏的方式对自编码器进行压缩。

具体的，将该图像识别大模型中的自编码器确定为教师自编码器，并构建自编码器，其中，该教师自编码器可通过样本图像及图像特征标签训练得到，该自编码器的构建与部署的模拟架构核的存储容量相关，该模拟架构核的存储容量越大，自编码器的参数上限就越高。

在构建学生自编码器时，先确定模拟架构核存储容量。具体而言，由于异构存算一体芯片包括若干个模拟架构核，本说明书以每个模拟架构核中存在一个存储单元为例进行说明，那么，异构存算一体芯片中模拟架构核的总存储资源如下式：

换而言之，先针对异构存算一体架构中的每个模拟架构核，确定该模拟架构核中的存储资源，即为单模拟架构核存储资源量，根据各个模拟架构核中的存储资源，确定该异构存算一体架构中模拟架构核的总存储资源，即。例如，一个异构存算一体芯片包含4个模拟架构核，每个模拟架构核上的存储单元的存储资源量为12MB，则该芯片所拥有的属于模拟架构核的总存储资源48MB。

然后，确定该模拟架构核支持的最小数据类型所需的数据位数，最小指的是所需数据位数最小，例如，该模拟架构核支持的数据类型包括float32及float16，float32数据类型需要32位，float16数据类型需要16位，则最小数据类型是float16，最小数据类型所需的数据位数为16。并确定存储资源的预留比例，根据模拟架构核的总存储资源、数据位数及该预留比例，确定学生自编码器的参数阈值，该学生自编码器参数阈值具体如下式：

其中，预留比例、参数阈值、最小数据类型所需的数据位数及总存储资源的下角标是为了区分学生自编码器与分类器的相似参数，分类器的相关参数在后续会进行说明，在此不再赘述。

最后，根据该学生自编码器的参数阈值，构建学生自编码器。

例如，异构存算一体芯片的模拟架构核的总存储资源量为48MB，采用的是float16格式，即每个数据占16bit，设定为0.7，则参数上限为17,616,077。假使教师自编码器为ResNet1001，那么学生自编码器的架构也选择ResNet类型，由于ResNet50的参数量为25.5百万，接近于参数阈值，因此采用ResNet50作为学生自编码器的架构。一个ResNet50架构包含了初始卷积层、四个阶段的卷积块、一个全连接层，可以通过调整卷积块中的滤波器的数量和大小以降低网络中的参数量，使调整后的ResNet50架构中的参数量小于参数阈值。

需要说明的是，为了便于后续蒸馏训练，使得知识可被迁移，学生自编码器的输出层的架构需要与教师自编码器的全连接层的架构一致。此外，学生自编码器的输入层节点数需要能支撑训练数据集中的图像数据输入，也即是说，输入层的节点数应当与输入数据的维度相匹配。对于图像数据而言，这个维度通常是图像的像素点数。

例如，教师自编码器包括若干个神经网络层、全连接层及归一化指数函数，教师自编码器中归一化指数函数层前的全连接层是由k个神经网络节点所构成的一层神经网络，则学生自编码器的输出层也是由k个神经网络节点所构成的一层神经网络，即输出层包含k个参数。若输入的样本图像是由m*n个像素点构成，则学生自编码器的输入层包含m*n个参数。

本说明书不限制学生自编码器的隐藏层的层数及架构，但要满足隐藏层总参数≤参数阈值-输入层参数-输出层参数的约束条件。

图4为本说明书提供的蒸馏训练流程图，如图4所示。

教师自编码器包括n层神经网络、全连接层及归一化指数函数，学生自编码器包括n层神经网络及全连接层。将该样本图像分别输入该教师自编码器及该学生自编码器，得到该教师自编码器输出的第一图像特征及该学生自编码器输出的第二图像特征。根据该第一图像特征及该第二图像特征，对该学生自编码器进行蒸馏训练，将蒸馏训练后的学生自编码器确定为该图像识别大模型的自编码器。

假使，教师自编码器的全连接层含有k个节点，则每个节点的输出表达为第一图像特征_（i,j）的格式，其中i为图片编号，j为节点号，如面向编号为1的图片时，教师自编码器的输出为{第一图像特征_（1,1）、第一图像特征_（1,2）、…、第一图像特征_（1,k）}。相似的，由于学生自编码器与教师自编码器具有完全相同的全连接层，因此，当教师自编码器的全连接层含有k个节点时，学生自编码器的全连接层也含有k个节点，每个节点的输出表达为第二图像特征_（i,j）的格式，其中i为图片编号，j为节点号，如面向编号为1的图片时，学生自编码器上的输出为{第二图像特征_（1,1）、第二图像特征_（1,2）、…、第二图像特征_（1,k）}。

那么，在蒸馏训练时，可根据第一图像特征及第二图像特征，确定损失值，采用反向传播算法更新学生自编码器上的所有参数，当损失值小于预设损失值时，停止训练。损失值可通过下式进行计算：

其中，为学习率。

为了使得学生自编码器学习到的为正确的图像特征，还可获取该样本图像的图像特征标签，判断该图像特征标签与该第一图像特征的差异是否小于预设差异值，若是，则根据该第一图像特征及该第二图像特征，对该学生自编码器进行蒸馏训练。具体可通过设置学习率实现前述过程，当差异小于预设差异值时，说明第一图像特征较为准确，则设置学习率为1，否则为0。还可根据样本图像的分类标签确定学习率，具体而言，可将第一图像特征输入未执行部署流程的分类器中，得到该分类器输出的第一图像特征的分类结果。将第一图像特征输入未执行部署流程的分类器中是由于分类器的预测出的分类结果不准确是由于芯片自身的物理架构导致的，而非该分类器自身的准确率较低，因此，将第一图像特征输入未执行部署流程的分类器中，可以获取较为准确的分类结果。

之后，判断第一图像特征的分类结果与分类标签是否匹配，若是，则将学习率设置为第一预设值，即1，若否，则将学习率置为第二预设值，即0。

例如，学生自编码器与教师自编码器的全连接层均具有4个节点，假设获取了两个样本图像，即训练集={图1：分类标签1，图2：分类标签2}。基于此执行以下步骤：

（1）、将图1输入教师自编码器获得的第一图像特征为{0.22,0.58,1.3,1.4},将第一图像特征输入未执行部署流程的分类器中，得到的第一图像特征的分类结果与分类标签1一致，所以学习率为1。将图1输入学生自编码器获得第二图像特征为{0.02,0.38,1.5,1.5}，基于前述的计算损失的公式可得到损失值为0.0325，基于损失值，采用反向传播算法对学生自编码器中的所有参数进行更新。

（2）、将图2输入教师自编码器获得的第一图像特征为{0.98,0.44,1.5,1.9},将第一图像特征输入未执行部署流程的分类器中，得到的第一图像特征的分类结果与分类标签2不一致，所以学习率为0。基于前述的计算损失的公式得到的损失值为0，所以不采用反向传播算法对学生自编码器中的所有参数进行更新。

此外，还可设置验证图集，用以判断学生自编码器是否收敛。通过下式及验证图集中的所有验证图像，确定出面向验证图集的总损失值，其中m代表图像的个数，k代表全接连层节点的个数，计算得到总损失值。

判断总损失值是否小于预设损失值，如果小于则停止训练，否则，继续蒸馏训练。

例如，假使预设损失值为0.01，设置验证图集={图3：分类标签3，图4：分类标签4}，通过前述公式确定总损失值为16.97，大于预设损失值，因此，继续蒸馏训练。

需要说明的是，该蒸馏训练以压缩自编码器的步骤可在执行步骤S100之前执行，也可在执行步骤S100之后，且在将样本图像输入自编码器之前执行。也就是说，在对分类器进行训练之前，均可对自编码器进行压缩。差别在于，若在执行步骤S100之前进行压缩，则正常执行前述的蒸馏训练流程，如在仿真环境中执行前述的蒸馏训练流程，该仿真环境可仿真异构存算一体芯片中模拟架构核及数字架构核中各存储单元、计算单元等部件及支持在多核情况下数据交互的流程。

若在执行步骤S100之后，且在将样本图像输入自编码器之前执行之前进行压缩，则由于异构存算一体芯片的存储资源有限，且蒸馏训练存在较多需存储的中间值，如激活值、梯度值等，也就需要更多的存储资源。那么，为了满足存储需求，则可先将教师自编码器置于除该异构存算一体芯片以外的其他芯片中，教师自编码器所在的芯片可与部署了学生自编码器的异构存算一体芯片进行数据交互。

此外，由于教师自编码器的参数量远大于学生自编码器的参数量，因此，对教师自编码器的部署方式也可用于对蒸馏后的学生自编码器部署。也就是说，可按照原始的对教师自编码器的部署方式，对蒸馏后的学生自编码器进行部署。当然，也可按照前述的分组流程，对该蒸馏后的学生自编码器重新分组，并部署，本说明书对此不作限制。

进一步的，对自编码器进行蒸馏训练后，还可采用结构化稀疏压缩技术对学生自编码器进行压缩，如权重剪枝、结构化剪枝、通道剪枝等。通过降低学生自编码器中各网络层中的稀疏性，进一步降低学生自编码器的内存需求，以减少能耗。

相似的，在对部署在该数字架构核中的分类器进行训练后，也可采用结构化稀疏压缩技术对训练完成后对分类器进行压缩，如权重剪枝、结构化剪枝、通道剪枝等。通过降低训练完成后的分类器中各网络层中的稀疏性，进一步降低训练完成后的分类器的内存需求。

需要补充说明的是，也可先在仿真环境中对分类器进行训练后，再部署到数字架构核中，则可不执行部署后，在数字架构核中进行训练的步骤。这是由于仿真环境中同样仿真了芯片存在的计算误差问题，因此，通过在仿真环境中对分类器进行训练，可使得分类器适应芯片的计算误差，得到较为精确的分类结果。

若在仿真环境中对分类器进行训练，则可将自编码器部署于基于模拟存算一体架构的核的仿真环境中，以模拟当计算误差发生时，自编码器对观测到的图像的抽象特征的输出，分类器部署于基于数字存算一体架构的核的仿真环境中，沿用步骤S104~S106的训练流程，对分类器进行训练，使得当自编码器被部署于具有计算误差特性的模拟架构核上时，图像识别大模型依然可以对观测到的图像进行精确的识别。

本说明书提供一种图像识别大模型的训练方法，执行主体可为服务器等计算设备，为了便于说明，本说明书以服务器为执行主体进行说明。

首先，为了训练后的图像识别大模型便于部署在异构存算一体芯片中，在构建分类器及自编码器时，需要考虑异构存算一体芯片的存储资源，构建分类器的过程可参考前述在蒸馏训练时，构建学生自编码器的过程。

相似的，构建分类器时，由于每个数字架构核中有若干个存储单元，每个存储单元的存储资源量相同，因此，可先确定数字架构核中的存储单元的数量，再确定数字架构核中的每个存储单元的存储资源，即单数字架构核存储资源量，采用下式确定出异构存算一体芯片中数字架构核的总存储资源量。

例如，一个异构存算一体芯片包含2块数字架构核，每个数字架构核含有6块存储单元，每个存储单元的存储资源量为2MB，则该芯片所拥有的属于数字架构核的总存储资源量为24MB。

还需确定的该数字架构核支持的最小数据类型所需的数据位数，即，以及预留比例。之后可利用下式确定分类器的参数阈值。

其中，分类器的预留比例与自编码器的可相同，也可不同，具体可根据需要设置，本说明书对此不作限制。

最后，根据分类器的参数阈值，构建分类器。服务器可采用神经网络结构结合归一化指数函数构建分类器。

例如，面向密林环境中的人型物体识别作业时，分类器由4层全连接神经网络联合归一化指数函数构成，第一层神经网络包含1000个节点，采用下式作为激活函数：

第二层神经网络包含500个节点，采用下式作为激活函数：

第三层神经网络由500个节点构成，采用下式作为激活函数：

第四层包含2个节点，分别代表识别到人型物体（1）与未发现人型物体（0），并连接归一化指数函数，以输出分类结果，基于该方法构建的分类器包含约175.1万个参数，需要3.34MB的存储空间。

自编码器及分类器构建完成后，即可组合自编码器与分类器以构成图像识别大模型，即自编码器的输出层与分类器的第一层进行全连接式连接。

然后获取训练样本集，该训练样本集中包括正样本及负样本，正样本是指包括了人型物体的图像，负样本是指无人型物体的图像。并获取训练样本的标签，该标签是指该图像的分类结果为1还是0，正样本的标签为1，负样本的标签为0。将训练样本集中的图像输入该图像识别大模型，得到该图像识别大模型输出的图像的分类结果，根据分类结果及标签，对该图像识别大模型进行训练。

当然，也可先对图像识别大模型中的自编码器进行训练，保留未经过训练的分类器。这是由于在后续调整分类器输出结果的准确度时，还会对分类器进行训练，因此，即使在训练图像识别大模型时，仅训练自编码器，后续也仍需后续调整分类器。那么，仅训练自编码器时，标签为图像特征，服务器将训练样本集中的图像输入自编码器，得到自编码器输出的预测图像特征，根据预测图像特征及标签，对自编码器进行训练。

综上，本说明书公开的图像识别大模型的部署方法，通过蒸馏技术大幅降低图像识别大模型对存储资源的需求，以减轻异构存算一体芯片的存储压力。通过对分类器进行训练，以适应异构存算一体芯片的计算误差问题，进而保障图像识别大模型可在异构存算一体芯片上正常运行，并提供输出精度。通过分布式部署，即将自编码器部署模拟架构核中，以及将分类器部署在数字架构核中，显著降低了存算一体芯片运行图像识别大模型时的能源消耗，这样做满足了存算一体芯片在边端实时决策场景中低能耗的需求。

以上为本说明书的一个或多个实施的方法，基于图1所示的图像识别大模型的部署方法的流程示意图，本说明书还提供了相应的图像识别大模型的部署装置，如图6所示。

图6为本说明书提供的一种图像识别大模型的部署装置的示意图，应用于边端实时决策场景的所述图像识别大模型包括自编码器及分类器，包括：

自编码器部署模块600，用于将所述自编码器部署在异构存算一体芯片的模拟架构核中；

分类器部署模块602，用于将所述分类器部署在异构存算一体芯片的数字架构核中；

样本图像特征确定模块604，用于获取样本图像，并将所述样本图像输入所述自编码器中，得到所述自编码器输出的样本图像特征；

分类器训练模块606，用于根据所述样本图像特征，对部署在所述数字架构核中的分类器进行训练，得到部署完成后的图像识别大模型，所述部署完成后的图像识别大模型执行图像识别任务。

可选地，所述自编码器部署模块600具体用于，根据预设分组条件，对所述自编码器中的若干个神经网络层进行分组，得到包括若干个组别的分组结果，所述组别中包括若干个神经网络层；针对每个组别，根据预设部署条件，将该组别部署在异构存算一体芯片的模拟架构核中，得到部署后的自编码器。

可选地，异构存算一体芯片包括若干个模拟架构核；

所述自编码器部署模块600具体用于，针对异构存算一体架构中的每个模拟架构核，确定该模拟架构核中的存储资源，作为第一存储资源；针对所述自编码器中的每个神经网络层，确定该神经网络层所需的存储资源，作为第二存储资源；根据所述第一存储资源及所述第二存储资源，对所述自编码器进行分组。

可选地，所述装置还包括：

自编码器蒸馏模块608，用于将所述图像识别大模型中的自编码器确定为教师自编码器，并构建学生自编码器；将所述样本图像分别输入所述教师自编码器及所述学生自编码器，得到所述教师自编码器输出的第一图像特征及所述学生自编码器输出的第二图像特征；根据所述第一图像特征及所述第二图像特征，对所述学生自编码器进行蒸馏训练；将蒸馏训练后的学生自编码器确定为所述图像识别大模型的自编码器。

可选地，所述自编码器蒸馏模块608具体用于，针对异构存算一体架构中的每个模拟架构核，确定该模拟架构核中的存储资源；根据各个模拟架构核中的存储资源，确定所述异构存算一体架构中模拟架构核的总存储资源；确定所述模拟架构核支持的最小数据类型所需的数据位数；并确定存储资源的预留比例；根据所述模拟架构核的总存储资源、所述数据位数及所述预留比例，确定学生自编码器的参数阈值；根据所述学生自编码器的参数阈值，构建学生自编码器。

可选地，所述自编码器蒸馏模块608具体用于，获取所述样本图像的图像特征标签；判断所述图像特征标签与所述第一图像特征的差异是否小于预设差异值；若是，则根据所述第一图像特征及所述第二图像特征，对所述学生自编码器进行蒸馏训练。

可选地，所述分类器训练模块606具体用于，获取所述样本图像的分类结果，作为样本图像的分类标签；将所述样本图像特征输入部署在所述数字架构核中的分类器中，得到预测分类结果；冻结部署在异构存算一体芯片的模拟架构核的自编码器的参数；根据所述预测分类结果及所述分类标签，对所述部署在所述数字架构核中的分类器进行训练。

可选地，所述装置还包括：

应用模块610，用于当通过图像采集设备获取的待识别图像出现光线骤变时，将所述待识别图像输入所述部署完成后的图像识别大模型中，所述部署完成后的图像识别大模型通过自编码器，提取所述待识别图像的图像特征；将所述待识别图像的图像特征输入所述部署完成后的图像识别大模型中的分类器，得到所述分类器输出的识别结果。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像识别大模型的部署方法。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种图像识别大模型的部署方法。

本说明书还提供了图7所示的一种对应于图1的电子设备的结构示意图。如图7所示，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的图像识别大模型的部署方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(第一芯粒)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种图像识别大模型的部署方法，其特征在于，应用于边端实时决策场景的所述图像识别大模型包括自编码器及分类器，所述方法包括：

将所述自编码器部署在异构存算一体芯片的模拟架构核中；

将所述分类器部署在异构存算一体芯片的数字架构核中；

获取样本图像，并将所述样本图像输入所述自编码器中，得到所述自编码器输出的样本图像特征；

根据所述样本图像特征，对部署在所述数字架构核中的分类器进行训练，得到部署完成后的图像识别大模型，所述部署完成后的图像识别大模型执行图像识别任务。

2.如权利要求1所述的方法，其特征在于，将所述自编码器部署在异构存算一体芯片的模拟架构核中，具体包括：

根据预设分组条件，对所述自编码器中的若干个神经网络层进行分组，得到包括若干个组别的分组结果，所述组别中包括若干个神经网络层；

针对每个组别，根据预设部署条件，将该组别部署在异构存算一体芯片的模拟架构核中，得到部署后的自编码器。

3.如权利要求2所述的方法，其特征在于，异构存算一体芯片包括若干个模拟架构核；

根据预设分组条件，对所述自编码器中的若干个神经网络层进行分组，具体包括：

针对异构存算一体架构中的每个模拟架构核，确定该模拟架构核中的存储资源，作为第一存储资源；

针对所述自编码器中的每个神经网络层，确定该神经网络层所需的存储资源，作为第二存储资源；

根据所述第一存储资源及所述第二存储资源，对所述自编码器进行分组。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

将所述图像识别大模型中的自编码器确定为教师自编码器，并构建学生自编码器；

将所述样本图像分别输入所述教师自编码器及所述学生自编码器，得到所述教师自编码器输出的第一图像特征及所述学生自编码器输出的第二图像特征；

根据所述第一图像特征及所述第二图像特征，对所述学生自编码器进行蒸馏训练；

将蒸馏训练后的学生自编码器确定为所述图像识别大模型的自编码器。

5.如权利要求4所述的方法，其特征在于，构建学生自编码器，具体包括：

针对异构存算一体架构中的每个模拟架构核，确定该模拟架构核中的存储资源；

根据各个模拟架构核中的存储资源，确定所述异构存算一体架构中模拟架构核的总存储资源；

确定所述模拟架构核支持的最小数据类型所需的数据位数；并确定存储资源的预留比例；

根据所述模拟架构核的总存储资源、所述数据位数及所述预留比例，确定学生自编码器的参数阈值；

根据所述学生自编码器的参数阈值，构建学生自编码器。

6.如权利要求4所述的方法，其特征在于，根据所述第一图像特征及所述第二图像特征，对所述学生自编码器进行蒸馏训练，具体包括：

获取所述样本图像的图像特征标签；

判断所述图像特征标签与所述第一图像特征的差异是否小于预设差异值；

若是，则根据所述第一图像特征及所述第二图像特征，对所述学生自编码器进行蒸馏训练。

7.如权利要求1所述的方法，其特征在于，根据所述样本图像特征，对部署在所述数字架构核中的分类器进行训练，具体包括：

获取所述样本图像的分类结果，作为样本图像的分类标签；

将所述样本图像特征输入部署在所述数字架构核中的分类器中，得到预测分类结果；

冻结部署在异构存算一体芯片的模拟架构核的自编码器的参数；

根据所述预测分类结果及所述分类标签，对所述部署在所述数字架构核中的分类器进行训练。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

当通过图像采集设备获取的待识别图像出现光线骤变时，将所述待识别图像输入所述部署完成后的图像识别大模型中，所述部署完成后的图像识别大模型通过自编码器，提取所述待识别图像的图像特征；

将所述待识别图像的图像特征输入所述部署完成后的图像识别大模型中的分类器，得到所述分类器输出的识别结果。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~8任一项所述的方法。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~8任一项所述的方法。