CN116306777A - 模型精度损失定位方法、装置和电子设备 - Google Patents
模型精度损失定位方法、装置和电子设备 Download PDFInfo
- Publication number
- CN116306777A CN116306777A CN202310240213.0A CN202310240213A CN116306777A CN 116306777 A CN116306777 A CN 116306777A CN 202310240213 A CN202310240213 A CN 202310240213A CN 116306777 A CN116306777 A CN 116306777A
- Authority
- CN
- China
- Prior art keywords
- model
- deployment
- cosine similarity
- feature map
- end model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 152
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000012360 testing method Methods 0.000 claims abstract description 32
- 238000000354 decomposition reaction Methods 0.000 claims description 75
- 238000007781 pre-processing Methods 0.000 claims description 73
- 238000012546 transfer Methods 0.000 claims description 72
- 238000012805 post-processing Methods 0.000 claims description 69
- 238000010586 diagram Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004807 localization Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机技术领域，提供一种模型精度损失定位方法、装置和电子设备，根据处理方式和调用资源类型对训练单模型和部署端模型进行功能划分，将测试数据输入至训练端模型和部署端模型，确定训练端模型和部署端模型中各个功能部分对应的结果，细化了模型各功能部分的结果，根据相同功能部分对应的训练端模型和部署端模型，进行余弦相似度计算，根据余弦相似度确定训练端模型和部署端模型之间在功能部分维度下的精度损失，相比仅能确定模型整体损失的现有技术，实现了从功能部分维度对网络模型在训练和部署阶段差异损失的准确定位。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种模型精度损失定位方法、装置和电子设备。
背景技术
随着深度学习技术的发展，基于深度学习模型的应用越来越多，将深度学习算法模型从训练平台转化移植到部署平台的工作变得非常重要。
在网络模型在不同平台端进行转化移植的工程中，保证模型精度的一致性是网络模型应用的核心前提。因此，如何高效、准确地定位出模型精度损失是当前重要研究方向。
发明内容
本发明提供一种模型精度损失定位方法，用以解决现有技术中无法高效、准确地定位模型精度损失的缺陷，实现高效、准确的模型精度损失定位。
本发明提供一种模型精度损失定位方法，包括：
获取测试数据，以及基于模型中转部署的位于不同平台端的网络模型，包括训练端模型和部署端模型；
根据处理方式和调用资源类型，将所述训练端模型和所述部署端模型划分为预处理部分、前向推理部分和后处理部分；
将所述测试数据分别输入所述训练端模型和所述部署端模型，确定所述训练端模型和所述部署端模型各自对应的预处理结果、前向推理结果和后处理结果；
根据所述训练端模型的预处理结果和部署端模型的预处理结果计算第一余弦相似度，根据所述训练端模型的前向处理结果和部署端模型的前向处理结果计算第二余弦相似度，根据所述训练端模型的后处理结果和部署端模型的后处理结果计算第三余弦相似度；
根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分。
根据本发明提供一种的模型精度损失定位方法，根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分，包括：
依次将所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，与预设阈值进行第一比对；
在首次第一比对结果为未达到预设阈值的情况下，将对应的部分确定为精度损失第一部分。
根据本发明提供一种的模型精度损失定位方法，在所述精度损失第一部分为所述前向推理部分的情况下，所述方法还包括：
获取中转端模型，所述中转端模型包括中转端模型的前向推理部分；
将预处理后的测试数据分别输入训练端模型、中转端模型和部署端模型的前向推理部分，得到训练端预测特征图、中转端预测特征图和部署端预测特征图；
根据所述训练端预测特征图和中转端预测特征图计算第四余弦相似度，根据所述中转端预测特征图和部署端预测特征图计算第五余弦相似度；
根据所述第四余弦相似度和所述第五余弦相似度，在所述中转端模型的前向推理部分和所述部署端模型的前向推理部分中，确定精度损失第二部分。
根据本发明提供一种的模型精度损失定位方法，根据所述第四余弦相似度和所述第五余弦相似度，在所述中转端模型的前向推理部分和所述部署端模型的前向推理部分中，确定精度损失第二部分，包括：
依次将所述第四余弦相似度和所述第五余弦相似度，与预设阈值进行第二比对；
在首次第二比对结果为未达到预设阈值的情况下，将对应的前向推理部分确定为精度损失第二部分。
根据本发明提供一种的模型精度损失定位方法，在所述精度损失第二部分为所述部署端模型的前向推理部分的情况下，所述方法还包括：
根据主干网络、编码器和解码器的结构，将所述中转端模型和所述部署端模型进行分解；
根据分解后的中转端模型和部署端模型，对所述中转端预测特征图和所述部署端预测特征图进行分解，得到中转端分解特征图和部署端分解特征图；
根据所述中转端分解特征图和部署端分解特征图，确定精度损失第三部分。
根据本发明提供一种的模型精度损失定位方法，根据分解后的中转端模型和部署端模型，对所述中转端预测特征图和所述部署端预测特征图进行分解，得到分解后的中转端分解特征图和部署端分解特征图，包括：
将所述中转端模型的前向推理部分，划分为中转端主干网络、中转端编码器和中转端解码器，将所述部署端模型的前向推理部分，划分为部署端主干网络、部署端编码器和部署端解码器；
根据所述中转端主干网络、所述中转端编码器和所述中转端解码器，将所述中转端预测特征图分解为中转端主干网络分解特征图、中转端编码器分解特征图和中转端解码器分解特征图；
根据所述部署端主干网络、所述部署端编码器和所述部署端解码器，将所述部署端预测特征图分解为部署端主干网络分解特征图、部署端编码器分解特征图和部署端解码器分解特征图。
根据本发明提供一种的模型精度损失定位方法，根据所述中转端分解特征图和部署端分解特征图，确定精度损失第三部分，包括：
根据所述中转端主干网络分解特征图和所述部署端主干网络分解特征图计算第六余弦相似度，根据中转端编码器分解特征图和所述部署端编码器分解特征图计算第七余弦相似度，根据中转端解码器分解特征图和所述部署端解码器分解特征图计算第八余弦相似度；
依次将所述第六余弦相似度、所述第七余弦相似度和所述第八余弦相似度，与预设阈值进行第三比对；
在首次第三比对结果为未达到预设阈值的情况下，将对应的分解网络确定为精度损失第三部分，所述分解网络为主干网络、编码器和解码器中的一项。
本发明还提供一种模型精度损失定位装置，包括：
获取单元，用于获取测试数据，以及基于模型中转部署的位于不同平台端的网络模型，包括训练端模型和部署端模型；
解析单元，用于根据处理方式和调用资源类型，将所述训练端模型和所述部署端模型划分为预处理部分、前向推理部分和后处理部分；将所述测试数据分别输入所述训练端模型和所述部署端模型，确定所述训练端模型和所述部署端模型各自对应的预处理结果、前向推理结果和后处理结果；根据所述训练端模型的预处理结果和部署端模型的预处理结果计算第一余弦相似度，根据所述训练端模型的前向处理结果和部署端模型的前向处理结果计算第二余弦相似度，根据所述训练端模型的后处理结果和部署端模型的后处理结果计算第三余弦相似度；根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述模型精度损失定位方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述模型精度损失定位方法的步骤。
本发明提供的模型精度损失定位方法、装置和电子设备，根据处理方式和调用资源类型对训练单模型和部署端模型进行功能划分，将测试数据输入至训练端模型和部署端模型，确定训练端模型和部署端模型中各个功能部分对应的结果，细化了模型各功能部分的结果，根据相同功能部分对应的训练端模型和部署端模型，进行余弦相似度计算，根据余弦相似度确定训练端模型和部署端模型之间在功能部分维度下的精度损失，相比仅能确定模型整体损失的现有技术，实现了从功能部分维度对网络模型在训练和部署阶段差异损失的准确定位。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的模型精度损失定位方法的流程示意图；
图2是本发明提供的模型精度损失定位流程的示意图之一；
图3是本发明提供的模型精度损失定位流程的示意图之二；
图4是本发明提供的模型精度损失定位流程的示意图之三；
图5是本发明提供的模型精度损失定位流程的示意图之四；
图6是本发明提供的模型精度损失定位装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，现有技术中可以通过第三方硬件平台提供的软件进行模型部署前后整体精度损失的确定，通过RuyiStudio工具可以实现Caffe框架模型在部署前后整体精度损失的确定。但是无法精确确定模型的具体损失部分，同时也忽略了算法模型从训练端到部署端转换过程中可能带来的累积误差，从而影响了从训练端到部署端的精度一致性问题。
本发明提供一种模型精度损失定位方法，如图1所示，包括：
S11、获取测试数据，以及基于模型中转部署的位于不同平台端的网络模型，包括训练端模型和部署端模型；
S12、根据处理方式和调用资源类型，将所述训练端模型和所述部署端模型划分为预处理部分、前向推理部分和后处理部分；
S13、将所述测试数据分别输入所述训练端模型和所述部署端模型，确定所述训练端模型和所述部署端模型各自对应的预处理结果、前向推理结果和后处理结果；
S14、根据所述训练端模型的预处理结果和部署端模型的预处理结果计算第一余弦相似度，根据所述训练端模型的前向处理结果和部署端模型的前向处理结果计算第二余弦相似度，根据所述训练端模型的后处理结果和部署端模型的后处理结果计算第三余弦相似度；
S15、根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分。
具体地，在处理云端网络模型在中转部署时进行不同平台端的框架转换的过程中，可以分别获取位于不同平台端的不同框架的网络模型，可以包括但不限于训练端的模型、中转端的模型和部署端的模型。
其中，训练端可以采用包括但不限于Caffe、Tensorflow、Pytorch、DarkNet和PaddlePalle等框架进行搭建和训练的网络模型。中转端可以采用包括但不限于Onnx框架。部署端可以采用包括但不限于NCNN、TensorRT、Libtorch、RKNN和NNIE等框架。
可以根据处理方式和调用资源类型，将训练端模型和部署端模型，分别划分为预处理部分、前向推理部分和后处理部分。处理方式和调用资源类型可以根据实际需要进行设定。
将测试数据输入训练端模型，得到训练端模型预处理部分对应的预处理结果、前向处理部分对应的前向推理结果，以及后处理部分对应的后处理结果。将测试数据输入部署端模型，得到部署端模型预处理部分对应的预处理结果、前向处理部分对应的前向推理结果，以及后处理部分对应的后处理结果。
根据训练端模型的预处理结果和部署端模型的预处理结果计算第一余弦相似度，通过第一余弦相似度表示训练端模型和部署端模型在预处理部分的相似程度，即表示模型在训练端与部署端之间关于预处理部分的损失。根据训练端模型的前向处理结果和部署端模型的前向处理结果计算第二余弦相似度，通过第二余弦相似度表示训练端模型和部署端模型在前向处理部分的相似程度，即表示模型在训练端与部署端之间关于前向处理部分的损失。根据训练端模型的后处理结果和部署端模型的后处理结果计算第三余弦相似度，通过第三余弦相似度表示训练端模型和部署端模型在后处理部分的相似程度，即表示模型在训练端与部署端之间关于后处理部分的损失。
其中，可以将模型各个部分对应的预处理结果、前向推理结果和后处理结果等结果先转化为numpy数组格式，再通过余弦相似度的度量标准进行计算。
根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分，实现模型在训练端和部署端之间各个子部分的损失，实现从预处理、前向处理和后处理的多个子部分对模型的损失进行细化定位。
本发明实施例中，根据处理方式和调用资源类型对训练单模型和部署端模型进行功能划分，将测试数据输入至训练端模型和部署端模型，确定训练端模型和部署端模型中各个功能部分对应的结果，细化了模型各功能部分的结果，根据相同功能部分对应的训练端模型和部署端模型，进行余弦相似度计算，根据余弦相似度确定训练端模型和部署端模型之间在功能部分维度下的精度损失，相比仅能确定模型整体损失的现有技术，实现了从功能部分维度对网络模型在训练和部署阶段差异损失的准确定位。
根据本发明提供的模型精度损失定位方法，步骤S15包括：
S151、依次将所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，与预设阈值进行第一比对；
S152、在首次第一比对结果为未达到预设阈值的情况下，将对应的部分确定为精度损失第一部分。
具体地，如图2所示，将网络模型分为预处理部分、前向推理部分和后处理部分，将精度异常的图像数据(即测试数据)输入训练端模型和部署端模型之后，可以将训练端模型和部署端模型的关于预处理部分的余弦相似度1和预设阈值进行比对，若达到预设阈值，则将训练端模型和部署端模型的关于前向处理部分的余弦相似度2和预设阈值进行比对，若仍达到预设阈值，则将训练端模型和部署端模型的关于后处理部分的余弦相似度3和预设阈值进行比对，实现对预处理部分、前向推理部分和后处理部分损失的依序排查。
若在训练端模型和部署端模型的关于预处理部分的第一余弦相似度和预设阈值进行比对，比对结果未达到预设阈值的情况下，直接将训练端模型的预处理部分和部署端模型的预处理部分确定为精度损失第一部分。
此时无需再比对训练端模型和部署端模型的关于前向处理和后处理部分。由于前向处理和后处理部分是在预处理的基础上进行处理，所以在预处理部分出现损失之后，前向处理和后处理部分必然会出现损失，但是由于不是首次出现损失，所以没有参考意义，故直接将预处理部分确定为精度损失第一部分。
本发明实施例中，依次将第一余弦相似度、第二余弦相似度和第三余弦相似度，与预设阈值进行第一比对。在首次第一比对结果为未达到预设阈值的情况下，将对应的部分确定为精度损失第一部分，实现对训练端模型和部署端模型在首次出现损失的功能部分进行定位，确定了模型在训练和部署阶段损失的根源。
根据本发明提供的模型精度损失定位方法，在所述精度损失第一部分为所述前向推理部分的情况下，方法还包括：
S21、获取中转端模型，所述中转端模型包括中转端模型的前向推理部分；
S22、将预处理后的测试数据分别输入训练端模型、中转端模型和部署端模型的前向推理部分，得到训练端预测特征图、中转端预测特征图和部署端预测特征图；
S23、根据所述训练端预测特征图和中转端预测特征图计算第四余弦相似度，根据所述中转端预测特征图和部署端预测特征图计算第五余弦相似度；
S24、根据所述第四余弦相似度和所述第五余弦相似度，在所述中转端模型的前向推理部分和所述部署端模型的前向推理部分中，确定精度损失第二部分。
具体地，网络模型在训练阶段和部署阶段之间还具有中转阶段。在确定模型精度损失第一部分为前向推理部分，表示模型在中转和部署阶段前向推理部分出现了损失，但是此时不能确定是模型的前向推理部分是在训练到中转这一阶段出现了损失，还是在中转到部署这一阶段出现了损失。
将测试数据预处理后，分别输入训练端模型的前向推理部分得到训练端预测特征图，输入中转端模型的前向推理部分得到中转端预测特征图，输入部署端模型的前向推理部分得到部署端预测特征图。
根据训练端预测特征图和中转端预测特征图计算第四余弦相似度，通过第四余弦相似度表示训练端模型和中转端模型的前向推理部分的相似程度，即表示模型的前向推理部分在训练端与中转端之间的损失。
根据中转端预测特征图和部署端预测特征图计算第五余弦相似度，通过第五余弦相似度表示中转端模型和部署端模型的前向推理部分的相似程度，即表示模型的前向推理部分在中转端与部署端之间的损失。
本申请实施例中，结合第四余弦相似度和第五余弦相似度，可以进一步确定是在中转阶段中转端模型的前向推理部分出现精度损失，还是在部署阶段部署端模型的前向推理部分出现精度损失，从而在中转端模型的前向推理部分和部署端模型的前向推理部分中，确定更加准确的精度损失第二部分。
根据本发明提供的模型精度损失定位方法，步骤S24包括：
S241、依次将所述第四余弦相似度和所述第五余弦相似度，与预设阈值进行第二比对；
S242、在首次第二比对结果为未达到预设阈值的情况下，将对应的前向推理部分确定为精度损失第二部分
具体地，如图3所示，将测试数据进行预处理后，分别输入训练端模型的前向推理部分得到训练端预测特征图，输入中转端模型的前向推理部分得到中转端预测特征图，输入部署端模型的前向推理部分得到部署端预测特征图。
可以将训练端模型和中转端模型的关于前向处理部分的余弦相似度4和预设阈值进行比对，若达到预设阈值，则将中住哪端模型和部署端模型的关于前向处理部分的余弦相似度5和预设阈值进行比对，实现中转阶段前向推理部分损失和部署阶段前向推理部分损失的依序排查。
若在训练端模型和中转端模型的关于前向处理部分的第四余弦相似度和预设阈值进行比对，比对结果未达到预设阈值的情况下，直接将中转端模型的前向处理部分确定为精度损失第二部分。
此时无需再比对中转端模型和部署端模型的关于前向处理的部分。由于部署阶段是在中转阶段的基础上进行处理，所以在中转阶段前向处理部分出现损失之后，部署阶段前向处理必然会出现损失，但是由于不是首次出现损失，没有参考意义，故直接将中转端前向处理部分确定为精度损失第二部分。
本发明实施例中，依次将第四余弦相似度和第五余弦相似度，与预设阈值进行第二比对。在首次第二比对结果为未达到预设阈值的情况下，将对应的部分确定为精度损失第二部分，实现对中转阶段和部署阶段中，对前向处理部分首次出现损失的功能部分进行定位，确定了前向处理部分是在中转阶段和部署阶段中首次出现损失。
根据本发明提供的模型精度损失定位方法，在所述精度损失第二部分为所述部署端模型的前向推理部分的情况下，方法还包括S31-S33：
S31、根据主干网络、编码器和解码器的结构，将所述中转端模型和所述部署端模型进行分解。
S32、根据分解后的中转端模型和部署端模型，对所述中转端预测特征图和所述部署端预测特征图进行分解，得到中转端分解特征图和部署端分解特征图。
具体地，步骤S32包括S321-S323：
S321、将所述中转端模型的前向推理部分，划分为中转端主干网络、中转端编码器和中转端解码器，将所述部署端模型的前向推理部分，划分为部署端主干网络、部署端编码器和部署端解码器；
S322、根据所述中转端主干网络、所述中转端编码器和所述中转端解码器，将所述中转端预测特征图分解为中转端主干网络分解特征图、中转端编码器分解特征图和中转端解码器分解特征图；
S323根据所述部署端主干网络、所述部署端编码器和所述部署端解码器，将所述部署端预测特征图分解为部署端主干网络分解特征图、部署端编码器分解特征图和部署端解码器分解特征图。
S33、根据所述中转端分解特征图和部署端分解特征图，确定精度损失第三部分。
具体地，步骤S33包括：
S331、根据所述中转端主干网络分解特征图和所述部署端主干网络分解特征图计算第六余弦相似度，根据中转端编码器分解特征图和所述部署端编码器分解特征图计算第七余弦相似度，根据中转端解码器分解特征图和所述部署端解码器分解特征图计算第八余弦相似度；
S332、依次将所述第六余弦相似度、所述第七余弦相似度和所述第八余弦相似度，与预设阈值进行第三比对；
S333、在首次第三比对结果为未达到预设阈值的情况下，将对应的分解网络确定为精度损失第三部分，所述分解网络为主干网络、编码器和解码器中的一项。
一个示例中，如图4所示，将中转端模型的前向推理部分，划分为中转端主干网络、中转端编码器和中转端解码器，将部署端模型的前向推理部分，划分为部署端主干网络、部署端编码器和部署端解码器。相应的，将中转端预测特征图和部署端预测特征图分解为各自对应的主干网络、编码器和解码器的分解特征图。根据分解后的主干网络、编码器和解码器的分解特征图，分别计算中转端模型与部署端模型主干网络之间的余弦相似度6、编码器之间的余弦相似度7和解码器之间的余弦相似度8。
通过依次将所述第六余弦相似度、所述第七余弦相似度和所述第八余弦相似度，与预设阈值进行第三比对。在首次第三比对结果为未达到预设阈值的情况下，将对应的部分确定为精度损失第三部分，实现对部署阶段中，对前向处理部分的主干网络、编码器和解码器中，首次出现损失的功能部分进行定位，从更加具体地网络结构层面确定了在部署阶段前向处理中首次出现损失的部分。
本发明实施例中，将中转端和部署端的网络模型的前向处理部分划分为主干网络、编码器和解码器，相应的将预测特征图分解为主干网络分解特征图、编码器分解特征图和解码器分解特征图。进而根据分解特征图计算余弦相似度，实现确定部署阶段模型主干网络、编码器和解码器中的哪一项首次出现损失，实现更为准确具体地损失定位。
基于上述各实施例的一个示例中，模型模型精度损失定位流程，如图5所示：
确定训练端模型与部署端模型预测结果是否一致；若是，结束模型精度损失定位；若否，判断训练端模型和部署端模型预处理部分是否一致。
训练端模型和部署端模型预处理部分不一致的情况下，将训练端与部署端的预处理部分确定精度损失第一部分；一致的情况下，判断训练端模型和部署端模型前向处理部分是否一致。
训练端模型和部署端模型前向处理部分不一致的情况下，将前向处理部分确定精度损失第一部分，并判断训练端模型和中转端模型前向处理部分是否一致；训练端模型和部署端模型前向处理部分一致的情况下，判断训练端模型和部署端模型后处理部分是否一致。
训练端模型和中转端模型前向处理部分不一致的情况下，将训练端模型和中转端模型前向处理部分确定为精度损失第二部分，并且按照主干网络、编码器、解码器划分训练端模型和中转端模型的前向处理部分，并依序比对确定精度损失第三部分；一致的情况下，判断中转端模型和部署端模型前向处理部分是否一致。
中转端模型和部署端模型前向处理部分不一致的情况下，将中转端模型和部署端模型前向处理部分确定为精度损失第二部分，并且按照主干网络、编码器、解码器划分中转端模型和部署端模型的前向处理部分，并依序比对确定精度损失第三部分；一致的情况下，判断训练端模型和部署端模型后处理部分是否一致。
训练端模型和部署端模型后处理部分不一致的情况下，将训练端与部署端的后处理部分确定精度损失第一部分；一致的情况下，结束模型精度损失定位。
下面对本发明提供的模型精度损失定位装置进行描述，下文描述的模型精度损失定位装置与上文描述的模型精度损失定位方法可相互对应参照。
本发明还提供一种模型精度损失定位装置，如图6所示，包括：
获取单元61，用于获取测试数据，以及基于模型中转部署的位于不同平台端的网络模型，包括训练端模型和部署端模型；
解析单元62，用于根据处理方式和调用资源类型，将所述训练端模型和所述部署端模型划分为预处理部分、前向推理部分和后处理部分；将所述测试数据分别输入所述训练端模型和所述部署端模型，确定所述训练端模型和所述部署端模型各自对应的预处理结果、前向推理结果和后处理结果；根据所述训练端模型的预处理结果和部署端模型的预处理结果计算第一余弦相似度，根据所述训练端模型的前向处理结果和部署端模型的前向处理结果计算第二余弦相似度，根据所述训练端模型的后处理结果和部署端模型的后处理结果计算第三余弦相似度；根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分。
本发明实施例中，根据处理方式和调用资源类型对训练单模型和部署端模型进行功能划分，将测试数据输入至训练端模型和部署端模型，确定训练端模型和部署端模型中各个功能部分对应的结果，细化了模型各功能部分的结果，根据相同功能部分对应的训练端模型和部署端模型，进行余弦相似度计算，根据余弦相似度确定训练端模型和部署端模型之间在功能部分维度下的精度损失，相比仅能确定模型整体损失的现有技术，实现了从功能部分维度对网络模型在训练和部署阶段差异损失的准确定位。
根据本发明提供的模型精度损失定位装置，解析单元62具体用于：
依次将所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，与预设阈值进行第一比对；
在首次第一比对结果为未达到预设阈值的情况下，将对应的部分确定为精度损失第一部分。
根据本发明提供的模型精度损失定位装置，解析单元62，还用于：
获取中转端模型，所述中转端模型包括中转端模型的前向推理部分；
将预处理后的测试数据分别输入训练端模型、中转端模型和部署端模型的前向推理部分，得到训练端预测特征图、中转端预测特征图和部署端预测特征图；
根据所述训练端预测特征图和中转端预测特征图计算第四余弦相似度，根据所述中转端预测特征图和部署端预测特征图计算第五余弦相似度；
根据所述第四余弦相似度和所述第五余弦相似度，在所述中转端模型的前向推理部分和所述部署端模型的前向推理部分中，确定精度损失第二部分。
根据本发明提供的模型精度损失定位装置，解析单元62，具体用于：
依次将所述第四余弦相似度和所述第五余弦相似度，与预设阈值进行第二比对；
在首次第二比对结果为未达到预设阈值的情况下，将对应的前向推理部分确定为精度损失第二部分。
根据本发明提供的模型精度损失定位装置，解析单元62，还用于：
根据主干网络、编码器和解码器的结构，将所述中转端模型和所述部署端模型进行分解；
根据分解后的中转端模型和部署端模型，对所述中转端预测特征图和所述部署端预测特征图进行分解，得到中转端分解特征图和部署端分解特征图；
根据所述中转端分解特征图和部署端分解特征图，确定精度损失第三部分。
根据本发明提供的模型精度损失定位装置，解析单元62，具体用于：
将所述中转端模型的前向推理部分，划分为中转端主干网络、中转端编码器和中转端解码器，将所述部署端模型的前向推理部分，划分为部署端主干网络、部署端编码器和部署端解码器；
根据所述中转端主干网络、所述中转端编码器和所述中转端解码器，将所述中转端预测特征图分解为中转端主干网络分解特征图、中转端编码器分解特征图和中转端解码器分解特征图；
根据所述部署端主干网络、所述部署端编码器和所述部署端解码器，将所述部署端预测特征图分解为部署端主干网络分解特征图、部署端编码器分解特征图和部署端解码器分解特征图。
根据本发明提供的模型精度损失定位装置，解析单元62，具体用于：
根据所述中转端主干网络分解特征图和所述部署端主干网络分解特征图计算第六余弦相似度，根据中转端编码器分解特征图和所述部署端编码器分解特征图计算第七余弦相似度，根据中转端解码器分解特征图和所述部署端解码器分解特征图计算第八余弦相似度；
依次将所述第六余弦相似度、所述第七余弦相似度和所述第八余弦相似度，与预设阈值进行第三比对；
在首次第三比对结果为未达到预设阈值的情况下，将对应的分解网络确定为精度损失第三部分，所述分解网络为主干网络、编码器和解码器中的一项。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行模型精度损失定位方法，该方法包括：获取测试数据，以及基于模型中转部署的位于不同平台端的网络模型，包括训练端模型和部署端模型；根据处理方式和调用资源类型，将所述训练端模型和所述部署端模型划分为预处理部分、前向推理部分和后处理部分；将所述测试数据分别输入所述训练端模型和所述部署端模型，确定所述训练端模型和所述部署端模型各自对应的预处理结果、前向推理结果和后处理结果；根据所述训练端模型的预处理结果和部署端模型的预处理结果计算第一余弦相似度，根据所述训练端模型的前向处理结果和部署端模型的前向处理结果计算第二余弦相似度，根据所述训练端模型的后处理结果和部署端模型的后处理结果计算第三余弦相似度；根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的模型精度损失定位方法，该方法包括：获取测试数据，以及基于模型中转部署的位于不同平台端的网络模型，包括训练端模型和部署端模型；根据处理方式和调用资源类型，将所述训练端模型和所述部署端模型划分为预处理部分、前向推理部分和后处理部分；将所述测试数据分别输入所述训练端模型和所述部署端模型，确定所述训练端模型和所述部署端模型各自对应的预处理结果、前向推理结果和后处理结果；根据所述训练端模型的预处理结果和部署端模型的预处理结果计算第一余弦相似度，根据所述训练端模型的前向处理结果和部署端模型的前向处理结果计算第二余弦相似度，根据所述训练端模型的后处理结果和部署端模型的后处理结果计算第三余弦相似度；根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的模型精度损失定位方法，该方法包括：获取测试数据，以及基于模型中转部署的位于不同平台端的网络模型，包括训练端模型和部署端模型；根据处理方式和调用资源类型，将所述训练端模型和所述部署端模型划分为预处理部分、前向推理部分和后处理部分；将所述测试数据分别输入所述训练端模型和所述部署端模型，确定所述训练端模型和所述部署端模型各自对应的预处理结果、前向推理结果和后处理结果；根据所述训练端模型的预处理结果和部署端模型的预处理结果计算第一余弦相似度，根据所述训练端模型的前向处理结果和部署端模型的前向处理结果计算第二余弦相似度，根据所述训练端模型的后处理结果和部署端模型的后处理结果计算第三余弦相似度；根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种模型精度损失定位方法，其特征在于，包括：
获取测试数据，以及基于模型中转部署的位于不同平台端的网络模型，包括训练端模型和部署端模型；
根据处理方式和调用资源类型，将所述训练端模型和所述部署端模型划分为预处理部分、前向推理部分和后处理部分；
将所述测试数据分别输入所述训练端模型和所述部署端模型，确定所述训练端模型和所述部署端模型各自对应的预处理结果、前向推理结果和后处理结果；
根据所述训练端模型的预处理结果和部署端模型的预处理结果计算第一余弦相似度，根据所述训练端模型的前向处理结果和部署端模型的前向处理结果计算第二余弦相似度，根据所述训练端模型的后处理结果和部署端模型的后处理结果计算第三余弦相似度；
根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分。
2.根据权利要求1所述的模型精度损失定位方法，其特征在于，根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分，包括：
依次将所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，与预设阈值进行第一比对；
在首次第一比对结果为未达到预设阈值的情况下，将对应的部分确定为精度损失第一部分。
3.根据权利要求1所述的模型精度损失定位方法，其特征在于，在所述精度损失第一部分为所述前向推理部分的情况下，所述方法还包括：
获取中转端模型，所述中转端模型包括中转端模型的前向推理部分；
将预处理后的测试数据分别输入训练端模型、中转端模型和部署端模型的前向推理部分，得到训练端预测特征图、中转端预测特征图和部署端预测特征图；
根据所述训练端预测特征图和中转端预测特征图计算第四余弦相似度，根据所述中转端预测特征图和部署端预测特征图计算第五余弦相似度；
根据所述第四余弦相似度和所述第五余弦相似度，在所述中转端模型的前向推理部分和所述部署端模型的前向推理部分中，确定精度损失第二部分。
4.根据权利要求3所述的模型精度损失定位方法，其特征在于，根据所述第四余弦相似度和所述第五余弦相似度，在所述中转端模型的前向推理部分和所述部署端模型的前向推理部分中，确定精度损失第二部分，包括：
依次将所述第四余弦相似度和所述第五余弦相似度，与预设阈值进行第二比对；
在首次第二比对结果为未达到预设阈值的情况下，将对应的前向推理部分确定为精度损失第二部分。
5.根据权利要求3所述的模型精度损失定位方法，其特征在于，在所述精度损失第二部分为所述部署端模型的前向推理部分的情况下，所述方法还包括：
根据主干网络、编码器和解码器的结构，将所述中转端模型和所述部署端模型进行分解；
根据分解后的中转端模型和部署端模型，对所述中转端预测特征图和所述部署端预测特征图进行分解，得到中转端分解特征图和部署端分解特征图；
根据所述中转端分解特征图和部署端分解特征图，确定精度损失第三部分。
6.根据权利要求5所述的模型精度损失定位方法，其特征在于，根据分解后的中转端模型和部署端模型，对所述中转端预测特征图和所述部署端预测特征图进行分解，得到分解后的中转端分解特征图和部署端分解特征图，包括：
将所述中转端模型的前向推理部分，划分为中转端主干网络、中转端编码器和中转端解码器，将所述部署端模型的前向推理部分，划分为部署端主干网络、部署端编码器和部署端解码器；
根据所述中转端主干网络、所述中转端编码器和所述中转端解码器，将所述中转端预测特征图分解为中转端主干网络分解特征图、中转端编码器分解特征图和中转端解码器分解特征图；
根据所述部署端主干网络、所述部署端编码器和所述部署端解码器，将所述部署端预测特征图分解为部署端主干网络分解特征图、部署端编码器分解特征图和部署端解码器分解特征图。
7.根据权利要求6所述的模型精度损失定位方法，其特征在于，根据所述中转端分解特征图和部署端分解特征图，确定精度损失第三部分，包括：
根据所述中转端主干网络分解特征图和所述部署端主干网络分解特征图计算第六余弦相似度，根据中转端编码器分解特征图和所述部署端编码器分解特征图计算第七余弦相似度，根据中转端解码器分解特征图和所述部署端解码器分解特征图计算第八余弦相似度；
依次将所述第六余弦相似度、所述第七余弦相似度和所述第八余弦相似度，与预设阈值进行第三比对；
在首次第三比对结果为未达到预设阈值的情况下，将对应的分解网络确定为精度损失第三部分，所述分解网络为主干网络、编码器和解码器中的一项。
8.一种模型精度损失定位装置，其特征在于，包括：
获取单元，用于获取测试数据，以及基于模型中转部署的位于不同平台端的网络模型，包括训练端模型和部署端模型；
解析单元，用于根据处理方式和调用资源类型，将所述训练端模型和所述部署端模型划分为预处理部分、前向推理部分和后处理部分；将所述测试数据分别输入所述训练端模型和所述部署端模型，确定所述训练端模型和所述部署端模型各自对应的预处理结果、前向推理结果和后处理结果；根据所述训练端模型的预处理结果和部署端模型的预处理结果计算第一余弦相似度，根据所述训练端模型的前向处理结果和部署端模型的前向处理结果计算第二余弦相似度，根据所述训练端模型的后处理结果和部署端模型的后处理结果计算第三余弦相似度；根据所述第一余弦相似度、所述第二余弦相似度和所述第三余弦相似度，在所述预处理部分、所述前向推理部分和所述后处理部分中，确定精度损失第一部分。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述模型精度损失定位方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述模型精度损失定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310240213.0A CN116306777A (zh) | 2023-03-13 | 2023-03-13 | 模型精度损失定位方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310240213.0A CN116306777A (zh) | 2023-03-13 | 2023-03-13 | 模型精度损失定位方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116306777A true CN116306777A (zh) | 2023-06-23 |
Family
ID=86784658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310240213.0A Pending CN116306777A (zh) | 2023-03-13 | 2023-03-13 | 模型精度损失定位方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116306777A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117056238A (zh) * | 2023-10-11 | 2023-11-14 | 深圳鲲云信息科技有限公司 | 验证部署框架下模型转换正确性的方法及计算设备 |
-
2023
- 2023-03-13 CN CN202310240213.0A patent/CN116306777A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117056238A (zh) * | 2023-10-11 | 2023-11-14 | 深圳鲲云信息科技有限公司 | 验证部署框架下模型转换正确性的方法及计算设备 |
| CN117056238B (zh) * | 2023-10-11 | 2024-01-30 | 深圳鲲云信息科技有限公司 | 验证部署框架下模型转换正确性的方法及计算设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111124840B (zh) | 业务运维中告警的预测方法、装置与电子设备 | |
| CN113853624A (zh) | 电力负荷数据的预测方法、装置及存储介质 | |
| CN113536081B (zh) | 基于人工智能的数据中心数据管理方法及系统 | |
| CN116306777A (zh) | 模型精度损失定位方法、装置和电子设备 | |
| CN111177135B (zh) | 一种基于界标的数据填补方法及装置 | |
| CN115587666A (zh) | 基于季节趋势分解和混合神经网络的负荷预测方法及系统 | |
| US20220343163A1 (en) | Learning system, learning device, and learning method | |
| CN114639102A (zh) | 基于关键点与尺寸回归的细胞分割方法和装置 | |
| CN113554624B (zh) | 异常检测方法、装置及计算机存储介质 | |
| CN111241843A (zh) | 基于复合神经网络的语义关系推断系统和方法 | |
| CN114972695A (zh) | 一种点云生成方法、装置、电子设备及存储介质 | |
| US20220058530A1 (en) | Method and device for optimizing deep learning model conversion, and storage medium | |
| CN115908775A (zh) | 化学结构式的识别方法、装置、存储介质及电子设备 | |
| CN114202110A (zh) | 一种基于rf-xgboost的业务故障预测方法及装置 | |
| CN111341304A (zh) | 一种基于gan的说话人语音特征训练方法、装置和设备 | |
| CN116776926B (zh) | 一种对话模型的优化部署方法、装置、设备及介质 | |
| CN110716855B (zh) | 处理器指令集测试方法及装置 | |
| CN116680778B (zh) | 建筑结构布置生成方法、系统及生成模型的构建方法 | |
| CN116051164B (zh) | 建设成本测算方法、装置、设备及可读存储介质 | |
| TWI762193B (zh) | 圖像瑕疵檢測方法、裝置、電子設備及存儲介質 | |
| CN117038063A (zh) | 基于多模态数据的事件预测模型构建方法和事件预测装置 | |
| CN117171623A (zh) | 细粒度的调用链异常检测方法、模型的训练方法及装置 | |
| CN117215962A (zh) | 代码测试方法、装置、一体机和计算机程序产品 | |
| CN117575407A (zh) | 一种数据处理方法、装置、存储介质及电子设备 | |
| CN114615032A (zh) | 行为安全基线融合学习方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |