CN116629339B - 模型优化方法、数据处理方法、装置、存储介质及芯片 - Google Patents
模型优化方法、数据处理方法、装置、存储介质及芯片 Download PDFInfo
- Publication number
- CN116629339B CN116629339B CN202310903059.0A CN202310903059A CN116629339B CN 116629339 B CN116629339 B CN 116629339B CN 202310903059 A CN202310903059 A CN 202310903059A CN 116629339 B CN116629339 B CN 116629339B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- processing model
- operator
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 603
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000005457 optimization Methods 0.000 title claims abstract description 58
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000003672 processing method Methods 0.000 claims abstract description 32
- 230000010339 dilation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 41
- 230000006870 function Effects 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000010411 cooking Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提出了一种模型优化方法、数据处理方法、装置、存储介质及芯片，涉及模型处理技术领域，其中，模型优化方法，包括：在确定第一处理模型的情况下，获取第一处理模型的模型参数；基于模型参数，将第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型；其中，第二处理模型的输入数据尺寸小于第一处理模型的输入数据尺寸；根据模型参数，配置第二处理模型对应的数据选取信息。通过本申请提供的技术方案可以提高模型在边端设备中的数据处理效率。
Description
技术领域
本申请涉及模型处理技术领域，具体而言，涉及一种模型优化方法、数据处理方法、装置、存储介质及芯片。
背景技术
数据处理模型通常采用TCN（Temporal Convolutional Network，时序卷积网络）体系结构，TCN结构中通常使用扩张卷积算子，即在标准卷积算子中注入空洞，从而提高模型的感受野。
相关技术中，由于部分设备的算力较差，导致扩张卷积算子的执行效率低、推理速度慢。
发明内容
本申请旨在解决现有技术或相关技术中存在的技术问题之一。
为此，本申请的第一方面提出了一种模型优化方法。
本申请的第二方面提出了一种数据处理方法。
本申请的第三方面提出了一种模型优化装置。
本申请的第四方面提出了一种数据处理装置。
本申请的第五方面提出了一种可读存储介质。
本申请的第六方面提出了一种计算机程序产品。
本申请的第七方面提出了一种芯片。
有鉴于此，根据本申请的第一方面提出一种模型优化方法，包括：在确定第一处理模型的情况下，获取第一处理模型的模型参数；基于模型参数，将第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型；其中，第二处理模型的输入数据尺寸小于第一处理模型的输入数据尺寸；根据模型参数，配置第二处理模型对应的数据选取信息。
在该技术方案中，通过将第一处理模型中第一卷积算子替换为第二卷积算子，并且第二处理模型配置相应的数据选取信息，能够得到输入数据尺寸较小的第二处理模型。在将第二处理模型部署到算力较低的边端设备时，能够提高第二处理模型在边端设备中的数据处理速度。
在该技术方案中，第一卷积算子为第一处理模型中的卷积算子，该卷积算子可以为空洞卷积算子，第二卷积算子为非空洞卷积算子，通过将第一卷积算子替换为第二卷积算子，并调整第一处理模型的输入数据尺寸得到第二处理模型，完成对第一处理模型的优化。
在该技术方案中，第一处理模型为优化前的神经网络模型，第一处理模型的输入数据尺寸较大，且第一处理模型具有将接收到的数据集进行选取的功能。第二处理模型为对第一处理模型进行优化得到的神经网络模型，第二处理模型中输入数据尺寸小于第一处理模型的输入数据尺寸，且第二处理模型不具备对数据集进行选取的功能。基于第一处理模型确定对特征数据集进行选取的数据选取信息，在将特征数据输入至第二处理模型之前，基于数据选取信息对特征数据集进行数据选取。再将提前选取得到的特征子集输入至第二处理模型进行处理，由于第二处理模型的输入数据尺寸小于第一处理模型的输入数据尺寸，在算力较小的家居设备中，第二处理模型的推理速度快于第一处理模型的推理速度。
在该技术方案中，第一处理模型的输入数据尺寸大于第二处理模型的输入数据尺寸，且第一处理模型中卷积算子的输入数据尺寸与第二处理模型中卷积算子的输入数据尺寸相同，在提高模型推理速度的同时，保证了第一处理模型与第二处理模型的计算结果等效。
在该技术方案中，通过将第一处理模型优化为第二处理模型，降低了输入至处理模型的输入数据尺寸，并将选取特征数据集中的特征子集的步骤在模型推理步骤之前执行，能够提高第二处理模型的推理效率。
在一些技术方案中，可选地，模型参数包括第一卷积算子的扩张因子和卷积核尺寸；
基于模型参数，将第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型之前，包括：根据扩张因子和卷积核尺寸，生成第二卷积算子。
在该技术方案中，根据第一卷积算子的扩张因子和卷积核尺寸，构建第二卷积算子，保证第二卷积算子的参数与第一卷积算子的扩张因子和卷积核尺寸相匹配，保证了通过第二卷积算子替换第一卷积算子得到的第二处理模型的处理结果与第一处理模型的处理结果相匹配，提高了第二处理模型的处理速度的同时，还保证了第二处理模型与第一处理模型处理结果的匹配性。
在该技术方案中，第一卷积算子和第二卷积算子对数据的处理结果相匹配，通过获取第一卷积算子的扩张因子和卷积核尺寸，并根据第一卷积算子的扩张因子和卷积核尺寸对第二卷积算子进行构建，从而保证第一卷积算子与构建得到的第二卷积算子对相同数据的处理结果相同。
在该技术方案中，通过将第一处理模型中的第一卷积算子替换为第二卷积算子，生成第二处理模型，从而减小了处理模型的输入数据尺寸，提高模型的整体推理效率。
在该技术方案中，通过获取第一处理模型中的第一卷积算子的卷积核尺寸和扩张因子，并据此构建与第一卷积算子运算结果和运算量相同的第二卷积算子，以及生成能够在模型外进行数据选取的数据选取信息。通过将第一处理模型中的第一卷积算子替换为第二卷积算子，能够得到第二处理模型，保证运算结果和运算量不变的情况下，加速算子推理速度，提高第二处理模型的处理效率。
在一些技术方案中，可选地，基于模型参数，将第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型之后，还包括：
确定第二处理模型中的叠加算子，叠加算子的第一输出通道通过串联算子与第二卷积算子的输入通道相连接，其中，串联算子的第一输入通道与叠加算子的第一输出通道相连接，串联算子的输出通道与第二卷积算子相连接；将第二卷积算子的输出通道通过全连接算子连接至叠加算子的输入通道；将叠加算子的第二输出通道确定为第二处理模型的输出通道；以及将串联算子的第二输入通道确定为第二处理模型的输入通道。
在该技术方案中，在通过第二卷积算子对第一处理模型中的第一卷积算子进行替换得到优化后的第二处理模型之后，对第二处理模型中的各个算子之间的连接关系进行进一步优化。
在该技术方案中，通过算子识别的方式，查找到第二处理模型中的叠加算子，将叠加算子的第一输出通道与串联算子的第一输入通道相连接，将串联算子的第二输入通道作为第二处理模型的输入通道，即第一特征数据集通过串联算子的第二输入通道输入至第二处理模型中。将串联算子的输出通道与第二卷积算子的输入通道相连接，第二卷积算子的输出通道连接至全连接算子的输入通道，全连接算子的输出通道与叠加算子的输入通道相连接，叠加算子的输出通道作为第二处理模型的输出通道，即第二处理模型将输出的第二特征子集通过叠加算子的输出通道进行输出。
在该技术方案中，在将第一处理模型中的第一卷积算子替换为第二卷积算子，从而生成第二处理模型之后，对第二处理模型中各个算子之间的连接关系进行设置，保证第二处理模型的推理效率优于原第一处理模型的推理效率的同时，还能够提高第一处理模型与第二处理模型输出结果的匹配程度。
在一些技术方案中，可选地，模型参数包括第一卷积算子的扩张因子和卷积核尺寸；根据模型参数，配置第二处理模型对应的数据选取信息，包括：根据扩张因子，确定选取间隔；以及根据卷积核尺寸，确定选取数量；根据选取间隔和选取数量，生成数据选取信息。
在该技术方案中，通过扩张因子能够确定数据选取信息中的选取间隔，即间隔相邻两次选取特征数据之间所间隔的数据数量。通过卷积核尺寸能够确定数据选取信息中的选取数量，选取数量为每个第一特征子集中的数据数量。
在该技术方案中，在将第一卷积算子替换为第二卷积算子之后，可以根据第一卷积算子的卷积核尺寸和扩张因子，确定数据选取信息。通过该数据选取信息在特征数据集输入至第二处理模型之前，对特征数据集进行选取，得到第一特征子集，通过将第一特征子集输入至第二处理模型中，提高输入至优化后的第二处理模型中的第一特征子集的准确性，在提高推理效率的同时，保证第二处理模型与第一处理模型推理的匹配程度。
在一些技术方案中，可选地，第一卷积算子包括以下任一项：空洞卷积算子、深度可分离卷积算子、转置卷积算子。
在该技术方案中，在第一处理模型中包括空洞卷积算子、转置卷积算子、深度可分离卷积算子和普通二维卷积算子中的任一项的情况下，均能够将上述卷积算子替换为标准卷积算子，并将对数据的选取过程单独设置在模型之外，从而提高模型整体的推理效率。
根据本申请的第二方面提出一种数据处理方法，包括：在接收到特征数据集的情况下，按照数据选取信息，提取特征数据集中的第一特征子集；其中，数据选取信息为上述任一技术方案中的模型优化方法确定的数据选取信息；将第一特征子集输入至数据处理模型中，以得到数据处理结果。其中，数据处理模型为上述任一技术方案中的模型优化方法确定的第二处理模型。
本申请的技术方案中提出了一种数据处理方法，该数据处理方法由电子设备执行，能够提高电子设备通过数据处理模型对特征数据集的处理效率，提高了数据处理过程的整体推理速度。
在该技术方案中，数据处理模型为通过对第一处理模型进行优化得到的第二处理模型，具体优化过程如上述任一技术方案中的模型优化方法示出，在此不再赘述。
在该技术方案中，第一处理模型为优化前的神经网络模型，第一处理模型的输入数据尺寸较大，且第一处理模型具有将接收到的数据集进行选取的功能。第二处理模型为对第一处理模型进行优化得到的神经网络模型，第二处理模型中输入数据尺寸小于第一处理模型的输入数据尺寸，且第二处理模型不具备对数据集进行选取的功能。
在该技术方案中，通过在将特征数据输入至数据处理模型之前，基于数据选取信息对特征数据集进行数据选取，得到第一特征子集。再将提前选取得到的第一特征子集输入至数据处理模型进行处理，由于数据处理模型的输入数据尺寸较小，在算力较小的家居设备中，数据处理模型的推理速度快于第一处理模型的推理速度。
在该技术方案中，通过将对第一处理模型进行优化得到的第二处理模型作为数据处理模型。在接收到特征数据集时，按照相匹配的数据选取信息在特征数据集中选取相应的第一特征子集，再将第一特征子集输入至数据处理模型进行处理，得到数据处理结果。
在上述技术方案中，数据选取信息包括：选取间隔和选取数量；在接收到特征数据集的情况下，按照数据选取信息，提取特征数据集中的第一特征子集，包括：按照选取间隔，在特征数据集中提取目标特征数据，目标特征数据的数量与选取数量相匹配；根据目标特征数据，生成第一特征子集。
在该技术方案中，在特征数据集中，每间隔选取间隔对第一特征子集进行一次选取，按照选取数量选取第一特征子集中的目标特征数据，使第一特征子集中的目标特征数据量与选取数量相匹配。通过将上述方式选取到的第一特征子集输入至数据处理模型中，保证优化后的数据处理模型对特征数据集的处理结果与优化前的第一处理模型对特征数据集的处理结果相匹配。
在该技术方案中，在将目标特征数据输入至数据处理模型之前，通过选取间隔和选取数量在特征数据集中选取相应的第一特征子集，将第一特征子集输入至数据处理模型中，相较于将特征数据集输入至优化前的第一处理模型进行推理的方式具有较快的推理速度，且具有相同的推理结果。
在上述技术方案中，将第一特征子集输入至数据处理模型中，以得到数据处理结果，包括：
将第一特征子集输入至数据处理模型中，以得到第二特征子集；根据第二特征子集，对特征数据集进行更新处理，得到目标特征集；根据目标特征集，输出数据处理结果。
在该技术方案中，在将第一特征子集输入至数据处理模型中，数据处理模型对第一特征子集进行处理后，能够输出第二特征子集。通过第二特征子集对特征数据集中的第一特征子集进行替换更新，得到目标特征集，通过该目标特征集能够确定数据处理结果，在提高数据处理模型的推理速度的同时，还保证了推理结果的准确性。
在该技术方案中，基于特征数据集建立一个临时数组，数据处理模型每次输出第二特征子集后，按照选取第一特征子集的顺序将第二特征子集回传至临时数组，以对特征数据集进行更新。
在该技术方案中，在将第一特征子集输入至优化得到的数据处理模型之后，根据数据处理模型输出的第二特征子集，对特征数据集进行更新，得到相应的目标特征集，从而输出数据处理结果，在保证数据处理模型的推理速度的同时，保证了输出的数据处理结果的准确性。
在一些技术方案中，可选地，根据第二特征子集，对特征数据集进行更新处理，得到目标特征集，包括：获取第一特征子集在特征数据集中的排列信息；根据排列信息，将特征数据集中的第一特征子集替换为第二特征子集，得到目标特征集。
在该技术方案中，在通过第二特征子集更新语音特征集的过程中，需要获取与第二特征子集相匹配的第一特征子集在语音特征集中的排列信息，并按照排列信息，将第二特征子集输入至语音特征集中，以对语义特征集进行更新，进一步提高了通过第二特征子集对语音特征集的更新准确性。
其中，排列信息为第一特征子集在语音特征集中所处的排列位置和排列顺序。
在一些技术方案中，可选地，特征数据集包括以下任一项：音频特征集、文本特征集、图像特征集。
在该技术方案中，数据处理模型可以为音频识别模型、文本处理模型、图像处理模型中的任一种，即通过选择不同的数据处理模型能够对不同的特征数据集进行处理，从而适应不同的应用场景。
在该技术方案中，数据处理模型可以为音频识别模型。在数据处理模型为音频识别模型的情况下，特征数据集包括音频特征集。通过将该音频识别模型部署在家居设备中，实现对家居的语音控制、语音唤醒等功能。
在该技术方案中，数据处理模型可以为文本处理模型，在数据处理模型为文本处理模型时，特征数据集包括文本特征集。通过将文本处理模型部署到家居设备中，能够实现家居设备对文本内容的机器翻译等功能。
在该技术方案中，数据处理模型可以为图像处理模型，在数据处理模型为图像处理模型时，特征数据集包括图像特征集。通过将图像处理模型部署到烹饪设备中，能够实现烹饪设备对食材图像的自动识别。
根据本申请的第三方面提出一种模型优化装置，包括：获取模块，用于在确定第一处理模型的情况下，获取第一处理模型的模型参数；替换模块，用于基于模型参数，将第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型，其中，第二处理模型的输入数据尺寸小于第一处理模型的输入数据尺寸；配置模块，用于根据模型参数，配置第二处理模型对应的数据选取信息。
在该技术方案中，通过将第一处理模型中第一卷积算子替换为第二卷积算子，并且第二处理模型配置相应的数据选取信息，能够得到输入数据尺寸较小的第二处理模型。在将第二处理模型部署到算力较低的边端设备时，能够提高第二处理模型在边端设备中的数据处理速度。
在该技术方案中，第一处理模型的输入数据尺寸大于第二处理模型的输入数据尺寸，且第一处理模型中卷积算子的输入数据尺寸与第二处理模型中卷积算子的输入数据尺寸相同，在提高模型推理速度的同时，保证了第一处理模型与第二处理模型的计算结果等效。
在该技术方案中，通过将第一处理模型优化为第二处理模型，降低了输入至处理模型的输入数据尺寸，并将选取特征数据集中的特征子集的步骤在模型推理步骤之前执行，能够提高第二处理模型的推理效率。
在一些技术方案中，可选地，模型参数包括第一卷积算子的扩张因子和卷积核尺寸；模型优化装置，包括：生成模块，用于根据扩张因子和卷积核尺寸，生成第二卷积算子。
在该技术方案中，通过获取第一处理模型中的第一卷积算子的卷积核尺寸和扩张因子，并据此构建与第一卷积算子运算结果和运算量相同的第二卷积算子，以及生成能够在模型外进行数据选取的数据选取信息。通过将第一处理模型中的第一卷积算子替换为第二卷积算子，能够得到第二处理模型，保证运算结果和运算量不变的情况下，加速算子推理速度，提高第二处理模型的处理效率。
在一些技术方案中，可选地，模型优化装置，包括：确定模块，用于确定第二处理模型中的叠加算子，叠加算子的第一输出通道通过串联算子与第二卷积算子的输入通道相连接，其中，串联算子的第一输入通道与叠加算子的第一输出通道相连接，串联算子的输出通道与第二卷积算子相连接；连接模块，用于将第二卷积算子的输出通道通过全连接算子连接至叠加算子的输入通道；确定模块，用于将叠加算子的第二输出通道确定为第二处理模型的输出通道；以及将串联算子的第二输入通道确定为第二处理模型的输入通道。
在该技术方案中，在通过第二卷积算子对第一处理模型中的第一卷积算子进行替换得到优化后的第二处理模型之后，对第二处理模型中的各个算子之间的连接关系进行进一步优化。
在该技术方案中，在将第一处理模型中的第一卷积算子替换为第二卷积算子，从而生成第二处理模型之后，对第二处理模型中各个算子之间的连接关系进行设置，保证第二处理模型的推理效率优于原第一处理模型的推理效率的同时，还能够提高第一处理模型与第二处理模型输出结果的匹配程度。
在一些技术方案中，可选地，模型参数包括第一卷积算子的扩张因子和卷积核尺寸；确定模块，用于根据扩张因子，确定选取间隔；以及根据卷积核尺寸，确定选取数量；生成模块，用于根据选取间隔和选取数量，生成数据选取信息。
在该技术方案中，通过扩张因子能够确定数据选取信息中的选取间隔，即间隔相邻两次选取特征数据之间所间隔的数据数量。通过卷积核尺寸能够确定数据选取信息中的选取数量，选取数量为每个第一特征子集中的数据数量。
在该技术方案中，在将第一卷积算子替换为第二卷积算子之后，可以根据第一卷积算子的卷积核尺寸和扩张因子，确定数据选取信息。通过该数据选取信息在特征数据集输入至第二处理模型之前，对特征数据集进行选取，得到第一特征子集，通过将第一特征子集输入至第二处理模型中，提高输入至优化后的第二处理模型中的第一特征子集的准确性，在提高推理效率的同时，保证第二处理模型与第一处理模型推理的匹配程度。
在一些技术方案中，可选地，第一卷积算子包括以下任一项：空洞卷积算子、深度可分离卷积算子、转置卷积算子。
在该技术方案中，在第一处理模型中包括空洞卷积算子、转置卷积算子、深度可分离卷积算子和普通二维卷积算子中的任一项的情况下，均能够将上述卷积算子替换为标准卷积算子，并将对数据的选取过程单独设置在模型之外，从而提高模型整体的推理效率。
根据本申请的第四方面提出一种数据处理装置，包括：提取模块，用于在接收到特征数据集的情况下，按照数据选取信息，提取特征数据集中的第一特征子集，其中，数据选取信息为上述任一技术方案中的模型优化方法确定的数据选取信息；输入模块，用于将第一特征子集输入至数据处理模型中，以得到数据处理结果，其中，数据处理模型为上述任一技术方案中的模型优化方法确定的第二处理模型。
本申请的技术方案中提出了一种数据处理装置，该数据处理装置能够提高电子设备通过数据处理模型对特征数据集的处理效率，提高了数据处理过程的整体推理速度。
在该技术方案中，数据处理模型为通过对第一处理模型进行优化得到的第二处理模型，具体优化过程如上述任一技术方案中的模型优化方法示出，在此不再赘述。
在该技术方案中，第一处理模型为优化前的神经网络模型，第一处理模型的输入数据尺寸较大，且第一处理模型具有将接收到的数据集进行选取的功能。第二处理模型为对第一处理模型进行优化得到的神经网络模型，第二处理模型中输入数据尺寸小于第一处理模型的输入数据尺寸，且第二处理模型不具备对数据集进行选取的功能。
在该技术方案中，通过在将特征数据输入至数据处理模型之前，基于数据选取信息对特征数据集进行数据选取，得到第一特征子集。再将提前选取得到的第一特征子集输入至数据处理模型进行处理，由于数据处理模型的输入数据尺寸较小，在算力较小的家居设备中，数据处理模型的推理速度快于第一处理模型的推理速度。
在该技术方案中，通过将对第一处理模型进行优化得到的第二处理模型作为数据处理模型。在接收到特征数据集时，按照相匹配的数据选取信息在特征数据集中选取相应的第一特征子集，再将第一特征子集输入至数据处理模型进行处理，得到数据处理结果。
在上述技术方案中，输入模块，用于将第一特征子集输入至数据处理模型中，以得到第二特征子集；
数据处理装置，包括：
更新模块，用于根据第二特征子集，对特征数据集进行更新处理，得到目标特征集；
输出模块，用于根据目标特征集，输出数据处理结果。
在该技术方案中，在将第一特征子集输入至数据处理模型中，数据处理模型对第一特征子集进行处理后，能够输出第二特征子集。通过第二特征子集对特征数据集中的第一特征子集进行替换更新，得到目标特征集，通过该目标特征集能够确定数据处理结果，在提高数据处理模型的推理速度的同时，还保证了推理结果的准确性。
在该技术方案中，在将第一特征子集输入至优化得到的数据处理模型之后，根据数据处理模型输出的第二特征子集，对特征数据集进行更新，得到相应的目标特征集，从而输出数据处理结果，在保证数据处理模型的推理速度的同时，保证了输出的数据处理结果的准确性。
在一些技术方案中，可选地，数据处理装置，包括：
获取模块，用于获取第一特征子集在特征数据集中的排列信息；
替换模块，用于根据排列信息，将特征数据集中的第一特征子集替换为第二特征子集，得到目标特征集。
在该技术方案中，在通过第二特征子集更新语音特征集的过程中，需要获取与第二特征子集相匹配的第一特征子集在语音特征集中的排列信息，并按照排列信息，将第二特征子集输入至语音特征集中，以对语义特征集进行更新，进一步提高了通过第二特征子集对语音特征集的更新准确性。
其中，排列信息为第一特征子集在语音特征集中所处的排列位置和排列顺序。
在一些技术方案中，可选地，特征数据集包括以下任一项：音频特征集、文本特征集、图像特征集。
在该技术方案中，数据处理模型可以为音频识别模型、文本处理模型、图像处理模型中的任一种，即通过选择不同的数据处理模型能够对不同的特征数据集进行处理，从而适应不同的应用场景。
在该技术方案中，数据处理模型可以为音频识别模型。在数据处理模型为音频识别模型的情况下，特征数据集包括音频特征集。通过将该音频识别模型部署在家居设备中，实现对家居的语音控制、语音唤醒等功能。
在该技术方案中，数据处理模型可以为文本处理模型，在数据处理模型为文本处理模型时，特征数据集包括文本特征集。通过将文本处理模型部署到家居设备中，能够实现家居设备对文本内容的机器翻译等功能。
在该技术方案中，数据处理模型可以为图像处理模型，在数据处理模型为图像处理模型时，特征数据集包括图像特征集。通过将图像处理模型部署到烹饪设备中，能够实现烹饪设备对食材图像的自动识别。
根据本申请第五方面提出了一种可读存储介质，可读存储介质上存储有程序或指令，程序或指令被处理器执行时实现上述任一技术方案中的模型优化方法的步骤；和/或上述任一技术方案中的数据处理方法的步骤，因而具有上述任一技术方案中的模型优化方法的步骤；和/或上述任一技术方案中的数据处理方法的步骤的全部有益技术效果，在此不再做过多赘述。
根据本申请第六方面提出了一种计算机程序产品，计算机程序产品被处理器执行时实现上述任一技术方案中的模型优化方法的步骤；和/或上述任一技术方案中的数据处理方法的步骤，因而具有上述任一技术方案中的模型优化方法的步骤；和/或上述任一技术方案中的数据处理方法的步骤的全部有益技术效果，在此不再做过多赘述。
根据本申请第七方面提出了一种芯片，芯片包括程序或指令，当芯片运行时，用于实现上述任一技术方案中的模型优化方法的步骤；和/或上述任一技术方案中的数据处理方法的步骤，因而具有上述任一技术方案中的模型优化方法的步骤；和/或上述任一技术方案中的数据处理方法的步骤的全部有益技术效果，在此不再做过多赘述。
本申请的附加方面和优点将在下面的描述部分中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本申请的一些实施例中提供的模型优化方法的示意流程图之一；
图2示出了本申请的一些实施例中提供的第一处理模型中算子的连接示意图；
图3示出了本申请的一些实施例中提供的第二处理模型中算子的连接示意图；
图4示出了本申请的一些实施例中提供的模型优化方法的示意流程图之二；
图5示出了本申请的一些实施例提供的特征数据集的示意图；
图6示出了本申请的一些实施例中提供的数据处理方法的示意流程图之一；
图7示出了本申请的一些实施例中提供的数据处理方法的示意流程图之二；
图8示出了本申请的一些实施例提供的模型优化装置的结构框图；
图9示出了本申请的一些实施例提供的数据处理装置的结构框图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。
下面参照图1至图9描述根据本申请一些实施例的模型优化方法、数据处理方法、装置、存储介质及芯片。
根据本申请的一个实施例中，如图1所示，提出了一种模型优化方法，包括：
步骤102，在确定第一处理模型的情况下，获取第一处理模型的模型参数；
步骤104，基于模型参数，将第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型；
其中，第二处理模型的输入数据尺寸小于第一处理模型的输入数据尺寸；
步骤106，根据模型参数，配置第二处理模型对应的数据选取信息。
在该实施例中，通过将第一处理模型中第一卷积算子替换为第二卷积算子，并且第二处理模型配置相应的数据选取信息，能够得到输入数据尺寸较小的第二处理模型。在将第二处理模型部署到算力较低的边端设备时，能够提高第二处理模型在边端设备中的数据处理速度。
在上述实施例中，第一卷积算子为第一处理模型中的卷积算子，该卷积算子可以为空洞卷积算子，第二卷积算子为非空洞卷积算子，通过将第一卷积算子替换为第二卷积算子，并调整第一处理模型的输入数据尺寸得到第二处理模型，完成对第一处理模型的优化。
在上述实施例中，第一处理模型为优化前的神经网络模型，第一处理模型的输入数据尺寸较大，且第一处理模型具有将接收到的数据集进行选取的功能。第二处理模型为对第一处理模型进行优化得到的神经网络模型，第二处理模型中输入数据尺寸小于第一处理模型的输入数据尺寸，且第二处理模型不具备对数据集进行选取的功能。基于第一处理模型确定对特征数据集进行选取的数据选取信息，在将特征数据输入至第二处理模型之前，基于数据选取信息对特征数据集进行数据选取。再将提前选取得到的特征子集输入至第二处理模型进行处理，由于第二处理模型的输入数据尺寸小于第一处理模型的输入数据尺寸，在算力较小的家居设备中，第二处理模型的推理速度快于第一处理模型的推理速度。
示例性地，第一处理模型可以为空洞卷积模型，空洞卷积模型为在标准卷积核中注入空洞，以此更快地增加模型的感受野，但是由于空洞卷积的卷积核不连续，在扩张率设置较高的情况下，算子在资源有限的家居设备上运算时，由于内存不连续，导致缓存命中率低，从而使得空洞卷积算子的执行效率低、推理速度慢。第二处理模型可以为标准卷积模型，通过将第一处理模型替换为第二处理模型，提高了算子执行效率，加快模型推理速度。
在该实施例中，第一处理模型的输入数据尺寸大于第二处理模型的输入数据尺寸，且第一处理模型中卷积算子的输入数据尺寸与第二处理模型中卷积算子的输入数据尺寸相同，在提高模型推理速度的同时，保证了第一处理模型与第二处理模型的计算结果等效。
在该实施例中，通过将第一处理模型优化为第二处理模型，降低了输入至处理模型的输入数据尺寸，并将选取特征数据集中的特征子集的步骤在模型推理步骤之前执行，能够提高第二处理模型的推理效率。
在一些实施例中，可选地，模型参数包括第一卷积算子的扩张因子和卷积核尺寸；
基于模型参数，将第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型之前，包括：根据扩张因子和卷积核尺寸，生成第二卷积算子。
在该实施例中，根据第一卷积算子的扩张因子和卷积核尺寸，构建第二卷积算子，保证第二卷积算子的参数与第一卷积算子的扩张因子和卷积核尺寸相匹配，保证了通过第二卷积算子替换第一卷积算子得到的第二处理模型的处理结果与第一处理模型的处理结果相匹配，提高了第二处理模型的处理速度的同时，还保证了第二处理模型与第一处理模型处理结果的匹配性。
在上述实施例中，第一卷积算子和第二卷积算子对数据的处理结果相匹配，通过获取第一卷积算子的扩张因子和卷积核尺寸，并根据第一卷积算子的扩张因子和卷积核尺寸对第二卷积算子进行构建，从而保证第一卷积算子与构建得到的第二卷积算子对相同数据的处理结果相同。
在上述实施例中，通过将第一处理模型中的第一卷积算子替换为第二卷积算子，生成第二处理模型，从而减小了处理模型的输入数据尺寸，提高模型的整体推理效率。
在该实施例中，通过获取第一处理模型中的第一卷积算子的卷积核尺寸和扩张因子，并据此构建与第一卷积算子运算结果和运算量相同的第二卷积算子，以及生成能够在模型外进行数据选取的数据选取信息。通过将第一处理模型中的第一卷积算子替换为第二卷积算子，能够得到第二处理模型，保证运算结果和运算量不变的情况下，加速算子推理速度，提高第二处理模型的处理效率。
在一些实施例中，可选地，基于模型参数，将第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型之后，还包括：
确定第二处理模型中的叠加算子，叠加算子的第一输出通道通过串联算子与第二卷积算子的输入通道相连接，其中，串联算子的第一输入通道与叠加算子的第一输出通道相连接，串联算子的输出通道与第二卷积算子相连接；将第二卷积算子的输出通道通过全连接算子连接至叠加算子的输入通道；将叠加算子的第二输出通道确定为第二处理模型的输出通道；以及将串联算子的第二输入通道确定为第二处理模型的输入通道。
在该实施例中，在通过第二卷积算子对第一处理模型中的第一卷积算子进行替换得到优化后的第二处理模型之后，对第二处理模型中的各个算子之间的连接关系进行进一步优化。
在上述实施例中，通过算子识别的方式，查找到第二处理模型中的叠加算子，将叠加算子的第一输出通道与串联算子的第一输入通道相连接，将串联算子的第二输入通道作为第二处理模型的输入通道，即第一特征数据集通过串联算子的第二输入通道输入至第二处理模型中。将串联算子的输出通道与第二卷积算子的输入通道相连接，第二卷积算子的输出通道连接至全连接算子的输入通道，全连接算子的输出通道与叠加算子的输入通道相连接，叠加算子的输出通道作为第二处理模型的输出通道，即第二处理模型将输出的第二特征子集通过叠加算子的输出通道进行输出。
示例性地，1×1×7×256为输入至第二处理模型中的第一特征子集，1×1×8×256为输入至第二卷积算子中的特征集，1×1×1×256为第二处理模型数据的特征集。由于替换的第二卷积算子的卷积核尺寸也为8，且卷积计算的数据有1个数据来自叠加算子，故对特征数据集中的数据进行选取时的选取间隔设置为7，选取数量也设置为7，即通过选取输入至第二处理模型中的第一特征子集的数据尺寸为1×1×7×256，保证输入至第二卷积算子中的数据尺寸为1×1×8×256。
如图2所示，第一处理模型中包括FullyConnected算子、Add算子、concatenation算子和DephwiseConv2D算子，其中，FullyConnected算子的输出通道与Add算子的输入通道相连接，Add算子的输出通道与concatenation算子的一个输入通道相连接，concatenation算子的另一个输入通道作为第一处理模型的输入通道，concatenation算子的输出端与DephwiseConv2D算子相连接。其中，FullyConnected算子为全连接算子、Add算子为叠加算子、concatenation算子为串联算子，第一处理模型中的DephwiseConv2D算子为第一卷积算子。由图2所示，第一处理模型中的模型的输入数据的数据尺寸为1×1×56×256，第一卷积算子的输入数据的数据尺寸为1×1×57×256，第一处理模型的输出数据的数据尺寸为1×1×57×256。上述数据格式为N×H×W×C，N为批次，H为高度，W为宽度，C为通道数。
如图3所示，第二处理模型中包括：FullyConnected算子、Add算子、concatenation算子和DephwiseConv2D算子，FullyConnected算子的输出通道与Add算子的输入通道相连接，Add算子的一个输出通道与concatenation算子的输入通道相连接，Add算子的另一个输出通道作为第二处理模型的输出通道，Add算子的输出通道与concatenation算子的一个输入通道相连接，concatenation算子的另一个输入通道作为第二处理模型的输入通道，concatenation算子的输出端与DephwiseConv2D算子相连接。其中，FullyConnected算子为全连接算子、Add算子为叠加算子、concatenation算子为串联算子，第二处理模型中的DephwiseConv2D算子为第二卷积算子。由图3所示，第二处理模型中的模型的输入数据的数据尺寸为1×1×7×256，第二卷积算子的输入数据的数据尺寸为1×1×8×256，第二处理模型的输出数据的数据尺寸为1×1×1×256。上述数据格式为N×H×W×C，N为批次，H为高度，W为宽度，C为通道数。
在该实施例中，在将第一处理模型中的第一卷积算子替换为第二卷积算子，从而生成第二处理模型之后，对第二处理模型中各个算子之间的连接关系进行设置，保证第二处理模型的推理效率优于原第一处理模型的推理效率的同时，还能够提高第一处理模型与第二处理模型输出结果的匹配程度。
如图4所示，在一些实施例中，可选地，模型参数包括第一卷积算子的扩张因子和卷积核尺寸；
根据模型参数，配置第二处理模型对应的数据选取信息，包括：
步骤402，根据扩张因子，确定选取间隔，以及根据卷积核尺寸，确定选取数量；
步骤404，根据选取间隔和选取数量，生成数据选取信息。
在该实施例中，通过扩张因子能够确定数据选取信息中的选取间隔，即间隔相邻两次选取特征数据之间所间隔的数据数量。通过卷积核尺寸能够确定数据选取信息中的选取数量，选取数量为每个第一特征子集中的数据数量。
示例性地，第一卷积算子的卷积核为第一卷积核，第一卷积算子的输入数据和第一卷积核在H（高度）维度上大小都是1直接相乘，在H维度上不做扩张。在W（宽度）维度上，第一卷积核尺寸为8，扩张因子为8，则第一卷积算子在输入至第一处理模型的特征数据集中每隔7个选取一个数据，总共选取8个数据与第一卷积核相乘。
图5示出了本申请的一些实施例提供的特征数据集的示意图，如图5所示，1至57表示数据集合的序号，每个方格表示一个数据集合，每个数据集合中包括1×256个数据。阴影部分方块总共8×256个数据，与第一卷积核中8×256对应相乘相加，其余部分没有参与运算。
在该实施例中，在将第一卷积算子替换为第二卷积算子之后，可以根据第一卷积算子的卷积核尺寸和扩张因子，确定数据选取信息。通过该数据选取信息在特征数据集输入至第二处理模型之前，对特征数据集进行选取，得到第一特征子集，通过将第一特征子集输入至第二处理模型中，提高输入至优化后的第二处理模型中的第一特征子集的准确性，在提高推理效率的同时，保证第二处理模型与第一处理模型推理的匹配程度。
在一些实施例中，可选地，第一卷积算子包括以下任一项：空洞卷积算子、深度可分离卷积算子、转置卷积算子。
在该实施例中，在第一处理模型中包括空洞卷积算子、转置卷积算子、深度可分离卷积算子和普通二维卷积算子中的任一项的情况下，均能够将上述卷积算子替换为标准卷积算子，并将对数据的选取过程单独设置在模型之外，从而提高模型整体的推理效率。
根据本申请的一个实施例中，如图6所示，提出了一种数据处理方法，包括：
步骤602，在接收到特征数据集的情况下，按照数据选取信息，提取特征数据集中的第一特征子集；
其中，数据选取信息为上述任一实施例中的模型优化方法确定的数据选取信息；
步骤604，将第一特征子集输入至数据处理模型中，以得到数据处理结果。
其中，数据处理模型为上述任一实施例中的模型优化方法确定的第二处理模型。
本申请的实施例中提出了一种数据处理方法，该数据处理方法由电子设备执行，能够提高电子设备通过数据处理模型对特征数据集的处理效率，提高了数据处理过程的整体推理速度。
在上述实施例中，数据处理模型为通过对第一处理模型进行优化得到的第二处理模型，具体优化过程如上述任一实施例中的模型优化方法示出，在此不再赘述。
在上述实施例中，第一处理模型为优化前的神经网络模型，第一处理模型的输入数据尺寸较大，且第一处理模型具有将接收到的数据集进行选取的功能。第二处理模型为对第一处理模型进行优化得到的神经网络模型，第二处理模型中输入数据尺寸小于第一处理模型的输入数据尺寸，且第二处理模型不具备对数据集进行选取的功能。
在上述实施例中，通过在将特征数据输入至数据处理模型之前，基于数据选取信息对特征数据集进行数据选取，得到第一特征子集。再将提前选取得到的第一特征子集输入至数据处理模型进行处理，由于数据处理模型的输入数据尺寸较小，在算力较小的家居设备中，数据处理模型的推理速度快于第一处理模型的推理速度。
在该实施例中，通过将对第一处理模型进行优化得到的第二处理模型作为数据处理模型。在接收到特征数据集时，按照相匹配的数据选取信息在特征数据集中选取相应的第一特征子集，再将第一特征子集输入至数据处理模型进行处理，得到数据处理结果。
如图7所示，在上述实施例中，数据选取信息包括：选取间隔和选取数量；
在接收到特征数据集的情况下，按照数据选取信息，提取特征数据集中的第一特征子集，包括：
步骤702，按照选取间隔，在特征数据集中提取目标特征数据，目标特征数据的数量与选取数量相匹配；
步骤704，根据目标特征数据，生成第一特征子集。
在该实施例中，在特征数据集中，每间隔选取间隔对第一特征子集进行一次选取，按照选取数量选取第一特征子集中的目标特征数据，使第一特征子集中的目标特征数据量与选取数量相匹配。通过将上述方式选取到的第一特征子集输入至数据处理模型中，保证优化后的数据处理模型对特征数据集的处理结果与优化前的第一处理模型对特征数据集的处理结果相匹配。
在该实施例中，在将目标特征数据输入至数据处理模型之前，通过选取间隔和选取数量在特征数据集中选取相应的第一特征子集，将第一特征子集输入至数据处理模型中，相较于将特征数据集输入至优化前的第一处理模型进行推理的方式具有较快的推理速度，且具有相同的推理结果。
在上述实施例中，将第一特征子集输入至数据处理模型中，以得到数据处理结果，包括：
将第一特征子集输入至数据处理模型中，以得到第二特征子集；根据第二特征子集，对特征数据集进行更新处理，得到目标特征集；根据目标特征集，输出数据处理结果。
在该实施例中，在将第一特征子集输入至数据处理模型中，数据处理模型对第一特征子集进行处理后，能够输出第二特征子集。通过第二特征子集对特征数据集中的第一特征子集进行替换更新，得到目标特征集，通过该目标特征集能够确定数据处理结果，在提高数据处理模型的推理速度的同时，还保证了推理结果的准确性。
在上述实施例中，基于特征数据集建立一个临时数组，数据处理模型每次输出第二特征子集后，按照选取第一特征子集的顺序将第二特征子集回传至临时数组，以对特征数据集进行更新。
示例性地，数据处理模型的回传策略为需要维护一个1×1×56×256大小的临时数组，该临时数组为特征数据集，每次推理按照扩张规则选取数据作为模型的输入1×1×7×256，数据处理模型的前一次推理的输出为1×1×1×256，按照先入先出规则更新1×256大小的数据。
在该实施例中，在将第一特征子集输入至优化得到的数据处理模型之后，根据数据处理模型输出的第二特征子集，对特征数据集进行更新，得到相应的目标特征集，从而输出数据处理结果，在保证数据处理模型的推理速度的同时，保证了输出的数据处理结果的准确性。
在一些实施例中，可选地，根据第二特征子集，对特征数据集进行更新处理，得到目标特征集，包括：获取第一特征子集在特征数据集中的排列信息；根据排列信息，将特征数据集中的第一特征子集替换为第二特征子集，得到目标特征集。
在该实施例中，在通过第二特征子集更新语音特征集的过程中，需要获取与第二特征子集相匹配的第一特征子集在语音特征集中的排列信息，并按照排列信息，将第二特征子集输入至语音特征集中，以对语义特征集进行更新，进一步提高了通过第二特征子集对语音特征集的更新准确性。
其中，排列信息为第一特征子集在语音特征集中所处的排列位置和排列顺序。
在一些实施例中，可选地，特征数据集包括以下任一项：音频特征集、文本特征集、图像特征集。
在该实施例中，数据处理模型可以为音频识别模型、文本处理模型、图像处理模型中的任一种，即通过选择不同的数据处理模型能够对不同的特征数据集进行处理，从而适应不同的应用场景。
在上述实施例中，数据处理模型可以为音频识别模型。在数据处理模型为音频识别模型的情况下，特征数据集包括音频特征集。通过将该音频识别模型部署在家居设备中，实现对家居的语音控制、语音唤醒等功能。
在上述实施例中，数据处理模型可以为文本处理模型，在数据处理模型为文本处理模型时，特征数据集包括文本特征集。通过将文本处理模型部署到家居设备中，能够实现家居设备对文本内容的机器翻译等功能。
在上述实施例中，数据处理模型可以为图像处理模型，在数据处理模型为图像处理模型时，特征数据集包括图像特征集。通过将图像处理模型部署到烹饪设备中，能够实现烹饪设备对食材图像的自动识别。
示例性地，数据处理模型可以用于语音唤醒场景、文本翻译场景、图像识别场景中的任一项。
在该实施例中，数据处理模型可以为时序卷积网络模型，即TCN（TemporalConvolutional Network，时序卷积网络）模型。
本申请实施例中提供的数据处理方法可能的应用场景包括：语音唤醒、机器翻译等与时间序列相关的任务。
在上述实施例中，输入至数据处理模型中的特征数据集中的特征数据可以为语音数据的MFCC（Mel-Frequency Cepstral Coefficients，梅尔频率倒谱系数）特征或Fbank（Filter bank，滤波器组特征）特征。数据处理模型输出的是因素的分类，在语音唤醒任务中，无需要记录对当前语音数据的推理次数，在推理数据达到预设次数，对输出数据通过解码模块判断是否对家居设备进行唤醒。如果是其他应用场景则对应其他类型数据，例如：如果是机器翻译任务，则特征数据集为文本数据中的文本特征。
示例性地，以家居设备实现语音唤醒任务为例进行说明：
在接收到语音指令中的MFCC特征集之后，按照通过模型优化方法得到的数据选取信息，提取MFCC特征集中的特征子集。此时，对该特征数据集建立一个临时数组，例如：1×1×56×256大小的临时数组，该临时数组为特征数据集，每次推理按照扩张规则选取数据作为模型的输入1×1×7×256，数据处理模型的前一次推理的输出为1×1×1×256，按照先入先出规则更新1×256大小的数据。
通过输入至数据处理模型的特征子集，以及数据处理模型输出的特征子集对该临时数组进行维护更新，在维护更新的次数达到预设次数，即数据处理模型对特征数据集的推理次数达到预设次数时，确定数据处理模型完成相应的推理步骤。
在根据本申请的一个实施例中，如图8所示，提出一种模型优化装置800，包括：
获取模块802，用于在确定第一处理模型的情况下，获取第一处理模型的模型参数；
替换模块804，用于基于模型参数，将第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型，其中，第二处理模型的输入数据尺寸小于第一处理模型的输入数据尺寸；
配置模块806，用于根据模型参数，配置第二处理模型对应的数据选取信息。
在该实施例中，通过将第一处理模型中第一卷积算子替换为第二卷积算子，并且第二处理模型配置相应的数据选取信息，能够得到输入数据尺寸较小的第二处理模型。在将第二处理模型部署到算力较低的边端设备时，能够提高第二处理模型在边端设备中的数据处理速度。
在该实施例中，第一处理模型的输入数据尺寸大于第二处理模型的输入数据尺寸，且第一处理模型中卷积算子的输入数据尺寸与第二处理模型中卷积算子的输入数据尺寸相同，在提高模型推理速度的同时，保证了第一处理模型与第二处理模型的计算结果等效。
在该实施例中，通过将第一处理模型优化为第二处理模型，降低了输入至处理模型的输入数据尺寸，并将选取特征数据集中的特征子集的步骤在模型推理步骤之前执行，能够提高第二处理模型的推理效率。
在一些实施例中，可选地，模型参数包括第一卷积算子的扩张因子和卷积核尺寸；模型优化装置800，包括：
生成模块，用于根据扩张因子和卷积核尺寸，生成第二卷积算子。
在该实施例中，通过获取第一处理模型中的第一卷积算子的卷积核尺寸和扩张因子，并据此构建与第一卷积算子运算结果和运算量相同的第二卷积算子，以及生成能够在模型外进行数据选取的数据选取信息。通过将第一处理模型中的第一卷积算子替换为第二卷积算子，能够得到第二处理模型，保证运算结果和运算量不变的情况下，加速算子推理速度，提高第二处理模型的处理效率。
在一些实施例中，可选地，模型优化装置800，包括：
确定模块，用于确定第二处理模型中的叠加算子，叠加算子的第一输出通道通过串联算子与第二卷积算子的输入通道相连接，其中，串联算子的第一输入通道与叠加算子的第一输出通道相连接，串联算子的输出通道与第二卷积算子相连接；
连接模块，用于将第二卷积算子的输出通道通过全连接算子连接至叠加算子的输入通道；
确定模块，用于将叠加算子的第二输出通道确定为第二处理模型的输出通道；以及将串联算子的第二输入通道确定为第二处理模型的输入通道。
在该实施例中，在通过第二卷积算子对第一处理模型中的第一卷积算子进行替换得到优化后的第二处理模型之后，对第二处理模型中的各个算子之间的连接关系进行进一步优化。
在该实施例中，在将第一处理模型中的第一卷积算子替换为第二卷积算子，从而生成第二处理模型之后，对第二处理模型中各个算子之间的连接关系进行设置，保证第二处理模型的推理效率优于原第一处理模型的推理效率的同时，还能够提高第一处理模型与第二处理模型输出结果的匹配程度。
在一些实施例中，可选地，模型参数包括第一卷积算子的扩张因子和卷积核尺寸；
确定模块，用于根据扩张因子，确定选取间隔；以及根据卷积核尺寸，确定选取数量；
生成模块，用于根据选取间隔和选取数量，生成数据选取信息。
在该实施例中，通过扩张因子能够确定数据选取信息中的选取间隔，即间隔相邻两次选取特征数据之间所间隔的数据数量。通过卷积核尺寸能够确定数据选取信息中的选取数量，选取数量为每个第一特征子集中的数据数量。
在该实施例中，在将第一卷积算子替换为第二卷积算子之后，可以根据第一卷积算子的卷积核尺寸和扩张因子，确定数据选取信息。通过该数据选取信息在特征数据集输入至第二处理模型之前，对特征数据集进行选取，得到第一特征子集，通过将第一特征子集输入至第二处理模型中，提高输入至优化后的第二处理模型中的第一特征子集的准确性，在提高推理效率的同时，保证第二处理模型与第一处理模型推理的匹配程度。
在一些实施例中，可选地，第一卷积算子包括以下任一项：空洞卷积算子、深度可分离卷积算子、转置卷积算子。
在该实施例中，在第一处理模型中包括空洞卷积算子、转置卷积算子、深度可分离卷积算子和普通二维卷积算子中的任一项的情况下，均能够将上述卷积算子替换为标准卷积算子，并将对数据的选取过程单独设置在模型之外，从而提高模型整体的推理效率。
在根据本申请的一个实施例中，如图9所示，提出一种数据处理装置900，包括：
提取模块902，用于在接收到特征数据集的情况下，按照数据选取信息，提取特征数据集中的第一特征子集，其中，数据选取信息为上述任一实施例中的模型优化方法确定的数据选取信息；
输入模块904，用于将第一特征子集输入至数据处理模型中，以得到数据处理结果，其中，数据处理模型为上述任一实施例中的模型优化方法确定的第二处理模型。
本申请的实施例中提出了一种数据处理装置，该数据处理装置能够提高电子设备通过数据处理模型对特征数据集的处理效率，提高了数据处理过程的整体推理速度。
在上述实施例中，数据处理模型为通过对第一处理模型进行优化得到的第二处理模型，具体优化过程如上述任一实施例中的模型优化方法示出，在此不再赘述。
在上述实施例中，第一处理模型为优化前的神经网络模型，第一处理模型的输入数据尺寸较大，且第一处理模型具有将接收到的数据集进行选取的功能。第二处理模型为对第一处理模型进行优化得到的神经网络模型，第二处理模型中输入数据尺寸小于第一处理模型的输入数据尺寸，且第二处理模型不具备对数据集进行选取的功能。
在上述实施例中，通过在将特征数据输入至数据处理模型之前，基于数据选取信息对特征数据集进行数据选取，得到第一特征子集。再将提前选取得到的第一特征子集输入至数据处理模型进行处理，由于数据处理模型的输入数据尺寸较小，在算力较小的家居设备中，数据处理模型的推理速度快于第一处理模型的推理速度。
在该实施例中，通过将对第一处理模型进行优化得到的第二处理模型作为数据处理模型。在接收到特征数据集时，按照相匹配的数据选取信息在特征数据集中选取相应的第一特征子集，再将第一特征子集输入至数据处理模型进行处理，得到数据处理结果。
在上述实施例中，输入模块904，用于将第一特征子集输入至数据处理模型中，以得到第二特征子集；
数据处理装置900，包括：
更新模块，用于根据第二特征子集，对特征数据集进行更新处理，得到目标特征集；
输出模块，用于根据目标特征集，输出数据处理结果。
在该实施例中，在将第一特征子集输入至数据处理模型中，数据处理模型对第一特征子集进行处理后，能够输出第二特征子集。通过第二特征子集对特征数据集中的第一特征子集进行替换更新，得到目标特征集，通过该目标特征集能够确定数据处理结果，在提高数据处理模型的推理速度的同时，还保证了推理结果的准确性。
在该实施例中，在将第一特征子集输入至优化得到的数据处理模型之后，根据数据处理模型输出的第二特征子集，对特征数据集进行更新，得到相应的目标特征集，从而输出数据处理结果，在保证数据处理模型的推理速度的同时，保证了输出的数据处理结果的准确性。
在一些实施例中，可选地，数据处理装置900，包括：
获取模块，用于获取第一特征子集在特征数据集中的排列信息；
替换模块，用于根据排列信息，将特征数据集中的第一特征子集替换为第二特征子集，得到目标特征集。
在该实施例中，在通过第二特征子集更新语音特征集的过程中，需要获取与第二特征子集相匹配的第一特征子集在语音特征集中的排列信息，并按照排列信息，将第二特征子集输入至语音特征集中，以对语义特征集进行更新，进一步提高了通过第二特征子集对语音特征集的更新准确性。
其中，排列信息为第一特征子集在语音特征集中所处的排列位置和排列顺序。
在一些实施例中，可选地，特征数据集包括以下任一项：音频特征集、文本特征集、图像特征集。
在该实施例中，数据处理模型可以为音频识别模型、文本处理模型、图像处理模型中的任一种，即通过选择不同的数据处理模型能够对不同的特征数据集进行处理，从而适应不同的应用场景。
在上述实施例中，数据处理模型可以为音频识别模型。在数据处理模型为音频识别模型的情况下，特征数据集包括音频特征集。通过将该音频识别模型部署在家居设备中，实现对家居的语音控制、语音唤醒等功能。
在上述实施例中，数据处理模型可以为文本处理模型，在数据处理模型为文本处理模型时，特征数据集包括文本特征集。通过将文本处理模型部署到家居设备中，能够实现家居设备对文本内容的机器翻译等功能。
在上述实施例中，数据处理模型可以为图像处理模型，在数据处理模型为图像处理模型时，特征数据集包括图像特征集。通过将图像处理模型部署到烹饪设备中，能够实现烹饪设备对食材图像的自动识别。
在根据本申请的一个实施例中，提出了一种可读存储介质，可读存储介质上存储有程序或指令，程序或指令被处理器执行时实现上述任一实施例中的模型优化方法的步骤；和/或上述任一实施例中的数据处理方法的步骤，因而具有上述任一实施例中的模型优化方法的步骤；和/或上述任一实施例中的数据处理方法的步骤的全部有益技术效果，在此不再做过多赘述。
在根据本申请的一个实施例中，提出了一种计算机程序产品，计算机程序产品被处理器执行时实现上述任一实施例中的模型优化方法的步骤；和/或上述任一实施例中的数据处理方法的步骤，因而具有上述任一实施例中的模型优化方法的步骤；和/或上述任一实施例中的数据处理方法的步骤的全部有益技术效果，在此不再做过多赘述。
在根据本申请的一个实施例中，提出了一种芯片，芯片包括程序或指令，当芯片运行时，用于实现上述任一实施例中的模型优化方法的步骤；和/或上述任一实施例中的数据处理方法的步骤，因而具有上述任一实施例中的模型优化方法的步骤；和/或上述任一实施例中的数据处理方法的步骤的全部有益技术效果，在此不再做过多赘述。
本申请提供的技术方案可以应用于linux/rtos/android/ios等不同边端系统，面向armv7/v8及dsp等不同边端平台提供指令级加速。本申请的技术方案展现出轻量级部署、通用性强、易用性强、高性能推理等特点，全面解决智能设备低资源瓶颈，大幅缩短AI模型部署周期，在边端AI部署领域达到业界领先水平。并且本申请提供的技术方案可以应用于自研芯片中，例如可以应用于业界首款支持语音、连接、显示三合一芯片FL119中。相关成果已全面赋能语音冰箱、空调、机器人等智能家电量产落地，提智增效。
需要明确的是，在本申请的权利要求书、说明书和说明书附图中，术语“多个”则指两个或两个以上，除非有额外的明确限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了更方便地描述本申请和使得描述过程更加简便，而不是为了指示或暗示所指的装置或元件必须具有所描述的特定方位、以特定方位构造和操作，因此这些描述不能理解为对本申请的限制；术语“连接”、“安装”、“固定”等均应做广义理解，举例来说，“连接”可以是多个对象之间的固定连接，也可以是多个对象之间的可拆卸连接，或一体地连接；可以是多个对象之间的直接相连，也可以是多个对象之间的通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据上述数据地具体情况理解上述术语在本申请中的具体含义。
在本申请的权利要求书、说明书和说明书附图中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合上述实施例或示例描述的具体特征、结构、材料或特点包含于本申请的实施例或示例中。在本申请的权利要求书、说明书和说明书附图中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种数据处理方法，其特征在于，包括：
在接收到特征数据集的情况下，按照数据选取信息，提取所述特征数据集中的第一特征子集，其中，所述数据选取信息为模型优化方法确定的所述数据选取信息；
将所述第一特征子集输入至数据处理模型中，以得到数据处理结果，其中，所述数据处理模型为所述模型优化方法确定的第二处理模型；
所述模型优化方法，包括：
在确定第一处理模型的情况下，获取所述第一处理模型的模型参数；
基于所述模型参数，将所述第一处理模型中的第一卷积算子替换为第二卷积算子，以得到所述第二处理模型，其中，所述第二处理模型的输入数据尺寸小于所述第一处理模型的输入数据尺寸；
根据所述模型参数，配置所述第二处理模型对应的所述数据选取信息；
所述基于所述模型参数，将所述第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型之后，还包括：
确定所述第二处理模型中的叠加算子，所述叠加算子的第一输出通道通过串联算子与所述第二卷积算子的输入通道相连接，其中，所述串联算子的第一输入通道与所述叠加算子的第一输出通道相连接，所述串联算子的输出通道与所述第二卷积算子相连接；
将所述第二卷积算子的输出通道通过全连接算子连接至所述叠加算子的输入通道；
将所述叠加算子的第二输出通道确定为所述第二处理模型的输出通道；以及
将所述串联算子的第二输入通道确定为所述第二处理模型的输入通道。
2.根据权利要求1所述的数据处理方法，其特征在于，所述模型参数包括所述第一卷积算子的扩张因子和卷积核尺寸；
所述基于所述模型参数，将所述第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型之前，包括：
根据所述扩张因子和所述卷积核尺寸，生成第二卷积算子。
3.根据权利要求1所述的数据处理方法，其特征在于，所述模型参数包括所述第一卷积算子的扩张因子和卷积核尺寸；
所述根据所述模型参数，配置所述第二处理模型对应的数据选取信息，包括：
根据所述扩张因子，确定选取间隔；
以及根据所述卷积核尺寸，确定选取数量；
根据所述选取间隔和所述选取数量，生成所述数据选取信息。
4.根据权利要求1数据处理方法，其特征在于，所述第一卷积算子包括以下任一项：
空洞卷积算子、深度可分离卷积算子、转置卷积算子。
5.根据权利要求1所述的数据处理方法，其特征在于，所述数据选取信息包括：选取间隔和选取数量；
所述在接收到特征数据集的情况下，按照数据选取信息，提取所述特征数据集中的第一特征子集，包括：
按照所述选取间隔，在所述特征数据集中提取目标特征数据，所述目标特征数据的数量与所述选取数量相匹配；
根据所述目标特征数据，生成所述第一特征子集。
6.根据权利要求1所述的数据处理方法，其特征在于，所述将所述第一特征子集输入至数据处理模型中，以得到数据处理结果，包括：
将所述第一特征子集输入至所述数据处理模型中，以得到第二特征子集；
根据所述第二特征子集，对所述特征数据集进行更新处理，得到目标特征集；
根据所述目标特征集，输出所述数据处理结果。
7.根据权利要求6所述的数据处理方法，其特征在于，所述根据所述第二特征子集，对所述特征数据集进行更新处理，得到目标特征集，包括：
获取所述第一特征子集在所述特征数据集中的排列信息；
根据所述排列信息，将所述特征数据集中的所述第一特征子集替换为所述第二特征子集，得到所述目标特征集。
8.根据权利要求1至7中任一项所述的数据处理方法，其特征在于，所述特征数据集包括以下任一项：
音频特征集、文本特征集、图像特征集。
9.一种数据处理装置，其特征在于，包括：
提取模块，用于在接收到特征数据集的情况下，按照数据选取信息，提取所述特征数据集中的第一特征子集，其中，所述数据选取信息为模型优化方法确定的所述数据选取信息；
输入模块，用于将所述第一特征子集输入至数据处理模型中，以得到数据处理结果，其中，所述数据处理模型为所述模型优化方法确定的第二处理模型；
所述模型优化方法，包括：
在确定第一处理模型的情况下，获取所述第一处理模型的模型参数；
基于所述模型参数，将所述第一处理模型中的第一卷积算子替换为第二卷积算子，以得到所述第二处理模型，其中，所述第二处理模型的输入数据尺寸小于所述第一处理模型的输入数据尺寸；
根据所述模型参数，配置所述第二处理模型对应的所述数据选取信息；
所述基于所述模型参数，将所述第一处理模型中的第一卷积算子替换为第二卷积算子，以得到第二处理模型之后，还包括：
确定所述第二处理模型中的叠加算子，所述叠加算子的第一输出通道通过串联算子与所述第二卷积算子的输入通道相连接，其中，所述串联算子的第一输入通道与所述叠加算子的第一输出通道相连接，所述串联算子的输出通道与所述第二卷积算子相连接；
将所述第二卷积算子的输出通道通过全连接算子连接至所述叠加算子的输入通道；
将所述叠加算子的第二输出通道确定为所述第二处理模型的输出通道；以及
将所述串联算子的第二输入通道确定为所述第二处理模型的输入通道。
10.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至8中任一项所述的数据处理方法的步骤。
11.一种计算机程序产品，其特征在于，所述计算机程序产品被处理器执行时实现如权利要求1至8中任一项所述的数据处理方法的步骤。
12.一种芯片，其特征在于，所述芯片包括程序或指令，当所述芯片运行时，用于实现如权利要求1至8中任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310903059.0A CN116629339B (zh) | 2023-07-21 | 2023-07-21 | 模型优化方法、数据处理方法、装置、存储介质及芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310903059.0A CN116629339B (zh) | 2023-07-21 | 2023-07-21 | 模型优化方法、数据处理方法、装置、存储介质及芯片 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116629339A CN116629339A (zh) | 2023-08-22 |
| CN116629339B true CN116629339B (zh) | 2023-10-03 |
Family
ID=87642167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310903059.0A Active CN116629339B (zh) | 2023-07-21 | 2023-07-21 | 模型优化方法、数据处理方法、装置、存储介质及芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116629339B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114822503A (zh) * | 2022-03-28 | 2022-07-29 | 杭州中天微系统有限公司 | 基于音频数据的处理方法、设备和可读介质 |
| CN115019054A (zh) * | 2022-06-29 | 2022-09-06 | 瀚博半导体(上海)有限公司 | 数据处理方法、装置、芯片、电子设备和介质 |
| CN116258178A (zh) * | 2023-03-24 | 2023-06-13 | 美的集团(上海)有限公司 | 模型转换方法、装置、电子设备和可读存储介质 |
| WO2023125628A1 (zh) * | 2021-12-31 | 2023-07-06 | 华为技术有限公司 | 神经网络模型优化方法、装置及计算设备 |
-
2023
- 2023-07-21 CN CN202310903059.0A patent/CN116629339B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023125628A1 (zh) * | 2021-12-31 | 2023-07-06 | 华为技术有限公司 | 神经网络模型优化方法、装置及计算设备 |
| CN114822503A (zh) * | 2022-03-28 | 2022-07-29 | 杭州中天微系统有限公司 | 基于音频数据的处理方法、设备和可读介质 |
| CN115019054A (zh) * | 2022-06-29 | 2022-09-06 | 瀚博半导体(上海)有限公司 | 数据处理方法、装置、芯片、电子设备和介质 |
| CN116258178A (zh) * | 2023-03-24 | 2023-06-13 | 美的集团(上海)有限公司 | 模型转换方法、装置、电子设备和可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 安东尼奥•古利等.深度学习实战 基于TENSORFLOW2和KERAS（原书第2版）.机械工业出版社,2021,第125-126页. * |
| 田萱等.基于深度学习的图像语义分割技术.海洋出版社,2019,第38页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116629339A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110262273A (zh) | 一种家居设备控制方法、装置、存储介质及智能家居系统 | |
| CN111144561A (zh) | 一种神经网络模型确定方法及装置 | |
| CN110083728B (zh) | 一种优化自动化图片数据清洗质量的方法、装置和系统 | |
| US11934866B2 (en) | Operator operation scheduling method and apparatus to determine an optimal scheduling policy for an operator operation | |
| CN112632288A (zh) | 一种基于知识图谱的电力调度系统及方法 | |
| CN108281158A (zh) | 基于深度学习的语音活体检测方法、服务器及存储介质 | |
| CN112509583A (zh) | 一种基于调度操作票系统的辅助监督方法及系统 | |
| CN111373406B (zh) | 使用问题匹配的先验知识提取的加速仿真设置过程 | |
| CN110070867A (zh) | 语音指令识别方法、计算机装置及计算机可读存储介质 | |
| CN117353302B (zh) | 新能源发电功率的预测方法、装置、设备及介质 | |
| CN117056592A (zh) | 基于医疗大数据的个性化诊疗推荐系统及方法 | |
| CN115344805A (zh) | 素材审核方法、计算设备及存储介质 | |
| CN116629339B (zh) | 模型优化方法、数据处理方法、装置、存储介质及芯片 | |
| CN114089889B (zh) | 模型训练方法、装置以及存储介质 | |
| CN116226676B (zh) | 适用于极端环境的机床故障预测模型生成方法及相关设备 | |
| CN111428224A (zh) | 基于人脸识别的电脑账户登录的方法 | |
| CN112633516B (zh) | 性能预测和机器学习编译优化方法及装置 | |
| CN116611479B (zh) | 数据处理方法、装置、存储介质及芯片 | |
| CN112149826B (zh) | 深度神经网络推理计算中一种基于Profile图的优化方法 | |
| CN113759869A (zh) | 智能家电测试方法及装置 | |
| Li et al. | CoAxNN: Optimizing on-device deep learning with conditional approximate neural networks | |
| CN111124782A (zh) | 一种智能配置计算机集群的方法及装置 | |
| Lee et al. | Self-adaptive framework with game theoretic decision making for Internet of things | |
| EP3916496A1 (en) | An industrial process model generation system | |
| US20230367928A1 (en) | System and method to automatically generate and optimize recycling process plans for integration into a manufacturing design process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |