CN114626501A - 数据处理方法、装置、电子设备和存储介质 - Google Patents
数据处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114626501A CN114626501A CN202011453507.4A CN202011453507A CN114626501A CN 114626501 A CN114626501 A CN 114626501A CN 202011453507 A CN202011453507 A CN 202011453507A CN 114626501 A CN114626501 A CN 114626501A
- Authority
- CN
- China
- Prior art keywords
- model
- configuration information
- sub
- data processing
- submodel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据处理方法、装置、电子设备和存储介质,所述的方法包括:对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联;确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合;确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果;能够提升模型的处理效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质。
背景技术
神经网络(Neural Networks,NN)模型是由大量的、简单的处理单元(或称为神经元、算子、计算单元、计算节点等)广泛地互相连接而形成的复杂网络系统,神经网络模型具有大规模并行、分布式存储和处理、自组织、自适应和自学能力,特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。例如可以对图像进行识别,确定图像中包含的目标对象,还可以对音频进行识别,提取其中的语义信息,理解音频的内容。
现有的神经网络模型结构复杂,在进行数据处理时,数据需要在不同的节点之间互相传输、转换,导致神经网络模型的处理效率低。
发明内容
本申请实施例提供了一种数据处理方法,提升神经网络模型的处理效率。
相应的,本申请实施例还提供了一种数据处理装置、一种电子设备和一种存储介质,用以保证上述系统的实现及应用。
为了解决上述问题,本申请实施例公开了一种数据处理方法,所述的方法包括:对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联;确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合;确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
为了解决上述问题,本申请实施例公开了一种数据处理方法,包括:对图像处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成;获取图像处理模型对应的图像配置信息表;依据所述图像配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合;确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果;将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果;依据图像处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
为了解决上述问题,本申请实施例公开了一种数据处理方法,包括:对音频处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成;获取音频处理模型对应的音频配置信息表;依据所述音频配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合;确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果;将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果;依据音频处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
为了解决上述问题,本申请实施例公开了一种数据处理方法,包括:对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成;确定第一子模型的第一配置信息和第二子模型的第二配置信息,确定配置信息组合;确定各配置信息组合对应的数据处理时长,并筛选出目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果;将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果;依据数据处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
为了解决上述问题,本申请实施例公开了一种数据处理方法,包括:对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联;确定第一子模型的第一配置信息和第二子模型的第二配置信息,确定配置信息组合;确定各配置信息组合对应的数据处理时长,并筛选出目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果;对第一子模型进行第一优化处理,对第二子模型进行第二优化处理。
为了解决上述问题,本申请实施例公开了一种数据处理装置,所述的装置包括:子模型获取模块,用于对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联;配置信息组合获取模块,用于确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合;筛选结果获取模块,用于确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
为了解决上述问题,本申请实施例公开了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如上述方法实施例中一个或多个所述的方法。
为了解决上述问题,本申请实施例公开了一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如上述方法实施例中一个或多个所述的方法。
与现有技术相比,本申请实施例包括以下优点:
本申请实施例中,可以将数据处理模型划分为第一子模型和第二子模型,并确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后确定配置信息组合对应的数据处理时长,并依据数据处理时长,减除大量与子模型不匹配的配置信息组合,以筛选出少量的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。本申请实施例中,在对数据处理模型的分析过程中,不仅考虑了子模型按照各配置信息进行配置时的处理时长,还考虑了相关的子模型之间进行数据转换所耗费的时长,能够筛选出更加适合模型的配置信息组合,提升数据处理模型的处理效率。
附图说明
图1A是本申请一个实施例的数据处理方法的流程示意图;
图1B是本申请一个实施例的数据格式的示意图;
图1C是本申请一个实施例的神经网络模型计算时长的示意图;
图2A是本申请另一个实施例的数据处理方法的流程示意图;
图2B是本申请一个实施例的数据格式分析方法的流程示意图;
图2C是本申请另一个实施例的数据格式分析方法的流程示意图;
图2D是本申请再一个实施例的数据格式分析方法的流程示意图;
图3是本申请再一个实施例的数据处理方法的流程示意图;
图4是本申请再一个实施例的数据处理方法的流程示意图;
图5是本申请再一个实施例的数据处理方法的流程示意图;
图6是本申请再一个实施例的数据处理方法的流程示意图;
图7是本申请再一个实施例的数据处理方法的流程示意图;
图8是本申请一个实施例的数据处理装置的结构示意图;
图9是本申请另一个实施例的数据处理装置的结构示意图;
图10是本申请再一个实施例的数据处理装置的结构示意图;
图11是本申请再一个实施例的数据处理装置的结构示意图;
图12是本申请再一个实施例的数据处理装置的结构示意图;
图13是本申请一个实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例可应用于对神经网络模型的优化领域,神经网络模型还可以称为神经网络(Neural Networks,NN)、数据处理模型,神经网络模型是由处理单元互相连接而形成的网络系统,其中,处理单元还可以称为计算节点、计算单元等,处理单元包括至少一个算子,算子是构成神经网络模型的基本单元,是神经网络模型中进行数据处理的最小单元。本实施例可以对数据处理模型中各处理单元的配置进行优化,在一个示例中,处理单元可以为算子,可以对算子的输入数据格式、输出数据格式进行优化,从整体上确定各算子较优的输入数据格式和输出数据格式,以提升数据处理模型的处理效率;还可以为模型中各算子分别配置对应的处理器,从整体上为各算子配置较优的处理器,以提升数据处理模型的处理效率。其中,输入或输出算子的数据可以包括张量(Tensor)、向量、矩阵等,Tensor可以理解为多维数组,使用Tensor的目的是为了创造更多维的矩阵、向量,以提供给神经网络模型进行使用。Tensor数据格式可以理解为Tensor存储在内存中的格式(或顺序),即memorylayout,不同的数据格式对应的存储顺序不同。举例来说,如图1B所示,图1B中示出了同一组数据的两种不同的数据格式的数据存储顺序,算子按照不同数据格式进行数据处理时,需要从不同的位置获取数据,因此,算子处理的数据的数据格式不同,会导致算子处理效率不同。
本申请实施例中,图1A的示例中,是以为算子进行数据格式的配置为例进行描述(配置信息采取数据格式),如图1A所示,可以将数据处理模型进行划分,划分为第一子模型和第二子模型,其中,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个算子组成。在确定了第一子模型和第二子模型之后,可以确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合,其中,配置信息可以理解为与子模型的数据处理速度相关的配置,如子模型中各处理单元数据格式的配置、子模型中处理单元所使用的硬件(处理器)配置等。在图1A所示的示例中,可以枚举第一子模型的第一输出数据格式和第二子模型的第二输入数据格式,作为配置信息组合。然后按照配置信息组合,确定第一子模型的处理时长、第二子模型的处理时长和第一子模型与第二子模型之间数据转换的数据转换时长,以确定配置信息组合对应的数据处理时长,并依据数据处理时长,筛选出多组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果(图1A示例中的数据格式筛选结果)。之后,可以将第一子模型和第二子模型作为待处理的模型进行切分和分析,直至确定数据处理模型中各处理单元(如算子)的配置信息筛选结果(数据格式筛选结果)。然后按照各处理单元的配置信息筛选结果,确定模型中各处理单元对应的单元配置信息,以确定数据处理模型的模型配置信息组合,并筛选出适合数据处理模型的目标模型配置信息组合,作为模型配置信息分析结果。
本申请实施例中,在对数据处理模型的分析过程中,不仅考虑了子模型按照对应的配置的处理时长,还考虑了相关的子模型之间按照进行数据转换所耗费的时长,能够筛选出更加适合模型的模型配置信息组合,提升对数据处理模型的优化效果。
以对数据处理模型中处理单元(如算子)的数据格式进行优化为例,一种对数据处理模型的数据格式进行配置的方法是,枚举数据处理模型中各算子对应的数据格式,然后整体分析出适合该数据处理模型的模型配置信息分析结果。但是,采用这样的方式,分析的复杂度与数据处理模型的算子数量相关,算子的数量越多,则计算的复杂度呈指数式增长。而本申请实施例采用的方式中,可以对数据处理模型进行划分,得到第一子模型和第二子模型,并确定第一子模型和第二子模型对应的配置信息组合(如数据格式组合、应用该算子的处理器等)进行分析,然后按照预设筛选条件,减除大部分不适合第一子模型和第二子模型的配置信息组合(也可称为剪枝、剪枝加速),以得到少量的目标配置信息组合,以降低后期计算的复杂度。在确定了两个子模型的配置信息之后,两个子模型各自内部算子的进一步优化不会产生相互影响,因此,可以将第一子模型和第二子模型作为单独的模型,进一步切分并分析对应的配置信息组合,直至确定每个算子(处理单元)对应的配置信息筛选结果。在确定了每个算子对应的配置信息筛选结果之后,可以按照每个算子对应的少量的算子配置信息进行组合,得到模型配置信息组合,并分析各模型配置信息组合对应的数据处理时长,以确定适合数据处理模型的目标模型配置信息组合作为模型配置信息分析效果。本申请实施例可以利用对数据处理模型进行切分的方式,来减除大量的与切分出的子模型不匹配的配置信息,在后期对数据处理模型进行分析的过程中,能够减少各算子对应的配置信息的量,进而降低了计算复杂度,提升了数据处理效率。
以配置信息为数据格式为例,本实施例可以枚举第一子模型的第一输出数据格式和第二子模型的第二输入数据格式,作为配置信息组合,以便筛选出少量的目标数据格式,作为子模型的数据格式筛选结果(或称配置信息筛选结果)。其中,对于包含多个算子的数据处理模型来说,在未采用剪枝的方式减少算子对应的数据格式之前,通常需要十分钟、二十分钟以上的时间来进行计算,进而得到对应的模型配置信息组合,而采用了本方案的方式,能够减少大量不匹配的数据格式,大大减少了计算的复杂度,通常可以在几秒钟内完成计算,得到对应的模型配置信息组合,并且,对于优化了数据格式的数据处理模型来说,数据处理模型的处理效率得到了显著的提升,如图1C所示,图中示出了几种常见的神经网络模型在优化前后的计算时长,利用本实施例的方式优化后数据处理模型的数据处理效率平均提升了1.75倍左右,其中,Res Net50和Res Net101是指不同层数的残差网络模型;Mobile Net、Squeeze Net、和Shuffle Net是轻量级的神经网络模型,是采用不同方式对神经网络模型进行压缩后得到的模型,可以应用在移动终端设备上。
本申请实施例的数据处理方法是对数据处理模型的基础层面(处理单元处理的数据的数据格式、处理单元应用的处理器)进行选择优化,因此,本申请实施例的数据处理方法可以应用在各个场景的数据处理模型上,举例来说,可以应用在图像处理模型、音频处理模型等模型的数据格式优化场景中,以提升图像处理、音频处理的效率;还可以应用在对大数据进行数据分析(如对用户的消费行为分析)的数据处理模型。具体的,图像处理模型可以用于完成以下内容中的至少一个:图像语义识别(如对人物、动物、风景、文字、人脸、指纹等进行识别)、图像深度识别、图像优化处理(如识别图像参数,并对图像参数进行调整)、图像关键点定位。举例来说,本申请实施例的数据方法可以应用在对电商领域的商品进行图像识别的数据处理模型中,其中,数据处理模型可以识别图像中商品的语义、商品的深度、商品的关键点位置等;本申请实施例的数据方法还可以应用在构建物流网络中进行实体对象识别的数据处理模型,其中,数据处理模型可以对各种物流事件的相关信息进行实体对象识别,提取其中的实体对象(如提取发货地、发货时间、收货地等);本申请实施例的数据处理方法还可以应用在对直播场景下进行人脸识别的数据处理模型中,其中,数据处理模型可以对直播视频中进行人脸识别、人脸关键点定位(以便对人脸进行美妆处理);本申请实施例的方法还可以应用在对金融领域中进行金融产品推荐的数据处理模型中,其中,数据处理模型可以对金融事件进行识别,确定金融事件为正向事件或负向事件,进而确定金融产品的可信度,并为用户推荐可信度高的金融产品;本申请实施例的方法还可以应用在进行群体识别的数据处理模型中,其中,数据处理模型可以对用户的行为习惯相关的信息进行分析,确定用户所属的群体,进而为用户推荐该群体(或群体中的好友)。本申请实施例的方法还可以应用在对道路监控视频进行图像识别的数据处理模型中,其中,数据处理模型可以对道路监控视频进行图像识别,确定车辆的车速是否过快,车辆是否逆行、驾驶员是否存在不规范行为(如未系安全带)。音频处理模型可以用于完成以下内容中的至少一个:语音识别、语音合成、音频滤波等,其中,数据处理模型也可以为一个大模型中的子模型,如在语音识别模型中,音频数据可以为语音识别模型,也可以为语音识别模型中的音素识别模型、句法分析模型等。举例来说,本实施例的方法可以应用在语音交互场景中进行语音识别的数据处理模型中,其中,数据处理模型可以应用智能音箱、移动终端,以便识别用户的语音数据,并输出对应的反馈语音。本实施例的方法还可以应用在电商直播领域进行语音识别的数据处理模型中,其中,数据处理模型可以对电商直播视频中的语音数据进行识别,并确定对应的语义信息,以便执行后续的操作,如将展示在直播视频中的商品图像切换为与语音数据对应的商品图像,如切换商品对应的价格等。本申请实施例的方法还可以应用在对音频进行识别并对音频进行优化处理的数据处理模型中,其中,数据处理模型可以对音频数据进行识别,确定对应的音频参数,以便对音频数据进行优化处理,例如主播在唱歌过程中,数据处理模型可以对音频数据进行识别,以便对主播的音频数据进行优化处理。
本申请实施例提供一种数据处理方法,通过该方法可以对数据处理模型的处理单元处理的数据格式、和/或应用处理单元的处理器进行选择配置,进而提升数据处理模型的数据处理效率。该方法可以通过处理端来执行,处理端可以为进行数据处理模型训练的训练设备,也可以为存储和中转训练数据(用于训练数据处理模型)的设备。具体的,如图2所示,所述方法包括:
步骤202、对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联。所述第一子模型和所述第二子模型由至少一个处理单元组成,处理单元包括至少一个算子,处理单元中算子可以预先划分,以便进行分析,处理单元包含的算子数量具体可以依据需求设置。数据处理模型可以为对图像数据进行处理的图像处理模型、对音频数据进行处理的音频处理模型等。本申请实施例可以将数据处理模型切分为两个子模型,也可以将数据处理模型切分为多个子模型,并按照子模型之间的输入输出关系,将子模型划分为第一子模型和第二子模型,其中,第一子模型的输出数据与第二子模型的输入数据关联,一方面,第一子模型的输出数据可以作为第二子模型的输入数据,另一方面,第一子模型的输出数据可以通过数据格式转换,转换为第二子模型的输入数据。本实施例可以预先设定模型切分方式,以便对数据处理模型进行切分,如可以按照算子的数量(如二十个),得到两个均包含有十个算子的子模型,模型的切分方式具体可以依据需求设置。
本申请实施例可以对数据处理模型中算子和算子关系进行分析,确定拓扑排序信息,以便依据拓扑排序信息,对子模型进行划分。具体的,作为一个可选的实施例,所述对数据处理模型进行切分,确定第一子模型和第二子模型,包括:对数据处理模型进行切分,得到切分后的子模型;获取数据处理模型对应的拓扑排序信息,并对切分后的子模型进行划分,得到第一子模型和第二子模型,所述拓扑排序信息依据数据处理模型的结构确定。可以依据数据处理模型中算子和算子关系(表征数据在算子之间的传递顺序),确定拓扑排序关系,例如,算子A的输出数据与算子B的输入数据关联,算子B的输出数据与算子C的输入数据关联,则可以确定算子A为算子B的上级算子,算子B为算子C的上级算子,得到算子A与算子B之间、算子B与算子C之间的拓扑关系,进而得到数据处理模型中算子之间的拓扑排序关系。然后依据拓扑排序关系,对切分的子模型中对应切分处的算子进行分类,确定切分处的算子之间的上下级关系,进而划分出第一子模型和第二子模型。
在确定了第一子模型和第二子模型之后,可以在步骤204中,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。其中,子模型的配置信息可以理解为与子模型的数据处理速度相关的配置,如子模型中各处理单元对应的数据格式、应用子模型中处理单元的硬件(处理器)等。具体的,作为一个可选的实施例,所述确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合,包括以下步骤中的至少一种:确定第一子模型的第一输出数据格式和第二子模型的第二输入数据格式,作为配置信息组合;确定第一子模型的第一处理器和第二子模型的第二处理器,作为配置信息组合。其中,对于配置处理单元的数据格式来说,可以预先设定好保存有数据格式的数据格式表,并按照数据格式表来确定第一子模型的第一输出数据格式和第二子模型的第二输入数据格式,形成多组数据格式组合(或称配置信息组合)。对于配置应用处理单元的硬件(处理器)来说,可以为每个子模型中的算子枚举对应的硬件(处理器),形成多组配置信息组合,举例来说,对于子模型中的算子来说,应用算子的处理器可以包括中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)、嵌入式神经网络处理器(Neural-network Processing Unit,NPU)等,可以分别为切分处的算子枚举对应的处理器,得到对应的配置信息组合。
在确定了配置信息组合之后,可以在步骤206中,确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。数据处理时长包括第一子模型和第二子模型按照配置信息进行配置后进行数据处理的时长、以及第一子模型和第二子模型之间数据转换所消耗的转换时长。具体的,作为一个可选的实施例,所述确定各数据格式组合对应的数据处理时长,包括:确定第一子模型按照第一配置信息进行数据处理的第一时长;确定第二子模型按照第二配置信息进行数据处理的第二时长;依据第一配置信息和第二配置信息,确定第三时长;依据所述第一时长、所述第二时长和所述第三时长,确定数据处理时长。
在配置信息为数据格式时,本实施例可以依据数据处理模型的模型输入数据,作为第一子模型的输入数据,依据配置信息组合中第一输出数据格式,作为第一子模型的输出数据,以获取第一子模型进行数据处理的第一时长。可以依据配置信息组合中第二输入数据格式,作为第二子模型的输入数据,依据数据处理模型的模型输出数据,作为第二子模型的输出数据,以获取第二子模型进行数据处理的第二时长。在确定第三时长的过程中,可以确定第一输出数据格式和第二输出数据格式是否相同,若相同,则确定第三时长为零,若不相同,则确定第一输出数据格式转换为第二输入数据格式所消耗的第三时长。进而依据第一时长、第二时长和第三时长,确定数据处理时长。在配置信息为处理器的信息时,可以获取第一子模型应用在第一处理器上进行数据处理消耗的第一时长,获取第二子模型应用在第二处理器上进行数据处理消耗的第二时长,并确定不同处理器之间数据转换所消耗的第三时长,进而依据第一时长、第二时长和第三时长,确定数据处理时长。本申请实施例中,在对数据处理模型的分析过程中,不仅考虑了子模型按照各配置信息进行数据处理的处理时长,还考虑了相关的子模型之间按照配置信息进行数据转换所耗费的时长,能够筛选出更加适合模型的数据格式和/或处理器,提升数据处理模型的数据处理效率。
下面以对数据格式进行优化举例,对数据处理方法进行说明,在如图2B所示的示例中,数据处理模型G包括算子i-1、算子i、算子i+1和算子i+2,则可以对数据处理模型进行切分,得到第一子模型G1和第二子模型G2,对于数据处理模型G来说,数据处理模型G进行数据处理消耗的时长与第一子模型G1数据处理和第二子模型G2进行数据处理消耗的时长,以及第一子模型和第二子模型之间数据转换消耗的时长相关,具体的,数据处理模型G的数据处理时长可以通过以下公式来确定。
公式一:
opt(G)=opt(G1)+opt(G2)+convert(L1,L2)
其中,opt(G)为数据处理模型G的数据处理时长;
opt(G1)为第一子模型G1的数据处理时长;
opt(G2)为第二子模型G2的数据处理时长;
L1为第一子模型G1的输出数据格式,L2为第二子模型G2的输入数据格式;
convert(L1,L2)为数据格式L1转换为数据格式L2消耗的时长。
数据格式L1和数据格式L2可以对应一个数据格式,也可以对应多个数据格式,具体的,如图2C所示,在图2C的示例中,数据处理模型G包括算子i-1、算子i、算子i+1和算子i+2,则可以对数据处理模型G进行切分,得到第一子模型G1和第二子模型G2,其中,第一子模型G1包括两个输出的Tensor,第二子模型G2包括两个输入的Tensor,可以枚举第一子模型G1两个Tensor的数据格式t1和t2,枚举第二子模型G2的两个Tensor的数据格式t3和t4,则可以获得对应的数据处理时长,具体的,数据处理时长的获取方式可以依据以下公式来确定。
公式二:
opt(G)=opt(G1,t1,t2)+opt(G2,t3,t4)+convert(t1,t3)+convert(t2,t4)
其中,opt(G)为数据处理模型G的数据处理时长,也可以理解为数据格式组合对应的数据处理时长。
opt(G1,t1,t2)为第一子模型G1按照数据格式t1和t2进行数据处理消耗的第一时长。
opt(G2,t3,t4)为第一子模型G1按照数据格式t3和t4进行数据处理消耗的第二时长。
convert(t1,t3)为数据格式从t1转换为t3消耗的第三时长。
convert(t2,t4)为数据格式从t2转换为t4消耗的第三时长。
在一个可选的实施例中,本实施例可以将整个子模型作为分析对象,分析其按照枚举的数据格式进行数据处理消耗的时长,具体的,可以对除切分处的算子以外的其他算子配置一个预设的固定数据处理格式,然后枚举切分处的算子(如图2B中算子i和算子i+1)相关的数据格式,进而确定数据处理时长。在另一个可选的实施例中,可以将切分处的算子作为分析对象,分析其按照枚举的数据格式进行数据处理消耗的时长,具体的,如图2C所示,对于数据处理模型G,给定模型G的模型输入数据格式和模型输出数据格式,对于数据处理模型G,第一次切分后,得到第一子模型(包括算子i-1、i和i+1)和第二子模型(包括算子i+2),可以依据模型G的最后一个算子(算子i+2)的输出数据格式(模型输出数据格式),确定第一次切分后的第一子模型的输出数据格式(t5)和第二子模型的输入数据格式。在第二次切分时(对第一次切分得到的第一子模型进行切分),可以获得第一子模型(包括算子i-1和i)和第二子模型(包括算子i+1),之后可以依据第一次切分得到的数据格式筛选结果t5作为算子i+1的输出数据格式,分析算子i+1按照枚举的输入数据格式进行数据处理所消耗的时长,进而确定不同数据格式组合对应的数据处理时长。然后按照不断向前迭代的方式,确定出数据处理模型中全部的算子对应的数据格式。其中,算子i+1的数据格式组合对应的数据处理时长可以通过以下公式来确定。
公式三:
opt(i+1,t5)=min[opt(i,t1,t2)+convert(t1,t3)+convert(t2,t4)+node(i+1,t3,t4,t5)]其中,opt(i+1,t5)为算子i+1在第一状态下的数据处理时长,第一状态是指算子i+1的上一算子(i)的输出数据格式为t1和t2,本算子i+1的输入数据格式为t3和t4,输出数据格式为t5的状态。
opt(i,t1,t2)为算子i按照数据格式t1和t2进行数据处理消耗的第一时长,算子i进行数据处理消耗的时长与算子i-1相关,因此,可以利用该公式不断向前进行迭代处理,进而确定各算子的数据格式,在迭代过程中,每次计算仅计算切分处的算子之间的数据格式(无需一次计算整个模型),并且可以利用剪枝策略,不断的减少算子对应的数据格式,进而减少了计算量。
convert(t1,t3)为数据格式从t1转换为t3消耗的第三时长。
convert(t2,t4)为数据格式从t2转换为t4消耗的第三时长。
node(i+1,t3,t4,t5)为算子i+1按照输入数据格式t21、t22、输出数据格式t3进行数据处理消耗的第二时长。
在从整体上分析数据处理模型的模型格式组合时,各子模型之间的消耗时长是累加的,因此,对于一组第一子模型和第二子模型来说,可以按照剪枝策略,减除大量的数据处理时间较长的配置信息组合,留下少量的(数据处理时长少的)目标配置信息组合,以进行后续分析。其中,在剪枝的过程中,可以利用筛选条件,筛选出符合筛选条件的目标配置信息组合,达到减除大量不匹配的配置信息组合的效果。具体的,作为一个可选的实施例,所述筛选出至少一组目标数据格式组合,包括:按照数据处理时长,将配置信息组合进行排序;按照排序后的配置信息组合,筛选出至少一组符合预设筛选条件的目标配置信息组合。预设筛选条件可以为预设筛选比例,也可以为预设阈值等信息,在一个可选的实施例中,可以在处理端中预先设置好筛选比例,处理端可以按照预设筛选比例来减除不符合筛选比例的配置信息组合,具体的,所述筛选出至少一组符合预设筛选条件的目标配置信息组合,包括:按照预设筛选比例,筛选出至少一组目标配置信息组合。举例来说,预设筛选比例可以1%(或20%)等,本实施例可以将配置信息组合按照数据处理时长进行排序,进而筛选出数据处理时长最短的百分之一的配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
在另一个可选的实施例中,可以按照配置信息组合中最短的数据处理时长,确定筛选阈值,并按照筛选阈值来筛选出目标配置信息组合。具体的,所述筛选出至少一组符合预设筛选条件的目标配置信息组合,包括:确定排名符合排名条件的第一配置信息组合;基于第一配置信息组合的数据处理时长,确定筛选阈值;筛选出至少一组符合筛选阈值的目标配置信息组合。处理端可以按照配置信息组合的排序结果,筛选出数据处理时长最短的第一配置信息组合,并基于该配置信息组合的数据处理时长,确定对应的筛选阈值,进而筛选出目标配置信息组合。举例来说,筛选出的最短数据处理时长为10ms,则可以确定对应的筛选阈值为15ms,进而筛选出符合15ms的目标配置信息组合,作为配置信息筛选结果。
在一个可选的示例中,在剪枝的过程中,还可以将不同配置信息对应的数据处理时长进行比较,进而剪去数据处理时间较长的配置信息,以数据格式组合进行举例,算子i+1的输入数据格式确定为t11和t13,则对于算子i,可以确定其输出数据的数据格式组合包括组合1(t11和t12)、组合2(t11和t13),则可以确定组合1中t12需要先转换为t13,然后才能输入到算子i+1中;组合2无需进行转换,即可输入到算子i+1中;因此,可以将组合1的数据转换时长和算子i在组合1格式下的计算时长的两个时长结合在一起与算子在组合2格式下的计算时长进行比较,得到以下公式。
公式四:opt(i,t11,t12)+convert(t12,t13)>opt(i,t11,t13)
其中,opt(i,t11,t12)代表算子在输出数据格式为t11和t12状态下的所消耗的时长。
convert(t12,t13)代表数据从t12格式转换为t13格式消耗的时长。
opt(i,t11,t1)代表算子在输出数据格式为t11和t12状态下所消耗的时长。
由此可以看出,算子i在组合1对应的状态下消耗的时长更长,因此可以将组合1的方案剪去,保留组合2。
在确定了第一次切分后得到的第一子模型和第二子模型对应的配置信息筛选结果之后,作为一个可选的实施例可以将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果。在确定了两个子模型之间的数据格式(或确定了应用子模型的处理器)之后,两个子模型各自内部算子的进一步优化不会产生相互影响,因此,可以判断第一子模型和第二子模型中任一个是否包含有两个及两个以上的处理单元,并可以将包含有两个及两个以上处理单元的子模型作为单独的模型,进行二次切分并分析子模型切分后的模型对应的配置信息组合,按照对切分得到的模型迭代分析的方式,能够不断的减少子模型中包含的处理单元的数量,直至确定每个处理单元对应的配置信息筛选结果。本申请实施例可以利用对数据处理模型不断进行切分的方式,来减除大量与切分出的子模型不匹配的配置信息,在后期对数据处理模型进行分析的过程中,能够减少各处理单元对应的配置信息的量,进而降低了计算复杂度,提升了对模型的优化效率。
在确定了各处理单元的配置信息筛选结果之后,作为一个可选的实施例,可以依据数据处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。在配置信息包括数据格式时,模型配置信息分析结果可以包括模型中各个处理单元的输入数据格式和输出数据格式;在配置信息包括应用处理单元的硬件时,模型配置信息分析结果可以包括模型中各个处理单元应用的处理器。可以将各处理单元对应的数据格式(或对应的处理器)进行组合,得到配置信息组合,并确定各个组合的数据处理时长,进而得到模型配置信息分析结果。具体的,作为一个可选的实施例,所述依据数据处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果,包括:按照各处理单元的配置信息筛选结果,确定各处理单元对应的单元配置信息,以确定数据处理模型的模型配置信息组合;确定各模型配置信息组合对应的模型处理时长,并筛选出目标模型配置信息组合,作为模型配置信息分析结果。单元配置信息是指与处理单元处理速度相关的配置的配置信息,如对于处理单元为算子时,单元配置信息可以包括算子数据格式和为算子配置的处理器信息,其中,算子数据格式包括算子的输入数据格式和算子的输出数据格式。本实施例可以将相邻的处理单元的单元配置信息进行组合,进而确定对应数据处理模型的模型配置信息组合,然后按照各模型配置信息组合对应的模型处理时长,筛选出模型处理时长最短的一组或几组模型格式组合,作为模型格式分析结果,其中,模型处理时长为整个数据处理模型进行数据处理所消耗的时长,可以包括各处理单元按照对应的配置进行数据处理消耗的时长和各处理单元之间的数据转换消耗的时长。以为处理单元配置数据格式为例,各处理单元对应的配置信息筛选结果可能均包含有四种数据格式(两种输入和两种输出),则可以将第一个算子的四种数据格式与第二个算子的四种数据格式进行搭配,得到十六种搭配结果,然后将十六种搭配结果与第三个算子的四种数据格式进行搭配,进而得到六十四种搭配结果,直至搭配到最后一个算子,得到对应整个数据处理模型的模型配置信息组合,然后可以分析各模型配置信息组合对应的模型处理时长,进而筛选出模型处理时长最短的一组(或多组)模型配置信息组合,作为模型配置信息分析结果。
作为一个可选的实施例,可以预先设置对照表,对照表中存储处理单元处理时长和数据转换时长,处理单元处理时长是指处理单元按照不同的数据格式(或在不同处理器上)进行处理的时长,数据转换时长是指不同数据格式之间进行数据格式转换(或不同处理器之间进行数据转换)消耗的时长。可以通过对照表来确定模型配置信息组合对应的模型处理时长,进而进行筛选。作为另一个可选的实施例,所述确定各模型配置信息组合对应的模型处理时长,包括:按照模型配置信息组合,对数据处理模型进行配置;依据配置后的数据处理模型进行数据处理,确定模型处理时长。可以按照模型配置信息组合,对数据处理模型中各处理单元(如算子)的输入数据格式、输出数据格式、处理单元之间的数据格式转换、处理单元应用的处理器、处理器之间的数据转换进行配置,然后可以按照各处理单元进行数据处理消耗的时长、相邻处理单元之间进行数据转换消耗的时长,确定模型处理时长,以便依据模型处理时长,对模型配置信息组合进行排序后筛选,具体的,作为一个可选的实施例,所述筛选出目标模型配置信息组合,包括:按照各模型配置信息组合对应的模型处理时长,将模型配置信息组合进行排序;依据排序后的模型配置信息组合,筛选出目标模型配置信息组合。可以按照预先设置好的排序规则,将模型配置信息组合,按照模型处理时长从短到长(或从长到短)进行排序,进而筛选出模型处理时长最短的一组或多组目标模型配置信息组合,作为模型配置信息分析结果。其中,在确定筛选出模型配置信息组合之后,还可以将模型配置信息组合发送给用户,用户可以选择其中的一组或多组模型配置信息组合,作为目标模型配置信息组合,具体的,作为一个可选的实施例,所述依据排序后的模型配置信息组合,筛选出目标模型配置信息组合,包括:依据排序后的模型配置信息组合,筛选出至少一组待确认的模型配置信息组合,并下发;接收对待确认的模型配置信息组合的反馈信息,并确定目标模型配置信息组合。在一些场景中,较优的模型配置信息组合可能与用户的神经网络模型的数据库不匹配,因此,在对排序后的模型配置信息组合进行筛选之后,可以将筛选出的模型配置信息组合发送给用户,用户可以选择符合数据处理模型处理要求的模型配置信息组合(可以选择数据处理时长最短的、也可以选择数据处理时长次短的),并将反馈信息上传,以便依据反馈信息,确定目标模型配置信息组合,作为模型配置信息分析结果。作为一个可选的实施例,所述方法还包括:按照模型配置信息分析结果,对数据处理模型进行配置。可以对配置完成的数据处理模型进行模型训练,训练完成后的数据处理模型可以用于对图像、音频进行识别、处理。
本申请实施例中,可以将数据处理模型划分为第一子模型和第二子模型,并确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后确定配置信息组合对应的数据处理时长,并依据数据处理时长,减除大量与子模型不匹配的配置信息,以筛选出少量的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。之后,可以将第一子模型和第二子模型分别作为待处理的模型进行切分和分析,直至确定数据处理模型中各处理单元的配置信息筛选结果。然后按照各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息组合,并筛选出适合数据处理模型的目标模型配置信息组合,作为模型配置信息分析结果。本申请实施例中,在对数据处理模型的分析过程中,不仅考虑了子模型按照各配置信息的处理时长,还考虑了相关的子模型之间按照配置信息进行数据转换所耗费的时长,能够筛选出更加适合模型的配置信息,提升数据处理模型的处理效率。另外,本申请实施例可以利用对数据处理模型进行切分的方式,来减除大量的与切分出的子模型不匹配的配置信息,在后期对数据处理模型进行分析的过程中,能够减少各处理单元对应的配置信息的量,进而降低了计算复杂度,提升了数据处理效率。
在上述实施例的基础上,本申请实施例还提供一种数据处理方法,可以通过处理端来执行,处理端可以为进行数据处理模型训练的训练设备,也可以为存储和中转训练数据处理模型的训练数据的设备。具体的,如图3所示,所述方法包括:
步骤302、对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成,处理单元包括至少一个算子。作为一个可选的实施例,步骤302,具体包括:对数据处理模型进行切分,得到切分后的子模型;获取数据处理模型对应的拓扑排序信息,并对切分后的子模型进行划分,得到第一子模型和第二子模型,所述拓扑排序信息依据数据处理模型的结构确定。
步骤304、确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。作为一个可选的实施例,步骤304具体包括以下步骤中的至少一种:确定第一子模型的第一输出数据格式和第二子模型的第二输入数据格式,作为配置信息组合;确定第一子模型的第一处理器和第二子模型的第二处理器,作为配置信息组合。
步骤306、确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。作为一个可选的实施例,步骤306具体包括:确定第一子模型按照第一配置信息进行数据处理的第一时长;确定第二子模型按照第二配置信息进行数据处理的第二时长;依据第一配置信息和第二配置信息,确定第三时长;依据所述第一时长、所述第二时长和所述第三时长,确定数据处理时长;按照数据处理时长,将配置信息组合进行排序;按照排序后的配置信息组合,筛选出至少一组符合预设筛选条件的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。其中,作为一个可选的实施例,所述筛选出至少一组目标配置信息组合,包括:按照数据处理时长,将配置信息组合进行排序。按照排序后的配置信息组合,筛选出至少一组符合预设筛选条件的目标配置信息组合。作为另一个可选的实施例,所述筛选出至少一组符合预设筛选条件的目标配置信息组合,包括:按照预设筛选比例,筛选出至少一组目标配置信息组合。
步骤308、判断子模型中处理单元数量是否大于一个。若是,则返回步骤302,将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果;若否,则执行步骤310。
步骤310、按照各处理单元的配置信息筛选结果,确定各处理单元对应的单元配置信息,以确定数据处理模型的模型配置信息组合。
步骤312、按照模型配置信息组合,对数据处理模型进行配置。
步骤314、依据配置后的数据处理模型进行数据处理,确定模型处理时长。
步骤316、按照各模型配置信息组合对应的模型处理时长,将模型配置信息组合进行排序。
步骤318、依据排序后的模型配置信息组合,筛选出目标模型配置信息组合,作为模型配置信息分析结果。
步骤320、按照模型配置信息分析结果,对数据处理模型进行配置。
本申请实施例中,可以将数据处理模型划分为第一子模型和第二子模型,并确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后确定配置信息组合对应的数据处理时长,并依据数据处理时长,减除大量与子模型不匹配的配置信息组合,以筛选出少量的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。之后,判断各子模型中包含的处理单元数量是否超过一个,若是,则将该子模型作为待处理的模型进行分割并分析,若否,则依据各处理单元对应的配置信息筛选结果,确定数据处理模型对应的模型配置信息组合,然后依据模型配置信息组合对应的模型处理时长,筛选出模型处理时长最短的一组或多组目标模型配置信息组合,作为模型配置信息分析结果,并依据该模型配置信息分析结果,对数据处理模型进行配置,然后可以使用训练数据对配置后的数据处理模型进行训练,以便依据训练完成的数据处理模型,更加高效的进行数据的处理。
在上述实施例的基础上,本申请实施例还提供一种数据处理方法,能够对图像处理相关的神经网络模型进行优化,图像处理相关的神经网络模型可以用于完成以下内容中的至少一个:图像语义识别(如对人物、动物、风景、文字等进行识别)、图像深度识别、图像优化处理(如识别图像参数,并对图像参数进行调整)、图像关键点定位。本实施例,能够对图像处理模型的数据格式进行分析,筛选出适合图像处理模型的图像数据格式组合(或为图像处理模型中各处理单元分配对应的处理器),以提升图像处理相关的模型对图像数据的处理速度,具体的,如图4所示,所述方法包括:
步骤402、对图像处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成。
步骤404、获取图像处理模型对应的图像配置信息表。
步骤406、依据所述图像配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。
步骤408、确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
步骤410、将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果。
步骤412、依据图像处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
本实施例的实施方式与上述实施例的实施方式类似,具体实施方式可以参考上述实施例的具体实施方式,此处不再赘述。
本申请实施例中,可以将图像处理模型划分为第一子模型和第二子模型,并获取与图像对应的图像配置信息表,图像配置信息表中存储有多种图像数据格式、和多种用于应用处理单元的处理器。可以依据图像配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后确定配置信息组合对应的数据处理时长,并依据数据处理时长,减除大量与子模型不匹配的配置信息组合,以筛选出少量的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。之后,可以将第一子模型和第二子模型分别作为待处理的模型进行切分和分析,直至确定数据处理模型中各处理单元的配置信息筛选结果。然后按照各处理单元的配置信息筛选结果,确定图像处理模型的模型配置信息组合,并筛选出适合图像处理模型的目标模型配置信息组合,作为模型配置信息分析结果。
在上述实施例的基础上,本申请实施例还提供一种数据处理方法,能够对与音频处理相关的神经网络模型进行优化,音频处理相关的神经网络模型可以用于完成以下内容中的至少一个:语音识别、语音合成、音频滤波等。本实施例,能够对音频处理模型的数据格式进行分析,筛选出适合音频处理模型的音频数据格式组合(或为音频处理模型中算子分配对应的处理器),以提升音频处理相关的模型对图像数据的处理速度,具体的,如图5所示,所述方法包括:
步骤502、对音频处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成。
步骤504、获取音频处理模型对应的音频配置信息表。
步骤506、依据所述音频配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。
步骤508、确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
步骤510、将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果。
步骤512、依据音频处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
本实施例的实施方式与上述实施例的实施方式类似,具体实施方式可以参考上述实施例的具体实施方式,此处不再赘述。
本申请实施例中,可以将音频处理模型划分为第一子模型和第二子模型,并获取与音频数据对应的音频配置信息表,音频配置信息表中存储有多种音频数据格式、多种用于应用处理单元的处理器。可以依据音频配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后确定配置信息组合对应的数据处理时长,并依据数据处理时长,减除大量与子模型不匹配的配置信息组合,以筛选出少量的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。之后,可以将第一子模型和第二子模型分别作为待处理的模型进行切分和分析,直至确定音频处理模型中各处理单元的配置信息筛选结果。然后按照各处理单元的配置信息筛选结果,确定音频处理模型的模型配置信息组合,并筛选出适合音频处理模型的目标模型配置信息组合,作为模型配置信息分析结果。
在上述实施例的基础上,本申请实施例还提供一种数据处理方法,可以通过处理端来执行,能够为数据处理模型的处理单元选定对应的数据格式(或处理器),以进行优化,其中,数据处理模型可以为进行图像处理的神经网络模型、进行音频处理的神经网络模型等。本实施例可以将数据处理模型分割为多个子模型,并筛选出适合于子模型的数据格式(或处理器),进而从整体上提升数据处理模型的数据处理速度,具体的,如图6所示,所述方法包括:
步骤602、对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成。
步骤604、确定第一子模型的第一配置信息和第二子模型的第二配置信息,确定配置信息组合。
步骤606、确定各配置信息组合对应的数据处理时长,并筛选出目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
步骤608、将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果。
步骤610、依据数据处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
本实施例的实施方式与上述实施例的实施方式类似,具体实施方式可以参考上述实施例的具体实施方式,此处不再赘述。
本申请实施例中,可以对数据处理模型进行切分,得到子模型,然后可以按照子模型之间的数据处理的先后关系,确定子模型中的第一子模型和第二子模型,之后可以确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后获取配置信息组合对应的数据处理时长,其中,数据处理时长包括子模型按照对应的配置信息进行数据处理消耗的时长和子模型之间数据转换所消耗的时长。然后可以依据数据处理时长,确定适合数据处理模型的目标配置信息组合,作为配置信息筛选结果。之后,可以将第一子模型和第二子模型分别作为待处理的模型进行切分和分析,直至确定数据处理模型中各处理单元的配置信息筛选结果。然后按照各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息组合,并筛选出适合数据处理模型的目标模型配置信息组合,作为模型配置信息分析结果。
在上述实施例的基础上,本申请实施例还提供一种数据处理方法,可以通过处理端来执行,能够将数据处理模型进行切分,并筛选出适合子模型的配置信息,并且可以采用相同或不同的优化方式对子模型进行进一步的优化处理,进而从整体上提升数据处理模型的数据处理速度,具体的,如图6所示,所述方法包括:
步骤702、对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联。
步骤704、确定第一子模型的第一配置信息和第二子模型的第二配置信息,确定配置信息组合。
步骤706、确定各配置信息组合对应的数据处理时长,并筛选出目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
步骤708、对第一子模型进行第一优化处理,对第二子模型进行第二优化处理。
本申请实施例中,第一优化处理与第二优化处理可以相同,也可以不同,具体来说,本申请实施例中子模型的优化处理可以采用与数据处理模型切分并进行配置分析的优化方式相同的方式进行优化处理,也可以采用对子模型的整体算子进行配置分析的方式进行优化处理,此处不做限制。本实施例可以对数据处理模型进行切分,得到子模型,然后可以按照子模型之间的数据处理的先后关系,确定子模型中的第一子模型和第二子模型,之后可以确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后获取配置信息组合对应的数据处理时长,其中,数据处理时长包括子模型按照对应的配置信息进行数据处理消耗的时长和子模型之间数据转换所消耗的时长。然后可以依据数据处理时长,确定适合数据处理模型的目标配置信息组合,作为配置信息筛选结果。之后,可以将第一子模型和第二子模型采取相同或不同的优化处理方式,进行进一步的优化处理。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,参照图8,具体可以包括如下模块:
子模型获取模块802,用于对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联。
配置信息组合获取模块804,用于确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。
筛选结果获取模块806,用于确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
综上,本申请实施例中,可以将数据处理模型划分为第一子模型和第二子模型,并确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后确定配置信息组合对应的数据处理时长,并依据数据处理时长,减除大量与子模型不匹配的配置信息组合,以筛选出少量的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,具体可以包括如下模块:
模型切分处理模块,用于对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个算子组成。作为一个可选的实施例,模型切分处理模块,具体包括:对数据处理模型进行切分,得到切分后的子模型;获取数据处理模型对应的拓扑排序信息,并对切分后的子模型进行划分,得到第一子模型和第二子模型,所述拓扑排序信息依据数据处理模型的结构确定。
数据配置信息枚举处理模块,用于确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。作为一个可选的实施例,数据配置信息枚举处理模块,具体包括以下步骤中的至少一种:确定第一子模型的第一输出数据格式和第二子模型的第二输入数据格式,作为配置信息组合;确定第一子模型的第一处理器和第二子模型的第二处理器,作为配置信息组合。
数据处理时长获取处理模块,用于确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。作为一个可选的实施例,数据处理时长获取处理模块,具体包括:确定第一子模型按照第一配置信息进行数据处理的第一时长;确定第二子模型按照第二配置信息进行数据处理的第二时长;依据第一配置信息和第二配置信息,确定第三时长;依据所述第一时长、所述第二时长和所述第三时长,确定数据处理时长;按照数据处理时长,将配置信息组合进行排序;按照排序后的配置信息组合,筛选出至少一组符合预设筛选条件的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。其中,作为一个可选的实施例,所述数据处理时长获取处理模块,具体包括:按照数据处理时长,将配置信息组合进行排序。按照排序后的配置信息组合,筛选出至少一组符合预设筛选条件的目标配置信息组合。作为另一个可选的实施例,所述数据处理时长获取处理模块,具体包括:按照预设筛选比例,筛选出至少一组目标配置信息组合。
单元数量判断处理模块,用于判断子模型中处理单元数量是否大于一个。若是,则返回模型切分处理模块,将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果;若否,则执行模型格式组合获取处理模块。
模型配置信息组合获取处理模块,用于按照各处理单元的配置信息筛选结果,确定各处理单元对应的算子配置信息,以确定数据处理模型的模型配置信息组合。
模型配置处理模块,用于按照模型配置信息组合,对数据处理模型进行配置。
模型处理时长获取处理模块,用于依据配置后的数据处理模型进行数据处理,确定模型处理时长。
模型配置信息组合排序处理模块,用于按照各模型配置信息组合对应的模型处理时长,将模型配置信息组合进行排序。
模型配置信息组合筛选处理模块,用于依据排序后的模型配置信息组合,筛选出目标模型配置信息组合,作为模型配置信息分析结果。
数据处理模型配置处理模块,用于按照模型配置信息分析结果,对数据处理模型进行配置。
本申请实施例中,可以将数据处理模型划分为第一子模型和第二子模型,并确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后确定配置信息组合对应的数据处理时长,并依据数据处理时长,减除大量与子模型不匹配的配置信息组合,以筛选出少量的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。之后,判断各子模型中包含的处理单元数量是否超过一个,若是,则将该子模型作为待处理的模型进行分割并分析,若否,则依据各处理单元对应的配置信息筛选结果,确定数据处理模型对应的模型配置信息组合,然后依据模型配置信息组合对应的模型处理时长,筛选出模型处理时长最短的一组或多组目标模型配置信息组合,作为模型配置信息分析结果,并依据该模型配置信息分析结果,对数据处理模型进行配置,然后可以使用训练数据对配置后的数据处理模型进行训练,以便依据训练完成的数据处理模型,更加高效的进行数据的处理。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,参照图9,具体可以包括如下模块:
子模型确定模块902,用于对图像处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成。
图像配置表确定模块904,用于获取图像处理模型对应的图像配置信息表。
配置组合确定模块906,用于依据所述图像配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。
筛选结果确定模块908,用于确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
迭代结果确定模块910,用于将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果。
分析结果确定模块912,用于依据图像处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
本申请实施例中,可以将图像处理模型划分为第一子模型和第二子模型,并获取与图像对应的图像配置信息表,图像配置信息表中存储有多种图像数据格式、和多种用于应用处理单元的处理器。可以依据图像配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后确定配置信息组合对应的数据处理时长,并依据数据处理时长,减除大量与子模型不匹配的配置信息组合,以筛选出少量的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。之后,可以将第一子模型和第二子模型分别作为待处理的模型进行切分和分析,直至确定数据处理模型中各处理单元的配置信息筛选结果。然后按照各处理单元的配置信息筛选结果,确定图像处理模型的模型配置信息组合,并筛选出适合图像处理模型的目标模型配置信息组合,作为模型配置信息分析结果。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,参照图10,具体可以包括如下模块:
子模型获得模块1002,用于对音频处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成。
音频配置表获得模块1004,用于获取音频处理模型对应的音频配置信息表。
配置组合获得模块1006,用于依据所述音频配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。
筛选结果获得模块1008,用于确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
迭代结果获得模块1010,用于将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果。
分析结果获得模块1012,用于依据音频处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
本申请实施例中,可以将音频处理模型划分为第一子模型和第二子模型,并获取与音频数据对应的音频配置信息表,音频配置信息表中存储有多种音频数据格式、多种用于应用处理单元的处理器。可以依据音频配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后确定配置信息组合对应的数据处理时长,并依据数据处理时长,减除大量与子模型不匹配的配置信息组合,以筛选出少量的目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。之后,可以将第一子模型和第二子模型分别作为待处理的模型进行切分和分析,直至确定音频处理模型中各处理单元的配置信息筛选结果。然后按照各处理单元的配置信息筛选结果,确定音频处理模型的模型配置信息组合,并筛选出适合音频处理模型的目标模型配置信息组合,作为模型配置信息分析结果。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,参照图11,具体可以包括如下模块:
子模型得到模块1102,用于对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成。
配置组合得到模块1104,用于确定第一子模型的第一配置信息和第二子模型的第二配置信息,确定配置信息组合。
筛选结果得到模块1106,用于确定各配置信息组合对应的数据处理时长,并筛选出目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
迭代结果获取模块1108,用于将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果。
分析结果获取模块1110,用于依据数据处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
本申请实施例中,可以对数据处理模型进行切分,得到子模型,然后可以按照子模型之间的数据处理的先后关系,确定子模型中的第一子模型和第二子模型,之后可以确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后获取配置信息组合对应的数据处理时长,其中,数据处理时长包括子模型按照对应的配置信息进行数据处理消耗的时长和子模型之间数据转换所消耗的时长。然后可以依据数据处理时长,确定适合数据处理模型的目标配置信息组合,作为配置信息筛选结果。之后,可以将第一子模型和第二子模型分别作为待处理的模型进行切分和分析,直至确定数据处理模型中各处理单元的配置信息筛选结果。然后按照各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息组合,并筛选出适合数据处理模型的目标模型配置信息组合,作为模型配置信息分析结果。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,参照图12,具体可以包括如下模块:
子模型采集模块1202,用于对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联。
配置信息组合采集模块1204,用于确定第一子模型的第一配置信息和第二子模型的第二配置信息,确定配置信息组合。
筛选结果采集模块1206,用于确定各配置信息组合对应的数据处理时长,并筛选出目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
优化结果采集模块1208,用于对第一子模型进行第一优化处理,对第二子模型进行第二优化处理。
本申请实施例中,第一优化处理与第二优化处理可以相同,也可以不同,具体来说,本申请实施例中子模型的优化处理可以采用与数据处理模型切分并进行配置分析的优化方式相同的方式进行优化处理,也可以采用对子模型的整体算子进行配置分析的方式进行优化处理,此处不做限制。本实施例可以对数据处理模型进行切分,得到子模型,然后可以按照子模型之间的数据处理的先后关系,确定子模型中的第一子模型和第二子模型,之后可以确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合。然后获取配置信息组合对应的数据处理时长,其中,数据处理时长包括子模型按照对应的配置信息进行数据处理消耗的时长和子模型之间数据转换所消耗的时长。然后可以依据数据处理时长,确定适合数据处理模型的目标配置信息组合,作为配置信息筛选结果。之后,可以将第一子模型和第二子模型采取相同或不同的优化处理方式,进行进一步的优化处理。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括服务器、终端设备等设备。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括服务器(集群)、终端等电子设备。图13示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1300。
对于一个实施例,图13示出了示例性装置1300,该装置具有一个或多个处理器1302、被耦合到(一个或多个)处理器1302中的至少一个的控制模块(芯片组)1304、被耦合到控制模块1304的存储器1306、被耦合到控制模块1304的非易失性存储器(NVM)/存储设备1308、被耦合到控制模块1304的一个或多个输入/输出设备1310,以及被耦合到控制模块1304的网络接口1312。
处理器1302可包括一个或多个单核或多核处理器,处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置1300能够作为本申请实施例中所述服务端、终端等设备。
在一些实施例中,装置1300可包括具有指令1314的一个或多个计算机可读介质(例如,存储器1306或NVM/存储设备1308)以及与该一个或多个计算机可读介质相合并被配置为执行指令1314以实现模块从而执行本公开中所述的动作的一个或多个处理器1302。
对于一个实施例,控制模块1304可包括任意适当的接口控制器,以向(一个或多个)处理器1302中的至少一个和/或与控制模块1304通信的任意适当的设备或组件提供任意适当的接口。
控制模块1304可包括存储器控制器模块,以向存储器1306提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1306可被用于例如为装置1300加载和存储数据和/或指令1314。对于一个实施例,存储器1306可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器1306可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,控制模块1304可包括一个或多个输入/输出控制器,以向NVM/存储设备1308及(一个或多个)输入/输出设备1310提供接口。
例如,NVM/存储设备1308可被用于存储数据和/或指令1314。NVM/存储设备1308可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1308可包括作为装置1300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,NVM/存储设备1308可通过网络经由(一个或多个)输入/输出设备1310进行访问。
(一个或多个)输入/输出设备1310可为装置1300提供接口以与任意其他适当的设备通信,输入/输出设备1310可以包括通信组件、音频组件、传感器组件等。网络接口1312可为装置1300提供接口以通过一个或多个网络通信,装置1300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,装置1300可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置1300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置1300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,检测装置中可采用主控芯片作为处理器或控制模块,传感器数据、位置信息等存储到存储器或NVM/存储设备中,传感器组可作为输入/输出设备,通信接口可包括网络接口。
本申请实施例还提供了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如本申请实施例中一个或多个所述的方法。
本申请实施例还提供了一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如本申请实施例中一个或多个所述的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (19)
1.一种数据处理方法,其特征在于,所述的方法包括:
对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联;
确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合;
确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
2.根据权利要求1所述的方法,其特征在于,所述第一子模型和第二子模型由处理单元组成,所述方法还包括:
将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定各处理单元的配置信息筛选结果;
依据数据处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
3.根据权利要求1所述的方法,其特征在于,所述确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合,包括以下步骤中的至少一种:
确定第一子模型的第一输出数据格式和第二子模型的第二输入数据格式,作为配置信息组合;
确定第一子模型的第一处理器和第二子模型的第二处理器,作为配置信息组合。
4.根据权利要求1所述的方法,其特征在于,所述对数据处理模型进行切分,确定第一子模型和第二子模型,包括:
对数据处理模型进行切分,得到切分后的子模型;
获取数据处理模型对应的拓扑排序信息,并对切分后的子模型进行划分,得到第一子模型和第二子模型,所述拓扑排序信息依据数据处理模型的结构确定。
5.根据权利要求1所述的方法,其特征在于,所述确定各配置信息组合对应的数据处理时长,包括:
确定第一子模型按照第一配置信息进行数据处理的第一时长;
确定第二子模型按照第二配置信息进行数据处理的第二时长;
依据第一配置信息和第二配置信息,确定第三时长;
依据所述第一时长、所述第二时长和所述第三时长,确定数据处理时长。
6.根据权利要求1所述的方法,其特征在于,所述筛选出至少一组目标配置信息组合,包括:
按照数据处理时长,将配置信息组合进行排序;
按照排序后的配置信息组合,筛选出至少一组符合预设筛选条件的目标配置信息组合。
7.根据权利要求6所述的方法,其特征在于,所述筛选出至少一组符合预设筛选条件的目标配置信息组合,包括:
按照预设筛选比例,筛选出至少一组目标配置信息组合。
8.根据权利要求6所述的方法,其特征在于,所述筛选出至少一组符合预设筛选条件的目标配置信息组合,包括:
确定排名符合排名条件的第一配置信息组合;
基于第一配置信息组合的数据处理时长,确定筛选阈值;
筛选出至少一组符合筛选阈值的目标配置信息组合。
9.根据权利要求2所述的方法,其特征在于,所述依据数据处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果,包括:
按照各处理单元的配置信息筛选结果,确定各处理单元对应的单元配置信息,以确定数据处理模型的模型配置信息组合;
确定各模型配置信息组合对应的模型处理时长,并筛选出目标模型配置信息组合,作为模型配置信息分析结果。
10.根据权利要求9所述的方法,其特征在于,所述确定各模型配置信息组合对应的模型处理时长,包括:
按照模型配置信息组合,对数据处理模型进行配置;
依据配置后的数据处理模型进行数据处理,确定模型处理时长。
11.根据权利要求9所述的方法,其特征在于,所述筛选出目标模型配置信息组合,包括:
按照各模型配置信息组合对应的模型处理时长,将模型配置信息组合进行排序;
依据排序后的模型配置信息组合,筛选出目标模型配置信息组合。
12.根据权利要求11所述的方法,其特征在于,所述依据排序后的模型配置信息组合,筛选出目标模型配置信息组合,包括:
依据排序后的模型配置信息组合,筛选出至少一组待确认的模型配置信息组合,并下发;
接收对待确认的模型配置信息组合的反馈信息,并确定目标模型配置信息组合。
13.一种数据处理方法,其特征在于,包括:
对图像处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成;
获取图像处理模型对应的图像配置信息表;
依据所述图像配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合;
确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果;
将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果;
依据图像处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
14.一种数据处理方法,其特征在于,包括:
对音频处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成;
获取音频处理模型对应的音频配置信息表;
依据所述音频配置信息表,确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合;
确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果;
将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果;
依据音频处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
15.一种数据处理方法,其特征在于,包括:
对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联,所述第一子模型和所述第二子模型由至少一个处理单元组成;
确定第一子模型的第一配置信息和第二子模型的第二配置信息,确定配置信息组合;
确定各配置信息组合对应的数据处理时长,并筛选出目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果;
将第一子模型和第二子模型作为待处理的模型进行切分并分析,直至确定每个处理单元的配置信息筛选结果;
依据数据处理模型中各处理单元的配置信息筛选结果,确定数据处理模型的模型配置信息分析结果。
16.一种数据处理方法,其特征在于,包括:
对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联;
确定第一子模型的第一配置信息和第二子模型的第二配置信息,确定配置信息组合;
确定各配置信息组合对应的数据处理时长,并筛选出目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果;
对第一子模型进行第一优化处理,对第二子模型进行第二优化处理。
17.一种数据处理装置,其特征在于,所述的装置包括:
子模型获取模块,用于对数据处理模型进行切分,确定第一子模型和第二子模型,所述第一子模型的输出数据与第二子模型的输入数据关联;
配置信息组合获取模块,用于确定第一子模型的第一配置信息和第二子模型的第二配置信息,作为配置信息组合;
筛选结果获取模块,用于确定各配置信息组合对应的数据处理时长,并筛选出至少一组目标配置信息组合,作为第一子模型和第二子模型的配置信息筛选结果。
18.一种电子设备,其特征在于,包括:处理器;和
存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如权利要求1-16中一个或多个所述的方法。
19.一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如权利要求1-16中一个或多个所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011453507.4A CN114626501A (zh) | 2020-12-11 | 2020-12-11 | 数据处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011453507.4A CN114626501A (zh) | 2020-12-11 | 2020-12-11 | 数据处理方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114626501A true CN114626501A (zh) | 2022-06-14 |
Family
ID=81894900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011453507.4A Pending CN114626501A (zh) | 2020-12-11 | 2020-12-11 | 数据处理方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114626501A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115494989A (zh) * | 2022-11-17 | 2022-12-20 | 帆软软件有限公司帆软南京分公司 | 分析节点生成方法、装置、电子设备和存储介质 |
-
2020
- 2020-12-11 CN CN202011453507.4A patent/CN114626501A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115494989A (zh) * | 2022-11-17 | 2022-12-20 | 帆软软件有限公司帆软南京分公司 | 分析节点生成方法、装置、电子设备和存储介质 |
CN115494989B (zh) * | 2022-11-17 | 2023-03-21 | 帆软软件有限公司帆软南京分公司 | 分析节点生成方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11281945B1 (en) | Multimodal dimensional emotion recognition method | |
CN109697434B (zh) | 一种行为识别方法、装置和存储介质 | |
CN107590224B (zh) | 基于大数据的用户偏好分析方法与装置 | |
CN110598620B (zh) | 基于深度神经网络模型的推荐方法和装置 | |
CN111968150B (zh) | 一种基于全卷积神经网络的弱监督视频目标分割方法 | |
CN109508584A (zh) | 视频分类的方法、信息处理的方法以及服务器 | |
US20190122381A1 (en) | Apparatus and methods of automated tracking and counting of objects on a resource-constrained device | |
CN112598110B (zh) | 神经网络构建方法、装置、设备及介质 | |
CN109934077B (zh) | 一种图像识别方法和电子设备 | |
CN113241064B (zh) | 语音识别、模型训练方法、装置、电子设备和存储介质 | |
CN111783873A (zh) | 基于增量朴素贝叶斯模型的用户画像方法及装置 | |
CN111739537B (zh) | 语义识别方法、装置、存储介质及处理器 | |
CN113705598A (zh) | 数据分类方法、装置及电子设备 | |
WO2021000411A1 (zh) | 基于神经网络的文档分类方法、装置、设备及存储介质 | |
CN114580517A (zh) | 一种图像识别模型的确定方法及装置 | |
CN114626501A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN114640669A (zh) | 边缘计算方法及装置 | |
CN106897282A (zh) | 一种用户群的分类方法和设备 | |
CN115438658A (zh) | 一种实体识别方法、识别模型的训练方法和相关装置 | |
CN115063858A (zh) | 视频人脸表情识别模型训练方法、装置、设备及存储介质 | |
KR20230075678A (ko) | 객체 인식을 기반으로 하는 가격 변동 예측 방법 및 장치 | |
WO2021147084A1 (en) | Systems and methods for emotion recognition in user-generated video(ugv) | |
CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN118260054B (zh) | 获取方法、训练方法、任务处理方法及相关装置 | |
CN115472152B (zh) | 语音端点检测方法、装置、计算机设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |