CN114492769B - 数据处理方法、相关设备及系统 - Google Patents
数据处理方法、相关设备及系统 Download PDFInfo
- Publication number
- CN114492769B CN114492769B CN202210370811.5A CN202210370811A CN114492769B CN 114492769 B CN114492769 B CN 114492769B CN 202210370811 A CN202210370811 A CN 202210370811A CN 114492769 B CN114492769 B CN 114492769B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- unit
- data
- edge processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
本申请提供一种数据处理方法、相关设备及系统,方法应用于边缘处理芯片,边缘处理芯片中的硬件可配置多种卷积神经网络单元,卷积神经网络单元用于执行与之匹配的卷积神经网络模型;方法包括:在卷积神经网络单元中,对卷积神经网络模型进行训练,对训练好的卷积神经网络模型进行测试,得到测试结果;在边缘处理芯片中,基于每种卷积神经网络单元对应的测试结果,配置目标卷积神经网络单元,以通过目标卷积神经网络单元执行待处理任务。本申请可以选出相对于边缘处理芯片的资源而言,表现更优的卷积神经网络单元,从而在有限的资源条件下,达到更好的处理效果。
Description
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种数据处理方法、相关设备及系统。
背景技术
目前,传统的基于云计算的能源互联网CPS(Cyber Physical System,信息物理系统)架构,是由各终端侧的数据采集设备,通过GPRS(General Packet Radio Service,通用分组无线服务技术)等无线通信方式,将采集到的各终端侧的数据上报至云平台中进行统一的处理。
在该方案中,由于所有的终端侧数据都需要上报至云平台,使得方案对于通信带宽的要求非常高。此外,在该方案中,由于所有的数据都是在云平台中进行统一的处理,这也导致了云平台的数据处理负荷很重,且难以对数据进行实时处理。
为缓解上述问题,业内目前提出了一种将边缘处理技术结合至能源互联网中的方案。该方案中,数据采集设备将采集到的终端侧的数据上报至各边缘处理设备中进行处理,并直接由边缘处理设备反馈处理结果,从而提高业务处理的实时性,并降低云平台的数据处理负荷。同时,由边缘处理设备将处理结果上报至云平台,从而降低云平台所需接收的数据量,降低对于通信带宽的要求。
但是,在上述方案中,数据处理的实时性由边缘处理设备决定。而受限于边缘处理设备的处理资源,在部分应用场景中,边缘处理设备的处理性能仍旧不足。
发明内容
本申请实施例的目的在于提供一种数据处理方法、相关设备及系统,用以解决上述问题。
本申请实施例提供了一种数据处理方法,所述数据处理方法应用于边缘处理芯片,所述边缘处理芯片中可配置多种类型的卷积神经网络单元;每种类型的卷积神经网络单元包括至少一种类型的卷积单元、池化单元和激活函数单元,所述卷积神经网络单元用于执行与之匹配的卷积神经网络模型;所述方法包括:获取待处理任务的训练数据和测试数据;在第一类型卷积神经网络单元中,利用所述训练数据对第一类型卷积神经网络模型进行训练,并通过所述测试数据对训练好的所述第一类型卷积神经网络模型进行测试,得到所述第一类型卷积神经网络模型对应的第一测试结果;其中,所述第一类型卷积神经网络模型为与所述第一类型卷积神经网络单元匹配的模型;所述第一类型卷积神经网络单元为所述多种类型的卷积神经网络单元中的任意一种类型;在所述边缘处理芯片中,基于每种类型的卷积神经网络单元各自对应的测试结果,配置目标卷积神经网络单元,以通过所述目标卷积神经网络单元执行所述待处理任务。
在上述实现过程中,一方面通过边缘处理芯片中的卷积单元、池化单元和激活函数单元这些硬件单元实现卷积神经网络模型,从而在进行待处理任务的处理时,直接利用硬件单元进行计算,计算能力更强,处理效果更好,从而提高数据处理的实时性,提高任务处理性能。另一方面,通过对边缘处理芯片中可配置的各种类型的卷积神经网络模型进行训练并进行测试,从而基于各卷积神经网络单元各自对应的测试结果,选出目标卷积神经网络单元,并将在边缘处理芯片中配置该目标卷积神经网络单元,这样就可以选出相对于该边缘处理芯片的资源而言,表现较优的卷积神经网络单元,从而可以在有限的资源条件下,达到更好的处理效果,从而进一步提高数据处理的实时性,提高边缘处理芯片的任务处理性能。
进一步地,在所述边缘处理芯片中,基于每种类型的卷积神经网络单元各自对应的测试结果,配置目标卷积神经网络单元,包括:根据每种类型的卷积神经网络单元各自对应的测试结果,确定出测试结果最优的目标卷积神经网络单元;在所述边缘处理芯片中,配置所述目标卷积神经网络单元。
在上述实现过程中,通过将测试结果最优的卷积神经网络单元作为目标卷积神经网络单元在边缘处理芯片中进行配置,这就使得边缘处理芯片可以在有限的资源条件下,达到最优的处理效果,从而提高数据处理的实时性,提高边缘处理芯片的任务处理性能。
进一步地,在利用所述训练数据对第一类型卷积神经网络模型进行训练,并通过所述测试数据对训练好的所述第一类型卷积神经网络模型进行测试之前,所述方法还包括:确定所述边缘处理芯片所支持的所有卷积神经网络模型;基于各所述卷积神经网络模型,配置分别与各所述卷积神经网络模型相匹配的卷积神经网络单元。
在上述实现过程中,通过先确定边缘处理芯片所支持的所有卷积神经网络模型,进而基于各卷积神经网络模型,配置分别与各卷积神经网络模型相匹配的卷积神经网络单元,这就使得可以对边缘处理芯片所支持的所有卷积神经网络模型都进行测试,从而保证可以选择与边缘处理芯片的资源适配的目标卷积神经网络单元。
进一步地,确定所述边缘处理芯片所支持的所有卷积神经网络模型,包括:依次减少原始模型中采用的卷积核数量,得到每一次减少卷积核数量后的卷积神经网络模型,直至无法再进行卷积核数量的减少为止;和/或,依次将所述原始模型中的卷积核的大小缩小,得到每一次缩小卷积核的大小后的卷积神经网络模型,直至无法再进行卷积核大小的缩小为止;其中,所述原始模型为所述边缘处理芯片的计算能力所能承载的规模最大的卷积神经网络模型。
在上述实现过程中,预先给定一个边缘处理芯片的计算能力所能承载的规模最大的卷积神经网络模型作为原始模型,通过在该原始模型的基础上不断做卷积核数量和/或卷积核的大小的缩减,从而可以穷尽边缘处理芯片所支持的所有卷积神经网络模型,保证可以选择与边缘处理芯片的资源适配的目标卷积神经网络单元。
进一步地,确定所述边缘处理芯片所支持的所有卷积神经网络模型,包括:依次增加原始模型中采用的卷积核数量,得到每一次增加卷积核数量后的卷积神经网络模型,直至最新的卷积神经网络模型中卷积核数量达到所述边缘处理芯片所支持的最大卷积核数量为止;和/或,依次将所述原始模型中的卷积核的大小增大,得到每一次增大卷积核的大小后的卷积神经网络模型,直至最新的卷积神经网络模型中所有卷积核均达到所述边缘处理芯片所支持的最大卷积核大小为止;其中,所述原始模型为所述边缘处理芯片的计算能力所能支持的规模最小的卷积神经网络模型。
在上述实现过程中,预先给定一个边缘处理芯片的计算能力所能支持的规模最小的卷积神经网络模型作为原始模型,通过在该原始模型的基础上不断做卷积核数量和/或卷积核的大小的增加,从而可以穷尽边缘处理芯片所支持的所有卷积神经网络模型,保证可以选择与边缘处理芯片的资源适配的目标卷积神经网络单元。
进一步地,所述边缘处理芯片中还具有信号连接单元;所述信号连接单元分别与各所述卷积单元、所述池化单元和所述激活函数单元连接,用于按照预设的信号输入输出关系,将所述至少一种类型的卷积单元、所述池化单元和所述激活函数单元配置为卷积神经网络单元。
在上述实现过程中,只需通过对信号连接单元内的信号输入输出关系进行配置,即可很容易的实现对于不同卷积神经网络单元的配置,无需进行电路结构的改动,利于本申请的方案在工业中应用与推广。
进一步地,所述边缘处理芯片中还设置有权重缓存单元,所述权重缓存单元与所述目标卷积神经网络单元相连;所述权重缓存单元用于存储所述目标卷积神经网络单元执行所述待处理任务时所需调用的运算参数。
在上述实现过程中,通过权重缓存单元来存储目标卷积神经网络单元执行所述待处理任务时所需调用的运算参数,从而可以利用缓存所具有的数据读取速度快的特点,提高边缘处理芯片的数据处理效率,提高数据处理的实时性。
本申请实施例还提供了一种边缘处理芯片,所述边缘处理芯片中包括多种类型的卷积单元、池化单元和激活函数单元,且所述边缘处理芯片中可配置多种类型的卷积神经网络单元;每种类型的卷积神经网络单元包括至少一种类型的所述卷积单元、所述池化单元和所述激活函数单元,所述卷积神经网络单元用于执行与之匹配的卷积神经网络模型;所述边缘处理芯片用于执行以上任一种的数据处理方法。
在上述实现过程中,边缘处理芯片通过硬件单元实现对于卷积神经网络模型的执行,这样在进行待处理任务的处理时,直接利用硬件单元进行计算,计算能力更强,处理效果更好,从而提高数据处理的实时性,提高任务处理性能。
本申请实施例还提供了一种数据处理方法,应用于前述边缘处理芯片,包括:接收终端数据;通过所述目标卷积神经网络单元,对所述终端数据中与所述待处理任务相关的目标数据进行处理,得到处理结果。
在上述实现过程中,边缘处理芯片在接收到终端数据后,即可通过由各硬件单元配置而成的目标卷积神经网络单元对终端数据中与待处理任务相关的目标数据进行处理,得到处理结果。这样,处理过程中是利用硬件单元进行的计算,计算能力更强,处理效果更好,从而提高了数据处理的实时性,提高了任务处理性能。
本申请实施例还提供了一种边缘处理设备,包括前述的边缘处理芯片。
本申请实施例还提供了一种能源互联网系统,包括:数据采集设备,用于采集终端数据;前述的边缘处理设备,与所述数据采集设备通信连接,用于根据所述数据采集设备采集到的终端数据进行处理;云平台,与所述边缘处理设备通信连接,用于接收所述边缘处理设备上报的数据。
在上述能源互联网系统中,大量的任务可以由边缘处理设备进行处理,从而相比于所有业务都由云平台来统一进行处理的方案而言,不但可以降低云平台的处理负荷,还可以提高业务处理实时性。同时,由于大量数据由边缘处理设备来进行了处理,因此许多数据就可以不再上报给云平台,从而也可以降低云平台所需接收的数据量,从而降低能源互联网系统中对于通信带宽的要求。
此外,由于本申请实施例中,边缘处理设备是通过边缘处理芯片中各硬件单元构成的目标卷积神经网络单元进行数据处理,处理过程中是利用硬件单元进行的计算,因此,边缘处理设备在进行数据处理时,相比于传统的通过计算机程序实现神经网络模型计算的方案,计算能力更强,处理效果更好,从而提高了数据处理的实时性,提高了任务处理性能。
进一步地,所述能源互联网系统还包括:SDN(Software Defined Network,软件定义网络)网络系统;所述SDN网络系统连接于所述边缘处理设备和所述云平台之间,用于对所述边缘处理设备和所述云平台之间的数据传输进行负载均衡。
在上述能源互联网系统中,通过在边缘处理设备在与云平台之间配置SDN网络来进行负载均衡,从而可以提高边缘处理设备在与云平台之间的数据交互的合理性,降低出现网络堵塞、数据丢失等问题的风险。
进一步地,所述边缘处理设备上报的数据包括:所述边缘处理设备进行处理后得到的处理结果;所述终端数据中所具有的用户信息、设备信息。
在上述能源互联网系统中,边缘处理设备通过将进行处理后得到的处理结果,终端数据中所具有的用户信息、设备信息上报给云平台,从而可以使得云平台可以基于这些数据进行统一的数据管理与分析。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种能源互联网系统的基本结构示意图;
图2为本申请实施例提供的一种数据处理方法的流程示意图;
图3为本申请实施例提供的一种边缘处理芯片的基本结构示意图;
图4为本申请实施例提供的一种示例性的边缘处理芯片结构示意图;
图5为本申请实施例提供的一种具体的边缘处理芯片的结构示意图;
图6为本申请实施例提供的一种更具体的边缘处理芯片的结构示意图;
图7为本申请实施例提供的另一种数据处理方法的流程示意图;
图8为本申请实施例提供的一种具体的能源互联网系统的结构示意图;
图9为本申请实施例提供的一种能源互联网系统的架构示意图;
图10为本申请实施例提供的一种边缘处理设备的结构示意图;
图11为本申请实施例提供的一种车牌识别场景的示意图;
图12示出了根据本公开实施例的非暂时性计算机可读存储介质的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
实施例一:
能源互联网系统是以电力系统为核心和纽带,基于“智能电网+特高压电网+清洁能源”实现能源与信息高度融合的新型能源体系。
在能源互联网系统中,配电用数据主要通过GPRS等无线方式上传到主站(即云平台)后集中处理。但随着配用电用户数量的大幅增加和用户类型的多样化,从终端实时传输数据到主站进行统一处理这一方式,一方面会增加通信带宽,另一方面会增加主站的数据处理负荷,且无法对数据进行实时处理。为解决上述问题,本申请实施例中提供了一种结合边缘处理设备来进行数据处理的能源互联网系统,并且对边缘处理设备进行了设计,以更充分地利用边缘处理设备的处理资源,充分发挥出边缘处理设备的处理性能。下面针对本申请实施例的方案进行说明。
请参见图1所示,图1为本申请实施例中提供的能源互联网系统的基本结构示意图,包括数据采集设备、边缘处理设备和云平台。其中:
数据采集设备用于采集终端数据。应理解,本申请实施例中所述的终端数据是指负载终端所产生的数据。在能源互联网中,负载终端可以是配电TTU(distributionTransformer supervisory Terminal Unit,配电变压器监测终端)、变压器、集中器、EPU(Edge Processing Unit,终端处理单元)等设备。数据采集设备可以是设置于负载终端上的传感器等设备,也可以是负载终端本身(即负载终端自身产生数据并上报),此处不过多限定。
在本申请实施例中,边缘处理设备与数据采集设备通信连接,用于根据数据采集设备采集到的终端数据进行处理。
在本申请实施例中,云平台与边缘处理设备通信连接,用于接收边缘处理设备上报的数据。
应理解,在本申请实施例中,边缘处理设备可以通过已有的终端设备来实现,例如边缘处理设备可以是EPU。
在本申请实施例中,边缘处理设备用于根据数据采集设备采集到的终端数据进行处理。
考虑到边缘处理设备一般是通过其内的处理器执行相应的计算机程序来实现对于数据的处理的。但是,通常边缘处理设备的处理资源是远逊于服务器等数据处理设备的,而受限于边缘处理设备的处理资源,在部分应用场景中,边缘处理设备在通过其内的处理器执行相应的计算机程序来实现对于数据的处理时,处理性能仍旧不足。
为此,在本申请实施例中,还提供了一种边缘处理芯片,该芯片上布设有至少一个池化单元、至少一个激活函数单元以及至少一种类型的卷积单元。
需要说明的是,本申请实施例中所述的池化单元、激活函数单元、卷积单元是布设在边缘处理芯片的电路板上的硬件单元,是硬件电路。其中,池化单元是一种可以实现池化操作的电路,激活函数单元是一种可以实现激活函数功能的电路,而卷积单元则是可以实现卷积操作的电路。
在本申请实施例中,池化单元、激活函数单元、卷积单元的具体电路结构都可以通过寄存器电路实现。对于不同的池化单元、不同的激活函数单元、不同的卷积单元,其内的寄存器所需的数量以及连接关系,会根据该硬件单元所需实现的池化操作、所需实现的激活函数、所需实现的具体卷积核进行设置。
在本申请实施例中,基于边缘处理芯片上所具有的卷积单元、池化单元和激活函数单元,边缘处理芯片中可配置多种类型的卷积神经网络单元。每种类型的卷积神经网络单元包括至少一种类型的卷积单元、池化单元和激活函数单元,且卷积神经网络单元用于执行与之匹配的卷积神经网络模型。
应理解,卷积神经网络是一种带有卷积结构的深度神经网络,是一种深度学习架构,深度学习架构是指通过机器学习的算法,在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构,卷积神经网络是一种前馈人工神经网络,该前馈人工神经网络中的各个神经元对输入其中的图像中的重叠区域作出响应。
卷积神经网络中可以包括卷积层、池化层和激活函数。
卷积层可以包括很多个卷积算子(也称为卷积核),其在数据处理中的作用相当于一个从输入矩阵中提取特定信息的过滤器,卷积算子本质上可以是一个权重矩阵,这个权重矩阵中的权重值在实际应用中需要经过大量的训练得到,通过训练得到的权重值形成的各个权重矩阵可以从输入的数据中提取信息,从而帮助卷积神经网络进行正确的处理。
在本申请实施例中,每一个卷积单元可以实现一个卷积核的工作,从而通过在边缘处理芯片上布设不同卷积核对应的卷积单元,可以使得边缘处理芯片按需使用相应卷积核对应的卷积单元形成卷积层,从而构建出可以执行卷积神经网络的卷积神经网络单元。
由于常常需要减少训练参数的数量,因此卷积层之后常常需要周期性的引入池化层。在实际应用中,神经网络模型中可以是一层卷积层后面跟一层池化层,也可以是多层卷积层后面接一层或多层池化层。这样,通过池化层可以减少数据的空间大小。
池化层可以包括平均池化算子和/或最大池化算子,以用于对输入的特征图进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对特征图的像素值进行计算产生平均值。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外,就像卷积层中用权重矩阵的大小应该与图像大小相关一样,池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的特征图尺寸可以小于输入池化层的特征图的尺寸,池化层输出的特征图中每个像素点表示输入池化层的特征图的对应子区域的平均值或最大值。
在本申请实施例中,在边缘处理芯片上可以布设实现用于实现平均池化算子的平均池化单元,和/或布设用于实现最大池化算子的最大池化单元,从而可以使得边缘处理芯片按需使用相应池化单元形成池化层,构建出可以执行卷积神经网络的卷积神经网络单元。
激活函数负责将神经元的输入映射到输出端,可以增加神经网络模型的非线性。常见的激活函数有Sigmoid函数、Tanh函数、ReLU函数等。在本申请实施例中,可以在边缘处理芯片上针对各种激活函数,分别布设相应的实现电路(即激活函数单元),从而可以使得边缘处理芯片按需使用相应的激活函数单元来与其他的卷积单元或池化单元连接,构建出可以执行卷积神经网络的卷积神经网络单元。
这样,通过边缘处理芯片通过硬件单元执行卷积神经网络模型,从而相对于通过处理器执行相应的卷积神经网络模型程序来实现对于数据的处理的方案,可以直接基于硬件资源实现数据处理,从而使得数据的处理效率更高。
而考虑到在实际应用中,边缘处理芯片中所具有的硬件单元理论上可以支持很多类型的卷积神经网络模型,而不同类型的卷积神经网络模型对于所需处理的任务的适配性不同。为此,在本申请实施例中,可以通过对边缘处理芯片配置不同类型的卷积神经网络模型单元,并进行训练与测试,从中选取出表现较优的卷积神经网络单元,从而可以在有限的资源条件下,达到更好的处理效果。
示例性的,参见图2所示,图2示出了本申请实施例中提供的一种应用于边缘处理芯片的数据处理方法,包括:
S201:获取待处理任务的训练数据和测试数据。
应理解,在本申请实施例中,训练数据和测试数据可以由工程师预先收集到设定的存储设备中进行存储,以供各边缘处理设备获取。示例性的,工程师可以从之前已执行过同类任务中获取相关数据,并将其中的一部分作为训练数据,另一部分作为测试数据。
S202:在第一类型卷积神经网络单元中,利用训练数据对第一类型卷积神经网络模型进行训练,并通过测试数据对训练好的第一类型卷积神经网络模型进行测试,得到第一类型卷积神经网络模型对应的第一测试结果。
需要说明的是,第一类型卷积神经网络模型为与第一类型卷积神经网络单元匹配的模型。而第一类型卷积神经网络单元为多种类型的卷积神经网络单元中的任意一种类型。在本申请实施例中,针对边缘处理芯片可配置的每一类型的卷积神经网络模型单元,都执行上述步骤S202,从而得到每一类型的卷积神经网络模型对应的测试结果。而由于卷积神经网络模型与卷积神经网络单元具有一一对应关系,因此每一类型的卷积神经网络模型对应的测试结果,也为各卷积神经网络模型对应的卷积神经网络单元的测试结果。
S203:在边缘处理芯片中,基于每种类型的卷积神经网络单元各自对应的测试结果,配置目标卷积神经网络单元,以通过目标卷积神经网络单元执行待处理任务。
示例性的,可以根据每种类型的卷积神经网络单元各自对应的测试结果,确定出测试结果最优的目标卷积神经网络单元,进而在边缘处理芯片中,配置该目标卷积神经网络单元。
还需要说明的是,本申请实施例中步骤S202中针对每一类型的神经网络模型都进行训练并测试的目的在于,确定出在边缘处理芯片的现有资源下,与待处理任务之间的适配性良好的目标卷积神经网络单元。为此,在本申请实施例的一种可选实施方式中,可以对每一类型的神经网络模型都仅进行预设次数的训练,使得训练后的模型都处于相同的训练水平,然后就进行测试,从而无需将每一类型的神经网络模型都训练至收敛,以这种方式,可以节约训练时长,提高了确定出目标卷积神经网络单元的效率。此可选实施方式中,在配置好目标卷积神经网络单元后,可以重新对目标卷积神经网络单元所对应的卷积神经网络模型进行训练,直至训练中的损失收敛,得到最终的卷积神经网络模型的权重值进行保存。
当前,在本申请实施例的另一种可选实施方式中,也可以对每一类型的神经网络模型都训练至收敛,然后再进行测试。此时,在配置好目标卷积神经网络单元后,可以直接将训练得到的权重值进行保存,而无需再重新进行训练。
在本申请实施例中,为了便于配置出不同类型的卷积神经网络单元,边缘处理芯片中的各硬件单元(即各卷积单元、池化单元和激活函数单元)可以通过信号连接单元实现连接,例如参见图3所示。
其中,信号连接单元可以通过一个或多个多路信号连接器实现。
这样,在配置卷积神经网络单元时,只需配置信号连接单元中的信号输入输出关系(即哪些硬件单元的信号需要输出,且每一个需要输出信号的硬件单元,其输出的信号需要输入至哪一个硬件单元),从而通过信号连接单元进行信号传输控制,即可实现不同的卷积神经网络单元。
示例性的,针对图4所示的结构,假设一个卷积神经网络模型的结构是一个5*5卷积核连接一个5*5卷积核,再连接一个1*1卷积核,再连接ReLU函数,再连接最大池化层。则只需配置图4中的信号连接单元,使得一个5*5卷积单元的输出与另一个5*5卷积单元的输入相连,并使另一个5*5卷积单元的输出与1*1卷积单元的输入相连,并使1*1卷积单元的输出与ReLU函数单元的输入相连,并使ReLU函数单元的输出与最大池化单元的输入相连。这样,即配置好了该卷积神经网络模型对应的卷积神经网络单元。
假设该卷积神经网络模型测试结束后,需要测试的另一个卷积神经网络模型结构为:一个5*5卷积核连接一个3*3卷积核,再连接一个1*1卷积核,再连接ReLU函数,再连接平均池化层。那么,只需将图4中的信号连接单元重新配置为:一个5*5卷积单元的输出与一个3*3卷积单元的输入相连,并使3*3卷积单元的输出与1*1卷积单元的输入相连,并使1*1卷积单元的输出与ReLU函数单元的输入相连,并使ReLU函数单元的输出与平均池化单元的输入相连。这样,即配置好了该另一个卷积神经网络模型对应的卷积神经网络单元。
类似的,在训练与测试过程中,通过上述方式即可不断的配置出边缘处理芯片所支持的各类型的卷积神经网络单元。而在选择出目标卷积神经网络单元后,也可以通过上述方式,实现对于目标卷积神经网络单元的配置。
在本申请实施例中,为了保证选出的目标卷积神经网络单元的准确性,可以确定边缘处理芯片所支持的所有卷积神经网络模型,进而基于各卷积神经网络模型,配置分别与各卷积神经网络模型相匹配的卷积神经网络单元进行训练与测试。
应理解,对于一个边缘处理芯片而言,其在出厂时,其上所具有的硬件单元的种类以及每种硬件单元的数量都是确定的。因此,在所采用的边缘处理芯片确定时,其所具有的硬件单元的具体情况也是确定的。
基于此,在本申请实施例的一种可选实施方式中,工程师可以预先针对每一种边缘处理芯片配置好其所支持的所有卷积神经网络模型。然后在执行本申请实施例所提供的数据处理方法时,根据边缘处理芯片的标识(例如边缘处理芯片的类型编码)查找出其所支持的所有卷积神经网络模型。
而在本申请实施例的另一种可选实施方式中,工程师也可以预先针对每一种边缘处理芯片配置好其所支持的一个原始模型,然后通过对该原始模型中的卷积核数量以及大小等进行改动,以得到边缘处理芯片所支持的所有卷积神经网络模型,从而降低人力成本。
示例性的,原始模型可以为边缘处理芯片的计算能力所能承载的规模最大的卷积神经网络模型。
此时,可以依次减少原始模型中采用的卷积核数量,得到每一次减少卷积核数量后的卷积神经网络模型,直至无法再进行卷积核数量的减少为止。
例如,假设原始模型为:一个5*5卷积核连接一个3*3卷积核,再连接一个1*1卷积核,再连接ReLU函数,再连接平均池化层。则,可以去除掉其中的一个5*5卷积核,得到一个新的卷积神经网络模型。可以去除掉其中的一个3*3卷积核,得到一个新的卷积神经网络模型。可以去除掉其中的一个1*1卷积核,得到一个新的卷积神经网络模型。可以去除掉其中的5*5卷积核和3*3卷积核,得到一个新的卷积神经网络模型。可以去除掉其中的5*5卷积核和1*1卷积核,得到一个新的卷积神经网络模型,得到一个新的卷积神经网络模型。可以去除掉其中的3*3卷积核和1*1卷积核,得到一个新的卷积神经网络模型,得到一个新的卷积神经网络模型。
或者,可以依次将原始模型中的卷积核的大小缩小,得到每一次缩小卷积核的大小后的卷积神经网络模型,直至无法再进行卷积核大小的缩小为止。
例如,假设原始模型为:一个5*5卷积核连接一个1*1卷积核,再连接ReLU函数,再连接平均池化层。则,可以将5*5卷积核缩小为3*3卷积核,得到最新的卷积神经网络模型。然后,将3*3卷积核缩小为1*1卷积核,得到最新的卷积神经网络模型。
应理解,以上两种方式还可同时被采用,从而得到更为丰富的卷积神经网络模型。
示例性的,原始模型也可以为边缘处理芯片的计算能力所能支持的规模最小的卷积神经网络模型。
此时,可以依次增加原始模型中采用的卷积核数量,得到每一次增加卷积核数量后的卷积神经网络模型,直至最新的卷积神经网络模型中卷积核数量达到边缘处理芯片所支持的最大卷积核数量为止。
或者,也可以依次将原始模型中的卷积核的大小增大,得到每一次增大卷积核的大小后的卷积神经网络模型,直至最新的卷积神经网络模型中所有卷积核均达到边缘处理芯片所支持的最大卷积核大小为止。
以上方式本质是前述原始模型为边缘处理芯片的计算能力所能承载的规模最大的卷积神经网络模型时的逆过程,故而在此不再赘述。
还应理解,原始模型也为边缘处理芯片的计算能力所能支持的规模最小的卷积神经网络模型时,上述两种方式同样可同时被采用,从而得到更为丰富的卷积神经网络模型。
值得注意的是,在实际应用过程中,为了最大化利用边缘处理芯片的计算资源,在一个边缘处理设备的边缘处理芯片中,可以仅配置一种类型的卷积神经网络单元,从而仅处理该卷积神经网络单元所对应的任务。这样,对于不同的任务,则可以由不同的边缘处理设备来执行,从而在实现了边缘处理设备处理能力最大化以外,也便于能源互联网系统中进行任务的执行管理。
应理解,在本申请实施例中,可参见图5所示,在边缘处理芯片中还可以包括权重缓存单元。权重缓存单元用于存储目标卷积神经网络单元执行待处理任务时所需调用的运算参数(例如训练好的权重值等)。权重缓存单元与信号连接单元连接,从而在配置好目标卷积神经网络单元后,可以与构成目标卷积神经网络单元的各硬件单元相连,从而便于目标卷积神经网络单元执行待处理任务时调用所需的运算参数。
应理解,参见图6所示,边缘处理芯片中还可以包括数据缓存单元。数据缓存单元用于缓存目标卷积神经网络单元执行待处理任务时所产生的中间数据。类似的,数据缓存单元与信号连接单元连接,从而在配置好目标卷积神经网络单元后,可以与构成目标卷积神经网络单元的各硬件单元相连,从而便于目标卷积神经网络单元执行待处理任务时调用以及缓存所产生的中间数据。
在本申请实施例中,权重缓存单元和数据缓存单元可以通过边缘处理芯片上的缓存器中不同的存储空间来实现。
在实际应用过程中,边缘处理设备在边缘处理芯片以外,还可以具有片外存储器。片外存储器可以用于备份目标卷积神经网络单元执行待处理任务时所需调用的运算参数,存储训练数据以及测试数据,存储数据采集设备上报的终端数据(待处理任务的数据属于终端数据的一部分)等。在实际实现时,可以针对不同的功能,划分不同的数据存储空间。
还应理解,对于某些卷积神经网络模型,其内若存在某些层的输出需要与所有层的输入都向连接的情况(即某些层所处理得到的中间数据被所有层通用),则针对这些层在卷积神经网络单元中所对应的硬件单元,其所输出的中间数据可以不经过数据缓存单元或者边缘处理芯片以外的片外存储器进行存储,而是直接输出给目标卷积神经网络单元的各硬件单元,从而实现不同层之间的直接数据传输。
还应理解,在实际应用过程中,边缘处理设备可能会连续接到大量需进行处理的数据。为了节约处理时间,提高处理效率,一般各硬件单元在处理完当前任务的数据后,就即可以继续处理下一任务的数据。而在部分硬件单元中,其内处理的数据可能存在与其他硬件单元之间没有数据依赖性(即硬件单元处理数据时,无需依赖其他硬件单元的输出)的情况,那么对于这些硬件单元,则可以通过数据处理流水的方式进行数据处理(即硬件单元中各寄存器对于不同数据进行流水化处理,从而使得硬件单元中不同寄存器在同一时刻,可以针对不同任务的数据进行处理,使得硬件单元中可以同时处理多个任务的数据,而无需等待一个任务的数据处理完毕之后,再才开始处理下一任务的数据),提高了数据处理效率。
在本申请实施例中,参见图7所示,在配置好目标卷积神经网络单元后,边缘处理芯片即可按照以下方式进行任务处理:
S701:接收终端数据。
S702:通过目标卷积神经网络单元,对终端数据中与待处理任务相关的目标数据进行处理,得到处理结果。
应理解,终端数据可以是由数据采集设备采集后上报得到。
在本申请实施例中,参见图8所示,能源互联网系统还可以包括SDN网络系统。SDN网络系统连接于边缘处理设备和云平台之间,用于对边缘处理设备和云平台之间的数据传输进行负载均衡。
可选的,SDN网络系统可以包括基础网络设施层、SDN控制层和SDN应用层。基础网络设施层主要包含遵从OpenFlow协议的交换机和路由器,用于实现边缘处理设备和云平台之间的通信连接。SDN控制层与基础网络设施层之间通过南向接口连接,用于收集和管理配用电物理设备的信息状态和网络链路信息,管理区域内网络拓扑结构,处理区域内路由请求和更新网络流表等。SDN应用层与SDN控制层之间通过接口连接,用于实现网络控制逻辑和策略的管理与控制,包括电力业务虚拟化、电力监控,以及电力负载均衡等。其中,SDN控制层与SDN应用层可以通过SDN控制器来实现。示例性的,可以通过在SDN控制器中配置相应的负载均衡策略,通过SDN控制器对整个SDN网络系统进行控制,从而实现负载均衡。
在本申请实施例中,边缘处理设备上报的数据可以包括:边缘处理设备进行处理后得到的处理结果,终端数据中所具有的用户信息、设备信息等。
云平台在收到这些信息之后,即可进行信息的管理与分析,从而便于进行后续进行处理。
在本申请实施例中,云平台可以采用分布式存储技术进行数据存储。且云平台除了可以与能源互联网系统中的设备(如数据采集设备、边缘处理设备)连接外,还可以接入外部的其他系统,例如电力部门的管理系统。
云平台可以采用统一的表征接口与数据规范来进行内外部数据的对接,确保云平台内保存的数据格式的统一。
可选的,云平台内可以配置分布式文件系统、分布式数据仓库、分布式缓存系统。
分布式文件系统用于对文件进行分布式存储。分布式数据仓库用于对数据库数据进行分布式存储。而分布式缓存系统则用于对常用数据(包括文件和数据库数据)以及最近访问的数据进行分布式缓存,从而提高数据的访问效率。
此外,云平台还可以提供统一的资源管理与调度接口,从而使得上层设备或用户可以通过该接口实现对于云平台内的资源的访问、修改、删除、计算、统计等操作,实现对于能源互联网系统中的数据采集设备、边缘处理设备等设备的权限修改、开关控制等操作。
为便于理解本申请实施例的方案,下面以一个具体的能源互联网系统的实现架构为例,对本申请实施例的方案进行示例说明。
参见图9所示,能源互联网系统可以分为云平台、SDN网络系统、边缘处理层和数据感知层共4个层级。
其中,数据感知层主要是用于进行终端数据的采集与对不合格数据的筛选。
具体而言,数据感知层中包含有负载终端,包括配电TTU、变压器、集中器、EPU等。在数据感知层中,从业务逻辑上,可以分为物联网节点(图中的黑色圆点)和数据采集节点(图中的白色圆点)。所谓数据采集节点,即是指进行数据采集的节点。每一种数据即对应一个数据采集节点。而物联网节点是指根据预先设定的业务处理逻辑,由采集到的多种数据汇集的数据集合的节点。例如,物联网节点1可以是包含电压、电流、温度的数据集合节点;物联网节点2可以是包含电压、电流、开关状态等的数据集合节点。
在实际应用中,一个负载终端可以对应多个物联网节点,一个物联网节点可以对应多个数据采集节点。
应理解,终端负载的原始信息中可能混杂者许多不完整、错误或者重复的数据,这会严重影响数据的利用效率和决策质量。为此,需要对采集到的原始数据需要进行清洗等预处理操作。
为此,在本申请实施例中,可以利用相关性聚类算法对大量终端负载的原始信息进行聚类,得到样本。然后对将数据进行去噪、缺失值估计以及数据归一化等处理后,使用PCA(Principal Components Analysis,主成分分析)算法进行处理,筛选得到最终的终端数据。
在本申请实施例中,终端数据包括但不限于用户用电负荷数据、用电时间、用电时长、温度、气象类型、充电站类型,线路电流、电压、有功/无功功率、开关状态、保护动作、异常信号等数据中的一种或多种。
边缘处理层由多个边缘处理设备构成。每个边缘处理设备内均包含有边缘处理芯片和片外存储器,实现结构可参见图10所示。
边缘处理芯片上具有大量的不同类型的卷积单元、池化单元、激活函数单元,这些硬件单元通过多路信号连接器连接。边缘处理芯片还具有片内缓存器,片内缓存器内具有数据缓存单元和权重缓存单元(数据缓存单元和权重缓存单元的功能参见前文所述)。
片外存储器内包括输入数据单元,用于存储待处理任务的数据、训练数据、测试数据等,并可以将数据输入边缘处理芯片。
片外存储器内还包括权重单元,用于保存训练过程中各卷积神经网络单元的权重。片外存储器内还包括缓存数据单元,用于存储其他需上报的终端数据。
为最大化利用边缘处理设备的计算资源,边缘处理设备内仅配置一个目标卷积神经网络单元,从而仅实现对一种待处理任务的处理。
在对边缘处理芯片进行目标卷积神经网络单元的配置时,可以预先配置一个原始模型。原始模型为边缘处理芯片的计算能力所能承载的规模最大的卷积神经网络模型。
在一些实施例中,可以依次减少原始模型中采用的卷积核数量,得到每一次减少卷积核数量后的卷积神经网络模型,直至无法再进行卷积核数量的减少为止。
在一些实施例中,可以依次将原始模型中的卷积核的大小缩小,得到每一次缩小卷积核的大小后的卷积神经网络模型,直至无法再进行卷积核大小的缩小为止。
这样,即得到了边缘处理芯片所支持的所有卷积神经网络模型。
进一步地,可以按照一个卷积神经网络模型的结构,配置多路信号连接器的信号输入输出关系,得到该卷积神经网络模型的卷积神经网络单元。在该卷积神经网络单元中,利用训练数据对该卷积神经网络模型进行训练,并通过测试数据对训练好的卷积神经网络模型进行测试,得到该卷积神经网络模型对应的测试结果。
进一步地,可以按照下一个卷积神经网络模型的结构,重新配置多路信号连接器的信号输入输出关系,得到该卷积神经网络模型的卷积神经网络单元,并进行训练与测试。重复以上过程,直至所有的卷积神经网络模型都测试完毕。
进一步地,可以根据各卷积神经网络单元各自对应的测试结果,确定出测试结果最优的目标卷积神经网络单元,并重新配置多路信号连接器的信号输入输出关系,得到该目标卷积神经网络单元。
在本示例中,对于卷积神经网络模型中输出需要与所有层的输入都向连接的层,在目标卷积神经网络单元中这些层所对应的硬件单元,多路信号连接器将其所输出的中间数据不经过数据缓存单元或者边缘处理芯片以外的片外存储器直接输出给目标卷积神经网络单元的所有硬件单元,从而实现不同层之间的直接数据传输。
在本示例中,对于目标卷积神经网络单元中,处理的数据不存在数据依赖性的硬件单元,通过数据处理流水的方式进行数据处理。
SDN网络系统采用分层分布式的网络架构,包括:
1)基础网络设施层,该层主要包含遵从OpenFlow协议的交换机和路由器。
2)SDN控制层,该层与基础设施层之间通过南向接口连接,用于收集和管理配用电物理设备的信息状态和网络链路信息,管理区域内网络拓扑结构,处理区域内路由请求和更新网络流表。
3)SDN应用层,该层与SDN控制层之间通过北向接口连接,用于实现网络控制逻辑和策略,包括电力业务虚拟化、电力监控,以及电力负载均衡等业务。
云平台,用于数据分析和管理。可以同时与能源互联网系统内的边缘设备、负载终点等设备连接,还可以与能源互联网系统外的其他设备或系统连接。云平台提供统一的数据标准接口和数据规范实现与能源互联网系统内的设备以及能源互联网系统外的其他设备或系统连接,以保证数据的格式统一与规范。
在本示例中,云平台可以针对异构化的数据采用不同的数据集成工具进行数据集成。示例性的,采用Kettle对结构化设备台账数据进行集成;采用Kafka工具对结构化实时监控数据进行集成;采用Flume工具对非结构化文本数据进行集成,从而实现全类型的数据集成。
此外,云平台中数据可以通过分布式文件系统、分布式数据仓库、分布式缓存系统实现分布式存储。
而为提高系统数据吞吐量、加快处理速度、保证良好有效的数据容错机制,在云平台中,可以针对同一类数据,按照相同规则存放在指定的数据节点上,从而获得几乎线性的可扩展性。同时,通过Hash等分布机制实现系统的负载均衡,保障数据的一致性。
此外,在云平台中,还可以通过多级缓存和索引对数据缓存进一步优化。云平台的资源调用端可以连接分布式缓存系统,云平台可以根据所需数据的键值,找到对应服务器,读取缓存数据,并返回到资源调用端。如果读取缓存没有命中,则可以从持久化的分布式文件系统或者分布式数据仓库中查询,查询到的数据返回资源调用端,并将查询结果推送到分布式缓存系统进行缓存。
此外,在云平台中,对分布式文件系统、分布式数据仓库、分布式缓存系统中的任一服务器中的数据进行了修改后,可以对同样保存有该数据的其他服务器进行数据同步,以保证分布式系统的可靠性。
应理解,通过本申请实施例的上述实现方案,可以有效减少网络数据处理延时和减少终端侧和云平台之间所需的带宽,并将配用电数据处理与处理的模型进行端云协同后,大大提高了数据处理效率,保证数据分析、处理与响应的实时性。
此外,通过本申请实施例的上述实现方案,还可以通过边缘处理芯片中的卷积单元、池化单元和激活函数单元这些硬件单元实现卷积神经网络模型,从而在进行待处理任务的处理时,直接利用硬件单元进行计算,计算能力更强,处理效果更好,从而提高数据处理的实时性,提高任务处理性能。并且,还可以通过对边缘处理芯片中可配置的各种类型的卷积神经网络模型进行训练并进行测试,从而基于各卷积神经网络单元各自对应的测试结果,选出目标卷积神经网络单元,并将在边缘处理芯片中配置该目标卷积神经网络单元,这样就可以选出相对于该边缘处理芯片的资源而言,表现较优的卷积神经网络单元,从而可以在有限的资源条件下,达到更好的处理效果,从而进一步提高数据处理的实时性,提高边缘处理芯片的任务处理性能。
需要说明的是,以上描述的是针对配用电场景下,能源互联网系统的实现方案。但是,前述描述的边缘处理芯片、边缘处理设备、以及应用于边缘处理芯片和边缘处理设备上的数据处理方法,除了可以应用于能源互联网系统中以外,也可以应用于各种具有边缘处理需求的场景中,本申请实施例中对于边缘处理芯片、边缘处理设备、以及应用于边缘处理芯片和边缘处理设备上的数据处理方法的具体应用场景不做限制。例如,还可以应用于图像智能处理领域。例如,图11所示,一轿车1101在道路上高速行驶,高速相机1102拍下了该轿车1101的车牌号,但是由于轿车1101具有较高的车速,高速相机1102的输入信号1103发生了运动模糊现象,该输入信号为二维数字图像信号,该高速相机1102作为边缘处理设备,配置有边缘处理芯片,且边缘处理芯片中,按照前述方案,配置了目标卷积神经网络单元,该目标卷积神经网络单元可以执行使图像清晰的卷积神经网络模型。输入信号1103在高速相机1102中的目标卷积神经网络单元中经过处理后,该处理包括运动模糊去除等,得到输出信号1104,输出信号中包含清晰度更高的车牌号信息。
根据本公开的又一方面,还提供了一种非暂时性计算机可读存储介质。图12示出了根据本公开实施例的非暂时性计算机可读存储介质的示意图。
如图12所示,计算机可读存储介质4020上存储有指令,指令例如是计算机可读指令4010。当计算机可读指令4010由处理器运行时,可以执行参照以上附图描述的数据处理方法。计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。例如,计算机可读存储介质4020可以连接于诸如计算机等的计算设备,接着,在计算设备运行计算机可读存储介质4020上存储的计算机可读指令4010的情况下,可以进行如上所描述的数据处理方法。
根据本公开的又一方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或者计算机程序包括计算机可读指令,该计算机可读指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机可读指令,处理器执行该计算机可读指令,使得该计算机设备执行上述各个实施例中描述的数据处理方法。
本领域技术人员能够理解,本公开所披露的内容可以出现多种变型和改进。例如,以上所描述的各种设备或组件可以通过硬件实现,也可以通过软件、固件、或者三者中的一些或全部的组合实现。
此外,虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用,然而,任何数量的不同单元可以被使用并运行在客户端和/或服务器上。单元仅是说明性的,并且系统和方法的不同方面可以使用不同单元。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是,前面或后面的步骤不一定按照顺序来精确的进行。相反,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成,程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义,这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
以上是对本公开的说明,而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解,上面是对本公开的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
Claims (10)
1.一种数据处理方法,其特征在于,所述数据处理方法应用于边缘处理芯片,所述边缘处理芯片中可配置多种类型的卷积神经网络单元;每种类型的卷积神经网络单元包括至少一种类型的卷积单元、池化单元和激活函数单元,所述卷积神经网络单元用于执行与之匹配的卷积神经网络模型;所述方法包括:
获取待处理任务的训练数据和测试数据;
在第一类型卷积神经网络单元中,利用所述训练数据对第一类型卷积神经网络模型进行训练,并通过所述测试数据对训练好的所述第一类型卷积神经网络模型进行测试,得到所述第一类型卷积神经网络模型对应的第一测试结果;其中,所述第一类型卷积神经网络模型为与所述第一类型卷积神经网络单元匹配的模型;所述第一类型卷积神经网络单元为所述多种类型的卷积神经网络单元中的任意一种类型;
在所述边缘处理芯片中,基于每种类型的卷积神经网络单元各自对应的测试结果,配置目标卷积神经网络单元,以通过所述目标卷积神经网络单元执行所述待处理任务;
其中,在利用所述训练数据对第一类型卷积神经网络模型进行训练,并通过所述测试数据对训练好的所述第一类型卷积神经网络模型进行测试之前,所述方法还包括:
确定所述边缘处理芯片所支持的所有卷积神经网络模型;
基于各所述卷积神经网络模型,配置分别与各所述卷积神经网络模型相匹配的卷积神经网络单元;
其中,确定所述边缘处理芯片所支持的所有卷积神经网络模型,包括:
依次减少原始模型中采用的卷积核数量,得到每一次减少卷积核数量后的卷积神经网络模型,直至无法再进行卷积核数量的减少为止;和/或,依次将所述原始模型中的卷积核的大小缩小,得到每一次缩小卷积核的大小后的卷积神经网络模型,直至无法再进行卷积核大小的缩小为止;其中,所述原始模型为所述边缘处理芯片的计算能力所能承载的规模最大的卷积神经网络模型;
或,
依次增加原始模型中采用的卷积核数量,得到每一次增加卷积核数量后的卷积神经网络模型,直至最新的卷积神经网络模型中卷积核数量达到所述边缘处理芯片所支持的最大卷积核数量为止;和/或,依次将所述原始模型中的卷积核的大小增大,得到每一次增大卷积核的大小后的卷积神经网络模型,直至最新的卷积神经网络模型中所有卷积核均达到所述边缘处理芯片所支持的最大卷积核大小为止;其中,所述原始模型为所述边缘处理芯片的计算能力所能支持的规模最小的卷积神经网络模型。
2.如权利要求1所述的数据处理方法,其特征在于,在所述边缘处理芯片中,基于每种类型的卷积神经网络单元各自对应的测试结果,配置目标卷积神经网络单元,包括:
根据每种类型的卷积神经网络单元各自对应的测试结果,确定出测试结果最优的目标卷积神经网络单元;
在所述边缘处理芯片中,配置所述目标卷积神经网络单元。
3.如权利要求1或2所述的数据处理方法,其特征在于,所述边缘处理芯片中还具有信号连接单元;
所述信号连接单元分别与各所述卷积单元、所述池化单元和所述激活函数单元连接,用于按照预设的信号输入输出关系,将所述至少一种类型的卷积单元、所述池化单元和所述激活函数单元配置为卷积神经网络单元。
4.如权利要求1或2所述的数据处理方法,其特征在于,所述边缘处理芯片中还设置有权重缓存单元,所述权重缓存单元与所述目标卷积神经网络单元相连;所述权重缓存单元用于存储所述目标卷积神经网络单元执行所述待处理任务时所需调用的运算参数。
5.一种边缘处理芯片,其特征在于,所述边缘处理芯片中包括多种类型的卷积单元、池化单元和激活函数单元,且所述边缘处理芯片中可配置多种类型的卷积神经网络单元;每种类型的卷积神经网络单元包括至少一种类型的所述卷积单元、所述池化单元和所述激活函数单元,所述卷积神经网络单元用于执行与之匹配的卷积神经网络模型;
所述边缘处理芯片用于执行如权利要求1-4任一项所述的数据处理方法。
6.一种数据处理方法,其特征在于,应用于如权利要求5所述的边缘处理芯片,包括:
接收终端数据;
通过所述目标卷积神经网络单元,对所述终端数据中与所述待处理任务相关的目标数据进行处理,得到处理结果。
7.一种边缘处理设备,其特征在于,包括如权利要求5所述的边缘处理芯片。
8.一种能源互联网系统,其特征在于,包括:
数据采集设备,用于采集终端数据;
如权利要求7所述的边缘处理设备,与所述数据采集设备通信连接,用于根据所述数据采集设备采集到的终端数据进行处理;
云平台,与所述边缘处理设备通信连接,用于接收所述边缘处理设备上报的数据。
9.如权利要求8所述的能源互联网系统,其特征在于,所述能源互联网系统还包括:SDN网络系统;
所述SDN网络系统连接于所述边缘处理设备和所述云平台之间,用于对所述边缘处理设备和所述云平台之间的数据传输进行负载均衡。
10.如权利要求8或9所述的能源互联网系统,其特征在于,所述边缘处理设备上报的数据包括:
所述边缘处理设备进行处理后得到的处理结果;
所述终端数据中所具有的用户信息、设备信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210370811.5A CN114492769B (zh) | 2022-04-11 | 2022-04-11 | 数据处理方法、相关设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210370811.5A CN114492769B (zh) | 2022-04-11 | 2022-04-11 | 数据处理方法、相关设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114492769A CN114492769A (zh) | 2022-05-13 |
CN114492769B true CN114492769B (zh) | 2022-08-12 |
Family
ID=81487488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210370811.5A Active CN114492769B (zh) | 2022-04-11 | 2022-04-11 | 数据处理方法、相关设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114492769B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109946967A (zh) * | 2019-03-25 | 2019-06-28 | 北京快电科技有限公司 | 一种融合边缘智能的建筑能源互联网信息交换机 |
CN110070181A (zh) * | 2019-04-30 | 2019-07-30 | 深圳朴生智能科技有限公司 | 一种用于边缘计算设备的深度学习的优化方法 |
CN111935238A (zh) * | 2020-07-16 | 2020-11-13 | 浪潮思科网络科技有限公司 | 一种云平台负载均衡管理系统、方法、设备及介质 |
CN112132279A (zh) * | 2020-09-23 | 2020-12-25 | 平安科技(深圳)有限公司 | 卷积神经网络模型压缩方法、装置、设备及存储介质 |
CN112446491A (zh) * | 2021-01-20 | 2021-03-05 | 上海齐感电子信息科技有限公司 | 神经网络模型实时自动量化方法及实时自动量化系统 |
CN113128678A (zh) * | 2020-01-15 | 2021-07-16 | 华为技术有限公司 | 神经网络的自适应搜索方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109272107A (zh) * | 2018-08-10 | 2019-01-25 | 广东工业大学 | 一种改进深层卷积神经网络的参数个数的方法 |
CN111860771B (zh) * | 2020-06-19 | 2022-11-25 | 苏州浪潮智能科技有限公司 | 一种应用于边缘计算的卷积神经网络计算方法 |
CN113392973B (zh) * | 2021-06-25 | 2023-01-13 | 广东工业大学 | 一种基于fpga的ai芯片神经网络加速方法 |
-
2022
- 2022-04-11 CN CN202210370811.5A patent/CN114492769B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109946967A (zh) * | 2019-03-25 | 2019-06-28 | 北京快电科技有限公司 | 一种融合边缘智能的建筑能源互联网信息交换机 |
CN110070181A (zh) * | 2019-04-30 | 2019-07-30 | 深圳朴生智能科技有限公司 | 一种用于边缘计算设备的深度学习的优化方法 |
CN113128678A (zh) * | 2020-01-15 | 2021-07-16 | 华为技术有限公司 | 神经网络的自适应搜索方法及装置 |
CN111935238A (zh) * | 2020-07-16 | 2020-11-13 | 浪潮思科网络科技有限公司 | 一种云平台负载均衡管理系统、方法、设备及介质 |
CN112132279A (zh) * | 2020-09-23 | 2020-12-25 | 平安科技(深圳)有限公司 | 卷积神经网络模型压缩方法、装置、设备及存储介质 |
CN112446491A (zh) * | 2021-01-20 | 2021-03-05 | 上海齐感电子信息科技有限公司 | 神经网络模型实时自动量化方法及实时自动量化系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114492769A (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108259367B (zh) | 一种基于软件定义网络的服务感知的流策略定制方法 | |
CN108696453B (zh) | 轻量级的电力通信网sdn业务流感知方法及系统 | |
CN113286315B (zh) | 负载均衡判断方法、装置、设备及存储介质 | |
CN112925637A (zh) | 用于一边缘运算网络的负载平衡装置及方法 | |
CN113485792B (zh) | 一种kubernetes集群内Pod调度方法、终端设备及存储介质 | |
CN113961264B (zh) | 一种面向视频监控云边协同的智能卸载算法与系统 | |
CN113111115A (zh) | 一种数据信息管理系统及其方法 | |
CN113783716A (zh) | 基于云边协同框架的流量预测方法及装置 | |
CN113688284B (zh) | 车联网业务数据的处理方法、装置、电子设备和存储介质 | |
CN116760771A (zh) | 一种在线监测数据多通道传输控制策略处理方法 | |
CN114492769B (zh) | 数据处理方法、相关设备及系统 | |
CN111262723B (zh) | 一种基于模块化硬件和软件定义的边缘智能计算平台 | |
Wei et al. | Drl-deploy: adaptive service function chains deployment with deep reinforcement learning | |
CN112215326A (zh) | 一种分布式ai系统 | |
CN113949633A (zh) | 基于机器学习的5g网络切片容灾池资源管理方法及装置 | |
CN113780371A (zh) | 基于边缘计算与深度学习的绝缘子状态边缘识别方法 | |
CN112925831A (zh) | 基于云计算服务的大数据挖掘方法及大数据挖掘服务系统 | |
CN117150438B (zh) | 基于边缘计算的通信数据融合方法及系统 | |
CN114143836B (zh) | 基于边缘计算网关的负荷均衡方法、装置及终端 | |
CN117424848B (zh) | 基于机器学习的节点调用优化方法、系统、设备及介质 | |
CN112491863B (zh) | Ip地址黑灰名单分析方法、服务器、终端及存储介质 | |
Huang et al. | Research on the Methods of Data Mining based on the Edge Computing for the IoT | |
CN114826867B (zh) | 处理数据的方法、装置、系统及存储介质 | |
JP7348401B2 (ja) | 通信システムに適用される閾値最適化方法、装置およびコンピュータ可読媒体 | |
CN116977252A (zh) | 产品检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |