CN111931841A - 基于深度学习的树状处理方法、终端、芯片及存储介质 - Google Patents
基于深度学习的树状处理方法、终端、芯片及存储介质 Download PDFInfo
- Publication number
- CN111931841A CN111931841A CN202010777381.XA CN202010777381A CN111931841A CN 111931841 A CN111931841 A CN 111931841A CN 202010777381 A CN202010777381 A CN 202010777381A CN 111931841 A CN111931841 A CN 111931841A
- Authority
- CN
- China
- Prior art keywords
- processing
- layer
- target
- feature map
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种基于深度学习的树状处理方法、终端、芯片及存储介质,该生成方法包括:通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,第一部分计算层中包括i个计算层,i为大于0的整数;基于预设分类计算层确定第一特征图对应的处理级别;其中,预设分类计算层为目标处理模型中的第(i+1)个计算层;处理级别用于表征处理的难易程度;按照处理级别在目标处理模型中确定目标计算层;按照目标计算层获得目标图像对应的处理结果。
Description
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种基于深度学习的树状处理方法、终端、芯片及存储介质。
背景技术
分类器是机器学习领域非常重要的一个分支,从早期的提升算法(boost)、支持向量机(Support Vector machines,SVM)等,到现在的深度残差网络(ResNet)等,深度学习已经成为分类器的主流算法,目前深度学习一般采用卷积层(conv)+池化(pool)的网络结构。
在分类器的实际应用过程中,待处理的对象通常会依次通过输入层、卷积层、激活函数、池化层、全连接层等处理,最终获得处理结果。而这种统一化的处理方式,整个流程复杂度较高,因此大大降低了处理效率,同时,处理的精度也受到了限制。
发明内容
本申请实施例提供了一种基于深度学习的树状处理方法、终端、芯片及存储介质,能够有效简化处理流程的复杂度,从而可以大大提高处理效率,提升处理准确性。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供了一种基于深度学习的树状处理方法,所述方法包括:
通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,所述第一部分计算层中包括i个计算层,i为大于0的整数;
基于预设分类计算层确定所述第一特征图对应的处理级别;其中,所述预设分类计算层为所述目标处理模型中的第(i+1)个计算层;所述处理级别用于表征处理的难易程度;
按照所述处理级别在所述目标处理模型中确定目标计算层;
按照所述目标计算层获得所述目标图像对应的处理结果。
第二方面,本申请实施例提供了一种终端,所述终端包括:提取单元,确定单元,获取单元,
所述提取单元,用于通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,所述第一部分计算层中包括i个计算层,i为大于0的整数;
所述确定单元,用于基于预设分类计算层确定所述第一特征图对应的处理级别;其中,所述预设分类计算层为所述目标处理模型中的第(i+1)个计算层;所述处理级别用于表征处理的难易程度;以及按照所述处理级别在所述目标处理模型中确定目标计算层;
所述获取单元,用于按照所述目标计算层获得所述目标图像对应的处理结果。
第三方面,本申请实施例提供了一种终端,所述终端包括处理器、存储有所述处理器可执行指令的存储器,当所述指令被所述处理器执行时,实现如上所述的基于深度学习的树状处理方法。
第四方面,本申请实施例提供了一种芯片,所述芯片包括可编程逻辑电路和/或程序指令,当所述芯片运行时,实现如上所述的基于深度学习的树状处理方法。
第五方面,本申请实施例提供了一种计算机可读存储介质,其上存储有程序,应用于终端中,所述程序被处理器执行时,实现如上所述的基于深度学习的树状处理方法。
本申请实施例提供了一种基于深度学习的树状处理方法、终端、芯片及存储介质,终端通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,第一部分计算层中包括i个计算层,i为大于0的整数;基于预设分类计算层确定第一特征图对应的处理级别;其中,预设分类计算层为目标处理模型中的第(i+1)个计算层;处理级别用于表征处理的难易程度;按照处理级别在目标处理模型中确定目标计算层;按照目标计算层获得目标图像对应的处理结果。由此可见,在本申请的实施例中,通过在深度卷积神经网络中引入对处理难以程度进行预测的控制器,终端可以先利用控制器对目标图像对应的、表征处理的难易程度的处理级别进行确定,然后按照不同的处理级别对终端进行适应性的处理,也就是说,通过控制器构建的树状的网络,对于不同的输入对象,可以通过不同的网络分支执行不同的处理流程,能够有效简化处理流程的复杂度,从而可以大大提高处理效率,提升处理准确性。
附图说明
图1为MobileNet的示意图一;
图2为MobileNet的示意图二;
图3为基于深度学习的树状处理方法的实现流程示意图一;
图4为基于深度学习的树状处理方法的实现流程示意图二;
图5为基于深度学习的树状处理方法的实现流程示意图三;
图6为基于深度学习的树状处理方法的示意图一;
图7为基于深度学习的树状处理方法的示意图二;
图8为基于深度学习的树状处理方法的示意图三;
图9为基于深度学习的树状处理方法的示意图四;
图10为终端的组成结构示意图一;
图11为终端的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
人工智能(Artificial Intelligence,AI),是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
机器学习(Machine Learning,ML),是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。一些常见的机器学习任务列举如下:分类、输入缺失分类、回归、转录、机器翻译、结构化输出、异常检测、合成和采样、缺失值填补、去噪、密度估计等等。
卷积(Convolution,Conv)是深度学习里的一个基本操作单元,使用例如3×3的滑动窗口,提取图像的局部特征,多层卷积或者下采样方法,可以提取更大窗口的特征。
视野(Reception field)即一个输出像素点,对应多少个输入像素点,例如一个3×3conv的视野是3×3,两个3×3conv的视野是5×5,更大的视野可以提取更多的全局信息。
下采样,是深度学习里的一个基本操作单元,可以提高视野并同时减少单通道的计算量,步长(stride)大于等于2的conv、max pool、average pool都是常见的下采样方法。
全连接(Full connection,FC),是深度学习里的一个基本操作单元,可以认为是一种特殊的1×1conv,全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来。由于其全相连的特性,一般全连接层的参数也是最多的。
输出层的激励函数(Softmax),是深度学习里的一个基本操作单元,常见于分类网络的最后一层,用于预测物品的类别。其中,深度神经网络的最后一层往往是全连接层+Softmax。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks,FNN),是深度学习的代表算法之一。
分类是数据挖掘的一种非常重要的方法。分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类模型(即我们通常所说的分类器(Classifier))。该函数或模型能够把数据库中的数据纪录映射到给定类别中的某一个,从而可以应用于数据预测。总之,分类器是数据挖掘中对样本进行分类的方法的统称,包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法。
分类器是机器学习领域非常重要的一个分支,从早期的提升算法(boost)、支持向量机(Support Vector machines,SVM)、LeNet,到现在的深度残差网络(ResNet)、MobileNet、VGGNet、Inception,深度学习已经成为分类器的主流算法,目前深度学习一般采用conv+pool的网络结构。
图1为MobileNet的示意图一,如图1所示,MobileNet的基本单元是深度级可分离卷积(Depthwise separable convolution),是一种可分解卷积操作(factorizedconvolutions),其可以分解为两个更小的操作:Depthwise convolution和Pointwiseconvolution,其中,Depthwise convolution和标准卷积不同,对于标准卷积其卷积核是用在所有的输入通道上(input channels),而Depthwise convolution针对每个输入通道采用不同的卷积核,就是说一个卷积核对应一个输入通道,所以说Depthwise convolution是depth级别的操作。而Pointwise convolution其实就是普通的卷积,只不过其采用1x1的卷积核。示例性的,在图1中,对于Depthwise separable convolution,其首先是采用Depthwise convolution对不同输入通道分别进行卷积,然后采用Pointwise convolution将上面的输出再进行结合,这样其实整体效果和一个标准卷积是差不多的,但是会大大减少计算量和模型参数量。
Conv卷积是深度学习里的一个基本操作单元,使用例如3×3的滑动窗口,提取图像的局部特征,多层卷积或者下采样(down sample)方法,可以提取更大窗口的特征
卷积核就是图像处理时,给定输入图像,输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素,其中权值由一个函数定义,这个函数称为卷积核。
图2为MobileNet的示意图二,如图2所示,主流方法一般采用3×3的conv核来提取局部特征,然后通过多个conv的叠加,通过一些下采样技术(conv stride=2或者maxpool、average pool等)来扩大receptive field,以此来概括和提取一些全局特征,并同时保留一些重要的局部信息。
在实际应用中,图像中的待识别物品的识别难度其实不同,以imagenet为例,其数据集中的犬类细分了很多种,相似的物品很多,一般需要提取详细的特征(毛色、花纹)才能识别,但例如圆号、锣等物品,其相似的物品就少很多,仅提取轮廓就能识别,相对容易一些。
然而,由于主流方法目前都采用类pipeline式的结构,即都要计算到最后一层才输出最后结果,没有对各类物品的区分难度进行专门的优化,因此在进行处理时,处理流程较为复杂,处理效率比较低,同时,处理的精度也受到了限制。
为了解决现有的解码处理所存在的问题,在本申请的实施例中,通过在深度卷积神经网络中引入对处理难以程度进行预测的控制器,终端可以先利用控制器对目标图像对应的、表征处理的难易程度的处理级别进行确定,然后按照不同的处理级别对终端进行适应性的处理,也就是说,通过控制器构建的树状的网络,对于不同的输入对象,可以通过不同的网络分支执行不同的处理流程,能够有效简化处理流程的复杂度,从而可以大大提高处理效率,提升处理准确性。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请一实施例提供了一种基于深度学习的树状处理方法,图3为基于深度学习的树状处理方法的实现流程示意图一,如图3所示,在本申请的实施例中,终端基于深度学习的树状处理的方法可以包括以下步骤:
步骤101、通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,第一部分计算层中包括i个计算层,i为大于0的整数。
在本申请的实施例中,终端可以先通过目标处理模型中的、包括前i个计算层的第一部分计算层提取出目标图像的第一特征图,其中,i为大于0的整数,也就是说,终端可以先通过目标处理模型中的至少一个计算层对目标图像进行特征提取,从而可以获得对应的第一特征图像。
需要说明的是,在本申请的实施例中,终端为任何具备通信和存储功能的终端,例如:平板电脑、手机、电子阅读器、遥控器、个人计算机(Personal Computer,PC)、笔记本电脑、车载设备、网络电视、可穿戴设备、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置等终端。
进一步地,在本申请的实施例中,为了满足不同的需求,基于目标处理模型,终端可以对目标图像进行不同类型的处理,例如,如果目标处理模型用于分类处理,那么终端可以对目标图像进行分类处理,如果目标处理模型用于去噪处理,那么终端还可以对目标图像进行去噪处理。相应地,目标处理模型可以实现多种处理类型,从而使终端可以基于目标处理模型对目标图像执行相应地处理流程。
示例性的,在本申请中,目标处理模型可以用于实现分类处理、去噪处理等多种处理类型中的任意一种。
进一步地,在本申请的实施例中,目标处理模型中可以由输入层、卷积层、激活函数、池化层、全连接层组成,即INPUT(输入层)-CONV(卷积层)-RELU(激活函数)-POOL(池化层)-FC(全连接层)。其中,目标处理模型中的计算层可以为卷基层,也可以为其他的深度学习计算层。
可以理解的是,在本申请的实施例中,在通过目标处理模型中的、包括前i个计算层的第一部分计算层进行第一特征图的获取时,终端可以先对目标图像进行初步的特征提取,获得对应的第一特征图。例如,终端可以使用3×3的conv核来提取局部特征,然后通过多个conv的叠加,利用下采样技术(例如conv stride=2或者max pool、average pool等)来扩大感受野(Receptive Field),从而可以概括和提取一些全局特征,并同时保留一些重要的局部信息。
步骤102、基于预设分类计算层确定第一特征图对应的处理级别;其中,预设分类计算层为目标处理模型中的第(i+1)个计算层;处理级别用于表征处理的难易程度。
在本申请的实施例中,终端在通过目标处理模型中的、包括前i个计算层的第一部分计算层提取目标图像的第一特征图之后,可以将第一特征图输入至目标处理模型中所设置的预设分类计算层中,从而预测出目标图像对应的处理级别。
可以理解的是,在本申请的实施例中,处理级别可以用于表征处理的难易程度,相应地,目标图像对应的处理级别可以对终端基于目标处理模型处理目标图像时的难度进行衡量。示例性的,处理级别越高,对应的处理难度越大,处理级别越低,对应的处理难度越小。
需要说明的是,在本申请的实施例中,预设分类计算层可以为设置在目标处理模型中的第(i+1)个计算层中的至少一个基本分类单元。也就是说,终端在通过目标处理模型中的、包括前i个计算层的第一部分计算层获得第一特征图之后,可以利用预设分类计算层对第一特征图进行处理。
进一步地,在本申请的实施例中,预设分类计算层可以由具有分类功能的一个或者多个基本分类单元构成。具体地,预设分类计算层可以为设置在目标处理模型中的fc0+Softmax0,也可以为设置在目标处理模型中的average pool、max pool等。
其中,全连接FC层指的是层中的每个节点都会连接它下一层的所有节点,它是模仿人脑神经结构来构建的。FC层实质上就是矩阵相乘,由于它在数学上满足交换律和结合律,因此可以用并行化来加速计算,cuBLAS就是Nvidia为深度学习提供的数学(矩阵)加速运算库,它已经集成到Pytorch、Tensorflow这些深度学习框架中。
在机器学习尤其是深度学习中,Softmax是个非常常用而且比较重要的函数,尤其在多分类的场景中使用广泛。Softmax把一些输入映射为0-1之间的实数,并且归一化保证和为1,因此多分类的概率之和也刚好为1。Softmax最后的输出是每个分类被取到的概率,也就是说,通过Softmax函数可以将多分类的输出数值转化为相对概率。
在CNN结构中,经多个卷积层和池化层后,连接着1个或1个以上的全连接层。其中,全连接层中的每个神经元与其前一层的所有神经元进行全连接,全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息.为了提升CNN网络性能,全连接层每个神经元的激励函数一般采用ReLU函数。最后一层全连接层的输出值被传递给一个输出,可以采用Softmax逻辑回归(Softmax regression)进行分类,该层也可称为Softmax层(Softmaxlayer)。
max-pooling和average-pooling都对数据做了下采样,但是max-pooling感觉更像是做了特征选择,选出了分类辨识度更好的特征,提供了非线性,根据相关理论,特征提取的误差主要来自两个方面:(1)邻域大小受限造成的估计值方差增大;(2)卷积层参数误差造成估计均值的偏移。一般来说,average-pooling能减小第一种误差,更多的保留图像的背景信息,max-pooling能减小第二种误差,更多的保留纹理信息。average-pooling更强调对整体特征信息进行一层下采样,在减少参数维度的贡献上更大一点,更多的体现在信息的完整传递这个维度上,在一个很大很有代表性的模型中,比如说DenseNet中的模块之间的连接大多采用average-pooling,在减少维度的同时,更有利信息传递到下一个模块进行特征提取。
需要说明的是,在本申请的实施例中,终端可以通过预设分类计算层对处理的难易程度进行预测,最终可以使用处理级别进行区分。具体地,对于作用不同的目标处理模型,终端可以按照不同的方式划分处理级别。
示例性的,在本申请中,如果目标处理模型用于分类处理,终端可以按照处理的难易程度区分为三个处理级别,具体包括第一难度等级、第二难度等级以及第三难度等级,其中,第一难度等级表征处理难度较低,第二难度等级表征处理难度较高,第三难度等级表征处理难度最高。
示例性的,在本申请中,如果目标处理模型用于去噪处理,终端可以按照处理的难易程度区分为四个处理级别,具体包括第一难度等级、第二难度等级、第三难度等级以及第四难度等级,其中,第一难度等级表征处理难度较低,第二难度等级表征处理难度稍高,第三难度等级表征处理难度更高,第四难度等级表征处理难度最高。
进一步地,在本申请的实施例中,如果目标处理模型用于分类处理,那么终端在基于预设分类计算层确定第一特征图对应的处理级别时,可以先通过预设分类计算层对第一特征图进行分类难度预测,获得第一预测结果;然后再基于第一预测结果,确定处理级别。
相应地,在本申请的实施例中,如果目标处理模型用于去噪处理,那么终端在基于预设分类计算层确定第一特征图对应的处理级别时,可以先通过预设分类计算层对第一特征图进行去噪难度预测,获得第二预测结果;然后再基于第二预测结果,确定处理级别。
进一步地,在本申请的实施例中,图4为基于深度学习的树状处理方法的实现流程示意图二,如图4所示,在基于预设分类计算层确定第一特征图对应的处理级别之前,即步骤102之前,终端基于深度学习的树状处理的方法还可以包括以下步骤:
步骤105、使用第一数据集进行模型训练,获得目标处理模型;其中,第一数据集中包括训练图像和与训练图像对应的类别标签。
进一步地,在本申请的实施例中,图5为基于深度学习的树状处理方法的实现流程示意图三,如图5所示,在基于预设分类计算层确定第一特征图对应的处理级别之前,即步骤102之前,终端基于深度学习的树状处理的方法还可以包括以下步骤:
步骤106、使用第二数据集进行模型训练,获得目标处理模型;其中,第二数据集中包括训练图像和与训练图像对应的去噪后图像。
在本申请的实施例中,终端可以预先使用训练数据集进行训练,从而获得目标处理模型,其中,该目标处理模型中包括有用于对处理的难易程度进行预测的预设分类计算层。
可以理解的是,在本申请中,对于不同的预设处理类型,训练包括有预设分类计算层的目标处理模型所使用的数据集也是不同的。例如,如果目标处理模型用于对图像分类处理的难易程度进行预测,那么终端可以使用包括有训练图像和与训练图像对应的类别标签的第一数据集进行模型训练,最终获得的目标处理模型能够在进行分类处理时使用预设分类计算层确定出目标图像对应的处理级别。
相应地,如果目标处理模型用于对图像去噪处理的难易程度进行预测,那么终端可以使用包括有训练图像和与训练图像对应的去噪后图像的第二数据集进行模型训练,最终获得的目标处理模型能够在进行去噪处理时使用预设分类计算层确定出目标图像对应的处理级别。
步骤103、按照处理级别在目标处理模型中确定目标计算层。
步骤104、按照目标计算层获得目标图像对应的处理结果。
在本申请的实施例中,终端在基于预设分类计算层确定第一特征图对应的处理级别之后,便可以按照对应的处理级别继续在目标处理模型中确定目标计算层,然后按照目标计算层继续对第一特征图进行相应地处理,从而获得最终的处理结果。
进一步地,在本申请的实施例中,对于不同的预设处理类型,终端按照处理级别所进行的处理流程也是不同的。例如,分类处理所对应的处理流程与去噪处理所对应的处理流程就是不相同的。
需要说明的是,在本申请的实施例中,处理级别不同,终端获取处理结果时所采用的处理步骤也不相同,处理级别不同,终端使用目标处理模型中的计算层是不同的。也就是说,在本申请中,在确定出处理级别自后,终端需要先从目标处理模型中确定出对应于该处理级别所需要的目标计算层,然后再按照目标计算层获得目标图像对应的处理结果,时限基于不同的处理级别,执行不同的处理流程。
进一步地,在本申请的实施例中,如果目标处理模型用于分类处理,终端在按照处理级别在目标处理模型中确定目标计算层时,若处理级别为第一难度等级,那么终端可以将目标处理模型中第一部分计算层的第一分类计算层确定为目标计算层;若处理级别为第二难度等级,终端可以将目标处理模型中的第二部分计算层,和第二部分计算层的第二分类计算层确定为目标计算层;其中,第二部分计算层包括多个计算层;若处理级别为第三难度等级,终端可以将目标处理模型中的第二部分计算层、第三部分计算层,以及第三部分计算层的第三分类计算层确定为目标计算层;其中,第三部分计算层包括多个计算层。
需要说明的是,在本申请的实施例中,第一部分计算层、第二部分计算层以及第三部分计算层中均包括多个计算层。其中,第一部分计算层、第二部分计算层以及第三部分计算层中所包括的计算层的数量既可以相同,也可以不同。例如,目标处理模型中的第一个计算层至第i个计算层为第一部分计算层,目标处理模型中的第(i+1)个计算层为预设分类计算层,目标处理模型中的第(i+2)个计算层至第2i个计算层为第二部分计算层,目标处理模型中的第(2i+1)个计算层至第3i个计算层为第三部分计算层。
可以理解的是,在本申请的实施例中,第一部分计算层、第二部分计算层以及第三部分计算层中均包括有一个分类计算层,其中,第一部分计算层可以在第i层中设置有第一分类计算层,第二部分计算层可以在第2i层中设置有第二分类计算层,第三部分计算层可以在第3i层中设置有第三分类计算层。
进一步地,在本申请的实施例中,如果目标处理模型用于分类处理,那么终端在按照目标计算层获得目标图像对应的处理结果时,若处理级别为第一难度等级,那么可以使用第一分类计算层对第一特征图进行分类处理,获得处理结果;若处理级别为第二难度等级,那么可以依次使用第二部分计算层和第二分类计算层对第一特征图进行分类处理,获得处理结果;若处理级别为第三难度等级,那么可以依次使用第二部分计算层、第三部分计算层,以及第三分类计算层对第一特征图进行分类处理,获得处理结果。
也就是说,在本申请的实施例中,对于分类处理,如果终端基于第一特征图确定出的目标图像的处理级别为第n难度等级,那么可以依次使用第二部分计算层至第n部分计算层,以及第n部分计算层的第n分类计算层对第一特征图进行分类处理,进而获得处理结果。其中,n为大于2的整数,n取值越大,分类难度越高。例如,对于第二难度等级,终端可以使用第一部分计算层所对应的结果对第一特征图进行分类处理,对于第二难度等级,终端可以使用第二部分计算层和第二分类计算层对第一特征图进行分类处理,对于第三难度等级,终端可以依次使用第二部分计算层、第三部分计算层以及第三分类计算层对第一特征图进行分类处理。
具体地,在本申请中,第n分类计算层包括全连接层和Softmax层。
可以理解的是,在本申请的实施例中,终端在依次使用第二部分计算层至第n部分计算层,以及第n部分计算层的第n分类计算层对第一特征图进行分类处理,获得处理结果时,可以先将第一特征图像依次输入至第二部分计算层至第n部分计算层,获得初始结果,然后将第n部分计算层输出的初始结果输入至全连接层和Softmax层,就输入至第n分类计算层,最终便可以输出处理结果。
由此可见,在本申请中,目标图像对应的处理级别越低,即预测的目标图像的分类难度越小,终端对目标图像进行分类处理时所使用的计算层的复杂度越低,处理流程越少;相应地,目标图像对应的处理级别越高,即预测的目标图像的分类难度越大,终端对目标图像进行分类处理时所使用的计算层的复杂度越高,处理流程越多。
示例性的,在本申请的实施例中,如果目标处理模型用于去噪处理,终端在按照处理级别在目标处理模型中确定目标计算层时,若处理级别为第一难度等级,那么终端可以将目标处理模型中第一部分计算层的目标分类计算层确定为目标计算层;若处理级别为第二难度等级,那么终端可以将目标处理模型中的第二部分计算层和目标分类计算层确定为目标计算层;其中,第二部分计算层包括多个计算层;若处理级别为第三难度等级,那么终端可以将目标处理模型中的第二部分计算层、第三部分计算层,以及目标分类计算层确定为目标计算层;其中,第三部分计算层包括多个计算层;若处理级别为第四难度等级,那么终端可以将目标处理模型中的第二部分计算层、第三部分计算层、第四部分计算层,以及目标分类计算层确定为目标计算层;其中,第四部分计算层包括多个计算层。
需要说明的是,在本申请的实施例中,第一部分计算层、第二部分计算层、第三部分计算层以及第四部分计算层中均包括多个计算层。其中,第一部分计算层、第二部分计算层、第三部分计算层以及第四部分计算层中所包括的计算层的数量既可以相同,也可以不同。例如,目标处理模型中的第一个计算层至第i个计算层为第一部分计算层,目标处理模型中的第(i+1)个计算层为预设分类计算层,目标处理模型中的第(i+2)个计算层至第(2i+1)个计算层为第二部分计算层,目标处理模型中的第(2i+2)个计算层至第(3i+1)个计算层为第三部分计算层,目标处理模型中的第(3i+2)个计算层至第(4i+1)个计算层为第四部分计算层。
可以理解的是,在本申请的实施例中,第一部分计算层中包括有一个分类计算层,即目标分类计算层。其中,该目标分类计算层可以包括包括全连接层和Softmax层。
进一步地,在本申请的实施例中,如果目标处理模型用于分类处理,那么终端在按照目标计算层获得目标图像对应的处理结果时,若处理级别为第一难度等级,那么终端可以直接利用第一特征图进行融合处理,获得第一融合结果;最后便可以根据第一融合结果和目标分类计算层,确定处理结果。
进一步地,在本申请的实施例中,如果目标处理模型用于去噪处理,那么终端在按照目标计算层获得目标图像对应的处理结果时,若处理级别为第二难度等级,那么终端可以使用第二部分计算层,获得第一特征图对应的第二特征图;然后可以利用第一特征图和第二特征图进行融合处理,获得第二融合结果;最终便可以根据第二融合结果和目标分类计算层,确定处理结果。
具体地,在本申请的实施例中,在使用第二部分计算层,获得第一特征图对应的第二特征图时,可以先使用第二部分计算层中的下采样计算层对第一特征图进行下采样处理,获得第一下采样后特征图;然后再使用第二部分计算层对第一下采样后特征图进行去噪处理,获得第二特征图。
具体地,在本申请的实施例中,在利用第一特征图和第二特征图进行融合处理,获得第二融合结果时,可以先对第二特征图依次进行融合处理和上采样处理,获得第一待融合特征图;然后再对第一待融合特征图与第一特征图进行融合处理,最终获得第二融合结果。
进一步地,在本申请的实施例中,如果目标处理模型用于去噪处理,那么终端在按照目标计算层获得目标图像对应的处理结果时,若处理级别为第三难度等级,那么终端可以在通过第二部分计算层获得第二特征图之后,使用第三部分计算层获得第二特征图对应的第三特征图;然后利用第一特征图、第二特征图以及第三特征图进行融合处理,获得第三融合结果;最终便可以根据第三融合结果和目标分类计算层,确定处理结果。
具体地,在本申请的实施例中,在使用第三部分计算层获得第二特征图对应的第三特征图时,可以先使用第三部分计算层中的下采样计算层对第二特征图进行下采样处理,获得第二下采样后特征图;然后可以使用第三部分计算层对第二下采样后特征图进行去噪处理,获得第三特征图。
具体地,在本申请的实施例中,在利用第一特征图、第二特征图以及第三特征图进行融合处理,获得第三融合结果时,可以先对第三特征图依次进行融合处理和上采样处理,获得第二待融合特征图;然后对第二待融合特征图与第二特征图进行融合处理,获得第三待融合特征图;接着对第三待融合特征图依次进行融合处理和上采样处理,获得第四待融合特征图;最后对第四待融合特征图与第一特征图进行融合处理,获得第三融合结果。
进一步地,在本申请的实施例中,如果目标处理模型用于去噪处理,那么终端在按照目标计算层获得目标图像对应的处理结果时,若处理级别为第四难度等级,那么终端可以在通过第三部分计算层获得第三特征图之后,使用第四部分计算层获得第三特征图对应的第四特征图;然后利用第一特征图、第二特征图、以及第三特征图以及第四特征图进行融合处理,获得第四融合结果;最终便可以根据第四融合结果和目标分类计算层,确定处理结果。
具体地,在本申请的实施例中,在使用第四部分计算层获得第三特征图对应的第四特征图时,可以先使用第四部分计算层中的下采样计算层对第三特征图进行下采样处理,获得第三下采样后特征图;然后可以使用第四部分计算层对第三下采样后特征图进行去噪处理,获得第四特征图。
也就是说,在本申请的实施例中,对于去噪处理,如果终端基于第一特征图确定出的目标图像的处理级别为第m难度等级,那么可以在通过第(m-1)部分计算层获得第(m-1)特征图之后,使用第m部分计算层获得第(m-1)特征图对应的第m特征图。其中,m为大于1的整数;然后可以利用第一特征图至第m特征图进行融合处理,获得第m融合结果;最终便可以根据第m融合结果和目标分类计算层,确定处理结果。
综上所述,通过上述步骤101至步骤106所提出的基于深度学习的树状处理方法,利用目标处理模型中所设置的预设分类计算层,终端可以对目标图像的处理难以程度进行预测,从而确定出对应的处理级别,并依据处理级别的不同,在目标处理模型中选择不同的计算层,执行不同的处理流程。可见,本申请所提出的基于深度学习的树状处理方法,在目标处理模型中,引入预设分类计算层,使不同的输入走不同的网络分支,构成一个树状的深度学习网络。
示例性的,在本申请中,对于物体识别和分类的处理方式,实际上一些较容易区分的类别或者物品,可能不需要提取很详细的特征,可能只计算网络的前半部分就能识别,可以提高效率,另外,网络的后半部分也可以专注于识别难度大的物品和类别,可能可以提高高难度物品的识别率。
也就是说,通过预设分类计算层进行难易程度的预测,针对不同物品的识别难度,终端可以分别进行不同的处理:一方面,针对识别难度较低的物品,提前结束运算并输出识别结果,以此来节省计算量。另一方面,针对识别难度较高的物品,由conv2、...、conv3等专门进行详细的处理,由于剔除了识别难度低的物品的干扰,识别的准确率会有所提升。
相比之下,按照常见的处理方式,对于任一个输入,模型的运算时间及运算量都是基本相同的,而本申请所提出的基于深度学习的树状处理方法,对于不同难度的输入,模型的每次运算时间及运算量会出现较大差异,难度低的输入运行时间会显著缩短。
相应地,对于去噪处理,可以通过去噪网络中设置的预设分类计算层来控制计算的深度,以此来提高计算效率。
本申请实施例提供了一种基于深度学习的树状处理方法,终端通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,第一部分计算层中包括i个计算层,i为大于0的整数;基于预设分类计算层确定第一特征图对应的处理级别;其中,预设分类计算层为目标处理模型中的第(i+1)个计算层;处理级别用于表征处理的难易程度;按照处理级别在目标处理模型中确定目标计算层;按照目标计算层获得目标图像对应的处理结果。由此可见,在本申请的实施例中,通过在深度卷积神经网络中引入对处理难以程度进行预测的控制器,终端可以先利用控制器对目标图像对应的、表征处理的难易程度的处理级别进行确定,然后按照不同的处理级别对终端进行适应性的处理,也就是说,通过控制器构建的树状的网络,对于不同的输入对象,可以通过不同的网络分支执行不同的处理流程,能够有效简化处理流程的复杂度,从而可以大大提高处理效率,提升处理准确性。
基于上述实施例,在本申请的又一实施例中,目标处理模型中设置有预设分类计算层,其中,预设分类计算层可以用于对目标图像的处理难度进行预测,在目标处理模型用于分类处理的情况下,即使用的目标处理模型为分类模型时,终端可以基于分类处理的难易程度提前确定出三个不同的处理级别,从而可以对不同的待识别的目标图像,按照与处理级别所对应的处理方式进行适应性的分类处理。
图6为基于深度学习的树状处理方法的示意图一,如图6所示,对于输入中目标处理模型中的目标图像,预设分类计算层可以为FC0+Softmax0。首先,终端可以先使用至少一个计算层对目标图像进行特征提取,获得对应的第一特征图像。接着,在计算至第一部分计算层的最后一层(conv1)时,终端可以先使用预设分类计算层FC0+Softmax0对目标图像中的物体的识别难度进行确定,从而确定出目标图像对应的处理级别。
需要说明的是,在本申请的实施例中,终端可以预先基于识别的难易程度将处理级别划分为3个等级,即第一难度级别、第二难度级别以及第三难度级别,具体地,与第一难度级别所对应的处理流程为计算到第一部分计算层的最后一层conv1(如目标处理模型中的、包括有前i个计算层的第一部分计算层的第i个计算层),即利用conv1所对应的结果来确定出对目标图像的分类情况;与第二难度级别所对应的处理流程为计算到第二部分计算层的最后一层conv2(如目标处理模型中的、包括有多个计算层的第二部分计算层的最后一个计算层),即利用conv2所对应的结果来确定出对目标图像的分类情况;与第三难度级别所对应的处理流程为计算到第三部分计算层的最后一层conv3(如目标处理模型中的、包括有多个计算层的第三部分计算层的最后一个计算层),即利用conv3所对应的结果来确定出对目标图像的分类情况。
示例性的,当计算到第一部分计算层的最后一层conv1时,终端可以首先计算FC0+Softmax0,其中,基于FC0+Softmax0的预设分类计算层可以预测目标图像中的物品的识别难度,从而确定出对应的处理级别,并根据处理级别继续进行对目标图像的分类处理。
可以理解的是,确定的表征难易程度的处理级别可以用于决定在分类处理时的具体处理流程,以此来控制需要进行多少运算。
需要说明的是,在本申请的实施例中,确定处理级别时的主要判断标准是:如果要识别的目标类别,跟它相似的类别比较少,仅识别轮廓就能判断,即处理的难度较低,对应第一难度级别,那么就只需要计算到第i个计算层,即计算到第一部分计算层的最后一层conv1,提前结束计算,而不需要执行完全部的分类处理流程;如果要识别的目标类别,跟它相似的类别稍多,需要提取部分特征,即处理的难度稍高,对应第二难度级别,那么就只需要计算到第二部分计算层的最后一层conv2,提前结束计算,而不需要执行完全部的分类处理流程;如果要识别的目标类别,跟它相似的类别比较多,需要提取详细的特征,例如毛色、花纹等,即处理的难度很高,对应第三难度级别,那么便需要计算到第三部分计算层的最后一层conv3,不能提前结束计算,需要执行完全部的分类处理流程。
进一步地,在本申请的实施例中,图7为基于深度学习的树状处理方法的示意图二,如图7所示,如果通过预设分类计算层FC0+Softmax0所预测的目标图像中的物品的识别难度较低,即处理级别为第一难度级别,那么在计算到conv1之后(conv1是包括有前i个计算层的第一部分计算层的最后一层),终端可以直接利用conv1对应的结果计算FC1+Softmax1,然后输出计算结果,从而获得目标图像对应的处理结果。其中,FC1+Softmax1为第一部分计算层的第一分类计算层。
可见,与pipeline式的结构相比,第一难度级别所对应的处理流程比原处理流程提前2/3结束运算,且仅仅计算至第一部分计算层的最后一层,计算的复杂程度也大大降低。
进一步地,在本申请的实施例中,图8为基于深度学习的树状处理方法的示意图三,如图8所示,如果通过预设分类计算层FC0+Softmax0所预测的目标图像中的物品的识别难度较高,即处理级别为第二难度级别,那么在计算到第二部分计算层的最后一层conv2(也就是依次计算第一部分计算层和第二部分计算层)之后,终端可以直接利用conv2对应的结果计算FC2+Softmax2,然后输出计算结果,从而获得目标图像对应的处理结果。其中,FC2+Softmax2为第二部分计算层的第二分类计算层。
可见,与pipeline式的结构相比,第二难度级别所对应的处理流程比原处理流程提前1/3结束运算,且只需要计算至第二部分计算层的最后一层,计算的复杂程度也有所降低。
进一步地,在本申请的实施例中,如果通过预设分类计算层FC0+Softmax0所预测的目标图像中的物品的识别难度最高,即处理级别为第三难度级别,那么在依次计算到第三部分计算层的最后一层conv3(也就是依次计算第一部分计算层、第二部分计算层以及第三部分计算层)之后,终端可以利用conv3对应的结果计算FC3+Softmax3,然后输出计算结果,从而获得目标图像对应的处理结果。其中,FC3+Softmax3为第二部分计算层的第二分类计算层。
需要说明的是,与pipeline式的结构相比,虽然第三难度级别所对应的处理流程与原处理流程相同,但是综合第一难度级别和第二难度级别来看,终端由第三部分计算层专门进行难度较高的识别和分类处理,在一定程度上能够提高处理的准确程度。
可以理解的是,在本申请的实施例中,进行难易程度的预测过程是通过预设分类计算层FC0+Softmax0进行的,其中,FC0和Softmax0是深度学习的用来预测的两个基本单元,也可以使用其他基本单元进行替换,例如average pool、max pool等。
由此可见,利用目标处理模型中所设置的预设分类计算层,终端可以对目标图像的处理难以程度进行预测,从而确定出对应的处理级别,并依据处理级别的不同,在目标处理模型中选择不同的计算层,执行不同的处理流程。可见,本申请所提出的基于深度学习的树状处理方法,在目标处理模型中,引入预设分类计算层,使不同的输入走不同的网络分支,构成一个树状的深度学习网络。
示例性的,在本申请中,对于物体识别和分类的处理方式,实际上一些较容易区分的类别或者物品,可能不需要提取很详细的特征,可能只计算网络的前半部分就能识别,可以提高效率,另外,网络的后半部分也可以专注于识别难度大的物品和类别,可能可以提高高难度物品的识别率。
本申请实施例提供了一种基于深度学习的树状处理方法,终端通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,第一部分计算层中包括i个计算层,i为大于0的整数;基于预设分类计算层确定第一特征图对应的处理级别;其中,预设分类计算层为目标处理模型中的第(i+1)个计算层;处理级别用于表征处理的难易程度;按照处理级别在目标处理模型中确定目标计算层;按照目标计算层获得目标图像对应的处理结果。由此可见,在本申请的实施例中,通过在深度卷积神经网络中引入对处理难以程度进行预测的控制器,终端可以先利用控制器对目标图像对应的、表征处理的难易程度的处理级别进行确定,然后按照不同的处理级别对终端进行适应性的处理,也就是说,通过控制器构建的树状的网络,对于不同的输入对象,可以通过不同的网络分支执行不同的处理流程,能够有效简化处理流程的复杂度,从而可以大大提高处理效率,提升处理准确性。
基于上述实施例,在本申请的再一实施例中,目标处理模型中设置有预设分类计算层,其中,预设分类计算层可以用于对目标图像的处理难度进行预测,在目标处理模型用于去噪处理的情况下,即使用的目标处理模型为去噪网络(例如unet等)时,终端可以基于去噪的难易程度提前确定出四个不同的处理级别,从而可以对不同的待识别的目标图像,按照与处理级别所对应的处理方式进行适应性的去噪处理。
图9为基于深度学习的树状处理方法的示意图四,如图9所示,对于输入中目标处理模型中的目标图像,终端可以先使用至少一个计算层对目标图像进行特征提取,获得对应的第一特征图像。接着,在计算至第一部分计算层的最后一层(conv1)时,终端可以先使用预设分类计算层FC0+Softmax0对目标图像的去噪难度进行确定,从而确定出目标图像对应的处理级别。
需要说明的是,在本申请的实施例中,终端可以预先基于识别的难易程度将处理级别划分为4个等级,即第一难度级别、第二难度级别、第三难度级别以及第四难度级别,具体地,与第一难度级别所对应的处理流程为计算到第一部分计算层的最后一层conv1(如目标处理模型中的、包括有前i个计算层的第一部分计算层的第i个计算层),即利用conv1所对应的结果来实现对目标图像的去噪处理;与第二难度级别所对应的处理流程为计算到第二部分计算层的最后一层conv2(如目标处理模型中的、包括有多个计算层的第二部分计算层的最后一个计算层),即即利用第一部分计算层所对应的结果和第二部分计算层所对应的结果来实现对目标图像的去噪处理;与第三难度级别所对应的处理流程为计算到第三部分计算层的最后一层conv3(如目标处理模型中的、包括有多个计算层的第三部分计算层的最后一个计算层),即利用第一部分计算层所对应的结果、第一部分计算层所对应的结果以及第三部分计算层所对应的结果来实现对目标图像的去噪处理;与第四难度级别所对应的处理流程为计算到第三部分计算层的最后一层conv4(如目标处理模型中的、包括有多个计算层的第四部分计算层的最后一个计算层),即利用第一部分计算层所对应的结果、第二部分计算层所对应的结果、第三部分计算层所对应的结果以及第四部分计算层所对应的结果来实现对目标图像的去噪处理。
示例性的,如图9所示,当计算到第一部分计算层的最后一层conv1时,终端可以首先计算FC0+Softmax0,其中,基于FC0+Softmax0的预设分类计算层可以预测目标图像的去噪难度,从而确定出对应的处理级别,并根据处理级别继续进行对目标图像的去噪处理。
可以理解的是,确定的表征难易程度的处理级别可以用于决定在去噪处理时的具体处理流程,以此来控制需要进行多少运算。
需要说明的是,在本申请的实施例中,确定处理级别时的主要判断标准是:如果目标图像的噪声较少,仅去除个别噪点就能达到较好的效果,即处理的难度较低,对应第一难度级别,那么就只需要计算到第i个计算层,即计算到第一部分计算层的最后一层conv1,提前结束计算,而不需要执行完全部的去噪处理流程;如果目标图像的噪声稍多,需要识别多个局部的噪点,即处理的难度稍高,对应第二难度级别或第三难度级别,那么需要计算到第二部分计算层的最后一层conv2或第三部分计算层的最后一层conv3,提前结束计算,而不需要执行完全部的去噪处理流程;如果目标图像的噪声很多,需要识别每一个局部的噪点,即处理的难度很高,对应第四难度级别,那么便需要计算到第四部分计算层的最后一层conv4,不能提前结束计算,需要执行完全部的去噪处理流程。
进一步地,在本申请的实施例中,如果通过预设分类计算层FC0+Softmax0所预测的目标图像的去噪难度较低,即处理级别为第一难度级别,那么在计算第一部分计算层之后,终端可以直接利用第一部分计算层对应的结果,即第一特征图进行融合层Concatenate1的计算,然后输出计算结果,最后计算目标分类计算层,从而获得目标图像对应的处理结果。
需要说明的是,如果处理级别为第一难度级别,那么计算融合层Concatenate1需要有两个输入,一个通过copy conv1得到的,另一个可以直接全部填0,也可以将conv1作为输入,通过轻量计算得到(如果是计算完整的网络,另一个输入是通过upconv1计算得到的,该计算量很大)。即对于第一难度级别,终端可以直接使用第一部分计算层对应的结果,计算目标分类计算层,获得去噪后的图像,即目标图像对应的处理结果。
可见,与pipeline式的结构相比,第一难度级别所对应的处理流程比原处理流程提前3/4结束运算,且仅仅计算至第一部分计算层,计算的复杂程度也大大降低。
进一步地,在本申请的实施例中,如果通过预设分类计算层FC0+Softmax0所预测的目标图像的去噪难度稍高,即处理级别为第二难度级别,那么在依次计算第一部分计算层和第二部分计算层之后,终端可以直接利用第二部分计算层对应的结果进行融合层Concatenate2的计算,然后通过卷积层进行上采样处理upconv1,获得第一待融合特征图,进而可以利用第一部分计算层对应的结果和第一待融合特征图进行融合层Concatenate1的计算,然后输出计算结果,最后计算目标分类计算层,从而获得目标图像对应的处理结果。
需要说明的是,如果处理级别为第二难度级别,那么计算融合层Concatenate2需要有两个输入,一个通过copy conv2得到的,另一个可以直接全部填0,也可以将conv2作为输入,通过轻量计算得到(如果是计算完整的网络,另一个输入是通过upconv2计算得到的,该计算量很大)。即对于第二难度级别,终端可以先使用第二部分计算层对应的结果进行上采样处理,然后再与第一部分计算层获得的第一特征图像进行融合处理,最后计算目标分类计算层,从而获得去噪后的图像,即目标图像对应的处理结果。
具体地,此时融合层Concatenate1的两个输入,一个依然是通过copy conv1得到的,另一个则是通过upconv1计算得到的。
可见,与pipeline式的结构相比,第二难度级别所对应的处理流程比原处理流程提前1/2结束运算,且仅仅计算至第二部分计算层,计算的复杂程度也大大降低。
进一步地,在本申请的实施例中,如果通过预设分类计算层FC0+Softmax0所预测的目标图像的去噪难度较高,即处理级别为第三难度级别,那么在依次计算第一部分计算层、第二部分计算层以及第三部分计算层之后,终端可以直接利用第三部分计算层对应的结果进行融合层Concatenate3的计算,然后通过卷积层进行上采样处理upconv2,获得第二待融合特征图,接着,终端可以继续使用第二待融合特征图和第二部分计算层对应的结果,即第二特征图进行融合层Concatenate2的计算,从而获得第三待融合特征图。在对第三待融合特征图进行上采样处理获得第四待融合特征图之后,可以利用第一部分计算层对应的结果,即第一特征图,和第四待融合特征图进行融合层Concatenate1的计算,然后输出计算结果,最后计算目标分类计算层,从而获得目标图像对应的处理结果。
需要说明的是,如果处理级别为第三难度级别,那么计算融合层Concatenate3需要有两个输入,一个通过copy conv3得到的,另一个直接全部填0,也可以将conv3作为输入,通过轻量计算得到(如果是计算完整的网络,另一个输入是通过upconv3计算得到的,该计算量很大)。即对于第三难度级别,终端可以先使用第三部分计算层对应的结果来进行上采样处理,然后再与第二部分计算层获得的第二特征图像进行融合处理,获得第二待融合特征图;依次执行Concatenate2、upconv1、Concatenate1,最后计算目标分类计算层,从而获得去噪后的图像,即目标图像对应的处理结果。
具体地,此时融合层Concatenate2的两个输入,一个依然是通过copy conv2得到的,另一个则是通过upconv2计算得到的。而此时融合层Concatenate1的两个输入,一个依然是通过copy conv1得到的,另一个则是通过upconv1计算得到的。
可见,与pipeline式的结构相比,第二难度级别所对应的处理流程比原处理流程提前1/4结束运算,且仅仅计算至第三部分计算层,计算的复杂程度也大大降低。
进一步地,在本申请的实施例中,如果通过预设分类计算层FC0+Softmax0所预测的目标图像的去噪难度很高,即处理级别为第四难度级别,那么在依次计算第一部分计算层、第二部分计算层、第三部分计算层以及第四部分计算层之后,终端可以直接利用第四部分计算层对应的结果进行融合层Concatenate4的计算,然后通过卷积层进行上采样处理upconv3,获得第三待融合特征图,接着,终端可以继续使用第三待融合特征图和第三部分计算层对应的结果,即第三特征图进行融合层Concatenate3的计算,从而获得第五待融合特征图。在对第五待融合特征图进行上采样upconv2处理获得第六待融合特征图之后,终端可以继续使用第六待融合特征图和第二部分计算层对应的结果,即第二特征图进行融合层Concatenate2的计算,从而获得第七待融合特征图。在对第七待融合特征图进行上采样upconv1处理获得第八待融合特征图之后,可以利用第一部分计算层对应的结果,即第一特征图,和第八待融合特征图进行融合层Concatenate1的计算,然后输出计算结果,最后计算目标分类计算层,从而获得目标图像对应的处理结果。
需要说明的是,如果处理级别为第四难度级别,那么计算融合层Concatenate4需要有两个输入,一个通过copy conv4得到的,另一个直接全部填0,也可以将conv4作为输入,通过轻量计算得到(如果是计算完整的网络,另一个输入是通过upconv4计算得到的,该计算量很大)。即对于第四难度级别,终端可以先使用第四部分计算层对应的结果来进行上采样处理,然后再与第三部分计算层获得的第三特征图像进行融合处理,获得第五待融合特征图;依次执行Concatenate3、upconv2、Concatenate2、upconv1、Concatenate1,最后计算目标分类计算层,从而获得去噪后的图像,即目标图像对应的处理结果。
可见,此时融合层Concatenate3的两个输入,一个依然是通过copy conv3得到的,另一个则是通过upconv3计算得到的。融合层Concatenate2的两个输入,一个依然是通过copy conv2得到的,另一个则是通过upconv2计算得到的。融合层Concatenate1的两个输入,一个依然是通过copy conv1得到的,另一个则是通过upconv1计算得到的。
需要说明的是,与pipeline式的结构相比,虽然第四难度级别所对应的处理流程与原处理流程相同,但是综合第一难度级别、第二难度级别以及第三难度级别来看,终端使用第四部分计算层专门进行难度较高的去噪处理,在一定程度上能够提高处理的准确程度。
可以理解的是,在本申请的实施例中,进行难易程度的预测过程是通过预设分类计算层FC0+Softmax0进行的,其中,FC0和Softmax0是深度学习的用来预测的两个基本单元,也可以使用其他基本单元进行替换,例如average pool、max pool等。
需要说明的是,在本申请中,对于目标图像的去噪处理,如果预设分类计算层预测的处理级别为第一难度等级,终端完成第一部分计算层(conv1)之后,直接利用获得的第一特征图确定最终去噪结果;如果预设分类计算层预测的处理级别为第二难度等级,终端则需要继续计算到第二部分计算层(conv2),然后需要对输出的第二特征图进行upconv1计算,并结合第一特征图进行Concatenate1的计算,最终获得去噪结果;如果预设分类计算层预测的处理级别为第三难度等级,终端则需要继续计算到第三部分计算层(conv3),然后需要对输出的第三特征图进行upconv2计算,并结合第二特征图进行Concatenate2的计算,再次进行upconv1计算,并结合第一特征图进行Concatenate1的计算,最终获得去噪结果;如果预设分类计算层预测的处理级别为第四难度等级,终端则需要继续计算到第四部分计算层(conv4),然后需要对输出的第四特征图进行upconv3计算,结合第三特征图进行Concatenate3的计算,然后进行upconv2计算,并结合第二特征图进行Concatenate2的计算,再次进行upconv1计算,继续结合第一特征图进行Concatenate1的计算,最终获得去噪结果。
由此可见,通过预设分类计算层所确定的处理级别,可以用于在去噪处理流程中控制下采样(max pool)的深度,以此来提高计算效率。
综上所述,利用目标处理模型中所设置的预设分类计算层,终端可以对目标图像的处理难以程度进行预测,从而确定出对应的处理级别,并依据处理级别的不同,在目标处理模型中选择不同的计算层,执行不同的处理流程。可见,本申请所提出的基于深度学习的树状处理方法,在目标处理模型中,引入预设分类计算层,使不同的输入走不同的网络分支,构成一个树状的深度学习网络。对于去噪处理,可以通过去噪网络中设置的预设分类计算层来控制计算的深度,以此来提高计算效率。
本申请实施例提供了一种基于深度学习的树状处理方法,终端通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,第一部分计算层中包括i个计算层,i为大于0的整数;基于预设分类计算层确定第一特征图对应的处理级别;其中,预设分类计算层为目标处理模型中的第(i+1)个计算层;处理级别用于表征处理的难易程度;按照处理级别在目标处理模型中确定目标计算层;按照目标计算层获得目标图像对应的处理结果。由此可见,在本申请的实施例中,通过在深度卷积神经网络中引入对处理难以程度进行预测的控制器,终端可以先利用控制器对目标图像对应的、表征处理的难易程度的处理级别进行确定,然后按照不同的处理级别对终端进行适应性的处理,也就是说,通过控制器构建的树状的网络,对于不同的输入对象,可以通过不同的网络分支执行不同的处理流程,能够有效简化处理流程的复杂度,从而可以大大提高处理效率,提升处理准确性。
基于上述实施例,在本申请的另一实施例中,图10为终端的组成结构示意图一,如图10所示,本申请实施例提出的终端10可以包括:提取单元11,确定单元12,获取单元13,训练单元14。
所述提取单元11,用于通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,所述第一部分计算层中包括i个计算层,i为大于0的整数;
所述确定单元12,用于基于预设分类计算层确定所述第一特征图对应的处理级别;其中,所述预设分类计算层为所述目标处理模型中的第(i+1)个计算层;所述处理级别用于表征处理的难易程度;以及按照所述处理级别在所述目标处理模型中确定目标计算层;
所述获取单元13,用于按照所述目标计算层获得所述目标图像对应的处理结果。
进一步地,在本申请的实施例中,所述预设分类计算层为设置在所述第(i+1)个计算层中的至少一个基本分类单元。
进一步地,在本申请的实施例中,当所述目标处理模型用于分类处理时,所述确定单元12,具体用于通过所述预设分类计算层对所述第一特征图进行分类难度预测,获得第一预测结果;基于所述第一预测结果,确定所述处理级别。
进一步地,在本申请的实施例中,所述确定单元12,还具体用于若所述处理级别为第一难度等级,则将所述目标处理模型中所述第一部分计算层的第一分类计算层确定为所述目标计算层;若所述处理级别为第二难度等级,则将所述目标处理模型中的第二部分计算层,和所述第二部分计算层的第二分类计算层确定为所述目标计算层;其中,所述第二部分计算层包括多个计算层;若所述处理级别为第三难度等级,则将所述目标处理模型中的所述第二部分计算层、第三部分计算层,以及所述第三部分计算层的第三分类计算层确定为所述目标计算层;其中,所述第三部分计算层包括多个计算层。
进一步地,在本申请的实施例中,所述获取单元13,具体用于若所述处理级别为第一难度等级,则使用所述第一分类计算层对所述第一特征图进行分类处理,获得所述处理结果;若所述处理级别为第二难度等级,则依次使用所述第二部分计算层和所述第二分类计算层对所述第一特征图进行分类处理,获得所述处理结果;若所述处理级别为第三难度等级,则依次使用所述第二部分计算层、所述第三部分计算层,以及所述第三分类计算层对所述第一特征图进行分类处理,获得所述处理结果。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于当所述处理级别为第n难度等级时,依次使用所述第二部分计算层至第n部分计算层,以及所述第n部分计算层的第n分类计算层对所述第一特征图进行分类处理,获得所述处理结果;其中,n为大于2的整数,n取值越大,分类难度越高。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于将所述第一特征图像依次输入至所述第二部分计算层至第n部分计算层,获得初始结果;将所述初始结果输入至所述全连接层和所述Softmax层,输出所述处理结果。
进一步地,在本申请的实施例中,当所述目标处理模型用于去噪处理时,所述确定单元12,还具体用于通过所述预设分类计算层对所述第一特征图进行去噪难度预测,获得第二预测结果;基于所述第二预测结果,确定所述处理级别。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于若所述处理级别为第一难度等级,则将所述目标处理模型中所述第一部分计算层的目标分类计算层确定为所述目标计算层;若所述处理级别为第二难度等级,则将所述目标处理模型中的第二部分计算层和所述目标分类计算层确定为所述目标计算层;其中,所述第二部分计算层包括多个计算层;若所述处理级别为第三难度等级,则将所述目标处理模型中的所述第二部分计算层、第三部分计算层,以及所述目标分类计算层确定为所述目标计算层;其中,所述第三部分计算层包括多个计算层;若所述处理级别为第四难度等级,则将所述目标处理模型中的所述第二部分计算层、第三部分计算层、第四部分计算层,以及所述目标分类计算层确定为所述目标计算层;其中,所述第四部分计算层包括多个计算层。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于若所述处理级别为第一难度等级,利用所述第一特征图进行融合处理,获得第一融合结果;根据所述第一融合结果和所述目标分类计算层,确定所述处理结果。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于若所述处理级别为第二难度等级,则使用第二部分计算层,获得所述第一特征图对应的第二特征图;利用所述第一特征图和所述第二特征图进行融合处理,获得第二融合结果;根据所述第二融合结果和所述目标分类计算层,确定所述处理结果。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于使用所述第二部分计算层中的下采样计算层对所述第一特征图进行下采样处理,获得第一下采样后特征图;使用所述第二部分计算层对所述第一下采样后特征图进行去噪处理,获得所述第二特征图。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于对所述第二特征图依次进行融合处理和上采样处理,获得第一待融合特征图;对所述第一待融合特征图与所述第一特征图进行融合处理,获得所述第二融合结果。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于若所述处理级别为第三难度等级,则在通过第二部分计算层获得所述第二特征图之后,使用第三部分计算层获得所述第二特征图对应的第三特征图;利用所述第一特征图、所述第二特征图以及所述第三特征图进行融合处理,获得第三融合结果;根据所述第三融合结果和所述目标分类计算层,确定所述处理结果。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于使用所述第三部分计算层中的下采样计算层对所述第二特征图进行下采样处理,获得第二下采样后特征图;使用所述第三部分计算层对所述第二下采样后特征图进行去噪处理,获得所述第三特征图。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于对所述第三特征图依次进行融合处理和上采样处理,获得第二待融合特征图;对所述第二待融合特征图与所述第二特征图进行融合处理,获得第三待融合特征图;对所述第三待融合特征图进行上采样处理,获得第四待融合特征图;对所述第四待融合特征图与所述第一特征图进行融合处理,获得所述第三融合结果。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于若所述处理级别为第四难度等级,则在通过第三部分计算层获得所述第三特征图之后,使用第四部分计算层获得所述第三特征图对应的第四特征图;利用所述第一特征图、所述第二特征图、所述第三特征图以及所述第四特征图进行融合处理,获得第四融合结果;根据所述第四融合结果和所述目标分类计算层,确定所述处理结果。
进一步地,在本申请的实施例中,所述获取单元13,还具体用于若所述处理级别为第m难度等级,则在通过第(m-1)部分计算层获得所述第(m-1)特征图之后,使用第m部分计算层获得所述第(m-1)特征图对应的第m特征图;其中,所述第m部分计算层包括多个计算层,m为大于1的整数;利用所述第一特征图至所述第m特征图进行融合处理,获得第m融合结果;根据所述第m融合结果和所述目标分类计算层,确定所述处理结果。
进一步地,在本申请的实施例中,所述训练单元14,用于基于预设分类计算层确定所述第一特征图对应的处理级别之前,使用第一数据集进行模型训练,获得所述目标处理模型;其中,所述第一数据集中包括训练图像和与所述训练图像对应的类别标签。
进一步地,在本申请的实施例中,所述训练单元14,还用于基于预设分类计算层确定所述第一特征图对应的处理级别之前,使用第二数据集进行模型训练,获得所述目标处理模型;其中,所述第二数据集中包括训练图像和与所述训练图像对应的去噪后图像。
在本申请的实施例中,进一步地,图11为终端的组成结构示意图二,如图11示,本申请实施例提出的终端10还可以包括处理器15、存储有处理器15可执行指令的存储器16,进一步地,终端10还可以包括通信接口17,和用于连接处理器15、存储器16以及通信接口17的总线18。
在本申请的实施例中,上述处理器15可以为特定用途集成电路(ApplicationSpecific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(ProgRAMmable Logic Device,PLD)、现场可编程门阵列(Field ProgRAMmable GateArray,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。终端10还可以包括存储器16,该存储器16可以与处理器15连接,其中,存储器16用于存储可执行程序代码,该程序代码包括计算机操作指令,存储器16可能包含高速RAM存储器,也可能还包括非易失性存储器,例如,至少两个磁盘存储器。
在本申请的实施例中,总线18用于连接通信接口17、处理器15以及存储器16以及这些器件之间的相互通信。
在本申请的实施例中,存储器16,用于存储指令和数据。
进一步地,在本申请的实施例中,上述处理器15,用于通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,所述第一部分计算层中包括i个计算层,i为大于0的整数;基于预设分类计算层确定所述第一特征图对应的处理级别;其中,所述预设分类计算层为所述目标处理模型中的第(i+1)个计算层;所述处理级别用于表征处理的难易程度;按照所述处理级别在所述目标处理模型中确定目标计算层;按照所述目标计算层获得所述目标图像对应的处理结果。
在实际应用中,上述存储器16可以是易失性存储器(volatile memory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatile memory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard DiskDrive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器15提供指令和数据。
另外,在本实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种终端,该终端通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,第一部分计算层中包括i个计算层,i为大于0的整数;基于预设分类计算层确定第一特征图对应的处理级别;其中,预设分类计算层为目标处理模型中的第(i+1)个计算层;处理级别用于表征处理的难易程度;按照处理级别在目标处理模型中确定目标计算层;按照目标计算层获得目标图像对应的处理结果。由此可见,在本申请的实施例中,通过在深度卷积神经网络中引入对处理难以程度进行预测的控制器,终端可以先利用控制器对目标图像对应的、表征处理的难易程度的处理级别进行确定,然后按照不同的处理级别对终端进行适应性的处理,也就是说,通过控制器构建的树状的网络,对于不同的输入对象,可以通过不同的网络分支执行不同的处理流程,能够有效简化处理流程的复杂度,从而可以大大提高处理效率,提升处理准确性。
本申请实施例提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上所述的基于深度学习的树状处理方法。
具体来讲,本实施例中的一种基于深度学习的树状处理方法对应的程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与一种基于深度学习的树状处理方法对应的程序指令被一电子设备读取或被执行时,包括如下步骤:
通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,所述第一部分计算层中包括i个计算层,i为大于0的整数;
基于预设分类计算层确定所述第一特征图对应的处理级别;其中,所述预设分类计算层为所述目标处理模型中的第(i+1)个计算层;所述处理级别用于表征处理的难易程度;
按照所述处理级别在所述目标处理模型中确定目标计算层;
按照所述目标计算层获得所述目标图像对应的处理结果。
本申请实施例提供一种芯片,芯片包括可编程逻辑电路和/或程序指令,当芯片运行时实现如上所述的基于深度学习的树状处理方法,具体包括如下步骤:
通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,所述第一部分计算层中包括i个计算层,i为大于0的整数;
基于预设分类计算层确定所述第一特征图对应的处理级别;其中,所述预设分类计算层为所述目标处理模型中的第(i+1)个计算层;所述处理级别用于表征处理的难易程度;
按照所述处理级别在所述目标处理模型中确定目标计算层;
按照所述目标计算层获得所述目标图像对应的处理结果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。
Claims (24)
1.一种基于深度学习的树状处理方法,其特征在于,所述方法包括:
通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,所述第一部分计算层中包括i个计算层,i为大于0的整数;
基于预设分类计算层确定所述第一特征图对应的处理级别;其中,所述预设分类计算层为所述目标处理模型中的第(i+1)个计算层;所述处理级别用于表征处理的难易程度;
按照所述处理级别在所述目标处理模型中确定目标计算层;
按照所述目标计算层获得所述目标图像对应的处理结果。
2.根据权利要求1所述的方法,其特征在于,所述预设分类计算层为设置在所述第(i+1)个计算层中的至少一个基本分类单元。
3.根据权利要求2所述的方法,其特征在于,当所述目标处理模型用于分类处理时,所述基于预设分类计算层确定所述第一特征图对应的处理级别,包括:
通过所述预设分类计算层对所述第一特征图进行分类难度预测,获得第一预测结果;
基于所述第一预测结果,确定所述处理级别。
4.根据权利要求3所述的方法,其特征在于,所述按照所述处理级别在所述目标处理模型中确定目标计算层,包括:
若所述处理级别为第一难度等级,则将所述目标处理模型中所述第一部分计算层的第一分类计算层确定为所述目标计算层;
若所述处理级别为第二难度等级,则将所述目标处理模型中的第二部分计算层,和所述第二部分计算层的第二分类计算层确定为所述目标计算层;其中,所述第二部分计算层包括多个计算层;
若所述处理级别为第三难度等级,则将所述目标处理模型中的所述第二部分计算层、第三部分计算层,以及所述第三部分计算层的第三分类计算层确定为所述目标计算层;其中,所述第三部分计算层包括多个计算层。
5.根据权利要求4所述的方法,其特征在于,所述按照所述目标计算层获得所述目标图像对应的处理结果,包括:
若所述处理级别为第一难度等级,则使用所述第一分类计算层对所述第一特征图进行分类处理,获得所述处理结果;
若所述处理级别为第二难度等级,则依次使用所述第二部分计算层和所述第二分类计算层对所述第一特征图进行分类处理,获得所述处理结果;
若所述处理级别为第三难度等级,则依次使用所述第二部分计算层、所述第三部分计算层,以及所述第三分类计算层对所述第一特征图进行分类处理,获得所述处理结果。
6.根据权利要求4所述的方法,其特征在于,所述按照所述目标计算层获得所述目标图像对应的处理结果,包括:
当所述处理级别为第n难度等级时,依次使用所述第二部分计算层至第n部分计算层,以及所述第n部分计算层的第n分类计算层对所述第一特征图进行分类处理,获得所述处理结果;其中,n为大于2的整数,n取值越大,分类难度越高。
7.根据权利要求6所述的方法,其特征在于,所述第n分类计算层包括全连接层和Softmax层,所述依次使用所述第二部分计算层至第n部分计算层,以及所述第n部分计算层的第n分类计算层对所述第一特征图进行分类处理,获得所述处理结果,包括:
将所述第一特征图像依次输入至所述第二部分计算层至第n部分计算层,获得初始结果;
将所述初始结果输入至所述全连接层和所述Softmax层,输出所述处理结果。
8.根据权利要求2所述的方法,其特征在于,当所述目标处理模型用于去噪处理时,所述将所述第一特征图输入至预设分类计算层中,获得所述目标图像对应的处理级别,包括:
通过所述预设分类计算层对所述第一特征图进行去噪难度预测,获得第二预测结果;
基于所述第二预测结果,确定所述处理级别。
9.根据权利要求8所述的方法,其特征在于,所述按照所述处理级别在所述目标处理模型中确定目标计算层,包括:
若所述处理级别为第一难度等级,则将所述目标处理模型中所述第一部分计算层的目标分类计算层确定为所述目标计算层;
若所述处理级别为第二难度等级,则将所述目标处理模型中的第二部分计算层和所述目标分类计算层确定为所述目标计算层;其中,所述第二部分计算层包括多个计算层;
若所述处理级别为第三难度等级,则将所述目标处理模型中的所述第二部分计算层、第三部分计算层,以及所述目标分类计算层确定为所述目标计算层;其中,所述第三部分计算层包括多个计算层;
若所述处理级别为第四难度等级,则将所述目标处理模型中的所述第二部分计算层、第三部分计算层、第四部分计算层,以及所述目标分类计算层确定为所述目标计算层;其中,所述第四部分计算层包括多个计算层。
10.根据权利要求9所述的方法,其特征在于,所述按照所述目标计算层获得所述目标图像对应的处理结果,包括:
若所述处理级别为第一难度等级,利用所述第一特征图进行融合处理,获得第一融合结果;
根据所述第一融合结果和所述目标分类计算层,确定所述处理结果。
11.根据权利要求10所述的方法,其特征在于,所述按照所述目标计算层获得所述目标图像对应的处理结果,包括:
若所述处理级别为第二难度等级,则使用第二部分计算层,获得所述第一特征图对应的第二特征图;
利用所述第一特征图和所述第二特征图进行融合处理,获得第二融合结果;
根据所述第二融合结果和所述目标分类计算层,确定所述处理结果。
12.根据权利要求11所述的方法,其特征在于,所述使用第二部分计算层,获得所述第一特征图对应的第二特征图,包括:
使用所述第二部分计算层中的下采样计算层对所述第一特征图进行下采样处理,获得第一下采样后特征图;
使用所述第二部分计算层对所述第一下采样后特征图进行去噪处理,获得所述第二特征图。
13.根据权利要求11所述的方法,其特征在于,所述利用所述第一特征图和所述第二特征图进行融合处理,获得第二融合结果,包括:
对所述第二特征图依次进行融合处理和上采样处理,获得第一待融合特征图;
对所述第一待融合特征图与所述第一特征图进行融合处理,获得所述第二融合结果。
14.根据权利要求13所述的方法,其特征在于,所述按照所述目标计算层获得所述目标图像对应的处理结果,包括:
若所述处理级别为第三难度等级,则在通过第二部分计算层获得所述第二特征图之后,使用第三部分计算层获得所述第二特征图对应的第三特征图;
利用所述第一特征图、所述第二特征图以及所述第三特征图进行融合处理,获得第三融合结果;
根据所述第三融合结果和所述目标分类计算层,确定所述处理结果。
15.根据权利要求14所述的方法,其特征在于,所述使用第三部分计算层获得所述第二特征图对应的第三特征图,包括:
使用所述第三部分计算层中的下采样计算层对所述第二特征图进行下采样处理,获得第二下采样后特征图;
使用所述第三部分计算层对所述第二下采样后特征图进行去噪处理,获得所述第三特征图。
16.根据权利要求14所述的方法,其特征在于,所述利用所述第一特征图、所述第二特征图以及所述第三特征图进行融合处理,获得第三融合结果,包括:
对所述第三特征图依次进行融合处理和上采样处理,获得第二待融合特征图;
对所述第二待融合特征图与所述第二特征图进行融合处理,获得第三待融合特征图;
对所述第三待融合特征图进行上采样处理,获得第四待融合特征图;
对所述第四待融合特征图与所述第一特征图进行融合处理,获得所述第三融合结果。
17.根据权利要求16所述的方法,其特征在于,所述按照所述目标计算层获得所述目标图像对应的处理结果,包括:
若所述处理级别为第四难度等级,则在通过第三部分计算层获得所述第三特征图之后,使用第四部分计算层获得所述第三特征图对应的第四特征图;
利用所述第一特征图、所述第二特征图、所述第三特征图以及所述第四特征图进行融合处理,获得第四融合结果;
根据所述第四融合结果和所述目标分类计算层,确定所述处理结果。
18.根据权利要求9所述的方法,其特征在于,所述按照所述目标计算层获得所述目标图像对应的处理结果,包括:
若所述处理级别为第m难度等级,则在通过第(m-1)部分计算层获得所述第(m-1)特征图之后,使用第m部分计算层获得所述第(m-1)特征图对应的第m特征图;其中,所述第m部分计算层包括多个计算层,m为大于1的整数;
利用所述第一特征图至所述第m特征图进行融合处理,获得第m融合结果;
根据所述第m融合结果和所述目标分类计算层,确定所述处理结果。
19.根据权利要求3所述的方法,其特征在于,所述基于预设分类计算层确定所述第一特征图对应的处理级别之前,所述方法还包括:
使用第一数据集进行模型训练,获得所述目标处理模型;其中,所述第一数据集中包括训练图像和与所述训练图像对应的类别标签。
20.根据权利要求7所述的方法,其特征在于,所述基于预设分类计算层确定所述第一特征图对应的处理级别之前,所述方法还包括:
使用第二数据集进行模型训练,获得所述目标处理模型;其中,所述第二数据集中包括训练图像和与所述训练图像对应的去噪后图像。
21.一种终端,其特征在于,所述终端包括:提取单元,确定单元,获取单元,
所述提取单元,用于通过目标处理模型中的第一部分计算层提取目标图像的第一特征图;其中,所述第一部分计算层中包括i个计算层,i为大于0的整数;
所述确定单元,用于基于预设分类计算层确定所述第一特征图对应的处理级别;其中,所述预设分类计算层为所述目标处理模型中的第(i+1)个计算层;所述处理级别用于表征处理的难易程度;以及按照所述处理级别在所述目标处理模型中确定目标计算层;
所述获取单元,用于按照所述目标计算层获得所述目标图像对应的处理结果。
22.一种终端,其特征在于,所述终端包括处理器、存储有所述处理器可执行指令的存储器,当所述指令被所述处理器执行时,实现如权利要求1-20任一项所述的方法。
23.一种芯片,其特征在于,所述芯片包括可编程逻辑电路和/或程序指令,当所述芯片运行时,实现如权利要求1-20任一项所述的方法。
24.一种计算机可读存储介质,其上存储有程序,应用于终端中,其特征在于,所述程序被处理器执行时,实现如权利要求1-20任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010777381.XA CN111931841A (zh) | 2020-08-05 | 2020-08-05 | 基于深度学习的树状处理方法、终端、芯片及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010777381.XA CN111931841A (zh) | 2020-08-05 | 2020-08-05 | 基于深度学习的树状处理方法、终端、芯片及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111931841A true CN111931841A (zh) | 2020-11-13 |
Family
ID=73306729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010777381.XA Pending CN111931841A (zh) | 2020-08-05 | 2020-08-05 | 基于深度学习的树状处理方法、终端、芯片及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931841A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673562A (zh) * | 2021-07-15 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种特征增强的方法、目标分割方法、装置和存储介质 |
CN114943976A (zh) * | 2022-07-26 | 2022-08-26 | 深圳思谋信息科技有限公司 | 模型生成的方法、装置、电子设备和存储介质 |
-
2020
- 2020-08-05 CN CN202010777381.XA patent/CN111931841A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673562A (zh) * | 2021-07-15 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种特征增强的方法、目标分割方法、装置和存储介质 |
CN114943976A (zh) * | 2022-07-26 | 2022-08-26 | 深圳思谋信息科技有限公司 | 模型生成的方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11670071B2 (en) | Fine-grained image recognition | |
CN109522942B (zh) | 一种图像分类方法、装置、终端设备和存储介质 | |
CN109685819B (zh) | 一种基于特征增强的三维医学图像分割方法 | |
CN107229757B (zh) | 基于深度学习和哈希编码的视频检索方法 | |
CN107578014B (zh) | 信息处理装置及方法 | |
CN112183577A (zh) | 一种半监督学习模型的训练方法、图像处理方法及设备 | |
CN111291809B (zh) | 一种处理装置、方法及存储介质 | |
CN112288011B (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
CN111126258A (zh) | 图像识别方法及相关装置 | |
CN113688304A (zh) | 搜索推荐模型的训练方法、搜索结果排序的方法及装置 | |
CN113822209B (zh) | 高光谱图像识别方法、装置、电子设备及可读存储介质 | |
CN113989890A (zh) | 基于多通道融合和轻量级神经网络的人脸表情识别方法 | |
CN111401339B (zh) | 识别人脸图像中的人的年龄的方法、装置及电子设备 | |
CN111523463B (zh) | 基于匹配-回归网络的目标跟踪方法及训练方法 | |
CN114969417B (zh) | 图像重排序方法、相关设备及计算机可读存储介质 | |
CN111931841A (zh) | 基于深度学习的树状处理方法、终端、芯片及存储介质 | |
CN112086144A (zh) | 分子生成方法、装置、电子设备及存储介质 | |
CN111915618A (zh) | 基于峰值响应增强的实例分割算法、计算设备 | |
CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
CN114168768A (zh) | 图像检索方法及相关设备 | |
CN116152334A (zh) | 图像处理方法及相关设备 | |
CN115937516B (zh) | 一种图像语义分割方法、装置、存储介质及终端 | |
CN116740362A (zh) | 一种基于注意力的轻量化非对称场景语义分割方法及系统 | |
CN115906861A (zh) | 基于交互方面信息融合的语句情感分析方法以及装置 | |
KR20200061154A (ko) | 시각 및 텍스트 정보를 포함하는 다이어그램의 분석 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |