CN110633735B - 基于小波变换的渐进式深度卷积网络图像识别方法及装置 - Google Patents

基于小波变换的渐进式深度卷积网络图像识别方法及装置 Download PDF

Info

Publication number
CN110633735B
CN110633735B CN201910783600.2A CN201910783600A CN110633735B CN 110633735 B CN110633735 B CN 110633735B CN 201910783600 A CN201910783600 A CN 201910783600A CN 110633735 B CN110633735 B CN 110633735B
Authority
CN
China
Prior art keywords
image
network
sub
dnn
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910783600.2A
Other languages
English (en)
Other versions
CN110633735A (zh
Inventor
何志权
曹文明
刘启凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910783600.2A priority Critical patent/CN110633735B/zh
Publication of CN110633735A publication Critical patent/CN110633735A/zh
Application granted granted Critical
Publication of CN110633735B publication Critical patent/CN110633735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于小波变换的渐进式深度卷积网络图像识别方法及装置所述方法包括：选取训练图像集，对训练图像进行小波分解，获得所述训练图像的成分图像；训练渐进式深度卷积神经网络模型；判断所述渐进式深度卷积神经网络模型是否稳定；若是，获取待识别图像，利用预先训练好的所述渐进式深度卷积神经网络模型识别图像。根据本发明的方案，利用图像小波变换所提供的对图像的多尺度、多层级的表示，进行渐进式深度卷积神经网络的设计，能自动选择最小化的成分图像组合来实现图像的准确识别，能够加快深度学习模型的运算速度，消耗最小化计算资源。

Description

基于小波变换的渐进式深度卷积网络图像识别方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种基于小波变换的渐进式深度卷积网络图像识别方法及装置。
背景技术
近几年，深度学习模型得到了飞速的发展，在越来越多的领域得到了成功的应用，其中一个应用是进行图像识别。深度学习模型通常包含大量的参数，运行深度学习模型时需要占用大量的内存资源，并且还需要较大的运算量。现有的用于图像识别的使用了深度学习模型的深度神经网络，一但深度神经网络训练完毕，对任何输入图像，其网络结构、执行过程和计算复杂度都是固定不变的，无法适应动态变化的应用场景。例如图1A所示的场景复杂的小猫图像和图1B所示的场景简单的小猫图像，使用深度神经网络进行图像识别时，其执行过程、计算复杂度都是一样的。而实际上，图1B所示的场景简单的小猫图像使用低分辨率或少数的网络层级就可以实现准确的识别，使用固定层级的深度神经网络进行识别，会造成大量的计算资源的浪费。
现有技术中提出了可伸缩的深度学习神经网络，可伸缩的深度学习神经网络的实现方式是把主网络分成若干个层级，从待识别图像的原图提取特征，并通过复杂的决策网络来决定主网络在什么时候提前退出。现有的可伸缩的深度学习神经网络仍存在主网络层数固定、计算量大、资源消耗大、计算速度慢的不足。
发明内容
为解决上述技术问题，本发明提出了一种基于小波变换的渐进式深度卷积网络图像识别方法及装置，用以解决现有技术中主网络层数固定、计算量大、资源消耗大、计算速度慢的技术问题。
根据本发明的第一方面，提供一种基于小波变换的渐进式深度卷积网络图像识别方法，包括：
步骤S101：选取训练图像集，对训练图像Xk进行小波分解，获得所述训练图像的成分图像I1…Im；
步骤S102：训练渐进式深度卷积神经网络模型，包括：构建M个单独的DNN子网络N1…Ni…NM(1≤i≤M)组成的渐进式深度神经网络层，将所述成分图像I1…Im分别输入对应的DNN子网络N1…Nm，输出成分图像I1…Im对应的特征F1…Fm，各个数据通道R1-Rm上进行特征融合，将通道Ri获得的成分图像Ii对应的特征Fi与在前的数据通道Ri-1对应的特征Fi-1融合，第一数据通道R1融合后特征仍为F1；将各通道上融合后的特征F1…Fm分别输入各自对应的评估子网络E1…Em，各评估子网络E1…Em用于计算各评估子网络的损失函数，并将所述损失函数值输入决策控制网络，由决策控制网络确定识别训练图像Xk所需的DNN子网络的最少层级；
所述决策控制网络的损失函数定义为
L＝LE+αLCADP-βLwavelet，
所述决策控制网络的损失函数的控制目标为最大化该损失函数；
其中α、β分别表示损失函数系数，取值均为0.1,LE用于评价评估子网络，由所述评估子网络的输出和训练图像类别的交叉熵定义，
Figure BDA0002177322060000021
其中，M是评估子网络的个数，wn是第n个评估子网络的权重，wn＝γwn-1，γ<1，yn是第n个评估子网络的输出；
Figure BDA0002177322060000022
是训练图像的真正类别；
Figure BDA0002177322060000031
其中k是训练图像类别的下标，C是训练图像类别数目，LCE()是评估子网络的损失函数，为交叉熵函数；
LCADP用于优化最小化累积的计算复杂度和预测的误差；
Figure BDA0002177322060000032
其中C(s)是第s个DNN子网络的复杂度，用该子网络的参数个数来表示，N(x)是训练图像x所需要的DNN子网络个数，即需要多少个DNN子网络才能输出正确的分类结果,yN(x)是N(x)个DNN子网络中最后一个DNN子网络的输出；
Lwavelet用于描述图像小波变换的损失，
Figure BDA0002177322060000033
其中x是训练图像，l是小波变换的阶数；
对训练图像Xk，通过所述决策控制网络决策，得到最早输出了正确分类结果的评估网络层级m，即E(Xk,m)＝1，表示训练图像Xk在第m个数据通路上最早得到正确分类识别，也即在第m层DNN子网最早得到正确分类识别；
步骤S103：判断所述渐进式深度卷积神经网络模型是否稳定，若否，进入步骤S101；若是，进入步骤S104；
步骤S104：获取待识别图像，利用预先训练好的所述渐进式深度卷积神经网络模型识别图像。
进一步地，所述DNN子网络N1的输入与训练图像原图大小一致。
进一步地，所述决策控制网络为递归神经网络(RNN)。
进一步地，所述获得所述训练图像的成分图像I1…Im，为从JPEG2000的解码重建过程中选取和组合出不同的分辨率大小的低频率子带(Low-Frequency Subband)和不同图像质量的重建图作为成分图像，也可以选取高频子带(High-Frequency Subband)的重建图作为成分图像。
根据本发明第二方面，提供一种基于小波变换的渐进式深度卷积网络图像识别装置，包括：
生成成分图像模块：用于训练图像集，对训练图像Xk进行小波分解，获得所述训练图像的成分图像I1…Im；
训练模块：用于训练渐进式深度卷积神经网络模型，包括：构建M个单独的DNN子网络N1…Ni…NM(1≤i≤M)组成的渐进式深度神经网络层，将所述成分图像I1…Im分别输入对应的DNN子网络N1…Nm，输出成分图像I1…Im对应的特征F1…Fm，各个数据通道R1-Rm上进行特征融合，将通道Ri获得的成分图像Ii对应的特征Fi与在前的数据通道Ri-1对应的特征Fi-1融合，第一数据通道R1融合后特征仍为F1；将各通道上融合后的特征F1…Fm分别输入各自对应的评估子网络E1…Em，各评估子网络E1…Em用于计算各评估子网络的损失函数，并将所述损失函数值输入决策控制网络，由决策控制网络确定识别训练图像Xk所需的DNN子网络的最少层级；
所述决策控制网络的损失函数定义为
L＝LE+αLCADP-βLwavelet，
所述决策控制网络的损失函数的控制目标为最大化该损失函数；
其中α、β分别表示损失函数系数，取值均为0.1,LE用于评价评估子网络，由所述评估子网络的输出和训练图像类别的交叉熵定义，
Figure BDA0002177322060000041
其中，M是评估子网络的个数，wn是第n个评估子网络的权重，wn＝γwn-1，γ<1，yn是第n个评估子网络的输出；
Figure BDA0002177322060000042
是训练图像的真正类别；
Figure BDA0002177322060000043
其中k是训练图像类别的下标，C是训练图像类别数目，LCE()是评估子网络的损失函数，为交叉熵函数；
LCADP用于优化最小化累积的计算复杂度和预测的误差；
Figure BDA0002177322060000044
其中C(s)是第s个DNN子网络的复杂度，用该子网络的参数个数来表示，N(x)是训练图像x所需要的DNN子网络个数，即需要多少个DNN子网络才能输出正确的分类结果,yN(x)是N(x)个DNN子网络中最后一个DNN子网络的输出；
Lwavelet用于描述图像小波变换的损失，
Figure BDA0002177322060000051
其中x是训练图像，l是小波变换的阶数；
对训练图像Xk，通过所述决策控制网络决策，得到最早输出了正确分类结果的评估网络层级m，即E(Xk,m)＝1，表示训练图像Xk在第m个数据通路上最早得到正确分类识别，也即在第m层DNN子网最早得到正确分类识别；
判断模块：用于判断所述渐进式深度卷积神经网络模型是否稳定；
图像识别模块：用于获取待识别图像，利用预先训练好的所述渐进式深度卷积神经网络模型识别图像。
进一步地，所述DNN子网络N1的输入与训练图像原图大小一致。
进一步地，所述决策控制网络为递归神经网络(RNN)。
进一步地，所述生成成分图像模块，从JPEG2000的解码重建过程中选取和组合出不同的分辨率大小的低频率子带(Low-Frequency Subband)和不同图像质量的重建图作为成分图像，也可以选取高频子带(High-Frequency Subband)的重建图作为成分图像。
根据本发明第三方面，提供一种基于小波变换的渐进式深度卷积网络图像识别系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于小波变换的渐进式深度卷积网络图像识别方法。
根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于小波变换的渐进式深度卷积网络图像识别方法。
根据本发明的上述方案，利用图像小波变换所提供的对图像的多尺度、多层级的表示，进行渐进式深度卷积神经网络的设计，能自动选择最小化的成分图像组合来实现图像的准确识别，能够优化深度卷积神经网络对计算资源的消耗，加快深度学习模型的运算速度，消耗最小化计算资源，能够实时识别图像。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：
图1A为场景复杂的小猫图像；
图1B为场景简单的小猫图像；
图2A为小波分解前的原图；
图2B为2阶小波分解的图像；
图3为本发明一个实施方式的基于小波变换的渐进式深度卷积神经网络的结构图；
图4为本发明提出的基于小波变换的渐进式深度卷积神经网络图像识别方法流程图；
图5为本发明提出的基于小波变换的渐进式深度卷积神经网络图像识别装置组成框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先结合图2A-图2B说明图像小波分解，图2A示出了小波分解前的原图，图2B示出了2阶小波分解的图像。
图像的小波变换通过小波分解从图像压缩码流可以提取不同的阶数，进而提取到不同的成分图像。这些成分图像各自包含原图不同的特征信息，彼此互补，并且整体数据量与原图一样。小波分解中，阶数每提高一级，图像尺寸就减小一半，图2B示出了2阶小波分解的图像。
以下结合图3说明本发明的基于小波变换的渐进式深度卷积神经网络的结构，图3示出了本发明的基于小波变换的渐进式深度卷积神经网络的结构图。如图3所示，
所述渐进式深度卷积神经网络具有渐进式深度神经网络层(DNN)、特征融合层、评估网络层、决策控制网络层。
所述渐进式深度神经网络层划分为M个单独的DNN子网络N1…Ni…NM(1≤i≤M)，每个DNN子网络Ni都包括网络层、卷积层和pooling层、输出层。每个DNN子网络Ni的输入是待识别图像经频域成分图像提取处理，即待识别图像经小波分解i阶后的图像Ii，也称第i个成分图像Ii。利用单独的DNN子网络Ni对成分图像Ii进行分析提取特征Fi，作为每个DNN子网络Ni的输出。优选地，最小的DNN子网络N1，为了避免引入噪声，子网络N1的输入和输入的待识别图像的原始图像大小一致。
每个DNN子网络Ni与其对应的特征融合层部分、评估网络层Ei之间构成数据通道Ri。在各个数据通道Ri对应的特征融合层部分，将该通道获得的成分图像Ii对应的特征Fi与在前的数据通道Ri-1对应的特征Fi-1融合。例如，第二个数据通道把第二个成分图像I2的特征F2与第一个成分图像I1的特征F1融合起来，即数据通道R2上特征融合后的特征为F1∪F2。同理，在第m个数据通道Rm上特征融合后的特征为F1∪F2…∪Fm。第一数据通道R1由于不存在在前数据通道，因此，其融合后特征仍为F1。在各个数据通道Ri上，将融合后特征Fi作为评估子网络Ei的输入。
所述评估网络层划分为M个单独的评估子网络E1…Ei…EM(1≤i≤M)，每个评估子网络Ei。评估子网络Ei用于计算损失函数以评估当前子网络层级的输出是否满足了最终的要求，例如，是否满足了图像分类的准确率要求。并将输出作为决策控制网络层的输入。如果当前子网络层级的输出已经满足最终的要求，后续子网络Ni+1…NM及其评估子网络Ei+1…EM都不再需要参与评估及计算。
随着成分图像的增加和特征的不断融合，渐进式深度神经网络层对输入图像积累了越来越多的特征描述，视觉区分能力更强，识别图像分类的性能也越来越好。所述决策控制网络层用于确定对输入的图像，最少需要多少层级DNN子网络对其进行识别。本实施例中使用递归神经网络(RNN)来决策。
以下结合图4说明本发明的基于小波变换的渐进式深度卷积神经网络图像识别方法，图4示出了本发明的基于小波变换的渐进式深度卷积神经网络图像识别方法流程图。如图4所示，
步骤S101：选取训练图像集，对训练图像Xk进行小波分解，获得所述训练图像的成分图像I1…Im；
步骤S102：训练渐进式深度卷积神经网络模型，包括：构建M个单独的DNN子网络N1…Ni…NM(1≤i≤M)组成的渐进式深度神经网络层，将所述成分图像I1…Im分别输入对应的DNN子网络N1…Nm，输出成分图像I1…Im对应的特征F1…Fm，各个数据通道R1-Rm上进行特征融合，将通道Ri获得的成分图像Ii对应的特征Fi与在前的数据通道Ri-1对应的特征Fi-1融合，第一数据通道R1融合后特征仍为F1；将各通道上融合后的特征F1…Fm分别输入各自对应的评估子网络E1…Em，各评估子网络E1…Em用于计算各评估子网络的损失函数，并将所述损失函数值输入决策控制网络，由决策控制网络确定识别训练图像Xk所需的DNN子网络的最少层级；
所述决策控制网络的损失函数定义为
L＝LE+αLCADP-βLwavelet，
所述决策控制网络的损失函数的控制目标为最大化该损失函数；
其中α、β分别表示损失函数系数，默认取值均为0.1，可以在所述深度卷积神经网络模型训练阶段自适应修改,LE用于评价评估子网络，由所述评估子网络的输出和训练图像类别的交叉熵定义，
Figure BDA0002177322060000091
其中，M是评估子网络的个数，wn是第n个评估子网络的权重，wn＝γwn-1，γ<1，yn是第n个评估子网络的输出；
Figure BDA0002177322060000092
是训练图像的真正类别；
Figure BDA0002177322060000093
其中k是训练图像类别的下标，C是训练图像类别数目，LCE()是评估子网络的损失函数，为交叉熵函数；
LCADP用于优化最小化累积的计算复杂度和预测的误差；
Figure BDA0002177322060000094
其中C(s)是第s个DNN子网络的复杂度，可以用该子网络的参数个数来表示，N(x)是训练图像x所需要的DNN子网络个数，即需要多少个DNN子网络才能输出正确的分类结果,yN(x)是N(x)个DNN子网络中最后一个DNN子网络的输出，因为共有N(x)个单元，最后一个单元的输出性能是最好的；
Lwavelet用于描述图像小波变换的损失，
Figure BDA0002177322060000095
其中x是训练图像，l是小波变换的阶数；
对训练图像Xk，通过所述决策控制网络决策，得到最早输出了正确分类结果的评估网络层级m，即E(Xk,m)＝1，表示训练图像Xk在第m个数据通路上最早得到正确分类识别，也即在第m层DNN子网最早得到正确分类识别；
步骤S103：判断所述渐进式深度卷积神经网络模型是否稳定，若否，进入步骤S101；若是，进入步骤S104；
步骤S104：获取待识别图像，利用预先训练好的所述渐进式深度卷积神经网络模型识别图像。
所述步骤S101：选取训练图像集，对训练图像Xk进行小波分解，获得所述训练图像的成分图像I1…Im，还包括：
所述获得所述训练图像的成分图像I1…Im，可以从JPEG2000的解码重建过程中选取和组合出不同的分辨率大小的低频率子带(Low-Frequency Subband)和不同图像质量的重建图作为成分图像，也可以选取高频子带(High-Frequency Subband)的重建图作为成分图像。
步骤S102：训练渐进式深度卷积神经网络模型，还包括：
设置第n个评估子网络的权重wn的权重公式为wn＝γwn-1，γ<1，每个评估子网络的权重是指数下降的，目的是为了让训练出的渐进式深度卷积神经网络模型倾向于用更少层的小波变换图像。
图像小波变换的损失Lwavelet还可以定义为训练图像Xk的原图与小波变换后得到的成分图像的均方误差。假设该图像的前面m个成分图像I1,I2,..,Im被使用，通过这m个成分图像可以重建原图
Figure BDA0002177322060000101
那么
Figure BDA0002177322060000102
所述DNN子网络可以使用预先训练好的网络模型，模型训练时仅训练评价子网络和决策控制网络。
请参考图5，其为本发明提出的基于小波变换的渐进式深度卷积神经网络图像识别装置组成框图。以下结合图5说明本发明的基于小波变换的渐进式深度卷积神经网络图像识别装置，如图所示，该装置包括：
生成成分图像模块：用于训练图像集，对训练图像Xk进行小波分解，获得所述训练图像的成分图像I1…Im；
训练模块：用于训练渐进式深度卷积神经网络模型，包括：构建M个单独的DNN子网络N1…Ni…NM(1≤i≤M)组成的渐进式深度神经网络层，将所述成分图像I1…Im分别输入对应的DNN子网络N1…Nm，输出成分图像I1…Im对应的特征F1…Fm，各个数据通道R1-Rm上进行特征融合，将通道Ri获得的成分图像Ii对应的特征Fi与在前的数据通道Ri-1对应的特征Fi-1融合，第一数据通道R1融合后特征仍为F1；将各通道上融合后的特征F1…Fm分别输入各自对应的评估子网络E1…Em，各评估子网络E1…Em用于计算各评估子网络的损失函数，并将所述损失函数值输入决策控制网络，由决策控制网络确定识别训练图像Xk所需的DNN子网络的最少层级；
所述决策控制网络的损失函数定义为
L＝LE+αLCADP-βLwavelet，
所述决策控制网络的损失函数的控制目标为最大化该损失函数；
其中α、β分别表示损失函数系数，取值均为0.1,LE用于评价评估子网络，由所述评估子网络的输出和训练图像类别的交叉熵定义，
Figure BDA0002177322060000111
其中，M是评估子网络的个数，wn是第n个评估子网络的权重，wn＝γwn-1，γ<1，yn是第n个评估子网络的输出；
Figure BDA0002177322060000112
是训练图像的真正类别；
Figure BDA0002177322060000113
其中k是训练图像类别的下标，C是训练图像类别数目，LCE()是评估子网络的损失函数，为交叉熵函数；
LCADP用于优化最小化累积的计算复杂度和预测的误差；
Figure BDA0002177322060000114
其中C(s)是第s个DNN子网络的复杂度，用该子网络的参数个数来表示，N(x)是训练图像x所需要的DNN子网络个数，即需要多少个DNN子网络才能输出正确的分类结果,yN(x)是N(x)个DNN子网络中最后一个DNN子网络的输出；
Lwavelet用于描述图像小波变换的损失，
Figure BDA0002177322060000115
其中x是训练图像，l是小波变换的阶数；
对训练图像Xk，通过所述决策控制网络决策，得到最早输出了正确分类结果的评估网络层级m，即E(Xk,m)＝1，表示训练图像Xk在第m个数据通路上最早得到正确分类识别，也即在第m层DNN子网最早得到正确分类识别；
判断模块：用于判断所述渐进式深度卷积神经网络模型是否稳定；
图像识别模块：用于获取待识别图像，利用预先训练好的所述渐进式深度卷积神经网络模型识别图像。
进一步地，所述DNN子网络N1的输入与训练图像原图大小一致。
进一步地，所述决策控制网络为递归神经网络(RNN)。
进一步地，所述生成成分图像模块，从JPEG2000的解码重建过程中选取和组合出不同的分辨率大小的低频率子带(Low-Frequency Subband)和不同图像质量的重建图作为成分图像，也可以选取高频子带(High-Frequency Subband)的重建图作为成分图像。
本发明实施例进一步给出一种基于小波变换的渐进式深度卷积网络图像识别系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如上所述的基于小波变换的渐进式深度卷积网络图像识别方法。
本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如上所述的基于小波变换的渐进式深度卷积网络图像识别方法。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于小波变换的渐进式深度卷积网络图像识别方法，其特征在于，所述方法包括：
步骤S101：选取训练图像集，对训练图像Xk进行小波分解，获得所述训练图像的成分图像I1…Im；
步骤S102：训练渐进式深度卷积神经网络模型，包括：构建M个单独的DNN子网络N1…Ni…NM组成的渐进式深度神经网络层，将所述成分图像I1…Im分别输入对应的DNN子网络N1…Nm，输出成分图像I1…Im对应的特征F1…Fm，各个数据通道R1-Rm上进行特征融合，将通道Ri获得的成分图像Ii对应的特征Fi与在前的数据通道Ri-1对应的特征Fi-1融合，第一数据通道R1融合后特征仍为F1；将各通道上融合后的特征F1…Fm分别输入各自对应的评估子网络E1…Em，各评估子网络E1…Em用于计算各评估子网络的损失函数，并将所述损失函数值输入决策控制网络，由决策控制网络确定识别训练图像Xk所需的DNN子网络的最少层级；其中，1≤i≤M；
所述决策控制网络的损失函数定义为
L＝LE+αLCADP-βLwavelet，
所述决策控制网络的损失函数的控制目标为最大化该损失函数；
其中α、β分别表示损失函数系数，取值均为0.1，LE用于评价评估子网络，由所述评估子网络的输出和训练图像类别的交叉熵定义，
Figure FDA0003110812680000011
其中，M是评估子网络的个数，wn是第n个评估子网络的权重，wn＝γwn-1，γ＜1，yn是第n个评估子网络的输出；
Figure FDA0003110812680000012
是训练图像的真正类别；
Figure FDA0003110812680000013
其中k是训练图像类别的下标，C是训练图像类别数目，LCE()是评估子网络的损失函数，为交叉熵函数；
LCADP用于优化最小化累积的计算复杂度和预测的误差；
Figure FDA0003110812680000014
其中C(s)是第s个DNN子网络的复杂度，用该子网络的参数个数来表示，N(x)是训练图像Xk所需要的DNN子网络个数，即需要多少个DNN子网络才能输出正确的分类结果，yN(x)是N(x)个DNN子网络中最后一个DNN子网络的输出；
Lwavelet用于描述图像小波变换的损失，
Figure FDA0003110812680000021
其中Xk是训练图像，l是小波变换的阶数；
对训练图像Xk，通过所述决策控制网络决策，得到最早输出了正确分类结果的评估网络层级α，即E(Xk，α)＝1，表示训练图像Xk在第α层DNN子网最早得到正确分类识别；
步骤S103：判断所述渐进式深度卷积神经网络模型是否稳定，若否，进入步骤S101；若是，进入步骤S104；
步骤S104：获取待识别图像，利用预先训练好的所述渐进式深度卷积神经网络模型识别图像。
2.如权利要求1所述的基于小波变换的渐进式深度卷积网络图像识别方法，其特征在于，所述DNN子网络N1的输入与训练图像原图大小一致。
3.如权利要求1所述的基于小波变换的渐进式深度卷积网络图像识别方法，其特征在于，所述决策控制网络为递归神经网络(RNN)。
4.一种基于小波变换的渐进式深度卷积网络图像识别装置，其特征在于，所述装置包括：
生成成分图像模块：用于训练图像集，对训练图像Xk进行小波分解，获得所述训练图像的成分图像I1…Im；
训练模块：用于训练渐进式深度卷积神经网络模型，包括：构建M个单独的DNN子网络N1…Ni…NM组成的渐进式深度神经网络层，将所述成分图像I1…Im分别输入对应的DNN子网络N1…Nm，输出成分图像I1…Im对应的特征F1…Fm，各个数据通道R1-Rm上进行特征融合，将通道Ri获得的成分图像Ii对应的特征Fi与在前的数据通道Ri-1对应的特征Fi-1融合，第一数据通道R1融合后特征仍为F1；将各通道上融合后的特征F1…Fm分别输入各自对应的评估子网络E1…Em，各评估子网络E1…Em用于计算各评估子网络的损失函数，并将所述损失函数值输入决策控制网络，由决策控制网络确定识别训练图像Xk所需的DNN子网络的最少层级；其中，1≤i≤M；
所述决策控制网络的损失函数定义为
L＝LE+αLCADP-βLwavelet，
所述决策控制网络的损失函数的控制目标为最大化该损失函数；
其中α、β分别表示损失函数系数，取值均为0.1，LE用于评价评估子网络，由所述评估子网络的输出和训练图像类别的交叉熵定义，
Figure FDA0003110812680000031
其中，M是评估子网络的个数，wn是第n个评估子网络的权重，wn＝γwn-1，γ＜1，yn是第n个评估子网络的输出；
Figure FDA0003110812680000032
是训练图像的真正类别；
Figure FDA0003110812680000033
其中k是训练图像类别的下标，C是训练图像类别数目，LCE()是评估子网络的损失函数，为交叉熵函数；
LCADP用于优化最小化累积的计算复杂度和预测的误差；
Figure FDA0003110812680000034
其中C(s)是第s个DNN子网络的复杂度，用该子网络的参数个数来表示，N(x)是训练图像Xk所需要的DNN子网络个数，即需要多少个DNN子网络才能输出正确的分类结果，yN(x)是N(x)个DNN子网络中最后一个DNN子网络的输出；
Lwavelet用于描述图像小波变换的损失，
Figure FDA0003110812680000035
其中Xk是训练图像，l是小波变换的阶数；
对训练图像Xk，通过所述决策控制网络决策，得到最早输出了正确分类结果的评估网络层级α，即E(Xk，α)＝1，表示训练图像Xk在第α层DNN子网最早得到正确分类识别；
判断模块：用于判断所述渐进式深度卷积神经网络模型是否稳定；
图像识别模块：用于获取待识别图像，利用预先训练好的所述渐进式深度卷积神经网络模型识别图像。
5.如权利要求4所述的基于小波变换的渐进式深度卷积网络图像识别装置，其特征在于，所述DNN子网络N1的输入与训练图像原图大小一致。
6.如权利要求4所述的基于小波变换的渐进式深度卷积网络图像识别装置，其特征在于，所述决策控制网络为递归神经网络(RNN)。
7.一种基于小波变换的渐进式深度卷积网络图像识别系统，其特征在于，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1-3任一所述的基于小波变换的渐进式深度卷积网络图像识别方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-3任一所述的基于小波变换的渐进式深度卷积网络图像识别方法。
CN201910783600.2A 2019-08-23 2019-08-23 基于小波变换的渐进式深度卷积网络图像识别方法及装置 Active CN110633735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910783600.2A CN110633735B (zh) 2019-08-23 2019-08-23 基于小波变换的渐进式深度卷积网络图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910783600.2A CN110633735B (zh) 2019-08-23 2019-08-23 基于小波变换的渐进式深度卷积网络图像识别方法及装置

Publications (2)

Publication Number Publication Date
CN110633735A CN110633735A (zh) 2019-12-31
CN110633735B true CN110633735B (zh) 2021-07-30

Family

ID=68968965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910783600.2A Active CN110633735B (zh) 2019-08-23 2019-08-23 基于小波变换的渐进式深度卷积网络图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN110633735B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160046B (zh) * 2020-01-23 2023-12-26 百度在线网络技术（北京）有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN113792573A (zh) * 2021-07-13 2021-12-14 浙江理工大学 一种小波变换低频信息与Xception网络的静态手势识别方法
CN114066807B (zh) * 2021-10-09 2023-02-10 西安深信科创信息技术有限公司 基于小波变换的多列卷积神经网络翻拍图片检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446942A (zh) * 2016-09-18 2017-02-22 兰州交通大学 基于增量学习的农作物病害识别方法
CN107274390A (zh) * 2017-06-05 2017-10-20 镇江苏仪德科技有限公司 一种基于小波分解的织物疵点区域特征值提取的方法
CN107679462A (zh) * 2017-09-13 2018-02-09 哈尔滨工业大学深圳研究生院 一种基于小波的深度多特征融合分类方法
CN109035314A (zh) * 2018-07-27 2018-12-18 深圳大学 基于几何代数的医学图像配准方法和系统
CN109920013A (zh) * 2019-01-30 2019-06-21 北京交通大学 基于渐进式卷积测量网络的图像重构方法及装置
CN110020693A (zh) * 2019-04-15 2019-07-16 西安电子科技大学 基于特征注意和特征改善网络的极化sar图像分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475214B2 (en) * 2017-04-05 2019-11-12 General Electric Company Tomographic reconstruction based on deep learning
CN107038692A (zh) * 2017-04-16 2017-08-11 南方医科大学 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446942A (zh) * 2016-09-18 2017-02-22 兰州交通大学 基于增量学习的农作物病害识别方法
CN107274390A (zh) * 2017-06-05 2017-10-20 镇江苏仪德科技有限公司 一种基于小波分解的织物疵点区域特征值提取的方法
CN107679462A (zh) * 2017-09-13 2018-02-09 哈尔滨工业大学深圳研究生院 一种基于小波的深度多特征融合分类方法
CN109035314A (zh) * 2018-07-27 2018-12-18 深圳大学 基于几何代数的医学图像配准方法和系统
CN109920013A (zh) * 2019-01-30 2019-06-21 北京交通大学 基于渐进式卷积测量网络的图像重构方法及装置
CN110020693A (zh) * 2019-04-15 2019-07-16 西安电子科技大学 基于特征注意和特征改善网络的极化sar图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Contrast Learning for Salient Object Detection;Guanbin Li 等;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20161231;第478-487页 *
Hybrid representation learning for cross-modal retrieval;WenmingCao 等;《Neurocomputing》;20190614;第45-57页 *
一种融合小波变换与卷积神经网络的高相似度图像识别与分类算法;姜文超 等;《计算机工程与科学》;20180930;第1646-1652页 *

Also Published As

Publication number Publication date
CN110633735A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
US20220014807A1 (en) Method, apparatus, device and medium for generating captioning information of multimedia data
Mathieu et al. Disentangling factors of variation in deep representation using adversarial training
CN110600017A (zh) 语音处理模型的训练方法、语音识别方法、系统及装置
CN110633735B (zh) 基于小波变换的渐进式深度卷积网络图像识别方法及装置
CN114638994B (zh) 基于注意力的多交互网络的多模态图像分类系统及方法
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
US20200134455A1 (en) Apparatus and method for training deep learning model
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN111598182A (zh) 训练神经网络及图像识别的方法、装置、设备及介质
CN113095370B (zh) 图像识别方法、装置、电子设备及存储介质
CN112634296A (zh) 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
CN112634875B (zh) 语音分离方法、语音分离装置、电子设备及存储介质
CN111126396A (zh) 图像识别方法、装置、计算机设备以及存储介质
CN116310667B (zh) 联合对比损失和重建损失的自监督视觉表征学习方法
CN114429641B (zh) 一种时序动作检测方法、装置、存储介质及终端
CN112613349A (zh) 基于深度混合卷积神经网络的时序动作检测方法及装置
CN114842546A (zh) 动作计数方法、装置、设备及存储介质
CN113947136A (zh) 图像压缩和分类方法、装置及电子设备
CN114691912A (zh) 图像处理的方法、设备和计算机可读存储介质
KR102435035B1 (ko) 가짜 뉴스 동영상 탐지 시스템 및 그의 방법
EP4030347A1 (en) Neural network building method and device, and image processing method and device
CN116975347A (zh) 图像生成模型训练方法及相关装置
CN116631060A (zh) 基于单帧图像的手势识别方法及装置
CN118035800A (zh) 模型训练方法、装置、设备及存储介质
CN115222047A (zh) 一种模型训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191231

Assignee: SHENZHEN SINGSUN ELECTRONIC SCIENCE & TECHNOLOGY CO.,LTD.

Assignor: SHENZHEN University

Contract record no.: X2023980032340

Denomination of invention: Image recognition method and device of progressive depth convolution network based on wavelet transform

Granted publication date: 20210730

License type: Common License

Record date: 20230220

EE01 Entry into force of recordation of patent licensing contract