CN111275166B - 基于卷积神经网络的图像处理装置、设备及可读存储介质 - Google Patents

基于卷积神经网络的图像处理装置、设备及可读存储介质 Download PDF

Info

Publication number
CN111275166B
CN111275166B CN202010046206.3A CN202010046206A CN111275166B CN 111275166 B CN111275166 B CN 111275166B CN 202010046206 A CN202010046206 A CN 202010046206A CN 111275166 B CN111275166 B CN 111275166B
Authority
CN
China
Prior art keywords
neural network
feature map
image processing
module
wavelet decomposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010046206.3A
Other languages
English (en)
Other versions
CN111275166A (zh
Inventor
蔡宏民
陶桂华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010046206.3A priority Critical patent/CN111275166B/zh
Publication of CN111275166A publication Critical patent/CN111275166A/zh
Application granted granted Critical
Publication of CN111275166B publication Critical patent/CN111275166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于卷积神经网络的图像处理装置，涉及图像处理领域，一种基于卷积神经网络的图像处理装置，包括：图像获取模块，用于获取待处理图像；小波分解模块，用于对所述待处理图像进行小波分解，从而得到多个子分量；卷积融合模块，用于对所述多个子分量进行卷积融合，得到初步特征图；神经网络模块，用于对所述初步特征图进一步提取特征，得到高级特征图；结果输出模块，用于根据所述高级特征图输出相应的图像处理结果。本发明实施例还提供了基于卷积神经网络的图像处理设备及计算机可读存储介质，能高效地实现对神经网络模型的压缩和加速，节省存储资源和运行中需要占用的运行资源，提高图像处理的效率。

Description

基于卷积神经网络的图像处理装置、设备及可读存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种基于卷积神经网络的图像处理装置、设备及可读存储介质。
背景技术
卷积神经网络是图像处理中常用的处理工具，而当前存储条件和硬件的计算速度无法满足复杂网络的需求，深度卷积神经网络往往需要压缩和加速以追求更高的处理效率。现有技术中，深度卷积神经网络模型的压缩方法主要包括参数修剪和共享、低秩分解和稀疏性、迁移/压缩卷积核、知识蒸馏等方法。
1)参数剪枝和共享。神经网络具有非常大的信息冗余和空间冗余，基于这样的事实，一般在卷积层和全连接层中，通过删除对准确率影响不大的参数实现模型的压缩和加速。参数修剪和共享方法一般分为量化和二值化、剪枝和共享、设计结构化矩阵，其中，量化和二值化方法在处理大型网络时准确率很低；剪枝和共享方法通常使用L1、L2做正则化，这使网络需要迭代更多次数才会收敛，另外，剪枝方法需要手动设置网络层的敏感度；设计结构化矩阵方法的结构约束会导致准确性损失，并且很难找到合适的结构矩阵。
2)低秩分解和稀疏性。一般的，CNN卷积核是一个4D张量，全连接层是一个2D矩阵，这些张量和矩阵存在大量的冗余，在卷积层和全连接层使用矩阵对参数进行分解估计同样可以压缩和加速模型。但低秩分解和稀疏方法涉及分解操作，分解操作计算成本高，并且因为不同层保存了不同的信息，所以低秩近似是逐层执行的，不能进行全局压缩，最后，分解需要大量的模型重训练才能实现收敛。
3)迁移和压缩卷积核。仅在卷积核上做操作，使用紧凑的卷积核、使用紧凑的模块，设计特别的卷积核来保存参数。而迁移和压缩卷积核方法不适应于窄型/深层的架构，另外，迁移假设有时候太强，无法指导模型学习，模型结果不稳定。
4)知识蒸馏。通过训练一个更紧凑的神经网络来从大的模型蒸馏知识，并再现原大型网络的输出结果。但是知识蒸馏的模型假设太严格，并且只能用于softmax损失函数的分类任务。
发明内容
本发明实施例提供一种基于卷积神经网络的图像处理装置、设备及可读存储介质，通过结合小波分解与神经网络，将本来在时域空间的神经网络模型引导到频域空间，让网络在频域空间进行运算和优化，高效地实现了对神经网络模型的压缩和加速，节省了存储资源和运行中需要占用的运行资源，从而提高了图像处理的效率。
本发明实施例提供一种基于卷积神经网络的图像处理装置，包括：
图像获取模块，用于获取待处理图像；
小波分解模块，用于对所述待处理图像进行小波分解，从而得到多个子分量；
卷积融合模块，用于对所述多个子分量进行卷积融合，得到初步特征图；
神经网络模块，用于对所述初步特征图进一步提取特征，得到高级特征图；
结果输出模块，用于根据所述高级特征图输出相应的图像处理结果。
作为上述方案的改进，所述小波分解的级数为N，子分量的个数为3N+1；其中，N为正整数。
作为上述方案的改进，N＝1或N＝2。
作为上述方案的改进，根据压缩增益、加速增益、精度损失和图片大小确定所述小波分解的级数。
作为上述方案的改进，通过如下步骤预先确定所述小波分解的级数：
根据预设规则获取正整数n，记录N＝n时相应神经网络的超参数数量、收敛时间以及错误率，得到第k组参数；其中，k为n的取值次数；
对第1至第k组参数中的超参数数量进行拟合，得到第一曲线；或对第1至第k组参数中的收敛时间进行拟合，得到第二曲线；
对第1至第k组参数中的错误率进行拟合，得到第三曲线；
以所述第一曲线与所述第三曲线的相交点对应的n值作为所述小波分解的级数；或以所述第二曲线与所述第三曲线的相交点对应的n值作为所述小波分解的级数。
作为上述方案的改进，所述对所述多个子分量进行卷积融合，得到初步特征图，包括步骤：
基于所述多个子分量进行卷积操作，并通过多特征图堆叠操作将所有子分量进行融合，得到所述初步特征图。
作为上述方案的改进，所述根据所述初步特征图进一步提取特征，得到高级特征图，包括步骤：
基于所述初步特征图，通过卷积、下采样、激活函数激活，得到所述高级特征图。
本发明实施例还提供了一种基于卷积神经网络的图像处理设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的基于卷积神经网络的图像处理装置。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备实现如上任意一项所述的基于卷积神经网络的图像处理装置。
本发明实施例提供的一种基于卷积神经网络的图像处理装置、设备及可读存储介质，通过图像获取模块获取待处理图像，并由小波分解模块对所述待处理图像进行小波分解，从而得到多个子分量，由卷积融合模块对所述多个子分量进行卷积融合，得到初步特征图，再由神经网络模块对所述初步特征图进一步提取特征，得到高级特征图，最后通过结果输出模块根据所述高级特征图输出相应的图像处理结果。通过结合小波分解与神经网络，将本来在时域空间的神经网络模型引导到频域空间，让网络在频域空间进行运算和优化，从而在压缩和加速网络模型的基础上，无需手动设置和精调超参数，并且减少了模型精度的损失，由于不涉及高计算成本的操作，避免了重训练模型，提高了模型结果的稳定性和适用性。
附图说明
图1是本发明实施例1提供的一种基于卷积神经网络的图像处理装置的结构示意图。
图2是如图1所示的图像处理装置的小波分解级数确定过程的流程示意图。
图3是本发明实施例2提供的一种基于卷积神经网络的图像处理方法的流程示意图。
图4是本发明实施例3提供的一种基于卷积神经网络的图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例1提供了一种基于卷积神经网络的图像处理装置100。参见图1，是所述图像处理装置100的结构示意图，包括图像获取模块110、小波分解模块120、卷积融合模块130、神经网络模块140和结果输出模块150。
所述图像获取模块110，用于获取待处理图像。所述小波分解模块120，用于对所述待处理图像进行小波分解，从而得到多个子分量。所述卷积融合模块130，用于对所述多个子分量进行卷积融合，得到初步特征图。所述神经网络模块140，用于对所述初步特征图进一步提取特征，得到高级特征图。所述结果输出模块150，用于根据所述高级特征图输出相应的图像处理结果。
在所述图像处理装置100的工作过程中，首先由所述图像获取模块110获取所述待处理图像，然后由所述小波分解模块120对所述待处理图像进行小波分解，从而得到所述多个子分量，所述多个子分量由所述卷积融合模块130进行卷积融合，得到相应的所述初步特征图。将所述初步特征图输入所述神经网络模块140中，由所述神经网络模块140中的神经网络模型对所述初步特征图作进一步的特征提取，从而得到更加本质的特征图，也即所述高级特征图。最后由所述结果输出模块150根据所述高级特征图输出相应的图像处理结果，例如图像分割结果、图像识别结果等。
优选地，所述小波分解模块120对所述待处理图像进行的所述小波分解的级数为N，得到的子分量的个数为3N+1。其中，N为正整数。具体地，可以取N＝1，也即所述小波分解模块120对所述待处理图像进行一级分解，得到4个子分量，一张高为h，宽为w的单通道图片为例，经过一级分解得到4个子分量，每个子分量的高、宽都是原来的二分之一，即高为0.5h，宽为0.5w。具体地，也可以取N＝2，具体的可以是所述小波分解模块120对所述待处理图像进行第一级分解得到4个子分量之后，再选取4个子分量中的近似分量进行分解，得到第二级分解的4个子分量，从而得到第一级的3个子分量和第二级的4个子分量，共7个子分量。可以理解地，上述N的取值仅作为参考，在实际处理中N可以如3或4或更大的取值，均不影响本发明可取得的有益效果。
更优选地，可以根据压缩增益、加速增益、精度损失和图片大小确定所述小波分解的级数。例如，针对一张图片输入，若该图片本身已经足够小，对该图片进行多级分解获得的压缩增益和加速增益较小；若该图片较大，对该图片进行多级分解则可以获得较大的压缩增益和加速增益。因此，如果无限制地增加分解的级数，即N很大，则将导致该运算过程所需占用的运算资源无限制地增大，包括小波分解的计算、多个分量的卷积融合等运算将占用大量资源。并且还可能因为该图片被过度分解，神经网络模型进行特征提取的效果较差，影响最终的输出结果；而若不进行小波分解或者小波分解不充分，则将导致神经网络模型的加速和压缩效果较差。
更优选地，所述小波分解的级数可以通过预先确定。参见图2，具体可以是通过如步骤S121至步骤S124所示的步骤预先确定所述小波分解的级数。
S121、根据预设规则获取正整数n，记录N＝n时相应神经网络的超参数数量、收敛时间以及错误率，得到第k组参数；其中，k为n的取值次数。
具体地，所述预设规则可以是根据需要预先设定n的初始值，并设定过程值的计算方式。例如，可以是设定第一次取n＝1，随后每次重新获取n的取值时，在当前n的基础上加1，得到n的新的取值。其中，每组参数中也包括N为当前n值时，相应的超参数数量和错误率，或相应的收敛时间和错误率，以与步骤S122至步骤S124相匹配。
S122、对第1至第k组参数中的超参数数量进行拟合，得到第一曲线；或对第1至第k组参数中的收敛时间进行拟合，得到第二曲线。
S123、对第1至第k组参数中的错误率进行拟合，得到第三曲线。
S124、以所述第一曲线与所述第三曲线的相交点对应的n值作为所述小波分解的级数；或以所述第二曲线与所述第三曲线的相交点对应的n值作为所述小波分解的级数。
例如，可以设定n的初始值为1，并且每次重新取值加一。首先取一级分解，即n＝1，然后记录下神经网络模型的超参数数量、收敛时间以及错误率；然后取n＝2，记录下新的超参数数量、收敛时间和精度；经过以上的重复操作，当n＝k时，可以得到k组数据，通过如绘制曲线等方式进行拟合，得到代表超参数数量的所述第一曲线和代表错误率的所述第三曲线，所述第一曲线和所述第三曲线存在一相交点，该相交点对应的n值即为所述小波分解的级数。可以理解地，也可以是得到代表收敛时间的所述第二曲线和代表错误率的所述第三曲线，所述第二曲线和所述第三曲线存在一相交点，以该相交点对应的n值作为所述小波分解的级数。
优选地，所述卷积融合模块130对所述多个子分量进行卷积融合，得到所述初步特征图，可以包括步骤：基于所述多个子分量进行卷积操作，并通过多特征图堆叠操作(concatenate)将所有子分量进行融合，得到所述初步特征图。
优选地，所述神经网络模块140根据所述初步特征图进一步提取特征，得到所述高级特征图，包括步骤：基于所述初步特征图，通过卷积、下采样、激活函数激活，得到所述高级特征图。
其中，在所述神经网络模块140得到所述高级特征图之后，还可以进一步衡量所述小波分解获得的对压缩增益和加速增益的提高，以及神经网络模型的精度损失，从而判断是否需要由所述小波分解模块120再次进行小波分解以及由所述卷积融合模块130进行卷积融合，并由所述神经网络模块140再次进行特征提取。
由于卷积神经网络具有强大的特征提取能力，而离散小波分解得到的分量具有稀疏性的特点，即大多数的值都会等于0或接近于0，并且每一次的离散小波分解得到的分量大小是其输入的四分之一大小的特点。本发明实施例通过结合上述神经网络模型和小波分解的优势和特点设计了基于卷积神经网络的图像处理装置，让神经网络模型变得更稀疏，让特征表示空间缩小，最后实现神经网络模型的压缩和加速；再通过差分融合，即考虑小波分解得到的子分量具有不同的信息，不同的信息对当前任务具有不同的价值的客观事实，对不同的分量进行差别化卷积，使重要的细节分量具有更深层的卷积特征，次重要的分量进行浅层次的卷积，最后将所有分量融合起来；将离散小波操作写入网络层，实现离散小波分解操作和神经网络原有操作的无缝嵌入，实现整个神经网络模型的端到端设计。
本发明实施例1提供的一种基于卷积神经网络的图像处理装置，通过图像获取模块获取待处理图像，并由小波分解模块对所述待处理图像进行小波分解，从而得到多个子分量，由卷积融合模块对所述多个子分量进行卷积融合，得到初步特征图，再由神经网络模块对所述初步特征图进一步提取特征，得到高级特征图，最后通过结果输出模块根据所述高级特征图输出相应的图像处理结果。通过结合小波分解与神经网络，将本来在时域空间的神经网络模型引导到频域空间，让网络在频域空间进行运算和优化，从而在压缩和加速网络模型的基础上，无需手动设置和精调超参数，并且减少了模型精度的损失，由于不涉及高计算成本的操作，避免了重训练模型，提高了模型结果的稳定性和适用性。
参见图3，是本发明实施例2提供的一种基于卷积神经网络的图像处理方法的流程示意图。所述图像处理方法包括步骤S210至步骤S230。
S210、获取待处理图像。
S220、对所述待处理图像进行小波分解，从而得到多个子分量。
S230、对所述多个子分量进行卷积融合，得到初步特征图。
S240、对所述初步特征图进一步提取特征，得到高级特征图。
S250、根据所述高级特征图输出相应的图像处理结果。
所述图像处理方法可以由实施例1提供的图像处理装置100执行，在此不做赘述。
本发明实施例2提供的一种基于卷积神经网络的图像处理方法，通过获取待处理图像，并对所述待处理图像进行小波分解，从而得到多个子分量，对所述多个子分量进行卷积融合，得到初步特征图，再对所述初步特征图进一步提取特征，得到高级特征图，最后根据所述高级特征图输出相应的图像处理结果。通过结合小波分解与神经网络，将本来在时域空间的神经网络模型引导到频域空间，让网络在频域空间进行运算和优化，从而在压缩和加速网络模型的基础上，无需手动设置和精调超参数，并且减少了模型精度的损失，由于不涉及高计算成本的操作，避免了重训练模型，提高了模型结果的稳定性和适用性。
参见图4，本发明实施例3提供的一种基于卷积神经网络的图像处理设备300，包括处理器310、存储器320以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器310执行所述计算机程序时实现如实施例1所述的图像处理装置或如实施例2所述的图像处理方法，在此不作赘述。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行所述计算机程序时实现如实施例1所述的图像处理装置或如实施例2所述的图像处理方法，在此不作赘述。
参见图4，是本发明实施例3提供的基于卷积神经网络的图像处理设备300的示意图。所述基于卷积神经网络的图像处理设备300包括：处理器310、存储器320以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如图像处理程序。所述处理器执行所述计算机程序时实现上述各个图像处理方法实施例中的步骤，例如图2所示的图像处理方法的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如实施例1所述的图像处理装置的各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器320中，并由所述处理器310执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述图像处理终端设备中的执行过程。例如，所述计算机程序可以被分割成图像获取模块、小波分解模块、卷积融合模块、神经网络模块和结果输出模块，各模块具体功能如下：所述图像获取模块，用于获取待处理图像；所述小波分解模块，用于对所述待处理图像进行小波分解，从而得到多个子分量；所述卷积融合模块，用于对所述多个子分量进行卷积融合，得到初步特征图；所述神经网络模块，用于对所述初步特征图进一步提取特征，得到高级特征图；所述结果输出模块，用于根据所述高级特征图输出相应的图像处理结果。
所述基于卷积神经网络的图像处理设备300可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于卷积神经网络的图像处理设备300可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是基于卷积神经网络的图像处理设备300的示例，并不构成对基于卷积神经网络的图像处理设备300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于卷积神经网络的图像处理设备300还可以包括输入输出设备、网络接入设备、总线等。
所称处理器310可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器310是所述基于卷积神经网络的图像处理设备300的控制中心，利用各种接口和线路连接整个图像处理终端设备的各个部分。
所述存储器320可用于存储所述计算机程序或模块，所述处理器310通过运行或执行存储在所述存储器内的计算机程序或模块，以及调用存储在存储器内的数据，实现所述图像处理终端设备的各种功能。所述存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述基于卷积神经网络的图像处理设备300集成的模块或单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
实施本发明实施例3提供的一种基于卷积神经网络的图像处理设备，在处理器执行存储在存储器中的计算机程序时，通过图像获取模块获取待处理图像，并由小波分解模块对所述待处理图像进行小波分解，从而得到多个子分量，由卷积融合模块对所述多个子分量进行卷积融合，得到初步特征图，再由神经网络模块对所述初步特征图进一步提取特征，得到高级特征图，最后通过结果输出模块根据所述高级特征图输出相应的图像处理结果。通过结合小波分解与神经网络，将本来在时域空间的神经网络模型引导到频域空间，让网络在频域空间进行运算和优化，从而在压缩和加速网络模型的基础上，无需手动设置和精调超参数，并且减少了模型精度的损失，由于不涉及高计算成本的操作，避免了重训练模型，提高了模型结果的稳定性和适用性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (5)

1.一种基于卷积神经网络的图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理图像；
小波分解模块，用于对所述待处理图像进行小波分解，从而得到多个子分量；
卷积融合模块，用于对所述多个子分量进行卷积融合，得到初步特征图；
神经网络模块，用于对所述初步特征图进一步提取特征，得到高级特征图；
结果输出模块，用于根据所述高级特征图输出相应的图像处理结果；
所述小波分解的级数为N，子分量的个数为3N+1；通过如下步骤预先确定所述小波分解的级数：
根据预设规则获取正整数n，记录N＝n时相应神经网络的超参数数量、收敛时间以及错误率，得到第k组参数；其中，k为n的取值次数；
对第1至第k组参数中的超参数数量进行拟合，得到第一曲线；或对第1至第k组参数中的收敛时间进行拟合，得到第二曲线；
对第1至第k组参数中的错误率进行拟合，得到第三曲线；
以所述第一曲线与所述第三曲线的相交点对应的n值作为所述小波分解的级数；或以所述第二曲线与所述第三曲线的相交点对应的n值作为所述小波分解的级数。
2.如权利要求1所述的基于卷积神经网络的图像处理装置，其特征在于，所述对所述多个子分量进行卷积融合，得到初步特征图，包括步骤：
基于所述多个子分量进行卷积操作，并通过多特征图堆叠操作将所有子分量进行融合，得到所述初步特征图。
3.如权利要求1所述的基于卷积神经网络的图像处理装置，其特征在于，所述根据所述初步特征图进一步提取特征，得到高级特征图，包括步骤：
基于所述初步特征图，通过卷积、下采样、激活函数激活，得到所述高级特征图。
4.一种基于卷积神经网络的图像处理设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任意一项所述的基于卷积神经网络的图像处理装置。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备实现如权利要求1至3中任意一项所述的基于卷积神经网络的图像处理装置。
CN202010046206.3A 2020-01-15 2020-01-15 基于卷积神经网络的图像处理装置、设备及可读存储介质 Active CN111275166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010046206.3A CN111275166B (zh) 2020-01-15 2020-01-15 基于卷积神经网络的图像处理装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010046206.3A CN111275166B (zh) 2020-01-15 2020-01-15 基于卷积神经网络的图像处理装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111275166A CN111275166A (zh) 2020-06-12
CN111275166B true CN111275166B (zh) 2023-05-02

Family

ID=71001650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010046206.3A Active CN111275166B (zh) 2020-01-15 2020-01-15 基于卷积神经网络的图像处理装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111275166B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560825B (zh) * 2021-02-23 2021-05-18 北京澎思科技有限公司 人脸检测方法、装置、电子设备以及可读存储介质
CN113469910B (zh) * 2021-06-29 2023-03-24 展讯通信（上海）有限公司 图像处理方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188795A (zh) * 2019-04-24 2019-08-30 华为技术有限公司 图像分类方法、数据处理方法和装置
US10489936B1 (en) * 2019-04-29 2019-11-26 Deep Render Ltd. System and method for lossy image and video compression utilizing a metanetwork

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188795A (zh) * 2019-04-24 2019-08-30 华为技术有限公司 图像分类方法、数据处理方法和装置
US10489936B1 (en) * 2019-04-29 2019-11-26 Deep Render Ltd. System and method for lossy image and video compression utilizing a metanetwork

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周德良 ; .基于AlexNet网络的动物图片分类.贵州大学学报(自然科学版).2019,(06),第78-82页. *

Also Published As

Publication number Publication date
CN111275166A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN109840589B (zh) 一种在fpga上运行卷积神经网络的方法和装置
US10552737B2 (en) Artificial neural network class-based pruning
CN107545889B (zh) 适用于模式识别的模型的优化方法、装置及终端设备
CN113971221A (zh) 一种点云数据的处理方法、装置、电子设备及存储介质
CN111275166B (zh) 基于卷积神经网络的图像处理装置、设备及可读存储介质
CN110070867B (zh) 语音指令识别方法、计算机装置及计算机可读存储介质
CN110321562B (zh) 一种基于bert的短文本匹配方法及装置
CN113362118B (zh) 一种基于随机森林的用户用电行为分析方法及系统
CN109102468B (zh) 图像增强方法、装置、终端设备及存储介质
CN111563161B (zh) 一种语句识别方法、语句识别装置及智能设备
CN114418226B (zh) 电力通信系统的故障分析方法及装置
CN113674374B (zh) 基于生成式对抗网络的中文文本生成图像方法及装置
CN105354228A (zh) 相似图搜索方法及装置
CN115016965A (zh) 计量自动化主站的故障检测方法、装置、设备及存储介质
CN112766397A (zh) 一种分类网络及其实现方法和装置
CN112257689A (zh) 人脸识别模型的训练和识别方法、存储介质及相关设备
CN111126501A (zh) 一种图像识别方法、终端设备及存储介质
CN112836817A (zh) 一种卷积神经网络模型的压缩方法
CN115905702A (zh) 基于用户需求分析的数据推荐方法及系统
CN114742221A (zh) 深度神经网络模型剪枝方法、系统、设备及介质
CN111143560B (zh) 一种短文本分类方法、终端设备及存储介质
Law et al. Hybrid pooling fusion in the bow pipeline
CN112200275A (zh) 人工神经网络的量化方法及装置
CN117292024B (zh) 基于语音的图像生成方法、装置、介质及电子设备
CN111667045A (zh) 多通道神经网络模型训练方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant