CN111160458B - 一种图像处理系统及其卷积神经网络 - Google Patents

一种图像处理系统及其卷积神经网络 Download PDF

Info

Publication number
CN111160458B
CN111160458B CN201911386418.XA CN201911386418A CN111160458B CN 111160458 B CN111160458 B CN 111160458B CN 201911386418 A CN201911386418 A CN 201911386418A CN 111160458 B CN111160458 B CN 111160458B
Authority
CN
China
Prior art keywords
channel
module
layer
intelligent
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911386418.XA
Other languages
English (en)
Other versions
CN111160458A (zh
Inventor
王立
郭振华
赵雅倩
范宝余
张润泽
高开
王丽
曹芳
陈永芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201911386418.XA priority Critical patent/CN111160458B/zh
Publication of CN111160458A publication Critical patent/CN111160458A/zh
Application granted granted Critical
Publication of CN111160458B publication Critical patent/CN111160458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理系统及其卷积神经网络，该卷积神经网络包括智能密集连接模块，智能密集连接模块包括基本卷积模块和智能注意力模块，基本卷积模块用于对接收到的待处理图像进行卷积运算以得到相应的特征图，然后将特征图传输至与自身输出侧连接的智能注意力模块；智能注意力模块用于获取与自身输入侧连接的基本卷积模块传输的特征图作为输入侧特征图以及获取位于自身位置之前的其它模块传输的特征图作为待融合特征图，并从输入侧特征图的所有通道中筛选出部分通道作为目标通道，然后将目标通道对应的特征图与待融合特征图进行通道叠加以得到新的特征图并输出。通过本申请的上述技术方案，能够减少输入通道数，降低计算量。

Description

一种图像处理系统及其卷积神经网络
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像处理系统及其卷积神经网络。
背景技术
目前，卷积神经网络(CNN)已经成为深度学习方向上最主要的网络结构，如最近的GoogLenet，VGG-19，Inception等卷积神经网络模型，它们被广泛的应用在图像处理系统，如图像分割系统或图像分类系统中。
2016年出现了一种更激进的卷积神经网络，即基于密集连接的卷积神经网络DenseNet，这种网络所采用的密集连接机制，要求互相连接所有的层，具体来说，就是每个层都会接受其前面所有层额外输入的特征图作为待融合特征图。在DenseNet中，每个层由自身产生的特征图都会与前面所有层输入的待融合特征在通道(channel)的维度上连接(concat)在一起以得到新的特征图，并将该新的特征图作为下一层的输入。对于一个L层的Dense网络，DenseNet共包含个L*(L+1)/2连接，形成了一种密集连接，而且DenseNet是直接拼接来自不同层的特征图。
对于采用密集连接卷积神经网络进行图像分割或图像分类等图像处理系统来说，密集连接的优点是实现特征重用，从而提升了准确率。但是，由于密集连接卷积神经网络中每个层都会接受其前面所有层作为其额外的输入，每个层所获取到的特征图的通道数都会比经典的卷积神经网络模型增加很多，从而大幅增大了计算量。
发明内容
有鉴于此，本发明的目的在于提供一种图像处理系统及其卷积神经网络，能够减少输入通道数，降低了计算量。其具体方案如下：
第一方面，本申请公开了一种图像处理系统，包括卷积神经网络，所述卷积神经网络包括智能密集连接模块，所述智能密集连接模块包括基本卷积模块和智能注意力模块，其中，
所述基本卷积模块，用于对接收到的待处理图像进行卷积运算以得到相应的特征图，然后将所述特征图传输至与自身输出侧连接的所述智能注意力模块；
所述智能注意力模块，用于获取与自身输入侧连接的所述基本卷积模块传输的特征图作为输入侧特征图以及获取位于自身位置之前的其它模块传输的特征图作为待融合特征图，并从所述输入侧特征图的所有通道中筛选出部分通道作为目标通道，然后将所述目标通道对应的特征图与所述待融合特征图进行通道叠加，以得到新的特征图并输出。
可选的，所述智能密集连接模块，还包括：
通道控制模块，用于产生通道筛选控制参数，以便所述智能注意力模块根据所述通道筛选控制参数筛选出所述目标通道。
可选的，所述通道筛选控制参数为通道丢弃率。
可选的，所述智能注意力模块，包括权重向量计算层、卷积层、批归一化层、sigmoid层、加权层、智能丢弃层和融合层；其中，
所述权重向量计算层，用于按照输入通道的维度对所述输入侧特征图的像素求平均值，以得到用于表征每个通道的权重向量；
所述卷积层和所述批归一化层，用于利用所述权重向量，对权重进行训练，以得到相应的训练后向量；
所述sigmoid层，用于对所述训练后向量进行归一化，得到归一化向量；
所述加权层，用于利用所述归一化向量中的权重，对所述输入侧特征图的各个通道进行加权，得到相应的加权后特征图；
所述智能丢弃层，用于利用所述通道丢弃率和所述归一化向量，从所述加权后特征图中筛选出所述目标通道；
所述融合层，用于将所述目标通道对应的特征图与所述待融合特征图进行通道叠加，以得到新的特征图并输出。
可选的，所述智能丢弃层，具体用于利用所述通道丢弃率和所述归一化向量，并基于权重排序后进行筛选的方式或者随机抽取的方式，从所述加权后特征图中筛选出所述目标通道。
可选的，所述基本卷积模块包括一个或多个基本卷积单元，其中，所述基本卷积单元包括一个卷积层、一个批归一化层和一个激活函数层。
可选的，所述卷积层中的卷积核为按照预设膨胀系数进行过膨胀处理的卷积核。
可选的，所述卷积神经网络为由多个所述智能密集连接模块通过级联或并联方式构建成的卷积神经网络。
可选的，所述图像处理系统包括图像分割系统或图像分类系统。
第二方面，本申请公开了一种卷积神经网络，所述卷积神经网络为前述公开的卷积神经网络。
本申请中，图像处理系统中的卷积神经网络包括智能密集连接模块，智能密集连接模块包括基本卷积模块和智能注意力模块，其中，基本卷积模块用于对接收到的待处理图像进行卷积运算以得到相应的特征图，然后将特征图传输至与自身输出侧连接的智能注意力模块；智能注意力模块用于获取与自身输入侧连接的基本卷积模块传输的特征图作为输入侧特征图以及获取位于自身位置之前的其它模块传输的特征图作为待融合特征图，并从输入侧特征图的所有通道中筛选出部分通道作为目标通道，然后将目标通道对应的特征图与待融合特征图进行通道叠加以得到新的特征图并输出。由此可见，本申请中，智能密集连接模块可以对输入侧特征图中的通道进行筛选，只从输入侧特征图的所有通道中筛选出部分通道作为目标通道，后续在进行特征图融合处理时，只对上述部分通道对应的特征图和其他模块传输过来的待融合特征图进行通道叠加处理，由此减少了输入通道数，降低了计算量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种图像处理系统结构示意图；
图2为本申请公开的一种更具体的图像处理系统结构示意图；
图3为本申请公开的一种智能密集连接模块的结构图；
图4a至图4b为本申请公开的基本卷积模块的具体示例图；
图5a至图5c为本申请公开的基于膨胀处理得到的卷积核示意图；
图6为基于具有不同膨胀系数的卷积核构造的智能密集连接模块结构图；
图7为本申请公开的智能注意力模块的结构图；
图8为本申请公开的一种索引表结构示意图；
图9为本申请公开的一种应用网络示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，对于采用密集连接卷积神经网络进行图像分割或图像分类等图像处理系统来说，密集连接的优点是实现特征重用，从而提升了准确率。但是，由于密集连接卷积神经网络中每个层都会接受其前面所有层作为其额外的输入，每个层所获取到的特征图的通道数都会比经典的卷积神经网络模型增加很多，从而大幅增大了计算量。为此，本申请提供了一种新的图像处理系统及卷积神经网络，能够减少输入通道数，降低了计算量。
参见图1所示，本发明实施例公开了一种图像处理系统，包括卷积神经网络，所述卷积神经网络包括智能密集连接模块，所述智能密集连接模块包括基本卷积模块11和智能注意力模块12，其中，
所述基本卷积模块11，用于对接收到的待处理图像进行卷积运算以得到相应的特征图，然后将所述特征图传输至与自身输出侧连接的所述智能注意力模块12；
所述智能注意力模块12，用于获取与自身输入侧连接的所述基本卷积模块11传输的特征图作为输入侧特征图以及获取位于自身位置之前的其它模块传输的特征图作为待融合特征图，并从所述输入侧特征图的所有通道中筛选出部分通道作为目标通道，然后将所述目标通道对应的特征图与所述待融合特征图进行通道叠加，以得到新的特征图并输出。
可以理解的是，本实施例的图像处理系统可以包括一个或多个卷积神经网络，每个卷积神经网络中可以设置一个所述智能密集连接模块，每个智能密集连接模块中可以包含多个模块组，每个所述模块组分别位于不同层上，并且每个所述模块组中均包括各自对应的所述基本卷积模块和所述智能注意力模块，而不同所述模块组之间采用密集连接的方式进行连接。
本实施例中的卷积神经网络是一种新型的密集连接卷积神经网络，它与传统的密集连接卷积神经网络之间的差别主要体现在，当卷积神经网络中某一层在进行图像融合叠加之前，需要先对本层中由自身产生的特征图进行通道筛选，也即对本层中的所述输入侧特征图进行通道筛选，以选择出部分通道作为上述目标通道，然后再将与上述目标通道对应的特征图与前面其它相关层传输过来的待融合特征图进行融合，以得到相应的新的特征图以作为本层的实际输出，并输出至后面相关的层以作为后面相关层的待融合特征图。
本申请实施例中，图像处理系统中的卷积神经网络包括智能密集连接模块，智能密集连接模块包括基本卷积模块和智能注意力模块，其中，基本卷积模块用于对接收到的待处理图像进行卷积运算以得到相应的特征图，然后将特征图传输至与自身输出侧连接的智能注意力模块；智能注意力模块用于获取与自身输入侧连接的基本卷积模块传输的特征图作为输入侧特征图以及获取位于自身位置之前的其它模块传输的特征图作为待融合特征图，并从输入侧特征图的所有通道中筛选出部分通道作为目标通道，然后将目标通道对应的特征图与待融合特征图进行通道叠加以得到新的特征图并输出。由此可见，本申请实施例中，智能密集连接模块可以对输入侧特征图中的通道进行筛选，只从输入侧特征图的所有通道中筛选出部分通道作为目标通道，后续在进行特征图融合处理时，只对上述部分通道对应的特征图和其他模块传输过来的待融合特征图进行通道叠加处理，由此减少了输入通道数，降低了计算量。
参见图2所示，本实施例中所述智能密集连接模块，还可以进一步包括：
通道控制模块13，用于产生通道筛选控制参数，以便所述智能注意力模块根据所述通道筛选控制参数筛选出所述目标通道。
具体的，本实施例的一个智能密集连接模块上，可以设置一个通道控制模块13以及位于不同层上的多个模块组，并且每个所述模块组中均包括各自的所述基本卷积模块11和所述智能注意力模块12。本实施例中，通过所述通道控制模块13，为不同的模块组分配各自对应的通道筛选控制参数，以实现同时对多个模块组中的基本卷积模块11的输出通道数的控制。
图3示出了一种智能密集连接模块wise-dense block的结构图，图3中，所述通道筛选控制参数具体可以为通道丢弃率(Dropout ratio)，并且，智能密集连接模块wise-dense block中设置了C1、C2、C3和C4共4个基本卷积模块，以及与上述4个基本卷积模块配套的4个智能注意力模块(Wise Attention Model)，另外还包括一个通道控制模块(Channel Ratio Control)，用于向图3中的4个模块组分配相应的通道丢弃率Dropoutratio1、Dropout ratio2、Dropout ratio3和Dropout ratio4。可以理解的是，图3中的结构仅仅是有关智能密集连接模块的一种具体实例，并不构成对其的唯一限定，例如，智能密集连接模块中也可以包含2个或3个基本卷积模块。
可以理解的是，智能注意力模块12能够根据自身所获取到的通道丢弃率来计算出自身当前所需筛选的通道数量。当然，本实施例也可以采用其他类型的参数来作为上述通道筛选控制参数，如直接将实际需要选取的通道数量作为通道筛选控制参数等。
为了在减少计算量的同时还能够保持分割精度，一方面可以在任一模块组中进行通道筛选时，根据自身所获取到的通道丢弃率筛选出相应数量的并且通道权重相对较大的通道作为所述目标通道，另一方面，在通过所述通道控制模块13为不同的模块组分配相应的通道丢弃率时，具体可以根据不同模块组中的基本卷积模块的贡献率大小来为不同的模块组分配相应的通道丢弃率，其中贡献率越大的基本卷积模块，相应的模块组所获得的通道丢弃率越小，也即贡献率与通道丢弃率之间呈反相关关系。本实施例中，上述两种措施，均能够达到保持分割精度甚至提高分割精度的效果。
进一步的，本实施例中，所述智能注意力模块，具体包括权重向量计算层、卷积层、批归一化层、sigmoid层、加权层、智能丢弃层和融合层；其中，
所述权重向量计算层，用于按照输入通道的维度对所述输入侧特征图的像素求平均值，以得到用于表征每个通道的权重向量；所述卷积层和所述批归一化层，用于利用所述权重向量，对权重进行训练，以得到相应的训练后向量；所述sigmoid层，用于对所述训练后向量进行归一化，得到归一化向量；所述加权层，用于利用所述归一化向量中的权重，对所述输入侧特征图的各个通道进行加权，得到相应的加权后特征图；所述智能丢弃层，用于利用所述通道丢弃率和所述归一化向量，从所述加权后特征图中筛选出所述目标通道；所述融合层，用于将所述目标通道对应的特征图与所述待融合特征图进行通道叠加，以得到新的特征图并输出。
本实施例中，所述智能丢弃层，具体用于利用所述通道丢弃率和所述归一化向量，并基于权重排序后进行筛选的方式或者随机抽取的方式，从所述加权后特征图中筛选出所述目标通道。
本实施例中，所述基本卷积模块包括一个或多个基本卷积单元，其中，所述基本卷积单元包括一个卷积层、一个批归一化层和一个激活函数层。当然，上述基本卷积单元的结构仅仅是本实施例中所提供的一个具体实例，并非是其唯一限定，根据实际应用需要，也可以采用其他结构类型的基本卷积单元，在此不便进行一一展开。
参见图4a和4b，图4a中所示出的基本卷积模块中只包括一个基本卷积单元，该基本卷积单元包括一个卷积层conv2d、一个批归一化层BN(Batch Normalization)和一个激活函数层Relu。图4b中所示出的基本卷积模块中则包括了两个叠加的基本卷积单元，每个基本卷积单元均包括一个卷积层conv2d、一个批归一化层BN和一个激活函数层Relu。
另外，本实施例中卷积层除了conv2d这种普通卷积层之外，还可以是按照预设膨胀系数对卷积核进行膨胀处理之后得到的卷积层。也即，所述卷积层中的卷积核可以是按照预设膨胀系数进行过膨胀处理的卷积核。如图5a至5c所示，图5a中的卷积是3*3普通卷积，图5b中的卷积是3*3膨胀卷积，其卷积核经过了膨胀，膨胀系数为2，图5c中的卷积是3*3膨胀卷积，卷积核经过了膨胀，膨胀系数为4。
本实施例中，不同卷积层中的卷积核可以采用不同的膨胀系数，如图6所示，这样设计能够获得更为丰富的图像分割特征图。
本实施例中，所述卷积神经网络具体可以是由多个所述智能密集连接模块通过级联或并联方式构建成的卷积神经网络，以形成一个存在特定功能的网络，如图像分割功能或图像分类功能的网络。也即，所述图像处理系统可以包括图像分割系统或图像分类系统。
接下来，对本实施例中智能注意力模块的具体工作机制和结构进行详细说明。参见图7所示。图7中，智能注意力模块是通过训练获得输入侧特征图不同通道的权重。因为，输入侧特征图的每个通道对最终分割结果的贡献不同。智能注意力模块的目的是对有利于图像分割的通道进行加权。具体计算方法如下：
假设输入侧特征图的维度是H*W*C，首先做Reduce_mean操作，即按照输入通道的维度(维度为C)对每张特征图的像素求平均值，获得一个代表每个通道的权重向量。该向量维度是1*1*C，接着再经过一个1*1*C的卷积层、BN层，对权重进行训练，然后通过一个sigmoid层对该向量进行归一化，得到1*1*C维度的归一化向量，该向量每个值分布在[0,1]范围内。再接着将该权重值与输入侧特征图与其对应的通道进行相乘，即对输入特征图每个通道进行加权，图7中multiply层输出就是经过加权后的结果，输出维度为H*W*C。接下来便经过智能丢弃层(wise dropout layer)，该智能丢弃层会接收到从通道控制模块处发送过来的一个输入参数Dropout ratio，并获取sigmoid层输出的归一化向量D，D值的大小代表了H*W*C这个特征图对应的通道的重要程度。wise dropout layer层利用上述输入参数Dropout ratio以及归一化向量D从multiply层输出的加权结果中筛选出目标通道，然后将目标通道对应的特征图传输至concat层，通过concat层将当前模块组产生的上述目标通道对应的特征图与其他模块组传输过来的待融合特征图进行通道级的叠加，也即按照通道的维度对上述特征图进行拼叠到一起。
本实施例中，智能丢弃层可以基于权重排序后进行筛选的方式来筛选重要的通道向下传递。通过这种方式，一方面可以降低后续模块的计算量，另一方面能够有效保证分割精度。有关上述基于权重排序后进行筛选的方式具体如下：
首先获取sigmoid层输出的归一化向量D，得到1*C的向量D，D的大小代表每个输入通道的重要程度，C代表输入通道的个数。按照D从大到小的顺序对C进行排序。下一步计算输出通道数N，其中，N＝Dropout ratio*C，N代表需要输出的通道个数。wise dropoutlayer层按照N对C进行截取，也即从排序好的C中截取出前N个的通道。这时，C的长度变为N。最后按照被截取出来的C对应的通道，进行输出，最终获得H*W*N的输出。
当然，为了从输入侧特征图的所有通道中筛选出部分通道作为上述目标通道，本实施例也可以采用随机抽取的方式来实现。具体的，
随机抽取的方法如下：首先获取sigmoid层的输出D。
然后建立索引表，因为：
Figure BDA0002343755890000091
Di代表第i个通道权重值，i∈[1,C]。
接着，建立索引表I，D1∈[0,D1]，代表D1通道的取值范围是[0,D1]。这个索引代表着将来如果随机获取一个随机数正好在[0,D1]这个范围内，就相当于抽取到第1通道的特征图；D2∈[D1,D2),代表D2通道的取值范围是[D1,D2)，依次向后，最后一个通道DC∈[DC-1,DC]，具体如图8所示；接着计算输出通道数N＝(1-Dropout ratio)*C；然后随机抽取出N个通道的输出。每次抽取时，具体的抽取过程是：生成一个随机数，数的大小在[0,1]的范围，从索引表I查找，该数对应哪个通道，并将相应通道的特征图抽取出。如果抽取到相同的通道，则抛弃这次抽取结果，重新进行抽取。
可见，本实施例中，通过上述wise dropout layer层可以对该层输入的特征图进行通道筛选，抽取出部分通道对应的特征图，减少后续所需的计算量。
下面介绍Channel Ratio Control，如图3所示，Channel Ratio Control可以控制Dropout ratio参数，从而可以控制每个Wise Attention Model的输出通道数目。
因为wise-dense block的每一个基本卷积模块都有输出，但是每个基本卷积模块对最终的输出贡献不相同，为此，本实施例通过Dropout ratio参数来控制每个基本卷积模块的输出通道数量。其中Dropout ratio可训练，是一个神经网络训练参数。如上图3所示：Channel Ratio Control输出4个不同的Dropout ratio值来同时控制4个基本卷积模块的输出通道数。该值可以训练，例如：当Dropout ratio1增大有利于分割时，Channel RatioControl模块会在下次训练时继续增加Dropout ratio1的比例，同时减少其它Dropoutratio的值，但是4个Dropout ratio值加在一起的总和是固定的，在训练前已经设定好。所以最终wise-dense block模块总的输出通道数不会变。也即，Dropout ratio1+Dropoutratio2+Dropout ratio3+Dropout ratio4＝固定值。
另外，本实施例中，wise-dense block模块的连接方式是一种密集连接方式，又称为Dense连接。在wise-dense block模块中，每一个基本卷积模块都和前面所有基本卷积模块的输出连接，前面所有的基本卷积模块的输出都对最终的输出产生贡献。
进一步的，参见图9所示，图9示出了基于本申请的技术方案得到的一个经典应用网络。图9中的Input是一个原始输入，后面经过一个或多个卷积神经网络，本申请提出的wise-dense block模块可以插入到中间的某一层，或者本模块可以插入到中间的某几层。以上给出的典型应用网络可以用在图像分类或者图像分割等多种方向，实现相应的功能。
综上可知，本实施例中，提出了Wise-dense block(智能密集连接模块)，该模块可以包含3个内部单元，分别为基本卷积模块，智能注意力模块(Wise Attention Model)和通道控制模块(Channel Radio Control)。其中，智能密集连接模块可以通过训练，提取更有效的特征图，同时减少参数量。本申请中，智能注意力模块首先计算各层特征图不同通道的权重值，按照权重值大小随机抽取一定数量的输入特征图通道或者用排序法抽取最大权重的特征图，这样可以减少输入通道数的同时，也可以保证分割精度；智能注意力模块通过训练，获得特征图通道对网络分割精度的贡献大小，筛选出所需的对分割精度贡献大的通道，最后，该模块将本模块筛选出的特征图与其它模块输入的的特征图进行通道叠加并输出，从而实现特征图的融合。通道控制模块可以控制智能密集连接模块内各个基本卷积模块的输出通道数。通道控制模块通过训练给贡献大的基本卷积模块更小的的Dropout ratio，从而使更利于分割的卷积模块赋予更多的输出通道数，提高分割结果的精度。
可见，本实施例中，智能密集连接模块通过不同的基本卷积模块获得多尺度的特征图，为后面特征图通道融合做准备。智能密集连接模块可以获取每个基本卷积模块通达的重要性。智能密集连接模块可以按照重要性不同抽取通道，如通过基于权重排序后进行筛选的方式或随机抽取的方式来进行通道抽取。智能密集连接模块可以通过训练通道控制模块，以控制内部各基本卷积模块的输出通道数，从而给不同的基本卷积模块分配不同的权力，实现了在节省计算量的同时保证精度的效果。
进一步的，本申请还公开了一种卷积神经网络，所述卷积神经网络为前述实施例的图像处理系统中的所述卷积神经网络。有关该卷积神经网络的具体构造和工作机制可以参考前述实施例中公开的相应内容，在此不再进行赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种图像处理系统及其卷积神经网络进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种图像处理系统，其特征在于，包括卷积神经网络，所述卷积神经网络包括智能密集连接模块，所述智能密集连接模块包括基本卷积模块和智能注意力模块，其中，
所述基本卷积模块，用于对接收到的待处理图像进行卷积运算以得到相应的特征图，然后将所述特征图传输至与自身输出侧连接的所述智能注意力模块；
所述智能注意力模块，用于获取与自身输入侧连接的所述基本卷积模块传输的特征图作为输入侧特征图以及获取位于自身位置之前的其它模块传输的特征图作为待融合特征图，并从所述输入侧特征图的所有通道中筛选出部分通道作为目标通道，然后将所述目标通道对应的特征图与所述待融合特征图进行通道叠加，以得到新的特征图并输出；
其中，所述智能注意力模块，包括权重向量计算层、卷积层、批归一化层、sigmoid层、加权层、智能丢弃层和融合层；其中，
所述权重向量计算层，用于按照输入通道的维度对所述输入侧特征图的像素求平均值，以得到用于表征每个通道的权重向量；
所述卷积层和所述批归一化层，用于利用所述权重向量，对权重进行训练，以得到相应的训练后向量；
所述sigmoid层，用于对所述训练后向量进行归一化，得到归一化向量；
所述加权层，用于利用所述归一化向量中的权重，对所述输入侧特征图的各个通道进行加权，得到相应的加权后特征图；
所述智能丢弃层，用于利用通道丢弃率和所述归一化向量，从所述加权后特征图中筛选出所述目标通道；
所述融合层，用于将所述目标通道对应的特征图与所述待融合特征图进行通道叠加，以得到新的特征图并输出。
2.根据权利要求1所述的图像处理系统，其特征在于，所述智能密集连接模块，还包括：
通道控制模块，用于产生通道筛选控制参数，以便所述智能注意力模块根据所述通道筛选控制参数筛选出所述目标通道。
3.根据权利要求2所述的图像处理系统，其特征在于，所述通道筛选控制参数为通道丢弃率。
4.根据权利要求1所述的图像处理系统，其特征在于，
所述智能丢弃层，具体用于利用所述通道丢弃率和所述归一化向量，并基于权重排序后进行筛选的方式或者随机抽取的方式，从所述加权后特征图中筛选出所述目标通道。
5.根据权利要求1所述的图像处理系统，其特征在于，所述基本卷积模块包括一个或多个基本卷积单元，其中，所述基本卷积单元包括一个卷积层、一个批归一化层和一个激活函数层。
6.根据权利要求5所述的图像处理系统，其特征在于，所述卷积层中的卷积核为按照预设膨胀系数进行过膨胀处理的卷积核。
7.根据权利要求1至6任一项所述的图像处理系统，其特征在于，所述卷积神经网络为由多个所述智能密集连接模块通过级联或并联方式构建成的卷积神经网络。
8.根据权利要求1至6任一项所述的图像处理系统，其特征在于，所述图像处理系统包括图像分割系统或图像分类系统。
9.一种卷积神经网络系统，其特征在于，所述卷积神经网络系统为如权利要求1至8任一项所述的卷积神经网络。
CN201911386418.XA 2019-12-29 2019-12-29 一种图像处理系统及其卷积神经网络 Active CN111160458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911386418.XA CN111160458B (zh) 2019-12-29 2019-12-29 一种图像处理系统及其卷积神经网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911386418.XA CN111160458B (zh) 2019-12-29 2019-12-29 一种图像处理系统及其卷积神经网络

Publications (2)

Publication Number Publication Date
CN111160458A CN111160458A (zh) 2020-05-15
CN111160458B true CN111160458B (zh) 2022-04-22

Family

ID=70558861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911386418.XA Active CN111160458B (zh) 2019-12-29 2019-12-29 一种图像处理系统及其卷积神经网络

Country Status (1)

Country Link
CN (1) CN111160458B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111870239A (zh) * 2020-08-28 2020-11-03 江西脑虎科技有限公司 一种神经信号处理方法及装置
CN112598126A (zh) * 2020-12-04 2021-04-02 北京迈格威科技有限公司 神经网络构建方法、装置、设备及介质
CN113066037B (zh) * 2021-03-31 2022-08-02 山东师范大学 基于图注意力机制的多光谱与全色图像融合方法及系统
CN113177559B (zh) * 2021-04-22 2023-06-02 重庆兆光科技股份有限公司 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446729A (zh) * 2018-03-13 2018-08-24 天津工业大学 基于卷积神经网络的鸡蛋胚胎分类方法
CN108734290A (zh) * 2018-05-16 2018-11-02 湖北工业大学 一种基于注意力机制的卷积神经网络构建方法及应用
CN108805203A (zh) * 2018-06-11 2018-11-13 腾讯科技（深圳）有限公司 图像处理及对象再识别方法、装置、设备和存储介质
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN110569851A (zh) * 2019-08-28 2019-12-13 广西师范大学 门控多层融合的实时语义分割方法
CN110619639A (zh) * 2019-08-26 2019-12-27 苏州同调医学科技有限公司 一种结合深度神经网络和概率图模型分割放疗影像的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446729A (zh) * 2018-03-13 2018-08-24 天津工业大学 基于卷积神经网络的鸡蛋胚胎分类方法
CN108734290A (zh) * 2018-05-16 2018-11-02 湖北工业大学 一种基于注意力机制的卷积神经网络构建方法及应用
CN108805203A (zh) * 2018-06-11 2018-11-13 腾讯科技（深圳）有限公司 图像处理及对象再识别方法、装置、设备和存储介质
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN110619639A (zh) * 2019-08-26 2019-12-27 苏州同调医学科技有限公司 一种结合深度神经网络和概率图模型分割放疗影像的方法
CN110569851A (zh) * 2019-08-28 2019-12-13 广西师范大学 门控多层融合的实时语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Detection of Infrared Small Targets Using Feature Fusion Convolutional Network;Kaidi Wang 等;《IEEE Access》;20191001;第146081-146092页 *
功能型复合深度网络的图像超分辨率重建;唐家军 等;《计算机科学与探索》;20191128;第1368-1379页 *

Also Published As

Publication number Publication date
CN111160458A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111160458B (zh) 一种图像处理系统及其卷积神经网络
CN103559504B (zh) 图像目标类别识别方法及装置
CN111563275B (zh) 一种基于生成对抗网络的数据脱敏方法
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN108876797B (zh) 一种基于Spiking-SOM神经网络聚类的图像分割系统及方法
CN108399428A (zh) 一种基于迹比准则的三元组损失函数设计方法
CN106411572B (zh) 一种结合节点信息和网络结构的社区发现方法
CN109034268B (zh) 一种面向信息素诱捕器的红脂大小蠹检测器优化方法
CN112016450B (zh) 机器学习模型的训练方法、装置和电子设备
CN110147833B (zh) 人像处理方法、装置、系统和可读存储介质
CN108764336A (zh) 用于图像识别的深度学习方法及装置、客户端、服务器
CN109189889B (zh) 一种弹幕识别模型建立方法、装置、服务器及介质
CN108112044B (zh) 一种基于正态模糊数的异构无线网络选择方法
CN108664993B (zh) 一种密集权重连接的卷积神经网络图像分类方法
CN107483473A (zh) 一种云环境的低速拒绝服务攻击数据流检测方法
CN107067022B (zh) 图像分类模型的建立方法、建立装置和设备
CN110069959A (zh) 一种人脸检测方法、装置及用户设备
CN109840509A (zh) 网络直播视频中不良主播的多层次协同识别方法及装置
CN114187311A (zh) 一种图像语义分割方法、装置、设备及存储介质
CN108447048B (zh) 基于关注层的卷积神经网络图像特征处理方法
CN113902131B (zh) 抵抗联邦学习中歧视传播的节点模型的更新方法
CN112232933A (zh) 房源信息的推荐方法、装置、设备及可读存储介质
CN110211685A (zh) 基于完全关注机制的糖网筛查网络结构模型
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
CN114385376A (zh) 一种异构数据下边缘侧联邦学习的客户端选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant