CN110135578A - 一种低冗余倒置残差块 - Google Patents
一种低冗余倒置残差块 Download PDFInfo
- Publication number
- CN110135578A CN110135578A CN201910257133.XA CN201910257133A CN110135578A CN 110135578 A CN110135578 A CN 110135578A CN 201910257133 A CN201910257133 A CN 201910257133A CN 110135578 A CN110135578 A CN 110135578A
- Authority
- CN
- China
- Prior art keywords
- layer
- spatial convoluted
- core
- convolution
- branch circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 title claims abstract description 16
- 230000006835 compression Effects 0.000 claims abstract description 20
- 238000007906 compression Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种低冗余倒置残差块，包括依次连接的用于扩张输入通道的数量的多支路操作层、用于提取特征的空间卷积层和用于压缩输出通道的数量的卷积压缩层，所述多支路操作层通过输入通道与所述空间卷积层相连接，所述空间卷积层通过输出通道与所述卷积压缩层相连接；所述空间卷积层包括空间卷积核，所述空间卷积核与通过所述多支路操作层扩张后的输入通道数量相同且唯一对应；所述卷积压缩层中包括2个结构稀疏的组卷积核。大幅度地减少了卷积块的冗余，进而缩小了网络模型尺寸和降低了计算成本。
Description
技术领域
本发明涉及神经网络领域，特别涉及一种低冗余倒置残差块。
背景技术
卷积神经网络由于其较高的识别精度，在各种领域中得到了广泛的应用，而传统的卷积神经网络往往层次深而且结构复杂，需要较大的存储空间，且计算量较大，不利于成本的控制。为了解决这个问题，目前所采取的方案主要是对预先训练的模型进行压缩，或者直接构建轻量级卷积神经网络，例如残差结构，从而减少神经网络的参数量和计算量。但是对预先训练的模型进行压缩的方法需要预先训练复杂的网络，而且压缩很容易造成精度下降；现有的残差结构中使用的卷积层是密集连接的，参数冗余较多，耗费的计算量较大。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种低冗余倒置残差块，在实际应用中能够用低计算成本的多支路操作扩增通道数，并使用卷积层保持稀疏，减少计算量，在确保高精度的前提下实现高效的特征提取。
根据本发明的第一方面，提供一种低冗余倒置残差块，包括依次连接的用于扩张输入通道的数量的多支路操作层、用于提取特征的空间卷积层和用于压缩输出通道的数量的卷积压缩层，所述多支路操作层通过输入通道与所述空间卷积层相连接，所述空间卷积层通过输出通道与所述卷积压缩层相连接；
所述空间卷积层包括空间卷积核，所述空间卷积核与通过所述多支路操作层扩张后的输入通道数量相同且唯一对应；
所述卷积压缩层中包括2个结构稀疏的组卷积核。
上述低冗余倒置残差块至少具有以下有益效果：本发明通过多支路操作层对通道进行扩张，空间卷积核的数量与输入通道唯一对应，大幅度减少了网络冗余，卷积压缩层采用结构稀疏的1×1组卷积核代替倒置残差结构中密集的1×1卷积压缩层，用更少的参数量和计算量实现信息跨通道流通以及维度映射，有效地提高网络的表征能力，并大幅度降低了卷积块的参数量和计算。
根据本发明第一方面所述的一种低冗余倒置残差块，多支路操作层中包括至少6个用于扩张输入通道数的并行支路。采用多个并行支路能够以零计算开销的操作代替倒置残差结构中高计算成本的1×1多支路操作层。该技术在不需要额外的计算开销下，用至少6个分离的并行支路对输入通道进行通道数扩张。
根据本发明第一方面所述的一种低冗余倒置残差块，所述空间卷积核包括第一空间卷积核，第二空间卷积核和第三空间卷积核，所述第一空间卷积核的核尺寸为1×1，所述第二空间卷积核的核尺寸为3×3，所述第三空间卷积核的核尺寸为5×5。从结构上看，采用多尺寸的低冗余卷积核能够利用低秩分解方法对核尺寸较大的卷积滤波器进行分解，以减少卷积滤波器冗余。
根据本发明第一方面所述的一种低冗余倒置残差块，所述卷积压缩层压缩后的输出通道的数量与通过所述多支路操作层扩展前的输入通道的数量相同。通过压缩输出通道数，进而压缩卷积块的参数量并使得输入输出维度一致，以便于在输入输出之间插入捷径连接，有助于信息跨通道流动。
附图说明
下面结合附图和实施例对本发明进一步地说明；
图1为本发明实施例一种低冗余倒置残差块的结构示意图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，低冗余倒置残差是残差结构的倒置形式，共有三层。第一层是多支路操作层100，用于扩张输入通道；随后第二层用空间卷积层200对输出进行特征提取；最后一层是结构稀疏的1×1卷积压缩层300，该层对空间卷积的输出进行跨通道连接，实现信息交流，并压缩输出通道，使得输入输出维度一致，以便捷径连接的插入。需要说明是的，本实施例中采用的多支路级联技术是利用多支路操作实现了扩张输入通道的维度且无需消耗额外的计算成本。空间卷积层200在每个输入通道应用相应的单个空间卷积核，用于在特征提取同时降低计算复杂度。结构稀疏的组卷积核310在实现信息跨通道流动与维度压缩同时，进一步减少了卷积块的冗余。
在本发明的另一个实施例中，使用第一空间卷积层210，第二空间卷积层220和第三空间卷积层230逐通道卷积在六个分离的并行支路对输入的低维压缩表征进行滤波，以提取输入不同尺度的特征，其中，对第三空间卷积层进行低秩分解；然后，将多空间卷积层200的每个支路进行级联，以形成输出不同尺度的输出特征；接着利用线性的结构稀疏逐的组卷积核310将特征投影回低维压缩表征，使得输入输出维度一致，以便于捷径连接的插入，与此同时，线性的结构稀疏逐点卷积实现了信息跨通道流动。由图1可以看出，轻量级逐通道卷积输出的每个特征图为各支路内相应的输入特征通道提供特定描述，信息仅在特定通道内流动，不能跨通道交流。本发明利用结构稀疏的逐点卷积对轻量级逐通道卷积的输出进行滤波，使得信息跨通道流动。因此，低冗余倒置残差块的组合卷积核是密集的。本发明通过两个交错的稀疏低秩卷积，构建了一个密集的组合卷积块，有效地提高网络的表征能力，并大幅度降低了卷积块的参数量和计算量。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (4)
1.一种低冗余倒置残差块，其特征在于，包括：依次连接的用于扩张输入通道的数量的多支路操作层、用于提取特征的空间卷积层和用于压缩输出通道的数量的卷积压缩层，所述多支路操作层通过输入通道与所述空间卷积层相连接，所述空间卷积层通过输出通道与所述卷积压缩层相连接；
所述空间卷积层包括空间卷积核，所述空间卷积核与通过所述多支路操作层扩张后的输入通道数量相同且唯一对应；
所述卷积压缩层中包括2个结构稀疏的组卷积核。
2.根据权利要求1所述的一种低冗余倒置残差块，其特征在于：所述多支路操作层中包括至少6个用于扩张输入通道数的并行支路。
3.根据权利要求1所述的一种低冗余倒置残差块，其特征在于：所述空间卷积核包括第一空间卷积核，第二空间卷积核和第三空间卷积核，所述第一空间卷积核的核尺寸为1×1，所述第二空间卷积核的核尺寸为3×3，所述第三空间卷积核的核尺寸为5×5。
4.根据权利要求1所述的一种低冗余倒置残差块，其特征在于：所述卷积压缩层压缩后的输出通道的数量与通过所述多支路操作层扩展前的输入通道的数量相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910257133.XA CN110135578A (zh) | 2019-04-01 | 2019-04-01 | 一种低冗余倒置残差块 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910257133.XA CN110135578A (zh) | 2019-04-01 | 2019-04-01 | 一种低冗余倒置残差块 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110135578A true CN110135578A (zh) | 2019-08-16 |
Family
ID=67569149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910257133.XA Pending CN110135578A (zh) | 2019-04-01 | 2019-04-01 | 一种低冗余倒置残差块 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110135578A (zh) |
-
2019
- 2019-04-01 CN CN201910257133.XA patent/CN110135578A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309837B (zh) | 基于卷积神经网络特征图的数据处理方法及图像处理方法 | |
| CN103839228B (zh) | 一种基于矢量地图数据抽稀与平滑处理的方法 | |
| CN103177414B (zh) | 一种基于结构的图节点相似度并行计算方法 | |
| CN109189991A (zh) | 重复视频识别方法、装置、终端及计算机可读存储介质 | |
| CN110377903A (zh) | 一种句子级实体和关系联合抽取方法 | |
| CN107679539B (zh) | 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法 | |
| CN103701469B (zh) | 一种大规模图数据的压缩存储方法 | |
| CN107092655A (zh) | 用于Android宽屏设备中组图的循环展示方法及系统 | |
| CN108416427A (zh) | 卷积核堆积数据流、压缩编码以及深度学习算法 | |
| CN107332567B (zh) | 编码方法和装置 | |
| CN105973206B (zh) | 一种基于道格拉斯—普克算法的航带划分方法 | |
| CN104361096A (zh) | 一种基于特征富集区域集合的图像检索方法 | |
| CN110008246A (zh) | 元数据管理方法及装置 | |
| CN104408128B (zh) | 一种基于b+树异步更新索引的读优化方法 | |
| Stoner | Sensitivity analysis applied to a steady-state model of natural gas transportation systems | |
| EP0398884A4 (en) | A relational database representation with relational database operation capability | |
| CN110135578A (zh) | 一种低冗余倒置残差块 | |
| CN114283069A (zh) | 一种脑部磁共振图像超分辨率重建方法 | |
| CN101916259A (zh) | 确定自动机状态转换表的空间压缩方法 | |
| CN103106313A (zh) | 轧后件顺序重构方法 | |
| CN114091648A (zh) | 基于卷积神经网络的图像分类方法、装置及卷积神经网络 | |
| CN105302889B (zh) | 数据存储结构的转换方法及装置 | |
| CN105045767B (zh) | 一种快速存贮及读取电力系统稀疏矩阵数据的方法 | |
| US20060188167A1 (en) | Encoding device and method, decoding device and method, program, and recording medium | |
| CN110442557A (zh) | 数据压缩及解压缩方法、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |