CN112651407B - 一种基于区分性反卷积的cnn可视化方法 - Google Patents
一种基于区分性反卷积的cnn可视化方法 Download PDFInfo
- Publication number
- CN112651407B CN112651407B CN202011640809.2A CN202011640809A CN112651407B CN 112651407 B CN112651407 B CN 112651407B CN 202011640809 A CN202011640809 A CN 202011640809A CN 112651407 B CN112651407 B CN 112651407B
- Authority
- CN
- China
- Prior art keywords
- layer
- deconvolution
- diagram
- cnn
- highest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007794 visualization technique Methods 0.000 title claims abstract description 20
- 238000010586 diagram Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000004913 activation Effects 0.000 claims abstract description 38
- 238000012800 visualization Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 20
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于区分性反卷积的CNN可视化方法，方法包括给定输入图像进行特征提取，并得到最高层特征图和分类结果,基于最高层特征图，使用Grad‑CAM方法，生成类别激活图。一方面，将类别激活图作为初始特征图，逐层反卷积到输入空间，生成具有类别区分性的热力图。另一方面，将类别激活图逐层融合中间层特征图，并使用反卷积恢复到输入空间，生成具有细粒度特征的热力图。将所述具有类别区分性的热力图与所述具有细粒度特征的热力图相融合，生成最终的热力图。本发明用于实现具有细粒度和类别区分性的CNN可视化效果。
Description
技术领域
本发明涉及可解释性深度学习领域，具体涉及一种基于区分性反卷积的CNN可视化方法。
背景技术
卷积神经网络(CNN)取得了巨大成功，但其“black box”特征阻碍了其在一些领域的应用，不可解释的特点始终为人们所诟病。目前，人们对如何恰当地解释卷积神经网络的识别结果进行研究，从而为卷积神经网络能有更广泛的应用场景提供基础。
作为正向卷积的逆过程，反卷积是一种最为直接的可视化卷积神经网络的方法，可以产生相对细粒度的显著图。但经典的反卷积方法在CNN特征可视化应用中，中间层特征与输出层决策是两个分隔的部分，不能清楚的了解其中的哪些特征与哪个输出类别相关联。这样，导致其存在2个重要问题：一是从中间层激活分布重建输入图像，其重点在展示中间层的编码特征，以及了解中间神经元(或层)激活与输入空间的哪些特征相关，但对CNN预测结果的解释效果相对较弱；
二是重建的特征没有类别区分性，无法将输出的各类别信息与中间层特征关联起来，从而不能体现特征与类别之间的关系。
类激活映射(CAM)方法是一种类别区分性的可视化方法，在弱监督目标定位效果上表现良好，其中包括Grad-CAM，Grad-CAM++,Score-CAM等，这些方法虽然解决了上述方法中的一些缺陷，但在可视化效果上并没有明显的提升，仍然含有较多的视觉冗余，这些方法不可避免的产生没有意义的噪声，影响了可视化的视觉效果。
发明内容
本发明为解决现有反卷积可视化分辨率不高、目标局部信息不全、无法与CNN决策结果关联的问题，提供了一种基于区分性反卷积的CNN可视化方法，将Grad-CAM方法与反卷积方法相结合，生成具有细粒度特征以及类别区分性的热力图。
为了实现上述目的，本发明的技术方案是：
一种基于区分性反卷积的CNN可视化方法，所述方法包括：
步骤1：给定输入图像进行特征提取，得到最高层特征图和分类结果；
步骤2：基于最高层特征图与分类结果，使用Grad-CAM方法，生成类别激活图；
步骤3：将所述类别激活图作为初始特征图，逐层反卷积到输入空间，生成具有类别区分性的热力图；
步骤4：将所述类别激活图逐层融合中间层特征图，并使用反卷积恢复到输入空间，生成具有细粒度特征的热力图；
步骤5：将所述具有类别区分性的热力图与所述具有细粒度特征的热力图相融合，生成最终的热力图。
进一步地，所述步骤1包括最高层特征图的获取阶段：
输入图像，对所述图像在含有L个卷积层的CNN中进行正向特征提取，如公式(1)表示：
(A1,A2,...,AL)＝fconv(x；θ) (1)；
其中，x为输入图像，L表示最后一个卷积层，Al表示第l个卷积层的输出多通道特征图，1≤l≤L，θ表示卷积神经网络的参数集合，函数fconv()表示正向卷积过程，AL表示最高层特征图。
进一步地，所述步骤1还包括分类阶段：
通过公式(1)得到最高层特征图，并将所述最高层特征图送至softmax层进行分类，并获得分类结果。
进一步地，所述步骤2采用像素级梯度作为最高层特征图各像素的权重。
进一步地，所述步骤2包括：
基于分类结果，使用梯度反向传播，计算最高层特征图对应的梯度图，并得到最高层特征图各通道对应的权重，如公式(2)表示：
其中，sc表示将输入图片x分类第c类的分数，k表示最高层特征图的第k个通道，表示第k个通道(i,j)位置处的像素，/>表示第k个通道(i,j)位置处对应的权重。
进一步地，所述步骤2还包括：
使用Grad-CAM方法，将各通道特征图和各通道像素权重进行加权，逐个通道位置求和，生成对应的类别激活图，如公式(3)表示：
其中，表示由/>组成的梯度图的第k个通道。
进一步地，所述步骤3具体包括：
将类别激活图作为反卷积最初始的特征图，基于所述类别激活图的单通道反卷积过程，如公式(4)表示：
其中，函数fdeconv()表示单通道反卷积过程，表示反卷积得到的第l-1层结果，/>表示反卷积开始阶段使用的类别激活图。
进一步地，所述步骤4具体包括：
将每个卷积层特征图中的相关信息逐层融合到反卷积过程中，如公式(5)表示：
其中，“⊙”表示哈达玛积，average()函数表示对特征图Al按通道求平均，得到一维的特征图，此时1≤l≤L-1。
进一步地，所述步骤5具体包括：
在融合最高层特征图的同时，将两条反卷积路径中的热力图整合在一起，形成最终的热力图，如公式(6)表示：
Hc＝Dc⊙Fc (6)；
其中，Hc表示最终的热力图。
通过上述技术方案，本发明的有益效果为：
本发明提出了一种基于区分性反卷积的CNN可视化方法，在进行CNN可视化过程中对输入图像进行特征提取，得到最高层特征图和分类结果，再基于最高层特征图，使用Grad-CAM方法生成含有类别信息的类别激活图，将所述类别激活图作为初始特征图，逐层反卷积到输入空间，生成具有类别区分性的热力图，同时，将所述类别激活图逐层融合中间层特征图，并使用反卷积恢复到输入空间，生成具有细粒度特征的热力图，最终，将所述具有类别区分性的热力图与所述具有细粒度特征的热力图相融合，生成最终的热力图，实现具有细粒度和类别区分性的CNN可视化效果。
附图说明
图1是本发明一种基于区分性反卷积的CNN可视化方法的方法流程图；
图2是本发明一种基于区分性反卷积的CNN可视化方法的网络结构示意图。
图3是本发明一种基于区分性反卷积的CNN可视化方法的基于像素级梯度的类别激活图生成过程示意图；
图4是本发明一种基于区分性反卷积的CNN可视化方法的单通道区分性反卷积运算过程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明：
本发明所述基于区分性反卷积的CNN可视化方法其流程主要分为3个部分结合图1和图2所示：
1.CNN特征提取与分类：利用普通的CNN分类过程，对输入图像进行特征提取与分类。CNN可视化的目的是对这个用于分类的CNN模型进行解释，使用户理解其分类依据。
2.Grad-CAM：用于生成含有类别信息的类别激活图，将其作为具有类别区分性的单通道特征图，用于为反卷积开始阶段提供类别信息，其过程如图2中路径(β)所示；
3.Deconvolution：反卷积过程含有两条路径，如图2所示，图中路径(γ)表示使用中间层特征图的细粒度反卷积，融合各层特征图信息，以提升、丰富特征信息，生成具有细粒度特征的热力图；
图2中路径(θ)表示使用逐层反卷积将类别激活图直接恢复到输入空间(不整合各层特征图信息)，生成含有类别区分性的热力图；
最后，将两条路径生成的热力图融合，去除不重要的背景信息，实现生成细粒度的、类别区分性的热力图。
实施例1
一种基于区分性反卷积的CNN可视化方法，所述方法包括：
步骤1：给定输入图像进行特征提取，得到最高层特征图和分类结果；
步骤2：基于最高层特征图与分类结果，使用Grad-CAM方法，生成类别激活图；
步骤3：将所述类别激活图作为初始特征图，逐层反卷积到输入空间，生成具有类别区分性的热力图；
步骤4：将所述类别激活图逐层融合中间层特征图，并使用反卷积恢复到输入空间，生成具有细粒度特征的热力图；
步骤5：将所述具有类别区分性的热力图与所述具有细粒度特征的热力图相融合，生成最终的热力图。
本发明实施例提供的一种基于区分性反卷积的CNN可视化方法，通过结合基于梯度的类别信息，将决策结果类别与反卷积过程相关联，从而引入类别信息，并在反卷积过程中逐层添加各层特征图信息，实现细粒度高分辨率、含有类别区分信息的热力图可视化效果。
实施例2
在上述实施例1的基础上，本发明实施例与上述实施例的不同之处在于，对步骤1进行了优化，在本实施例中，设输入图像为x，将其统一裁剪为224×224×3大小，其中224表示长和宽，3表示通道数。使用均值向量mean＝[0.485,0.456,0.406]和标准差向量std＝[0.229,0.224,0.225]对图像进行处理，具体为：
所述步骤1包括最高层特征图的获取阶段：
输入图像，对所述图像在含有L个卷积层的CNN中进行正向特征提取，如公式(1)表示：
(A1,A2,...,AL)＝fconv(x；θ) (1)；
其中，x为输入图像，L表示最后一个卷积层，Al表示第l个卷积层的输出多通道特征图，1≤l≤L，θ表示卷积神经网络的参数集合，函数fconv()表示正向卷积过程，AL表示最高层特征图。
作为一种可实施方式，所述步骤1还包括分类阶段：
通过公式(1)得到最高层特征图，并将所述最高层特征图送至softmax层进行分类，并获得分类结果。
实施例3
在上述实施例1的基础上，为生成含有特定类别信息的类别激活图，本发明实施例与上述实施例的不同之处在于，对步骤2进行了优化，如图3所示，所述步骤2采用像素级梯度作为最高层特征图各像素的权重。
基于分类结果，使用梯度反向传播，计算最高层特征图对应的梯度图，并得到最高层特征图各通道对应的权重，如公式(2)表示：
其中，sc表示将输入图片x分类第c类的分数，k表示最高层特征图的第k个通道，表示第k个通道(i,j)位置处的像素，/>表示第k个通道(i,j)位置处对应的权重。
作为一种可实施方式，使用Grad-CAM方法，将各通道特征图和各通道像素权重进行加权，逐个通道位置求和，生成对应的类别激活图，如公式(3)表示：
其中，表示由/>组成的梯度图的第k个通道。
实施例4
在上述实施例1的基础上，为生成具有类别区分性的热力图，本发明实施例与上述实施例的不同之处在于，所述步骤3具体包括：
如图4所示，将类别激活图作为反卷积最初始的特征图，所述卷积核的权重置为1，偏移置为0，将单通道特征图反卷积到输入空间，如公式(4)表示：
其中，函数fdeconv()表示单通道反卷积过程，表示反卷积得到的第l-1层结果，/>表示反卷积开始阶段使用的类别激活图。
实施例5
在上述实施例1的基础上，为生成具有细粒度特征的热力图，本发明实施例与上述实施例的不同之处在于，所述步骤4具体包括：
将每个卷积层特征图中的相关信息逐层融合到反卷积过程中，如公式(5)表示：
其中，“⊙”表示哈达玛积，average()函数表示对特征图Al按通道求平均，得到一维的特征图，此时1≤l≤L-1。
实施例6
在上述多个实施例的基础上，为生成具有类别区分性的热力图与所述具有细粒度特征的热力图，本发明实施例与上述实施例的不同之处在于，如图2所示，所述步骤5具体包括：
在融合最高层特征图的同时，将两条反卷积路径中的热力图整合在一起，形成最终的热力图，如公式(6)表示：
Hc＝Dc⊙Fc (6)；
其中，Hc表示最终的热力图。
本发明提出了一种基于区分性反卷积的CNN可视化方法，所述方法用于实现CNN可视化，通过CNN可视化用于解释卷积神经网络的识别结果，本发明为达到CNN可视化效果，将图像输入到CNN网络进行特征提取，将得到的最高层特征图用于图像分类。然后使用Grad-CAM生成含有类别信息的类别激活图，将其作为具有类别区分性的单通道特征图引入反卷积过程中，并在反卷积过程中逐层添加各层特征图信息，生成具有类别区分性以及细粒度特征的热力图，解决了现有可视化方法分辨率不高、目标局部信息不全、无法与CNN决策结果关联等问题，实现细粒度高分辨率、含有类别区分信息的热力图可视化效果。
以上所述之实施例，只是本发明的较佳实施例而已，并非限制本发明的实施范围，故凡依本发明专利范围所述的构造、特征及原理所做的等效变化或修饰，均应包括于本发明申请专利范围内。
Claims (9)
1.一种基于区分性反卷积的CNN可视化方法，其特征在于，所述方法包括：
步骤1：给定输入图像进行特征提取，得到最高层特征图和分类结果；
步骤2：基于最高层特征图，使用Grad-CAM方法，生成类别激活图；
步骤3：将最高层特征图生成的类别激活图作为初始特征图，逐层反卷积到输入空间，生成具有类别区分性的热力图；
步骤4：将所述类别激活图逐层融合特征提取过程中的中间层特征图，生成具有细粒度的热力图；
步骤5：将所述具有类别区分性的热力图与所述具有细粒度的热力图相融合，生成最终的热力图。
2.根据权利要求1所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤1包括最高层特征图的获取阶段：
输入图像，对所述图像在含有L个卷积层的CNN中进行正向特征提取，如公式(1)表示：
(A1,A2,...Al...,AL)＝fconv(x；θ) (1)；
其中，x为输入图像，Al表示第l个卷积层的输出多通道特征图，1≤l≤L，θ表示卷积神经网络的参数集合，函数fconv()表示正向卷积过程，AL表示最高层特征图。
3.根据权利要求2所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤1还包括分类阶段：
通过公式(1)得到最高层特征图，并将所述最高层特征图送至softmax层进行分类，并获得分类结果。
4.根据权利要求3所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤2采用像素级梯度作为最高层特征图各像素的权重。
5.根据权利要求4所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤2包括：
基于分类结果，使用梯度反向传播，计算最高层特征图对应的梯度图，并得到最高层特征图各通道位置处对应的权重；
所述梯度图的获取，如公式(2)表示：
其中，sc表示将输入图片x分类第c类的分数，表示第k个通道(i,j)位置处的像素，表示第k个通道(i,j)位置处对应的权重。
6.根据权利要求5所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤2还包括：
使用Grad-CAM方法，将各通道特征图和各通道像素权重进行加权，逐个通道位置求和，生成对应的类别激活图，如公式(3)表示：
其中，表示由/>组成的梯度图的第k个通道，/>表示反卷积开始阶段使用的类别激活图。
7.根据权利要求6所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤3具体包括：
将最高层特征图生成的类别激活图作为反卷积最初始的特征图，基于所述类别激活图的单通道反卷积过程，如公式(4)表示：
其中，函数fdeconv()表示单通道反卷积过程，表示反卷积得到的第l-1层结果。
8.根据权利要求7所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤4具体包括：
将第l层卷积层特征图Al中的相关信息，按照公式(5)的方式融合到反卷积过程中：
其中，“⊙”表示哈达玛积，average()函数表示对特征图Al按通道求平均，得到一维的特征图，此时1≤l≤L。
9.根据权利要求8所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤5具体包括：
在融合最高层特征图的同时，将两条反卷积路径中的热力图整合在一起，形成最终的热力图，如公式(6)表示：
Hc＝Dc⊙Fc (6)；
其中，Hc表示最终的热力图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011640809.2A CN112651407B (zh) | 2020-12-31 | 2020-12-31 | 一种基于区分性反卷积的cnn可视化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011640809.2A CN112651407B (zh) | 2020-12-31 | 2020-12-31 | 一种基于区分性反卷积的cnn可视化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112651407A CN112651407A (zh) | 2021-04-13 |
| CN112651407B true CN112651407B (zh) | 2023-10-20 |
Family
ID=75367114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011640809.2A Active CN112651407B (zh) | 2020-12-31 | 2020-12-31 | 一种基于区分性反卷积的cnn可视化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651407B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180057420A (ko) * | 2016-11-22 | 2018-05-30 | 주식회사 루닛 | 약한 지도 학습 방식의 객체 인식 방법 및 장치 |
| CN109858506A (zh) * | 2018-05-28 | 2019-06-07 | 哈尔滨工程大学 | 一种面向卷积神经网络分类结果的可视化算法 |
| US10325371B1 (en) * | 2019-01-22 | 2019-06-18 | StradVision, Inc. | Method and device for segmenting image to be used for surveillance using weighted convolution filters for respective grid cells by converting modes according to classes of areas to satisfy level 4 of autonomous vehicle, and testing method and testing device using the same |
| CN110009679A (zh) * | 2019-02-28 | 2019-07-12 | 江南大学 | 一种基于多尺度特征卷积神经网络的目标定位方法 |
| CN110136103A (zh) * | 2019-04-24 | 2019-08-16 | 平安科技（深圳）有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
| CN110504029A (zh) * | 2019-08-29 | 2019-11-26 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
| CN110517771A (zh) * | 2019-08-29 | 2019-11-29 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
| CN111046939A (zh) * | 2019-12-06 | 2020-04-21 | 中国人民解放军战略支援部队信息工程大学 | 基于注意力的cnn类别激活图生成方法 |
| CN111046962A (zh) * | 2019-12-16 | 2020-04-21 | 中国人民解放军战略支援部队信息工程大学 | 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统 |
| CN111126379A (zh) * | 2019-11-22 | 2020-05-08 | 苏州浪潮智能科技有限公司 | 一种目标检测方法与装置 |
| CN111553462A (zh) * | 2020-04-08 | 2020-08-18 | 哈尔滨工程大学 | 一种类激活映射方法 |
| CN111583187A (zh) * | 2020-04-14 | 2020-08-25 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于cnn可视化的pcb电路板缺陷检测方法 |
| CN111707579A (zh) * | 2020-06-03 | 2020-09-25 | 清华大学深圳国际研究生院 | 一种油气两相流流型热力图可视化方法及参数测量方法 |
-
2020
- 2020-12-31 CN CN202011640809.2A patent/CN112651407B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180057420A (ko) * | 2016-11-22 | 2018-05-30 | 주식회사 루닛 | 약한 지도 학습 방식의 객체 인식 방법 및 장치 |
| CN109858506A (zh) * | 2018-05-28 | 2019-06-07 | 哈尔滨工程大学 | 一种面向卷积神经网络分类结果的可视化算法 |
| US10325371B1 (en) * | 2019-01-22 | 2019-06-18 | StradVision, Inc. | Method and device for segmenting image to be used for surveillance using weighted convolution filters for respective grid cells by converting modes according to classes of areas to satisfy level 4 of autonomous vehicle, and testing method and testing device using the same |
| CN110009679A (zh) * | 2019-02-28 | 2019-07-12 | 江南大学 | 一种基于多尺度特征卷积神经网络的目标定位方法 |
| CN110136103A (zh) * | 2019-04-24 | 2019-08-16 | 平安科技（深圳）有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
| CN110517771A (zh) * | 2019-08-29 | 2019-11-29 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
| CN110504029A (zh) * | 2019-08-29 | 2019-11-26 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
| CN111126379A (zh) * | 2019-11-22 | 2020-05-08 | 苏州浪潮智能科技有限公司 | 一种目标检测方法与装置 |
| CN111046939A (zh) * | 2019-12-06 | 2020-04-21 | 中国人民解放军战略支援部队信息工程大学 | 基于注意力的cnn类别激活图生成方法 |
| CN111046962A (zh) * | 2019-12-16 | 2020-04-21 | 中国人民解放军战略支援部队信息工程大学 | 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统 |
| CN111553462A (zh) * | 2020-04-08 | 2020-08-18 | 哈尔滨工程大学 | 一种类激活映射方法 |
| CN111583187A (zh) * | 2020-04-14 | 2020-08-25 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于cnn可视化的pcb电路板缺陷检测方法 |
| CN111707579A (zh) * | 2020-06-03 | 2020-09-25 | 清华大学深圳国际研究生院 | 一种油气两相流流型热力图可视化方法及参数测量方法 |
Non-Patent Citations (2)
| Title |
|---|
| Network deconvolution;Chengxi Ye等;《arXiv》;20190528;第1-11页 * |
| 平行视觉框架下深度卷积神经网络可视化分析;翟永杰等;《计算机工程与应用》;20191014;第139-145页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112651407A (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046962B (zh) | 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统 | |
| CN111612807B (zh) | 一种基于尺度和边缘信息的小目标图像分割方法 | |
| CN107154023B (zh) | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
| CN109614921B (zh) | 一种基于对抗生成网络的半监督学习的细胞分割方法 | |
| CN103177446B (zh) | 基于邻域和非邻域平滑先验的图像前景精准提取方法 | |
| CN112862792B (zh) | 一种用于小样本图像数据集的小麦白粉病孢子分割方法 | |
| CN112036260B (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| KR101888647B1 (ko) | 이미지 분류 장치 및 방법 | |
| CN112884758A (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 | |
| CN117576402B (zh) | 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法 | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| Rios et al. | Feature visualization for 3D point cloud autoencoders | |
| CN115565043A (zh) | 结合多表征特征以及目标预测法进行目标检测的方法 | |
| CN113344110A (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
| CN115272670A (zh) | 一种基于掩膜注意交互的sar图像舰船实例分割方法 | |
| CN111626296A (zh) | 基于深度神经网络的医学图像分割系统及方法、终端 | |
| CN112802048B (zh) | 具有不对称结构的图层生成对抗网络生成方法及装置 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| Wang et al. | Neighbor Spectra Maintenance and Context Affinity Enhancement for Single Hyperspectral Image Super-Resolution | |
| CN112651407B (zh) | 一种基于区分性反卷积的cnn可视化方法 | |
| Liu et al. | Diffusion models meet remote sensing: Principles, methods, and perspectives | |
| Cao et al. | Deep feature interactive aggregation network for single image deraining |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |