CN109063749A - 一种基于角点辐射域的鲁棒卷积核数量适配方法 - Google Patents
一种基于角点辐射域的鲁棒卷积核数量适配方法 Download PDFInfo
- Publication number
- CN109063749A CN109063749A CN201810780889.8A CN201810780889A CN109063749A CN 109063749 A CN109063749 A CN 109063749A CN 201810780889 A CN201810780889 A CN 201810780889A CN 109063749 A CN109063749 A CN 109063749A
- Authority
- CN
- China
- Prior art keywords
- angle point
- point
- pixel
- value
- adaptation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 137
- 230000006978 adaptation Effects 0.000 title claims abstract description 105
- 230000005855 radiation Effects 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 229910000831 Steel Inorganic materials 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000010959 steel Substances 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 26
- 230000008901 benefit Effects 0.000 description 17
- KQDWMXVMXQCPIZ-UHFFFAOYSA-N 4-amino-5-(2-chloroethyl)-1-[4-hydroxy-5-(hydroxymethyl)oxolan-2-yl]pyrimidin-2-one Chemical compound C1=C(CCCl)C(N)=NC(=O)N1C1OC(CO)C(O)C1 KQDWMXVMXQCPIZ-UHFFFAOYSA-N 0.000 description 16
- 238000012549 training Methods 0.000 description 16
- 238000002474 experimental method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000003252 repetitive effect Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- FCHYSBWCOKEPNQ-OUEWJSMTSA-M (r)-[(2r,4s,5r)-1-benzyl-5-ethenyl-1-azoniabicyclo[2.2.2]octan-2-yl]-quinolin-4-ylmethanol;chloride Chemical compound [Cl-].C([C@H]([C@H](C1)C=C)C[C@@H]2[C@H](O)C=3C4=CC=CC=C4N=CC=3)C[N+]21CC1=CC=CC=C1 FCHYSBWCOKEPNQ-OUEWJSMTSA-M 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 241000512668 Eunectes Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于角点辐射域的鲁棒卷积核数量适配方法，能自适应地确定卷积内核的数量，通过依次进行去噪操作、角点检测操作和角点辐射域操作，去噪操作和角点检测操作用于提取图像中具有丰富特征的点并且便于角点辐射域进行提取，角点辐射域操作则用于查找辅助功能的拐角扩展区域。本发明的方法不受卷积内核大小的限制，对于不同的尺寸，输出结果是一致的和健壮的。本方法适配的卷积核良好匹配特定的数据集，在各个数据集上具有较好表现，并且本方法与计算成本相当的适配方法对比，可提高3％的准确率，更重要的是本方法与准确率相似的适配方法对比，角点辐射域适配方法可减少15％的计算成本。
Description
技术领域
本发明涉及卷积核数量适配领域，具体涉及一种基于角点辐射域的鲁棒卷积核数量适配方法。
背景技术
近年来，深度学习引起了社会各界的广泛关注，推动了人工智能领域一系列应用研究的快速发展。作为深度学习的一个重要分支，卷积神经网络(CNN)与计算机视觉研究密切相关。随着CNN模型投入到计算机视觉领域，计算机视觉取得了卓越的进步。卷积神经网络的特征学习策略在计算机视觉等一系列领域得到了广泛的成功，逐渐取代了传统的人工设计特征研究，成为新的研究热点。
作为CNN中的重要超参数之一，卷积核的数量决定了CNN的运行时间，存储成本以及训练模型时的精度。目前，选择卷积核的数量主要是手工进行的。但手动确定合适的数量以确保高水平的准确性是具有挑战性的。在很多情况下，只能通过经验来选择合适的超参数，这是一个低效率的过程。因此，设置过多数量的卷积核以确保高精度是一种常规做法。一些众所周知的卷积神经网络模型，如Residual Net[1]，VGGNet[2]和其他神经网络模型[3,15,16,17,20,21]都直接指定卷积核的数量。但是，设置大量的卷积核的数量可能会导致CNN网络过度拟合。这使得特征地图具有过多的冗余权重，大大降低了训练效率。
目前可以较好的解决该问题的方法主要有两种：网络修剪和卷积核数量适配方法。网络修剪主要通过修剪模型结构来减少过拟合。卷积核数量适配方法通过数据集本身的特征来调整卷积核的数量以避免过度拟合。然而，现有的卷积核数量适配方法具有受卷积核的大小限制，导致可解释性差和高计算开销等问题。
发明内容
针对现有的确定卷积核数量的方法主要是通过手动进行选取的，这种手动过程存在潜在的过度拟合，不稳定性和低效率问题，本发明提供了一种基于角点辐射域的鲁棒卷积核数量适配方法。
本发明采用以下的技术方案：
一种基于角点辐射域的鲁棒卷积核数量适配方法，包括以下步骤：
步骤1：进行去噪操作；
定义一个滑动3×3窗口允许窗口通过图像，设定该窗口能连续移动并遍历图像，然后，消除一些没有意义的噪点，具体操作是取像素点p周围的八个像素点的值并计算点p与其之间的像素差，然后，设置了一个阈值K并给出以下公式：
其中，Sp→x表达公式结果的取值，Q代表像素点的值，Qp→x代表像素点p周边八个方向的像素值，Sp→x＝0代表像素点p与其周围的像素点像素之差很小；
步骤2：进行角点检测操作，通过角点检测得到角点；
在完成去噪操作后，将满足条件的点进行遍历，移动过程中，当它遇到一个平坦的地区，那么在所有的方向将不会有任何变化，当遇到边缘时，边缘方向不会有任何变化。但是，当遇到一个角落的时候，四面八方会发生很大的变化；
通过计算每个像素的梯度，如果两个方向上的绝对梯度值都很大，则将该像素视为角点，其具体描述如下：
Ex,y＝∑wu,v[Ix+u,y+v-Iu,v]2 (4)；
其中，[u,v]是窗口的偏移量，(x,y)是窗口内所对应的像素坐标位置，窗口有多大，就有多少个位置。为了方便识别角点，针对公式(4)进行泰勒公式展开得到：
M是一个矩阵，其表达形式为：
λ1与λ2表示矩阵M的特征值，如果λ1与λ2的值都很小，说明高斯窗口中的图像接近平坦；如果一个大一个小，则表示检测到边；如果λ1与λ2都很大，那么表示检测到了角点。为了表示方便，定义相应函数R：
R＝detM-k(traceM)2 (7)；
其中detM＝λ1λ2,traceM＝λ1+λ2，当R>0时，即为角点，经过以上过程，获取满足角点条件的个数和角点在图片中的位置，将提取出的角点提取，并作为角点辐射域的输入；
步骤3：进行角点辐射域操作；
在提取出角点后，对角点进行辐射扩展，其核心思想是在已知角点的情况下，对周边的圆形辐射区域进行检测并找出具有价值的点；
角点的辐射区域是指圆周长为16个像素点周围的像素点；
令Ic表示角点c的灰度值，t表示阈值，考虑角点附近的圆形窗口上的像素，如果该辐射区域扩展的像素点中存在灰度值高于Ip+t或者低于Ip-t，则将该像素点排除，将周围辐射区域像素点中剩余的点提取出来，对于每个角点辐射区域的像素点x，在相对于角点c的位置处的像素，由c→x表示，具有以下三种状态之一：
选择一个x并计算所有x∈C，C为所有列的所有像素的集合，将C划分为三个子集：Cd，Cs，Cb，其中，Cd集合代表相对于角点，灰度较暗的集合，Cs集合代表与角点灰度相似的集合，Cb集合代表了灰度较亮的集合；
在角点的辐射范围，由于与角点灰度差异值小于阈值的Cs集合与角点灰度值相似，其周围依然含有大量的灰度差异值巨大的点，为了判别Cs集合中的点是否含有足够的信息，提取出Cs集合，并计算Cs集合满足条件的个数，对于Cs集合中的每个点，以该点为中心，设定一个滑动窗口，对这些点周围的(1,0),(1,1),(0,1),(-1,1),(-1,0),(-1,-1),(0,-1),(1,-1)的八个方向进行滑动并计算平方差之和操作，通过该操作，了解这些点在周边移动时，梯度的变化率，为接下来的筛选合适的像素点做准备，滑动公式如下：
其中，a和b是定义滑动窗口区域内多有的点，(x,y)是Cs集合中像素点的坐标，I(x,y)代表(x,y)点出的像素值；
将Vx,y八个方向取出来的值进行累加，计算出八个方向变化的和，即：
提取出Cs集合每个选定点进行公式(10)操作的和值，并将这些平方差对每个角点的值进行累加求出均值M：
设定一个分类器，其中阈值为M，将Cs集合中各个选定点在(1,0),(1,1),(0,1),(-1,1),(-1,0),(-1,-1),(0,-1),(1,-1)八个方向上Vu,v(x,y)值进行比较，其具体公式如下：
收集Cs集合中移动的八个方向的点满足公式(12)大于等于4的点，并组成一个新的集合Ckc，最终的个数为角点的个数和集合Ckc中个数之和。
本发明具有的有益效果是：
本发明提供的基于角点辐射域的鲁棒卷积核数量适配方法，依次进行去噪操作、角点检测操作和角点辐射域操作，去噪操作和角点检测操作用于提取图像中具有丰富特征的点并且便于角点辐射域进行提取，角点辐射域操作则用于查找辅助功能的拐角扩展区域。本发明能自适应地确定卷积内核的数量，本方法不受卷积内核大小的限制，对于不同的尺寸，输出结果是一致的和健壮的，本方法获得的特征点在CNN训练过程中具有很好的稳定性，反映了高解释性。
本方法适配的卷积核良好匹配特定的数据集，在各个数据集上具有较好表现，并且本方法与计算成本相当的适配方法对比，可提高3％的准确率，更重要的是本方法与准确率相似的适配方法对比，角点辐射域适配方法可减少15％的计算成本。
附图说明
图1为本发明的流程图。
图2为角点去噪原理图。
图3为角点辐射域原理图。
图4为卷积神经网络模型图。
图5为MNIST数据算法对比图(1)。
图6为MNIST数据算法对比图(2)。
图7为Cifar-10准确率对比图(1)。
图8为Cifar-10准确率对比图(2)。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：
在卷积神经网络(CNN)中，卷积核主要执行卷积运算，卷积核通常以随机矩阵的形式初始化，它在网络训练过程中通过误差反向传播(BP)进行学习。在BP操作之后，卷积内核不断学习有价值的特征以增加其权重。为了便于分类，CNN将叠加的权重带入得分函数。得分函数获得的激活值越大，卷积核越符合要求，并且越容易将目标图像与其他图像区分开。
卷积核就像一个过滤器，用于提取图像的局部特征。当卷积图层只包含一个卷积核时，该模型只能提取一个特征。显然，由单个卷积核提取的特征值不能对图像进行分类。因此，可以通过增加卷积核数来学习更多的特征。然而，确定核心数目的目的是为了在分类中实现高水平的准确性，这是具有挑战性的。设置适当数量的卷积核不仅可以使模型学习足够的局部特征，而且还可以节省计算时间。
在这项工作中，根据图像中的关键特征的数量来设置卷积核的数量，并且这些关键特征在CNN网络训练过程中必须始终存在。显然，角点符合上述要求。角点被认为是2D图像的边缘曲线上的最大曲率点，并且当图像被用作输入时用来进行局部特征提取。角点具有以下三个特征：轮廓之间的交点，通常稳定的特征，点周围区域的像素在梯度方向和梯度幅度上都有很大的变化。因此，图像中的角落是满足这些要求的关键特征，使用角点检测来调整卷积内核的数量。
除了角点之外，本发明的方法还需要大量的辅助功能。原因是CNN在运行时执行黑匣子操作，因此很难详细知道卷积内核学到了哪些特定功能。如果只有角点的数量适合于卷积核的数量，那么CNN通过误差反向传播(BP)学习的特征不一定来自拥有最丰富特征值的角点。这导致角落点的丢失并且具有一些不稳定性。为了弥补黑盒学习过程的不足，增加CNN获取角点特征的概率，提高网络稳定性，有必要增加卷积核的数量以提取更多有价值的特征。
为了找到具有类似于角点属性的像素，应专注于角点周围的区域。角点是角点与其周围区域之间的灰度差很大的点。但是，它可能有少量的点与角点具有相似的灰度值，并且这些点也可能与周围的点具有相同的大像素差异。因此，角点辐射域的核心思想是通过设置已知角点处的角点辐射域来检测周围的环形辐射区域并找出有价值的点。
如果自适应卷积核的数量低于角点的数量，在连续训练中将学习的特征太少，并且一些具有重要特征的角点将不会被提取，从而导致低精度。因此，为了确保提取图像的完整特征，在CNN中提取的特征的数量必须至少等于角检测模块检测到的角点的数量。同样，当CNN训练数据集时，卷积核的数量应该大于或等于处理整个数据集时的最大角点数。
其具体定义如下：
a≥max(b1,b2…bn) (1)
其中a是卷积内核的数量，max表示集合中的最大值。n是数据集中图像的总数，b是数据集中图像中角的数量。
在本发明的方法完成之后，根据公式(1)，卷积核的数量应该大于或等于角点辐射域适配方法适配的数量与a之间的较大数，即：
d≥max(a,k) (2)；
其中，k是通过角点辐射域适配方法操作适配的数量，d表示通过角点辐射域适配方法的值的范围。
一种基于角点辐射域的鲁棒卷积核数量适配方法，包括以下步骤：
步骤1：进行去噪操作；
定义一个滑动3×3窗口允许窗口通过图像，设定该窗口可以连续移动并遍历图像，然后，消除一些没有意义的噪点，具体操作是取像素点p周围的八个像素点的值并计算点p与其之间的像素差。然后，设置了一个阈值K并给出以下公式：
其中，Sp→x表达公式结果的取值，Q代表像素点的值，Qp→x代表像素点p周边八个方向的像素值，Sp→x＝0代表像素点p与其周围的像素点像素之差很小。
如图2所示，黑色的像素块代表像素点p，灰色的点代表满足条件Sp→x＝0的点，白色的点代表满足条件Sp→x＝1的点。当点p周围的灰色像素点数量在1到4个点时，点p有机会成为一个角点。然而，当点p周围灰色的点数量是5且这些灰色的点连续时，点p不能称之为一个角点而是一个边，这是可以将点p排除掉。同时，当p周围灰色的点的数量大于等于5时，则说明点p与周围像素差距不大，不满足角点的概念，将满足这种条件的点进行排除。
步骤2：进行角点检测操作，通过角点检测得到角点；
在完成去噪操作后，将满足条件的点进行遍历。移动过程中，当它遇到一个平坦的地区，那么在所有的方向将不会有任何变化。当遇到边缘时，边缘方向不会有任何变化。但是，当遇到一个角落的时候，四面八方会发生很大的变化。通过计算每个像素的梯度，如果两个方向上的绝对梯度值都很大，则将该像素视为角点，其具体描述如下：
Ex,y＝∑wu,v[Ix+u,y+v-Iu,v]2 (4)；
其中，[u,v]是窗口的偏移量，(x,y)是窗口内所对应的像素坐标位置，窗口有多大，就有多少个位置。为了方便识别角点，针对公式(4)进行泰勒公式展开得到：
M是一个矩阵，其表达形式为：
λ1与λ2表示矩阵M的特征值，如果λ1与λ2的值都很小，说明高斯窗口中的图像接近平坦。如果一个大一个小，则表示检测到边。如果λ1与λ2都很大，那么表示检测到了角点。为了表示方便，定义相应函数R：
R＝detM-k(traceM)2 (7)；
其中detM＝λ1λ2,traceM＝λ1+λ2。当R>0时，即为角点。经过如上步骤，获取满足角点条件的个数和角点在图片中的位置。将提取出的角点提取，并作为角点辐射域的输入。
步骤3：进行角点辐射域操作；
在提取出角点后，对角点进行辐射扩展，其核心思想是在已知角点的情况下，对周边的圆形辐射区域进行检测并找出具有价值的点。
角点的辐射区域是指圆周长为16个像素点(半径为3的Bresenham圆)周围的像素点。如图3所示：以角点a像素点为圆心的点在其周围有16个边缘像素点。当中心点变为角点时，其鲜明的灰度值，会使其周边辐射边缘范围内像素点灰度差异大于阈值t的值占有大量比例。由图可看到A图形的灰度值与其周围的空白区域相差巨大，而图形本身的灰度值相差不大。
因此，可以对其这些满足灰度差异值小于阈值t的点进行判定，判定这些像素点与其附近的其他点灰度差异值变化的是否剧烈，其中，Ic表示角点c的灰度值，t表示阈值。考虑角点附近的圆形窗口上的像素，如果该辐射区域扩展的像素点中存在灰度值高于Ip+t或者低于Ip-t，则将该像素点排除。将周围辐射区域像素点中剩余的点提取出来。对于每个角点辐射区域的像素点x，在相对于角点c的位置处的像素(由c→x表示)可以具有以下三种状态之一：
选择一个x并计算所有x∈C(所有列的所有像素的集合)，将C划分为三个子集：Cd，Cs，Cb。其中，Cd集合代表相对于角点，灰度较暗的集合，Cs集合代表与角点灰度相似的集合，Cb集合代表了灰度较亮的集合。
在角点的辐射范围，由于与角点灰度差异值小于阈值的Cs集合与角点灰度值相似，其周围依然含有大量的灰度差异值巨大的点。如图3所示，角点a的边缘点b与空白区域相比，和角点a具有相似的灰度值，而其周围依旧含有大量灰度差异值巨大的点。由于其周围灰度差异值变化较剧烈，因此会出现含有较大信息的点。为了判别Cs集合中的点是否含有足够的信息，可以提取出Cs集合，并计算Cs集合满足条件的个数。对于Cs集合中的每个点，以该点为中心，设定一个滑动窗口，对这些点周围的(1,0),(1,1),(0,1),(-1,1),(-1,0),(-1,-1),(0,-1),(1,-1)的八个方向进行滑动并计算平方差之和操作。通过该操作，可以了解这些点在周边移动时，梯度的变化率，为接下来的筛选合适的像素点做准备。滑动公式如下：
其中，a和b是定义滑动窗口区域内多有的点，(x,y)是Cs集合中像素点的坐标，I(x,y)代表(x,y)点出的像素值。
将Vx,y八个方向取出来的值进行累加，计算出八个方向变化的和，即：
提取出Cs集合每个选定点进行公式(10)操作的和值，并将这些平方差对每个角点的值进行累加求出均值M：
设定一个分类器，其中阈值为M。将Cs集合中各个选定点在(1,0),(1,1),(0,1),(-1,1),(-1,0),(-1,-1),(0,-1),(1,-1)八个方向上Vu,v(x,y)值进行比较。其具体公式如下：
收集Cs集合中移动的八个方向的点满足公式(12)大于等于4的点，并组成一个新的集合Ckc。最终的个数为角点的个数和集合Ckc中个数之和。
为了验证本方法的有效性，实验基于MNIST和CIFAR-10数据集对本方法进行了实验比较分析。实验所用编程语言采用的是Anaconda集成的python3.6开发环境。神经网络模型的搭建是在Tensorflow框架下完成。同时使用英伟达提供的Compute Unified DeviceArchitecture(Cuda)加速服务。
为了保证实验的公正性，本适配方法和其他对比适配方法均采用相同的卷积神经网络模型架构以及相同的训练迭代次数。该卷积神经网络模型包含了两个卷积层和两个池化层，其后加了两层全连接层，最后由一个Softmax函数进行分类。由于MNIST数据集较小，在卷积神经网络模型的训练下容易取得较高的准确率，不需要过高的迭代次数。所以，为了便于对比，模型对MNIST数据集只进行5000次epoch迭代，CIFAR-10数据集进行25000次epoch迭代。卷积神经网络模型第一层卷积层采用的滑动窗口大小为3×3,第二层卷积层采用的滑动窗口大小为5×5。模型具体架构如图4所示：
方法评价的要素分别是卷积神经网络针对两个数据集的准确率和运行时间。其中，测试集准确率评价标准如下：
Accuracy＝(1-E/S)×100％
其中，E代表样本分类错误总数，S代表样本总数。
为了验证方法的正确性，实验将MNIST和CIFAR-10数据集载入到本适配方法中。表1展示了本适配方法计算后的卷积核数量。为了保证卷积层可以提取足够量的特征值，把每一个卷积层中卷积核的数量都设置成本方法计算出的卷积核数量。
表1 CRAA适配方法输出值
表2展示了将本方法适配的数量代入CNN模型中进行测试后的准确率。其中，MNIST数据集在经过5000次epecoh的迭代下，获得到的准确率为98.57％。CIFAR-10数据集在经过25000次epecoh的迭代下，获得到的准确率为83.12％。
表2使用CRAA适配方法所得模型的训练结果
由上表可知，本适配方法计算出的卷积核数量，在该模型上均取得了不错的准确率，算法与模型适配良好。
为了更好的验证本发明的有效性，实验将本适配方法与现有的相关适配方法进行了对比。由于LEDC，SEDC，CEDC适配方法均设置了能量占比，本文取效果较好的80％和95％的能量占比进行比较。同时，由于现有适配方法对卷积核的尺寸具有要求，卷积核尺寸越大，所求的卷积核个数就越多。所以为了方便对比，实验统一采用同样的卷积尺寸来进行对比，其中第一层卷积层卷积核尺寸大小为3×3，第二层卷积层卷积核尺寸大小为5×5。卷积核影响的因素在卷积神经网络中体现在两个方面，分别是准确率和时间，本适配方法与LEDC，SEDC，CEDC适配方法在时间和准确率以及实验复杂度上进行了一系列对比。
表3中列出的是基于MNIST数据集中的图片集，LEDC，SEDC，CEDC适配方法所求出来的值。Conv1和Conv2分别代表CNN模型中的卷积层1和卷积层2。具体数据如下表所示：
表3基于MNIST数据集的适配方法对比结果
表4中列出的是基于CIAFR-10数据集中的图片集，LEDC，SEDC，CEDC适配方法所求出来的值。具体数据如下表所示：
表4基于CIFAR-10数据集的EDC算法结果
由于实验涉及的算法过多，在同一个图中太过混乱，实验将对比分成两个图表，分别是本适配方法与80％的能量占比的三种算法的对比以及本适配方法与95％能量占比的三种算法的对比。
图5展示的是在MNIST数据集下，本适配方法与80％能量占比的三种适配方法的对比。坐标轴分别表示准确率和迭代次数。在经过5000次epoch的迭代训练后，可以看出，本适配方法与80％能量占比的LEDC，SEDC，CEDC适配方法相比准确率具有明显的优势。
表5展示了本适配方法与LEDC，SEDC，CEDC适配方法所对应的时间。实验证明，本适配方法所用时间并没有多出太多。本适配方法进行5000次的训练共用时37s，而LEDC，SEDC，CEDC适配方法各自运行时间分别为30s,31s和23s。
表5基于MNIST数据集的算法时间(1)
通过上面的数据，可以发现本适配方法在时间上的劣势并没有太明显。同时，本适配方法在准确率具有较好的优势。
图6展示的是在MNIST数据集下，本适配方法与95％能量占比的三种对比适配方法的对比。可以清晰的看出来，本适配方法与95％能量占比的CEDC-95适配方法以及SEDC-95适配方法相比准确率相当，均具有较高准确率。准确率分别取到了98.57％，98.55％和98.51％。
虽然本适配方法与CEDC-95适配方法以及SEDC-95适配方法在MNIST数据集下准确率相当。但是，在训练时间上，本适配方法与CEDC-95和SEDC-95适配方法相比，具有很明显的优势。具体数据如下表所示：
表6基于MNIST数据集的算法时间(2)
由上表可以看出，本适配方法进行5000次训练共用时37s。而SEDC,CEDC适配方法各自运行时间分别为64s和51s,在时间上的优势是非常明显的。
因此可以发现CRAA与CEDC适配方法在准确率相当的情况下相比，本适配方法在时间上具有优势。在与SEDC适配方法的比较中，时间和准确率均占有优势。在与LEDC适配方法的比较中，在时间相当的情况下，本方法准确率占有优势。
为了更好的展示实验的严谨性。本适配方法又在数据量较大，训练起来需要耗费时间的CIFAR-10数据集上进行了实验，并与LEDC，SEDC，CEDC适配方法进行了对比。
图7展示的是本适配方法与80％能量占比的LEDC，SEDC，CEDC适配方法在CIFAR-10数据集下的对比。在经过25000次epoch的迭代训练后，本适配方法对CIFAR-10测试集实验的准确率达到了83.12％。而CEDC-80适配方法准确率为80.52％，SEDC-80适配方法准确率为79.21％，LEDC-80适配方法准确率为66.42％。可以看到，本适配方法相比其他适配方法在准确率方面具有一定的优势。
在训练时间上，本适配方法进行25000次的训练共用时85分40秒。而SEDC,CEDC，LEDC适配方法各自运行时间分别为84分钟54秒，86分钟50秒和78分钟25秒。表7为算法进行25000次的迭代训练所用的时间。
表7基于CIFAR-10数据集的时间结果(1)
可以发现在CIFAR-10数据集下，本适配方法相对于CEDC-80适配方法和SEDC-80适配方法在准确率上具有一定优势，在运行时间上则极为相近；相对于LEDC-80适配方法，BCDC适配方法在准确率方面具有巨大优势。
图8展示的是本适配方法与95％能量占比的LEDC，SEDC，CEDC适配方法在CIFAR-10数据集下的对比。我们可以看到，在25000次迭代训练后，本适配方法在准确率上略逊于CEDC-95，本适配方法和CEDC-95适配方法的准确率分别取到83.12％和83.79％。而相比SEDC-95和LEDC-95，本适配方法在准确率方面具有一定的优势,其中SEDC-95和LEDC-95适配方法分别为81.23％和78.12％。
在训练时间上，本适配方法与上图的CEDC-95和SEDC-95相比，具有明显的优势，其时间分别为68分钟32秒和80分钟24秒。具体数据如表8所示。
表8基于CIFAR-10数据集的时间结果(2)
通过上面的分析，可以发现在CIFAR-10数据集下，本适配方法适配方法相对与CEDC-95适配方法在准确率上相当，但是在运行时间上具有一定优势；本适配方法相对于SEDC-80和LEDC-80在时间上和准确率均具有一定优势。
综上所述，本适配方法在MNIST数据集下，与80％能量占比的LEDC,SEDC,CEDC相比，在时间上的劣势并没有太明显。同时，本适配方法在准确率具有较好的优势；与95％能量占比的三种方法相比，本适配方法在与CEDC-95准确率相当的情况下，时间上具有优势。在与SEDC-95适配方法的比较中，时间和准确率均占有优势。在与LEDC-95适配方法的比较中，在时间相当的情况下，本适配方法准确率占有优势。在CIFAR-10数据集下，与80％能量占比的LEDC,SEDC,CEDC相比，本适配方法相对于CEDC-80和SEDC-80在准确率上具有一定优势，在运行时间上则极为相近。相对于LEDC-80适配方法，本适配方法在准确率方面具有巨大优势。与95％能量占比的LEDC,SEDC,CEDC相比，本适配方法相对于CEDC-95在准确率上相当，但是在运行时间上具有一定优势；相对于SEDC-80和LEDC-80在时间上和准确率均具有一定优势。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (1)
1.一种基于角点辐射域的鲁棒卷积核数量适配方法，其特征在于，包括以下步骤：
步骤1：进行去噪操作；
定义一个滑动3×3窗口允许窗口通过图像，设定该窗口能连续移动并遍历图像，然后，消除一些没有意义的噪点，具体操作是取像素点p周围的八个像素点的值并计算点p与其之间的像素差，然后，设置了一个阈值K并给出以下公式：
其中，Sp→x表达公式结果的取值，Q代表像素点的值，Qp→x代表像素点p周边八个方向的像素值，Sp→x＝0代表像素点p与其周围的像素点像素之差很小；
步骤2：进行角点检测操作，通过角点检测得到角点；
在完成去噪操作后，将满足条件的点进行遍历，移动过程中，当它遇到一个平坦的地区，那么在所有的方向将不会有任何变化，当遇到边缘时，边缘方向不会有任何变化。但是，当遇到一个角落的时候，四面八方会发生很大的变化；
通过计算每个像素的梯度，如果两个方向上的绝对梯度值都很大，则将该像素视为角点，其具体描述如下：
Ex,y＝∑wu,v[Ix+u,y+v-Iu,v]2 (4)；
其中，[u,v]是窗口的偏移量，(x,y)是窗口内所对应的像素坐标位置，窗口有多大，就有多少个位置。为了方便识别角点，针对公式(4)进行泰勒公式展开得到：
M是一个矩阵，其表达形式为：
λ1与λ2表示矩阵M的特征值，如果λ1与λ2的值都很小，说明高斯窗口中的图像接近平坦；如果一个大一个小，则表示检测到边；如果λ1与λ2都很大，那么表示检测到了角点，为了表示方便，定义相应函数R：
R＝detM-k(traceM)2 (7)；
其中detM＝λ1λ2,traceM＝λ1+λ2，当R>0时，即为角点，经过以上过程，获取满足角点条件的个数和角点在图片中的位置，将提取出的角点提取，并作为角点辐射域的输入；
步骤3：进行角点辐射域操作；
在提取出角点后，对角点进行辐射扩展，其核心思想是在已知角点的情况下，对周边的圆形辐射区域进行检测并找出具有价值的点；
角点的辐射区域是指圆周长为16个像素点周围的像素点；
令Ic表示角点c的灰度值，t表示阈值，考虑角点附近的圆形窗口上的像素，如果该辐射区域扩展的像素点中存在灰度值高于Ip+t或者低于Ip-t，则将该像素点排除，将周围辐射区域像素点中剩余的点提取出来，对于每个角点辐射区域的像素点x，在相对于角点c的位置处的像素，由c→x表示，具有以下三种状态之一：
选择一个x并计算所有x∈C，C为所有列的所有像素的集合，将C划分为三个子集：Cd，Cs，Cb，其中，Cd集合代表相对于角点，灰度较暗的集合，Cs集合代表与角点灰度相似的集合，Cb集合代表了灰度较亮的集合；
在角点的辐射范围，由于与角点灰度差异值小于阈值的Cs集合与角点灰度值相似，其周围依然含有大量的灰度差异值巨大的点，为了判别Cs集合中的点是否含有足够的信息，提取出Cs集合，并计算Cs集合满足条件的个数，对于Cs集合中的每个点，以该点为中心，设定一个滑动窗口，对这些点周围的(1,0),(1,1),(0,1),(-1,1),(-1,0),(-1,-1),(0,-1),(1,-1)的八个方向进行滑动并计算平方差之和操作，通过该操作，了解这些点在周边移动时，梯度的变化率，为接下来的筛选合适的像素点做准备，滑动公式如下：
其中，a和b是定义滑动窗口区域内多有的点，(x,y)是Cs集合中像素点的坐标，I(x,y)代表(x,y)点出的像素值；
将Vx,y八个方向取出来的值进行累加，计算出八个方向变化的和，即：
提取出Cs集合每个选定点进行公式(10)操作的和值，并将这些平方差对每个角点的值进行累加求出均值M：
设定一个分类器，其中阈值为M，将Cs集合中各个选定点在(1,0),(1,1),(0,1),(-1,1),(-1,0),(-1,-1),(0,-1),(1,-1)八个方向上Vu,v(x,y)值进行比较，其具体公式如下：
收集Cs集合中移动的八个方向的点满足公式(12)大于等于4的点，并组成一个新的集合Ckc，最终的个数为角点的个数和集合Ckc中个数之和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810780889.8A CN109063749B (zh) | 2018-07-17 | 2018-07-17 | 一种基于角点辐射域的鲁棒卷积核数量适配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810780889.8A CN109063749B (zh) | 2018-07-17 | 2018-07-17 | 一种基于角点辐射域的鲁棒卷积核数量适配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109063749A true CN109063749A (zh) | 2018-12-21 |
| CN109063749B CN109063749B (zh) | 2021-06-18 |
Family
ID=64816908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810780889.8A Expired - Fee Related CN109063749B (zh) | 2018-07-17 | 2018-07-17 | 一种基于角点辐射域的鲁棒卷积核数量适配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109063749B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109916914A (zh) * | 2019-04-10 | 2019-06-21 | 清华大学深圳研究生院 | 一种产品缺陷检测方法及装置 |
| CN111879789A (zh) * | 2020-07-15 | 2020-11-03 | 深圳科瑞技术股份有限公司 | 金属表面缺陷检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096613A (zh) * | 2016-05-31 | 2016-11-09 | 哈尔滨工业大学深圳研究生院 | 基于角点特征的图像多目标检测方法及装置 |
| CN107705560A (zh) * | 2017-10-30 | 2018-02-16 | 福州大学 | 一种融合视觉特征和卷积神经网络的道路拥堵检测方法 |
| US20180096226A1 (en) * | 2016-10-04 | 2018-04-05 | Magic Leap, Inc. | Efficient data layouts for convolutional neural networks |
-
2018
- 2018-07-17 CN CN201810780889.8A patent/CN109063749B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096613A (zh) * | 2016-05-31 | 2016-11-09 | 哈尔滨工业大学深圳研究生院 | 基于角点特征的图像多目标检测方法及装置 |
| US20180096226A1 (en) * | 2016-10-04 | 2018-04-05 | Magic Leap, Inc. | Efficient data layouts for convolutional neural networks |
| CN107705560A (zh) * | 2017-10-30 | 2018-02-16 | 福州大学 | 一种融合视觉特征和卷积神经网络的道路拥堵检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| FRANCOIS VERNOTTE ET AL.: "The Parabolic Variance (PVAR): A Wavelet VarianceBased on the Least-Square Fit", 《IEEE TRANSACTIONS ON ULTRASONICS,FERROELECTRICS, AND FREQUENCY CONTROL》 * |
| 陈庄 等.: "多尺度积角点检测和视觉颜色特征的鲁棒车牌定位算法", 《重庆大学学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109916914A (zh) * | 2019-04-10 | 2019-06-21 | 清华大学深圳研究生院 | 一种产品缺陷检测方法及装置 |
| CN109916914B (zh) * | 2019-04-10 | 2021-07-02 | 清华大学深圳研究生院 | 一种产品缺陷检测方法及装置 |
| CN111879789A (zh) * | 2020-07-15 | 2020-11-03 | 深圳科瑞技术股份有限公司 | 金属表面缺陷检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109063749B (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106909924B (zh) | 一种基于深度显著性的遥感影像快速检索方法 | |
| CN106503739A (zh) | 联合光谱和纹理特征的高光谱遥感影像svm分类方法及系统 | |
| CN105678284B (zh) | 一种固定位人体行为分析方法 | |
| CN105139023B (zh) | 一种基于多尺度特征融合和极限学习机的种子识别方法 | |
| Kim et al. | Color–texture segmentation using unsupervised graph cuts | |
| CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
| CN106469298A (zh) | 基于人脸图像的年龄识别方法及装置 | |
| CN104657717B (zh) | 一种基于分层核稀疏表示的行人检测方法 | |
| CN106339674A (zh) | 基于边缘保持与图割模型的高光谱影像分类方法 | |
| CN106600595A (zh) | 一种基于人工智能算法的人体特征尺寸自动测量方法 | |
| CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
| Yue et al. | Texture extraction for object-oriented classification of high spatial resolution remotely sensed images using a semivariogram | |
| CN107481235A (zh) | 一种数学形态学滤波结合卡方变换的多时相遥感影像变化检测方法 | |
| CN110245587B (zh) | 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法 | |
| CN112818920B (zh) | 一种双时相高光谱图像空谱联合变化检测方法 | |
| CN114821102A (zh) | 密集柑橘数量检测方法、设备、存储介质及装置 | |
| CN109034213B (zh) | 基于相关熵原则的高光谱图像分类方法和系统 | |
| CN112949738A (zh) | 基于eecnn算法的多类不平衡高光谱图像分类方法 | |
| CN113569788A (zh) | 一种建筑物语义分割网络模型训练方法、系统及应用方法 | |
| CN110119682A (zh) | 一种红外遥感图像火点识别方法 | |
| CN107016359A (zh) | 一种复杂环境下基于t分布的人脸快速识别方法 | |
| CN109063749A (zh) | 一种基于角点辐射域的鲁棒卷积核数量适配方法 | |
| CN105160666B (zh) | 基于非平稳分析与条件随机场的sar图像变化检测方法 | |
| CN117437555A (zh) | 一种基于深度学习的遥感影像目标提取处理方法及装置 | |
| CN107358625A (zh) | 基于SPP Net和感兴趣区域检测的高分辨SAR图像变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210618 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |