CN112150497A - 基于二值神经网络的局部激活方法与系统 - Google Patents
基于二值神经网络的局部激活方法与系统 Download PDFInfo
- Publication number
- CN112150497A CN112150497A CN202011097835.5A CN202011097835A CN112150497A CN 112150497 A CN112150497 A CN 112150497A CN 202011097835 A CN202011097835 A CN 202011097835A CN 112150497 A CN112150497 A CN 112150497A
- Authority
- CN
- China
- Prior art keywords
- activation
- local activation
- lba
- neural network
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004913 activation Effects 0.000 title claims abstract description 219
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 67
- 238000001994 activation Methods 0.000 claims abstract description 226
- 230000008569 process Effects 0.000 claims abstract description 50
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 230000000750 progressive effect Effects 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
一种基于二值神经网络的局部激活方法,前向传播过程中,通过比较中心像素与相邻像素的差值,进而判断局部激活值;前向传播过程中,通过设置合适的局部激活通道数量及激活方向,得到具备不同激活方向的局部激活特征图;前向传播过程中,利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图;后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新。以及提供基于二值神经网络的局部激活系统。本发明能够有效减少二值激活过程中的信息损失;可以有效减少二值神经网络后向梯度更新过程中的梯度失配,从而提高二值神经网络的性能表现。
Description
技术领域
本发明涉及机器学习技术领域,尤其是涉及一种基于二值神经网络的局部激活方法与系统。
背景技术
深度神经网络是一种深度监督学习下的机器学习模型,通过组合低层特征逐步提取图像的高级特征,在计算机视觉,包括图像分类、物体识别、语义分割与目标跟踪等领域中,得到广泛应用。但是,深度神经网络需要庞大的存储空间与计算资源,这极大的限制了深度神经网络在资源受限的边缘平台上的应用。
近些年来,深度神经网络的压缩与加速逐渐成为研究热点,其中,二值神经网络通过将深度神经网络的权重与激活量化为{-1,+1},并将卷积运算替换为同或运算,理论上能够压缩32倍存储空间,实现58倍计算加速。
然而,传统的二值神经网络在激活的过程中,由于局部纹理信息的丢失与后向梯度更新的失配,导致二值神经网络的精度较低。
发明内容
为了克服二值神经网络激活过程中存在的缺陷,提高二值神经网络的性能,本发明提出了基于二值神经网络的局部激活方法与系统。
本发明解决其技术问题所采用的技术方案是:
一种基于二值神经网络的局部激活方法,所述局部激活方法包括:
前向传播过程中,通过比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;
前向传播过程中,通过设置合适的局部激活通道数量及激活方向,得到具备不同激活方向的局部激活特征图;
前向传播过程中,利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图。
后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,并得到梯度更新后的二值神经网络。
进一步,所述的局部激活方法的前向过程中,通过比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值,所述局部激活值的判断方法为:
其中,LBAi(x)为所述的特定激活方向上局部激活输出,x表示待激活的中心像素,xi表示与x相邻的第i个像素,并将中心像素x左上角的像素标记为x0,其余相邻像素按顺时针方向进行编号,i={0,1,2,...,N-1},N表示用来构成局部激活输出的相邻像素数量,sign为符号函数。
优选的,所述前向激活过程中,设置合适的局部激活通道数量及激活方向,得到具备不同激活方向与通道数量的局部激活特征图,在前向激活过程中,所述特征图局部激活方法为:
其中,Fl表示第l层输入特征图,Fl,b表示第l层的局部激活特征图,b表示二值量化,LBAi表示特定激活方向上的局部激活函数,N表示所述的局部激活通道数量,N的取值范围为N={1,2,3,...,8}。
N=1,所述局部激活特征图为:
Fl,b=LBAi(Fl),i∈{0,1,2,...,7};
N=2,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl),i,j∈{0,1,2,...,7},i≠j;
N=3,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl)+LBAk(Fl),i,j,k∈{0,1,2,...,7},i≠j≠k;
N=4,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl),i,j,k,l∈{0,1,2,...,N-1},i≠j≠k≠l;
N=5,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl),
i,j,k,l,m∈{0,1,2,...,N-1},i≠j≠k≠l≠m;
N=6,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl)+LBAn(Fl),
i,j,k,l,m,n∈{0,1,2,...,N-1},i≠j≠k≠l≠m≠n;
N=7,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl)+LBAn(Fl)+LBAo(Fl),
i,j,k,l,m,n,o∈{0,1,2,...,N-1},i≠j≠k≠l≠m≠n≠o;
N=8,其局部激活特征图为:
再进一步,利用可以学习的权重系数,对经过局部激活及直接激活的输出特征图进行融合,并得到同时包含纹理特征与轮廓特征的输出特征图,所述融合方法为:
其中,Fl表示第l层的输入特征图,Fl+1表示第l+1层的输入特征图,DBA表示直接激活函数,LBAi表示特定激活方向上的局部激活输出,W表示直接激活通道的二值化权重,Wi表示第i个局部激活通道的二值化权重,BinConv表示二值化卷积运算,α表示直接激活通道的权重系数,βi表示局部激活通道的权重系数,其中,α与βi可以在后向梯度传播过程中得到更新。
更进一步,通过采用渐进正弦函数对二值神经网络的权重进行更新,并得到梯度更新后的二值神经网络。所述渐进正弦函数为:
一种基于二值神经网络的局部激活系统,所述系统包括:
局部激活单元,用于比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;
激活组合单元,用以得到具备不同激活方向的局部激活特征图
融合单元,用以对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图
一种基于二值神经网络的局部激活系统,所述系统包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在执行时使所述处理器执行以下操作:
前向传播过程中,通过比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;
前向传播过程中,通过设置合适的局部激活通道数量及激活方向,得到具备不同激活方向的局部激活特征图;
前向传播过程中,利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图;
后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,并得到梯度更新后的二值神经网络。
一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
前向传播过程中,通过比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;
前向传播过程中,通过设置合适的局部激活通道数量及激活方向,得到具备不同激活方向的局部激活特征图;
前向传播过程中,利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图;
后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,并得到梯度更新后的二值神经网络。
本发明的有益效果主要表现在:本发明基于二值神经网络的局部激活方法,前向过程中,通过局部激活提取输入图像的纹理特征,并与通过直接激活提取的轮廓特征进行融合,能够有效减少二值激活过程中的信息损失;后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,可以减少后向传播过程中的梯度失配,进而提高二值神经网络的性能表现。
附图说明
图1是本发明基于二值神经网络的局部激活方法的流程图;
图2是本发明局部激活算法的示意图;
图3是本发明的渐进正弦函数的示意图;
图4是本发明基于二值神经网络的局部激活系统的模块结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图4,一种基于二值神经网络的局部激活方法,前向传播过程中,通过局部激活函数,可以提取输入图像的纹理特征,并利用可学习的权重系数对直接激活通道与局部激活的输出特征图进行融合,可以有效减少前向传播过程中由于二值激活导致的纹理信息损失;后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,可以有效减少二值神经网络后向梯度更新过程中的梯度失配,从而提高二值神经网络的识别精度。
为使本发明的上述目的、特征和有点能够更加明显易懂,下面将结合附图和具体实时方式对本发明方法作进一步详细的说明。
如图1所示,本发明基于二值神经网络的局部激活方法包括:
步骤1:前向传播过程中,通过比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值,通过比较输入图像中各个像素与0的差值,进而判断各个像素的直接激活值;
步骤2:前向传播过程中,通过设置合适的局部激活通道数量及激活方向,得到具备不同激活方向的局部激活特征图;
步骤3:前向传播过程中,利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图;
步骤4:后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,并得到梯度更新后的二值神经网络。
在步骤1中,所述局部激活与直接激活的具体步骤如下:
步骤1-1:如图2所示,局部激活函数通过比较输入图像中的中心像素与相邻像素的大小,进而判断输入像素的局部激活值。所述激活函数为:
其中,LBAj(x)为所述的特定方向上局部激活输出,x表示待激活的中心像素,xj表示与x相邻的第j像素,j={0,1,2,...,N},N表示用来构成局部激活输出的相邻像素数量,sign为符号函数。
步骤1-2:直接激活函数通过比较输入图像中各个像素点与0的大小,进而判断输入像素的直接激活值。所述直接激活函数为:
其中,DBA(x)为所述的直接激活函数,x表示待激活的中心像素,sign为符号函数。
步骤2中,设置合适的局部激活通道数量及激活方向,得到具备不同激活方向与通道数量的局部激活特征图,具体包括:
设置N=4,采用的局部激活特征激活函数为:
Fl,b=LBA0(Fl)+LBA3(Fl)+LBA5(Fl)+LBA7(Fl)
其中,Fl表示第l层输入特征图,Fl,b表示第l层的局部激活特征图,b表示二值量化,LBA0,LBA3(Fl),LBA5(Fl),LBA7(Fl)表示特定激活方向上的局部激活特征图。
步骤3:利用可以学习的权重系数,对经过局部激活及直接激活的输出特征图进行融合,并得到同时包含纹理特征与轮廓特征的输出特征图,其中,所述融合函数为:
其中,Fl表示第l层的输入特征图,Fl+1表示第l+1层的输入特征图,DBA表示直接激活输出,LBAj表示特定方向上局部激活输出,W表示直接激活通道的二值化权重,Wj表示第j个局部激活通道的二值化权重,BinConv表示二值化卷积运算,α表示直接激活通道的权重系数,βj表示局部激活通道的权重系数。
步骤4:采用渐进正弦函数对sign激活函数进行近似,进而减少后向更新的梯度失配问题,所述渐进正弦函数为:
其中,参数tmin设置为π/3,参数tmax设置为1.5π,Tcur为当前训练步数,Tmax为最大训练步数。
优选地,为了保持二值神经网络的精度,所述二值神经网络的第一层和最后一层的模型参数不进行二值化。
基于上述方法,本发明采用ResNet-20模型与四通道局部激活分别在CIFAR-10、CIFAR-100、SVHN标准数据集上进行验证,结果如表1:
表1
基于上述方法,本发明分别采用ResNet-18、ResNet-20、VGG-small模型与四通道局部激活在CIFAR-10数据集上进行验证,结果如表2:
表2
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
此外,本发明还提供一种基于二值神经网络的局部激活系统。具体地,如图3所示,本发明基于二值神经网络的局部激活系统包括局部激活单元1、激活组合单元2、融合单元3.
所述局部激活单元1,用于比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;所述激活组合单元2,用以得到具备不同激活方向的局部激活特征图;所述融合单元3,用以对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图.
进一步地,本发明还提供一种基于二值神经网络的局部激活系统,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在执行时使所述处理器执行以下操作:
前向传播过程中,通过比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;
前向传播过程中,通过设置合适的局部激活通道数量及激活方向,得到具备不同激活方向的局部激活特征图;
前向传播过程中,利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图;
后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,并得到梯度更新后的二值神经网络。
本发明还提供一种计算机可读存储介质、所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
前向传播过程中,通过比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;
前向传播过程中,通过设置合适的局部激活通道数量及激活方向,得到具备不同激活方向的局部激活特征图;
前向传播过程中,利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图;
后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,并得到梯度更新后的二值神经网络。
相对于现有技术,本发明基于二值神经网络的局部激活系统、计算机可读存储介质与上述二值神经网络的局部激活方法的有益效果相同,在此不再赘述。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种基于二值神经网络的局部激活方法,其特征在于,所述局部激活方法包括:
前向传播过程中,通过比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;
前向传播过程中,通过设置合适的局部激活通道数量及激活方向,得到具备不同激活方向的局部激活特征图;
前向传播过程中,利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图。
后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,并得到梯度更新后的二值神经网络。
3.如权利要求1或2所述的基于二值神经网络的局部激活方法,其特征在于,所述前向激活过程中,设置合适的局部激活通道数量及激活方向,得到具备不同激活方向与通道数量的局部激活特征图,在前向激活过程中,所述特征图局部激活方法为:
其中,Fl表示第l层输入特征图,Fl,b表示第l层的局部激活特征图,b表示二值量化,LBAi表示特定激活方向上的局部激活函数,N表示所述的局部激活通道数量,N的取值范围为N={1,2,3,...,8}。
N=1,所述局部激活特征图为:
Fl,b=LBAi(Fl),i∈{0,1,2,...,7};
N=2,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl),i,j∈{0,1,2,...,7},i≠j;
N=3,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl)+LBAk(Fl),i,j,k∈{0,1,2,...,7},i≠j≠k;
N=4,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl),i,j,k,l∈{0,1,2,...,N-1},i≠j≠k≠l;
N=5,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl),
i,j,k,l,m∈{0,1,2,...,N-1},i≠j≠k≠l≠m;
N=6,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl)+LBAn(Fl),
i,j,k,l,m,n∈{0,1,2,...,N-1},i≠j≠k≠l≠m≠n;
N=7,所述局部激活特征图为:
Fl,b=LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl)+LBAn(Fl)+LBAo(Fl),
i,j,k,l,m,n,o∈{0,1,2,...,N-1},i≠j≠k≠l≠m≠n≠o;
N=8,其局部激活特征图为:
6.一种基于二值神经网络的局部激活系统,其特征在于,所述系统包括:
局部激活单元,用于比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;
激活组合单元,用以得到具备不同激活方向的局部激活特征图
融合单元,用以对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图。
7.一种基于二值神经网络的局部激活系统,其特征在于,所述系统包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在执行时使所述处理器执行以下操作:
前向传播过程中,通过比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;
前向传播过程中,通过设置合适的局部激活通道数量及激活方向,得到具备不同激活方向的局部激活特征图;
前向传播过程中,利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图;
后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,并得到梯度更新后的二值神经网络。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
前向传播过程中,通过比较输入图像中各个像素与相邻像素的差值,进而判断各个像素的局部激活值;
前向传播过程中,通过设置合适的局部激活通道数量及激活方向,得到具备不同激活方向的局部激活特征图;
前向传播过程中,利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合,并得到同时包含纹理特征与轮廓特征的输出特征图;
后向传播过程中,通过采用渐进正弦函数对二值神经网络的权重进行更新,并得到梯度更新后的二值神经网络。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011097835.5A CN112150497B (zh) | 2020-10-14 | 2020-10-14 | 基于二值神经网络的局部激活方法与系统 |
US18/024,457 US20230316738A1 (en) | 2020-10-14 | 2021-05-18 | Binary neural network-based local activation method and system |
PCT/CN2021/094327 WO2022077903A1 (zh) | 2020-10-14 | 2021-05-18 | 基于二值神经网络的局部激活方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011097835.5A CN112150497B (zh) | 2020-10-14 | 2020-10-14 | 基于二值神经网络的局部激活方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112150497A true CN112150497A (zh) | 2020-12-29 |
CN112150497B CN112150497B (zh) | 2024-08-06 |
Family
ID=73953074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011097835.5A Active CN112150497B (zh) | 2020-10-14 | 2020-10-14 | 基于二值神经网络的局部激活方法与系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230316738A1 (zh) |
CN (1) | CN112150497B (zh) |
WO (1) | WO2022077903A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022077903A1 (zh) * | 2020-10-14 | 2022-04-21 | 浙江大学 | 基于二值神经网络的局部激活方法与系统 |
CN115171201A (zh) * | 2022-09-08 | 2022-10-11 | 苏州魔视智能科技有限公司 | 基于二值神经网络的人脸信息识别方法、装置、设备 |
CN115660046A (zh) * | 2022-10-24 | 2023-01-31 | 中电金信软件有限公司 | 二值神经网络的梯度重构方法、装置、设备及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723049B (zh) * | 2022-04-26 | 2024-07-26 | 湖北工业大学 | 一种基于梯度优化的类激活映射方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108932499A (zh) * | 2018-07-09 | 2018-12-04 | 武汉科技大学 | 一种基于局部二值模式和深度置信网络的滚动轴承预测方法和系统 |
CN110837887A (zh) * | 2019-11-12 | 2020-02-25 | 西安微电子技术研究所 | 一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用 |
CN111133471A (zh) * | 2017-09-26 | 2020-05-08 | 株式会社爱考斯研究 | 信息处理装置 |
US10664722B1 (en) * | 2016-10-05 | 2020-05-26 | Digimarc Corporation | Image processing arrangements |
CN111222434A (zh) * | 2019-12-30 | 2020-06-02 | 深圳市爱协生科技有限公司 | 基于局部二值模式和深度学习的合成人脸图像取证方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10831444B2 (en) * | 2016-04-04 | 2020-11-10 | Technion Research & Development Foundation Limited | Quantized neural network training and inference |
US20200097818A1 (en) * | 2018-09-26 | 2020-03-26 | Xinlin LI | Method and system for training binary quantized weight and activation function for deep neural networks |
CN110472725A (zh) * | 2019-07-04 | 2019-11-19 | 北京航空航天大学 | 一种平衡二值化神经网络量化方法及系统 |
CN110956263A (zh) * | 2019-11-14 | 2020-04-03 | 深圳华侨城文化旅游科技集团有限公司 | 一种二值化神经网络的构建方法、存储介质及终端设备 |
CN110929852A (zh) * | 2019-11-29 | 2020-03-27 | 中国科学院自动化研究所 | 深度二值神经网络训练方法及系统 |
CN112150497B (zh) * | 2020-10-14 | 2024-08-06 | 浙江大学 | 基于二值神经网络的局部激活方法与系统 |
-
2020
- 2020-10-14 CN CN202011097835.5A patent/CN112150497B/zh active Active
-
2021
- 2021-05-18 US US18/024,457 patent/US20230316738A1/en active Pending
- 2021-05-18 WO PCT/CN2021/094327 patent/WO2022077903A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10664722B1 (en) * | 2016-10-05 | 2020-05-26 | Digimarc Corporation | Image processing arrangements |
CN111133471A (zh) * | 2017-09-26 | 2020-05-08 | 株式会社爱考斯研究 | 信息处理装置 |
CN108932499A (zh) * | 2018-07-09 | 2018-12-04 | 武汉科技大学 | 一种基于局部二值模式和深度置信网络的滚动轴承预测方法和系统 |
CN110837887A (zh) * | 2019-11-12 | 2020-02-25 | 西安微电子技术研究所 | 一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用 |
CN111222434A (zh) * | 2019-12-30 | 2020-06-02 | 深圳市爱协生科技有限公司 | 基于局部二值模式和深度学习的合成人脸图像取证方法 |
Non-Patent Citations (2)
Title |
---|
惠思琦: ""面向纹理分类的深度神经网络设计与优化"", 《中国优秀硕士学位论文全文数据库》, 7 January 2022 (2022-01-07) * |
李佳妮;张宝华;: "特征匹配融合结合改进卷积神经网络的人脸识别", 激光与光电子学进展, no. 10, 24 May 2018 (2018-05-24) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022077903A1 (zh) * | 2020-10-14 | 2022-04-21 | 浙江大学 | 基于二值神经网络的局部激活方法与系统 |
CN115171201A (zh) * | 2022-09-08 | 2022-10-11 | 苏州魔视智能科技有限公司 | 基于二值神经网络的人脸信息识别方法、装置、设备 |
CN115660046A (zh) * | 2022-10-24 | 2023-01-31 | 中电金信软件有限公司 | 二值神经网络的梯度重构方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112150497B (zh) | 2024-08-06 |
WO2022077903A8 (zh) | 2022-12-22 |
WO2022077903A1 (zh) | 2022-04-21 |
US20230316738A1 (en) | 2023-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112150497A (zh) | 基于二值神经网络的局部激活方法与系统 | |
CN111079532B (zh) | 一种基于文本自编码器的视频内容描述方法 | |
CN111738231B (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
CN111275175B (zh) | 神经网络训练方法、装置、图像分类方法、设备和介质 | |
CN111488985B (zh) | 深度神经网络模型压缩训练方法、装置、设备、介质 | |
CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
US11586909B2 (en) | Information processing method, information processing apparatus, and computer readable storage medium | |
CN111461212A (zh) | 一种用于点云目标检测模型的压缩方法 | |
GB2489272A (en) | Segmentation of images into superpixels | |
CN107784288A (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
CN111310770B (zh) | 目标检测方法和装置 | |
CN111914908B (zh) | 一种图像识别模型训练方法、图像识别方法及相关设备 | |
CN111105017A (zh) | 神经网络量化方法、装置及电子设备 | |
CN115035418A (zh) | 一种基于改进DeepLabV3+网络的遥感图像语义分割方法及系统 | |
CN111104941B (zh) | 图像方向纠正方法、装置及电子设备 | |
CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
CN110008818A (zh) | 一种手势识别方法、装置及计算机可读存储介质 | |
CN112446888A (zh) | 图像分割模型的处理方法和处理装置 | |
CN114549913A (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
CN111695640A (zh) | 地基云图识别模型训练方法及地基云图识别方法 | |
CN112861659A (zh) | 一种图像模型训练方法、装置及电子设备、存储介质 | |
CN114444668A (zh) | 网络量化方法及系统及装置及介质及图像处理方法 | |
KR102305575B1 (ko) | 이미지 간 유사도를 이용한 유사 영역 강조 방법 및 시스템 | |
CN113705317B (zh) | 图像处理模型训练方法、图像处理方法及相关设备 | |
US20230410465A1 (en) | Real time salient object detection in images and videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |