CN111539462B - 模仿生物视觉神经元的图像分类方法、系统、装置及介质 - Google Patents

模仿生物视觉神经元的图像分类方法、系统、装置及介质 Download PDF

Info

Publication number
CN111539462B
CN111539462B CN202010294149.0A CN202010294149A CN111539462B CN 111539462 B CN111539462 B CN 111539462B CN 202010294149 A CN202010294149 A CN 202010294149A CN 111539462 B CN111539462 B CN 111539462B
Authority
CN
China
Prior art keywords
image
height
width
input image
learning weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010294149.0A
Other languages
English (en)
Other versions
CN111539462A (zh
Inventor
吴亚
魏守卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wangao Computer Technology Co ltd
Original Assignee
Suzhou Wangao Computer Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wangao Computer Technology Co ltd filed Critical Suzhou Wangao Computer Technology Co ltd
Priority to CN202010294149.0A priority Critical patent/CN111539462B/zh
Publication of CN111539462A publication Critical patent/CN111539462A/zh
Application granted granted Critical
Publication of CN111539462B publication Critical patent/CN111539462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了模仿生物视觉神经元的图像分类方法、系统、装置及介质，能够更好的模仿视觉神经元，其通过权值不共享的方式取代卷积运算，且实现方式比卷积操作更节省内存空间，包括：设定输入图像和学习权值，学习权值的卷积核高度、卷积核宽度分别与输入图像的图像高度、图像宽度相同；将输入图像的图像通道维度上的数据扁平化到图像高度和图像宽度的维度上；将经扁平化处理得到的输入图像的张量使用滑动窗口进行提取处理；对学习权值进行稀疏化处理；将经提取处理得到的输入图像的张量与经稀疏化处理得到学习权值的张量进行矩阵乘法运算，得到的计算结果作为输出的特征图，并对输出的特征图采用非线性激活函数处理。

Description

模仿生物视觉神经元的图像分类方法、系统、装置及介质
技术领域
本发明涉及计算机视觉领域，特别涉及模仿生物视觉神经元的图像分类方法、系统、装置及介质。
背景技术
图像分类是一个热门的研究领域，有着巨大的商业价值，多用于辅助图像识别技术，例如人脸识别、车牌识别、图像检测、图像搜索等。目前，有不少研究人员在图像分类方面进行了大量的研究，深度学习被引入图像分类，并在广泛的应用中受到越来越多的关注。
但是深度学习已知的缺陷依然存在，如：需要太多经过标注的数据、模型训练需要占用太多昂贵的资源、对数据细微的抖动，出现算法失效的情况等。
如图3所示，Hubel和Wiesel两位博士在1958年的猫视觉皮层实验中，首次观察到视觉初级皮层的神经元对移动的边缘刺激敏感，并定义了简单和复杂细胞，发现了视功能视野逐渐变化现象，出现了视觉纹状皮质现象。
发明人一直主张人工智能要从神经生物学受启发，也阅读了国外大量视觉神经元“视觉纹状皮质现象”的研究，认为这种现象与特征的稳定识别有关。目前CNN网络对于旋转、缩放、平移等变化的同一类物体识别效果都不好，这与缺乏稳定识别有关。受哺乳动物视觉神经元研究启发，在视觉皮层通路中，偏好刺激的特征从同心圆、线条、角、纹理、星形、复杂特征再到物体，虽然视觉底层特征与位置无关，但是高层特征一般与位置有关，比如在对人脸识别中，人的面部双眼、鼻子、嘴巴，这些是高层特征，它们的相对位置如果变化，代表的就不是人的面部；在传统的CNN网络中，往往是通过权值共享的方式实现的，但是权值共享的计算方式是与位置无关的，其显然是存在缺陷的，
发明内容
针对上述问题，本发明提供了模仿生物视觉神经元的图像分类方法、系统、装置及介质，能够更好的模仿视觉神经元，其通过权值不共享的方式取代卷积运算，且实现方式比卷积操作更节省内存空间。
其技术方案是这样的：一种模仿生物视觉神经元的图像分类方法，包括对待分类的图像进行预处理；基于CNN网络构建分类模型，分类模型至少包括卷积层、池化层；对分类模型进行训练，得到训练好的分类模型；通过训练好的分类模型进行图像分类，获得分类结果，其特征在于，在CNN网络的卷积层中按如下步骤运行：
步骤1：设定输入图像和学习权值，学习权值的卷积核高度、卷积核宽度分别与输入图像的图像高度、图像宽度相同；
步骤2：将输入图像的图像通道维度上的数据扁平化到图像高度和图像宽度的维度上；
步骤3：将经扁平化处理得到的输入图像的张量使用滑动窗口进行提取处理；
步骤4：对学习权值进行稀疏化处理；
步骤5：将经提取处理得到的输入图像的张量与经稀疏化处理得到学习权值的张量进行矩阵乘法运算，得到的计算结果作为输出的特征图，并对输出的特征图采用非线性激活函数处理。
进一步的，在步骤1中，设定输入图像，表示为X(batch，heightx，widthx，in_channels)，X的4个维度分别表示为样本数、图像高度、图像宽度、图像通道；设定学习权值，表示为W(heightx，widthx，heightw×widthw，out_channels)，学习权值W的四个维度分别表示为卷积核高度、卷积核宽度、输入通道数、输出通道数，其中，学习权值W的卷积核高度与输入图像X的图像高度相同，学习权值W的卷积核宽度与输入图像X的图像宽度相同。
进一步的，在步骤2中，将输入图像X在图像通道上的数据扁平化到图像高度和图像宽度的维度上，扁平化处理后得到的张量表示为
进一步的，在步骤3中，将经扁平化处理得到的张量Xflatten使用(heightw，widthw)的滑动窗口进行提取处理，按照如下公式计算：
其中，stride是移动步长，k_size＝heightw＝widthw，heightw、widthw分别为变量，提取后的张量为
进一步的，在步骤4中，将学习权值W进行稀疏化处理，处理后的张量表示为
进一步的，在步骤5中，将步骤3得到的输入图像的张量Xext与步骤4得到学习权值的张量Wscatter进行矩阵乘法运算，得到的计算结果作为输出的特征图，输出的特征图采用非线性激活函数处理。
进一步的，非线性激活函数采用ReLU或Leaky-ReLU非线性激活函数。
一种模仿生物视觉神经元的图像分类系统，包括：神经网络单元，用于对待分类的图像进行预处理，基于CNN网络构建分类模型，分类模型至少包括卷积层、池化层，对分类模型进行训练，得到训练好的分类模型；通过训练好的分类模型进行图像分类，获得分类结果，其特征在于：所述神经网络单元包括：
设定模块，用于设定输入图像和学习权值，学习权值的卷积核高度、卷积核宽度分别与输入图像的图像高度、图像宽度相同；
扁平化模块，用于将输入图像的图像通道维度上的数据扁平化到图像高度和图像宽度的维度上；
提取模块，用于将经扁平化模块处理得到的输入图像的张量使用滑动窗口进行提取处理；
稀疏化模块，用于对学习权值进行稀疏化处理；
矩阵乘法运算模块，用于将提取模块的得到的输入图像的张量与稀疏化模块得到学习权值的张量进行矩阵乘法运算，得到计算结果作为输出的特征图，并对输出的特征图采用非线性激活函数处理。
一种模仿生物视觉神经元的图像分类装置，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上述的模仿生物视觉神经元的图像分类方法。
一种计算机可读存储介质，其上存储有程序，其特征在于：所述程序被处理器执行时实现如上述的模仿生物视觉神经元的图像分类方法。
在本发明的模仿生物视觉神经元的图像分类方法，模仿生物视觉神经元组织方式，将输入神经元的图像的图像通道维度上的数据扁平化到图像高度和图像宽度的维度上，将经扁平化处理得到的输入图像的张量使用滑动窗口进行提取处理，并对学习权值进行稀疏化处理；再将经提取处理的输入图像的张量与经稀疏化处理的学习权值的张量进行矩阵乘法运算，将矩阵乘法运算得到的计算结果作为输出的特征图，通过上述步骤，本发明不再采用传统的CNN网络中一个权值矩阵像卷积按照stride、padding参数扫描输入特征，而是通过采用矩阵乘法，相当于前一层不同区域使用的是同一个权值矩阵W的不同部分进行运算，从而实现了权值不共享的方案代替卷积计算，同时比卷积更节约内层空间；此外，采用本发明的模仿生物视觉神经元的图像分类方法得到的权值权值图中，会出现纹状皮质特征，“纹状皮质特征”会让识别效果更好，结果更稳定，不会因为物体的平移、缩放、形状变化、视角变化导致识别错误，解决了目前CNN网络中一直存在的这些问题。
附图说明
图1为本发明的一种模仿生物视觉神经元的图像分类方法的主要流程图；
图2为本发明的一种模仿生物视觉神经元的图像分类方法在CNN网络中表现的结构示意图；
图3为Hubel和Wiesel实验图中视觉纹状皮质现象的示意图；
图4通过为本发明的一种模仿生物视觉神经元的图像分类方法得到的学习权值图；
图5为本发明的一种模仿生物视觉神经元的图像分类系统的组成框图。
具体实施方式
见图1、2，本发明的一种模仿生物视觉神经元的图像分类方法，包括对待分类的图像进行预处理；基于CNN网络构建分类模型，分类模型至少包括卷积层、池化层；对分类模型进行训练，得到训练好的分类模型；通过训练好的分类模型进行图像分类，获得分类结果在CNN网络的卷积层中按如下步骤运行：
步骤1：设定输入图像和学习权值，学习权值的卷积核高度、卷积核宽度分别与输入图像的图像高度、图像宽度相同；
步骤2：将输入图像的图像通道维度上的数据扁平化到图像高度和图像宽度的维度上；
步骤3：将经扁平化处理得到的输入图像的张量使用滑动窗口进行提取处理；
步骤4：对学习权值进行稀疏化处理；
步骤5：将经提取处理得到的输入图像的张量与经稀疏化处理得到学习权值的张量进行矩阵乘法运算，得到的计算结果作为输出的特征图，并对输出的特征图采用非线性激活函数处理。
具体在步骤1中，设定输入图像，表示为X(batch，heightx，widthx，in_channels)，X的4个维度分别表示为样本数、图像高度、图像宽度、图像通道；设定学习权值，表示为W(heightx，widthx，heightw×widthw，out_channels)，学习权值W的四个维度分别表示为卷积核高度、卷积核宽度、输入通道数、输出通道数，其中，学习权值W的卷积核高度与输入图像X的图像高度相同，学习权值W的卷积核宽度与输入图像X的图像宽度相同。
具体在步骤2中，将输入图像X在图像通道上的数据扁平化到图像高度和图像宽度的维度上，扁平化处理后得到的张量表示为
具体在步骤3中，将经扁平化处理得到的张量Xflatten使用(heightw，widthw)的滑动窗口进行提取处理，按照如下公式计算：
其中，stride是移动步长，k_size＝heightw＝widthw，heightw、widthw分别为变量，提取后的张量为
具体在步骤4中，将学习权值W进行稀疏化处理，处理后的张量表示为
具体在步骤5中，将步骤3得到的输入图像的张量Xext与步骤4得到学习权值的张量Wscatter进行矩阵乘法运算，得到的计算结果作为输出的特征图，输出的特征图采用ReLU或Leaky-ReLU非线性激活函数处理。
本实施例中的模仿生物视觉神经元的图像分类方法中，如CNN网络采用ResNet或Inception系列，其中，步骤1至步骤5所执行的内容分别是在CNN网络的每个卷积层中的运算，其用于取代原有的卷积运算，而在于CNN网络的其他层中的运算，可以参考网络模型的具体结构去执行，本方案并未在其它层的设置中做出改变，故在此不再赘述。
在步骤3中进行提取处理时，内存扩大倍数记为对比卷积的内存扩大倍数为filter_size×filter_size，filter_size为卷积核的大小，可见节省内存。
图3为Hubel和Wiesel实验图中视觉纹状皮质现象的示意图；图3中左侧是方向选择性的条纹颜色示例，在彩图中是以不同颜色代表不同方向刺激，图3的黑白图片中可以以灰度区分，图3中右侧同一种颜色的带状区域对同一个方向的刺激敏感，可以发现这些区域有一个特点是方向逐渐变化特征，也就是说不存在，水平方向区域和竖直方向区域相邻情况，都是逐渐变化的方向区域相邻；
将本实施例中的模仿生物视觉神经元的图像分类方法中的权值表示为Weight(H，W，In，Out)，将Weight变形Reshape为然后连接为二维的可视化权值，如图4所示，其给出了本发明的条纹状权值图，其出现了Hubel和Wiesel博士实验的视皮层的纹状皮质特征，权值图是使用cifarl0数据集训练了采用了本发明的模仿生物视觉神经元的图像分类方法的ResNet网络得到的；将每一层的权值可视化打印出来后如图4所示，它的特点是条纹状的，类似生物学研究。而打印常规卷积网络的权值图，并没有这种特征。
以下给出一个具体案例说明本发明的模仿生物视觉神经元的图像分类方法，包括对待分类的图像进行预处理；基于CNN网络构建分类模型，选择一种用于图像识别任务的神经网络模型ResNet，分类模型至少包括卷积层、池化层；对分类模型进行训练，得到训练好的分类模型；通过训练好的分类模型进行图像分类，获得分类结果，在CNN网络的卷积层中按如下步骤运行：
步骤1：设定：输入为X(batch，heightx，widthx，in_channels)，学习权值定义为W(heightx，widthx，heightw×widthw，out_channels)，假如其中一层的具体数值为X(128，32，32，16)、W(32，32，9×9，64)。
步骤2：扁平化X：将X(128，32，32，16)最后一维in_channels上的数据压扁到中间2个维度hetghtx和widthx上，计算得到Xflatten(128，32×4，32×4，1)。
步骤3：提取第1步的Xflatten：先按照公式其中：stride是移动步长；/>k_size＝heightw＝widthw，计算得到rate＝2，filter_window＝9，然后使用(9，9)的滑动窗口提取Xflatten，计算得到Xext(128，32×4，32×4，1×9×9)。
步骤4：稀疏化W：将W(32，32，9×9，64)进行稀疏化处理，计算得到Wscatter(32，32，9×9×16，64)。
步骤5：矩阵乘法：将Xext(128，32×4，32×4，1×9×9)进行转置和变换获得Xt(32，32，128，9×9×16)，并将结果和Wscatter(32，32，9×9×16，64)进行矩阵乘法运算F＝XtWscatter，张量形状为F(32，32，128，64)。最后将F的转置Out(128，32，32，64)作为该计算层的输出。
在本发明的实施例中，还给出了CNN中进行卷积操作的对比案例，具体如下
①对神经元的输入X(batch，heightx，widthx，in_channels)使用ksizes(heightw，widthw)的滑动窗口进行提取(extract)处理，提取后的张量为Xext(batch，heightx，widthx，heightw×widthw×in_channels)。
②将学习权值W(heightw，widthw，in_channels，out_channels)进行矩阵变换后Wt(heightw×widthw×in_channels，out_channels)。
③卷积操作的输出为Xext和Wt的矩阵乘法运算。
当filter_size＝3，heightw＝widthw＝9，out_channels＝81时，
在步骤3中进行提取处理时，内存扩大倍数记为计算等于对比卷积的内存扩大倍数为filter_size×filter_size，filter_size×filter_size＝3×3；本发明的技术方案对比卷积操作节省了(3x3)/(2x2)倍的内存空间。
在本发明的模仿生物视觉神经元的图像分类方法，模仿生物视觉神经元组织方式，将输入神经元的图像的图像通道维度上的数据扁平化到图像高度和图像宽度的维度上，将经扁平化处理得到的输入图像的张量使用滑动窗口进行提取处理，并对学习权值进行稀疏化处理；再将经提取处理的输入图像的张量与经稀疏化处理的学习权值的张量进行矩阵乘法运算，将矩阵乘法运算得到的计算结果作为输出的特征图，通过上述步骤，本发明不再采用传统的CNN网络中一个权值矩阵像卷积按照stride、padding参数扫描输入特征，而是通过采用矩阵乘法，相当于前一层不同区域使用的是同一个权值矩阵W的不同部分进行运算，从而实现了权值不共享的方案代替卷积计算，同时比卷积更节约内层空间。
见图5，在本发明的实施例中，还给出了一种模仿生物视觉神经元的图像分类系统，包括：神经网络单元，用于对待分类的图像进行预处理，基于CNN网络构建分类模型，分类模型至少包括卷积层、池化层，对分类模型进行训练，得到训练好的分类模型；通过训练好的分类模型进行图像分类，获得分类结果，神经网络单元包括：
设定模块1，用于设定输入图像和学习权值，学习权值的卷积核高度、卷积核宽度分别与输入图像的图像高度、图像宽度相同；
扁平化模块2，用于将输入图像的图像通道维度上的数据扁平化到图像高度和图像宽度的维度上；
提取模块3，用于将经扁平化模块处理得到的输入图像的张量使用滑动窗口进行提取处理；
稀疏化模块4，用于对学习权值进行稀疏化处理；
矩阵乘法运算模块5，用于将提取模块的得到的输入图像的张量与稀疏化模块得到学习权值的张量进行矩阵乘法运算，得到计算结果作为输出的特征图，并对输出的特征图采用非线性激活函数处理。
在本发明的实施例中，还给出了一种模仿生物视觉神经元的图像分类装置，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现如上述的模仿生物视觉神经元的图像分类方法。
在上述模仿生物视觉神经元的图像分类装置的实现中，存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Flectric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的实施例中，还给出了一种计算机可读存储介质，其上存储有程序，程序被处理器执行时实现如上述的模仿生物视觉神经元的图像分类方法。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、系统、装置和计算机程序产品的流程图和/或方框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图中指定的功能的步骤。
以上对本发明所提供的模仿生物视觉神经元的图像分类方法、模仿生物视觉神经元的图像分类系统、模仿生物视觉神经元的图像分类装置和一种计算机可读存储介质的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种模仿生物视觉神经元的图像分类方法，包括对待分类的图像进行预处理；基于CNN网络构建分类模型，分类模型至少包括卷积层、池化层；对分类模型进行训练，得到训练好的分类模型；通过训练好的分类模型进行图像分类，获得分类结果，其特征在于，在CNN网络的卷积层中按如下步骤运行：
步骤1：设定输入图像和学习权值，学习权值的卷积核高度、卷积核宽度分别与输入图像的图像高度、图像宽度相同；
步骤2：将输入图像的图像通道维度上的数据扁平化到图像高度和图像宽度的维度上；
步骤3：将经扁平化处理得到的输入图像的张量使用滑动窗口进行提取处理；
步骤4：对学习权值进行稀疏化处理；
步骤5：将经提取处理得到的输入图像的张量与经稀疏化处理得到学习权值的张量进行矩阵乘法运算，得到的计算结果作为输出的特征图，并对输出的特征图采用非线性激活函数处理；
在步骤1中，设定输入图像，表示为X(batch，heightx，widthx，in_channels)，X的4个维度分别表示为样本数、图像高度、图像宽度、图像通道；设定学习权值，表示为W(heightx，widthx，heightw×widthw，out_channels)，学习权值W的四个维度分别表示为卷积核高度、卷积核宽度、输入通道数、输出通道数，其中，学习权值W的卷积核高度与输入图像X的图像高度相同，学习权值W的卷积核宽度与输入图像X的图像宽度相同；
在步骤2中，将输入图像X在图像通道上的数据扁平化到图像高度和图像宽度的维度上，扁平化处理后得到的张量表示为
在步骤3中，将经扁平化处理得到的张量Xflatten使用(heightw，widthw)的滑动窗口进行提取处理，按照如下公式计算：
其中，stride是移动步长，k_size＝heightw＝widthw，heightw、widthw分别为变量，提取后的张量为
2.根据权利要求1所述的一种模仿生物视觉神经元的图像分类方法，其特征在于：在步骤4中，将学习权值W进行稀疏化处理，处理后的张量表示为
3.根据权利要求2所述的一种模仿生物视觉神经元的图像分类方法，其特征在于：在步骤5中，将步骤3得到的输入图像的张量Xext与步骤4得到学习权值的张量Wscatter进行矩阵乘法运算，得到的计算结果作为输出的特征图，输出的特征图采用非线性激活函数处理。
4.根据权利要求3所述的一种模仿生物视觉神经元的图像分类方法，其特征在于：非线性激活函数采用ReLU或Leaky-ReLU非线性激活函数。
5.一种模仿生物视觉神经元的图像分类系统，包括：神经网络单元，用于对待分类的图像进行预处理，基于CNN网络构建分类模型，分类模型至少包括卷积层、池化层，对分类模型进行训练，得到训练好的分类模型；通过训练好的分类模型进行图像分类，获得分类结果，其特征在于：所述神经网络单元包括：
设定模块，用于设定输入图像和学习权值，学习权值的卷积核高度、卷积核宽度分别与输入图像的图像高度、图像宽度相同；
扁平化模块，用于将输入图像的图像通道维度上的数据扁平化到图像高度和图像宽度的维度上；
提取模块，用于将经扁平化模块处理得到的输入图像的张量使用滑动窗口进行提取处理；
稀疏化模块，用于对学习权值进行稀疏化处理；
矩阵乘法运算模块，用于将提取模块的得到的输入图像的张量与稀疏化模块得到学习权值的张量进行矩阵乘法运算，得到计算结果作为输出的特征图，并对输出的特征图采用非线性激活函数处理；
在设定模块中，设定输入图像，表示为X(batch，heightx，widthx，in_channels)，X的4个维度分别表示为样本数、图像高度、图像宽度、图像通道；设定学习权值，表示为W(heightx，widthx，heightw×widthw，out_channels)，学习权值W的四个维度分别表示为卷积核高度、卷积核宽度、输入通道数、输出通道数，其中，学习权值W的卷积核高度与输入图像X的图像高度相同，学习权值W的卷积核宽度与输入图像X的图像宽度相同；
在扁平化模块中，将输入图像X在图像通道上的数据扁平化到图像高度和图像宽度的维度上，扁平化处理后得到的张量表示为
在提取模块中，将经扁平化处理得到的张量Xflatten使用(heightw，widthw)的滑动窗口进行提取处理，按照如下公式计算：
其中，stride是移动步长，k_size＝heightw＝widthw，heightw、widthw分别为变量，提取后的张量为
6.一种模仿生物视觉神经元的图像分类装置，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1所述的模仿生物视觉神经元的图像分类方法。
7.一种计算机可读存储介质，其上存储有程序，其特征在于：所述程序被处理器执行时实现如权利要求1所述的模仿生物视觉神经元的图像分类方法。
CN202010294149.0A 2020-04-15 2020-04-15 模仿生物视觉神经元的图像分类方法、系统、装置及介质 Active CN111539462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010294149.0A CN111539462B (zh) 2020-04-15 2020-04-15 模仿生物视觉神经元的图像分类方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010294149.0A CN111539462B (zh) 2020-04-15 2020-04-15 模仿生物视觉神经元的图像分类方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN111539462A CN111539462A (zh) 2020-08-14
CN111539462B true CN111539462B (zh) 2023-09-19

Family

ID=71980195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010294149.0A Active CN111539462B (zh) 2020-04-15 2020-04-15 模仿生物视觉神经元的图像分类方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN111539462B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427958A (zh) * 2018-02-02 2018-08-21 哈尔滨工程大学 基于深度学习的自适应权值卷积神经网络水下声纳图像分类方法
CN109325530A (zh) * 2018-09-07 2019-02-12 中国科学院自动化研究所 基于少量无标签数据的深度卷积神经网络的压缩方法
CN109997154A (zh) * 2017-10-30 2019-07-09 上海寒武纪信息科技有限公司 信息处理方法及终端设备
CN110020724A (zh) * 2019-03-18 2019-07-16 浙江大学 一种基于权重显著性的神经网络列稀疏方法
CN110188795A (zh) * 2019-04-24 2019-08-30 华为技术有限公司 图像分类方法、数据处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109997154A (zh) * 2017-10-30 2019-07-09 上海寒武纪信息科技有限公司 信息处理方法及终端设备
CN108427958A (zh) * 2018-02-02 2018-08-21 哈尔滨工程大学 基于深度学习的自适应权值卷积神经网络水下声纳图像分类方法
CN109325530A (zh) * 2018-09-07 2019-02-12 中国科学院自动化研究所 基于少量无标签数据的深度卷积神经网络的压缩方法
CN110020724A (zh) * 2019-03-18 2019-07-16 浙江大学 一种基于权重显著性的神经网络列稀疏方法
CN110188795A (zh) * 2019-04-24 2019-08-30 华为技术有限公司 图像分类方法、数据处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马力等."基于稀疏化双线性卷积神经网络的细粒度图像分类".《模式识别与人工智能》.2019,第336-344页. *

Also Published As

Publication number Publication date
CN111539462A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN110121713B (zh) 使用神经网络的同时对象检测和刚性变换估计
Gao et al. Classification of CT brain images based on deep learning networks
CN107273845B (zh) 一种基于置信区域和多特征加权融合的人脸表情识别方法
CN108268885B (zh) 特征点检测方法、设备和计算机可读存储介质
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
WO2019232960A1 (zh) 自动骨龄预测方法、系统、计算机设备和存储介质
CN110032271B (zh) 对比度调节装置及其方法、虚拟现实设备及存储介质
TWI786330B (zh) 一種圖像處理方法、電子設備及存儲介質
CN108596258A (zh) 一种基于卷积神经网络随机池化的图像分类方法
CN107292352B (zh) 基于卷积神经网络的图像分类方法和装置
CN106682569A (zh) 一种基于卷积神经网络的快速交通标识牌识别方法
US20220189142A1 (en) Ai-based object classification method and apparatus, and medical imaging device and storage medium
CN113822851A (zh) 图像分割方法、装置、设备及存储介质
CN110569844A (zh) 基于深度学习的船舶识别方法及系统
CN103839066A (zh) 一种源于生物视觉的特征提取方法
CN114333049A (zh) 猪只攻击行为识别方法、系统、计算机设备和存储介质
Bezak Building recognition system based on deep learning
CN114140844A (zh) 人脸静默活体检测方法、装置、电子设备及存储介质
CN113240655A (zh) 一种自动检测眼底图像类型的方法、存储介质及装置
Ng et al. Comparing image representations for training a convolutional neural network to classify gender
CN110781760A (zh) 一种基于空间注意的面部表情识别方法和装置
CN111539462B (zh) 模仿生物视觉神经元的图像分类方法、系统、装置及介质
CN111414823B (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN116884036A (zh) 基于YOLOv5DA的生猪姿态检测方法、装置、设备及介质
CN109815772A (zh) 指纹图像增强、识别方法、装置及指纹图像增强识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant