CN113128521B - 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质 - Google Patents

一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN113128521B
CN113128521B CN202110485263.6A CN202110485263A CN113128521B CN 113128521 B CN113128521 B CN 113128521B CN 202110485263 A CN202110485263 A CN 202110485263A CN 113128521 B CN113128521 B CN 113128521B
Authority
CN
China
Prior art keywords
image
feature
gradient
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110485263.6A
Other languages
English (en)
Other versions
CN113128521A (zh
Inventor
刘茂梅
钟升
匡乃亮
唐磊
彭进业
罗迒哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Xian Microelectronics Technology Institute
Original Assignee
NORTHWEST UNIVERSITY
Xian Microelectronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY, Xian Microelectronics Technology Institute filed Critical NORTHWEST UNIVERSITY
Priority to CN202110485263.6A priority Critical patent/CN113128521B/zh
Publication of CN113128521A publication Critical patent/CN113128521A/zh
Application granted granted Critical
Publication of CN113128521B publication Critical patent/CN113128521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于信息技术领域，具体涉及一种小型化人工智能模型特征提取方法及图像分类系统，包括以下过程：将原图转化为灰度图像，对灰度图像进行预处理提取先验特征图；将先验特征图输入浅层卷积神经网络，浅层卷积神经网络提取特征后输出特征向量；输出的特征向量结合训练数据集的图像类别标签向量共同计算交叉熵损失，通过最小化交叉熵损失函数训练浅层卷积神经网络，用训练好的浅层卷积神经网络提取图像特征，实现对图像的准确分类。将图像梯度计算得到的边缘、方向特征以及图像二维小波分解得到的高频、低频细节特征等中，可以提升人工智能模型对底层特征的提取能力，有效降低网络参数空间的规模，减少局部极值的问题。

Description

一种小型化人工智能模型特征提取方法、系统、计算机设备及 存储介质
技术领域
本发明属于信息技术领域，具体涉及一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质。
背景技术
图像分类是计算机视觉任务的核心。一般说来，分类算法通过手工特征或者特征学习方法对整个图像进行全局描述，然后使用分类器判断是否存在某类物体。在大数据时代，海量视频数据所带来的纷繁复杂的易变性将给传统的特征学习方法带来巨大挑战，手工设计特征几乎已不再可能。深度学习模型天然的强大数据表达能力，在当下数据驱动的大数据背景下已经成为主流的特征学习方法，对整个计算机视觉的研究产生了极大的影响，将图像分类的研究推向了新的高度。目前深度学习模型为了追求精度的提升，其改进的主流思路是通过不断加深模型，提取更深层次的语义信息。然而模型加深的同时使得模型复杂度成几何倍数的增长，模型参数量巨大，优化困难、计算强度高，难以训练且难以移植到嵌入式设备等硬件计算资源有限的条件下。所以，目前深度学习模型急需新的改进方法，研究能应用于嵌入式设备的小型化人工智能模型特征提取方法集图像分类系统意义重大。
发明内容
本发明的目的在于提供一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质，可以提升人工智能模型对底层特征的提取能力，从而有效降低网络参数空间的规模。
本发明是通过以下技术方案来实现：
一种小型化人工智能模型特征提取方法，包括以下过程：
将原图转化为灰度图像，对灰度图像进行预处理提取先验特征图；
将先验特征图输入浅层卷积神经网络，浅层卷积神经网络提取特征后输出特征向量；
输出的特征向量结合训练数据集的图像类别标签向量共同计算交叉熵损失，通过最小化交叉熵损失函数训练浅层卷积神经网络，用训练好的浅层卷积神经网络提取图像特征，实现对图像的准确分类。
进一步，S1中，对灰度图像进行预处理提取先验特征图包括四种方式，具体为：
第一种方式为：从灰度图像中提取图像梯度信息，得到两幅梯度特征图，两幅梯度特征图包括梯度幅值特征图和梯度方向特征图；
将原图与两幅梯度特征图按通道拼接，若原图为灰度图像则得到三通道特征图，若原图为彩色图像则得到五通道特征图；
第二种方式为：采用小波分解法对灰度图像进行二维离散小波分解，得到四幅小波分解后的特征图，其分辨率为原图的四分之一，将四幅小波分解后的特征图像按通道拼接，得到原图四分之一分辨率的四通道特征图；
第三种方式为：整合方式一和方式二所提取的梯度幅值特征图和梯度方向特征图，及小波分解后的特征图，具体为：
利用最大池化操作将梯度幅值特征图和梯度方向特征图下采样为原图分辨率的四分之一，然后将四幅小波分解后的特征图及两幅下采样后的梯度幅值特征图和梯度方向特征图按通道拼接，得到原图四分之一分辨率的六通道特征图；
第四种方式为：将方式一中的得到的梯度方向特征图做阈值化处理，得到阈值化处理后的梯度方向图；按照阈值化处理后的梯度方向图对原图进行方向插值，得到按梯度方向扩展感受野的特征图，若原图为灰度图像则得到单通道特征图，若原图为彩色图像则得到三通道特征图。
进一步，梯度幅值特征图和梯度方向特征图的计算公式为：
其中，G为梯度值幅值特征图，θ为梯度方向特征图，Gx为横向梯度近似值，Gy为纵向梯度近似值；
其中，A为原图。
进一步，第二种方式中，经过二维离散小波分解获得的四幅分辨率为原图四分之一的图像分别为原始图像在水平和垂直方向上的低频分量LL、原始图像在水平方向上的低频和垂直方向上的高频LH、原始图像在水平方向上的高频和垂直方向上的低频HL以及原始图像在水平和垂直方向上的的高频分量HH。
进一步，第四种方式中，角度值为[0，2π]的梯度方向角经阈值化处理后得到8种阈值，设A为原图，C为阈值化后的梯度方向图，分辨率为w×h，则第(i,j)点对应阈值为：
其中，0到7分别对应八种方向插值模式。
进一步，S2中，浅层卷积神经网络共包含两个卷积层、两个激活层、一个全局平均池化层，一个批量归一化层和一个softmax层，连接顺序依次为第一个卷积层、激活层、第二个卷积层、激活层、全局平均池化层、批量归一化层和softmax层。
进一步，S3中，所述的网络输出特征向量为n维特征向量，记为q；其中n等于数据集图像分类所包含的类别数目；S3具体为：
3.1将n维特征向量q与图像类别标签向量p计算交叉熵损失，交叉熵损失函数的公式如下
3.2采用反向传播算法，利用RMSProp优化算法更新浅层卷积神经网络的网络参数；
3.3重复步骤3.1到3.2最小化交叉熵损失函数，直至网络收敛，保存网络参数。
本发明还公开了一种小型化人工智能模型图像分类系统，包括：
预处理模块，用于将原图转化为灰度图像，对灰度图像进行预处理提取先验特征图；
人工智能模型模块，用于将先验特征图输入浅层卷积神经网络，浅层卷积神经网络提取特征后输出特征向量；
网络训练模块，用于将输出的特征向量结合训练数据集的图像类别标签向量共同计算交叉熵损失，通过最小化交叉熵损失函数训练浅层卷积神经网络；
网络推理模块，用于利用训练好的浅层卷积神经网络提取图像特征，实现对图像的准确分类。
本发明还公开了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述小型化人工智能模型特征提取方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述小型化人工智能模型特征提取方法的步骤。
与现有技术相比，本发明具有以下有益的技术效果：
本发明公开了一种小型化人工智能模型特征提取方法，通过对图像进行预处理，将图像梯度计算得到的边缘、方向特征以及图像二维小波分解得到的高频、低频细节特征等整合为先验特征图，将先验特征图作为输入可以提升人工智能模型对底层特征的提取能力，从而有效降低网络参数空间的规模，减少局部极值的问题。在MNIST数据集上仅用0.087M参数的模型就达到了接近98％的分类准确率。在精度与现有深度学习模型相当的条件下，参数量少了两个数量级。本发明以一种新的视角改进深度学习模型，公开了一种小型化人工智能模型图像分类系统，通过在浅层网络的基础上加入先验知识提升精度，用极少参数的较浅模型达到能与深度模型相比拟的准确性。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
实施例1
本发明提供了一种基于图像梯度信息和卷积神经网络的特征提取方法，该方法输入任意一幅图像，通过计算图像梯度提取图像底层特征信息，将原图和梯度先验特征图一起输入浅层卷积神经网络提取特征，最终得到一个特征向量，结合有标签的数据集训练网络，实现对图像的准确分类。
采用MNIST数据库的手写字体图像作为原图，以图像的左上角为原点，水平方向为X轴，垂直方向为Y轴建立图像坐标系，然后开始进行网络训练过程。具体包括以下步骤：
步骤11、将原图转化为灰度图像，计算灰度图像的梯度幅值特征图和梯度方向特征图；
图像的每一个像素的梯度幅值的大小以及梯度的方向可以通过横向梯度近似值及纵向梯度近似值用以下的公式来计算：
其中，G为梯度值幅值特征图，θ为梯度方向特征图，Gx为横向梯度近似值，Gy为纵向梯度近似值，通过sobel算子对灰度图像提取图像横向和纵向的梯度信息：
其中，A为原图。
步骤12、将原图与梯度幅值特征图G和梯度方向特征图θ按通道拼接，若原图为灰度图像则得到三通道特征图，若原图为彩色图像则得到五通道特征图；
本实施例MNIST数据集为灰度图像，拼接后为3通道特征图；
步骤13、将拼接后的特征图输入浅层卷积神经网络，浅层卷积神经网络共包含两个卷积层、两个激活层、一个全局平均池化层、一个批量归一化层和一个softmax层，连接顺序依次为为第一个卷积层、激活层、第二个卷积层、激活层、全局平均池化层、批量归一化层和softmax层。
卷积层的卷积核大小为3×3，卷积时步长为1，通过padding操作保持卷积前后图像分辨率不变，第一层卷积核个数为m，第二层卷积核个数为n。激活层采用relu函数作为激活函数。
网络初始化参数采用凯明初始化算法，本实施例取m＝16，n＝10；
步骤14、网络输出一个n维特征向量，其中n等于数据集图像分类所包含的类别数目。本实施例图像类别数目n＝10，输出的向量q与图像类别标签向量p计算交叉熵损失，定义如下：
步骤15，采用反向传播算法，利用RMSProp(Root Mean Square Prop)优化算法更新网络参数，本实施例参数设置为：lr＝0.003，batch＝128。其中lr表示学习率，batch表示批量训练数据量；
步骤16，重复步骤13到步骤15最小化损失函数，直至网络收敛，保存网络参数。训练好的参数保存，推理时输入图像用使用该参数计算特征，模型输出特征向量，然后计算得到分类的类别输出。
实施例2
本实施例公开了一种基于小波分解和卷积神经网络的特征提取方法，输入浅层卷积神经网络后的步骤与实施例1相同，输入浅层卷积神经网络前的步骤变为：
步骤21、将原图转化为灰度图像，用haar小波对灰度图进行二维离散小波分解，得到四幅分辨率为原图四分之一的图像，分别为原始图像在水平和垂直方向上的低频分量LL、原始图像在水平方向上的低频和垂直方向上的高频LH、原始图像在水平方向上的高频和垂直方向上的低频HL以及原始图像在水平和垂直方向上的的高频分量HH；
步骤22、将小波分解后的底层特征图按通道拼接，拼接后为原图四分之一分辨率的四通道特征图。
步骤23、将拼接后的四通道特征图输入浅层卷积神经网络。
实施例3
本实施例公开了一种基于图像梯度，小波分解和卷积神经网络的特征提取方法，输入浅层卷积神经网络后的步骤与实施例1相同，输入浅层卷积神经网络前的步骤变为：
步骤31、在实施例1，2的基础上，整合梯度幅值特征图和梯度方向特征图，及小波分解后的特征图，利用最大池化操作将梯度幅值特征图和梯度方向特征图下采样为原图分辨率的四分之一；
步骤32、将四幅小波分解后的特征图及两幅下采样后的梯度幅值特征图和梯度方向特征图按通道拼接，得到原图四分之一分辨率的六通道特征图；
步骤23、将拼接后的六通道特征图输入浅层卷积神经网络。
实施例4
本实施例在实施例1的基础上，公开了一种基于图像梯度方向插值和卷积神经网络的特征提取方法，在步骤11提取图像梯度信息后，还包括：
步骤42、将得到的梯度方向特征图(角度值取值范围为0到2π)做阈值化处理，设A为原图，θ为梯度方向图，C为阈值化后的梯度方向图，分辨率为w×h，则第(i,j)点对应阈值为：
其中，0到7共八种阈值，分别对应8种方向插值模式。
步骤43、按照阈值化处理后的梯度方向图C对原图A分别采用8种插值模式进行插值，得到的图像D分辨率变为(w×(n+1))×h，本实施例取插值数n＝6，则图像D分辨率变为(w×7)×h。具体为：
设原图A(i，j)点对应角度值大小为a,插值时计算t＝tan(a)；
0，t≥0且|t|<1则沿原图X轴方向取n个值，分别为xk＝i+k,k∈N；0<k≤n，对应计算Y轴方向的值为yk＝j-k×|t|，取和/>得到两点/>和/>按照比例得到插值点/>计算得到的n个插值点沿X轴方向依此排列在原图A(i,j)点后，若xk>w或yk<0则超出图像点的索引范围，在该插值点位置补0，得到的图像分辨率变为(w×(n+1))×h；
1，t>0且|t|≥1则沿原图Y轴负方向取n个值，分别为yk＝j-k；k∈N,0<k≤n，对应计算X轴方向的值为xk＝i+k*|t|，取和/>得到两点/>和/>按照比例得到插值点/>计算得到的n个插值点沿X轴方向依此排列在原图A(i,j)点后，若xk>w或yk<0则超出图像点的索引范围，在该插值点位置补0，得到的图像分辨率变为(w×(n+1))×h；
2，t≤0且|t|>1则沿原图Y轴负方向取n个值，分别为yk＝j-k；k∈N,0<k≤n，对应计算X轴方向的值为xk＝i-k*|t|，取和/>得到两点/>和/>按照比例得到插值点/>计算得到的n个插值点沿X轴方向依此排列在原图A(i,j)点后，若xk<0或yk<0则超出图像点的索引范围，在该插值点位置补0，得到的图像分辨率变为(w×(n+1))×h；
3，t<0且|t|≤1则沿原图X轴负方向取n个值，分别为xk＝i-k；k∈N,0<k≤n，对应计算Y轴方向的值为yk＝j-k*|t|，取和/>得到两点/>和/>按照比例得到插值点/>计算得到的n个插值点沿X轴方向依此排列在原图A(i,j)点后，若xk<0或yk<0则超出图像点的索引范围，在该插值点位置补0，得到的图像分辨率变为(w×(n+1))×h；
4，t≥0且|t|<1则沿原图X轴负方向取n个值，分别为xk＝i-k；k∈N,0<k≤n，对应计算Y轴方向的值为yk＝j+k*|t|，取和/>得到两点/>和/>按照比例得到插值点/>计算得到的n个插值点沿X轴方向依此排列在原图A(i,j)点后，若xk<0或yk>h则超出图像点的索引范围，在该插值点位置补0，得到的图像分辨率变为(w×(n+1))×h；
5，t>0且|t|≥1则沿原图Y轴方向取n个值，分别为yk＝j+k；k∈N,0<k≤n，对应计算X轴方向的值为xk＝i-k*|t|，取和/>得到两点/>和/>按照比例得到插值点/> 计算得到的n个插值点沿X轴方向依此排列在原图A(i,j)点后，若xk<0或yk>h则超出图像点的索引范围，在该插值点位置补0，得到的图像分辨率变为(w×(n+1))×h；
6，t≤0且|t|>1则沿原图Y轴方向取n个值，分别为yk＝j+k；k∈N,0<k≤n，对应计算X轴方向的值为xk＝i+k*|t|，取和/>得到两点/>和/>按照比例得到插值点/> 计算得到的n个插值点沿X轴方向依此排列在原图A(i,j)点后，若xk>w或yk>h则超出图像点的索引范围，在该插值点位置补0，得到的图像分辨率变为(w×(n+1))×h；
7，t<0且|t|≤1则沿原图X轴方向取n个值，分别为xk＝i+k；k∈N,0<k≤n，对应计算Y轴方向的值为yk＝j+k*|t|，取和/>得到两点/>和/>按照比例得到插值点/> 计算得到的n个插值点沿X轴方向依此排列在原图A(i,j)点后，若xk>w或yk>h则超出图像点的索引范围，在该插值点位置补0，得到的图像分辨率变为(w×(n+1))×h；
步骤44、将插值后的图像输入浅层卷积神经网络，其中，第一层卷积与实施例1步骤13不同，后续网络相同。具体为：
第一层卷积按其插值的轴向进行一维卷积，卷积核大小和步长都等于插值数n+1，本实施例取插值数n＝6即卷积核大小和步长都等于7，输出的特征图与原图分辨率一致，输入实施例1所述的后续网络。
本发明还公开了一种小型化人工智能模型图像分类系统，包括：
预处理模块，用于将原图转化为灰度图像，对灰度图像进行预处理提取先验特征图；
人工智能模型模块，用于将先验特征图输入浅层卷积神经网络，浅层卷积神经网络提取特征后输出特征向量；
网络训练模块，用于将输出的特征向量结合训练数据集的图像类别标签向量共同计算交叉熵损失，通过最小化交叉熵损失函数训练浅层卷积神经网络；
网络推理模块，用于利用训练好的浅层卷积神经网络高效提取图像特征，实现对图像的准确分类。
本发明的小型化人工智能模型特征提取方法可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明的小型化人工智能模型特征提取方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。其中，所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
在示例性实施例中，还提供计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述小型化人工智能模型特征提取方法的步骤。处理器可能是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施结果
提取浅层卷积网络特征，设置的参数中m表示第一层卷积核个数，n表示第二层卷积核个数，lr表示学习率，batch表示批量训练数据量。
(1)实施例1
采用浅层卷积网路+梯度信息，设置的参数为：m＝16,n＝10,lr＝0.002,batch＝128。实验比较了浅层卷积网路和浅层卷积网路+梯度信息方法，实验结果如表1，从模型1和模型2的处理的实验结果可以看出：(1)本发明提供的方法具有很好的识别效果；(2)本发明提供的梯度信息特征对于分类具有显著性的作用。
(2)实施例2
采用浅层卷积网路+小波分解方法，参数的设置：m＝16,n＝10,lr＝0.002,batch＝128。实验比较了浅层卷积网路和浅层卷积网路+小波分解方法，实验结果如表1，从模型1和模型3的处理的实验结果可以看出：(1)本发明提供的方法具有很好的识别效果；(2)本发明提供的小波分解特征对于分类具有显著性的作用。
(3)实施例3
采用浅层卷积网路+梯度信息+小波分解方法，参数设置：m＝16,n＝10,lr＝0.002,batch＝128。实验结果如表1，从模型1和模型4的处理的实验结果可以看出：本发明提供的梯度信息+小波分解特征对于分类效果具有最大的性能提升。
(4)实施例4
采用浅层卷积网路+方向插值方法，参数的设置：m＝16,n＝10,lr＝0.002,batch＝128。其中第一层卷积核大小为7×1。实验比较了浅层卷积网路和浅层卷积网路+方向插值方法，实验结果如表1，从模型1和模型5的处理的实验结果可以看出：本发明提供的方法具有很好的识别效果。
上述实施例中除实施例4第一层卷积核大小为7×1外，其他的卷积核大小都为3×3。
为了体现本发明提供的方法的识别能力，比较了本发明提供的方法和经典卷积神经网络Lenet方法。从表1可以看出，本发明提供的方法具有很好的识别效果并且与对比模型Lenet相比本发明提供的方法参数量极少，减少了2个数量级。
表1：MNIST数据集分类结果(％)及模型参数(M)
模型 仅原图 实施例1 实施例2 实施例3 实施例4 Lenet
准确率 94.73 96.27 97.55 97.87 96.13 99.14
参数量 0.0062 0.0073 0.0078 0.0090 0.0134 0.2354

Claims (8)

1.一种小型化人工智能模型特征提取方法，其特征在于，包括以下过程：
S1、将原图转化为灰度图像，对灰度图像进行预处理提取先验特征图；
S2、将先验特征图输入浅层卷积神经网络，浅层卷积神经网络提取特征后输出特征向量；
S3、输出的特征向量结合训练数据集的图像类别标签向量共同计算交叉熵损失，通过最小化交叉熵损失函数训练浅层卷积神经网络，用训练好的浅层卷积神经网络提取图像特征，实现对图像的准确分类；
S1中，对灰度图像进行预处理提取先验特征图具体为：
从灰度图像中提取图像梯度信息，得到两幅梯度特征图，两幅梯度特征图包括梯度幅值特征图和梯度方向特征图；将梯度方向特征图做阈值化处理，得到阈值化处理后的梯度方向图；按照阈值化处理后的梯度方向图对原图进行方向插值，得到按梯度方向扩展感受野的特征图，若原图为灰度图像则得到单通道特征图，若原图为彩色图像则得到三通道特征图。
2.根据权利要求1所述的一种小型化人工智能模型特征提取方法，其特征在于，梯度幅值特征图和梯度方向特征图的计算公式为：
其中，G为梯度值幅值特征图，θ为梯度方向特征图，Gx为横向梯度近似值，Gy为纵向梯度近似值；
其中，A为原图。
3.根据权利要求1所述的一种小型化人工智能模型特征提取方法，其特征在于，角度值为[0，2π]的梯度方向角经阈值化处理后得到8种阈值，设原图为A，阈值化处理后的梯度方向图为C，分辨率为w×h，则第(i,j)点对应阈值为：
其中，0到7分别对应八种方向插值模式；θ(i，j)为第(i，j)点对应梯度方向角的弧度值。
4.根据权利要求1所述的一种小型化人工智能模型特征提取方法，其特征在于，S2中，浅层卷积神经网络共包含两个卷积层、两个激活层、一个全局平均池化层、一个批量归一化层和一个softmax层，连接顺序依次为第一个卷积层、激活层、第二个卷积层、激活层、全局平均池化层、批量归一化层和softmax层。
5.根据权利要求1所述的一种小型化人工智能模型特征提取方法，其特征在于，S3中，所述的网络输出特征向量为n维特征向量，记为q；其中n等于数据集图像分类所包含的类别数目；S3具体为：
3.1将n维特征向量q与图像类别标签向量p计算交叉熵损失，交叉熵损失函数的公式如下：
3.2采用反向传播算法，利用RMSProp优化算法更新浅层卷积神经网络的网络参数；
3.3重复步骤3.1到3.2最小化交叉熵损失函数，直至网络收敛，保存网络参数。
6.基于权利要求1-5任意一项所述小型化人工智能模型特征提取方法的一种小型化人工智能模型图像分类系统，其特征在于，包括：
预处理模块，用于将原图转化为灰度图像，对灰度图像进行预处理提取先验特征图；对灰度图像进行预处理提取先验特征图具体为：
从灰度图像中提取图像梯度信息，得到两幅梯度特征图，两幅梯度特征图包括梯度幅值特征图和梯度方向特征图；将梯度方向特征图做阈值化处理，得到阈值化处理后的梯度方向图；按照阈值化处理后的梯度方向图对原图进行方向插值，得到按梯度方向扩展感受野的特征图，若原图为灰度图像则得到单通道特征图，若原图为彩色图像则得到三通道特征图；
人工智能模型模块，用于将先验特征图输入浅层卷积神经网络，浅层卷积神经网络提取特征后输出特征向量；
网络训练模块，用于将输出的特征向量结合训练数据集的图像类别标签向量共同计算交叉熵损失，通过最小化交叉熵损失函数训练浅层卷积神经网络；
网络推理模块，用于利用训练好的浅层卷积神经网络提取图像特征，实现对图像的准确分类。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任意一项所述小型化人工智能模型特征提取方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述小型化人工智能模型特征提取方法的步骤。
CN202110485263.6A 2021-04-30 2021-04-30 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质 Active CN113128521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110485263.6A CN113128521B (zh) 2021-04-30 2021-04-30 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110485263.6A CN113128521B (zh) 2021-04-30 2021-04-30 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113128521A CN113128521A (zh) 2021-07-16
CN113128521B true CN113128521B (zh) 2023-07-18

Family

ID=76781004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110485263.6A Active CN113128521B (zh) 2021-04-30 2021-04-30 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113128521B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688849B (zh) * 2021-08-30 2023-10-24 中国空空导弹研究院 一种用于卷积神经网络的灰度图像序列特征提取方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787486A (zh) * 2015-12-11 2016-07-20 昆明理工大学 一种基于图像处理的钢梁裂纹检测方法
CN106169173A (zh) * 2016-06-30 2016-11-30 北京大学 一种图像插值方法
CN107358182A (zh) * 2017-06-29 2017-11-17 维拓智能科技（深圳）有限公司 行人检测方法及终端设备
CN107945179A (zh) * 2017-12-21 2018-04-20 王华锋 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法
CN110263712A (zh) * 2019-06-20 2019-09-20 江南大学 一种基于区域候选的粗精行人检测方法
CN110276391A (zh) * 2019-06-18 2019-09-24 浙江工业大学 基于深度时空条件随机场的多人头部朝向估计方法
CN110348387A (zh) * 2019-07-12 2019-10-18 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置以及计算机可读存储介质
CN111126333A (zh) * 2019-12-30 2020-05-08 齐齐哈尔大学 一种基于轻量卷积神经网络的垃圾分类方法
CN111191568A (zh) * 2019-12-26 2020-05-22 中国平安人寿保险股份有限公司 翻拍图像识别方法、装置、设备及介质
CN111401309A (zh) * 2020-04-08 2020-07-10 中国人民解放军海军航空大学 基于小波变换的cnn训练和遥感图像目标识别方法
CN111784642A (zh) * 2020-06-10 2020-10-16 中铁四局集团有限公司 一种图像处理方法、目标识别模型训练方法和目标识别方法
CN111915542A (zh) * 2020-08-03 2020-11-10 汪礼君 一种基于深度学习的图像内容描述方法及系统
CN112132058A (zh) * 2020-09-25 2020-12-25 山东大学 一种基于多层级图像特征精炼学习的头部姿态估计方法及其实现系统、存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772390B1 (ko) * 2006-01-23 2007-11-01 삼성전자주식회사 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치
CN104881843A (zh) * 2015-06-10 2015-09-02 京东方科技集团股份有限公司 图像插值方法和图像插值装置
JP7245740B2 (ja) * 2019-07-25 2023-03-24 富士フイルムヘルスケア株式会社 画像処理装置、画像処理方法及びｘ線ｃｔ装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787486A (zh) * 2015-12-11 2016-07-20 昆明理工大学 一种基于图像处理的钢梁裂纹检测方法
CN106169173A (zh) * 2016-06-30 2016-11-30 北京大学 一种图像插值方法
CN107358182A (zh) * 2017-06-29 2017-11-17 维拓智能科技（深圳）有限公司 行人检测方法及终端设备
CN107945179A (zh) * 2017-12-21 2018-04-20 王华锋 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法
CN110276391A (zh) * 2019-06-18 2019-09-24 浙江工业大学 基于深度时空条件随机场的多人头部朝向估计方法
CN110263712A (zh) * 2019-06-20 2019-09-20 江南大学 一种基于区域候选的粗精行人检测方法
CN110348387A (zh) * 2019-07-12 2019-10-18 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置以及计算机可读存储介质
CN111191568A (zh) * 2019-12-26 2020-05-22 中国平安人寿保险股份有限公司 翻拍图像识别方法、装置、设备及介质
CN111126333A (zh) * 2019-12-30 2020-05-08 齐齐哈尔大学 一种基于轻量卷积神经网络的垃圾分类方法
CN111401309A (zh) * 2020-04-08 2020-07-10 中国人民解放军海军航空大学 基于小波变换的cnn训练和遥感图像目标识别方法
CN111784642A (zh) * 2020-06-10 2020-10-16 中铁四局集团有限公司 一种图像处理方法、目标识别模型训练方法和目标识别方法
CN111915542A (zh) * 2020-08-03 2020-11-10 汪礼君 一种基于深度学习的图像内容描述方法及系统
CN112132058A (zh) * 2020-09-25 2020-12-25 山东大学 一种基于多层级图像特征精炼学习的头部姿态估计方法及其实现系统、存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Efficient edge-oriented based image interpolation algorithm for non-integer scaling factor;Chia-Chun Hsu 等;《2017 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)》;1-4 *
Pedestrian Detection for Road Safety using Channel Features, DWT, and AdaBoost;Fatima Walia 等;《researchGate》;1-8 *
基于噪声模型和通道融合的彩色图像隐写分析;綦科;《计算机研究与发展》;第50卷(第2期);307-318 *
基于多方向和边缘保持的图像插值算法研究;郭翰庭;《中国优秀硕士学位论文全文数据库 信息科技辑》(第02期);I138-1733 *
基于深度学习的行人检测问题研究;常玲玲;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2期);I138-1445 *
基于稀疏表示的图像质量评价算法研究;程大宇;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2期);I138-3475 *
基于聚合通道特征及卷积神经网络的行人检测;陈光喜 等;《计算机工程与设计》;第39卷(第7期);2059-2068 *

Also Published As

Publication number Publication date
CN113128521A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN107358258B (zh) 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
CN113065546B (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN109949255A (zh) 图像重建方法及设备
CN112257766B (zh) 一种基于频域滤波处理的自然场景下阴影识别检测方法
CN111191583A (zh) 基于卷积神经网络的空间目标识别系统及方法
CN110956632B (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN110232318A (zh) 穴位识别方法、装置、电子设备及存储介质
CN111860046B (zh) 一种改进MobileNet模型的人脸表情识别方法
Shleymovich et al. Object detection in the images in industrial process control systems based on salient points of wavelet transform analysis
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN115830375B (zh) 点云分类方法及装置
CN113128521B (zh) 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质
CN112102379B (zh) 一种无人机多光谱影像配准方法
CN116071625B (zh) 深度学习模型的训练方法、目标检测方法及装置
CN111488811A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN111914749A (zh) 基于神经网络的车道线识别方法及其系统
Kaur et al. Intensity based image segmentation using wavelet analysis and clustering techniques
Valverde et al. Multiple sclerosis lesion detection and segmentation using a convolutional neural network of 3D patches
Sivanandan et al. An Improved Ultrasound Tumor Segmentation Using CNN Activation Map Clustering and Active Contours
CN113344935B (zh) 基于多尺度难度感知的图像分割方法及系统
CN114140495A (zh) 基于多尺度Transformer的单目标跟踪方法
da Silva et al. Satellite image segmentation using wavelet transforms based on color and texture features
CN113128614A (zh) 基于图像梯度的卷积方法、基于方向卷积的神经网络及分类方法
CN111627033A (zh) 一种难样本实例分割方法、设备及计算机可读存储介质
CN112489068A (zh) 一种基于卷积神经网络的医学图像分割的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant