CN111709433A - 一种多特征融合图像识别算法 - Google Patents

一种多特征融合图像识别算法 Download PDF

Info

Publication number
CN111709433A
CN111709433A CN202010566440.9A CN202010566440A CN111709433A CN 111709433 A CN111709433 A CN 111709433A CN 202010566440 A CN202010566440 A CN 202010566440A CN 111709433 A CN111709433 A CN 111709433A
Authority
CN
China
Prior art keywords
image
gabor
feature
sampling
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010566440.9A
Other languages
English (en)
Inventor
汪礼君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010566440.9A priority Critical patent/CN111709433A/zh
Publication of CN111709433A publication Critical patent/CN111709433A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像识别的技术领域，揭露了一种多特征融合图像识别算法策略，包括：利用映射函数对待识别图像的像素值进行映射处理；基于邻域像素点间的关联性对图像的Gabor特征进行转换，得到图像的Gabor_l特征；计算待识别图像中Zernike矩的各阶矩值，并对其按照升序进行排列，得到待识别图像的Zernike描述子；利用细化尺度空间金字塔对图像像素矩阵进行采样，并利用灰度质心法确定采样图像中采样点主方向，生成采样特征；计算各个特征值提供的信息的置信度，得到各个特征值对整个图像识别的支持程度；基于一种特征融合规则将Gabor_l特征、Zernike描述子以及采样特征进行多特征融合；将融合后的特征输入到预构建的GKP‑Net网络中，实现图像识别。本发明实现了图像的识别。

Description

一种多特征融合图像识别算法
技术领域
本发明涉及图像识别的技术领域，尤其涉及一种多特征融合图像识别算法。
背景技术
随着互联网技术以及社交网络的发展，图片由于其不受地域和语言限制的特性，逐渐取代了繁琐的文字，成为了互联网信息交流的主要媒介。但伴随着图片成为互联网中的主要信息载体，难题随之出现。当信息由文字记载时，人们可以通过关键词搜索轻易找到所需内容并进行任意编辑，而当信息是由图片记载时，人们却无法对图片中的内容进行检索，从而影响了从图片中找到关键内容的效率。在这个环境下，计算机的图像识别技术就显得尤为重要。
传统图像识别技术采用CNN结构进行图像识别，输入图像大小固定且增加网络结构深度来提取特征，识别过程只针对最后一层提取的特征，通常采用relu激活函数。这样的网络结构需要大量有标签的数据集，还需要高效的计算能力，才可以达到最好的识别效果，如此便限制了特征来源，同时极容易丢失边缘关键特征，使特征提取不全。而采用两个相对独立的并行子卷积网络进行特征提取，然后将不同卷积核提取的特征进行融合，识别率有一定的提高，但是对计算机的计算能力要求比较高，实现过程复杂。
鉴于此，如何提取图像中的有效特征，并利用所提取出的特征进行准确的图像识别，成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种多特征融合图像识别算法，通过对传统特征提取算法进行改进，从而提取出改进的Gabor_l特征、Zernike描述子以及采样特征，并基于Dempster融合规则进行特征融合，同时对融合得到的特征使用本发明所提出的GKP-Net模型进行训练，实现对图像的识别。
为实现上述目的，本发明提供的一种多特征融合图像识别算法，包括：
利用映射函数对待识别图像的像素值进行映射处理，得到图像像素矩阵；
将图像像素矩阵与Gabor小波的核函数进行卷积运算，得到Gabor特征图谱；
基于邻域像素点间的关联性对Gabor特征进行转换，得到图像的Gabor_l特征；
计算待识别图像中Zernike矩的各阶矩值，并对其按照升序进行排列，得到待识别图像的Zernike描述子；
利用细化尺度空间金字塔对图像像素矩阵进行采样，并利用灰度质心法确定采样图像中采样点主方向，生成采样特征；
计算各个特征值提供的信息的置信度，得到各个特征值对整个图像识别的支持程度，并基于一种特征融合规则将Gabor_l特征、Zernike描述子以及采样特征进行多特征融合；
将融合后的特征输入到预构建的GKP-Net网络中，以进行图像识别。
可选地，所述映射函数的数学计算公式为：
Figure BDA0002547996960000021
其中：
i为待识别图像的原有像素值；
Figure BDA0002547996960000022
为待识别图像的像素均值；
σ为待识别图像的像素值标准差；
Sum为待识别图像像素总数。
可选地，所述图像像素矩阵与Gabor小波的核函数的卷积运算公式为：
Fu，v(z)＝I(z)*Gu，v(z)
Figure BDA0002547996960000023
Figure BDA0002547996960000024
其中：
z为图像中像素点的矩阵坐标，可以用z＝(x，y)表示；
I为待识别的图像；
Fu，v(z)为卷积后得到的Gabor特征图谱；
Gu，v(z)为二维Gabor小波核函数；
ku，v为Gabor滤波器的中心频率，
Figure BDA0002547996960000031
u为Gabor滤波器的方向；
k为方向的总数目；
v为待识别图像的尺度；
σ为高斯窗宽与Gabor小波波长的比值，本发明将σ取为2π。
可选地，所述基于邻域像素点间的关联性对Gabor特征进行转换，包括：
对于图像中任意像素点的Gabor特征，将该像素点的3×3邻域内的像素点的Gabor特征取均值，然后对此均值特征和该像素点的Gabor特征相加后再取均值，得到基于邻域像素点的Gabor_l特征，所述基于邻域像素点的Gabor_l特征的转换过程如下：
Figure BDA0002547996960000032
其中：
z0为进行Gabor_l特征的像素点；
zi(i＝1，2，...，8)为z0邻域内各像素点的值；
对于一副大小为m×n的图像，将其划分为H个大小相同的子块，对每个子块图像Ih(h＝0，1，...，H-1)取特征值均值
Figure BDA0002547996960000033
和特征值标准差
Figure BDA0002547996960000034
其计算公式为：
Figure BDA0002547996960000035
Figure BDA0002547996960000036
所述待识别图像的Gabor_l特征为：
Figure BDA0002547996960000037
其中：
u＝0，1，...，U，U为Gabor小波核函数的方向；
v＝0，1，...，V，V为Gabor小波核函数的尺度；
h＝0，1，...，H-1。
可选地，所述计算待识别图像中Zernike矩的各阶矩值，包括：
对于尺寸为N×N的待识别图像z(x，y)，令其中心为坐标原点，取值范围为N/2≤x，y≤N/2，同时引入参数(r，σ)，其中，r＝max(|x|，|y|)，σ∈[1，8r]，从而将待识别图像z(x，y)转换为极坐标形式，所述待识别图像的极坐标表示形式为：
Figure BDA0002547996960000041
根据上述所得待识别图像的极坐标表示形式，利用下式计算Zernike矩的n阶矩值：
Figure BDA0002547996960000042
Figure BDA0002547996960000043
Figure BDA0002547996960000044
其中：
n为阶数；
m为重复率，n-|m|为偶数，|m|≤n；
Figure BDA0002547996960000045
为径向多项式函数，其数学表达式为：
Figure BDA0002547996960000046
ρ＝2r/N，为待识别图像的极坐标表达形式。
可选地，所述利用细化尺度空间金字塔对图像像素矩阵进行采样，包括：
所述细化尺度金字塔由n个普通层图像octaves、n个内层图像intra-octaves和n个上层图像up-ocataves组成，三层图像分别用ci、di和ui表示，i＝{1，2，...，n-1}；
其中，原始图像c0、d0和u0作为基准层图像，原始图像c0即为待识别图像像素矩阵，d0为原始图像c0经1.25倍降采样得到的图像，上层图像u0是由原始图像经1.5倍降采样得到的，普通层图像ci(i≠0)均由ci-1层不断2倍降采样生成，内层图像di(i≠0)均由di-1层不断1.5倍降采样生成，上层图像di(i≠0)均由ui-1层不断1.5倍降采样生成。
可选地，所述计算各个特征值提供的信息的置信度，得到各个特征值对整个图像识别的支持程度，包括：
利用Canny图像检测算法检测图像中实物存在的位置，求出特征分别为Gabor_l特征、Zernike描述子以及采样特征时，每一个活动峰值到实物的欧式距离ΔG、ΔZ、ΔC，进而求得每个特征在检测出图像中实物的置信度，其计算公式为：
Figure BDA0002547996960000051
Figure BDA0002547996960000052
Figure BDA0002547996960000053
用A来代表检测到图像实物的集合，同时利用matlab检测在不同特征下图像的噪声，用B来代表检测到噪声的集合，用U来表示无法确定的情况，通过将待识别图像划分为N个图像块，其中利用特征k检测到实物的数量为Nk(A)，检测到噪声的数量为Nk(B)，则其概率为：
Figure BDA0002547996960000054
Figure BDA0002547996960000055
其中：
k＝G，Z，C，分别代表Gabor_l特征、Zernike描述子以及采样特征；
求出各个特征提供的信息的置信度后，各自乘上该方法对应的置信度，进而获得各个特征对整个待识别图像的支持程度，所述各个特征支持程度的计算公式为：
Figure BDA0002547996960000056
Figure BDA0002547996960000057
Pk(U)＝1-max(Pk(A)，Pk(B))
其中：
k＝G，Z，C，分别代表Gabor_l特征、Zernike描述子以及采样特征；
A为检测到图像实物的集合；
B为检测到噪声的集合；
U为无法确定的情况。
可选地，所述基于特征融合规则的特征融合方式为：
1)计算各个特征的基本概率分配值：
Figure BDA0002547996960000061
其中：
PA、PB、PU分别为识别出图像实物的概率，图像噪声概率以及出现无法确定状况的概率；
k＝G，Z，C，分别代表Gabor_l特征、Zernike描述子以及采样特征；
2)对基本概率分配值较高的两个特征，按照两者概率分配值的比例直接进行融合，进而按照融合后特征的概率分配值同第三个特征的概率分配值的比例，将第三个特征值进行融合。
可选地，所述GKP-Net网络为：
所述GKP-Net网络包含了4个卷积层和2个全连接层。其中第一个卷积层，有96个大小为11×11的卷积核，卷积步长为4；
将3个连续的卷积层提取的特征叠加融合起来，同时对同一输入的不同卷积核产生的特征图进行叠加融合，最后将浅层和最后一层的特征融合，将浅层纹理信息和深层抽象信息结合，使分类器分类的特征信息更多更清晰，以便获得更好的识别率。
相对于现有技术，本发明提出一种多特征融合图像识别算法，该技术具有以下优势：
首先，在图像特征提取中，现有基于Gabor小波变换的特征提取方式，一般是将待处理图像与Gabor小波的核函数作卷积运算得到的，所述Gabor核函数的表达式为：
Figure BDA0002547996960000062
其中z为图像中的单个像素点，通过对所述Gabor核函数进行分析，每个像素点的特征都是相互独立的，单独的像素点特征缺乏与周围像素点的关联性，因此本发明基于邻域像素点的关联性对现有技术进行改进，对于图像中任意像素点的Gabor特征，本发明将该像素点的3×3邻域内的像素点的Gabor特征取均值，然后对此均值特征和该像素点的Gabor特征相加后再取均值，得到基于邻域像素点的Gabor_l特征，使得邻域像素特征参与该像素点中Gabor_l特征的构成，因此本发明所提取各个像素点的特征均包含了邻域像素点的特征信息，各个像素点不再独立，且进行了像素点之间特征信息的交流和融合，相较于现有技术，本发明所提取出的Gabor_l特征包含了更多的图像信息，因此能更好地对图像进行表征；同时由于所提取出的特征包含了更多的图像信息，在后续利用所提取的特征对图像进行识别时，本发明所建立的GKP-Net图像识别网络能利用更为准确的特征对图像进行识别，具备更高的图像识别正确率。。
其次，本发明引入细化尺度空间金字塔，从而对图像采样特征进行准确的提取，相较于现有技术，本发明在原有尺度空间金字塔的基础上增添了up-octaves层，所述细化尺度金字塔由n个普通层图像octaves、n个内层图像intra-octaves和n个上层图像up-ocataves组成，三层图像分别用ci、di和ui表示，i＝{1，2，...，n-1}，其中原始图像c0、d0和u0作为基准层图像，原始图像c0即为待识别图像像素矩阵，d0为原始图像c0经1.25倍降采样得到的图像，上层图像u0是由原始图像c0经1.5倍降采样得到的，普通层图像ci(i≠0)均由ci-1层不断2倍降采样生成，内层图像di(i≠0)均由di-1层不断1.5倍降采样生成，上层图像di(i≠0)均由ui-1层不断1.5倍降采样生成；细化尺度空间金字塔一方面更细化了尺度间隔，增加了更多尺度下的视觉信息，另一方面这样的改变会更加细化特征的选择，原因是在特征点粗定位时，会将中间层的特征点与上下两层的特征点使用非极大值抑制，增加了ui层同时也增加了更多的中间层，拓宽了特征搜索范围，增大匹配的概率，有利于粗定位的改善；也有助于通过插值得到特征点精确位置，在精度上也有一定程度上的提升，解决了现有技术在尺度不变性上表现较差的问题，在尺度变化较大的情况下，常常不能提供准确的位置信息，因此本发明所述算法提取到的采样特征能更为准确的对所提取的特征向量的方向进行描述。
同时本发明还提出了一种多特征融合的方法，现有技术大多采用人为地对特征权重进行设定，根据所设定的特征权重进行线性融合，特征融合的结果具有较大的主观性。本发明所述多特征融合方法首先利用Canny图像检测算法检测图像中实物存在的位置，求出特征分别为Gabor_l特征、Zernike描述子以及采样特征时，每一个活动峰值到实物的欧式距离ΔG、ΔZ、ΔC，进而求得每个特征在检测出图像中实物的置信度，其计算公式为：
Figure BDA0002547996960000071
Figure BDA0002547996960000072
在图像实物的检测过程中，本发明用A来代表检测到图像实物的集合，同时利用matlab检测在不同特征下图像的噪声，用B来代表检测到噪声的集合，用U来表示无法确定的情况，通过将待识别图像划分为N个图像块，其中利用特征k检测到实物的数量为Nk(A)，检测到噪声的数量为Nk(B)，则其概率为：
Figure BDA0002547996960000073
其中k＝G，Z，C，分别代表Gabor_l特征、Zernike描述子以及采样特征，本发明进而获得各个特征对整个待识别图像的支持程度，所述各个特征支持程度的计算公式为：
Figure BDA0002547996960000074
Figure BDA0002547996960000081
从而根据各特征基于支持度的概率分配值进行融合，首先对较高的两个特征，按照两者概率分配值的比例直接进行融合，进而按照融合后特征的概率分配值同第三个特征的概率分配值的比例，将第三个特征值进行融合。
最后，现有技术中网络的激活函数大多为relu激活函数，所述relu激活函数能解决梯度消失问题，加快收敛速度，但操作过程中只保留正值，将所有负值都置为0，且不再通过反向传播进行更新，导致训练过程中出现神经元坏死。因此本发明提出一种le-relu激活函数：
Figure BDA0002547996960000082
其中，xi为激活函数的输入，a为一个固定的斜率，0.1≤a≤0.4，本发明将其设置为0.15。相较于现有技术，本发明所提出le-relu激活函数能保留复值，因此有效避免了丢弃所有负值导致的神经元坏死和数据分布不均的问题。
附图说明
图1为本发明一实施例提供的一种多特征融合图像识别算法的流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
通过对传统特征提取算法进行改进，从而提取出改进的Gabor_l特征、Zernike描述子以及采样特征，并基于Dempster融合规则进行特征融合，同时对融合得到的特征使用本发明所提出的GKP-Net模型进行训练，实现对图像的准确识别。参照图1所示，为本发明一实施例提供的多特征融合图像识别算法示意图。
在本实施例中，多特征融合图像识别算法包括：
S1、利用映射函数对待识别图像的像素值进行映射处理，得到图像像素矩阵。
首先，本发明利用映射函数将待识别图像的每一个像素值映射到某个数值区间，得到图像像素矩阵，从而完成对图像像素值的规范化处理，解决了数值范围过于离散造成的数据不同性问题，使卷积神经网路对所有参数的作用趋同化，有利于得到正确的图像识别结果；所述映射函数的数学计算公式：
Figure BDA0002547996960000091
其中：
i为待识别图像的原有像素值；
Figure BDA0002547996960000092
为待识别图像的像素均值；
σ为待识别图像的像素值标准差；
Sum为待识别图像像素总数。
S2、将图像像素矩阵与Gabor小波的核函数进行卷积运算，得到Gabor特征图谱，并基于邻域像素点间的关联性对Gabor特征进行转换，得到图像的Gabor_l特征。
进一步地，本发明将图像像素矩阵与Gabor小波的核函数进行卷积运算，得到Gabor特征图谱，所述卷积操作的计算公式为：
Fu，v(z)＝I(z)*Gu，v(z)
Figure BDA0002547996960000093
Figure BDA0002547996960000094
其中：
z为图像中像素点的坐标，可以用z＝(x，y)表示；
I为待识别的图像；
Fu，v(z)为卷积后得到的Gabor特征图谱；
Gu，v(z)为二维Gabor小波核函数；
ku，v为Gabor滤波器的中心频率，
Figure BDA0002547996960000095
u为Gabor滤波器的方向；
k为方向的总数目；
v为待识别图像的尺度；
σ为高斯窗宽与Gabor小波波长的比值，本发明将σ取为2π。
由于传统Gabor小波变换技术中，每个像素点的特征都是相互独立的，单独的像素点特征缺乏与周围像素点的关联性，为了使最终提取的特征信息更好地体现图像整体的特征，需要让各个像素点不再独立，让邻域像素参与该像素点幅值特征的构成。
进一步地，对于图像中任意像素点的Gabor特征，本发明将该像素点的3×3邻域内的像素点的Gabor特征取均值，然后对此均值特征和该像素点的Gabor特征相加后再取均值，得到基于邻域像素点的Gabor_l特征，在本发明一个具体实施例中，所述基于邻域像素点的Gabor_l特征的转换过程如下：
Figure BDA0002547996960000101
其中：
z0为进行Gabor_l特征的像素点；
zi(i＝1，2，...，8)为z0邻域内各像素点的值。
为了让特征数据的维度有所下降并且使图像的全部特征得到更有效的表达，本发明将得到的新的Gabor_l特征图进行划分；对于一副大小为m×n的图像，本发明将其划分为H个大小相同的子块，对每个子块图像Ih(h＝0，1，...，H-1)取特征值均值
Figure BDA0002547996960000102
和特征值标准差
Figure BDA0002547996960000103
其计算公式为：
Figure BDA0002547996960000104
Figure BDA0002547996960000105
因此所述待识别图像的Gabor_l特征为：
Figure BDA0002547996960000106
其中：
u＝0，1，...，U，U为Gabor小波核函数的方向；
v＝0，1，...，V，V为Gabor小波核函数的尺度；
h＝0，1，...，H-1。
S3、计算待识别图像中Zernike矩的各阶矩值，并对其按照升序进行排列，得到待识别图像的Zernike描述子。
进一步地，对于尺寸为N×N的待识别图像z(x，y)，本发明令其中心为坐标原点，取值范围为N/2≤x，y≤N/2，同时引入参数(r，σ)，其中，r＝max(|x|，|y|)，σ∈[1，8r]，从而将待识别图像z(x，y)转换为极坐标形式，所述待识别图像的极坐标表示形式为：
Figure BDA0002547996960000107
根据上述所得待识别图像的极坐标表示形式，本发明利用下式计算Zernike矩的n阶矩值：
Figure BDA0002547996960000111
Figure BDA0002547996960000112
Figure BDA0002547996960000113
其中：
n为阶数；
m为重复率，n-|m|为偶数，|m|≤n；
Figure BDA0002547996960000114
为径向多项式函数，其数学表达式为：
Figure BDA0002547996960000115
计算得到的Zernike矩的各阶矩值，本发明先按n升序进行排列，再按m升序对其排列，就可以得到表示图像轮廓特征的Zernike描述子；在一个具体实施例中，当n等于3时，得到的Zernike描述子为{Z00，Z11，Z20，Z22，Z31，Z33}。。
S4、利用细化尺度空间金字塔对图像像素矩阵进行采样，并利用灰度质心法确定采样图像中采样点主方向，生成采样特征。
进一步地，本发明提出一种细化尺度空间金字塔，相较于现有技术，本发明在原有尺度空间金字塔的基础上增添了up-octaves层，所述细化尺度金字塔由n个普通层图像octaves、n个内层图像intra-octaves和n个上层图像up-ocataves组成，三层图像分别用ci、di和ui表示，i＝{1，2，...，n-1}；
其中，原始图像c0、d0和u0作为基准层图像，原始图像c0即为待识别图像像素矩阵，d0为原始图像c0经1.25倍降采样得到的图像，上层图像u0是由原始图像经1.5倍降采样得到的，普通层图像ci(i≠0)均由ci-1层不断2倍降采样生成，内层图像di(i≠0)均由di-1层不断1.5倍降采样生成，上层图像di(i≠0)均由ui-1层不断1.5倍降采样生成，因此本发明得到有关待识别图像像素矩阵的3n层金字塔，并将3N个采样点两两组成一对，将所有组合方式的集合称为采样点对集。
进一步地，本发明将待识别图像划分为若干图像块，每一个图像块中包含两个上层采样点，并将两个上层采样点作为采样特征，其中每一个图像块I(x，y)的矩为：
mpq＝∑xpyqI(x，y)
通过矩可以找到图像块的质心，所述质心的计算公式为：
Figure BDA0002547996960000121
连接图像块几何中心O与质心C，得到所述图像块中采样点的方向向量，所述采样点的方向向量即为图像块中特征值的方向，所述特征值方向的定义为：
Figure BDA0002547996960000122
S5、计算各个特征值提供的信息的置信度，得到各个特征值对整个图像识别的支持程度，并基于一种特征融合规则将Gabor_l特征、Zernike描述子以及采样特征进行多特征融合。
进一步地，对于上述得到的三种特征值，本发明首先利用Canny图像检测算法检测图像中实物存在的位置，求出特征分别为Gabor_l特征、Zernike描述子以及采样特征时，每一个活动峰值到实物的欧式距离ΔG、ΔZ、ΔC，进而求得每个特征在检测出图像中实物的置信度，其计算公式为：
Figure BDA0002547996960000123
Figure BDA0002547996960000124
Figure BDA0002547996960000125
进一步地，在图像实物的检测过程中，本发明用A来代表检测到图像实物的集合，同时利用matlab检测在不同特征下图像的噪声，用B来代表检测到噪声的集合，用U来表示无法确定的情况，通过将待识别图像划分为N个图像块，其中利用特征k检测到实物的数量为Nk(A)，检测到噪声的数量为Nk(B)，则其概率为：
Figure BDA0002547996960000126
Figure BDA0002547996960000127
其中：
k＝G，Z，C，分别代表Gabor_l特征、Zernike描述子以及采样特征。
求出各个特征提供的信息的置信度后，各自乘上该方法对应的置信度，进而获得各个特征对整个待识别图像的支持程度，所述各个特征支持程度的计算公式为：
Figure BDA0002547996960000128
Figure BDA0002547996960000129
同时根据模糊逻辑的模糊关系得出：
Pk(U)＝1-max(Pk(A)，Pk(B))
根据所述各个特征对待识别图像的支持程度，本发明提出一种特征融合规则，从而将Gabor_l特征、Zernike描述子以及采样特征进行多特征融合，所述基于特征融合规则的特征融合方式为：
1)计算各个特征的基本概率分配值：
Figure BDA0002547996960000131
其中：
P4、PB、PU分别为识别出图像实物的概率，图像噪声概率以及出现无法确定状况的概率；
2)对基本概率分配值较高的两个特征，按照两者概率分配值的比例直接进行融合，进而按照融合后特征的概率分配值同第三个特征的概率分配值的比例，将第三个特征值进行融合。
S6、将融合后的特征输入到预构建的GKP-Net网络中，以进行图像识别。
进一步地，对于上述融合后的特征，本发明将融合后的特征输入到GKP-Net网络中，并在全连接层使用softmax函数输出图像识别结果的概率分布，选取其中概率值最大的结果作为图像识别结果。所述GKP-Net网络包含了4个卷积层和2个全连接层。其中第一个卷积层，有96个大小为11×11的卷积核，卷积步长为4。详细地，本发明将3个连续的卷积层提取的特征叠加融合起来，同时对同一输入的不同卷积核产生的特征图进行叠加融合，最后将浅层和最后一层的特征融合，将浅层纹理信息和深层抽象信息结合，使分类器分类的特征信息更多更清晰，以便获得更好的识别率。
本发明将最初的卷积的步长设置的稍微大了一些，一方面是出于卷积核本身尺寸比较大的原因，另一方面是由于整个图像的融合特征作为输入时，包含了一定的冗余信息，在卷积过程适当加大卷积步长并不会对信息造成较大影响，同时可以在一定程度减小网络的规模，加快计算速度。该网络在第一个、第二个卷积层的后面以及第一个全连接层的前面各连接了一个pooling层，将所得特征图的尺寸进一步降低，从而缩减参数量规模，加快计算。
同时，现有技术中网络的激活函数大多为relu激活函数，所述relu激活函数能解决梯度消失问题，加快收敛速度，但操作过程中只保留正值，将所有负值都置为0，且不再通过反向传播进行更新，导致训练过程中出现神经元坏死。因此本发明提出一种le-relu激活函数：
Figure BDA0002547996960000132
其中：
xi为激活函数的输入；
a为一个固定的斜率，0.1≤a≤0.4，本发明将其设置为0.15。
相较于现有技术，本发明所提出le-relu激活函数能保留复值，因此有效避免了丢弃所有负值导致的神经元坏死和数据分布不均的问题。
下面通过一个仿真实验来说明本发明的具体实施方式，并对发明的算法进行测试。本发明算法的硬件测试环境为Intel Core i5 GPU，内存为8G，Pycharm IDE作为运行开发环境，编程语言版本为Python3.6.0，开发框架基于Tensorflow1.5.0，实验过程中所使用的图像数据集为Confocal数据集，对比特征融合算法分别为ZBSFD算法和HSFF-CNN算法。
根据实验结果，ZBSFD算法的正确识别率为96.8％，平均识别时间为4.26s，HSFF-CNN算法的正确识别率为97.8％，平均识别时间为2.45s，本发明所述算法的正确识别率为98.6％，平均识别时间为2.18s，相较于对比算法，本发明所提出的多特征融合图像识别算法具有更高的图像正确识别率，且能更快完成对图像的识别。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种多特征融合图像识别算法，其特征在于，所述方法包括：
利用映射函数对待识别图像的像素值进行映射处理，得到图像像素矩阵；
将图像像素矩阵与Gabor小波的核函数进行卷积运算，得到Gabor特征图谱；
基于邻域像素点间的关联性对Gabor特征进行转换，得到图像的Gabor_l特征；
计算待识别图像中Zernike矩的各阶矩值，并对其按照升序进行排列，得到待识别图像的Zernike描述子；
利用细化尺度空间金字塔对图像像素矩阵进行采样，并利用灰度质心法确定采样图像中采样点主方向，生成采样特征；
计算各个特征值提供的信息的置信度，得到各个特征值对整个图像识别的支持程度，并基于一种特征融合规则将Gabor_l特征、Zernike描述子以及采样特征进行多特征融合；
将融合后的特征输入到预构建的GKP-Net网络中，以进行图像识别。
2.如权利要求1所述的一种多特征融合图像识别算法，其特征在于，所述映射函数的数学计算公式为：
Figure FDA0002547996950000011
其中：
i为待识别图像的原有像素值；
Figure FDA0002547996950000012
为待识别图像的像素均值；
σ为待识别图像的像素值标准差；
Sum为待识别图像像素总数。
3.如权利要求2所述的一种多特征融合图像识别算法，其特征在于，所述图像像素矩阵与Gabor小波的核函数的卷积运算公式为：
Fu，v(z)＝I(z)*Gu，v(z)
Figure FDA0002547996950000013
Figure FDA0002547996950000021
其中：
z为图像中像素点的矩阵坐标，用z＝(x，y)表示；
I为待识别的图像；
Fu，v(z)为卷积后得到的Gabor特征图谱；
Gu，v(z)为二维Gabor小波核函数；
ku，v为Gabor滤波器的中心频率，
Figure FDA0002547996950000022
u为Gabor滤波器的方向；
k为方向的总数目；
v为待识别图像的尺度；
σ为高斯窗宽与Gabor小波波长的比值，本发明将σ取为2π。
4.如权利要求3所述的一种多特征融合图像识别算法，其特征在于，所述基于邻域像素点间的关联性对Gabor特征进行转换，包括：
对于图像中任意像素点的Gabor特征，将该像素点的3×3邻域内的像素点的Gabor特征取均值，然后对此均值特征和该像素点的Gabor特征相加后再取均值，得到基于邻域像素点的Gabor_l特征，所述基于邻域像素点的Gabor_l特征的转换过程如下：
Figure FDA0002547996950000023
其中：
z0为进行Gabor_l特征的像素点；
zi(i＝1，2，...，8)为z0邻域内各像素点的值；
对于一副大小为m×n的图像，将其划分为H个大小相同的子块，对每个子块图像Ih(h＝0，1，...，H-1)取特征值均值
Figure FDA0002547996950000024
和特征值标准差
Figure FDA0002547996950000025
其计算公式为：
Figure FDA0002547996950000026
Figure FDA0002547996950000027
所述待识别图像的Gabor_l特征为：
Figure FDA0002547996950000028
其中：
u＝0，1，...，U，U为Gabor小波核函数的方向；
v＝0，1，...，V，V为Gabor小波核函数的尺度；
h＝0，1，...，H-1。
5.如权利要求4所述的一种多特征融合图像识别算法，其特征在于，所述计算待识别图像中Zernike矩的各阶矩值，包括：
对于尺寸为N×N的待识别图像z(x，y)，令其中心为坐标原点，取值范围为N/2≤x，y≤N/2，同时引入参数(r，σ)，其中，r＝max(|x|，|y|)，σ∈[1，8r]，从而将待识别图像z(x，y)转换为极坐标形式，所述待识别图像的极坐标表示形式为：
Figure FDA0002547996950000031
根据上述所得待识别图像的极坐标表示形式，利用下式计算Zernike矩的n阶矩值：
Figure FDA0002547996950000032
Figure FDA0002547996950000033
Figure FDA0002547996950000034
其中：
n为阶数；
m为重复率，n-|m|为偶数，|m|≤n；
Figure FDA0002547996950000035
为径向多项式函数，其数学表达式为：
Figure FDA0002547996950000036
ρ＝2r/N，为待识别图像的极坐标表达形式。
6.如权利要求5所述的一种多特征融合图像识别算法，其特征在于，所述利用细化尺度空间金字塔对图像像素矩阵进行采样，包括：
所述细化尺度金字塔由n个普通层图像octaves、n个内层图像intra-octaves和n个上层图像up-ocataves组成，三层图像分别用ci、di和ui表示，i＝{1，2，...，n-1}；
其中，原始图像c0、d0和u0作为基准层图像，原始图像c0即为待识别图像像素矩阵，d0为原始图像c0经1.25倍降采样得到的图像，上层图像u0是由原始图像经1.5倍降采样得到的，普通层图像ci(i≠0)均由ci-1层不断2倍降采样生成，内层图像di(i≠0)均由di-1层不断1.5倍降采样生成，上层图像di(i≠0)均由ui-1层不断1.5倍降采样生成。
7.如权利要求6所述多特征融合图像识别算法，其特征在于，所述计算各个特征值提供的信息的置信度，得到各个特征值对整个图像识别的支持程度，包括：
利用Canny图像检测算法检测图像中实物存在的位置，求出特征分别为Gabor_l特征、Zernike描述子以及采样特征时，每一个活动峰值到实物的欧式距离ΔG、ΔZ、ΔC，进而求得每个特征在检测出图像中实物的置信度，其计算公式为：
Figure FDA0002547996950000041
Figure FDA0002547996950000042
Figure FDA0002547996950000043
用A来代表检测到图像实物的集合，同时利用matlab检测在不同特征下图像的噪声，用B来代表检测到噪声的集合，用U来表示无法确定的情况，通过将待识别图像划分为N个图像块，其中利用特征k检测到实物的数量为Nk(A)，检测到噪声的数量为Nk(B)，则其概率为：
Figure FDA0002547996950000044
Figure FDA0002547996950000045
其中：
k＝G，Z，C，分别代表Gabor_l特征、Zernike描述子以及采样特征；
求出各个特征提供的信息的置信度后，各自乘上该方法对应的置信度，进而获得各个特征对整个待识别图像的支持程度，所述各个特征支持程度的计算公式为：
Figure FDA0002547996950000051
Figure FDA0002547996950000052
Pk(U)＝1-max(Pk(A),Pk(B))
其中：
k＝G，Z，C，分别代表Gabor_l特征、Zernike描述子以及采样特征；
A为检测到图像实物的集合；
B为检测到噪声的集合；
U为无法确定的情况。
8.如权利要求7所述的多特征融合图像识别算法，其特征在于，所述基于特征融合规则的特征融合方式为：
1)计算各个特征的基本概率分配值：
Figure FDA0002547996950000053
其中：
PA、PB、PU分别为识别出图像实物的概率，图像噪声概率以及出现无法确定状况的概率；
k＝G，Z，C，分别代表Gabor_l特征、Zernike描述子以及采样特征；
2)对基本概率分配值较高的两个特征，按照两者概率分配值的比例直接进行融合，进而按照融合后特征的概率分配值同第三个特征的概率分配值的比例，将第三个特征值进行融合。
9.如权利要求8所述的多特征融合图像识别算法，其特征在于，所述GKP-Net网络为：
所述GKP-Net网络包含了4个卷积层和2个全连接层。其中第一个卷积层，有96个大小为11×11的卷积核，卷积步长为4；
将3个连续的卷积层提取的特征叠加融合起来，同时对同一输入的不同卷积核产生的特征图进行叠加融合，最后将浅层和最后一层的特征融合，将浅层纹理信息和深层抽象信息结合，使分类器分类的特征信息更多更清晰，以便获得更好的识别率。
CN202010566440.9A 2020-06-19 2020-06-19 一种多特征融合图像识别算法 Withdrawn CN111709433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010566440.9A CN111709433A (zh) 2020-06-19 2020-06-19 一种多特征融合图像识别算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010566440.9A CN111709433A (zh) 2020-06-19 2020-06-19 一种多特征融合图像识别算法

Publications (1)

Publication Number Publication Date
CN111709433A true CN111709433A (zh) 2020-09-25

Family

ID=72541378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010566440.9A Withdrawn CN111709433A (zh) 2020-06-19 2020-06-19 一种多特征融合图像识别算法

Country Status (1)

Country Link
CN (1) CN111709433A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288745A (zh) * 2020-12-25 2021-01-29 武汉华工激光工程有限责任公司 基于小波变换的产品表面缺陷检测方法、存储器和处理器
CN112633082A (zh) * 2020-12-04 2021-04-09 西安理工大学 一种多特征融合杂草检测方法
CN113837977A (zh) * 2021-09-22 2021-12-24 马上消费金融股份有限公司 对象跟踪方法、多目标跟踪模型训练方法及相关设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633082A (zh) * 2020-12-04 2021-04-09 西安理工大学 一种多特征融合杂草检测方法
CN112633082B (zh) * 2020-12-04 2023-08-18 西安理工大学 一种多特征融合杂草检测方法
CN112288745A (zh) * 2020-12-25 2021-01-29 武汉华工激光工程有限责任公司 基于小波变换的产品表面缺陷检测方法、存储器和处理器
CN113837977A (zh) * 2021-09-22 2021-12-24 马上消费金融股份有限公司 对象跟踪方法、多目标跟踪模型训练方法及相关设备
CN113837977B (zh) * 2021-09-22 2024-05-10 马上消费金融股份有限公司 对象跟踪方法、多目标跟踪模型训练方法及相关设备

Similar Documents

Publication Publication Date Title
CN109949255B (zh) 图像重建方法及设备
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN111709433A (zh) 一种多特征融合图像识别算法
CN111582044A (zh) 基于卷积神经网络和注意力模型的人脸识别方法
CN111046917B (zh) 基于深度神经网络的对象性增强目标检测方法
CN107301643B (zh) 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法
CN113888501B (zh) 一种基于注意力定位网络的无参考型图像质量评价方法
WO2019167784A1 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
CN111899203A (zh) 基于标注图在无监督训练下的真实图像生成方法及存储介质
CN113095333A (zh) 无监督特征点检测方法及装置
CN113392244A (zh) 一种基于深度度量学习的三维模型检索方法及系统
CN112257727A (zh) 一种基于深度学习自适应可变形卷积的特征图像提取方法
CN114973226A (zh) 自监督对比学习自然场景中文本识别系统训练方法
CN114565628A (zh) 一种基于边界感知注意的图像分割方法及系统
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN117011515A (zh) 基于注意力机制的交互式图像分割模型及其分割方法
CN116797938A (zh) 一种基于对比学习预训练的sar舰船分类方法
Sufikarimi et al. Speed up biological inspired object recognition, HMAX
CN115294424A (zh) 一种基于生成对抗网络的样本数据增强方法
CN112560824B (zh) 一种基于多特征自适应融合的人脸表情识别方法
CN111860668B (zh) 一种针对原始3d点云处理的深度卷积网络的点云识别方法
CN114548218A (zh) 图像匹配方法、装置、存储介质和电子装置
CN110826726B (zh) 目标处理方法、目标处理装置、目标处理设备及介质
CN114049675A (zh) 基于轻量双通道神经网络的人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200925

WW01 Invention patent application withdrawn after publication