CN110147828B - 一种基于语义信息的局部特征匹配方法及系统 - Google Patents

一种基于语义信息的局部特征匹配方法及系统 Download PDF

Info

Publication number
CN110147828B
CN110147828B CN201910356650.2A CN201910356650A CN110147828B CN 110147828 B CN110147828 B CN 110147828B CN 201910356650 A CN201910356650 A CN 201910356650A CN 110147828 B CN110147828 B CN 110147828B
Authority
CN
China
Prior art keywords
matching
image
feature
deep learning
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910356650.2A
Other languages
English (en)
Other versions
CN110147828A (zh
Inventor
陈凯锐
叶培楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910356650.2A priority Critical patent/CN110147828B/zh
Publication of CN110147828A publication Critical patent/CN110147828A/zh
Application granted granted Critical
Publication of CN110147828B publication Critical patent/CN110147828B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义信息的局部特征匹配方法及系统，该方法的步骤包括：S1.获取图像，包括预先注册的标准图像和待匹配的目标图像；S2.通过卷积神经网络提取所述图像的卷积特征图，构建所述图像的深度学习特征向量；S3.对所述图像的深度学习特征向量进行特征匹配，确定最优的匹配对，将所述匹配对映射到所述图像的对应区域；S4.对所述映射的对应区域提取手工特征向量；S5.对所述手工特征向量进行基于语义信息的特征匹配，得到匹配分数，基于分数阈值条件对所述匹配分数进行筛选得到匹配结果。本发明通过结合语义信息进行特征匹配，将特征匹配的搜索范围大大缩小，提高了匹配的效率和准确率。

Description

一种基于语义信息的局部特征匹配方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于语义信息的局部特征匹配方法及系统。
背景技术
局部特征匹配技术是一种利用人工设计的基于图像局部信息生成对应特征描述子并基于此类特征描述子在两帧图像之间计算对应匹配关系的技术。特征匹配目前被广泛应用于人脸识别、三维重建和机器人视觉定位等众多需要基于重叠信息的图像处理领域。
目前局部特征匹配技术主要有两大类，其一是最近邻匹配法，即对当前帧的每一个特征描述子都与参考帧中的所有描述子计算匹配距离，取参考帧中匹配距离最近的特征描述子与预设阈值进行比较，确定其是否为最优匹配；其二是基于最近邻法改进的最近邻比例法，即对当前帧的每一个特征描述子都与参考帧中的所有描述子计算匹配距离，取参考帧中匹配距离最近和匹配距离次近的比例与预设阈值进行比较，确定匹配距离最近的特征描述子是否为最优匹配。然而，上述两种匹配方法在匹配过程中，对于当前帧每个特征描述子都需要与参考帧中所有特征描述子一一计算匹配距离，因此这两种匹配方法非常耗时，且无法保证匹配的准确性。
发明内容
本发明为解决现有的局部特征匹配技术匹配效率低并且无法保证匹配的准确性等问题，提供了一种基于语义信息的局部特征匹配方法及系统。
为实现以上发明目的，而采用的技术手段是：
一种基于语义信息的局部特征匹配方法，包括：
S1.获取图像，包括预先注册的标准图像和待匹配的目标图像；
S2.通过卷积神经网络提取所述图像的卷积特征图，构建所述图像的深度学习特征向量；
S3.对所述图像的深度学习特征向量进行特征匹配，确定最优的匹配对，将所述匹配对映射到所述图像的对应区域；
S4.对所述映射的对应区域提取手工特征向量；
S5.对所述手工特征向量进行基于语义信息的特征匹配，得到匹配分数，基于分数阈值条件对所述匹配分数进行筛选得到匹配结果。
上述方案中，通过卷积神经网络提取图像的卷积特征图，并基于卷积特征图构建深度学习特征向量，对深度学习特征向量进行特征匹配确定匹配区域，然后对匹配区域提取手工特征向量并进一步基于语义信息进行特征匹配，基于分数阈值条件确定匹配结果。
优选的，所述步骤S2具体包括：
S21.对获取的所有图像分别按照所述卷积神经网络规定的图像尺寸大小WO×HO×DO进行下采样与裁剪处理，处理后分别得到标准图像
Figure BDA0002045635320000021
以及目标图像
Figure BDA0002045635320000022
S22.构建卷积神经网络，所述卷积神经网络由N个卷积层组成，即hVgg＝{h1,h2,…,hN}，其中N为正整数；
S23.将目标图像
Figure BDA0002045635320000023
以及标准图像
Figure BDA0002045635320000024
分别依次与所述卷积神经网络中的前L个卷积层进行卷积，即
Figure BDA0002045635320000025
Figure BDA0002045635320000026
生成目标图像Iin的卷积特征图
Figure BDA0002045635320000027
其中所述目标图像Iin的卷积特征图的大小为W×H，深度为D其中L∈[1,N]；
生成标准图像Ire的卷积特征图
Figure BDA0002045635320000028
其中所述标准图像Ire的卷积特征图的大小为W×H，深度为D其中L∈[1,N]；
在本优选方案中，将目标图像Iin和标准图像Ire进行压缩提炼，得到大小为W×H，深度为D的卷积特征图，该卷积特征图中的每一个像素对应所述图像的一个区域，并用D个深度的信息来描述对应区域；
S24.利用所述目标图像Iin和标准图像Ire的卷积特征图分别构建深度学习特征向量，分别为：
Figure BDA0002045635320000029
Figure BDA00020456353200000210
其中，
Figure BDA00020456353200000211
即对所述目标图像Iin和标准图像Ire构建W×H个维度为D的深度学习特征向量。
优选的，所述步骤S3具体包括以下步骤：
S31.为所述目标图像Iin的每一个深度学习特征向量在所述标准图像Ire的深度学习特征向量中进行匹配，即：
Figure BDA0002045635320000031
记录在所述匹配中分数最高的深度学习特征向量的对应ID，得到所述目标图像Iin深度学习特征向量在所述标准图像Ire深度学习特征向量中最优的匹配对，即：
Figure BDA0002045635320000032
其中，m1,m2,…,mW×H∈[1,W×H]；
S32.将所述匹配对映射到所述图像，具体为：
每一个所述深度学习特征向量di∈dF对应所述目标图像Iin和标准图像Ire的区域大小为：
Figure BDA0002045635320000033
其中所述目标图像Iin和标准图像Ire的大小为Wo×Ho，对应卷积特征图的大小为W×H；
对任意一个所述深度学习特征向量di×j∈dF，其映射到所述目标图像Iin和标准图像Ire的对应区域表示为：
Figure BDA0002045635320000034
优选的，所述步骤S4具体包括以下步骤：
对所述目标图像Iin和标准图像Ire的每个映射的对应区域提取手工特征向量，分别为：
Figure BDA0002045635320000035
Figure BDA0002045635320000041
。其中，k不一定等于K，m不一定等于M，n不一定等于N。
在本优选方案中，所述目标图像Iin和标准图像Ire各有W×H个区域，由于图像纹理不同，不同区域提取的手工特征向量数量不同，不同图像相同区域提取的手工特征向量也不同。其中提取手工特征向量可以提取如SIFT、HOG、DOG、ORB、SURF等特征向量。
优选的，所述步骤S5具体包括以下步骤：
S51.根据步骤S3中所述的最优的匹配对，建立基于语义信息的匹配区域：
Figure BDA0002045635320000042
其中，m1，m2,…,mW×H∈[1，W×H]；
S52.根据所述基于语义信息的匹配区域，在对应的匹配区域进行手工特征向量匹配，其中对于所述目标图像Iin的第一个匹配区域
Figure BDA0002045635320000043
所述标准图像Ire的匹配区域
Figure BDA0002045635320000044
计算匹配分数：
Figure BDA0002045635320000045
其中任意两个手工特征向量的匹配分数为：
Figure BDA0002045635320000046
其中i表示第一个匹配区域的第i个手工特征向量，j表示对应匹配区域的第j个手工特征向量；
S53.选取所述匹配分数siftMatchScores每行中最大的为最优匹配，
Figure BDA0002045635320000051
则筛选后所述目标图像Iin所有匹配区域的手工特征向量匹配分数为：
Figure BDA0002045635320000052
即得到局部特征匹配的匹配结果。
本发明还提供了一种基于语义信息的局部特征匹配系统，包括图像采集模块、深度学习模块、深度学习特征处理模块、手工特征向量提取模块和图像识别模块；
所述图像采集模块，用于获取图像，包括预先注册的标准图像和待匹配的目标图像；
所述深度学习模块，用于通过卷积神经网络提取所述图像的卷积特征图，构建所述图像的深度学习特征向量；
所述深度学习特征处理模块，用于对所述图像的深度学习特征向量进行特征匹配，确定最优的匹配对，将所述匹配对映射到所述图像的对应区域；
所述手工特征向量提取模块，用于对所述映射的对应区域提取手工特征向量；
所述图像识别模块，用于对所述手工特征向量进行基于语义信息的特征匹配，得到匹配分数，基于分数阈值条件对所述匹配分数进行筛选得到匹配结果。
上述方案中，通过图像采集模块获取图像，经过深度学习模块中的卷积神经网络提取图像的卷积特征图，并基于卷积特征图构建深度学习特征向量，然后通过深度学习特征处理模块对深度学习特征向量进行特征匹配确定匹配区域，通过手工特征向量提取模块对匹配区域提取手工特征向量，最后由图像识别模块对所述手工特征向量进行基于语义信息的特征匹配，得到匹配分数，基于分数阈值条件对所述匹配分数进行筛选得到匹配结果。
优选的，所述深度学习模块包括图像预处理子模块、卷积神经网络构建子模块、卷积特征图提取子模块和深度学习特征向量构建子模块；
所述图像预处理子模块，用于对获取的所有图像分别按照所述卷积神经网络规定的图像尺寸大小WO×HO×DO进行下采样与裁剪处理，处理后分别得到标准图像
Figure BDA0002045635320000053
以及目标图像
Figure BDA0002045635320000054
所述卷积神经网络构建子模块，用于构建卷积神经网络，所述卷积神经网络由N个卷积层组成，即hVgg＝{h1,h2,…,hN}，其中N为正整数；
所述卷积特征图提取子模块，用于将目标图像
Figure BDA0002045635320000061
以及标准图像
Figure BDA0002045635320000062
分别依次与所述卷积神经网络中的前L个卷积层进行卷积，即
Figure BDA0002045635320000063
Figure BDA0002045635320000064
生成目标图像Iin的卷积特征图
Figure BDA0002045635320000065
其中所述目标图像Iin的卷积特征图的大小为W×H，深度为D其中L∈[1,N]；
生成标准图像Ire的卷积特征图
Figure BDA0002045635320000066
其中所述标准图像Ire的卷积特征图的大小为W×H，深度为D其中L∈[1,N]；
所述深度学习特征向量构建子模块，用于利用所述目标图像Iin和标准图像Ire的卷积特征图分别构建深度学习特征向量，分别为：
Figure BDA0002045635320000067
Figure BDA0002045635320000068
其中，
Figure BDA0002045635320000069
即对所述目标图像Iin和标准图像Ire构建W×H个维度为D的深度学习特征向量。
优选的，所述深度学习特征处理模块包括深度学习特征匹配子模块和匹配对映射子模块；
所述深度学习特征匹配子模块，用于为所述目标图像Iin的每一个深度学习特征向量在所述标准图像Ire的深度学习特征向量中进行匹配，即：
Figure BDA00020456353200000610
记录在所述匹配中分数最高的深度学习特征向量的对应ID，得到所述目标图像Iin深度学习特征向量在所述标准图像Ire深度学习特征向量中最优的匹配对，即：
Figure BDA00020456353200000611
其中，m1，m2,…,mW×H∈[1，W×H]；
所述匹配对映射子模块，用于将所述匹配对映射到原始图像，具体为：
每一个所述深度学习特征向量di∈dF对应所述目标图像Iin和标准图像Ire的区域大小为：
Figure BDA0002045635320000071
其中所述目标图像Iin和标准图像Ire的大小为Wo×Ho，对应卷积特征图的大小为W×H；
对任意一个所述深度学习特征向量di×j∈dF，其映射到所述目标图像Iin和标准图像Ire的对应区域表示为：
Figure BDA0002045635320000072
优选的，所述手工特征向量提取模块具体用于：对所述目标图像Iin和标准图像Ire的每个映射的对应区域提取手工特征向量，分别为：
Figure BDA0002045635320000073
Figure BDA0002045635320000074
。其中，k不一定等于K，m不一定等于M，n不一定等于N。
优选的，所述图像识别模块包括匹配区域建立子模块、匹配分数计算子模块、匹配结果确定子模块；
所述匹配区域建立子模块，用于根据所述深度学习特征处理模块中得到的最优的匹配对，建立基于语义信息的匹配区域：
Figure BDA0002045635320000075
其中，m1，m2,…,mW×H∈[1，W×H]；
所述匹配分数计算子模块，用于根据所述基于语义信息的匹配区域，在对应的匹配区域进行手工特征向量匹配，其中对于所述目标图像Iin的第一个匹配区域
Figure BDA0002045635320000076
所述标准图像Ire的匹配区域
Figure BDA0002045635320000077
计算匹配分数：
Figure BDA0002045635320000081
其中任意两个手工特征向量的匹配分数为：
Figure BDA0002045635320000082
其中i表示第一个匹配区域的第i个手工特征向量，j表示对应匹配区域的第j个手工特征向量；
所述匹配结果确定子模块，用于选取所述匹配分数siftMatchScores每行中最大的为最优匹配，
Figure BDA0002045635320000083
则筛选后所述目标图像Iin所有匹配区域的手工特征向量匹配分数为：
Figure BDA0002045635320000084
即得到局部特征匹配的匹配结果。
与现有技术相比，本发明技术方案的有益效果是：
本发明的方法以及系统，在图像的局部特征匹配过程，通过卷积神经网络提取图像的卷积特征图，并基于卷积特征图构建深度学习特征向量，对深度学习特征向量进行特征匹配确定匹配区域，构建了深度学习特征向量与匹配区域的一一映射关系，然后对匹配区域提取手工特征向量并进一步基于语义信息进行特征匹配，基于分数阈值条件进行筛选从而确定匹配结果。由于结合了语义信息，将特征匹配的搜索范围大大缩小，匹配过程中无需将当前帧每个特征描述子与参考帧中所有特征描述子一一计算匹配距离，极大地提高了局部特征匹配的效率以及准确率，解决了现有的局部特征匹配技术匹配效率低并且无法保证匹配的准确性等问题。
附图说明
图1为本发明方法的流程图。
图2位本发明系统的模块图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于语义信息的局部特征匹配方法，包括：
S1.获取图像，包括预先注册的标准图像和待匹配的目标图像；
S2.通过卷积神经网络提取所述图像的卷积特征图，构建所述图像的深度学习特征向量；其中本实施例1选用的为VggFace卷积神经网络；
S21.对获取的所有图像分别按照VggFace卷积神经网络规定的图像尺寸大小WO×HO×DO，224×224×3具体为进行下采样与裁剪处理，处理后分别得到标准图像
Figure BDA0002045635320000091
以及目标图像
Figure BDA0002045635320000092
S22.构建VggFace卷积神经网络，VggFace卷积神经网络由16个卷积层组成，即hVgg＝{h1,h2,…,h16}；
S23.将目标图像
Figure BDA0002045635320000093
以及标准图像
Figure BDA0002045635320000094
分别依次与VggFace卷积神经网络hVgg中的前L个卷积层进行卷积，即
Figure BDA0002045635320000095
Figure BDA0002045635320000096
分别生成目标图像Iin和标准图像Ire的卷积特征图
Figure BDA0002045635320000097
和
Figure BDA0002045635320000098
其中L∈[1,16]；
S24.利用所述目标图像Iin和标准图像Ire的卷积特征图分别构建深度学习特征向量，分别为：
Figure BDA0002045635320000099
Figure BDA00020456353200000910
其中，
Figure BDA00020456353200000911
即对所述目标图像Iin和标准图像Ire构建W×H个维度为D的深度学习特征向量。
S3.对所述图像的深度学习特征向量进行特征匹配，确定最优的匹配对，将所述匹配对映射到所述图像的对应区域；
S31.为所述目标图像Iin的每一个深度学习特征向量在所述标准图像Ire的深度学习特征向量中进行匹配，即：
Figure BDA0002045635320000101
记录在所述匹配中分数最高的深度学习特征向量的对应ID，得到所述目标图像Iin深度学习特征向量在所述标准图像Ire深度学习特征向量中最优的匹配对，即：
Figure BDA0002045635320000102
其中，m1,m2,…,mW×H∈[1,W×H]；
S32.将所述匹配对映射到所述图像，具体为：
每一个所述深度学习特征向量di∈dF对应所述目标图像Iin和标准图像Ire的区域大小为：
Figure BDA0002045635320000103
其中所述目标图像Iin和标准图像Ire的大小为Wo×Ho，对应卷积特征图的大小为W×H；
对任意一个所述深度学习特征向量di×j∈dF，其映射到所述目标图像Iin和标准图像Ire的对应区域表示为：
Figure BDA0002045635320000104
S4.对所述映射的对应区域提取手工特征向量；本实施例1提取的手工特征向量为SIFT特征向量，实际使用本发明方法时可提取其他手工特征向量，如HOG,DOG,ORB,SURF特征向量等；
对所述目标图像Iin和标准图像Ire的每个映射的对应区域提取SIFT特征向量，分别为：
Figure BDA0002045635320000111
Figure BDA0002045635320000112
其中，k不一定等于K，m不一定等于M，n不一定等于N。
S5.对所述手工特征向量进行基于语义信息的特征匹配，得到匹配分数，基于分数阈值条件对所述匹配分数进行筛选得到匹配结果。
S51.根据步骤S3中所述的最优的匹配对，建立基于语义信息的匹配区域：
Figure BDA0002045635320000113
其中，m1，m2,…,mW×H∈[1，W×H]；
S52.根据所述基于语义信息的匹配区域，在对应的匹配区域进行手工特征向量匹配，其中对于所述目标图像Iin的第一个匹配区域
Figure BDA0002045635320000114
所述标准图像Ire的匹配区域
Figure BDA0002045635320000115
计算匹配分数：
Figure BDA0002045635320000116
其中任意两个手工特征向量的匹配分数为：
Figure BDA0002045635320000117
其中i表示第一个匹配区域的第i个手工特征向量，j表示对应匹配区域的第j个手工特征向量；
S53.选取所述匹配分数siftMatchScores每行中最大的为最优匹配，
Figure BDA0002045635320000121
则筛选后所述目标图像Iin所有匹配区域的手工特征向量匹配结果为：
Figure BDA0002045635320000122
即得到局部特征匹配的匹配结果。
本实施例1通过VggFace卷积神经网络提取图像的卷积特征图，并基于卷积特征图构建深度学习特征向量，对深度学习特征向量进行特征匹配确定匹配区域，构建了深度学习特征向量与匹配区域的一一映射关系，然后对匹配区域提取SIFT特征向量并进一步基于语义信息进行特征匹配，基于分数阈值条件进行筛选从而确定匹配结果。由于结合了语义信息，将特征匹配的搜索范围大大缩小，匹配过程中无需将当前帧每个特征描述子与参考帧中所有特征描述子一一计算匹配距离，极大地提高了局部特征匹配的效率以及准确率。
实施例2
如图2所示，一种基于语义信息的局部特征匹配系统，包括图像采集模块1、深度学习模块2、深度学习特征处理模块3、手工特征向量提取模块4和图像识别模块5；
所述图像采集模块1，用于获取图像，包括预先注册的标准图像和待匹配的目标图像；
所述深度学习模块2，用于通过卷积神经网络提取所述图像的卷积特征图，构建所述图像的深度学习特征向量；
所述深度学习特征处理模块3，用于对所述图像的深度学习特征向量进行特征匹配，确定最优的匹配对，将所述匹配对映射到所述图像的对应区域；
所述手工特征向量提取模块4，用于对所述映射的对应区域提取手工特征向量；
所述图像识别模块5，用于对所述手工特征向量进行基于语义信息的特征匹配，得到匹配分数，基于分数阈值条件对所述匹配分数进行筛选得到匹配结果。
其中，所述深度学习模块2包括图像预处理子模块、卷积神经网络构建子模块、卷积特征图提取子模块和深度学习特征向量构建子模块；
所述图像预处理子模块，用于对获取的所有图像分别按照所述卷积神经网络规定的图像尺寸大小WO×HO×DO进行下采样与裁剪处理，处理后分别得到标准图像
Figure BDA0002045635320000131
以及目标图像
Figure BDA0002045635320000132
所述卷积神经网络构建子模块，用于构建卷积神经网络，所述卷积神经网络由N个卷积层组成，即hVgg＝{h1,h2,…,hN}，其中N为正整数；
所述卷积特征图提取子模块，用于将目标图像
Figure BDA0002045635320000133
以及标准图像
Figure BDA0002045635320000134
分别依次与所述卷积神经网络中的前L个卷积层进行卷积，即
Figure BDA0002045635320000135
Figure BDA0002045635320000136
分别生成目标图像Iin和标准图像Ire的卷积特征图
Figure BDA0002045635320000137
和
Figure BDA0002045635320000138
其中L∈[1,N]；
所述深度学习特征向量构建子模块，用于利用所述目标图像Iin和标准图像Ire的卷积特征图分别构建深度学习特征向量，分别为：
Figure BDA0002045635320000139
Figure BDA00020456353200001310
其中，
Figure BDA00020456353200001311
即对所述目标图像Iin和标准图像Ire构建W×H个维度为D的深度学习特征向量。
其中，所述深度学习特征处理模块3包括深度学习特征匹配子模块和匹配对映射子模块；
所述深度学习特征匹配子模块，用于为所述目标图像Iin的每一个深度学习特征向量在所述标准图像Ire的深度学习特征向量中进行匹配，即：
Figure BDA00020456353200001312
记录在所述匹配中分数最高的深度学习特征向量的对应ID，得到所述目标图像Iin深度学习特征向量在所述标准图像Ire深度学习特征向量中最优的匹配对，即：
Figure BDA0002045635320000141
其中，m1，m2,…,mW×H∈[1，W×H]；
所述匹配对映射子模块，用于将所述匹配对映射到原始图像，具体为：
每一个所述深度学习特征向量di∈dF对应所述目标图像Iin和标准图像Ire的区域大小为：
Figure BDA0002045635320000142
其中所述目标图像Iin和标准图像Ire的大小为Wo×Ho，对应卷积特征图的大小为W×H；
对任意一个所述深度学习特征向量di×j∈dF，其映射到所述目标图像Iin和标准图像Ire的对应区域表示为：
Figure BDA0002045635320000143
其中，所述手工特征向量提取模块4具体用于：对所述目标图像Iin和标准图像Ire的每个映射的对应区域提取手工特征向量，分别为：
Figure BDA0002045635320000144
Figure BDA0002045635320000145
其中，所述图像识别模块5包括匹配区域建立子模块、匹配分数计算子模块、匹配结果确定子模块；
所述匹配区域建立子模块，用于根据所述深度学习特征处理模块中得到的最优的匹配对，建立基于语义信息的匹配区域：
Figure BDA0002045635320000146
其中，m1，m2,…,mW×H∈[1，W×H]；
所述匹配分数计算子模块，用于根据所述基于语义信息的匹配区域，在对应的匹配区域进行手工特征向量匹配，其中对于所述目标图像Iin的第一个匹配区域
Figure BDA0002045635320000151
所述标准图像Ire的匹配区域
Figure BDA0002045635320000152
计算匹配分数：
Figure BDA0002045635320000153
其中任意两个手工特征向量的匹配分数为：
Figure BDA0002045635320000154
其中i表示第一个匹配区域的第i个手工特征向量，j表示对应匹配区域的第j个手工特征向量；
所述匹配结果确定子模块，用于选取所述匹配分数siftMatchScores每行中最大的为最优匹配，
Figure BDA0002045635320000155
则筛选后所述目标图像Iin所有匹配区域的手工特征向量匹配分数为：
Figure BDA0002045635320000156
即得到局部特征匹配的匹配结果。
本实施例2用于进行人脸的局部特征匹配，在图像采集模块中，选用相机进行拍摄从而获取待匹配的人脸目标图像。
另外，本实施例2还增设了结果反馈模块，所述结果反馈模块用于从图像识别模块中接收匹配结果，然后通过语音提示或屏幕显示的方式反馈匹配结果。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于语义信息的局部特征匹配方法，其特征在于，包括步骤：
S1.获取图像，包括预先注册的标准图像和待匹配的目标图像；
S2.通过卷积神经网络提取所述图像的卷积特征图，构建所述图像的深度学习特征向量；
S3.对所述图像的深度学习特征向量进行特征匹配，确定最优的匹配对，将所述匹配对映射到所述图像的对应区域；
S4.对所述映射的对应区域提取手工特征向量；
S5.对所述手工特征向量进行基于语义信息的特征匹配，得到匹配分数，基于分数阈值条件对所述匹配分数进行筛选得到匹配结果；
所述步骤S2具体包括：
S21.对获取的所有图像分别按照所述卷积神经网络规定的图像尺寸大小WO×HO×DO进行采样与裁剪处理，处理后分别得到标准图像
Figure FDA0003894167960000011
以及目标图像
Figure FDA0003894167960000012
S22.构建卷积神经网络，所述卷积神经网络由N个卷积层组成，即hVgg＝{h1,h2,…,hN}，其中N为正整数；
S23.将目标图像
Figure FDA0003894167960000013
以及标准图像
Figure FDA0003894167960000014
分别依次与所述卷积神经网络中的前L个卷积层进行卷积，即
Figure FDA0003894167960000015
Figure FDA0003894167960000016
生成目标图像Iin的卷积特征图
Figure FDA0003894167960000017
其中所述目标图像Iin的卷积特征图的大小为W×H，深度为D，其中L∈[1,N]；
生成标准图像Ire的卷积特征图
Figure FDA0003894167960000018
其中所述标准图像Ire的卷积特征图的大小为W×H，深度为D，其中L∈[1,N]；
S24.利用所述目标图像Iin和标准图像Ire的卷积特征图分别构建深度学习特征向量，分别为：
Figure FDA0003894167960000019
Figure FDA00038941679600000110
其中，
Figure FDA00038941679600000111
即对所述目标图像Iin和标准图像Ire构建W×H个维度为D的深度学习特征向量；
所述步骤S5具体包括以下步骤：
S51.根据步骤S3中所述的最优的匹配对，建立基于语义信息的匹配区域：
Figure FDA0003894167960000021
其中，m1，m2,…,mW×H∈[1，W×H]；
S52.根据所述基于语义信息的匹配区域，在对应的匹配区域进行手工特征向量匹配，其中对于所述目标图像Iin的第一个匹配区域
Figure FDA0003894167960000022
所述标准图像Ire的匹配区域
Figure FDA0003894167960000023
计算匹配分数：
Figure FDA0003894167960000024
其中任意两个手工特征向量的匹配分数为：
Figure FDA0003894167960000025
其中i表示第一个匹配区域的第i个手工特征向量，j表示对应匹配区域的第j个手工特征向量；
S53.选取所述匹配分数siftMatchScores每行中最大的为最优匹配，
Figure FDA0003894167960000026
则筛选后所述目标图像Iin所有匹配区域的手工特征向量匹配分数为：
Figure FDA0003894167960000027
即得到局部特征匹配的匹配结果。
2.根据权利要求1所述的局部特征匹配方法，其特征在于，所述步骤S3具体包括以下步骤：
S31.为所述目标图像Iin的每一个深度学习特征向量在所述标准图像Ire的深度学习特征向量中进行匹配，即：
Figure FDA0003894167960000031
记录所述匹配中分数最高的深度学习特征向量的对应ID，得到所述目标图像Iin深度学习特征向量在所述标准图像Ire深度学习特征向量中最优的匹配对，即：
Figure FDA0003894167960000032
其中，m1,m2,…,mW×H∈[1,W×H]；
S32.将所述匹配对映射到所述图像，具体为：
每一个所述深度学习特征向量di∈dF对应所述目标图像Iin和标准图像Ire的区域大小为：
Figure FDA0003894167960000033
其中所述目标图像Iin和标准图像Ire的大小为Wo×Ho，对应卷积特征图的大小为W×H；
对任意一个所述深度学习特征向量di×j∈dF，其映射到所述目标图像Iin和标准图像Ire的对应区域表示为：
Figure FDA0003894167960000034
3.根据权利要求2所述的局部特征匹配方法，其特征在于，所述步骤S4具体包括以下步骤：
对所述目标图像Iin和标准图像Ire的每个映射的对应区域提取手工特征向量，分别为：
Figure FDA0003894167960000041
Figure FDA0003894167960000042
4.一种基于语义信息的局部特征匹配系统，其特征在于，包括图像采集模块、深度学习模块、深度学习特征处理模块、手工特征向量提取模块和图像识别模块；
所述图像采集模块，用于获取图像，包括预先注册的标准图像和待匹配的目标图像；
所述深度学习模块，用于通过卷积神经网络提取所述图像的卷积特征图，构建所述图像的深度学习特征向量；
所述深度学习特征处理模块，用于对所述图像的深度学习特征向量进行特征匹配，确定最优的匹配对，将所述匹配对映射到所述图像的对应区域；
所述手工特征向量提取模块，用于对所述映射的对应区域提取手工特征向量；
所述图像识别模块，用于对所述手工特征向量进行基于语义信息的特征匹配，得到匹配分数，基于分数阈值条件对所述匹配分数进行筛选得到匹配结果；
所述深度学习模块包括图像预处理子模块、卷积神经网络构建子模块、卷积特征图提取子模块和深度学习特征向量构建子模块；
所述图像预处理子模块，用于对获取的所有图像分别按照所述卷积神经网络规定的图像尺寸大小WO×HO×DO进行采样与裁剪处理，处理后分别得到标准图像
Figure FDA0003894167960000043
以及目标图像
Figure FDA0003894167960000044
所述卷积神经网络构建子模块，用于构建卷积神经网络，所述卷积神经网络由N个卷积层组成，即hVgg＝{h1,h2,…,hN}，其中N为正整数；
所述卷积特征图提取子模块，用于将目标图像
Figure FDA0003894167960000045
以及标准图像
Figure FDA0003894167960000046
分别依次与所述卷积神经网络中的前L个卷积层进行卷积，即
Figure FDA0003894167960000047
Figure FDA0003894167960000048
生成目标图像Iin的卷积特征图
Figure FDA0003894167960000049
其中所述目标图像Iin的卷积特征图的大小为W×H，深度为D，其中L∈[1,N]；
生成标准图像Ire的卷积特征图
Figure FDA00038941679600000410
其中所述标准图像Ire的卷积特征图的大小为W×H，深度为D，其中L∈[1,N]；
所述深度学习特征向量构建子模块，用于利用所述目标图像Iin和标准图像Ire的卷积特征图分别构建深度学习特征向量，分别为：
Figure FDA0003894167960000051
Figure FDA0003894167960000052
其中，
Figure FDA0003894167960000053
即对所述目标图像Iin和标准图像Ire构建W×H个维度为D的深度学习特征向量；
所述图像识别模块包括匹配区域建立子模块、匹配分数计算子模块、匹配结果确定子模块；
所述匹配区域建立子模块，用于根据所述深度学习特征处理模块中得到的最优的匹配对，建立基于语义信息的匹配区域：
Figure FDA0003894167960000054
其中，m1，m2,…,mW×H∈[1，W×H]；
所述匹配分数计算子模块，用于根据所述基于语义信息的匹配区域，在对应的匹配区域进行手工特征向量匹配，其中对于所述目标图像Iin的第一个匹配区域
Figure FDA0003894167960000055
所述标准图像Ire的匹配区域
Figure FDA0003894167960000056
计算匹配分数：
Figure FDA0003894167960000057
其中任意两个手工特征向量的匹配分数为：
Figure FDA0003894167960000058
其中i表示第一个匹配区域的第i个手工特征向量，j表示对应匹配区域的第j个手工特征向量；
所述匹配结果确定子模块，用于选取所述匹配分数siftMatchScores每行中最大的为最优匹配，
Figure FDA0003894167960000061
则筛选后所述目标图像Iin所有匹配区域的手工特征向量匹配分数为：
Figure FDA0003894167960000062
即得到局部特征匹配的匹配结果。
5.根据权利要求4所述的局部特征匹配系统，其特征在于，所述深度学习特征处理模块包括深度学习特征匹配子模块和匹配对映射子模块；
所述深度学习特征匹配子模块，用于为所述目标图像Iin的每一个深度学习特征向量在所述标准图像Ire的深度学习特征向量中进行匹配，即：
Figure FDA0003894167960000063
记录所述匹配中分数最高的深度学习特征向量的对应ID，得到所述目标图像Iin深度学习特征向量在所述标准图像Ire深度学习特征向量中最优的匹配对，即：
Figure FDA0003894167960000064
其中，m1，m2,…,mW×H∈[1，W×H]；
所述匹配对映射子模块，用于将所述匹配对映射到原始图像，具体为：
每一个所述深度学习特征向量di∈dF对应所述目标图像Iin和标准图像Ire的区域大小为：
Figure FDA0003894167960000065
其中所述目标图像Iin和标准图像Ire的大小为Wo×Ho，对应卷积特征图的大小为W×H；
对任意一个所述深度学习特征向量di×j∈dF，其映射到所述目标图像Iin和标准图像Ire的对应区域表示为：
Figure FDA0003894167960000071
6.根据权利要求5所述的局部特征匹配系统，其特征在于，所述手工特征向量提取模块具体用于：对所述目标图像Iin和标准图像Ire的每个映射的对应区域提取手工特征向量，分别为：
Figure FDA0003894167960000072
Figure FDA0003894167960000073
CN201910356650.2A 2019-04-29 2019-04-29 一种基于语义信息的局部特征匹配方法及系统 Expired - Fee Related CN110147828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910356650.2A CN110147828B (zh) 2019-04-29 2019-04-29 一种基于语义信息的局部特征匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910356650.2A CN110147828B (zh) 2019-04-29 2019-04-29 一种基于语义信息的局部特征匹配方法及系统

Publications (2)

Publication Number Publication Date
CN110147828A CN110147828A (zh) 2019-08-20
CN110147828B true CN110147828B (zh) 2022-12-16

Family

ID=67593894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910356650.2A Expired - Fee Related CN110147828B (zh) 2019-04-29 2019-04-29 一种基于语义信息的局部特征匹配方法及系统

Country Status (1)

Country Link
CN (1) CN110147828B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339343A (zh) * 2020-02-12 2020-06-26 腾讯科技（深圳）有限公司 图像检索方法、装置、存储介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281520A (zh) * 2007-04-05 2008-10-08 中国科学院自动化研究所 基于非监督学习和语义匹配特征交互式体育视频检索方法
CN102236798A (zh) * 2011-08-01 2011-11-09 清华大学 一种图像匹配方法及其装置
WO2018036146A1 (zh) * 2016-08-26 2018-03-01 东方网力科技股份有限公司 基于卷积神经网络的目标匹配方法、装置及存储介质
CN109558798A (zh) * 2018-10-23 2019-04-02 广东工业大学 一种基于卷积特征图匹配的人脸识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281520A (zh) * 2007-04-05 2008-10-08 中国科学院自动化研究所 基于非监督学习和语义匹配特征交互式体育视频检索方法
CN102236798A (zh) * 2011-08-01 2011-11-09 清华大学 一种图像匹配方法及其装置
WO2018036146A1 (zh) * 2016-08-26 2018-03-01 东方网力科技股份有限公司 基于卷积神经网络的目标匹配方法、装置及存储介质
CN109558798A (zh) * 2018-10-23 2019-04-02 广东工业大学 一种基于卷积特征图匹配的人脸识别方法及系统

Also Published As

Publication number Publication date
CN110147828A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN112818931A (zh) 基于多粒度深度特征融合的多尺度行人重识别方法
CN110969087B (zh) 一种步态识别方法及系统
CN109934195A (zh) 一种基于信息融合的反欺骗三维人脸识别方法
CN108960059A (zh) 一种视频动作识别方法及装置
CN112418041B (zh) 一种基于人脸正面化的多姿态人脸识别方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN111428689B (zh) 一种多池化信息融合的人脸图像特征提取方法
CN111310633A (zh) 基于视频的并行时空注意力行人重识别方法
CN111931686B (zh) 一种基于背景知识增强的视频卫星目标跟踪方法
CN112396036B (zh) 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法
CN114549567A (zh) 基于全方位感知的伪装目标图像分割方法
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN112801051A (zh) 一种基于多任务学习的遮挡行人重识别方法
CN112801945A (zh) 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
CN111582154A (zh) 基于多任务骨架姿态划分部件的行人重识别方法
CN114782997A (zh) 基于多损失注意力自适应网络的行人重识别方法及系统
CN110222568B (zh) 一种基于时空图的跨视角步态识别方法
CN110147828B (zh) 一种基于语义信息的局部特征匹配方法及系统
Barroso-Laguna et al. Scalenet: A shallow architecture for scale estimation
CN113111797A (zh) 一种结合自编码器与视角变换模型的跨视角步态识别方法
CN111428612B (zh) 行人重识别方法、终端、装置及存储介质
CN111079585B (zh) 图像增强结合伪孪生卷积神经网络的行人再识别方法
CN116205952B (zh) 人脸识别与跟踪的方法、装置、电子设备及存储介质
CN103955708B (zh) 一种用于人脸合成画像识别的人脸照片库快速缩减方法
CN113537032A (zh) 一种基于图片分块丢弃的分集多支路行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221216