CN108304863B - 一种利用学习不变特征变换的兵马俑图像匹配方法 - Google Patents

一种利用学习不变特征变换的兵马俑图像匹配方法 Download PDF

Info

Publication number
CN108304863B
CN108304863B CN201810031476.XA CN201810031476A CN108304863B CN 108304863 B CN108304863 B CN 108304863B CN 201810031476 A CN201810031476 A CN 201810031476A CN 108304863 B CN108304863 B CN 108304863B
Authority
CN
China
Prior art keywords
image
terracotta
feature
input
distribution curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810031476.XA
Other languages
English (en)
Other versions
CN108304863A (zh
Inventor
冯筠
延瑜瑜
赵妍
崔磊
刘晓宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN201810031476.XA priority Critical patent/CN108304863B/zh
Publication of CN108304863A publication Critical patent/CN108304863A/zh
Application granted granted Critical
Publication of CN108304863B publication Critical patent/CN108304863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提供了一种利用学习不变特征变换的兵马俑图像匹配方法，包括以下步骤：步骤1，选择任意一幅兵马俑图像作为输入兵马俑图像，提取输入兵马俑图像的所有特征点；步骤2，得到特征点分布曲线，将特征点分布曲线划分为头部区域和躯干区域；步骤3，得到头部区域的特征点集合和躯干区域的特征点集合，在每两个视图中分别对头部区域和躯干区域的特征点进行匹配。在特征提取方面，本发明训练数据集较大，并且加入了空间不变网络模型，得到更鲁棒的特征，克服了兵马俑表面特征间的相似性问题；在图像匹配方面，本发明将提取出的特征分为头部和躯干两个区域，缩小了匹配时间，减少了误匹配率。

Description

一种利用学习不变特征变换的兵马俑图像匹配方法
技术领域
本发明属于图像匹配领域，具体涉及一种利用学习不变特征变换的兵马俑图像匹配方法。
背景技术
兵马俑图像的结构复杂，不仅表面具有丰富的纹理信息，而且很多特征点间具有相似性，这使得使用现有的特征点匹配方法可能会产生较多错误匹配。现阶段对兵马俑图像的匹配方法仍采用传统的SIFT、SURF等方法，这些方法在自然图像上适应性较强，但是应用在兵马俑图像上仍存在特征点可重复率较低、特征匹配时存在大量误匹配点集等问题，从而导致正确匹配率不高。
发明内容
针对现有技术存在的不足，本发明的目的在于，提供一种利用学习不变特征变换的兵马俑图像匹配方法，根据兵马俑自身特有的铸造结构进行研究，将兵马俑分为头部、躯干两部分，有效提高了兵马俑图像匹配的准确率，较大程度上减少了错误匹配点集的同时减少了匹配时间，使兵马俑图像的视觉匹配效果更好。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
一种利用学习不变特征变换的兵马俑图像匹配方法，包括以下步骤：
步骤1，选择任意一幅兵马俑图像作为输入兵马俑图像，提取输入兵马俑图像的所有特征点；
其中，包括：
步骤11，构建输入兵马俑图像的尺度空间，得到多个尺度空间下的输入兵马俑图像；
步骤12，将多个尺度空间下的输入兵马俑图像输入训练好的特征检测卷积神经网络，输出分数金字塔，在所述分数金字塔的尺度域和图像域中搜索局部极大值，并抑制非极大值元素筛选出输入兵马俑图像的特征点；
步骤13，将输入兵马俑图像的特征点划分为多个图像块，计算每个图像块中特征点的方向；
步骤14，根据每个图像块中特征点的方向，提取出每个图像块中特征点的128维特征描述子，即得到输入兵马俑图像的所有特征点的特征描述子；
步骤2，根据提取到的输入兵马俑的所有特征点，得到特征点分布曲线，将特征点分布曲线划分为头部区域和躯干区域；
步骤3，根据特征点分布曲线中的头部区域和躯干区域，得到头部区域的特征点集合和躯干区域的特征点集合，在每两个视图中分别对头部区域和躯干区域的特征点进行匹配。
进一步地，所述步骤2中将特征点分布曲线划分为头部区域和躯干区域，包括：
步骤21，对输入兵马俑图像进行二值化处理，得到二值化的兵马俑图像；
步骤22，对二值化的兵马俑图像进行数学形态上的腐蚀；
步骤23，对特征点分布曲线进行平滑处理，得到平滑处理后的特征点分布曲线；
步骤24，将平滑处理后的特征点分布曲线中第二个波谷作为头部区域和躯干区域的分界线，即第二个波谷之前的特征点分布曲线为头部区域，第二个波谷之后的特征点分布曲线为躯干区域。
进一步地，步骤3中在每两个视图中分别对头部区域和躯干区域的特征点进行匹配，包括：
步骤31，设任意两个视图分别为V1和V2，则每个视图中特征点的描述子集合为
Figure BDA0001546635720000031
其中：
Figure BDA0001546635720000032
为第i个视图的第N个特征点的描述子；
步骤32，对每个
Figure BDA0001546635720000033
在F(V2)中搜索它的最近邻l*(1)和次近邻l*(2)；
其中，
Figure BDA0001546635720000034
步骤33，通过式(1)计算每个
Figure BDA0001546635720000035
的最近邻l*(1)和次近邻l*(2)的比值R；
Figure BDA0001546635720000036
步骤34，若R小于指定的阈值δ(δ＝0.9991)时，则V1中的第k个特征点与V2中的第l*(1)个特征点为候选匹配；否则，舍弃V1中的第k个特征点。
本发明与现有技术相比，具有如下技术效果：
(1)在特征提取方面，本发明利用了LIFT空间变化不变性的优点来提取不同角度兵马俑图像特征，相比于传统的SIFT、SURF等方法，其优点在于训练数据集较大，并且加入了空间不变网络模型，得到更鲁棒的特征，克服了兵马俑表面特征间的相似性问题。
(2)在图像匹配方面，本发明针对兵马俑自身特性，通过基于先验知识的特征点分布曲线分割方法分割兵马俑，即将提取出的特征分为头部和躯干两个区域。缩小了匹配时间，减少了误匹配率。
附图说明
图1为本发明兵马俑图像匹配方法流程图；
图2为本发明LIFT特征提取流程；
图3为本发明兵马俑头部分割方法图，其中(a)为腐蚀前、(b)为腐蚀后；
图4(a)为本发明的特征点分布曲线为特征点分布曲线，图4(b)为反转后特征点分布曲线；
图5为本发明兵马俑图像匹配效果图；
以下结合附图对本发明的具体内容作进一步详细解释说明。
具体实施方式
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例1：
遵从上述技术方案，如图1至图4所示，本发明公开了一种利用学习不变特征变换的兵马俑图像匹配方法，将LIFT提取特征的方法应用到兵马俑图像的配准上，在此基础上提出了一种有较高匹配率和鲁棒性更好的兵马俑图像匹配方案。本实施例在提取兵马俑图像特征过程中设置初始特征点个数最大值为1000，兵马俑图像大小为2400*3200,耗费时间少于SIFT，与SURF特征提取方法所需时间相持平。方法流程如图1所示，具体包括：
步骤1，选择任意一幅兵马俑图像作为输入兵马俑图像，提取输入兵马俑图像的所有特征点；
其中，如图2所示，包括：
步骤11，构建输入兵马俑图像的尺度空间，得到多个尺度空间下的输入兵马俑图像；
步骤12，将多个尺度空间下的输入兵马俑图像输入训练好的特征检测卷积神经网络，输出分数金字塔，即对每个尺度空间的输入兵马俑图像像素点进行打分评断其为特征点的可能性，多个尺度空间的输入兵马俑图像像素点的分数构成分数金字塔，并在上述分数金字塔中采用非极大值抑制，即在分数金字塔的尺度域和图像域中搜索局部极大值，抑制非极大值元素的方法筛选出特征点；
步骤13，将步骤12中带有特征点的兵马俑图像进行划分为多个小图像块，循环选择一个小的图像块作为输入，并利用训练好的方向评估卷积神经网络来评估计算特征点的方向；
步骤14，将步骤13中带有特征点方向的图像块作为输入送入训练好的特征描述子卷积神经网络中提取出特征点的128维特征描述子；
本实施例中，特征点一般是指一个二维的点其只包含该点的坐标信息，特征点的描述子是指对该特征点进行了一定的描述，描述该点具有的特性，其作用是主要用来找出两个特征点的关系，描述子的格式类似于一个向量。
步骤2，根据步骤1提取到的输入兵马俑的所有特征点，得到特征点分布曲线，将特征点分布曲线划分为头部区域和躯干区域；
步骤21，对输入兵马俑图像进行二值化处理，得到二值化的兵马俑图像；
步骤22，对二值化的兵马俑图像进行数学形态上的腐蚀；如图3(a)、图3(b)所示分别为腐蚀前和腐蚀后的图像。
本实施例利用个扫描函数从上到下对兵马俑图像进行扫描，并统计出每一行扫描线上特征点的个数，画出整幅图的特征点个数分布曲线；
步骤23，对特征点分布曲线进行平滑处理，得到平滑处理后的特征点分布曲线；如图4(a)所示为平滑处理前后的曲线图。
步骤24，将平滑处理后的特征点分布曲线中第二个波谷作为头部区域和躯干区域的分界线，即第二个波谷之前的特征点分布曲线为头部区域，第二个波谷之后的特征点分布曲线为躯干区域。
本实施例根据加入相关的人体先验知识，可以知道图4(a)中出现的第一个波谷为兵马俑头部发髻出现的位置，而第二个波谷即为头部区域和躯干区域分割线的位置；
本实施例为了方便找出图4(a)中的波谷，使用MATLAB中计算波峰函数来计算要求的波谷位置，所以需要将图4(a)图像进行反转，结果如图4(b)所示，求出图4(b)中的波峰即为4(a)中的波谷。同时图4(b)中第一个波峰位置处即为兵马俑头部发髻位置，而第二个波峰出现的位置即为兵马俑头部和躯干的分割线，即本实施例将第二个波峰的位置视为分割兵马俑头部的位置。
步骤3，根据特征点分布曲线中的头部区域和躯干区域，得到头部区域的特征点集合和躯干区域的特征点集合，在每两个视图中分别对头部区域和躯干区域的特征点进行匹配。
步骤31，设任意两个视图分别为V1和V2，则每个视图中特征点的描述子集合为
Figure BDA0001546635720000071
其中：
Figure BDA0001546635720000072
为第i个视图的第N个特征点的描述子；
步骤32，对每个
Figure BDA0001546635720000073
在F(V2)中搜索它的最近邻l*(1)和次近邻l*(2)；
其中，
Figure BDA0001546635720000074
步骤33，通过式(1)计算每个
Figure BDA0001546635720000075
的最近邻l*(1)和次近邻l*(2)的比值R；
Figure BDA0001546635720000076
步骤34，若R小于指定的阈值δ(δ＝0.9991)时，则V1中的第k个特征点与V2中的第l*(1)个特征点为候选匹配；否则，舍弃V1中的第k个特征点。

Claims (1)

1.一种利用学习不变特征变换的兵马俑图像匹配方法，其特征在于，包括以下步骤：
步骤1，选择任意一幅兵马俑图像作为输入兵马俑图像，提取输入兵马俑图像的所有特征点；
其中，包括：
步骤11，构建输入兵马俑图像的尺度空间，得到多个尺度空间下的输入兵马俑图像；
步骤12，将多个尺度空间下的输入兵马俑图像输入训练好的特征检测卷积神经网络，输出分数金字塔，在所述分数金字塔的尺度域和图像域中搜索局部极大值，并抑制非极大值元素筛选出输入兵马俑图像的特征点；
步骤13，将输入兵马俑图像的特征点划分为多个图像块，计算每个图像块中特征点的方向；
步骤14，根据每个图像块中特征点的方向，提取出每个图像块中特征点的128维特征描述子，即得到输入兵马俑图像的所有特征点的特征描述子；
步骤2，根据提取到的输入兵马俑的所有特征点，得到特征点分布曲线，将特征点分布曲线划分为头部区域和躯干区域；
步骤3，根据特征点分布曲线中的头部区域和躯干区域，得到头部区域的特征点集合和躯干区域的特征点集合，在每两个视图中分别对头部区域和躯干区域的特征点进行匹配；
所述步骤2中将特征点分布曲线划分为头部区域和躯干区域，包括：
步骤21，对输入兵马俑图像进行二值化处理，得到二值化的兵马俑图像；
步骤22，对二值化的兵马俑图像进行数学形态上的腐蚀；
步骤23，对特征点分布曲线进行平滑处理，得到平滑处理后的特征点分布曲线；
步骤24，将平滑处理后的特征点分布曲线中第二个波谷作为头部区域和躯干区域的分界线，即第二个波谷之前的特征点分布曲线为头部区域，第二个波谷之后的特征点分布曲线为躯干区域；
步骤3中在每两个视图中分别对头部区域和躯干区域的特征点进行匹配，包括：
步骤31，设任意两个视图分别为V1和V2，则每个视图中特征点的描述子集合为
Figure FDA0002684892260000021
其中：
Figure FDA0002684892260000022
为第i个视图的第N个特征点的描述子；
步骤32，对每个
Figure FDA0002684892260000023
在F(V2)中搜索它的最近邻l*(1)和次近邻l*(2)；
其中，
Figure FDA0002684892260000024
Figure FDA0002684892260000025
步骤33，通过式(1)计算每个
Figure FDA0002684892260000026
的最近邻l*(1)和次近邻l*(2)的比值R；
Figure FDA0002684892260000027
步骤34，若R小于指定的阈值δ＝0.9991时，则V1中的第k个特征点与V2中的第l*(1)个特征点为候选匹配；否则，舍弃V1中的第k个特征点。
CN201810031476.XA 2018-01-12 2018-01-12 一种利用学习不变特征变换的兵马俑图像匹配方法 Active CN108304863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810031476.XA CN108304863B (zh) 2018-01-12 2018-01-12 一种利用学习不变特征变换的兵马俑图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810031476.XA CN108304863B (zh) 2018-01-12 2018-01-12 一种利用学习不变特征变换的兵马俑图像匹配方法

Publications (2)

Publication Number Publication Date
CN108304863A CN108304863A (zh) 2018-07-20
CN108304863B true CN108304863B (zh) 2020-11-20

Family

ID=62868644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810031476.XA Active CN108304863B (zh) 2018-01-12 2018-01-12 一种利用学习不变特征变换的兵马俑图像匹配方法

Country Status (1)

Country Link
CN (1) CN108304863B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210342A (zh) * 2019-05-20 2019-09-06 深圳供电局有限公司 一种人脸图像匹配方法及其系统、可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739553A (zh) * 2009-12-10 2010-06-16 青岛海信网络科技股份有限公司 一种视差图像中目标识别方法
CN104182974A (zh) * 2014-08-12 2014-12-03 大连理工大学 一种基于特征点进行图像匹配的加速方法
US9477874B2 (en) * 2010-04-23 2016-10-25 Handscape Inc. Method using a touchpad for controlling a computerized system with epidermal print information
CN106599896A (zh) * 2016-11-08 2017-04-26 广州视源电子科技股份有限公司 一种字符分割方法和装置、及元件检测方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783113B2 (en) * 2004-10-08 2010-08-24 Drvision Technologies Llc Partition pattern match and integration method for alignment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739553A (zh) * 2009-12-10 2010-06-16 青岛海信网络科技股份有限公司 一种视差图像中目标识别方法
US9477874B2 (en) * 2010-04-23 2016-10-25 Handscape Inc. Method using a touchpad for controlling a computerized system with epidermal print information
CN104182974A (zh) * 2014-08-12 2014-12-03 大连理工大学 一种基于特征点进行图像匹配的加速方法
CN106599896A (zh) * 2016-11-08 2017-04-26 广州视源电子科技股份有限公司 一种字符分割方法和装置、及元件检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Distinctive Image Features from Scale-Invariant Keypoints;DAVID G.LOWE;《International Journal of Computer Vision》;20041231;第60卷(第2期);第91-110页 *
LIFT: Learned Invariant Feature Transform;Kwang Moo Yi et al.;《arXiv》;20160729;第103-106页 *

Also Published As

Publication number Publication date
CN108304863A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN106599028B (zh) 一种基于视频图像处理的书本内容搜索匹配方法
CN106981077B (zh) 基于dce和lss的红外图像和可见光图像配准方法
CN109446895B (zh) 一种基于人体头部特征的行人识别方法
CN110472625B (zh) 一种基于傅里叶描述子的象棋棋子视觉识别方法
CN104680127A (zh) 手势识别方法及系统
CN104809481A (zh) 一种基于自适应色彩聚类的自然场景文本检测的方法
CN105760842A (zh) 一种基于边缘和纹理特征结合的台标识别方法
CN108154151B (zh) 一种快速多方向文本行检测方法
CN107909083B (zh) 一种基于轮廓匹配优化的矩形检测提取方法
CN106874942B (zh) 一种基于正则表达式语义的目标模型快速构建方法
CN107180436A (zh) 一种改进的kaze图像匹配算法
Badr et al. A robust copy-move forgery detection in digital image forensics using SURF
CN109409356B (zh) 一种基于swt的多方向中文印刷体文字检测方法
CN115471682A (zh) 一种基于SIFT融合ResNet50的图像匹配方法
CN108319961B (zh) 一种基于局部特征点的图像roi快速检测方法
JP2011248702A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム記憶媒体
CN108304863B (zh) 一种利用学习不变特征变换的兵马俑图像匹配方法
Chen et al. A novel Fourier descriptor based image alignment algorithm for automatic optical inspection
Dong et al. An improved parallel thinning algorithm
CN109977892B (zh) 基于局部显著性特征和cnn-svm的舰船检测方法
CN104036494A (zh) 一种用于水果图像的快速匹配计算方法
CN107016414A (zh) 一种脚印的识别方法
CN110705569A (zh) 一种基于纹理特征的图像局部特征描述子提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant