CN108960258A - 一种基于自学习深度特征的模板匹配方法 - Google Patents

一种基于自学习深度特征的模板匹配方法 Download PDF

Info

Publication number
CN108960258A
CN108960258A CN201810734225.8A CN201810734225A CN108960258A CN 108960258 A CN108960258 A CN 108960258A CN 201810734225 A CN201810734225 A CN 201810734225A CN 108960258 A CN108960258 A CN 108960258A
Authority
CN
China
Prior art keywords
depth characteristic
image
self study
network
template matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810734225.8A
Other languages
English (en)
Inventor
姚谦
王文斐
马文辉
耿沛文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Dylan Intelligent Technology Co Ltd
Original Assignee
Jiangsu Dylan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Dylan Intelligent Technology Co Ltd filed Critical Jiangsu Dylan Intelligent Technology Co Ltd
Priority to CN201810734225.8A priority Critical patent/CN108960258A/zh
Publication of CN108960258A publication Critical patent/CN108960258A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了一种基于自学习深度特征的模板匹配方法，使用孪生神经网络为基础，训练了一个自学习的深度特征提取器，然后使用该深度特征提取器计算待匹配图像A和B的深度特征向量，最后计算特征向量的欧几里德距离，归一化后作为匹配程度的度量，距离越小则匹配程度越高。该方法不直接依赖于图像的边缘、局部特征点等人工选择的特征，而是通过深度学习的方法找到最适合匹配的特征，因此可以得到更好的匹配精度和准确率。而且也更不容易受到图像亮度、清晰度、旋转、缩放和位移的影响。

Description

一种基于自学习深度特征的模板匹配方法
技术领域
本发明属于计算机图像处理领域，特别涉及不同图像间相似度比较的图像识别方法，具体地，涉及一种基于自学习深度特征的模板匹配方法。
背景技术
在工业生产，石油化工，电力系统等行业存在大量指示系统状态的设备，这些设备通常拥有可枚举的数个不同状态，比如变电站中的分合闸指示灯的亮灭，“远方就地”旋钮的旋转方向，机械压板的分合等等。传统的设备状态识别方式是使用标准的模板匹配方法来比较状态间相似程度，该方法容易受到光照、清晰度的影响，而且也不适用于图像带有一定旋转角度和偏移的情况。
模板匹配包含图像的颜色、形状相似性的比较，提供一种图像间相似度的度量方式，这种度量不应过多的受外部环境、拍摄方式影响，而是反应被拍摄物体本身的相似程度。
专利申请号为201310176573.5，名为《一种局部图像匹配方法》的专利，对于两张待匹配的图像，首先分别提取多种不同类型的局部图像特征描述子，包括SIFT，CSLBP，LIOP、OSID等等，串联所有的描述子得到两个描述向量；然后对这两个描述向量进行阈值化，得到对应的二值化的描述向量；之后对这两个进行位异操作，得到一个二值序列，作为差异向量；最后根据计算得到的差异向量，使用逻辑回归分析，计算两图像属于匹配图像的概率。该方法依赖于局部特征描述子，由于描述子数量很多，因此计算耗时比较长；描述子的位置依赖于图像中的角点，对于清晰度较差、强光照的图像，角点的提取会比较困难，也就导致描述子的计算不准确，影响匹配结果。
专利申请号为201310184556.6，名为《一种图像匹配相似性测度方法及其图像匹配方法》的专利，首先分别计算两幅图像在x与y方向上的梯度图，并提取相应的边缘图像；然后计算两方向上边缘图像之间的Hausdorff距离，以此距离作为衡量图像相似度的结果。由于该结果依赖于图像梯度计算，因此对于清晰度差，边缘模糊的图像无法正确提取对应的边缘信息，也就无法得到正确的匹配结果，图像上的噪点也会对结果造成不良影响。
发明内容
发明目的：针对上述现有技术，提出一种基于自学习深度特征的模板匹配方法，能克服图像光照、清晰度、小幅度位移与旋转等干扰因素，在较短的时间内准确衡量图像的相似程度。
技术方案：一种基于自学习深度特征的模板匹配方法，包括如下步骤：
步骤1：利用采样的样本数据集对基于Caffe实现的孪生神经网络进行训练，训练完成得到深度特征提取器；
步骤2：使用训练得到的深度特征提取器，提取待匹配的图像A和B的深度特征；
步骤3：计算图像A和B的深度特征的欧几里德距离；
步骤4：将所述欧几里德距离归一化作为相似度的衡量，所述欧几里德距离越小，图像A和B越相似。
进一步的，所述步骤1中，所述孪生神经网络由两个相同结构且共享权值的子网络组成，子网络feat1和feat2的网络结构具体为：
输入层：输入层为64x64x3的图像数据，为RGB三通道图像，像素值被归一化到0～1之间；
卷积层：采用大小为3x3的卷积核参数，卷积运算后进行Batch Normalization运算，使用RELU作为激活函数；
池化层：采用2x2的窗口大小进行池化；
Flatten层：将输入由矩阵形式转换成向量形式；
所述输入层后共8个卷积层，卷积深度分别为[32，64，64，128，96，192，128，256]，每两个卷积层之间添加一个池化层来进行降采样，最后使用Flatten层将将卷积的结果向量化，向量化的结果作为网络的输出。
进一步的，使用Contrastive Loss作为所述子网络的损失函数，ContrastiveLoss表达式为：
其中，N为训练样本数量，n为训练样本编号，y为采样的样本数据的匹配标签，feat1与feat2的输入匹配时y＝1，否则y＝0，d＝||feat1n-feat2n||2是子网络feat1和feat2第n个训练样本的欧几里德距离，margin为负样本最小距离的阈值；
使用样本数据对孪生神经网络进行训练，最小化损失函数，对于每个训练样本<X,y>，X为两张图片，y为样本标签，表示两张图片是否匹配，如果匹配则y＝1，否则y＝0；将X中的两张图片分别作为两个子网络的输入，训练完成后，取两个子网络中的一个作为特征提取器使用。
进一步的，所述步骤3的具体步骤为：设深度特征向量为Fa＝(a1,a2,...,ak)和Fb＝(b1,b2,...,bk)，欧几里德距离D为：
其中，ai为Fa中第i个特征，bi为Fb中第i个特征，k为特征维度。
进一步的，所述步骤4中，归一化公式为：
其中，Dnorm为归一化后的距离，margin为负样本最小距离的阈值。
进一步的，还包括对样本数据以及待匹配的图像的预处理步骤。
有益效果：(1)图像匹配的准确度高，即使在图像存在光照不同，清晰度不足，噪声影响的情况下也能得到较好的匹配结果；(2)特征的计算仅仅依赖于卷积运算，网络层数较浅，运算时间短，可以满足实时要求；(3)允许图片中被匹配的物体发生一定的形变、旋转和位移。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
如图1所示，一种基于自学习深度特征的模板匹配方法，包括如下步骤：
步骤1：利用采样的样本数据集对基于Caffe实现的孪生神经网络进行训练，训练完成得到深度特征提取器。
步骤2：使用训练得到的深度特征提取器，提取待匹配的图像A和B的深度特征。
步骤3：计算图像A和B的深度特征的欧几里德距离。
步骤4：将欧几里德距离归一化作为相似度的衡量，所述欧几里德距离越小，图像A和B越相似。
具体的，步骤1中，孪生神经网络由两个相同结构且共享权值的子网络组成，子网络feat1和feat2的网络结构具体为：
输入层：输入层为64x64x3的图像数据，为RGB三通道图像，像素值被归一化到0～1之间；
卷积层：采用大小为3x3的卷积核参数，保证计算速度足够快，卷积运算后进行Batch Normalization运算，即批归一化处理，使用RELU作为激活函数，修正线性单元；
池化层：采用2x2的窗口大小进行池化；
Flatten层：将输入由矩阵形式转换成向量形式，即平整化；
输入层后共8个卷积层，卷积深度分别为[32，64，64，128，96，192，128，256]，每两个卷积层之间添加一个池化层来进行降采样，最后使用Flatten层将卷积的结果向量化，向量化的结果作为网络的输出。
使用Contrastive Loss作为上述结构的子网络的损失函数来对比损失，Contrastive Loss表达式为：
其中，N为训练样本数量，n为训练样本编号，y为采样的样本数据的匹配标签，feat1与feat2的输入匹配时y＝1，否则y＝0，d＝||feat1n-feat2n||2是子网络feat1和feat2第n个训练样本的欧几里德距离，margin为负样本最小距离的阈值；
使用样本数据对孪生神经网络进行训练，最小化损失函数，对于每个训练样本<X,y>，X为两张图片，y为样本标签，表示两张图片是否匹配，如果匹配则y＝1，否则y＝0；将X中的两张图片分别作为两个子网络的输入，训练完成后，取两个子网络中的一个作为特征提取器使用。
步骤3的具体步骤为：设深度特征向量为Fa＝(a1,a2,...,ak)和Fb＝(b1,b2,...,bk)，欧几里德距离D为：
其中，ai为Fa中第i个特征，bi为Fb中第i个特征，k为特征维度。
步骤4中，归一化公式为：
其中，Dnorm为归一化后的距离，margin为负样本最小距离的阈值。
本实施例中，采集的样本数据集以及待匹配图所经过的预处理步骤包括：图像大小被缩放到64x64，如果图像为灰度图则转化为RGB三通道图，每个通道的像素值会被除以255，进行归一化处理，处理后的图像作为孪生神经网络的输入。训练深度特征提取器是需要采集足够多的数据样本，匹配数据与不匹配数据的采样数应该尽可能相近，然后通过给采集到的数据增加噪声、亮度改变、旋转和缩放来进行数据增广。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于自学习深度特征的模板匹配方法，其特征在于，包括如下步骤：
步骤1：利用采样的样本数据集对基于Caffe实现的孪生神经网络进行训练，训练完成得到深度特征提取器；
步骤2：使用训练得到的深度特征提取器，提取待匹配的图像A和B的深度特征；
步骤3：计算图像A和B的深度特征的欧几里德距离；
步骤4：将所述欧几里德距离归一化作为相似度的衡量，所述欧几里德距离越小，图像A和B越相似。
2.根据权利要求1所述的基于自学习深度特征的模板匹配方法，其特征在于，所述步骤1中，所述孪生神经网络由两个相同结构且共享权值的子网络组成，子网络feat1和feat2的网络结构具体为：
输入层：输入层为64x64x3的图像数据，为RGB三通道图像，像素值被归一化到0～1之间；
卷积层：采用大小为3x3的卷积核参数，卷积运算后进行Batch Normalization运算，使用RELU作为激活函数；
池化层：采用2x2的窗口大小进行池化；
Flatten层：将输入由矩阵形式转换成向量形式；
所述输入层后共8个卷积层，卷积深度分别为[32，64，64，128，96，192，128，256]，每两个卷积层之间添加一个池化层来进行降采样，最后使用Flatten层将将卷积的结果向量化，向量化的结果作为网络的输出。
3.根据权利要求2所述的基于自学习深度特征的模板匹配方法，其特征在于，使用Contrastive Loss作为所述子网络的损失函数，Contrastive Loss表达式为：
其中，N为训练样本数量，n为训练样本编号，y为采样的样本数据的匹配标签，feat1与feat2的输入匹配时y＝1，否则y＝0，d＝||feat1n-feat2n||2是子网络feat1和feat2第n个训练样本的欧几里德距离，margin为负样本最小距离的阈值；
使用样本数据对孪生神经网络进行训练，最小化损失函数，对于每个训练样本<X,y>，X为两张图片，y为样本标签，表示两张图片是否匹配，如果匹配则y＝1，否则y＝0；将X中的两张图片分别作为两个子网络的输入，训练完成后，取两个子网络中的一个作为特征提取器使用。
4.根据权利要求1-3任一所述的基于自学习深度特征的模板匹配方法，其特征在于，所述步骤3的具体步骤为：设深度特征向量为Fa＝(a1,a2,...,ak)和Fb＝(b1,b2,...,bk)，欧几里德距离D为：
其中，ai为Fa中第i个特征，bi为Fb中第i个特征，k为特征维度。
5.根据权利要求1-3任一所述的基于自学习深度特征的模板匹配方法，其特征在于，所述步骤4中，归一化公式为：
其中，Dnorm为归一化后的距离，margin为负样本最小距离的阈值。
6.根据权利要求1-3任一所述的基于自学习深度特征的模板匹配方法，其特征在于，还包括对样本数据以及待匹配的图像的预处理步骤。
CN201810734225.8A 2018-07-06 2018-07-06 一种基于自学习深度特征的模板匹配方法 Pending CN108960258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810734225.8A CN108960258A (zh) 2018-07-06 2018-07-06 一种基于自学习深度特征的模板匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810734225.8A CN108960258A (zh) 2018-07-06 2018-07-06 一种基于自学习深度特征的模板匹配方法

Publications (1)

Publication Number Publication Date
CN108960258A true CN108960258A (zh) 2018-12-07

Family

ID=64485918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810734225.8A Pending CN108960258A (zh) 2018-07-06 2018-07-06 一种基于自学习深度特征的模板匹配方法

Country Status (1)

Country Link
CN (1) CN108960258A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801317A (zh) * 2018-12-29 2019-05-24 天津大学 基于卷积神经网络进行特征提取的图像匹配方法
CN109934272A (zh) * 2019-03-01 2019-06-25 大连理工大学 一种基于全卷积网络的图像匹配方法
CN110414586A (zh) * 2019-07-22 2019-11-05 杭州沃朴物联科技有限公司 基于深度学习的防伪标签验伪方法、装置、设备及介质
CN111091144A (zh) * 2019-11-27 2020-05-01 云南电网有限责任公司电力科学研究院 基于深度伪孪生网络的图像特征点匹配方法及装置
CN112668621A (zh) * 2020-12-22 2021-04-16 南京航空航天大学 一种基于跨源图像翻译的图像质量评价方法及系统
CN112801141A (zh) * 2021-01-08 2021-05-14 吉林大学 基于模板匹配和孪生神经网络优化的异源图像匹配方法
US20210203900A1 (en) * 2020-04-17 2021-07-01 Beijing Baidu Netcom Science And Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
CN113362096A (zh) * 2020-03-04 2021-09-07 驰众信息技术（上海）有限公司 一种基于深度学习的框架广告图像匹配方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236068A (zh) * 2013-05-14 2013-08-07 中国科学院自动化研究所 一种局部图像匹配方法
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
CN106909625A (zh) * 2017-01-20 2017-06-30 清华大学 一种基于Siamese网络的图像检索方法及系统
WO2017168125A1 (en) * 2016-03-31 2017-10-05 Queen Mary University Of London Sketch based search methods
CN107729993A (zh) * 2017-10-30 2018-02-23 国家新闻出版广电总局广播科学研究院 利用训练样本及折中度量的3d卷积神经网络构建方法
CN107766807A (zh) * 2017-09-30 2018-03-06 平安科技（深圳）有限公司 电子装置、投保牲畜识别方法和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236068A (zh) * 2013-05-14 2013-08-07 中国科学院自动化研究所 一种局部图像匹配方法
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
WO2017168125A1 (en) * 2016-03-31 2017-10-05 Queen Mary University Of London Sketch based search methods
CN106909625A (zh) * 2017-01-20 2017-06-30 清华大学 一种基于Siamese网络的图像检索方法及系统
CN107766807A (zh) * 2017-09-30 2018-03-06 平安科技（深圳）有限公司 电子装置、投保牲畜识别方法和计算机可读存储介质
CN107729993A (zh) * 2017-10-30 2018-02-23 国家新闻出版广电总局广播科学研究院 利用训练样本及折中度量的3d卷积神经网络构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAULZHANG98: "Contrastive Loss(Siamese Network)", 《CSDN》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801317A (zh) * 2018-12-29 2019-05-24 天津大学 基于卷积神经网络进行特征提取的图像匹配方法
CN109934272A (zh) * 2019-03-01 2019-06-25 大连理工大学 一种基于全卷积网络的图像匹配方法
CN109934272B (zh) * 2019-03-01 2022-03-29 大连理工大学 一种基于全卷积网络的图像匹配方法
CN110414586B (zh) * 2019-07-22 2021-10-26 杭州沃朴物联科技有限公司 基于深度学习的防伪标签验伪方法、装置、设备及介质
CN110414586A (zh) * 2019-07-22 2019-11-05 杭州沃朴物联科技有限公司 基于深度学习的防伪标签验伪方法、装置、设备及介质
CN111091144A (zh) * 2019-11-27 2020-05-01 云南电网有限责任公司电力科学研究院 基于深度伪孪生网络的图像特征点匹配方法及装置
CN111091144B (zh) * 2019-11-27 2023-06-27 云南电网有限责任公司电力科学研究院 基于深度伪孪生网络的图像特征点匹配方法及装置
CN113362096A (zh) * 2020-03-04 2021-09-07 驰众信息技术（上海）有限公司 一种基于深度学习的框架广告图像匹配方法
US20210203900A1 (en) * 2020-04-17 2021-07-01 Beijing Baidu Netcom Science And Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
US11930307B2 (en) * 2020-04-17 2024-03-12 Beijing Baidu Netcom Science Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
CN112668621A (zh) * 2020-12-22 2021-04-16 南京航空航天大学 一种基于跨源图像翻译的图像质量评价方法及系统
CN112668621B (zh) * 2020-12-22 2023-04-18 南京航空航天大学 一种基于跨源图像翻译的图像质量评价方法及系统
CN112801141A (zh) * 2021-01-08 2021-05-14 吉林大学 基于模板匹配和孪生神经网络优化的异源图像匹配方法

Similar Documents

Publication Publication Date Title
CN108960258A (zh) 一种基于自学习深度特征的模板匹配方法
CN102609681B (zh) 基于字典学习模型的人脸识别方法
CN106056628B (zh) 基于深度卷积神经网络特征融合的目标跟踪方法及系统
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
Sun et al. SAR automatic target recognition based on dictionary learning and joint dynamic sparse representation
CN112836671B (zh) 一种基于最大化比率和线性判别分析的数据降维方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN110659586B (zh) 一种基于身份保持循环式生成式对抗网络的步态识别方法
CN103400105A (zh) 基于姿态归一化的非正面人脸表情识别方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN106529583A (zh) 一种基于视觉词袋模型的室内场景认知方法
CN110516525A (zh) 基于gan和svm的sar图像目标识别方法
CN103714331A (zh) 一种基于点分布模型面部表情特征的提取方法
CN108986139B (zh) 一种用于目标跟踪的带有重要性图的特征整合方法
CN108932468B (zh) 一种适用于心理学的面部识别方法
CN112949658B (zh) 一种具有稳定性能的深度学习方法
Huang et al. Asymmetric 3D/2D face recognition based on LBP facial representation and canonical correlation analysis
CN103268494A (zh) 基于稀疏表示的寄生虫虫卵识别方法
CN106250818A (zh) 一种全序保持投影的人脸年龄估计方法
CN101482917B (zh) 一种基于二阶二维主分量分析的人脸识别系统和方法
CN109886212A (zh) 从滚动指纹合成现场指纹的方法和装置
CN110738194A (zh) 一种基于点云有序编码的三维物体识别方法
CN107291813B (zh) 基于语义分割场景的示例搜索方法
CN113807357B (zh) 一种基于室内地标文本与轮廓的室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207