CN111507360A - 一种基于深度学习的曲线特征描述方法 - Google Patents

一种基于深度学习的曲线特征描述方法 Download PDF

Info

Publication number
CN111507360A
CN111507360A CN202010284244.2A CN202010284244A CN111507360A CN 111507360 A CN111507360 A CN 111507360A CN 202010284244 A CN202010284244 A CN 202010284244A CN 111507360 A CN111507360 A CN 111507360A
Authority
CN
China
Prior art keywords
curve
image
matrix
neural network
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010284244.2A
Other languages
English (en)
Inventor
霍占强
杜光星
雒芬
乔应旭
宋素玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202010284244.2A priority Critical patent/CN111507360A/zh
Publication of CN111507360A publication Critical patent/CN111507360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的曲线特征描述方法，包括：利用现有曲线检测方法获取图像对中的曲线；获取正确匹配曲线对；确定曲线对应的图像块；构建图像块数据集；对输入数据进行预处理；搭建卷积神经网络；利用三元组边际损失函数计算新的网络参数；更新神经网络参数直到达到指定的次数；获取输入曲线的描述子。本发明提供的方法可以获得可区分性更强和鲁棒性更高的曲线特征描述子。

Description

一种基于深度学习的曲线特征描述方法
技术领域
本发明涉及深度学习领域和计算机视觉中的图像特征描述领域，特别是数字图像中曲线特征描述方法。
背景技术
曲线特征描述技术是计算机视觉、模式识别和图像理解等领域的一项关键技术，在物体识别、图像匹配以及三维重建等领域中都有很重要的应用。曲线特征描述与匹配主要是对在同一场景中处于不同时间或不同视角下的两幅或多幅图像中寻找曲线之间的对应关系，首先采用特定的方法对待匹配图像进行曲线提取，然后用相应的算法对曲线进行描述，最后利用匹配准则计算两条曲线间的相似性来实现匹配。目前主流的曲线特征描述方法为手工设计的方法，随深度学习在不同领域的成功应用，使得利用深度学习技术进一步提高曲线描述方法的可区分性高和鲁棒性成为可能。
已知的手工设计的曲线特征描述子主要有MSCD、IOMSD[1]、IOCD[2]、GOCD[3]等。其中MSCD是由直线描述子MSLD[4]推广到曲线得到的，MSCD基于SIFT[5]的邻域位置划分思想，统计曲线上所有像素点各子区域的不变特征，解决了不同长度的曲线的统一描述问题，但在主方向计算不稳定。IOMSD在划分曲线支撑区域时用圆形区域代替矩形区域，避免主方向的计算不稳定问题，但匹配性能不高且不适用于弱纹理图像。IOCD和GOCD这两种曲线特征描述方法，前者是根据亮度序划分子区域及构建描述子，后者依据梯度序划分子区域构建描述子，两种算法对几何光学变换较大的图像都匹配良好，但是匹配耗时较多，无法达到实时匹配的效果。同时，上述四种描述子在复杂条件下都存在可区分性和鲁棒性不强的问题。
参考文献：
1.王志衡,智珊珊,刘红敏.基于亮度序的均值标准差描述子[J].模式识别与人工智能,2012,26(4):409-416.
2.Liu H.M,Zhi S.S,Wang Z.H.,IOCD:Intensity Order Curve Descriptor[J].International Journal of Pattern Recognition and Artificial Intelligence,2013,27(7):1355011-135037.
3.Liu H,Chen L,Wang Z,et al.GOCD:Gradient Order Curve Descriptor[J].Ieice Transactionson Information and Systems,2017,100(12):2973-2983.
4.Wang Zhiheng,Wu Fuchao,Hu Zhanyi.MSLD:A Robust Descriptor for LineMatching[J].Pattern Recognition,2009,42(5):941－953.
5.Lowe D.G.,Distinctive image features from scale-invariant key-points[J].International Journal of Computer Vision,2004,60(2):91-110.
发明内容
本发明针对现有手工设计的曲线特征描述算法在复杂条件下存在的可区分性不强和鲁棒性不高的问题，本发明提出一种可区分性更强和鲁棒性更高的基于深度学习的曲线特征描述方法，包括以下步骤：
步骤S1：构建卷积神经网络的输入图像块数据集，具体如下：
步骤S11：收集图像并进行预处理，组成图像数据集；
步骤S12：利用现有的曲线检测方法获取图像对中的曲线；
步骤S13：获取正确匹配曲线对；
步骤S14：确定曲线对应的图像块，构建图像块数据集；
步骤S2：训练卷积神经网络；
步骤S21：对输入数据进行预处理；
步骤S22：搭建卷积神经网络；
步骤S23：利用三元组边际损失函数计算新的网络参数；
步骤S24：利用步骤S23获得的网络模型参数更新步骤S22搭建的卷积神经网络的参数值；
步骤S25：重复步骤S23、S24，直到参数更新达到指定的次数；
步骤S3：获取输入曲线的描述子。
针对现有手工设计的曲线特征描述方法在复杂条件下存在的可区分性和鲁棒性不强等问题，本发明提出了基于深度学习的曲线特征描述方法。通过将曲线的支撑区域纵向压缩为类似点的支撑区域，获取每条曲线的均值与方差图像块，然后将其输入卷积神经网络中进行训练，最终得到所需的曲线描述子。本发明提供的方法可以获得可区分性更强和鲁棒性更高的曲线特征描述子。
附图说明
图1为本发明基于深度学习的曲线特征描述方法流程图。
图2为本发明卷积神经网络模型的结构图。
具体实施方式
图1所示为本发明基于深度学习的曲线特征描述方法流程图，该方法的主要步骤包括：利用现有曲线检测方法获取图像对中的曲线；获取正确匹配曲线对；确定曲线对应的图像块；构建图像块数据集；对输入数据进行预处理；搭建卷积神经网络；利用三元组边际损失函数计算新的网络参数；更新神经网络参数直到达到指定的次数；获取输入曲线的描述子。各步骤具体实施细节如下：
步骤S1：构建卷积神经网络的输入图像块数据集，具体方式包括步骤S11、S12、S13、S14：
步骤S11：收集图像并进行预处理，组成图像数据集，具体方式为，收集不同场景下的图像，对其进行光照、噪音、模糊以及压缩等不同情况的变化处理，原图像与处理后的图像构成图像对，输入计算机。
步骤S12：利用现有的曲线检测方法获取图像对中的曲线。
步骤S13：获取正确匹配曲线对，具体方式为，对于任一图像对，利用现有的曲线匹配方法进行曲线匹配，然后剔除错误匹配，获得图像对中的正确匹配曲线对集合{(Cj,Cj'),j＝1,2,…,NC}，其中Cj表示图像对中第1幅图像中的曲线，Cj'表示图像对中第2幅图像中与Cj正确匹配的曲线，NC为匹配曲线对的个数。
步骤S14：确定曲线对应的图像块，具体方式为，对于步骤S13获得的正确匹配曲线对集合中的任一由Num(C)个点组成的曲线C，记C上任一像素点为Pk,k＝1,2,…,Num(C)，将以Pk为中心、沿曲线C方向和曲线C垂直方向的长度均为64的方形区域定义为点Pk的支撑区域，点Pk支撑区域的亮度值矩阵记为I(Pk)，计算曲线C的均值矩阵M(C)＝Mean(I(P1),I(P2),…,I(PNum(C)))和标准差矩阵STD(C)＝Std(I(P1),I(P2),…,I(PNum(C)))，其中Mean表示计算亮度矩阵的均值，Std表示计算亮度矩阵的标准差，则曲线C对应的图像块为AC＝[M(C),STD(C)]。
步骤S2：训练卷积神经网络，具体方式包括步骤S21、S22、S23、S24、S25：
步骤S21：对输入数据进行预处理，具体方式为，对于步骤S14获得的任一输入图像块AC＝[M(C),STD(C)]，将AC转换为大小为64×64×2的矩阵AC'，其中AC'(:,:,1)＝M(C),AC'(:,:,2)＝STD(C)，然后对AC'进行归一化获得
Figure BDA0002447875220000051
步骤S22：构建卷积神经网络，具体方式为，搭建HardNet卷积神经网络，如图2所示，采用七层的全卷积结构，输入大小为64×64×2的图像块，在每个卷积层之后都使用批量归一化，改变卷积的步长实现下采样，将最后一层卷积核的大小由为8×8修改为16×32，网络输出经过L2归一化处理，输出256维的曲线特征描述子。
步骤S23：利用三元组边际损失函数计算新的网络参数，具体方式为，从步骤S1获得的输入图像块中随机选取n对匹配曲线对应的图像块，经过步骤S21处理后合并为
Figure BDA0002447875220000052
其中
Figure BDA0002447875220000053
为曲线Cj对应的归一化矩阵，
Figure BDA0002447875220000054
为曲线Cj'对应的归一化矩阵，曲线Cj和Cj'为匹配曲线对；计算n×n大小的距离矩阵D，其中
Figure BDA0002447875220000055
ai、bj分别为
Figure BDA0002447875220000056
作为输入时步骤S22构建的卷积神经网络输出的特征向量；计算三元组损失函数
Figure BDA0002447875220000057
其中
Figure BDA0002447875220000058
代表最接近ai的非匹配描述子，jmin＝arg minj＝1,…,n,j≠i d(ai,bj)，
Figure BDA0002447875220000059
代表最接近bi的非匹配描述子，kmin＝arg mink＝1,…,n,k≠i d(ak,bi)，利用梯度下降法获取新的网络参数。
步骤S24：利用步骤S23获得的网络模型参数更新步骤S22构建的卷积神经网络的参数值。
步骤S25：重复步骤S23、S24，直到参数更新达到指定的次数。
步骤S3：获取输入曲线的描述子，具体方式为，对于给定的任一图像，根据步骤S12、S13和S14获取图像中任意一条曲线对应的图像块，根据步骤S21对任意一条曲线的图像块进行处理，将结果输入到步骤S2构造的卷积神经网络中，即可输出该曲线的描述子。
针对现有手工设计的曲线特征描述方法在复杂条件下存在的可区分性和鲁棒性不强等问题，本发明提出了基于深度学习的曲线特征描述方法。通过将曲线的支撑区域纵向压缩为类似点的支撑区域，获取每条曲线的均值与方差图像块，然后将其输入卷积神经网络中进行训练，最终得到所需的曲线描述子。本发明提供的方法可以获得可区分性更强和鲁棒性更高的曲线特征描述子。

Claims (1)

1.一种基于深度学习的曲线特征描述方法，其特征在于，该方法具体包括以下步骤：
步骤S1：构建卷积神经网络的输入图像块数据集，具体方式包括步骤S11、S12、S13、S14：
步骤S11：收集图像并进行预处理，组成图像数据集，具体方式为，收集不同场景下的图像，对其进行光照、噪音、模糊以及压缩等不同情况的变化处理，原图像与处理后的图像构成图像对，输入计算机；
步骤S12：利用现有的曲线检测方法获取图像对中的曲线；
步骤S13：获取正确匹配曲线对，具体方式为，对于任一图像对，利用现有的曲线匹配方法进行曲线匹配，然后剔除错误匹配，获得图像对中的正确匹配曲线对集合{(Cj,Cj'),j＝1,2,…,NC}，其中Cj表示图像对中第1幅图像中的曲线，Cj'表示图像对中第2幅图像中与Cj正确匹配的曲线，NC为匹配曲线对的个数；
步骤S14：确定曲线对应的图像块，具体方式为，对于步骤S13获得的正确匹配曲线对集合中的任一由Num(C)个点组成的曲线C，记C上任一像素点为Pk,k＝1,2,…,Num(C)，将以Pk为中心、沿曲线C方向和曲线C垂直方向的长度均为64的方形区域定义为点Pk的支撑区域，点Pk支撑区域的亮度值矩阵记为I(Pk)，计算曲线C的均值矩阵M(C)＝Mean(I(P1),I(P2),…,I(PNum(C)))和标准差矩阵STD(C)＝Std(I(P1),I(P2),…,I(PNum(C)))，其中Mean表示计算亮度矩阵的均值，Std表示计算亮度矩阵的标准差，则曲线C对应的图像块为AC＝[M(C),STD(C)]；
步骤S2：训练卷积神经网络，具体方式包括步骤S21、S22、S23、S24、S25：
步骤S21：对输入数据进行预处理，具体方式为，对于步骤S14获得的任一输入图像块AC＝[M(C),STD(C)]，将AC转换为大小为64×64×2的矩阵AC'，其中AC'(:,:,1)＝M(C),AC'(:,:,2)＝STD(C)，然后对AC'进行归一化获得
Figure FDA0002447875210000021
步骤S22：构建卷积神经网络，具体方式为，搭建HardNet卷积神经网络，采用七层的全卷积结构，输入大小为64×64×2的图像块，在每个卷积层之后都使用批量归一化，改变卷积的步长实现下采样，将最后一层卷积核的大小由为8×8修改为16×32，网络输出经过L2归一化处理，输出256维的曲线特征描述子；
步骤S23：利用三元组边际损失函数计算新的网络参数，具体方式为，从步骤S1获得的输入图像块中随机选取n对匹配曲线对应的图像块，经过步骤S21处理后合并为
Figure FDA0002447875210000022
其中
Figure FDA0002447875210000023
为曲线Cj对应的归一化矩阵，
Figure FDA0002447875210000024
为曲线Cj'对应的归一化矩阵，曲线Cj和Cj'为匹配曲线对；计算n×n大小的距离矩阵D，其中
Figure FDA0002447875210000025
ai、bj分别为
Figure FDA0002447875210000026
作为输入时步骤S22构建的卷积神经网络输出的特征向量；计算三元组损失函数
Figure FDA0002447875210000027
其中
Figure FDA0002447875210000028
代表最接近ai的非匹配描述子，jmin＝arg minj＝1,…,n,j≠id(ai,bj)，
Figure FDA0002447875210000029
代表最接近bi的非匹配描述子，kmin＝arg mink＝1,…,n,k≠id(ak,bi)，利用梯度下降法获取新的网络参数；
步骤S24：利用步骤S23获得的网络模型参数更新步骤S22构建的卷积神经网络的参数值；
步骤S25：重复步骤S23、S24，直到参数更新达到指定的次数；
步骤S3：获取输入曲线的描述子，具体方式为，对于给定的任一图像，根据步骤S12、S13和S14获取图像中任意一条曲线对应的图像块，根据步骤S21对任意一条曲线的图像块进行处理，将结果输入到步骤S2构造的卷积神经网络中，即可输出该曲线的描述子。
CN202010284244.2A 2020-04-13 2020-04-13 一种基于深度学习的曲线特征描述方法 Pending CN111507360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010284244.2A CN111507360A (zh) 2020-04-13 2020-04-13 一种基于深度学习的曲线特征描述方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010284244.2A CN111507360A (zh) 2020-04-13 2020-04-13 一种基于深度学习的曲线特征描述方法

Publications (1)

Publication Number Publication Date
CN111507360A true CN111507360A (zh) 2020-08-07

Family

ID=71874605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010284244.2A Pending CN111507360A (zh) 2020-04-13 2020-04-13 一种基于深度学习的曲线特征描述方法

Country Status (1)

Country Link
CN (1) CN111507360A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423698A (zh) * 2017-07-14 2017-12-01 华中科技大学 一种基于并联卷积神经网络的手势估计方法
CN109949353A (zh) * 2019-03-25 2019-06-28 北京理工大学 一种低照度图像自然感彩色化方法
CN110197254A (zh) * 2019-04-25 2019-09-03 中国科学院自动化研究所南京人工智能芯片创新研究院 基于深度迁移学习的线特征描述方法
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
CN110490301A (zh) * 2019-04-25 2019-11-22 中国科学院自动化研究所南京人工智能芯片创新研究院 基于卷积神经网络的线特征描述方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423698A (zh) * 2017-07-14 2017-12-01 华中科技大学 一种基于并联卷积神经网络的手势估计方法
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
CN109949353A (zh) * 2019-03-25 2019-06-28 北京理工大学 一种低照度图像自然感彩色化方法
CN110197254A (zh) * 2019-04-25 2019-09-03 中国科学院自动化研究所南京人工智能芯片创新研究院 基于深度迁移学习的线特征描述方法
CN110490301A (zh) * 2019-04-25 2019-11-22 中国科学院自动化研究所南京人工智能芯片创新研究院 基于卷积神经网络的线特征描述方法

Similar Documents

Publication Publication Date Title
CN107135664B (zh) 一种人脸识别的方法以及人脸识别装置
CN109902585B (zh) 一种基于图模型的手指三模态融合识别方法
KR101183391B1 (ko) 메트릭 임베딩에 의한 이미지 비교
CN110197254B (zh) 基于深度迁移学习的线特征描述方法
CN110956681B (zh) 一种结合卷积网络和邻域相似性的人像背景自动替换方法
CN110490301B (zh) 基于卷积神经网络的线特征描述方法
CN110334605A (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
CN112598587B (zh) 一种联合人脸去口罩和超分辨率的图像处理系统和方法
CN110321801B (zh) 一种基于自编码网络的换衣行人重识别方法及系统
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN111626951A (zh) 一种基于内容感知信息的图像阴影消除方法
CN110944201A (zh) 一种视频去重压缩的方法、装置、服务器及存储介质
CN116433887A (zh) 基于人工智能的建筑物快速定位方法
CN106934395B (zh) 一种采用surf特征和颜色特征相融合的刚体目标跟踪方法
CN110781936B (zh) 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法
CN111079585B (zh) 图像增强结合伪孪生卷积神经网络的行人再识别方法
CN110176029B (zh) 基于层级稀疏表示的图像复原与匹配一体化方法及系统
CN111507360A (zh) 一种基于深度学习的曲线特征描述方法
CN110111368B (zh) 一种基于人体姿态识别的相似移动目标的检测跟踪方法
CN115619637A (zh) 一种可移植到arm端的全景图像自动拼接融合方法
WO2022252519A1 (zh) 图像处理方法、装置、终端、介质和程序
Ataman et al. Visible and infrared image fusion using encoder-decoder network
CN111091577B (zh) 基于伪孪生网络的线特征描述方法
CN107481196A (zh) 基于最近特征线的特征转换人脸超分辨率重建方法
CN111027616B (zh) 一种基于端到端学习的线特征描述系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200807

WD01 Invention patent application deemed withdrawn after publication