CN110490301B - 基于卷积神经网络的线特征描述方法 - Google Patents

基于卷积神经网络的线特征描述方法 Download PDF

Info

Publication number
CN110490301B
CN110490301B CN201910709501.XA CN201910709501A CN110490301B CN 110490301 B CN110490301 B CN 110490301B CN 201910709501 A CN201910709501 A CN 201910709501A CN 110490301 B CN110490301 B CN 110490301B
Authority
CN
China
Prior art keywords
straight line
neural network
convolutional neural
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910709501.XA
Other languages
English (en)
Other versions
CN110490301A (zh
Inventor
刘玉洁
刘红敏
张一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Henan University of Technology
Original Assignee
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Nanjing Artificial Intelligence Innovation Research Institute, Henan University of Technology filed Critical Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Publication of CN110490301A publication Critical patent/CN110490301A/zh
Application granted granted Critical
Publication of CN110490301B publication Critical patent/CN110490301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络的线特征描述方法，包括：收集图像并进行预处理组成图像数据集、利用现有直线检测方法获取图像对中的直线、获取正确匹配直线对、确定直线对应的输入图像块；对输入数据进行预处理、构建卷积神经网络、通过三元组损失函数获取新的网络参数、利用获得的网络模型参数更新卷积神经网络的参数值、重复参数更新过程，直到参数更新达到指定的次数；获取输入直线的描述子。本发明提供的方法能够简单快速地得到具有鲁棒性与可区分性的直线描述子。

Description

基于卷积神经网络的线特征描述方法
本申请要求于2019年04月25日提交中国专利局、申请号为201910340618.5、发明名称为“基于卷积神经网络的线特征描述方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及计算机视觉中的图像特征描述领域和深度学习领域，特别是一种基于卷积神经网络的线特征描述方法。
背景技术
线特征是立体场景的重要组成之一，以线特征作为描述基元可简化目标结构的三维表示且更符合人类视觉感知的特点。目前主要有三类方式来描述线特征：第一类方法是基于线特征本身的几何特性，这类方法通常利用线段的几何信息来对该线段进行描述，然而线段几何信息维度太低，不能充分描述图像中的复杂边缘，更难以反映边缘的局部纹理信息，因此通常用于辅助特征匹配；第二类方法是基于线特征间的拓扑关系，Hartley使用三角张量来描述线特征，Tuytelaars等人则使用闭合曲线形成的四边形区域内的高阶颜色矩统计直方图来实现图像的配准，然而颜色信息在许多应用场景并不适用，而且图像中难以检测到较多的闭合曲线；第三类方法是基于线特性的附近区域纹理分布特性，MSLD描述子通过统计像素支撑域内每个子区域4个方向的梯度向量构建描述子矩阵，进一步提高现有描述子的可区分性及鲁棒性，但现有研究局限于单一尺度拍摄的影像之间，对尺度变化比较敏感。相似于MSLD描述子，Zhang等人提出了LBD描述子，首先将直线支撑域分为若干个与直线平行的子区域，通过统计每个子区域内4个方向的梯度向量构建直线描述子，该描述子在直线的局部邻域基础上引入了全局和局部高斯权重系数，匹配效果良好。但是由于同一直线在不同影像上提取结果的差异，直接利用不同影像上直线构建支撑域为非对应区域，对于复杂地物影像，匹配可靠性较弱。
发明内容
本发明针对现有直线描述算法中存在有描述子可区分性和鲁棒性不强导致匹配可靠性较弱的问题，目的是提供一种具有强可区分性和鲁棒性的线特征描述方法。为了实现本目的，基于卷积神经网络的线特征描述方法，包括以下步骤：
步骤S1：构建卷积神经网络的输入图像块；
步骤S11：收集图像并进行预处理，组成图像数据集；
步骤S12：利用现有直线检测方法获取图像对中的直线；
步骤S13：获取正确匹配直线对；
步骤S14：确定直线对应的输入图像块；
步骤S2：训练卷积神经网络；
步骤S21：对输入数据进行预处理；
步骤S22：构建卷积神经网络；
步骤S23：通过三元组损失函数获取新的网络参数；
步骤S24：利用步骤S23获得的网络模型参数更新步骤S22构建的卷积神经网络的参数值；
步骤S25：重复步骤S23、S24，直到参数更新达到指定的次数；步骤S3：获取输入直线的描述子；
针对现有直线描述算法中存在有描述子可区分性和鲁棒性不强导致匹配可靠性较弱的问题，本发明提供的基于卷积神经网络的线特征描述方法通过提取线特征上所有点及其邻域的像素均值与标准差作为训练样本，输入卷积神经网络模型中进行训练，最终获取所需的直线描述子。本发明提供的方法不仅可以获得具有强可区分性和鲁棒性的线特征描述子，而且操作简单，可获得多种不同情况下的线特征描述子。
附图说明
图1所示为本发明基于卷积神经网络的线特征描述方法流程图；
图2所示为本发明卷积神经网络模型的结构图。
具体实施方式
图1所示为本发明基于卷积神经网络的线特征描述方法流程图，该方法的主要步骤包括：收集图像并进行预处理组成图像数据集、利用现有直线检测方法获取图像对中的直线、获取正确匹配直线对、确定直线对应的输入图像块；对输入数据进行预处理、构建卷积神经网络、通过三元组损失函数获取新的网络参数、利用前一步骤获得的网络模型参数更新构建的卷积神经网络的参数值、重复参数更新过程，直到参数更新达到指定的次数；获取输入直线的描述子。各步骤的具体实施细节如下：
步骤S1：构建卷积神经网络的输入图像块，具体方式包括步骤S11、S12、S13、S14；
步骤S11：收集图像并进行预处理，组成图像数据集，具体方式为，收集不同场景下的图像，对其做光照、模糊、噪音以及压缩等不同情况的变化处理，原图像与处理后的图像构成图像对，输入计算机；
步骤S12：利用现有直线检测方法获取图像对中的直线；
步骤S13：获取正确匹配直线对，具体方式为，对于任一图像对，利用现有直线描述子进行直线匹配，然后剔除错误匹配，获得图像对中的正确匹配直线对集合{(Lj,Lj'),j＝1,2,…,NL}，其中Lj表示图像对中第1幅图像中的直线，Lj'表示图像对中第2幅图像中与Lj正确匹配的直线，NL为匹配直线对的个数；
步骤S14：确定直线对应的输入图像块，具体方式为，对于步骤S13获得的正确匹配直线对集合中的任一由Num(L)个点组成的直线L，记L上任一像素点为Pk,k＝1,2,…,Num(L)，将以Pk为中心、64为长和宽的方形区域定义为点Pk的支撑区域，点Pk支撑区域的亮度值矩阵记为I(Pk)，计算直线L的均值矩阵M(L)＝Mean(I(P1),I(P2),…,I(PNum(L)))和标准差矩阵STD(L)＝Std(I(P1),I(P2),…,I(PNum(L)))，其中Mean表示计算亮度矩阵的均值，Std表示计算亮度矩阵的标准差，则直线L对应的卷积神经网络的输入图像块为AL＝[M(L),STD(L)]；
步骤S2：训练卷积神经网络，具体方式包括步骤S21、S22、S23、S24、S25；
步骤S21：对输入数据进行预处理，具体方式为，对于步骤S14获得的任一输入图像块AL＝[M(L),STD(L)]，将AL转换为大小为64×64×2的矩阵AL'，其中AL'(:,:,1)＝M(L),AL'(:,:,2)＝STD(L)，然后对AL'进行归一化获得āL＝(AL'-Mean(AL'))/Std(AL')；
步骤S22：构建卷积神经网络，卷积神经网络的结构如图2所示：具体方式为，搭建L2-Net卷积神经网络，将L2-Net第一层卷积核的大小由3×3修改为3×3×2、最后一层卷积核的大小由为8×8修改为16×16，其他设置与L2-Net相同，获得用于线特征描述的卷积神经网络，该网络的初始化参数使用Pytorch中默认的初始值；
步骤S23：通过三元组损失函数获取新的网络参数，具体方式为，从步骤S1获得的输入图像块中随机选取n对匹配直线对应的图像块，经过步骤S21处理后合并为
Figure BDA0002153230210000051
其中
Figure BDA0002153230210000052
为直线Lj对应的归一化矩阵，
Figure BDA0002153230210000053
为直线Lj'对应的归一化矩阵，直线Lj和Lj'为匹配直线对；计算大小为n×n的距离矩阵D，其中,
Figure BDA0002153230210000054
ai,bi分别为
Figure BDA0002153230210000055
作为输入时步骤S22构建的卷积神经网络输出的特征向量；计算三元组损失函数
Figure BDA0002153230210000056
其中
Figure BDA0002153230210000057
代表最接近ai的非匹配描述子，jmin＝argminj＝1,...,n,j≠id(ai,bi),，
Figure BDA0002153230210000058
代表最接近bi的非匹配描述子，kmin＝argmink＝1,...n,k≠1d(ai,bi)，,根据Loss函数利用梯度下降法获取新的网络参数；
步骤S24：利用步骤S23获得的网络模型参数更新步骤S22构建的卷积神经网络的参数值；
步骤S25：重复步骤S23、S24，直到参数更新达到指定的次数；
步骤S3：获取输入直线的描述子，具体方式为，对于给定的任一图像，根据步骤S12、S13和S14获取图像中任一直线对应的图像块，根据步骤S21对任一直线的图像块进行处理，将结果输入到步骤S2获得的卷积神经网络中，即可输出该直线的描述子。
针对现有直线描述算法中存在有描述子可区分性和鲁棒性不强导致匹配可靠性较弱的问题，本发明提供的基于卷积神经网络的线特征描述方法通过提取线特征上所有点及其邻域的像素均值与标准差作为训练样本，输入卷积神经网络模型中进行训练，最终获取所需的直线描述子。本发明提供的方法不仅可以获得具有强可区分性和鲁棒性的线特征描述子，而且操作简单，可获得多种不同情况下的线特征描述子。

Claims (1)

1.一种基于卷积神经网络的线特征描述方法，其特征在于，包括步骤：
步骤S1：构建卷积神经网络的输入图像块，具体方式包括步骤S11、S12、S13、S14；
步骤S11：收集图像并进行预处理，组成图像数据集，具体方式为，收集不同场景下的图像，对其做光照、模糊、噪音以及压缩等不同情况的变化处理，原图像与处理后的图像构成图像对，输入计算机；
步骤S12：利用现有直线检测方法获取图像对中的直线；
步骤S13：获取正确匹配直线对，具体方式为，对于任一图像对，利用现有直线描述子进行直线匹配，然后剔除错误匹配，获得图像对中的正确匹配直线对集合{(Lj,Lj'),j＝1,2,…,NL}，其中Lj表示图像对中第1幅图像中的直线，Lj'表示图像对中第2幅图像中与Lj正确匹配的直线，NL为匹配直线对的个数；
步骤S14：确定直线对应的输入图像块，具体方式为，对于步骤S13获得的正确匹配直线对集合中的任一由Num(L)个点组成的直线L，记L上任一像素点为Pk,k＝1,2,…,Num(L)，将以Pk为中心、64为长和宽的方形区域定义为点Pk的支撑区域，点Pk支撑区域的亮度值矩阵记为I(Pk)，计算直线L的均值矩阵M(L)＝Mean(I(P1),I(P2),…,I(PNum(L)))和标准差矩阵STD(L)＝Std(I(P1),I(P2),…,I(PNum(L)))，其中Mean表示计算亮度矩阵的均值，Std表示计算亮度矩阵的标准差，则直线L对应的卷积神经网络的输入图像块为AL＝[M(L),STD(L)]；
步骤S2：训练卷积神经网络，具体方式包括步骤S21、S22、S23、S24、S25；
步骤S21：对输入数据进行预处理，具体方式为，对于步骤S14获得的任一输入图像块AL＝[M(L),STD(L)]，将AL转换为大小为64×64×2的矩阵AL'，其中AL'(:,:,1)＝M(L),AL'(:,:,2)＝STD(L)，然后对AL'进行归一化获得
Figure FDA0003622355020000027
步骤S22：构建卷积神经网络，具体方式为，搭建L2-Net卷积神经网络，将L2-Net第一层卷积核的大小由3×3修改为3×3×2、最后一层卷积核的大小由为8×8修改为16×16，其他设置与L2-Net相同，获得用于线特征描述的卷积神经网络，该网络的初始化参数使用Pytorch中默认的初始值；
步骤S23：通过三元组损失函数获取新的网络参数，具体方式为，从步骤S1获得的输入图像块中随机选取n对匹配直线对应的图像块，经过步骤S21处理后合并为
Figure FDA0003622355020000021
其中
Figure FDA0003622355020000022
为直线Lj对应的归一化矩阵，
Figure FDA0003622355020000023
为直线Lj'对应的归一化矩阵，直线Lj和Lj'为匹配直线对；计算大小为n×n的距离矩阵D，其中,
Figure FDA0003622355020000024
分别为
Figure FDA0003622355020000025
作为输入时步骤S22构建的卷积神经网络输出的特征向量；计算三元组损失函数
Figure FDA0003622355020000026
其中
Figure FDA0003622355020000028
代表最接近ai的非匹配描述子，jmin＝argminj＝1,...,n,j≠id(ai,bj)，
Figure FDA0003622355020000029
代表最接近bj的非匹配描述子，imin＝argmini＝1,...n,i≠jd(ai,bj)，根据Loss函数利用梯度下降法获取新的网络参数；
步骤S24：利用步骤S23获得的网络模型参数更新步骤S22构建的卷积神经网络的参数值；
步骤S25：重复步骤S23、S24，直到参数更新达到指定的次数；
步骤S3：获取输入直线的描述子，具体方式为，对于给定的任一图像，根据步骤S12、S13和S14获取图像中任一直线对应的图像块，根据步骤S21对任一直线的图像块进行处理，将结果输入到步骤S2获得的卷积神经网络中，即可输出该直线的描述子。
CN201910709501.XA 2019-04-25 2019-08-02 基于卷积神经网络的线特征描述方法 Active CN110490301B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019103406185 2019-04-25
CN201910340618.5A CN110163343A (zh) 2019-04-25 2019-04-25 基于卷积神经网络的线特征描述方法

Publications (2)

Publication Number Publication Date
CN110490301A CN110490301A (zh) 2019-11-22
CN110490301B true CN110490301B (zh) 2022-10-11

Family

ID=67640015

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910340618.5A Pending CN110163343A (zh) 2019-04-25 2019-04-25 基于卷积神经网络的线特征描述方法
CN201910709501.XA Active CN110490301B (zh) 2019-04-25 2019-08-02 基于卷积神经网络的线特征描述方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910340618.5A Pending CN110163343A (zh) 2019-04-25 2019-04-25 基于卷积神经网络的线特征描述方法

Country Status (1)

Country Link
CN (2) CN110163343A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027616B (zh) * 2019-12-06 2023-05-05 中科南京人工智能创新研究院 一种基于端到端学习的线特征描述系统
CN111507360A (zh) * 2020-04-13 2020-08-07 河南理工大学 一种基于深度学习的曲线特征描述方法
CN112183637B (zh) * 2020-09-29 2024-04-09 中科方寸知微(南京)科技有限公司 一种基于神经网络的单光源场景光照重渲染方法及系统
CN115439673B (zh) * 2022-11-10 2023-03-24 中山大学 基于扇形卷积神经网络的图像特征匹配方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100370220B1 (ko) * 2000-12-27 2003-02-12 삼성전자 주식회사 직선 기반의 영상 정합 방법
CN101488223B (zh) * 2008-01-16 2012-03-28 中国科学院自动化研究所 基于曲线均值标准差描述子的图像曲线特征匹配方法
CN106295652A (zh) * 2016-07-27 2017-01-04 中测高科（北京）测绘工程技术有限责任公司 一种直线特征匹配方法及系统

Also Published As

Publication number Publication date
CN110490301A (zh) 2019-11-22
CN110163343A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110490301B (zh) 基于卷积神经网络的线特征描述方法
CN106023185B (zh) 一种输电设备故障诊断方法
WO2020181872A1 (zh) 一种物体检测方法、装置及电子设备
WO2020177513A1 (zh) 图像处理方法、装置、设备以及存储介质
JP6497579B2 (ja) 画像合成システム、画像合成方法、画像合成プログラム
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN110268420B (zh) 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN108550166B (zh) 一种空间目标图像匹配方法
CN110268442B (zh) 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
CN110246111A (zh) 基于融合图像和强化图像的无参考立体图像质量评价方法
CN104318216B (zh) 视频监控中跨盲区行人目标的识别匹配方法
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN108197669A (zh) 卷积神经网络的特征训练方法及装置
CN110852207A (zh) 基于面向对象影像分类技术的蓝色屋顶建筑物提取方法
CN103268482A (zh) 一种低复杂度的手势提取和手势深度获取方法
CN114140320B (zh) 图像迁移方法和图像迁移模型的训练方法、装置
CN115588033A (zh) 基于结构提取的合成孔径雷达与光学图像配准系统及方法
JP6801020B2 (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
CN104392209B (zh) 一种目标与背景的图像复杂度评价方法
Grigoryan et al. Color facial image representation with new quaternion gradients
CN116167921B (zh) 一种飞行太空舱全景图像拼接方法及系统
CN112232119A (zh) 一种遥感纹理图像分割方法及装置
CN115273184B (zh) 人脸活体检测模型训练方法及装置
CN116703744A (zh) 一种基于卷积神经网络的遥感影像匀光匀色方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 211135 floor 3, building 3, Qilin artificial intelligence Industrial Park, 266 Chuangyan Road, Nanjing, Jiangsu

Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute

Applicant after: HENAN POLYTECHNIC University

Address before: 211135 3rd floor, building 3, 266 Chuangyan Road, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Applicant before: HENAN POLYTECHNIC University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant