CN110163343A - 基于卷积神经网络的线特征描述方法 - Google Patents
基于卷积神经网络的线特征描述方法 Download PDFInfo
- Publication number
- CN110163343A CN110163343A CN201910340618.5A CN201910340618A CN110163343A CN 110163343 A CN110163343 A CN 110163343A CN 201910340618 A CN201910340618 A CN 201910340618A CN 110163343 A CN110163343 A CN 110163343A
- Authority
- CN
- China
- Prior art keywords
- line
- image
- straight line
- convolutional neural
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于卷积神经网络的线特征描述方法,包括:收集图像并进行预处理组成图像数据集、利用现有直线检测方法获取图像对中的直线、获取正确匹配直线对、确定直线对应的输入图像块;对输入数据进行预处理、构建卷积神经网络、通过三元组损失函数获取新的网络参数、利用获得的网络模型参数更新卷积神经网络的参数值、重复参数更新过程,直到参数更新达到指定的次数;获取输入直线的描述子。本发明提供的方法能够简单快速地得到具有鲁棒性与可区分性的直线描述子。
Description
技术领域
本发明涉及计算机视觉中的图像特征描述领域和深度学习领域, 特别是一种基于卷积神经网络的线特征描述方法。
背景技术
线特征是立体场景的重要组成之一,以线特征作为描述基元可简 化目标结构的三维表示且更符合人类视觉感知的特点。目前主要有三 类方式来描述线特征:第一类方法是基于线特征本身的几何特性,这 类方法通常利用线段的几何信息来对该线段进行描述,然而线段几何 信息维度太低,不能充分描述图像中的复杂边缘,更难以反映边缘的 局部纹理信息,因此通常用于辅助特征匹配;第二类方法是基于线特 征间的拓扑关系,Hartley使用三角张量来描述线特征,Tuytelaars等人 则使用闭合曲线形成的四边形区域内的高阶颜色矩统计直方图来实现 图像的配准,然而颜色信息在许多应用场景并不适用,而且图像中难 以检测到较多的闭合曲线;第三类方法是基于线特性的附近区域纹理 分布特性,MSLD描述子通过统计像素支撑域内每个子区域4个方向 的梯度向量构建描述子矩阵,进一步提高现有描述子的可区分性及鲁 棒性,但现有研究局限于单一尺度拍摄的影像之间,对尺度变化比较 敏感。相似于MSLD描述子,Zhang等人提出了LBD描述子,首先将 直线支撑域分为若干个与直线平行的子区域,通过统计每个子区域内4 个方向的梯度向量构建直线描述子,该描述子在直线的局部邻域基础 上引入了全局和局部高斯权重系数,匹配效果良好。但是由于同一直 线在不同影像上提取结果的差异,直接利用不同影像上直线构建支撑域为非对应区域,对于复杂地物影像,匹配可靠性较弱。
发明内容
本发明针对现有直线描述算法中存在有描述子可区分性和鲁棒性 不强导致匹配可靠性较弱的问题,目的是提供一种具有强可区分性和 鲁棒性的线特征描述方法。为了实现本目的,基于卷积神经网络的线 特征描述方法,包括以下步骤:
步骤S1:构建卷积神经网络的输入图像块;
步骤S11:收集图像并进行预处理,组成图像数据集;
步骤S12:利用现有直线检测方法获取图像对中的直线;
步骤S13:获取正确匹配直线对;
步骤S14:确定直线对应的输入图像块;
步骤S2:训练卷积神经网络;
步骤S21:对输入数据进行预处理;
步骤S22:构建卷积神经网络;
步骤S23:通过三元组损失函数获取新的网络参数;
步骤S24:利用步骤S23获得的网络模型参数更新步骤S22构建的 卷积神经网络的参数值;
步骤S25:重复步骤S23、S24,直到参数更新达到指定的次数;
步骤S3:获取输入直线的描述子;
针对现有直线描述算法中存在有描述子可区分性和鲁棒性不强导 致匹配可靠性较弱的问题,本发明提供的基于卷积神经网络的线特征 描述方法通过提取线特征上所有点及其邻域的像素均值与标准差作为 训练样本,输入卷积神经网络模型中进行训练,最终获取所需的直线 描述子。本发明提供的方法不仅可以获得具有强可区分性和鲁棒性的 线特征描述子,而且操作简单,可获得多种不同情况下的线特征描述 子。
附图说明
图1所示为本发明基于卷积神经网络的线特征描述方法流程图;
图2所示为本发明卷积神经网络模型的结构图。
具体实施方式
图1所示为本发明基于卷积神经网络的线特征描述方法流程图, 该方法的主要步骤包括:收集图像并进行预处理组成图像数据集、利 用现有直线检测方法获取图像对中的直线、获取正确匹配直线对、确 定直线对应的输入图像块;对输入数据进行预处理、构建卷积神经网 络、通过三元组损失函数获取新的网络参数、利用前一步骤获得的网 络模型参数更新构建的卷积神经网络的参数值、重复参数更新过程, 直到参数更新达到指定的次数;获取输入直线的描述子。各步骤的具 体实施细节如下:
步骤S1:构建卷积神经网络的输入图像块,具体方式包括步骤S11、 S12、S13、S14;
步骤S11:收集图像并进行预处理,组成图像数据集,具体方式为, 收集不同场景下的图像,对其做光照、模糊、噪音以及压缩等不同情 况的变化处理,原图像与处理后的图像构成图像对,输入计算机;
步骤S12:利用现有直线检测方法获取图像对中的直线;
步骤S13:获取正确匹配直线对,具体方式为,对于任一图像对, 利用现有直线描述子进行直线匹配,然后剔除错误匹配,获得图像对 中的正确匹配直线对集合{(Lj,Lj'),j=1,2,…,NL},其中Lj表示图像对中 第1幅图像中的直线,Lj'表示图像对中第2幅图像中与Lj正确匹配的 直线,NL为匹配直线对的个数;
步骤S14:确定直线对应的输入图像块,具体方式为,对于步骤 S13获得的正确匹配直线对集合中的任一由Num(L)个点组成的直线L, 记L上任一像素点为Pk,k=1,2,…,Num(L),将以Pk为中心、64为长和 宽的方形区域定义为点Pk的支撑区域,点Pk支撑区域的亮度值矩阵 记为I(Pk),计算直线L的均值矩阵 M(L)=Mean(I(P1),I(P2),…,I(PNum(L)))和标准差矩阵 STD(L)=Std(I(P1),I(P2),…,I(PNum(L))),其中Mean表示计算亮度矩阵 的均值,Std表示计算亮度矩阵的标准差,则直线L对应的卷积神经网 络的输入图像块为AL=[M(L),STD(L)];
步骤S2:训练卷积神经网络,具体方式包括步骤S21、S22、S23、 S24、S25;
步骤S21:对输入数据进行预处理,具体方式为,对于步骤S14 获得的任一输入图像块AL=[M(L),STD(L)],将AL转换为大小为64×64×2 的矩阵AL',其中AL'(:,:,1)=M(L),AL'(:,:,2)=STD(L),然后对AL'进行归一 化获得āL=(AL'-Mean(AL'))/Std(AL');
步骤S22:构建卷积神经网络,卷积神经网络的结构如图2所示: 具体方式为,搭建L2-Net卷积神经网络,将L2-Net第一层卷积核的大 小由3×3修改为3×3×2、最后一层卷积核的大小由为8×8修改为16×16, 其他设置与L2-Net相同,获得用于线特征描述的卷积神经网络,该网 络的初始化参数使用Pytorch中默认的初始值;
步骤S23:通过三元组损失函数获取新的网络参数,具体方式为, 从步骤S1获得的输入图像块中随机选取n对匹配直线对应的图像块, 经过步骤S21处理后合并为其中为直线Lj对应的 归一化矩阵,为直线Lj'对应的归一化矩阵,直线Lj和Lj'为匹配 直线对;计算大小为n×n的距离矩阵D,其中分别为作为输入时步骤 S22构建的卷积神经网络输出的特征向量;计算三元组损失函数其中代表最接 近ai的非匹配描述子,jmin=argminj=1,...,n,j≠id(ai,bi),,代表最接近bi的 非匹配描述子,kmin=argmink=1,...n,k≠1d(ai,bi),,根据Loss函数利用梯度下 降法获取新的网络参数;步骤S24:利用步骤S23获得的网络模型参 数更新步骤S22构建的卷积神经网络的参数值;
步骤S24:利用步骤S23获得的网络模型参数更新步骤S22构建的 卷积神经网络的参数值;
步骤S25:重复步骤S23、S24,直到参数更新达到指定的次数;
步骤S3:获取输入直线的描述子,具体方式为,对于给定的任一 图像,根据步骤S12、S13和S14获取图像中任一直线对应的图像块, 根据步骤S21对任一直线的图像块进行处理,将结果输入到步骤S2获 得的卷积神经网络中,即可输出该直线的描述子。
针对现有直线描述算法中存在有描述子可区分性和鲁棒性不强导 致匹配可靠性较弱的问题,本发明提供的基于卷积神经网络的线特征 描述方法通过提取线特征上所有点及其邻域的像素均值与标准差作为 训练样本,输入卷积神经网络模型中进行训练,最终获取所需的直线 描述子。本发明提供的方法不仅可以获得具有强可区分性和鲁棒性的 线特征描述子,而且操作简单,可获得多种不同情况下的线特征描述 子。
Claims (1)
1.一种基于卷积神经网络的线特征描述方法,其特征在于,包括步骤:
步骤S1:构建卷积神经网络的输入图像块,具体方式包括步骤S11、S12、S13、S14;
步骤S11:收集图像并进行预处理,组成图像数据集,具体方式为,收集不同场景下的图像,对其做光照、模糊、噪音以及压缩等不同情况的变化处理,原图像与处理后的图像构成图像对,输入计算机;
步骤S12:利用现有直线检测方法获取图像对中的直线;
步骤S13:获取正确匹配直线对,具体方式为,对于任一图像对,利用现有直线描述子进行直线匹配,然后剔除错误匹配,获得图像对中的正确匹配直线对集合{(Lj,Lj'),j=1,2,…,NL},其中Lj表示图像对中第1幅图像中的直线,Lj'表示图像对中第2幅图像中与Lj正确匹配的直线,NL为匹配直线对的个数;
步骤S14:确定直线对应的输入图像块,具体方式为,对于步骤S13获得的正确匹配直线对集合中的任一由Num(L)个点组成的直线L,记L上任一像素点为Pk,k=1,2,…,Num(L),将以Pk为中心、64为长和宽的方形区域定义为点Pk的支撑区域,点Pk支撑区域的亮度值矩阵记为I(Pk),计算直线L的均值矩阵M(L)=Mean(I(P1),I(P2),…,I(PNum(L)))和标准差矩阵STD(L)=Std(I(P1),I(P2),…,I(PNum(L))),其中Mean表示计算亮度矩阵的均值,Std表示计算亮度矩阵的标准差,则直线L对应的卷积神经网络的输入图像块为AL=[M(L),STD(L)];
步骤S2:训练卷积神经网络,具体方式包括步骤S21、S22、S23、S24、S25;
步骤S21:对输入数据进行预处理,具体方式为,对于步骤S14获得的任一输入图像块AL=[M(L),STD(L)],将AL转换为大小为64×64×2的矩阵AL',其中AL'(:,:,1)=M(L),AL'(:,:,2)=STD(L),然后对AL'进行归一化获得āL=(AL'-Mean(AL'))/Std(AL');
步骤S22:构建卷积神经网络,具体方式为,搭建L2-Net卷积神经网络,将L2-Net第一层卷积核的大小由3×3修改为3×3×2、最后一层卷积核的大小由为8×8修改为16×16,其他设置与L2-Net相同,获得用于线特征描述的卷积神经网络,该网络的初始化参数使用Pytorch中默认的初始值;
步骤S23:通过三元组损失函数获取新的网络参数,具体方式为,从步骤S1获得的输入图像块中随机选取n对匹配直线对应的图像块,经过步骤S21处理后合并为其中为直线Lj对应的归一化矩阵,为直线Lj'对应的归一化矩阵,直线Lj和Lj'为匹配直线对;计算大小为n×n的距离矩阵D,其中,分别为作为输入时步骤S22构建的卷积神经网络输出的特征向量;计算三元组损失函数其中代表最接近ai的非匹配描述子,jmin=arg minj=1,...,n,j≠id(ai,bi),,代表最接近bi的非匹配描述子,kmin=arg mink=1,...n,k≠1d(ai,bi),,根据Loss函数利用梯度下降法获取新的网络参数;
步骤S24:利用步骤S23获得的网络模型参数更新步骤S22构建的卷积神经网络的参数值;
步骤S25:重复步骤S23、S24,直到参数更新达到指定的次数;
步骤S3:获取输入直线的描述子,具体方式为,对于给定的任一图像,根据步骤S12、S13和S14获取图像中任一直线对应的图像块,根据步骤S21对任一直线的图像块进行处理,将结果输入到步骤S2获得的卷积神经网络中,即可输出该直线的描述子。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910340618.5A CN110163343A (zh) | 2019-04-25 | 2019-04-25 | 基于卷积神经网络的线特征描述方法 |
CN201910709501.XA CN110490301B (zh) | 2019-04-25 | 2019-08-02 | 基于卷积神经网络的线特征描述方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910340618.5A CN110163343A (zh) | 2019-04-25 | 2019-04-25 | 基于卷积神经网络的线特征描述方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110163343A true CN110163343A (zh) | 2019-08-23 |
Family
ID=67640015
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910340618.5A Pending CN110163343A (zh) | 2019-04-25 | 2019-04-25 | 基于卷积神经网络的线特征描述方法 |
CN201910709501.XA Active CN110490301B (zh) | 2019-04-25 | 2019-08-02 | 基于卷积神经网络的线特征描述方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910709501.XA Active CN110490301B (zh) | 2019-04-25 | 2019-08-02 | 基于卷积神经网络的线特征描述方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN110163343A (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027616B (zh) * | 2019-12-06 | 2023-05-05 | 中科南京人工智能创新研究院 | 一种基于端到端学习的线特征描述系统 |
CN111507360A (zh) * | 2020-04-13 | 2020-08-07 | 河南理工大学 | 一种基于深度学习的曲线特征描述方法 |
CN112183637B (zh) * | 2020-09-29 | 2024-04-09 | 中科方寸知微(南京)科技有限公司 | 一种基于神经网络的单光源场景光照重渲染方法及系统 |
CN115439673B (zh) * | 2022-11-10 | 2023-03-24 | 中山大学 | 基于扇形卷积神经网络的图像特征匹配方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100370220B1 (ko) * | 2000-12-27 | 2003-02-12 | 삼성전자 주식회사 | 직선 기반의 영상 정합 방법 |
CN101488223B (zh) * | 2008-01-16 | 2012-03-28 | 中国科学院自动化研究所 | 基于曲线均值标准差描述子的图像曲线特征匹配方法 |
CN106295652A (zh) * | 2016-07-27 | 2017-01-04 | 中测高科(北京)测绘工程技术有限责任公司 | 一种直线特征匹配方法及系统 |
-
2019
- 2019-04-25 CN CN201910340618.5A patent/CN110163343A/zh active Pending
- 2019-08-02 CN CN201910709501.XA patent/CN110490301B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110490301B (zh) | 2022-10-11 |
CN110490301A (zh) | 2019-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163343A (zh) | 基于卷积神经网络的线特征描述方法 | |
CN111488756B (zh) | 基于面部识别的活体检测的方法、电子设备和存储介质 | |
CN107767413B (zh) | 一种基于卷积神经网络的图像深度估计方法 | |
CN108717524B (zh) | 一种基于双摄手机和人工智能系统的手势识别系统 | |
CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
CN107480649B (zh) | 一种基于全卷积神经网络的指纹汗孔提取方法 | |
CN109584193A (zh) | 一种基于目标预提取的无人机红外与可见光图像融合方法 | |
CN113159300B (zh) | 图像检测神经网络模型及其训练方法、图像检测方法 | |
US20230085605A1 (en) | Face image processing method, apparatus, device, and storage medium | |
KR20180065889A (ko) | 타겟의 검측 방법 및 장치 | |
JP2022532177A (ja) | 偽造された顔の認識方法、装置、および非一時的コンピュータ可読記憶媒体 | |
CN111597933B (zh) | 人脸识别方法和装置 | |
CN109871845A (zh) | 证件图像提取方法及终端设备 | |
CN112651333B (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
CN111583148A (zh) | 基于生成对抗网络的岩心图像重构方法 | |
CN109919246A (zh) | 基于自适应特征聚类和多重损失融合的行人重识别方法 | |
CN107292307A (zh) | 一种倒置汉字验证码自动识别方法及系统 | |
CN113298024A (zh) | 一种基于轻量化神经网络的无人机对地小目标识别方法 | |
CN109559362A (zh) | 一种图像主体脸部替换方法及装置 | |
CN110197254A (zh) | 基于深度迁移学习的线特征描述方法 | |
CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
CN109241867A (zh) | 采用人工智能算法识别数字岩心图像的方法及装置 | |
CN110503113A (zh) | 一种基于低秩矩阵恢复的图像显著性目标检测方法 | |
CN109472790A (zh) | 一种机械零件缺陷检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190823 |
|
WD01 | Invention patent application deemed withdrawn after publication |