CN112348038A - 一种基于胶囊网络的视觉定位方法 - Google Patents

一种基于胶囊网络的视觉定位方法 Download PDF

Info

Publication number
CN112348038A
CN112348038A CN202011375939.8A CN202011375939A CN112348038A CN 112348038 A CN112348038 A CN 112348038A CN 202011375939 A CN202011375939 A CN 202011375939A CN 112348038 A CN112348038 A CN 112348038A
Authority
CN
China
Prior art keywords
capsule
layer
image
network
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011375939.8A
Other languages
English (en)
Inventor
孙浩
焦明连
殷梓峰
方美丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Ocean University
Original Assignee
Jiangsu Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Ocean University filed Critical Jiangsu Ocean University
Priority to CN202011375939.8A priority Critical patent/CN112348038A/zh
Publication of CN112348038A publication Critical patent/CN112348038A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

一种基于胶囊网络的视觉定位方法，该方法采用密集卷积网络对用户输入的图像进行提取图像深层特征，然后配合胶囊网络对提取的图像深层特征与现有的图像进行匹配，以得到匹配程度最高的一幅图像，进而实现用户定位，提高了图像的特征匹配度，减少了影像中噪声的影响；本发明改善了传统胶囊网络仅采用一层卷积进行空间特征提取，未能很好的提取深层特征，使得模型整体精准度不高的问题，改进的胶囊网络引入了密集卷积网络来提取图像深层特征，使图像特征更具判断力，进而提高图像匹配的准确率。

Description

一种基于胶囊网络的视觉定位方法
技术领域
本发明涉及定位技术领域，特别是一种基于胶囊网络的视觉定位方法。
背景技术
目前，基于SIFT的街景影像特征表达的方法为：
首先，进行尺度空间极值点检测，包括构造高斯差分金字塔的尺度空间，一般利用高斯卷积核实现图像的尺度变化；尺度空间L被定义为一个变化尺度的高斯函数G与原图像I的卷积，定理公式为
L(x，y，σ)＝G(x，y，σ)*I(x，y)；
然后，寻找局部极值点，并进行关键点的确认和关键点的方向指向；
上一步已计算出每个SIFT特征点的主方向，依照特征点所处尺度空间选择对应的图像，计算特征点附近各关键点的梯度方向以及梯度的模，并将新的关键点梯度方向覆盖原来的梯度方向，实现特征描述符的方向不变性；接着，根据这些数据(主方向、坐标、尺度)生成特征描述子，最终，提取出影像的SIFT特征图，与数据库中的影像进行查询匹配来确定位置信息。
但是，由于匹配的影像会包含一些噪声，比如流动的行人、车辆、四季变化的行道树等，这些噪声会造成影像特征的误匹配使得影像在匹配过程中的准确率降低。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种可以解决在城区中的高密度建筑物等遮挡严重的建成区，使得定位卫星的信号受到限制而无法进行定位或者定位精度较差的问题的基于胶囊网络的视觉定位方法。
本发明所要解决的技术问题是通过以下的技术方案来实现的。本发明是一种基于胶囊网络的视觉定位方法，该方法采用密集卷积网络对用户输入的图像进行提取图像深层特征，然后配合胶囊网络对提取的图像深层特征与现有的图像进行匹配，以得到匹配程度最高的一幅图像，进而实现用户定位。
本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的基于胶囊网络的视觉定位方法，该方法步骤如下：
(1)获取目标影像数据，并将目标影像数据建立图像数据库；
(2)输入图像；
(3)采用密集卷积网络和胶囊网络配合的方法对用户输入的图像和图像数据库中的目标图像进行全局特征信息的提取；
(4)将用户输入的图像与图像数据库中的目标图像进行匹配并找到匹配程度最高的一幅图像，进而得到用户输入图像所在位置。
本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的基于胶囊网络的视觉定位方法，该方法采用建立胶囊网络模型进行图像匹配，胶囊网络模型包括输入层、密集卷积层、主胶囊层、数字胶囊层和输出层，输入层用于输入用户照片；密集卷积层用于使用4个密集卷积模块提取输入图像的高层次特征；主胶囊层用于对图像特征进行进一步提取、整合；数字胶囊层用于计算图像匹配概率；输出层用于输出匹配图像。
本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的基于胶囊网络的视觉定位方法，密集卷积网络中每层网络既与下层网络连接，又与后面每一层网络连接即每一层的输入都是前面所有层输出的并集，第1层得到的特征图x1是前面所有特征图连接之后合并的结果：
xl＝Hl([x0，x1，…，xl-1])
式中，[x0，x1，...，xl-1]表示将第0层到1-1层特征图进行合并；H1为非线性转换函数，其中包含三个操作：批量规范化，修正线性单元和3*3卷积。
本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的基于胶囊网络的视觉定位方法，胶囊网络的前后层胶囊之间采用动态路由算法进行更新，在动态路由算法规则中，下层胶囊由上层胶囊计算得出：
每个上层胶囊i连接到下层胶囊j的概率为：
Figure BDA0002808321170000031
式中，Cij为耦合系数，是下层胶囊i激活上层胶囊j的概率；bij是胶囊i连接到胶囊j的先验概率，初始值设置为0；
根据耦合系数Cij计算加权求和得输入向量sj：
Figure BDA0002808321170000032
Figure BDA0002808321170000033
式中：ui为上层胶囊的输出，
Figure BDA0002808321170000034
为上层胶囊预测向量，Wij为相邻两层的权值转化矩阵，sj为输入向量；
使用判别式学习实现非线性压缩，并通过其实现胶囊层级的激活功能；输出向量vj表示为：
Figure BDA0002808321170000035
式中：vj为输出向量，sj为输入向量；
在路由更新环节中通过输出向量vj与上层胶囊预测向量
Figure BDA0002808321170000036
相乘进行更新bij，bij的更新计算公式如下：
Figure BDA0002808321170000037
式中，bij为是胶囊i连接到胶囊j的先验概率，
Figure BDA0002808321170000038
为上层胶囊预测向量，vj为输出向量。
与现有技术相比，本发明采用密集卷积网络对用户输入的图像进行提取图像深层特征，然后配合胶囊网络对提取的图像深层特征与现有的图像进行匹配，以得到匹配程度最高的一幅图像，进而实现用户定位，提高了图像的特征匹配度，减少了影像中噪声的影响；本发明改善了传统胶囊网络仅采用一层卷积进行空间特征提取，未能很好的提取深层特征，使得模型整体精准度不高的问题，改进的胶囊网络引入了密集卷积网络来提取图像深层特征，使图像特征更具判断力，进而提高图像匹配的准确率。
附图说明
图1为本发明胶囊网络模型的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，一种基于胶囊网络的视觉定位方法，该方法采用密集卷积网络对用户输入的图像进行提取图像深层特征，然后配合胶囊网络对提取的图像深层特征与现有的图像进行匹配，以得到匹配程度最高的一幅图像，进而实现用户定位；
该方法步骤如下：
(1)获取目标影像数据，并将目标影像数据建立图像数据库，其中每张影像数据包括图片名称、经纬度、俯仰角等元数据；
(2)输入图像，即用户的照片；
(3)采用密集卷积网络和胶囊网络配合的方法对用户输入的图像和图像数据库中的目标图像进行全局特征信息的提取；
(4)将用户输入的图像与图像数据库中的目标图像进行匹配并找到匹配程度最高的一幅图像，进而得到用户输入图像所在位置。
该方法采用建立胶囊网络模型进行图像匹配，胶囊网络模型包括输入层、密集卷积层、主胶囊层、数字胶囊层和输出层，输入层用于输入用户照片；密集卷积层用于使用4个密集卷积模块提取输入图像的高层次特征；主胶囊层用于对图像特征进行进一步提取、整合；数字胶囊层用于计算图像匹配概率；输出层用于输出匹配图像。
密集卷积网络的核心部分是密集卷积模块，密集卷积模块中每层网络既与下层网络连接，又与后面每一层网络连接即每一层的输入都是前面所有层输出的并集；在密集卷积网络中如果网络有L层，那么有L*(L+1)/2个连接；密集卷积网络中，第1层得到的特征图x1是前面所有特征图连接之后合并的结果：
xl＝Hl([x0，x1，…，xl-1])
式中，[x0，x1，...，xl-1]表示将第0层到1-1层特征图进行合并；Hl为非线性转换函数，其中包含三个操作：批量规范化，修正线性单元和3*3卷积；
密集卷积网络通常包含多个密集卷积模块，密集卷积网络在保证网络中层与层之间最大程度的信息传输的前提下，选择将所有层连接起来，充分利用特征图信息，提高网络训练效果，同时缓解因为网络深度及宽度的增加带来的过拟合问题。
胶囊网络的前后层胶囊之间采用动态路由算法进行更新，提高模型分类效率，使模型能够快速平稳的收敛，在动态路由算法规则中，下层胶囊由上层胶囊计算得出：
每个上层胶囊i连接到下层胶囊j的概率为：
Figure BDA0002808321170000061
式中，Cij为耦合系数，是下层胶囊i激活上层胶囊j的概率；bij是胶囊i连接到胶囊j的先验概率，初始值设置为0；
根据耦合系数Cij计算加权求和得输入向量sj：
Figure BDA0002808321170000062
Figure BDA0002808321170000063
式中：ui为上层胶囊的输出，
Figure BDA0002808321170000068
为上层胶囊预测向量，Wij为相邻两层的权值转化矩阵，sj为输入向量；
使用判别式学习实现非线性压缩，并通过其实现胶囊层级的激活功能；输出向量vj表示为：
Figure BDA0002808321170000064
式中：vj为输出向量，sj为输入向量；
胶囊的输出向量的长度表征实体出现的概率，所以使用非线性压缩函数将向量的模长限定在0到1之间；非线性压缩函数可确保短向量的长度能够缩短到几乎为0，而长向量的长度压缩到1的左领域内，输出向量越长，代表图像属于该类概率越大；
在路由更新环节中通过输出向量vj与上层胶囊预测向量
Figure BDA0002808321170000065
相乘进行更新bij，bij的更新计算公式如下：
Figure BDA0002808321170000066
式中，bij为是胶囊i连接到胶囊j的先验概率，
Figure BDA0002808321170000067
为上层胶囊预测向量，vj为输出向量。

Claims (5)

1.一种基于胶囊网络的视觉定位方法，其特征在于：该方法采用密集卷积网络对用户输入的图像进行提取图像深层特征，然后配合胶囊网络对提取的图像深层特征与现有的图像进行匹配，以得到匹配程度最高的一幅图像，进而实现用户定位。
2.根据权利要求1所述的基于胶囊网络的视觉定位方法，其特征在于：该方法步骤如下：
(1)获取目标影像数据，并将目标影像数据建立图像数据库；
(2)输入图像；
(3)采用密集卷积网络和胶囊网络配合的方法对用户输入的图像和图像数据库中的目标图像进行全局特征信息的提取；
(4)将用户输入的图像与图像数据库中的目标图像进行匹配并找到匹配程度最高的一幅图像，进而得到用户输入图像所在位置。
3.根据权利要求1或2所述的基于胶囊网络的视觉定位方法，其特征在于：该方法采用建立胶囊网络模型进行图像匹配，胶囊网络模型包括输入层、密集卷积层、主胶囊层、数字胶囊层和输出层，输入层用于输入用户照片；密集卷积层用于使用4个密集卷积模块提取输入图像的高层次特征；主胶囊层用于对图像特征进行进一步提取、整合；数字胶囊层用于计算图像匹配概率；输出层用于输出匹配图像。
4.根据权利要求1所述的基于胶囊网络的视觉定位方法，其特征在于：密集卷积网络中每层网络既与下层网络连接，又与后面每一层网络连接即每一层的输入都是前面所有层输出的并集，第1层得到的特征图x1是前面所有特征图连接之后合并的结果：
xl＝Hl([x0，x1，...，xl-1])
式中，[x0，x1，...，xl-1]表示将第0层到l-1层特征图进行合并；H1为非线性转换函数，其中包含三个操作：批量规范化，修正线性单元和3*3卷积。
5.根据权利要求2所述的基于胶囊网络的视觉定位方法，其特征在于：胶囊网络的前后层胶囊之间采用动态路由算法进行更新，在动态路由算法规则中，下层胶囊由上层胶囊计算得出：
每个上层胶囊i连接到下层胶囊j的概率为：
Figure FDA0002808321160000021
式中，Cij为耦合系数，是下层胶囊i激活上层胶囊j的概率；bij是胶囊i连接到胶囊j的先验概率，初始值设置为0；
根据耦合系数Cij计算加权求和得输入向量sj：
Figure FDA0002808321160000022
Figure FDA0002808321160000023
式中：ui为上层胶囊的输出，
Figure FDA0002808321160000027
为上层胶囊预测向量，Wij为相邻两层的权值转化矩阵，sj为输入向量；
使用判别式学习实现非线性压缩，并通过其实现胶囊层级的激活功能；输出向量vj表示为：
Figure FDA0002808321160000024
式中：vj为输出向量，sj为输入向量；
在路由更新环节中通过输出向量vj与上层胶囊预测向量
Figure FDA0002808321160000028
相乘进行更新bij，bij的更新计算公式如下：
Figure FDA0002808321160000025
式中，bij为是胶囊i连接到胶囊j的先验概率，
Figure FDA0002808321160000026
为上层胶囊预测向量，vj为输出向量。
CN202011375939.8A 2020-11-30 2020-11-30 一种基于胶囊网络的视觉定位方法 Pending CN112348038A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011375939.8A CN112348038A (zh) 2020-11-30 2020-11-30 一种基于胶囊网络的视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011375939.8A CN112348038A (zh) 2020-11-30 2020-11-30 一种基于胶囊网络的视觉定位方法

Publications (1)

Publication Number Publication Date
CN112348038A true CN112348038A (zh) 2021-02-09

Family

ID=74366181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011375939.8A Pending CN112348038A (zh) 2020-11-30 2020-11-30 一种基于胶囊网络的视觉定位方法

Country Status (1)

Country Link
CN (1) CN112348038A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601662A (zh) * 2022-11-21 2023-01-13 华中科技大学（Cn） 一种高分辨率遥感影像提取建筑物的模型构建方法及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118479A (zh) * 2018-07-26 2019-01-01 中睿能源（北京）有限公司 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN109345575A (zh) * 2018-09-17 2019-02-15 中国科学院深圳先进技术研究院 一种基于深度学习的图像配准方法及装置
CN109543602A (zh) * 2018-11-21 2019-03-29 太原理工大学 一种基于多视角图像特征分解的行人再识别方法
WO2019240281A1 (ja) * 2018-06-15 2019-12-19 日本電信電話株式会社 画像特徴学習装置、画像特徴学習方法、画像特徴抽出装置、画像特徴抽出方法、及びプログラム
WO2020006881A1 (zh) * 2018-07-06 2020-01-09 平安科技（深圳）有限公司 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
CN110837808A (zh) * 2019-11-11 2020-02-25 安徽理工大学 一种基于改进的胶囊网络模型的高光谱图像分类方法
CN111460818A (zh) * 2020-03-31 2020-07-28 中国测绘科学研究院 一种基于增强胶囊网络的网页文本分类方法及存储介质
CN111791814A (zh) * 2019-03-22 2020-10-20 福特全球技术公司 车辆胶囊网络

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019240281A1 (ja) * 2018-06-15 2019-12-19 日本電信電話株式会社 画像特徴学習装置、画像特徴学習方法、画像特徴抽出装置、画像特徴抽出方法、及びプログラム
WO2020006881A1 (zh) * 2018-07-06 2020-01-09 平安科技（深圳）有限公司 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
CN109118479A (zh) * 2018-07-26 2019-01-01 中睿能源（北京）有限公司 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN109345575A (zh) * 2018-09-17 2019-02-15 中国科学院深圳先进技术研究院 一种基于深度学习的图像配准方法及装置
CN109543602A (zh) * 2018-11-21 2019-03-29 太原理工大学 一种基于多视角图像特征分解的行人再识别方法
CN111791814A (zh) * 2019-03-22 2020-10-20 福特全球技术公司 车辆胶囊网络
CN110837808A (zh) * 2019-11-11 2020-02-25 安徽理工大学 一种基于改进的胶囊网络模型的高光谱图像分类方法
CN111460818A (zh) * 2020-03-31 2020-07-28 中国测绘科学研究院 一种基于增强胶囊网络的网页文本分类方法及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦明连等, 江苏海洋大学学报（自然科学版）》, pages 1 - 3 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601662A (zh) * 2022-11-21 2023-01-13 华中科技大学（Cn） 一种高分辨率遥感影像提取建筑物的模型构建方法及应用

Similar Documents

Publication Publication Date Title
CN110443818B (zh) 一种基于涂鸦的弱监督语义分割方法与系统
CN111462282B (zh) 一种场景图生成方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN107133325A (zh) 一种基于街景地图的互联网照片地理空间定位方法
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN110543581B (zh) 基于非局部图卷积网络的多视图三维模型检索方法
CN111680176A (zh) 基于注意力与双向特征融合的遥感图像检索方法及系统
CN110853057B (zh) 基于全局和多尺度全卷积网络的航拍图像分割方法
CN113435253B (zh) 一种多源影像联合城区地表覆盖分类方法
CN112052783A (zh) 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN111400572A (zh) 一种基于卷积神经网络实现图像特征识别的内容安全监测系统及其方法
CN110111375A (zh) 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置
CN113449612A (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN115482518A (zh) 一种面向交通场景的可扩展多任务视觉感知方法
Li et al. Real-time tracking algorithm for aerial vehicles using improved convolutional neural network and transfer learning
CN112348038A (zh) 一种基于胶囊网络的视觉定位方法
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN113628329A (zh) 一种零样本草图三维点云检索方法
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
CN114821074B (zh) 机载liDAR点云语义分割方法、电子设备及存储介质
EP4198897A1 (en) Vehicle motion state evaluation method and apparatus, device, and medium
CN106203442A (zh) 一种基于深度学习的拷贝图像特征提取方法
CN113160291B (zh) 一种基于图像配准的变化检测方法
CN116129118A (zh) 基于图卷积的城市场景激光LiDAR点云语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination