CN109543819A - 一种基于改进区域卷积神经网络的景象匹配定位方法 - Google Patents
一种基于改进区域卷积神经网络的景象匹配定位方法 Download PDFInfo
- Publication number
- CN109543819A CN109543819A CN201811310762.6A CN201811310762A CN109543819A CN 109543819 A CN109543819 A CN 109543819A CN 201811310762 A CN201811310762 A CN 201811310762A CN 109543819 A CN109543819 A CN 109543819A
- Authority
- CN
- China
- Prior art keywords
- matching
- feature
- scene
- self
- encoding encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 17
- 230000004807 localization Effects 0.000 title claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000010219 correlation analysis Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000004069 differentiation Effects 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims 1
- 239000010931 gold Substances 0.000 claims 1
- 229910052737 gold Inorganic materials 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进区域卷积神经网络的景象匹配定位方法，包括如下步骤：(1)提出基于改进SPP‑Net的系统结构；(2)采用降噪自编码器基本原理训练多层神经网络，获取各层网络权重参数，系统的抗噪声能力和对不完整景象图匹配的鲁棒特性取决于自编码器的性能；(3)利用深度神经网络采取匹配参考图的特征，并进行金字塔池化，获取不同维度的图像特征；利用相同网络参数的深度神经网络采集待匹配图像特征，将获取特征与金字塔特征进行相关性判别，确定特征最相似的匹配区域，进行匹配位置调整，输出匹配定位位置。本发明优化了特征提取与相关分析的算法复杂度，同时有效利用卷积神经网络抗干扰和鲁棒特征，提高了景象匹配定位性能。
Description
技术领域
本发明涉及景象匹配技术领域，尤其是一种基于改进区域卷积神经网络的景象匹配定位方法。
背景技术
景象匹配定位方法一直是精确制导导弹武器装备研究、基于景象的定位等领域重点关注的问题。现阶段景象匹配制导的常用方法是SIFT(尺度不变特征变换)与SURF(快速鲁棒特征)算法，具有算法成熟、识别速度快的特点；然而，以上算法针对特定的卫星影像图，特征的选取不能实现全自动化，需要人工参与；针对变化、不完整以及噪声干扰严重的景象图，匹配效果不佳。
发明内容
本发明所要解决的技术问题在于，提供一种基于改进区域卷积神经网络的景象匹配定位方法，优化了特征提取与相关分析的算法复杂度，同时有效利用卷积神经网络抗干扰和鲁棒特征，提高了景象匹配定位性能。
为解决上述技术问题，本发明提供一种基于改进区域卷积神经网络的景象匹配定位方法，包括如下步骤：
(1)提出基于改进SPP-Net的系统结构；
(2)采用降噪自编码器基本原理训练多层神经网络，获取各层网络权重参数，系统的抗噪声能力和对不完整景象图匹配的鲁棒特性取决于自编码器的性能；
(3)利用深度神经网络采取匹配参考图的特征，并进行金字塔池化，获取不同维度的图像特征；利用相同网络参数的深度神经网络采集待匹配图像特征，将获取特征与金字塔特征进行相关性判别，确定特征最相似的匹配区域，进行匹配位置调整，输出匹配定位位置。
优选的，步骤(1)中，改进SPPNET网络结构分为两部分，第一部分是匹配参考图的特征提取与特征金字塔构建，包括匹配参考图输入层、若干卷积层与池化层、特征金字塔提取层，该部分的卷积网络参数利用堆叠降噪自编码器方式进行训练得到，针对特定的匹配参考图，通过预先提取特征和构建金字塔的方式加快运行时计算速度；第二部分是待匹配图的特征提取与匹配位置计算，包括待匹配图输入层、若干卷积层与池化层、特征相关分析与位置调整层。
优选的，步骤(2)中，采用降噪自编码器基本原理训练多层神经网络，获取各层网络权重参数具体为：编码过程为：
h＝f(z)
其中，z是噪声污染后的输入，h为自编码器提取的输入特征值；
解码过程为：
y＝f(h)
其中，y为从自编码器重构的输入值；
解码后，要求损失最小，即：
L(x,y)＝L(x,g(f(z)))
为了适应卫星景象匹配应用场景，采用增加二进制掩码噪声的方式对图像加噪声，采用一定概率将输入x的分量赋值为0，从而得到受噪声干扰的z。
优选的，步骤(3)中，将获取特征与金字塔特征进行相关性判别，确定特征最相似的匹配区域，进行匹配位置调整，输出匹配定位位置具体包括如下步骤：
(31)匹配大尺度特征图中各个子图与待测图像特征图，根据特征相关分析获取匹配概率；
(32)按照不同的匹配概率，获取多个匹配热点位置；
(33)针对单一热点，结合热点相邻子图匹配概率分配权重，获取更小尺度下对应特征子图的匹配位置；
(34)按照步骤(33)，依次计算步骤(32)中获取的多个匹配热点；
(35)在比步骤(31)尺度更小的子图上重复步骤(32)-(34)，直至循环至最小尺度的子图，或者匹配概率开始下降，停止循环；
(36)对多个热点的匹配概率排序，输出最可能的匹配位置。
本发明的有益效果为：(1)自动化提取图像特征，能够提高特征提取的效率，从而可以直接提高景象匹配制导或者匹配定位的效率；(2)针对噪声干扰严重、部分景象缺失的质量不高的卫星影像图，能够极大提高匹配性能。
附图说明
图1为本发明的系统结构示意图。
图2为本发明的堆叠自编码器的结构示意图。
图3为本发明的降噪自编码器的结构示意图。
图4为本发明的方法流程示意图。
图5为本发明的金字塔构造方法示意图。
具体实施方式
如图4所示，一种基于改进区域卷积神经网络的景象匹配定位方法，包括如下步骤：
(1)提出基于改进SPP-Net的系统结构；
(2)采用降噪自编码器基本原理训练多层神经网络，获取各层网络权重参数，系统的抗噪声能力和对不完整景象图匹配的鲁棒特性取决于自编码器的性能；
(3)利用深度神经网络采取匹配参考图的特征，并进行金字塔池化，获取不同维度的图像特征；利用相同网络参数的深度神经网络采集待匹配图像特征，将获取特征与金字塔特征进行相关性判别，确定特征最相似的匹配区域，进行匹配位置调整，输出匹配定位位置。
整个系统结构参考目标检测卷积神经网络SPP-Net(Spatial Pyramid PoolingNet)，将最后的全连接层变为特征相关分析层，来对待检测图像与参考图像区域选择图像的相关性进行判别。
首先，系统利用自编码器训练卷积神经网络，利用训练好的卷积神经网络提取图像特征，对卷积层的可视化研究可知：输入图像的某个位置的特征和卷积层输出的特征位置是一一对应的关系。
然后，利用SPP-Net将卷积层的多层输出按照不同的网格尺度如N*N，…，3*3，2*2，1*1进行池化，做最大值池化，如此整幅参考图形成了不同尺度的空间金字塔模型。
将待检测图像输入同一卷积层，获取待检测图像特征。
为减少计算复杂度，设计了一种新型区域选择算法，首先在大尺度的空间金字塔上预选区域，根据特征相关分析，确定最可能实现景象匹配的大概位置，然后，不断迭代，在更细尺度的空间金字塔上进行特征匹配，获取最佳匹配位置。
卷积神经网络采用堆叠自编码器结构。堆叠自编码器由多个稀疏自编码器组成；(其中，每个稀疏自编码器的权值可以利用卫星影像图进行无标签训练样本得到)堆叠自编码器训练是指将堆叠自编码器看做一个多层神经网络，利用无标签的训练样本集，对该神经网络的权值进行调整。堆叠自编码器的结构如图2所示。
采用逐层训练的方式，将堆叠自编码器的每一层按照降噪自编码器进行训练，训练过程如图3所示。
图中编码过程为：
h＝f(z)
解码过程为：
y＝f(h)
解码后，要求损失最小，即：
L(x,y)＝L(x,g(f(z)))
为了适应卫星景象匹配应用场景，采用增加二进制掩码噪声的方式对图像加噪声，采用一定概率将输入x的分量赋值为0，从而得到受噪声干扰的z。
改进SPPNET网络结构如图1所示。主要结构分为两部分，第一部分是匹配参考图的特征提取与特征金字塔构建，包括匹配参考图输入层，若干卷积层与池化层，特征金字塔提取层，该部分的卷积网络参数利用上节方式进行训练得到，针对特定的匹配参考图，可以通过预先提取特征和构建金字塔的方式加快运行时计算速度。第二部分是待匹配图的特征提取与匹配位置计算，包括待匹配图输入层，若干卷积层与池化层(与第一部分共享网络参数)，特征相关分析与位置调整层。
在最后卷积层后，是一个金字塔池化层，原理如图5所示。
灰色图片代表卷积之后的特征图，通过按照N*N,…,3*3,2*2,1*1等不同尺寸，将特征图划分不同的快，每个块中提取一个特征，这样就得到金字塔池化向量，如果进行空间金字塔最大池化，即计算每个块的最大值，从每个块得到一个输出值，最终得到一个特征输出向量。
采用先匹配大尺度参考特征图，后匹配小尺度参考特征图的方式，降低计算复杂度，区域选择算法过程如下所示：
(1)匹配大尺度特征图中各个子图与待测图像特征图，根据特征相关分析获取匹配概率；
(2)按照不同的匹配概率，获取多个匹配热点位置；
(3)针对单一热点，结合热点相邻子图匹配概率分配权重，获取更小尺度下对应特征子图的匹配位置；
(4)按照步骤(3)，依次计算步骤(2)中获取的多个匹配热点；
(5)在比步骤(1)尺度更小的子图上重复步骤(2)-(4)，直至循环至最小尺度的子图，或者匹配概率开始下降，停止循环；
(6)对多个热点的匹配概率排序，输出最可能的匹配位置。
计算参考子图特征向量与待测图像特征向量的余弦相似度，作为匹配概率的度量。
本发明在神经网络的学习阶段，采用多幅具有典型特性的卫星景象图，利用降噪自编码器原理对神经网络的卷积进行训练，获得能够识别卫星景象特征的神经网络参数。在系统应用阶段，利用深度神经网络采取匹配参考图的特征，并进行金字塔池化，获取不同维度的图像特征；再利用相同网络参数的深度神经网络采集待匹配图像特征，将获取特征与金字塔特征进行相关性判别，确定特征最相似的匹配区域，最后进行匹配位置调整，输出匹配定位位置。本发明自动提取图像特征，能够提高特征提取的效率，从而可以直接提高景象匹配定位的算法效率；另一方面，针对质量不高的卫星影像图，能够极大提高匹配性能。
Claims (4)
1.一种基于改进区域卷积神经网络的景象匹配定位方法，其特征在于，包括如下步骤：
(1)提出基于改进SPP-Net的系统结构；
(2)采用降噪自编码器基本原理训练多层神经网络，获取各层网络权重参数，系统的抗噪声能力和对不完整景象图匹配的鲁棒特性取决于自编码器的性能；
(3)利用深度神经网络采取匹配参考图的特征，并进行金字塔池化，获取不同维度的图像特征；利用相同网络参数的深度神经网络采集待匹配图像特征，将获取特征与金字塔特征进行相关性判别，确定特征最相似的匹配区域，进行匹配位置调整，输出匹配定位位置。
2.如权利要求1所述的基于改进区域卷积神经网络的景象匹配定位方法，其特征在于，步骤(1)中，改进SPPNET网络结构分为两部分，第一部分是匹配参考图的特征提取与特征金字塔构建，包括匹配参考图输入层、若干卷积层与池化层、特征金字塔提取层，该部分的卷积网络参数利用堆叠降噪自编码器方式进行训练得到，针对特定的匹配参考图，通过预先提取特征和构建金字塔的方式加快运行时计算速度；第二部分是待匹配图的特征提取与匹配位置计算，包括待匹配图输入层、若干卷积层与池化层、特征相关分析与位置调整层。
3.如权利要求1所述的基于改进区域卷积神经网络的景象匹配定位方法，其特征在于，步骤(2)中，采用降噪自编码器基本原理训练多层神经网络，获取各层网络权重参数具体为：编码过程为：
h＝f(z)
其中，z是噪声污染后的输入，h为自编码器提取的输入特征值；
解码过程为：
y＝f(h)
其中，y为从自编码器重构的输入值；
解码后，要求损失最小，即：
L(x,y)＝L(x,g(f(z)))
为了适应卫星景象匹配应用场景，采用增加二进制掩码噪声的方式对图像加噪声，采用一定概率将输入x的分量赋值为0，从而得到受噪声干扰的z。
4.如权利要求1所述的基于改进区域卷积神经网络的景象匹配定位方法，其特征在于，步骤(3)中，将获取特征与金字塔特征进行相关性判别，确定特征最相似的匹配区域，进行匹配位置调整，输出匹配定位位置具体包括如下步骤：
(31)匹配大尺度特征图中各个子图与待测图像特征图，根据特征相关分析获取匹配概率；
(32)按照不同的匹配概率，获取多个匹配热点位置；
(33)针对单一热点，结合热点相邻子图匹配概率分配权重，获取更小尺度下对应特征子图的匹配位置；
(34)按照步骤(33)，依次计算步骤(32)中获取的多个匹配热点；
(35)在比步骤(31)尺度更小的子图上重复步骤(32)-(34)，直至循环至最小尺度的子图，或者匹配概率开始下降，停止循环；
(36)对多个热点的匹配概率排序，输出最可能的匹配位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811310762.6A CN109543819A (zh) | 2018-11-06 | 2018-11-06 | 一种基于改进区域卷积神经网络的景象匹配定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811310762.6A CN109543819A (zh) | 2018-11-06 | 2018-11-06 | 一种基于改进区域卷积神经网络的景象匹配定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109543819A true CN109543819A (zh) | 2019-03-29 |
Family
ID=65846547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811310762.6A Pending CN109543819A (zh) | 2018-11-06 | 2018-11-06 | 一种基于改进区域卷积神经网络的景象匹配定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109543819A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110543890A (zh) * | 2019-07-22 | 2019-12-06 | 杭州电子科技大学 | 一种基于特征金字塔的深度神经网络图像匹配方法 |
| CN110874591A (zh) * | 2020-01-20 | 2020-03-10 | 广东博智林机器人有限公司 | 一种图像定位方法、装置、设备及存储介质 |
| CN112686880A (zh) * | 2021-01-06 | 2021-04-20 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路机车部件异常检测的方法 |
| CN112836554A (zh) * | 2019-11-25 | 2021-05-25 | 广东博智林机器人有限公司 | 图像校验模型的构建方法、图像校验方法和装置 |
| CN113676858A (zh) * | 2021-08-26 | 2021-11-19 | 杭州北斗时空研究院 | 一种兼顾非视距识别的无线信号室内定位 |
| CN114510044A (zh) * | 2022-01-25 | 2022-05-17 | 北京圣威特科技有限公司 | Agv导航船导航方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106462940A (zh) * | 2014-10-09 | 2017-02-22 | 微软技术许可有限责任公司 | 图像中通用对象检测 |
-
2018
- 2018-11-06 CN CN201811310762.6A patent/CN109543819A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106462940A (zh) * | 2014-10-09 | 2017-02-22 | 微软技术许可有限责任公司 | 图像中通用对象检测 |
Non-Patent Citations (1)
| Title |
|---|
| 王博: "面向图像分类的分层稀疏表示方法研究", 《中国博士学位论文全文数据库 (信息科技辑)》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110543890A (zh) * | 2019-07-22 | 2019-12-06 | 杭州电子科技大学 | 一种基于特征金字塔的深度神经网络图像匹配方法 |
| CN112836554A (zh) * | 2019-11-25 | 2021-05-25 | 广东博智林机器人有限公司 | 图像校验模型的构建方法、图像校验方法和装置 |
| CN110874591A (zh) * | 2020-01-20 | 2020-03-10 | 广东博智林机器人有限公司 | 一种图像定位方法、装置、设备及存储介质 |
| CN112686880A (zh) * | 2021-01-06 | 2021-04-20 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路机车部件异常检测的方法 |
| CN113676858A (zh) * | 2021-08-26 | 2021-11-19 | 杭州北斗时空研究院 | 一种兼顾非视距识别的无线信号室内定位 |
| CN113676858B (zh) * | 2021-08-26 | 2024-01-02 | 杭州北斗时空研究院 | 一种兼顾非视距识别的无线信号室内定位方法 |
| CN114510044A (zh) * | 2022-01-25 | 2022-05-17 | 北京圣威特科技有限公司 | Agv导航船导航方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543819A (zh) | 一种基于改进区域卷积神经网络的景象匹配定位方法 | |
| CN109948691B (zh) | 基于深度残差网络及注意力的图像描述生成方法和装置 | |
| CN110348376A (zh) | 一种基于神经网络的行人实时检测方法 | |
| CN108388896A (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
| CN110298266A (zh) | 基于多尺度感受野特征融合的深度神经网络目标检测方法 | |
| CN109828251A (zh) | 基于特征金字塔轻量卷积神经网络的雷达目标识别方法 | |
| CN109029363A (zh) | 一种基于深度学习的目标测距方法 | |
| CN106250931A (zh) | 一种基于随机卷积神经网络的高分辨率图像场景分类方法 | |
| CN109655815B (zh) | 基于ssd的声呐目标检测方法 | |
| CN110135227B (zh) | 一种基于机器学习的激光点云室外场景自动分割方法 | |
| CN107944483B (zh) | 基于双通道dcgan和特征融合的多光谱图像分类方法 | |
| CN110428424B (zh) | 基于深度学习的雷达回波图像高压线分割方法 | |
| CN113361373A (zh) | 一种农业场景下的航拍图像实时语义分割方法 | |
| CN108629288A (zh) | 一种手势识别模型训练方法、手势识别方法及系统 | |
| CN110287770B (zh) | 一种基于卷积神经网络的水中个体目标匹配识别方法 | |
| KR102337383B1 (ko) | 하드웨어 최적화에 사용되는 1xK 또는 Kx1 컨벌루션 연산을 이용한 CNN을 학습하는 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치 | |
| CN116206185A (zh) | 一种基于改进YOLOv7的轻量级小目标检测方法 | |
| CN101667292B (zh) | 基于免疫克隆和投影寻踪的sar图像分割系统及分割方法 | |
| CN108460340A (zh) | 一种基于3d稠密卷积神经网络的步态识别方法 | |
| CN114092487A (zh) | 目标果实实例分割方法及系统 | |
| CN105243154A (zh) | 基于显著点特征和稀疏自编码的遥感图像检索方法及系统 | |
| JP2020119524A (ja) | 核心性能指数を満たすことができるハードウェア最適化が行われるように、ｃｎｎで複数のブロック内の入力イメージから特徴を抽出する学習方法及び学習装置、それを利用したテスト方法及びテスト装置 | |
| Wang et al. | Study on the method of transmission line foreign body detection based on deep learning | |
| CN113762278B (zh) | 一种基于目标检测的沥青路面损坏识别方法 | |
| CN104794732A (zh) | 基于人工免疫网络聚类的灰度图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190329 |
|
| RJ01 | Rejection of invention patent application after publication |