CN110211164B - 基于神经网络学习基础图形的特征点算子的图片处理方法 - Google Patents
基于神经网络学习基础图形的特征点算子的图片处理方法 Download PDFInfo
- Publication number
- CN110211164B CN110211164B CN201910487712.3A CN201910487712A CN110211164B CN 110211164 B CN110211164 B CN 110211164B CN 201910487712 A CN201910487712 A CN 201910487712A CN 110211164 B CN110211164 B CN 110211164B
- Authority
- CN
- China
- Prior art keywords
- neural network
- picture
- interest
- interest point
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 91
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 7
- PXFBZOLANLWPMH-SMLHJDAJSA-N Affinine Chemical compound C1C(C2=CC=CC=C2N2)=C2C(=O)C[C@@H]2C(=C/C)\CN(C)[C@H]1C2CO PXFBZOLANLWPMH-SMLHJDAJSA-N 0.000 claims abstract description 7
- 230000003044 adaptive effect Effects 0.000 claims abstract description 7
- 238000013508 migration Methods 0.000 claims abstract description 7
- 230000005012 migration Effects 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 4
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 238000009877 rendering Methods 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于神经网络学习基础图形的特征点算子的图片处理方法，包括：渲染合成几何模型的数据集，标出感兴趣点；搭建包括双分支的层归一化全卷积神经网络；将几何模型数据集用于神经网络训练；神经网络对真实图片匹配集进行适应域迁移，获得真实图片的感兴趣点标签；获得真实图片的感兴趣点标签；将真实图片及该真实图片的Affine变换后的孪生图片一并喂入S6中最新训练好的第神经网络进行训练，及获得感兴趣点的概率图及每个感兴趣点作描述子编码；利用神经网络对任意两个不同视角的图片进行处理，获得每张图片的感兴趣点以及其描述子，匹配两张照片的特征点。本发明使图像的特征点算子的提取更加稳固、更加可靠。
Description
技术领域
本发明涉及照相机图片处理技术领域，具体涉及一种基于神经网络学习基础图形的特征点算子的图片处理方法。
背景技术
图片的特征点是理想状态下图片上具有唯一表示的点，比如，线段的端点以及几何模式的角点等，均拥有比普通像素点更具有特殊意义的点，也就是我们所需要的寻找的感兴趣点，在传统的特征点描述子算法中，例如SIFT、AKAZE、ORB等特征点，往往是根据图像块的梯度方向、尺度不变性、方向不变性等人工设计的模式提取算法来获得感兴趣点，以及计算感兴趣点的描述子，而这种基于传统计算机图像处理的方法往往存在一定的局限性，因为人不可能把所有情况都考虑周全，特别是在纹理缺失或者纹理重复的区域，特征点描述子往往表现的不够稳固，常常出现错误匹配的问题。
发明内容
基于现有技术的不足，本发明的目的在于提供一种基于神经网络学习基础图形的特征点算子的图片处理方法，使图像的特征点算子的提取更加稳固、更加可靠，即使在纹理重复以及纹理缺失的情景下也仍然能够取得稳固的结果。
本发明的技术方案为：
基于神经网络学习基础图形的特征点算子的图片处理方法，其特征在于包括：
S1，渲染合成几何模型的数据集，其中，数据集中包括了包括灰度信息的各种基础几何图像，标出图像中的感兴趣点；
S2，搭建包括一个双分支的层归一化全卷积神经网络，即第一神经网络，其中第一分支用于感兴趣点检测，第二分支用于特征点描述子编码；
S3，将渲染合成好的几何模型数据集用于第一神经网络训练，让第一神经网络学习图像的基本特征，通过第一神经网络中的第一分支来检测合成图像的感兴趣点，当第一神经网络能够检测出所有几何图像的关键点时为训练好的第二神经网络；
S4，利用图片的Affine变化对真实图片处理，获得原始图片的变换后的匹配集及其变换关系，并利用S3中第二神经网络对真实图片匹配集进行适应域迁移，并为真实图片进行标注，获得真实图片的感兴趣点标签；
S5，在S4中的真实图片上训练S3中训练好的第二神经网络，使第二神经网络能够检测真实图片的感兴趣点，得到第三神经网络，并测量第三神经网络在真实图片上感兴趣点的重复匹配率；
S6，利用S5中的第三神经网络，重新对步骤S4中的真实图片匹配集进行适应域迁移，并为真实图片进行标注，重新获得真实图片的感兴趣点标签，重复S5和S6 N次，重新训练神经网络，在获得稳固的神经网络适应域变换关系及原始图片变换后的匹配集的同时，获得真实图片感兴趣点的重复匹配率满意时的真实图片感兴趣点标签及最新训练好的第M神经网络；
S7，在获得满意的真实图片感兴趣点标签后，将真实图片及该真实图片的Affine变换后的孪生图片一并喂入S6中最新训练好的第M神经网络进行训练，其中，第M神经网络的第一分支用于计算感兴趣点的位置，及分析获得感兴趣点的概率图，第二分支对图片上的每个感兴趣点作描述子编码，取得计算结果后，对第M神经网络的两个分支做联合训练，最后得到训练后的第M+1神经网络；
S8，利用第M+1神经网络对任意两个不同视角的图片进行处理，获得每张图片的感兴趣点以及其描述子，匹配两张照片的特征点。
进一步地，S1中数据集中的基础几何图形包括三角面、线段、几何体、棋盘格。
进一步地，S1中在合成几何模型的数据集时在合成图片上需加入高斯噪声。
进一步地，S7中在取得计算结果后，还包括反向传播感兴趣点的回归损失以及两张图片上每个感兴趣点的描述子的匹配损失，进而再对第M神经网络的两个分支做联合训练。
进一步地，对M神经网络的两个分支做联合训练还包括对任意输入的图片进行前向推断。
进一步地，S8中匹配两张图片的特征点包括双向最邻近匹配方法匹配两张图片的特征点。
进一步地，S7中获得感兴趣的概率图包括采用对感兴趣点选择合适的阈值的方法获得理想的感兴趣点。
本发明的有益效果为：基于卷积神经网络，对图片的感兴趣点及感兴趣点描述子进行提取并计算，使图像的特征点算子的提取更加稳固、更加可靠，即使在纹理重复以及纹理缺失的情景下也仍然能够取得稳固的结果，提高的图像处理的效果和精度。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于神经网络学习基础图形的特征点算子的图片处理方法，包括：
S1，渲染合成几何模型的数据集，数据集包括三角面、线段、复杂的几何体、棋盘格等基础几何图像，并标出他们的感兴趣点，与传统方法处理灰度图像一样，本实施例只渲染了灰度图片，为了让训练的卷积神经网络可以不被噪声干扰，在这些合成图片上加入高斯噪声；
S2，搭建一个包括一个双分支的层归一化全卷积神经网络，即第一神经网络，其中第一分支用于感兴趣点检测，第二分支用于特征点描述子编码；
S3，将渲染合成好的几何模型数据集用于第一神经网络训练，让第一神经网络学习图像的基本特征，通过第一神经网络中的第一分支来检测合成图像的感兴趣点，训练好的神经网络能够检测出所有几何图片的关键点，并表现出对真实照片的良好泛化能力；
S4，利用图片的Affine变化对真实图片处理，获得原始图片的变换后的匹配集及其变换关系，并利用S3中第二神经网络对真实图片匹配集进行适应域迁移，并为真实图片进行标注，获得真实图片的感兴趣点标签；
S5，在S4中的真实图片上训练S3中训练好的第二神经网络，使第二神经网络能够检测真实图片的感兴趣点，得到第三神经网络，并测量第三神经网络在真实图片上感兴趣点的重复匹配率；
S6，利用S5中的第三神经网络，重新对步骤S4中的真实图片匹配集进行适应域迁移，并为真实图片进行标注，重新获得真实图片的感兴趣点标签，重复S5和S6 N次，重新训练神经网络，以一种蒸馏的方式来获得更稳固的神经网络适应域变换，在获得稳固的神经网络适应域变换关系及原始图片变换后的匹配集的同时，获得真实图片感兴趣点的重复匹配率满意时的真实图片感兴趣点标签及最新训练好的第M神经网络；
S7，在获得满意的真实图片感兴趣点标签后，将真实图片及该真实图片的Affine变换后的孪生图片一并喂入S6中最新训练好的第M神经网络进行训练，其中，第M神经网络的第一分支用于计算感兴趣点的位置，及分析获得感兴趣点的概率图，第二分支对图片上的每个感兴趣点作描述子编码，取得计算结果后，反向传播感兴趣点的回归损失以及两张图片上每个感兴趣点的描述子的匹配损失，对第M神经网络的两个分支做联合训练，最后得到训练后的第M+1神经网络，对M神经网络的两个分支做联合训练可以对任意输入的图片进行前向推断，神经网络的第一分支获得每张图片的感兴趣点的概率图，选择合适的阈值以获得理想的感兴趣点，神经网络的第二分支取得每个感兴趣点的描述子编码；
S8，利用第M+1神经网络对任意两个不同视角的图片进行处理，获得每张图片的感兴趣点以及其描述子，匹配两张照片的特征点。
基于卷积神经网络，对图片的感兴趣点及感兴趣点描述子进行提取并计算，使图像的特征点算子的提取更加稳固、更加可靠，即使在纹理重复以及纹理缺失的情景下也仍然能够取得稳固的结果，提高的图像处理的效果和精度。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.基于神经网络学习基础图形的特征点算子的图片处理方法，其特征在于包括：
S1，渲染合成几何模型的数据集，其中，数据集中包括了包括灰度信息的各种基础几何图像，标出图像中的感兴趣点；
S2，搭建包括一个双分支的层归一化全卷积神经网络，即第一神经网络，其中第一分支用于感兴趣点检测，第二分支用于特征点描述子编码；
S3，将渲染合成好的几何模型数据集用于第一神经网络训练，让第一神经网络学习图像的基本特征，通过第一神经网络中的第一分支来检测合成图像的感兴趣点，当第一神经网络能够检测出所有几何图像的关键点时为训练好的第二神经网络；
S4，利用图片的Affine变化对真实图片处理，获得原始图片的变换后的匹配集及其变换关系，并利用S3中第二神经网络对真实图片匹配集进行适应域迁移，并为真实图片进行标注，获得真实图片的感兴趣点标签；
S5，在S4中的真实图片上训练S3中训练好的第二神经网络，使第二神经网络能够检测真实图片的感兴趣点，得到第三神经网络，并测量第三神经网络在真实图片上感兴趣点的重复匹配率；
S6，利用S5中的第三神经网络，重新对步骤S4中的真实图片匹配集进行适应域迁移，并为真实图片进行标注，重新获得真实图片的感兴趣点标签，重复S5和S6 N次，重新训练神经网络，在获得稳固的神经网络适应域变换关系及原始图片变换后的匹配集的同时，获得真实图片感兴趣点的重复匹配率满意时的真实图片感兴趣点标签及最新训练好的第M神经网络；
S7，在获得满意的真实图片感兴趣点标签后，将真实图片及该真实图片的Affine变换后的孪生图片一并喂入S6中最新训练好的第M神经网络进行训练，其中，第M神经网络的第一分支用于计算感兴趣点的位置，及获得感兴趣点的概率图，第二分支对图片上的每个感兴趣点作描述子编码，取得计算结果后，对第M神经网络的两个分支做联合训练，最后得到训练后的第M+1神经网络；
S8，利用第M+1神经网络对任意两个不同视角的图片进行处理，获得每张图片的感兴趣点以及其描述子，匹配两张照片的特征点。
2.如权利要求1所述的基于神经网络学习基础图形的特征点算子的图片处理方法，其特征在于：S1中数据集中的基础几何图形包括三角面、线段、几何体、棋盘格。
3.如权利要求1所述的基于神经网络学习基础图形的特征点算子的图片处理方法，其特征在于：S1中在合成几何模型的数据集时在合成图片上需加入高斯噪声。
4.如权利要求1所述的基于神经网络学习基础图形的特征点算子的图片处理方法，其特征在于：S7中在取得计算结果后，还包括反向传播感兴趣点的回归损失以及两张图片上每个感兴趣点的描述子的匹配损失，进而再对第M神经网络的两个分支做联合训练。
5.如权利要求4所述的基于神经网络学习基础图形的特征点算子的图片处理方法，其特征在于：对M神经网络的两个分支做联合训练还包括对任意输入的图片进行前向推断。
6.如权利要求5所述的基于神经网络学习基础图形的特征点算子的图片处理方法，其特征在于：S8中匹配两张图片的特征点包括双向最邻近匹配方法匹配两张图片的特征点。
7.如权利要求1所述的基于神经网络学习基础图形的特征点算子的图片处理方法，其特征在于：S7中获得感兴趣的概率图包括采用对感兴趣点选择合适的阈值的方法获得理想的感兴趣点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910487712.3A CN110211164B (zh) | 2019-06-05 | 2019-06-05 | 基于神经网络学习基础图形的特征点算子的图片处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910487712.3A CN110211164B (zh) | 2019-06-05 | 2019-06-05 | 基于神经网络学习基础图形的特征点算子的图片处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110211164A CN110211164A (zh) | 2019-09-06 |
| CN110211164B true CN110211164B (zh) | 2021-05-07 |
Family
ID=67791110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910487712.3A Active CN110211164B (zh) | 2019-06-05 | 2019-06-05 | 基于神经网络学习基础图形的特征点算子的图片处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110211164B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910433A (zh) * | 2019-10-29 | 2020-03-24 | 太原师范学院 | 一种基于深度学习的点云匹配方法 |
| CN111814811A (zh) * | 2020-08-14 | 2020-10-23 | Oppo广东移动通信有限公司 | 图像信息提取方法、训练方法及装置、介质和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664844A (zh) * | 2017-03-28 | 2018-10-16 | 爱唯秀股份有限公司 | 卷积深度神经网络的图像目标语义识别及追踪 |
| CN109543754A (zh) * | 2018-11-23 | 2019-03-29 | 中山大学 | 基于端对端深度学习的目标检测与语义分割的并行方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL231862A (en) * | 2014-04-01 | 2015-04-30 | Superfish Ltd | Image representation using a neural network |
| US9330329B2 (en) * | 2014-07-09 | 2016-05-03 | Ditto Labs, Inc. | Systems, methods, and devices for image matching and object recognition in images using minimal feature points |
| CN106919920B (zh) * | 2017-03-06 | 2020-09-22 | 重庆邮电大学 | 基于卷积特征和空间视觉词袋模型的场景识别方法 |
| CN108830855B (zh) * | 2018-04-02 | 2022-03-25 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
| CN108573243A (zh) * | 2018-04-27 | 2018-09-25 | 上海敏识网络科技有限公司 | 一种基于深度卷积神经网络的低质量人脸的比对方法 |
| CN109583454A (zh) * | 2018-11-14 | 2019-04-05 | 天津大学 | 基于对抗神经网络的图像特征提取方法 |
-
2019
- 2019-06-05 CN CN201910487712.3A patent/CN110211164B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664844A (zh) * | 2017-03-28 | 2018-10-16 | 爱唯秀股份有限公司 | 卷积深度神经网络的图像目标语义识别及追踪 |
| CN109543754A (zh) * | 2018-11-23 | 2019-03-29 | 中山大学 | 基于端对端深度学习的目标检测与语义分割的并行方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110211164A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107403197B (zh) | 一种基于深度学习的裂缝识别方法 | |
| CN104008538B (zh) | 基于单张图像超分辨率方法 | |
| CN111127538B (zh) | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 | |
| CN110211164B (zh) | 基于神经网络学习基础图形的特征点算子的图片处理方法 | |
| US11042986B2 (en) | Method for thinning and connection in linear object extraction from an image | |
| CN113689445B (zh) | 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法 | |
| CN108154066B (zh) | 一种基于曲率特征递归神经网络的三维目标识别方法 | |
| CN111489394B (zh) | 物体姿态估计模型训练方法、系统、装置及介质 | |
| CN104899821A (zh) | 一种用于文档类图像可视水印的擦除方法 | |
| CN115937626B (zh) | 基于实例分割的半虚拟数据集自动生成方法 | |
| CN113313031A (zh) | 一种基于深度学习的车道线检测和车辆横向定位方法 | |
| CN115049921A (zh) | 基于Transformer边界感知的光学遥感图像显著目标检测方法 | |
| CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
| Ye et al. | Ec-sfm: Efficient covisibility-based structure-from-motion for both sequential and unordered images | |
| CN112700426A (zh) | 一种复杂环境下的显著性物体检测方法 | |
| CN105069767A (zh) | 基于表征学习与邻域约束嵌入的图像超分辨重构方法 | |
| CN114998630B (zh) | 一种从粗到精的地对空图像配准方法 | |
| CN116862883A (zh) | 基于图像语义分割的混凝土坍落度检测方法 | |
| CN113269788B (zh) | 一种x射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法 | |
| CN112686204B (zh) | 一种基于稀疏像素点跟踪的视频测流方法及装置 | |
| CN113298094B (zh) | 一种基于模态关联与双感知解码器的rgb-t的显著性目标检测方法 | |
| CN116385716A (zh) | 一种基于遥感图的三维地图地物数据自动化生产方法 | |
| CN114972937A (zh) | 一种基于深度学习的特征点检测与描述子生成方法 | |
| Lu et al. | Applications of computer vision and deep learning in visual features extraction of drill bits | |
| Shao et al. | An End-to-End Food Portion Estimation Framework Based on Shape Reconstruction from Monocular Image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |