CN116503628A - 自动化农业机械的图像匹配算法、装置、设备及存储介质 - Google Patents
自动化农业机械的图像匹配算法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116503628A CN116503628A CN202310781998.2A CN202310781998A CN116503628A CN 116503628 A CN116503628 A CN 116503628A CN 202310781998 A CN202310781998 A CN 202310781998A CN 116503628 A CN116503628 A CN 116503628A
- Authority
- CN
- China
- Prior art keywords
- matching
- data
- feature
- image
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000006872 improvement Effects 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000011946 reduction process Methods 0.000 claims description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims 4
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种自动化农业机械的图像匹配方法、装置、设备及存储介质，通过先获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强，接着调用基于OA‑Net改进的神经网络对经过特征增强后的图像组进行特征提取，以生成特征数据；并调用对所述特征数据进行降维处理，以生成分类列表；最后调用加权8点算法对所述分类列表的权重进行回归计算，以生成基础矩阵，基于所述基础矩阵对完成相机相对位姿回归任务，解决了现有的图像特征匹配算法对于异常值和相机姿态估计的鲁棒性较低，会影响其在农业机械自动作业场景下的应用效果的问题。
Description
技术领域
本发明涉及农业机械自动作业领域，特别涉及自动化农业机械的图像匹配算法、装置、设备及存储介质。
背景技术
无人驾驶技术已经在乘用车领域取得了高速发展，但在农业机械自动作业领域还处于前期发展阶段。小型农机中的履带式旋耕机是其中的代表产品，但在农田场景复杂、农机自动化成本高等问题下，自动作业技术的落地面临挑战。
在自动作业领域中，主要涉及场景定位、轨迹规划、轨迹跟踪和作业实施等环节。图像匹配技术在农业机械自动化方面具有重要的帮助。它利用摄像头或激光雷达等传感器获取场景信息，并与预存的地图或历史图像进行比对，实现场景定位和轨迹跟踪。通过对图像数据进行处理和分析，可以确定农机的位置和运动轨迹，实时调整作业路径，提高作业效率和精度。
现有图像特征匹配技术应用于农业机械自动作业场景下存在一些不足。例如，由于农田环境复杂多变，存在大量的遮挡、光照不均、噪声等问题，这些因素都会影响图像特征的提取和匹配。同时，现有的图像特征匹配算法对于异常值和相机姿态估计的鲁棒性较低，这也会影响其在农业机械自动作业场景下的应用效果。
有鉴于此，提出本申请。
发明内容
本发明公开了一种自动化农业机械的图像匹配方法、装置、设备及存储介质，旨在解决现有的图像特征匹配算法对于异常值和相机姿态估计的鲁棒性较低，会影响其在农业机械自动作业场景下的应用效果的问题。
本发明第一实施例提供了一种自动化农业机械的图像匹配方法，包括：
获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强；
调用基于OA-Net改进的神经网络对经过特征增强后的图像组进行特征提取，以生成特征数据；
对所述特征数据进行降维处理，以生成分类列表；
调用加权8点算法对所述分类列表的权重进行回归计算，以生成基础矩阵，基于所述基础矩阵对完成相机相对位姿回归任务。
优选地，所述获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强，具体为：
调用SIFT算法分别提取所述图像组中的特征点，并生成第一特征点集和第二特征点集；
获取所述第一特征点集从第二特征点集的最近邻居生成初始匹配点对的集合，
对所述初始匹配点对的集合进行卷积处理以实现特征增强。
优选地，所述调用基于OA-Net改进的神经网络对经过特征增强后的图像组进行图像组进行特征提取，以生成特征数据，具体为：
调用改进后的PointCN网络对特征增强后的所述图像组进行在通道上和空间上的特征提取，以捕获匹配点对之间的全局信息；
调用改进后的diff-pool模块对增强后的图像组学习一个软分配矩阵并对数据进行下采样生成下采样数据，并调用进后的OAFilter模块对所述下采样数据在空间维度上建立匹配对间的关系；
将所述匹配点对之间的全局信息和所述匹配对间的关系输入改进后的diff-unpool模块，将下采样的特征尺寸还原回原特征尺寸，将上采样后的数据经过预设次数改进后的PointCN网络，以生成特征数据。
优选地，所述对所述特征数据进行降维处理，以生成分类列表，具体为：
对所述特征数据使用1×1的卷积核进行卷积处理得到匹配点对的分类logit值，对分类logit值通过ReLU和tanh激活函数进行归一化处理得到匹配对的对应权重值，并基于所述匹配对的对应权重值成分类列表。
本发明第二实施例提供了一种自动化农业机械的图像匹配装置，包括：
特征增强单元，用于获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强；
特征数据生成单元，用于调用基于OA-Net改进的神经网络对经过特征增强后的图像组进行特征提取，以生成特征数据；
分类列表生成单元，用于对所述特征数据进行降维处理，以生成分类列表；
基础矩阵生成单元，用于调用加权8点算法对所述分类列表的权重进行回归计算，以生成基础矩阵，基于所述基础矩阵对完成相机相对位姿回归任务。
优选地，所述特征增强单元具体用于：
调用SIFT算法分别提取所述图像组中的特征点，并生成第一特征点集和第二特征点集；
获取所述第一特征点集从第二特征点集的最近邻居生成初始匹配点对的集合，
对所述初始匹配点对的集合进行卷积处理以实现特征增强。
优选地，所述特征增强生成单元具体用于：
调用改进后的PointCN网络对特征增强后的所述图像组进行在通道上和空间上的特征提取，以捕获匹配点对之间的全局信息；
调用改进后的diff-pool模块对增强后的图像组学习一个软分配矩阵并对数据进行下采样生成下采样数据，并调用进后的OAFilter模块对所述下采样数据在空间维度上建立匹配对间的关系；
将所述匹配点对之间的全局信息和所述匹配对间的关系输入改进后的diff-unpool模块，将下采样的特征尺寸还原回原特征尺寸，将上采样后的数据经过预设次数改进后的PointCN网络，以生成特征数据。
优选地，所述分类列表生成单元具体用于：
对所述特征数据使用1×1的卷积核进行卷积处理得到匹配点对的分类logit值，对分类logit值通过ReLU和tanh激活函数进行归一化处理得到匹配对的对应权重值，并基于所述匹配对的对应权重值成分类列表。
本发明第三实施例提供了一种自动化农业机械的图像匹配设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上任意一项所述的一种自动化农业机械的图像匹配方法。
本发明第四实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上任意一项所述的一种自动化农业机械的图像匹配方法。
基于本发明提供的一种自动化农业机械的图像匹配方法、装置、设备及存储介质，通过先获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强，接着调用基于OA-Net改进的神经网络对经过特征增强后的图像组进行特征提取，以生成特征数据；并调用对所述特征数据进行降维处理，以生成分类列表；最后调用加权8点算法对所述分类列表的权重进行回归计算，以生成基础矩阵，基于所述基础矩阵对完成相机相对位姿回归任务，解决了现有的图像特征匹配算法对于异常值和相机姿态估计的鲁棒性较低，会影响其在农业机械自动作业场景下的应用效果的问题。
附图说明
图1是本发明第一实施例提出的一种自动化农业机械的图像匹配方法的流程示意图；
图2是本发明提出的图像匹配算法网络框图；
图3是本发明提出的PointCN模块示意图；
图4是本发明提出的高斯上下文转换块的结构示意图；
图5是本发明提出的scSE模块示意图；
图6是本发明提出的diff-pool模块改进示意图；
图7是本发明提出的OAFilter模块改进示意图；
图8是本发明提出的diff-unpool模块改进示意图；
图9是本发明第二实施例提出的一种自动化农业机械的图像匹配装置的模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
以下结合附图对本发明的具体实施例做详细说明。
本本发明公开了一种自动化农业机械的图像匹配方法、装置、设备及存储介质，旨在解决现有的图像特征匹配算法对于异常值和相机姿态估计的鲁棒性较低，会影响其在农业机械自动作业场景下的应用效果的问题。
请参阅图1和图2，本发明第一实施例提供了一种自动化农业机械的图像匹配方法，其可由自动化农业机械的图像匹配设备（以下简称匹配设备）来执行，特别的，由所述匹配设备内的一个或者多个处理器来执行，以实现如下步骤：
S101，获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强；
在本实施例中，所述匹配设备可为台式电脑、笔记本电脑、服务器、工作站等具有数据处理分析能力的终端，其能够和配置在农业机械的图像采集装置进行通讯，其中，所述评价设备内可安装有相应的操作系统以及应用软件，并通过操作系统以及应用软件的结合来实现本实施例所需的功能。
具体地，在本实施例中：
调用SIFT算法分别提取所述图像组中的特征点，并生成第一特征点集和第二特征点集；
获取所述第一特征点集从第二特征点集的最近邻居生成初始匹配点对的集合，
对所述初始匹配点对的集合进行卷积处理以实现特征增强。
更具体地：
对于给定的一组图像对，使用SIFT算法分别提取/>与/>中的特征点/>，；则从图像/>中提取的特征点集为/>，从图像/>中提取的特征点集为；分别提取两张图像的特征点集后，/>从/>中中寻找特征点的最近邻居生成初始匹配点对的集合C，图像对的初始匹配点对集C如下：
；
其中，C为维度的数据，将C作为输入数据，
；
式中，表示匹配点对，/>，/>分别表示匹配的两个特征点在对应图像中的坐标，其中/>为在图像/>中的坐标，/>为在图像/>中的坐标；
对输入数据C进行一次卷积核大小为的卷积处理，使C的通道维度从4维转换为128维，即/>，进行特征增强预处理，增加了特征信息，其中，N为C中匹配点对的个数。
S102，调用基于OA-Net改进的神经网络对经过特征增强后的图像组进行特征提取，以生成特征数据；
具体地，在本实施例中：
调用改进后的PointCN网络（如图3所示）对特征增强后的所述图像组进行在通道上和空间上的特征提取，以捕获匹配点对之间的全局信息；
调用改进后的diff-pool模块对增强后的图像组学习一个软分配矩阵并对数据进行下采样生成下采样数据，并调用进后的OAFilter模块对所述下采样数据在空间维度上建立匹配对间的关系；
将所述匹配点对之间的全局信息和所述匹配对间的关系输入改进后的diff-unpool模块，将下采样的特征尺寸还原回原特征尺寸，将上采样后的数据经过预设次数改进后的PointCN网络，以生成特征数据。
更具体地：
步骤B1：使用3个改进后的包含2个PointCN的网络模块对特征增强后的输入数据C捕获通道维度信息，来提高网络对于N个匹配点对间全局上下文信息的捕获能力；
步骤B2：使用一层scSE注意力机制网络模块对经过步骤B1后的数据分别建模特征图在通道和空间维度之间的相互依赖关系，然后自适应地调整特征图，从而获取更有效的匹配点对间的关系信息。
步骤B3：使用改进后的diff-pool模块对经过步骤B1后的数据学习一个软分配矩阵并对数据进行下采样，将N个匹配对个数聚类成M个类，故的数据变成维度为（M=500）的数据，利用了下采样和注意力机制来学习数据的局部信息。
步骤B4：将经过步骤B2下采样后的数据使用三个改进后的OAFilter模块来在空间维度上建立匹配对间的关系，每一个OAFilter模块进行一次残差连接，使获得数据的全局上下文。
步骤B5：将对经过步骤B1后的数据和经过步骤B3后的数据输入改进后的diff-unpool模块，将的数据恢复维度为/>的数据，然后将上采样后的数据经过六次改进后的PointCN网络，完成了对数据集的特征提取过程。
需要说明的是，所述步骤B1中，改进后的包含2个PointCN的网络模块为：在原来的邻接的两个PointCN网络中间插入一层高斯上下文转换块，并将该改进的模块命名为高斯上下文注意层。高斯上下文转换块的结构图如图4所示，它由三个操作组成分别是全局上下文聚合、归一化和高斯上下文激励。
具体来说高斯上下文转换块的实现原理，给定一个输入特征张量，经过全局平均池化获得的全局上下文可以表述为：
其中，输出Z的维度是，N为匹配点对数，C为通道数。
之前的大部分通道注意机制工作是通过依次执行变换和激活两个操作来激发所获得的全局上下文。首先，在现有技术中，转换操作它们使用全连接层或线性变换来转换全局上下文。然后再使用一个Sigmoid函数来激活转换后的全局上下文到注意力激活。但是高斯上下文变换块与这些工作不同，它通过一个简单的函数来执行转换和激活操作，该函数明确代表了全局上下文和注意力激活的负相关关系。于是高斯上下文变换块的归一化操作表示如下：
其中，输出的维度是/>，/>代表均值位移，/>代表全局上下文/>的均值，均值位移测量了/>和/>之间的偏差。/>表示全局上下文的标准差，由于/>直接作为输入会使不稳定，为了缓解这个问题，于是引入标准差/>，使/>稳定在均值为0，方差为1的分布中。
为了满足全局上下文和注意力激活的负相关关系的假设，在众所周知的函数中，高斯函数很好地拟合该性质，于是本文将全局上下文激活操作定义为一个高斯函数，高斯上下文变换块的全局上下文激活操作表示如下：
其中，输出的维度是/>，c为控制通道注意激活差异的高斯函数的标准差：标准差越大，通道间注意激活的差异越小。本文默认/>。/>表示注意力的激活情况。
结合上述的操作，高斯上下文变换块整体可以表述为：
其中，代表全局上下文池化操作，/>表示全局上下文的标准化操作，输出的/>维度是/>。高斯上下文变换块使用高斯函数来激活全局上下文，使/>捕获了特征的通道维度关系信息，帮助提高网络对于全局上下文的捕获能力。
在本实施例中，所述步骤B2中， scSE注意力机制网络模块为：经过B1步骤后的数据经过scSE网络模块，最后将这两部分的数据进行残差连接，空间和通道并存的注意力块scSE的结构示意图如图5所示。
具体来说空间和通道并存的注意力块scSE的实现原理，给定一个输入特征张量，经过全局平均池化获得的全局上下文可以表述为：
给定一个输入特征张量，然后分别将它传递到空间和通道并存的注意力块的两个分支中。在第一分支中，输入张量/>经过全局上下文池化层输出/>，然后/>通过卷积核为1的卷积层输出/>，然后/>再通过卷积核为1的卷积层输出，最后将输出的/>通过一个Sigmoid函数生成通道注意力权重。上述的操作可表示为如下：
其中，的输出维度为/>，/>代表全局上下文池化操作，/>表示卷积操作，/>为Sigmoid激活层。/>表示生成的通道注意力权重，用于强调重要的通道信息。
在第二分支中，输入张量经过卷积核1的卷积层输出/>，然后/>通过Sigmoid激活函数生成空间注意力权重。以上的操作可描述为如下：
其中，的输出维度为/>，/>表示生成的空间注意力权重，用于强调重要的空间信息。
最后，在空间和通道并存的注意力块中得到最终的输出，它与输入张量/>的维度大小相同都是/>，空间和通道并存的注意力块的输出/>可以表述如下：
综上所述，空间和通道并存的注意力块在空间和通道维度上分别通过不同的方式显式地建模特征图的相互依赖关系，然后分别自适应地调整空间和通道维度上全局上下文信息和注意力激活之间的关系，以抑制不重要的信息，而强调重要的信息，并且最后通道和空间上重新校准后的特征图进行组合，提高了内点的特征表示能力，增强匹配点对作为内部或外点的区别。
在本实施例中，所述步骤B3中，改进后的diff-pool模块（如图6所示）结构为：在原来的网络后面再插入一层注意力机制scSE网络模块，即经过B1步骤后的数据先经过一个PointCN学习一个软分配，将的数据变成维度为/>（M=500）的数据后与之后经过scSE网络后的数据进行残差连接。
在本实施例中，所述步骤B4中，改进后的OAFilter模块（如图7所示）结构为：在每个PintCN之后插入一层注意力机制scSE网络模块，并在原来的空间对应层之后插入一层注意力机制scSE网络模块。
在本实施例中，所述步骤B5中，改进后的diff-unpool模块（如图8所示）结构为：在PointCN网络后面插入一层注意力机制scSE网络模块，即经过B1步骤后的数据经过一个PointCN网络，将的数据变成维度为/>（M=500）的数据后与之后经过scSE网络后的数据进行残差连接。
S103，对所述特征数据进行降维处理，以生成分类列表；
具体地，在本实施例中，
对所述特征数据使用1×1的卷积核进行卷积处理得到匹配点对的分类logit值，对分类logit值通过ReLU和tanh激活函数进行归一化处理得到匹配对的对应权重值，并基于所述匹配对的对应权重值成分类列表。
更具体地：
步骤C1：使用的卷积核进行卷积处理，将经过步骤B4后的数据维度从压缩为/>，得到匹配点对的分类logit值/>，如下：
；
式中，是基于OA-Net改进的神经网络，/>为初始匹配点对集，再将/>进行归一化处理得到匹配对的对应权重，如下：
；
其中，得到的每个权重，其中权重为0表示误匹配。
S104，调用加权8点算法对所述分类列表的权重进行回归计算，以生成基础矩阵，基于所述基础矩阵对完成相机相对位姿回归任务。
在本实施例中，经过步骤C1得到的匹配点对的权重，通过加权8点算法回归计算得到基础矩阵/>，进而得到相机相对位姿。如下：
在本发明一个可能的实施例中，还包括，对网络进行训练，具体地，网络训练过程中最小化分类损失和基础矩阵损失是优化的目的如下：
其中，是通过预测的基础矩阵/>和标准矩阵E计算几何损失/>得到基础矩阵的损失，/>，/>是匹配点对，/>（/>，/>，/>和/>计算类型的统称）表示向量/>的第/>个元素。/>表示分类的损失，计算方法是使用交叉熵损失函数得到。
表1为本实施例与其他几种特征匹配算法在YFCC100M数据集的准确率量化对比。其中，对比的网络有PointCN、OANet、PointNet++、N3Net、DFE。从表1中，可以看到本发明显著提升了图像特征匹配的准确率，相使用六种不同的网络在相同的数据集上进行训练，本发明的方法取得最好的效果，在没有RANSAC后处理下相比于OANet准确率提升了5.69%，在使用RANSAC后处理下相比于OANet准确率提升了2.03%。
表1
综上，上述实施例至少包括以下有益效果：
本实施例提出了高斯上下文注意层，并引用了高斯上下文变换块来捕获匹配点对的通道维度信息，以提高网络对于全局上下文信息的捕获能力。
本实施例引入了空间和通道并存的注意力块scSE，它显式地分别建模特征图在通道和空间维度之间的相互依赖关系来重新校准特征图，用于有效获取匹配点对间的关系信息。
本实施例提出的新的错误匹配点对移除网络，它包含了一个新的模块是高斯上下文注意层，并引入了空间和通道并存的注意力块scSE。该网络在具有不同场景的大规模室内和室外数据集上都得到了广泛的评估，可以无缝配合定位建图部分和轨迹跟踪和自动作业部分完成农机的自动化作业。
请参阅图9，本发明第二实施例提供了一种自动化农业机械的图像匹配装置，包括：
特征增强单201，用于获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强；
特征数据生成单元202，用于调用基于OA-Net改进的神经网络对经过特征增强后的图像组进行特征提取，以生成特征数据；
分类列表生成单元203，用于对所述特征数据进行降维处理，以生成分类列表；
基础矩阵生成单元204，用于调用加权8点算法对所述分类列表的权重进行回归计算，以生成基础矩阵，基于所述基础矩阵对完成相机相对位姿回归任务。
优选地，所述特征增强单元具体用于：
调用SIFT算法分别提取所述图像组中的特征点，并生成第一特征点集和第二特征点集；
获取所述第一特征点集从第二特征点集的最近邻居生成初始匹配点对的集合，
对所述初始匹配点对的集合进行卷积处理以实现特征增强。
优选地，所述特征增强生成单元具体用于：
调用改进后的PointCN网络对特征增强后的所述图像组进行在通道上和空间上的特征提取，以捕获匹配点对之间的全局信息；
调用改进后的diff-pool模块对增强后的图像组学习一个软分配矩阵并对数据进行下采样生成下采样数据，并调用进后的OAFilter模块对所述下采样数据在空间维度上建立匹配对间的关系；
将所述匹配点对之间的全局信息和所述匹配对间的关系输入改进后的diff-unpool模块，将下采样的特征尺寸还原回原特征尺寸，将上采样后的数据经过预设次数改进后的PointCN网络，以生成特征数据。
优选地，所述分类列表生成单元具体用于：
对所述特征数据使用1×1的卷积核进行卷积处理得到匹配点对的分类logit值，对分类logit值通过ReLU和tanh激活函数进行归一化处理得到匹配对的对应权重值，并基于所述匹配对的对应权重值成分类列表。
本发明第三实施例提供了一种自动化农业机械的图像匹配设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上任意一项所述的一种自动化农业机械的图像匹配方法。
本发明第四实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上任意一项所述的一种自动化农业机械的图像匹配方法。
基于本发明提供的一种自动化农业机械的图像匹配方法、装置、设备及存储介质，通过先获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强，接着调用基于OA-Net改进的神经网络对经过特征增强后的图像组进行特征提取，以生成特征数据；并调用对所述特征数据进行降维处理，以生成分类列表；最后调用加权8点算法对所述分类列表的权重进行回归计算，以生成基础矩阵，基于所述基础矩阵对完成相机相对位姿回归任务，解决了现有的图像特征匹配算法对于异常值和相机姿态估计的鲁棒性较低，会影响其在农业机械自动作业场景下的应用效果的问题。
示例性地，本发明第三实施例和第四实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述实现一种自动化农业机械的图像匹配设备中的执行过程。例如，本发明第二实施例中所述的装置。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种自动化农业机械的图像匹配方法的控制中心，利用各种接口和线路连接整个所述实现对一种自动化农业机械的图像匹配方法的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现一种自动化农业机械的图像匹配方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、文字转换功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、文字消息数据等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡（Smart Media Card, SMC）、安全数字（Secure Digital, SD）卡、闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种自动化农业机械的图像匹配方法，其特征在于，包括：
获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强；
调用基于OA-Net改进的神经网络对经过特征增强后的图像组进行特征提取，以生成特征数据，具体为：
调用改进后的残差块对特征增强后的所述图像组进行在通道上和空间上的特征提取，以捕获匹配点对之间的全局信息，其中，所述改进后的残差块包括高斯上下文注意层和空间通道并存的注意力块scSE，其中，高斯上下文注意层包括两个PointCN网络和配置在两个PointCN网络之间的高斯上下文转换块；
调用改进后的diff-pool模块对增强后的图像组学习一个软分配矩阵并对数据进行下采样生成下采样数据，并调用改进后的OAFilter模块对所述下采样数据在空间维度上建立匹配对间的关系；
将所述匹配点对之间的全局信息和所述匹配对间的关系输入改进后的diff-unpool模块，将下采样的特征尺寸还原回原特征尺寸，将上采样后的数据经过预设次数改进后的PointCN网络，以生成特征数据；
对所述特征数据进行降维处理，以生成分类列表；
调用加权8点算法对所述分类列表的权重进行回归计算，以生成基础矩阵，基于所述基础矩阵对完成相机相对位姿回归任务。
2.根据权利要求1所述的一种自动化农业机械的图像匹配方法，其特征在于，所述获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强，具体为：
调用SIFT算法分别提取所述图像组中的特征点，并生成第一特征点集和第二特征点集；
获取所述第一特征点集从第二特征点集的最近邻居生成初始匹配点对的集合；
对所述初始匹配点对的集合进行卷积处理以实现特征增强。
3.根据权利要求1所述的一种自动化农业机械的图像匹配方法，其特征在于，所述对所述特征数据进行降维处理，以生成分类列表，具体为：
对所述特征数据使用1×1的卷积核进行卷积处理得到匹配点对的分类logit值，对分类logit值通过ReLU和tanh激活函数进行归一化处理得到匹配对的对应权重值，并基于所述匹配对的对应权重值成分类列表。
4.一种自动化农业机械的图像匹配装置，其特征在于，包括：
特征增强单元，用于获取由图像采集装置采集到的图像组，并对所述图像组进行特征增强；
特征数据生成单元，用于调用基于OA-Net改进的神经网络对经过特征增强后的图像组进行特征提取，以生成特征数据，具体用于：调用改进后的残差块对特征增强后的所述图像组进行在通道上和空间上的特征提取，以捕获匹配点对之间的全局信息，其中，所述改进后的残差块包括高斯上下文注意层和空间通道并存的注意力块scSE，其中，高斯上下文注意层包括两个PointCN网络和配置在两个PointCN网络之间的高斯上下文转换块；
调用改进后的diff-pool模块对增强后的图像组学习一个软分配矩阵并对数据进行下采样生成下采样数据，并调用改进后的OAFilter模块对所述下采样数据在空间维度上建立匹配对间的关系；
将所述匹配点对之间的全局信息和所述匹配对间的关系输入改进后的diff-unpool模块，将下采样的特征尺寸还原回原特征尺寸，将上采样后的数据经过预设次数改进后的PointCN网络，以生成特征数据；
分类列表生成单元，用于对所述特征数据进行降维处理，以生成分类列表；
基础矩阵生成单元，用于调用加权8点算法对所述分类列表的权重进行回归计算，以生成基础矩阵，基于所述基础矩阵对完成相机相对位姿回归任务。
5.根据权利要求4所述的一种自动化农业机械的图像匹配装置，其特征在于，所述特征增强单元具体用于：
调用SIFT算法分别提取所述图像组中的特征点，并生成第一特征点集和第二特征点集；
获取所述第一特征点集从第二特征点集的最近邻居生成初始匹配点对的集合，
对所述初始匹配点对的集合进行卷积处理以实现特征增强。
6.根据权利要求4所述的一种自动化农业机械的图像匹配装置，其特征在于，所述分类列表生成单元具体用于：
对所述特征数据使用1×1的卷积核进行卷积处理得到匹配点对的分类logit值，对分类logit值通过ReLU和tanh激活函数进行归一化处理得到匹配对的对应权重值，并基于所述匹配对的对应权重值成分类列表。
7.一种自动化农业机械的图像匹配设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1至3任意一项所述的一种自动化农业机械的图像匹配方法。
8.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如权利要求1至3任意一项所述的一种自动化农业机械的图像匹配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310781998.2A CN116503628A (zh) | 2023-06-29 | 2023-06-29 | 自动化农业机械的图像匹配算法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310781998.2A CN116503628A (zh) | 2023-06-29 | 2023-06-29 | 自动化农业机械的图像匹配算法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116503628A true CN116503628A (zh) | 2023-07-28 |
Family
ID=87318723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310781998.2A Pending CN116503628A (zh) | 2023-06-29 | 2023-06-29 | 自动化农业机械的图像匹配算法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503628A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288011A (zh) * | 2020-10-30 | 2021-01-29 | 闽江学院 | 一种基于自注意力深度神经网络的图像匹配方法 |
| CN112308128A (zh) * | 2020-10-28 | 2021-02-02 | 闽江学院 | 一种基于注意力机制神经网络的图像匹配方法 |
| CN112489098A (zh) * | 2020-12-09 | 2021-03-12 | 福建农林大学 | 一种基于空间通道注意力机制神经网络的图像匹配方法 |
| CN112949765A (zh) * | 2021-04-07 | 2021-06-11 | 闽江学院 | 融合局部和全局信息的图像匹配方法 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
-
2023
- 2023-06-29 CN CN202310781998.2A patent/CN116503628A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| CN112308128A (zh) * | 2020-10-28 | 2021-02-02 | 闽江学院 | 一种基于注意力机制神经网络的图像匹配方法 |
| CN112288011A (zh) * | 2020-10-30 | 2021-01-29 | 闽江学院 | 一种基于自注意力深度神经网络的图像匹配方法 |
| CN112489098A (zh) * | 2020-12-09 | 2021-03-12 | 福建农林大学 | 一种基于空间通道注意力机制神经网络的图像匹配方法 |
| CN112949765A (zh) * | 2021-04-07 | 2021-06-11 | 闽江学院 | 融合局部和全局信息的图像匹配方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周先森爱吃素: "GCT解读", Retrieved from the Internet <URL:《https://blog.csdn.net/zhouchen1998/article/details/117925049》> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
| US20190311223A1 (en) | Image processing methods and apparatus, and electronic devices | |
| US20230081645A1 (en) | Detecting forged facial images using frequency domain information and local correlation | |
| CN112308200B (zh) | 神经网络的搜索方法及装置 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN111340077B (zh) | 基于注意力机制的视差图获取方法和装置 | |
| CN110023989B (zh) | 一种素描图像的生成方法及装置 | |
| KR102140805B1 (ko) | 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치 | |
| CN110148117B (zh) | 基于电力图像的电力设备缺陷识别方法、装置与存储介质 | |
| CN111291825A (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN109977832B (zh) | 一种图像处理方法、装置及存储介质 | |
| CN114049332A (zh) | 异常检测方法及装置、电子设备和存储介质 | |
| CN111932577B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| WO2019128735A1 (zh) | 图像处理方法及装置 | |
| Hoang et al. | Improving traffic signs recognition based region proposal and deep neural networks | |
| CN112364916A (zh) | 基于迁移学习的图像分类方法、相关设备及存储介质 | |
| Wodzinski et al. | Learning-based affine registration of histological images | |
| WO2022179606A1 (zh) | 一种图像处理方法及相关装置 | |
| Guo et al. | Salient object detection from low contrast images based on local contrast enhancing and non-local feature learning | |
| CN112749576B (zh) | 图像识别方法和装置、计算设备以及计算机存储介质 | |
| CN116888605A (zh) | 神经网络模型的运算方法、训练方法及装置 | |
| CN116503628A (zh) | 自动化农业机械的图像匹配算法、装置、设备及存储介质 | |
| CN117036658A (zh) | 一种图像处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230728 |