CN114119987A - 基于卷积神经网络的特征提取和描述子生成方法及系统 - Google Patents

基于卷积神经网络的特征提取和描述子生成方法及系统 Download PDF

Info

Publication number
CN114119987A
CN114119987A CN202111398685.6A CN202111398685A CN114119987A CN 114119987 A CN114119987 A CN 114119987A CN 202111398685 A CN202111398685 A CN 202111398685A CN 114119987 A CN114119987 A CN 114119987A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
module
feature point
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111398685.6A
Other languages
English (en)
Inventor
马仪
文刚
潘浩
朱福常
李永彪
周仿荣
马御棠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN202111398685.6A priority Critical patent/CN114119987A/zh
Publication of CN114119987A publication Critical patent/CN114119987A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于计算机视觉与导航定位技术领域，提供一种基于卷积神经网络的特征提取和描述子生成方法及系统，该系统包括图像数据获取与标定模块、图像去畸变模块、特征点提取模块、描述子生成与特征点匹配模块、损失函数计算模块、损失函数反向传播训练模块和训练后提取生成模块，通过对去畸变图像进行特征点提取和描述子生成，生成特征点对，根据特征点对和相机内参，计算重投影误差，利用重投影误差对特征点提取模块和描述子生成与特征点匹配模块的卷积神经网络进行训练，调整权重参数，得到训练后的卷积神经网络，利用训练后的卷积神经网络对去畸变图像直接进行特征点提取和描述子生成，不需要进行数据的标定，属于无监督的学习，且准确率更高。

Description

基于卷积神经网络的特征提取和描述子生成方法及系统
技术领域
本申请属于计算机视觉与导航定位技术领域，具体涉及基于卷积神经网络的特征提取和描述子生成方法及系统。
背景技术
图像特征点和描述子是很多实际应用的基础，例如，多幅图像的配准、利用多幅二维图像进行三维重建和恢复场景三维结构，这些应用在建立图像点与点之间的对应关系通常都依赖于一个优秀的局部图像特征点和描述子。随着双视图几何的发展，特征点提取和描述子生成的算法对双视图几何最终位姿解算的结果影响越来越大，现在所使用到的一些算法，例如FAST特征点、HARRIS特征点、SIFT描述子和BRIEF描述子等都在算法时间和准确率上不那么尽如人意。
随着大规模带有标签的图像数据集的出现，神经网络开始广泛用于处理计算机视觉相关任务，其中，将其用在特征点提取和描述子生成上可以带来很好的效果。深度卷积神经网络在图像特征提取中具有强大的表达能力，通过大量带标签数据的学习训练，使用训练后的深度卷积神经网络用于提取特征点和生成描述子。
然而，现有的基于卷积神经网络的图像特征点提取和描述子生成还具有以下一些缺陷：一般需要有监督学习的方式，需要大量的数据标记工作；卷积神经网络一般需要比较久的时间进行运算，但是特征点和描述子的生成在同时定位与建图时需要一个实时的计算才能满足应用要求，一旦运算无法达到实时，往往会导致同时定位与建图丢帧现象的发生，使得最终定位和建图的结果不准确。
发明内容
本申请提供基于卷积神经网络的特征提取和描述子生成方法及系统，以提供一种准确率更高且通过无监督的学习可以生成的用于双视图几何计算的特征点提取和描述子生成方法及系统。
本申请第一方面提供基于卷积神经网络的特征提取和描述子生成系统，包括图像数据获取与标定模块、图像去畸变模块、特征点提取模块、描述子生成与特征点匹配模块、损失函数计算模块、损失函数反向传播训练模块和训练后提取生成模块；
所述图像数据获取与标定模块用于采集多组图像传感器图像，对采集的图像进行标定以获得相机内参和畸变参数，其中，采集的每组图像包括两张同一物体不同视角拍摄的二维图像；
所述图像去畸变模块用于接收图像数据获取与标定模块采集的图像、相机内参和畸变参数，对采集的图像进行去畸变处理；
所述特征点提取模块与图像去畸变模块相连，用于采用卷积神经网络对去畸变之后的图像进行特征点提取；
所述描述子生成与特征点匹配模块与特征点提取模块相连，用于采用卷积神经网络对特征点进行特征描述，生成描述子，以及，根据特征点和描述子对每组图像进行基于最小一范数准则的双视图特征匹配，生成特征点对；
所述损失函数计算模块与描述子生成与特征点匹配模块相连，用于获取特征点对，采用对极几何约束重投影误差作为损失函数，计算重投影误差；
所述损失函数反向传播训练模块与损失函数计算模块相连，用于将重投影误差进行反向传播，对特征点提取模块的卷积神经网络的参数进行训练，得到第一卷积神经网络；对描述子生成与特征点匹配模块的卷积神经网络的参数进行训练，得第二卷积神经网络；
所述训练后提取生成模块用于利用第一卷积神经网络进行特征点提取，以及，根据特征点和第二卷积神经网络进行描述子生成。
可选的，所述图像数据获取与标定模块利用拍摄RGB图像的相机进行图像采集，
可选的，所述对采集的图像进行标定以获得相机内参和畸变参数，包括：
通过针孔相机模型或鱼眼相机模型对图像进行标定，输出相机内参和畸变参数，其中，小视场角相机采集的图像采用针孔相机模型进行标定，大视场角的相机采集的图像采用鱼眼相机模型进行标定。
可选的，所述图像去畸变模块对小视角的相机采集的图像采取针孔相机模型去畸变，对大视角的相机采集的图像采用鱼眼相机模型去畸变。
可选的，所述采集的每组图像具有部分重合。
可选的，所述特征点提取模块的卷积神经网络和所述特征点匹配模块的卷积神经网络均为浅层卷积神经网络。
可选的，所述采用对极几何约束重投影误差作为损失函数，计算重投影误差，包括：
根据特征点对，采用对极几何进行相对位姿解算，通过对极几何约束计算双视图之间的旋转矩阵和平移矩阵；
根据相对位姿和相机内参，将特征点对的像素坐标重投影，计算特征点投影至被匹配图像上所形成的投影误差之和，获得重投影误差。
可选的，所述损失函数反向传播训练模块根据多组图像的重投影误差，依次对特征点提取模块的卷积神经网络和特征点匹配模块的卷积神经网络的参数进行训练。
可选的，所述依次对特征点提取模块的卷积神经网络和特征点匹配模块的卷积神经网络的参数进行训练，其中，每次对特征点提取模块的卷积神经网络和特征点匹配模块的卷积神经网络的参数进行训练，包括：
接收损失函数计算模块中一组图像的重投影误差；
判断该重投影误差是否大于预设阈值，如果重投影误差大于预设阈值，则将重投影误差输入至特征点提取模块和描述子生成与特征点匹配模块，根据重投影误差，调整特征点提取模块的卷积神经网络权重和特征点匹配模块的卷积神经网络权重，根据调整权重后的卷积神经网络，重新进行特征点提取和描述子生成，并重新生成特征点对和计算重投影误差；
重复上述步骤直至重投影误差小于或等于预设阈值。
本申请另一方面提供基于卷积神经网络的特征提取和描述子生成方法，包括以下步骤：
采集多组图像传感器图像，对采集的图像进行标定以获得相机内参和畸变参数，其中，采集的每组图像包括两张同一物体不同视角拍摄的二维图像；
根据相机内参和畸变参数，对采集的图像进行去畸变处理；
采用卷积神经网络对去畸变之后的图像进行特征点提取；
采用卷积神经网络对提取的特征点进行特征描述，生成描述子，以及，根据特征点和描述子对每组图像进行基于最小一范数准则的双视图特征匹配，生成特征点对；
根据特征点对，采用对极几何约束重投影误差作为损失函数，计算重投影误差；
将重投影误差进行反向传播，对特征点提取的卷积神经网络参数进行训练，得到第一卷积神经网络；对描述子生成的卷积神经网络的参数进行训练，得到第二卷积神经网络；
将第一卷积神经网络和第二卷积神经网络应用与双视图几何计算，利用第一卷积神经网络进行特征点提取，以及，根据特征点和第二卷积神经网络进行描述子生成。
由以上技术方案可知，本申请提供的一种基于卷积神经网络的特征提取和描述子生成系统，包括图像数据获取与标定模块、图像去畸变模块、特征点提取模块、描述子生成与特征点匹配模块、损失函数计算模块、损失函数反向传播训练模块和训练后提取生成模块，通过对每组图像中两张不同视角的去畸变图像进行特征点提取和描述子生成，根据描述子进行特征点匹配，生成特征点对，根据特征点对和图像数据获取与标定模块获得的相机内参，计算重投影误差，因为重投影误差与特征点提取和描述子生成有关，所以利用重投影误差的大小对特征点提取模块和描述子生成与特征点匹配模块的卷积神经网络进行训练，调整权重参数，直至每组的重投影误差小于或等于预设阈值，得到训练后的卷积神经网络，分别为用于提取特征点的第一卷积神经网络和生成描述子的第二卷积神经网络，整个过程不需要进行数据的标定，属于无监督的学习，且准确率更高。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于卷积神经网络的特征提取和描述子生成系统的结构示意图。
图2是本申请实施例提供的基于卷积神经网络的特征提取和描述子生成系统中图像标定的结构示意图。
图3是本申请实施例提供的基于卷积神经网络的特征提取和描述子生成系统中特征点提取模块的卷积神经网络的结构示意图。
图4是本申请实施例提供的基于卷积神经网络的特征提取和描述子生成系统中描述子生成与特征点匹配模块的卷积神经网络的结构示意图。
图5是本申请实施例提供的基于卷积神经网络的特征提取和描述子生成方法的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。
如图1所示，为本申请实施例提供的基于卷积神经网络的特征提取和描述子生成系统的结构示意图，所述基于卷积神经网络的特征提取和描述子生成系统，包括图像数据获取与标定模块100、图像去畸变模块200、特征点提取模块300、描述子生成与特征点匹配模块400、损失函数计算模块500、损失函数反向传播训练模块600和训练后提取生成模块700。
所述图像数据获取与标定模块100用于采集多组图像传感器图像，对采集的图像进行标定以获得相机内参和畸变参数，其中，采集的每组图像包括两张同一物体不同视角拍摄的二维图像。
本申请实施例利用拍摄RGB图像的相机采集多组图像，每组图像都包括两张同一物体不同视角拍摄的二维图像，每组图像都具有部分的重合，其中，可以选择部分图像进行训练，部分图像进行测试，在训练时，先将一组图像的数据进行反向传播训练，调整卷积神经网络参数，再将下一组图像的数据进行反向传播训练，调整卷积神经网络参数，依次进行。
采集图像后，首先需要对图像进行进行标定以获得相机内参和畸变参数，参见图2，为本申请实施例提供的基于卷积神经网络的特征提取和描述子生成系统中图像标定的结构示意图，本申请实施例通过针孔相机模型101或鱼眼相机模型102对图像进行标定，输出相机内参和畸变参数，其中，小视场角相机采集的图像采用针孔相机模型101进行标定，大视场角的相机采集的图像采用鱼眼相机模型102进行标定。
所述图像去畸变模块200用于接收图像数据获取与标定模块100采集的图像、相机内参和畸变参数，对采集的图像进行去畸变处理。
由于采集的图像是具有畸变参数的，不利于特征点的提取，因此需要对图像进行去畸变，最小化畸变对后续特征提取与描述子生成的影响，本申请实施例对小视角的相机采集的图像采取针孔相机模型101去畸变，对大视角的相机采集的图像采用鱼眼相机模型102去畸变。
所述特征点提取模块300与图像去畸变模块200相连，用于采用卷积神经网络对去畸变之后的图像进行特征点提取。
获取到去畸变的图像数据后，对图像用卷积神经网络进行特征提取。参见图3，为本申请实施例提供的基于卷积神经网络的特征提取和描述子生成系统中特征点提取模块的卷积神经网络的结构示意图，由于传统深度卷积神经网络特征点提取方法非常耗时，所以本申请实施例用来提取图像特征点的卷积神经网络是浅层的，以在不降低性能的情况下，保证特征点提取的效果，具体包括依次连接的卷积层1、最大值池化层、卷积层2、最大值池化层、全连接层、Relu、全连接层和Softmax。
所述描述子生成与特征点匹配模块400与特征点提取模块300相连，用于采用卷积神经网络对特征点进行特征描述，生成描述子，以及，根据特征点和描述子对每组图像进行基于最小一范数准则的双视图特征匹配，生成特征点对。
参见图4，为本申请实施例提供的基于卷积神经网络的特征提取和描述子生成系统中描述子生成与特征点匹配模块中卷积神经网络的结构示意图。由于传统描述子生成方法非常耗时，所以本申请利用浅层卷积神经网络来计算相应特征点对应的描述子，以在不降低性能的情况下，保证描述子计算的效果。将去畸变图像和特征点输入至描述子生成与特征点匹配模块400的卷积神经网络，依次通过卷积层1、最大值池化层、卷积层2、最大值池化层、全连接层、Relu、全连接层和Softmax后，生成描述子。根据描述子将每组图像中两张图表示的同一个特征点相匹配并生成特征点对。
所述损失函数计算模块500与描述子生成与特征点匹配模块400相连，用于获取特征点对，采用对极几何约束重投影误差作为损失函数，计算重投影误差。
损失函数的设计中，本申请实施例采用了对极几何中的重投影误差。对极几何原先属于多视图几何的方法，可用于求解两张图像的相对位姿，其重投影误差的定义为在求得的相对位姿基础下，两个图像特征点投影到被匹配图像上所形成的投影误差之和。这个和一般不会0，通过调整相对位姿可以将这个值降低，这个值会有一个绝对最小值，这个最小值的大小与特征点的选择以及特征点的匹配有关，而特征点的匹配又与每个特征点的描述子有关，重投影误差的最小值与特征点的提取和特征点描述子的生成有关，所以在计算得到重投影误差以后，是可以将其用于更新特征点和描述子的生成。
所述采用对极几何约束重投影误差作为损失函数，计算重投影误差，具体包括：
根据特征点对，采用对极几何进行相对位姿解算，通过对极几何约束计算双视图之间的旋转矩阵和平移矩阵；根据相对位姿和相机内参，将特征点对的像素坐标重投影，计算特征点投影至被匹配图像上所形成的投影误差之和，获得重投影误差，于是整个过程不需要进行数据的标定，可以算是一种无监督的学习。
所述损失函数反向传播训练模块600与特征点提取模块300、描述子生成与特征点匹配模块400和损失函数计算模块500相连，用于将重投影误差进行反向传播，特征点提取模块300的卷积神经网络的参数进行训练，得到第一卷积神经网络；对描述子生成与特征点匹配模块400的卷积神经网络的参数进行训练，得第二卷积神经网络。
损失函数反向传播训练模块600接收损失函数计算模块500的数据，该数据包括多组图像的重投影误差，根据多组图像的重投影误差，依次对特征点提取模块300的卷积神经网络和特征点匹配模块400的卷积神经网络的参数进行训练，其中，每次训练具体包括：
判断该重投影误差是否大于预设阈值，如果重投影误差大于预设阈值，则将重投影误差输入至特征点提取模块300和描述子生成与特征点匹配模块400，根据重投影误差，调整特征点提取模块300的卷积神经网络权重和特征点匹配模块400的卷积神经网络权重，根据调整权重后的卷积神经网络，重新进行特征点提取和描述子生成，并重新生成特征点对和计算重投影误差。再将重新计算的重投影误差输入损失函数反向传播训练模块600，判断是否大于预设阈值，重复上述步骤直至重投影误差小于或等于预设阈值，则本次训练完成。
所述训练后提取生成模块700用于利用第一卷积神经网络进行特征点提取，以及，根据特征点和第二卷积神经网络进行描述子生成。
在经过足够多的双视图训练后，得到用于特征点提取的第一卷积神经网络和描述子生成的第二卷积神经网络，再将其他双视图去畸变后，就不需要经过重投影误差计算进行训练，可以直接输入第一卷积神经网络进行特征点提取和第二卷积神经网络进行描述子生成。
为了更清楚的说明本申请实施例提供的基于卷积神经网络的特征提取和描述子生成系统，本申请实施例还提供了一种基于卷积神经网络的特征提取和描述子生成方法，参见图5，为本申请实施例提供的基于卷积神经网络的特征提取和描述子生成方法的流程示意图。所述基于卷积神经网络的特征提取和描述子生成方法，包括步骤1至步骤7。
步骤1、采集多组图像传感器图像，对采集的图像进行标定以获得相机内参和畸变参数，其中，采集的每组图像包括两张同一物体不同视角拍摄的二维图像。
步骤2、根据相机内参和畸变参数，对采集的图像进行去畸变处理。
步骤3、采用卷积神经网络对去畸变之后的图像进行特征点提取。
步骤4、采用卷积神经网络对提取的特征点进行特征描述，生成描述子，以及，根据特征点和描述子对每组图像进行基于最小一范数准则的双视图特征匹配，生成特征点对。
步骤5、根据特征点对，采用对极几何约束重投影误差作为损失函数，计算重投影误差。
步骤6、将重投影误差进行反向传播，对特征点提取的卷积神经网络参数进行训练，得到第一卷积神经网络；对描述子生成的卷积神经网络的参数进行训练，得到第二卷积神经网络。
步骤7、将第一卷积神经网络和第二卷积神经网络应用与双视图几何计算，利用第一卷积神经网络进行特征点提取，以及，根据特征点和第二卷积神经网络进行描述子生成。
由以上技术方案可知，本申请实施例提供的一种基于卷积神经网络的特征提取和描述子生成方法及系统，该系统包括图像数据获取与标定模块、图像去畸变模块、特征点提取模块、描述子生成与特征点匹配模块、损失函数计算模块、损失函数反向传播训练模块和训练后提取生成模块，通过对每组图像中两张不同视角的去畸变图像进行特征点提取和描述子生成，根据描述子进行特征点匹配，生成特征点对，根据特征点对和图像数据获取与标定模块获得的相机内参，计算重投影误差，因为重投影误差与特征点提取和描述子生成有关，所以利用重投影误差的大小对特征点提取模块和描述子生成与特征点匹配模块的卷积神经网络进行训练，调整权重参数，直至每组的重投影误差小于或等于预设阈值，得到训练后的卷积神经网络，分别为用于提取特征点的第一卷积神经网络和生成描述子的第二卷积神经网络，整个过程不需要进行数据的标定，属于无监督的学习，且准确率更高。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。

Claims (10)

1.基于卷积神经网络的特征提取和描述子生成系统，其特征在于，包括图像数据获取与标定模块(100)、图像去畸变模块(200)、特征点提取模块(300)、描述子生成与特征点匹配模块(400)、损失函数计算模块(500)、损失函数反向传播训练模块(600)和训练后提取生成模块(700)；
所述图像数据获取与标定模块(100)用于采集多组图像传感器图像，对采集的图像进行标定以获得相机内参和畸变参数，其中，采集的每组图像包括两张同一物体不同视角拍摄的二维图像；
所述图像去畸变模块(200)用于接收图像数据获取与标定模块(100)采集的图像、相机内参和畸变参数，对采集的图像进行去畸变处理；
所述特征点提取模块(300)与图像去畸变模块(200)相连，用于采用卷积神经网络对去畸变之后的图像进行特征点提取；
所述描述子生成与特征点匹配模块(400)与特征点提取模块(300)相连，用于采用卷积神经网络对特征点进行特征描述，生成描述子，以及，根据特征点和描述子对每组图像进行基于最小一范数准则的双视图特征匹配，生成特征点对；
所述损失函数计算模块(500)与描述子生成与特征点匹配模块(400)相连，用于获取特征点对，采用对极几何约束重投影误差作为损失函数，计算重投影误差；
所述损失函数反向传播训练模块(600)与特征点提取模块(300)、描述子生成与特征点匹配模块(400)和损失函数计算模块(500)相连，用于将重投影误差进行反向传播，对特征点提取模块(300)的卷积神经网络的参数进行训练，得到第一卷积神经网络；对描述子生成与特征点匹配模块(400)的卷积神经网络的参数进行训练，得第二卷积神经网络；
所述训练后提取生成模块(700)用于利用第一卷积神经网络进行特征点提取，以及，根据特征点和第二卷积神经网络进行描述子生成。
2.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述图像数据获取与标定模块(100)利用拍摄RGB图像的相机进行图像采集。
3.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述对采集的图像进行标定以获得相机内参和畸变参数，包括：
通过针孔相机模型(101)或鱼眼相机模型(102)对图像进行标定，输出相机内参和畸变参数，其中，小视场角相机采集的图像采用针孔相机模型(101)进行标定，大视场角的相机采集的图像采用鱼眼相机模型(102)进行标定。
4.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述图像去畸变模块(200)对小视角的相机采集的图像采取针孔相机模型(101)去畸变，对大视角的相机采集的图像采用鱼眼相机模型(102)去畸变。
5.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述采集的每组图像具有部分重合。
6.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述特征点提取模块(300)的卷积神经网络和所述特征点匹配模块(400)的卷积神经网络均为浅层卷积神经网络。
7.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述采用对极几何约束重投影误差作为损失函数，计算重投影误差，包括：
根据特征点对，采用对极几何进行相对位姿解算，通过对极几何约束计算双视图之间的旋转矩阵和平移矩阵；
根据相对位姿和相机内参，将特征点对的像素坐标重投影，计算特征点投影至被匹配图像上所形成的投影误差之和，获得重投影误差。
8.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述损失函数反向传播训练模块(600)根据多组图像的重投影误差，依次对特征点提取模块(300)的卷积神经网络和特征点匹配模块(400)的卷积神经网络的参数进行训练。
9.根据权利要求8所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述依次对特征点提取模块(300)的卷积神经网络和特征点匹配模块(400)的卷积神经网络的参数进行训练，其中，每次对特征点提取模块(300)的卷积神经网络和特征点匹配模块(400)的卷积神经网络的参数进行训练，包括：
接收损失函数计算模块(500)中一组图像的重投影误差；
判断该重投影误差是否大于预设阈值，如果重投影误差大于预设阈值，则将重投影误差输入至特征点提取模块(300)和描述子生成与特征点匹配模块(400)，根据重投影误差，调整特征点提取模块(300)的卷积神经网络权重和特征点匹配模块(400)的卷积神经网络权重，根据调整权重后的卷积神经网络，重新进行特征点提取和描述子生成，并重新生成特征点对和计算重投影误差；
重复上述步骤直至重投影误差小于或等于预设阈值。
10.基于卷积神经网络的特征提取和描述子生成方法，其特征在于，包括：
采集多组图像传感器图像，对采集的图像进行标定以获得相机内参和畸变参数，其中，采集的每组图像包括两张同一物体不同视角拍摄的二维图像；
根据相机内参和畸变参数，对采集的图像进行去畸变处理；
采用卷积神经网络对去畸变之后的图像进行特征点提取；
采用卷积神经网络对提取的特征点进行特征描述，生成描述子，以及，根据特征点和描述子对每组图像进行基于最小一范数准则的双视图特征匹配，生成特征点对；
根据特征点对，采用对极几何约束重投影误差作为损失函数，计算重投影误差；
将重投影误差进行反向传播，对特征点提取的卷积神经网络参数进行训练，得到第一卷积神经网络；对描述子生成的卷积神经网络的参数进行训练，得到第二卷积神经网络；
将第一卷积神经网络和第二卷积神经网络应用与双视图几何计算，利用第一卷积神经网络进行特征点提取，以及，根据特征点和第二卷积神经网络进行描述子生成。
CN202111398685.6A 2021-11-19 2021-11-19 基于卷积神经网络的特征提取和描述子生成方法及系统 Pending CN114119987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111398685.6A CN114119987A (zh) 2021-11-19 2021-11-19 基于卷积神经网络的特征提取和描述子生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111398685.6A CN114119987A (zh) 2021-11-19 2021-11-19 基于卷积神经网络的特征提取和描述子生成方法及系统

Publications (1)

Publication Number Publication Date
CN114119987A true CN114119987A (zh) 2022-03-01

Family

ID=80440356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111398685.6A Pending CN114119987A (zh) 2021-11-19 2021-11-19 基于卷积神经网络的特征提取和描述子生成方法及系统

Country Status (1)

Country Link
CN (1) CN114119987A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439673A (zh) * 2022-11-10 2022-12-06 中山大学 基于扇形卷积神经网络的图像特征匹配方法
CN116129228A (zh) * 2023-04-19 2023-05-16 中国科学技术大学 图像匹配模型的训练方法、图像匹配方法及其装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439673A (zh) * 2022-11-10 2022-12-06 中山大学 基于扇形卷积神经网络的图像特征匹配方法
CN116129228A (zh) * 2023-04-19 2023-05-16 中国科学技术大学 图像匹配模型的训练方法、图像匹配方法及其装置

Similar Documents

Publication Publication Date Title
CN110363858B (zh) 一种三维人脸重建方法及系统
CN111063021B (zh) 一种空间运动目标的三维重建模型建立方法及装置
WO2022002150A1 (zh) 一种视觉点云地图的构建方法、装置
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN108648264B (zh) 基于运动恢复的水下场景重建方法及存储介质
CN110060329B (zh) 一种基于彩色深度视频流数据的移动端人体模型重建方法
CN104537707A (zh) 像方型立体视觉在线移动实时测量系统
CN114119987A (zh) 基于卷积神经网络的特征提取和描述子生成方法及系统
CN111797744B (zh) 一种基于共现滤波算法的多模态遥感图像匹配方法
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN113808180B (zh) 一种异源图像配准方法、系统及装置
CN109215118B (zh) 一种基于图像序列的增量式运动结构恢复优化方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
CN113160335A (zh) 一种基于双目视觉的模型点云及三维表面重建方法
CN110910456A (zh) 基于Harris角点互信息匹配的立体相机动态标定算法
CN114445615A (zh) 基于尺度不变特征金字塔结构的旋转绝缘子目标检测方法
CN116433822B (zh) 一种神经辐射场训练方法、装置、设备及介质
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN114998532B (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN116704123A (zh) 一种结合图像主体提取技术的三维重建方法
CN113284249B (zh) 一种基于图神经网络的多视角三维人体重建方法及系统
CN113670268B (zh) 基于双目视觉的无人机和电力杆塔距离测量方法
CN112927304B (zh) 一种基于卷积神经网络的鱼眼镜头标定方法
CN114022381A (zh) 一种双目图像自修复网络模型的训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination