CN111144483A - 一种图像特征点过滤方法以及终端 - Google Patents

一种图像特征点过滤方法以及终端 Download PDF

Info

Publication number
CN111144483A
CN111144483A CN201911368851.0A CN201911368851A CN111144483A CN 111144483 A CN111144483 A CN 111144483A CN 201911368851 A CN201911368851 A CN 201911368851A CN 111144483 A CN111144483 A CN 111144483A
Authority
CN
China
Prior art keywords
image
feature points
neural network
points
quality scores
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911368851.0A
Other languages
English (en)
Other versions
CN111144483B (zh
Inventor
邹李兵
张一凡
李保明
宁越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201911368851.0A priority Critical patent/CN111144483B/zh
Publication of CN111144483A publication Critical patent/CN111144483A/zh
Priority to PCT/CN2020/125271 priority patent/WO2021129145A1/zh
Priority to US17/595,079 priority patent/US20220254146A1/en
Application granted granted Critical
Publication of CN111144483B publication Critical patent/CN111144483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像特征点过滤方法以及终端。图像特征点过滤方法包括：为图像中提取的特征点设置质量分值，根据特征点以及特征点的质量分值，训练神经网络模型；一次过滤启动后，获取一帧原始图像并提取所述原始图像的特征点；将所述原始图像以及所述原始图像的特征点输入到神经网络模型中，得到所述原始图像的特征点对应的质量分值并输出所述原始图像的特征点对应的质量分值；根据所述原始图像的特征点对应的质量分值以及预设过滤规则，过滤所述原始图像的特征点。图像特征点过滤方法可提高重定位应用场景中特征点的匹配成功率，从而提升定位效率。终端能对特征点进行过滤减少特征点数量，从而减少对计算和存储资源的需求。

Description

一种图像特征点过滤方法以及终端
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像特征点过滤方法以及终端。
背景技术
随着人工智能，5G通信技术的发展，服务机器人等新的终端和应用不断深入生活，为人们提供更加便利的服务。基于点云的运动状态估计、三维重建、视觉定位是SLAM(Simultaneous Localization And Mapping，同步定位与地图构建)等技术的核心，特别是在SFM(Structure From Motion，基于运动的建模)领域，选取良好的视觉特征点，有利于提升定位的精度、保持持续、稳定的运动跟踪。然而，现有技术中特征点数量多且特征点质量不佳，在跟踪丢失后难以快速重定位，影响定位效率和精度。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的图像特征点过滤方法以及终端，通过神经网络模型对特征点进行量化评分，有效过滤质量低的特征点，节省存储空间并提高定位性能。
根据本申请的一个方面，提供了一种图像特征点过滤方法，包括：
为图像中提取的特征点设置质量分值，根据特征点以及特征点的质量分值，训练神经网络模型；其中，在训练过程中，当前帧图像特征点的质量分值基于所述特征点在当前帧中的质量分值以及在各跟踪帧中的质量分值共同确定，所述跟踪帧包括跟踪到的当前帧之后连续预设数目帧；
一次过滤启动后，获取一帧原始图像并提取所述原始图像的特征点；
将所述原始图像以及所述原始图像的特征点输入到神经网络模型中，得到所述原始图像的特征点对应的质量分值并输出所述原始图像的特征点对应的质量分值；
根据所述原始图像的特征点对应的质量分值以及预设过滤规则，过滤所述原始图像的特征点。
根据本申请的另一个方面，提供了一种终端，包括图像特征点过滤装置，所述图像特征点过滤装置包括：
模型训练模块，用于为图像中提取的特征点设置质量分值，根据特征点以及特征点的质量分值，训练神经网络模型，其中，在训练过程中，当前帧图像特征点的质量分值基于所述特征点在当前帧中的质量分值以及在各跟踪帧中的质量分值共同确定，所述跟踪帧包括跟踪到的当前帧之后连续预设数目帧；
特征提取模块，用于一次过滤启动后，获取一帧原始图像并提取所述原始图像的特征点；
分值确定模块，用于将所述原始图像以及所述原始图像的特征点输入到神经网络模型中，得到所述原始图像的特征点对应的质量分值并输出所述原始图像的特征点对应的质量分值；
过滤模块，用于根据所述原始图像的特征点对应的质量分值以及预设过滤规则，过滤所述原始图像的特征点。
本申请实施例的图像特征点过滤方法和终端，一方面，通过为特征点设置质量分值并利用神经网络对特征点进行量化评分等技术特征，有效过滤质量低的特征点，减少特征点数量，从而减少对计算和存储资源的需求；另一方面，结合当前帧和跟踪帧的特征点评分方式既考虑特征点的当前权重，也考虑特征点的长期收益，从而提升了过滤性能。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的图像特征点过滤方法的流程示意图；
图2示出了根据本申请一个实施例的神经网络模型训练的流程示意图；
图3示出了根据本申请一个实施例的原始图像、掩码图像以及掩码值图像的示意图；
图4示出了根据本申请一个实施例的使用神经网络模型预测特征点对应的质量分值的流程示意图；
图5示出了根据本申请一个实施例的终端的框图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请实施例的图像特征点过滤方法，应用在基于稀疏点云的运动状态估计、三维重建、视觉定位等领域，是Visual SLAM、虚拟现实和深度学习等技术的关键。VisualSLAM(或称V-SLAM)是通过视觉传感器获取环境图像，提取特征点构建点云地图，并在此基础上实现定位和导航。特征点过滤是V-SLAM定位追踪中的一个环节，具体是在特征点提取的基础上，对提取的特征点进行过滤的过程。目前，跟踪定位中点云生成有两种方法，分别是传统的基于人工的特征点方法和基于深度神经网络自动特征点方法。基于人工特征点方法，理论基础清晰、易于理解，计算复杂度低，但在实际使用中，特征点易受到纹理、光照、清晰度等因素影响，从而导致特征点提取不合理、跟踪效果差等技术问题。而基于深度神经网络的特征点方法利用深度神经网络良好的稳定性和鲁棒性的特性，提取的特征点对环境有较强的适应性、跟踪效果更好，是目前研究的热点。
基于深度神经网络的特征点处理是通过LSTM(Long Short-Term Memory，长短期记忆网络)或CNN(Convolutional Neural Networks，卷积神经网络)网络提取图像的特征点，并生成特征描述子，从而构建点云并在此基础上实现追踪和重定位。从实际效果来看，基于深度神经网络的特征点云生成方法有较好的环境适应性，抗干扰性好，跟踪不易丢失，但也会出现跟踪丢失后重定位表现较差的现象。本申请发明人经过分析后发现这种现象产生的主要原因是：在特征点选取(模型训练时)时只考虑到前后帧图像的特征关联性，没有考虑到选取该点为特征点构建特征点云的长时间跟踪性能，从而导致在目标跟踪丢失后难以快速重定位。此外，由于没有对特征点数量进行过滤，导致点云过于稠密，增加了存储空间，过于稠密的点云，也增加了检索时间。
为解决上述技术问题，本申请提出一种基于深度神经网络的特征点质量评价过滤方案，基于该技术方案，可实现对特征点质量量化评分，在实际应用过程中可依据分值对特征点进行过滤和筛选，如在V-SLAM点云构建阶段，可应用该技术方案对点云稀疏化，保留重要的特征点，减少点云地图的存储空间，实现对点云的压缩。而且在V-SLAM重定位阶段，由于本申请实施例的特征点评价机制中参考了长期受益，也可以提高特征点的匹配成功率，从而提升V-SLAM在重定位阶段的检索的速度和定位精度，满足实际需求。
图1示出了根据本申请一个实施例的图像特征点过滤方法的流程示意图，参见图1，本实施例的图像特征点过滤方法包括下列步骤：
步骤S101，为图像中提取的特征点设置质量分值，根据特征点以及特征点的质量分值，训练神经网络模型；其中，在训练过程中，当前帧图像特征点的质量分值基于特征点在当前帧中的质量分值以及在各跟踪帧中的质量分值共同确定，跟踪帧包括跟踪到的当前帧之后连续预设数目帧。
本实施例首先为特征点新增质量分值这一个参数，用于量化以及评价特征点的价值。质量分值可以有一个预定的初始值，但在每一次将图像数据输入神经网络进行训练时，当前帧图像中特征点的质量分值由当前帧和跟踪帧中特征点的质量分值共同确定，这种方式考虑到了当前帧图像的下一帧图像的价值，平衡了下一帧和后续连续多帧图像对本次过滤的价值，提高了过滤精度。
步骤S102，一次过滤启动后，获取一帧原始图像并提取原始图像的特征点。
步骤S103，将原始图像以及原始图像的特征点输入到神经网络模型中，得到原始图像的特征点对应的质量分值并输出原始图像的特征点对应的质量分值。
步骤S104，根据原始图像的特征点对应的质量分值以及预设过滤规则，过滤原始图像的特征点。
由图1所示可知，本实施例的图像特征点过滤方法，实现了为特征点设置质量分值进而通过神经网络对特征点质量进行量化评分，依据质量分值对特征点进行过滤的有益效果，提高了终端导航定位的效率，并且，在对特征点质量进行量化评分时，结合当前帧和跟踪帧的特征点的评分方式既考虑了特征点的当前权重，也考虑了特征点的长期收益(即某一特征点在后续帧中的表现和价值)，从而提升了过滤性能，保证了定位精度。
为提高神经网络模型的预测性能，本实施例采用非监督学习方式，无需人工对样本进行标注，通过在线学习训练动态更新神经网络模型，不断提升神经网络模型的精度。也就是说，本实施例的根据特征点以及特征点的质量分值，训练神经网络模型包括：根据图像，图像的特征点以及图像的特征点对应的质量分值生成样本，并利用生成的样本对神经网络模型进行训练，更新神经网络模型的质量分值预测值，以供下一次过滤使用。
这里的质量分值预测值是神经网络模型的一个参数，在神经网络模型初始化过程中，质量分值预测值为默认值，本实施例中通过生成样本，对神经网络模型进行训练以更新该默认值，从而提高模型预测阶段的精度，保证神经网络模型在输入待过滤的图像数据后，预测出更准确的特征点质量分值。
图2示出了根据本申请一个实施例的神经网络模型训练的流程示意图，以下结合图2对本申请实施例的神经网络模型训练过程进行说明。
参见图2，对于一图像帧In先执行步骤S201，提取特征点。
这里的图像帧比如是一帧原始图像，原始图像是相对于后面生成的掩码图像和掩码值图像而言的，这里的提取特征点可利用现有的ORB-SLAM或其他特征点提取算法实现，这里不再展开说明。ORB-SLAM是基于ORB(Oriented FASTand Rotated BRIEF)描述子的视觉SLAM(Simultaneous Localization And Mapping，同步定位与地图构建)，该特征检测算子是在FAST特征检测和BRIEF特征描述子的基础上提出来的，其运行时间远远优于SIFT和SURF，可应用于实时性特征检测。ORB特征检测具有尺度和旋转不变性，对于噪声及其透视变换也具有不变性。
提取得到特征点之后，可以将特征点存储到特征点集合Pn中。
步骤S202，生成掩码图以及生成掩码值图。
在提取得到图像的特征点之后，本步骤根据图像In以及图像In的特征点，得到掩码图像；其中掩码图像中与特征点对应的像素点的值为256(仅作示例)，其余像素点的值为0(仅作示例)。以及，根据图像，图像的特征点以及图像的特征点对应的质量分值，得到掩码值图像；其中掩码值图像中与特征点对应的像素点的值为特征点对应的质量分值。这里的根据原始图像，特征点以及特征点对应的质量分值，得到掩码值图像的过程是在为图像中提取的特征点设置质量分值的基础上实现的。
图3示出了根据本申请一个实施例的原始图像、掩码图像以及掩码值图像的示意图，参见图3，最左侧的图像In为原始图像，可以看到原始图像上提取的三个特征点分别是特征点A，特征点B和特征点C。本实施例以原始图像In的宽度和高度为标准分别构建同等大小的掩码图像Maskn和掩码值图像MaskVn，掩码图像参见图3中间的图像，掩码值图像参见图3最右侧的图像。在初始值设定过程中，将前述集合Pn中特征点在掩码图Maskn中对应位置的点的值设置为256(仅作示例)，并将各特征点在掩码值图MaskVn中对应位置的点的值均设为1(或者分别设为1，3，5)。同时将掩码图Maskn中其他像素对应点的值设为0，将掩码值图MaskVn中其他像素点的值设置为-1。即，通过在特征点对应的像素点设置点的质量分值，其他像素点设为同一值，将特征点对应的像素点与其余像素点进行区分，后续只关注特征点对应的像素点，以此提高算法效率。
由上可知，掩码图存储的是原始图像特征点的像素位置和灰度值信息，掩码值图像存储的是原始图像特征点的像素位置和质量分值信息。
通过生成掩码图和掩码值图像，既方便信息处理，也为神经网络模型针对性提取隐藏在掩码图像、掩码值图像中的信息提供了可能。
参见图3，图3的掩码值图像MaskVn中特征点A对应的像素点是第一行第三列的点，该点的质量分值为1。特征点B对应的像素点是第三行第二列的点，该点的质量分值为3。特征点C对应的像素点是第四行第五列的点，该点的质量分值是5。需要说明的是，本实施例为图像中提取的特征点设置质量分值包括为图像中提取的特征点的质量分值设置相同的初始值或不同的初始值。以设置相同的初始值1为例，之所以出现图3左侧图所示三个特征点对应的质量分值不同是因为在当前帧之后对这三个特征点跟踪过程中收益不同，或者说，在原始图像之后的跟踪帧中这三个特征点的重要性不同，这也是本申请能够对特征点进行量化评分和过滤的原理所在。
步骤S203，特征点匹配。
读入下一帧图像，将提取自当前帧In的第一特征点与提取自下一帧图像In+1的第二特征点进行匹配，特征点匹配可以采用现有技术实现，本实施例关注特征点匹配结果，即，存在匹配成功的特征点或不存在匹配成功的特征点。
步骤S204，是否存在匹配的特征点，是则执行步骤S205，否则即匹配的特征点个数为0，执行步骤S207。
在本步骤中判断相邻两帧是否存在匹配点(即匹配成功的特征点)，如果匹配点的个数等于0，表示相邻两帧不存在匹配点，那么直接执行步骤S207，即，当图像与图像的下一帧图像之间不存在匹配成功的特征点时，不对提取自图像的特征点进行跟踪，直接根据图像，掩码图像以及掩码值图像生成样本。
如果相邻两帧(即，当前帧与下一帧)存在匹配点，比如存在三个匹配点，那么根据本次跟踪结果修改当前帧图像的掩码值图。
步骤S205，修改掩码值图。
在本步骤中，当图像In与图像In的下一帧图像In+1之间存在匹配成功的特征点时，对提取自图像In的特征点进行跟踪；在跟踪过程中对特征点在当前帧In中的质量分值以及各跟踪帧中的质量分值进行求和运算，得到和值，将掩码值图像中特征点对应的质量分值替换为和值；其中，各跟踪帧中的质量分值，根据特征点在跟踪帧上一帧中的质量分值与一折扣因子的乘积确定，折扣因子为大于0且小于1的常数。
参见图2，跟踪是一个循环的过程，一次跟踪包括步骤S203至步骤S206，即，读入下一帧→执行S203将下一帧的特征点与当前帧的特征进行匹配→存在匹配点，执行步骤S205修改当前帧的掩码值图中匹配点的掩码值(质量分值)→当未达到跟踪帧深度(即图2中步骤S206的判断结果为否)返回步骤S203继续跟踪或者达到跟踪帧深度时(即图2中步骤S206的判断结果为是)，结束跟踪。跟踪循环的退出条件是当前跟踪的帧的深度达到了预设的跟踪帧深度，所谓的跟踪帧深度是对当前帧之后连续跟踪处理的帧的数目，比如对当前帧之后连续k帧跟踪，那么k即为深度阈值，k是一个大于0的自然数。
跟踪体现了本申请“累积折现回报”的发明思路，突出了本帧的下一帧图像的价值，平衡了下一帧和后面连续几个图像帧对本次图像估计的价值，有利于提高定位精度。
具体的，在每次跟踪过程中对特征点在当前帧中的质量分值以及各跟踪帧中的质量分值进行求和运算，得到和值，将当前帧的掩码值图像中特征点对应的质量分值替换为和值。
比如，通过下列更新公式对每次跟踪中当前帧的特征点的质量分值进行更新：
Figure BDA0002339147980000081
其中，0<λ<1为折扣因子，v为每个跟踪帧的上一帧的质量分值，s为跟踪帧深度，k为跟踪帧深度的阈值。
举例来说，k等于4，即在当前帧之后连续跟踪4帧。
根据前述说明，v的初始值即为掩码值图像中特征点对应的的质量分值1。s等于0表示未跟踪，即图像帧是当前帧，V表示和值，那么对于当前帧，其和值V等于1*1即1，这与前述的掩码值图像中特征点对应的质量分值初始值为1是一致的。
当跟踪帧深度s等于1时，考虑当前帧和下一帧这两帧的质量分值，当前帧中特征点的质量分值为1，下一帧中特征点的质量分值等于当前帧的质量分值加上λ。
当跟踪帧深度s等于2时，表示连续跟踪当前帧之后的2帧，称为下一帧和下二帧，共同根据当前帧，下一帧，下二帧这三帧图像确定当前帧的特征点的质量分值，如前述，当前帧中特征点的质量分值为1，下一帧中的质量分值等于当前帧的分值加上λ(即，1+λ)，下二帧中的质量分值等于当前帧的质量分值加上下一帧的质量分值再加上λ的2次方与v(v＝1)的乘积。
以此类推。
步骤S206，跟踪帧深度是否小于阈值，是则执行步骤S207，否则返回执行步骤S204。
每跟踪成功一次，跟踪帧深度+1，判断累加后的跟踪帧深度是否达到了跟踪帧深度阈值，如果达到了跟踪帧深度阈值，则停止跟踪，否则继续跟踪，以更新当前帧的质量分值。即，计算出跟踪帧中的质量分值与当前帧的质量分值的和，在所有跟踪结束时用最终和值(即跟踪到的最新的帧的和值V)替换图3所示掩码值图像中特征点对应的像素点的值，即得到当前帧中特征点的质量分值。比如，按照上述跟踪过程进行和值替换后，特征点B对应的像素点的质量分值为3，特征点C对应的像素点的质量分值是5。由此可得到原始图像中三个特征点A，B，C的质量分值不同。
步骤S207，输出掩码值图以及掩码图。
在前述步骤S206的基础上，跟踪成功的，输出修改掩码值后的掩码值图，比如图3中最右侧所示的掩码值图，跟踪失败的，输出原始掩码值图(原始掩码值图中掩码值为初始值，未经过跟踪修改)。
此外，本步骤中还输出掩码图以用于生成样本。
步骤S208，生成样本(S，V)。
也就是说，这里将图像，掩码图像以及掩码值图像三者组合生成样本。而后输出样本(S，V)到样本集合Φ，其中S＝{原始帧In、Maskn}，V＝MaskVn。
步骤S209，生成训练集。
按照一定的比例从样本集合Φ中抽样生成训练集、验证集以及测试集。
步骤S210，神经网络模型训练。
本实施例中，为神经网络模型增加一个用于接收掩码图像的第一输入通道，以及一个用于接收掩码值图像的第二输入通道；
将样本中的图像通过神经网络模型的输入通道输入到神经网络模型中，将掩码图像以及掩码值图像分别通过第一输入通道和第二输入通道输入到神经网络模型中，基于均方误差损失函数，计算样本中的掩码值图像中的质量分值与神经网络模型的质量分值预测值之间的误差，根据误差确定神经网络模型新的质量分值预测值，实现更新神经网络模型的质量分值预测值。
也就是说，在图像(图像为彩色图像)包含RGB红绿蓝三通道的基础上增加两个输入通道为掩码图层和掩码值图层，并通过这些输入通道将图像、掩码图像和掩码值图像输入神经网络。可选地，神经网络模型的主干网基于VGG16构建，VGG16是基于大量真实图像的ImageNet图像库预训练的网络。
可选地，神经网络模型的损失函数为均方损失函数，即如下列所示：
Figure BDA0002339147980000101
其中yi'神经网络模型的质量分值预测值，yi为V，即样本的掩码值图像MaskVn中的值。神经网络模型的质量分值预测值是在神经网络模型训练过程结束时确定得到的，具体是将与样本中掩码值的差值最小的预测值作为神经网络模型训练结束时的质量分值预测值。
步骤S211，模型输出。
采用BP(误差反向传播，Error Back Propagation)算法，最终生成用于预测特征点质量分值的神经网络模型并输出。
BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出不符，则转入误差的反向传播阶段。这种信号正向传播与误差反向传播的各层权值调整过程，周而复始地进行，权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。
至此，模型训练或更新完成，接下来对利用模型进行过滤进行说明。
图4示出了根据本申请一个实施例的使用神经网络模型预测特征点对应的质量分值的流程示意图，参见图4，首先在一次过滤过程中，获取一帧原始图像(如图4中的图像帧In)并提取原始图像的特征点；
接着，按照前述步骤S202，生成掩码图；
继续，将掩码图和原始图像组合后(即，组合成S)输入到神经网络模型中，进行神经网络预测。也就是说，将原始图像以及记录原始图像特征点的掩码图共同输入到神经网络模型中；原始图像是指一次过滤过程中获取的待过滤图像。
再次，神经网络模型输出掩码值图(即，输出掩码值图V)，掩码值图为神经网络模型输出的，包含图像的特征点对应的质量分值信息的图像，得到掩码值图后即可确定原始图像的特征点对应的质量分值。
最后，根据原始图像的特征点对应的质量分值以及预设过滤规则，过滤原始图像的特征点。
实际应用中可以根据需要预设过滤规则。比如，根据原始图像的特征点对应的质量分值以及预设过滤规则，过滤原始图像的特征点包括：当预设过滤规则为阈值过滤规则时，将质量分值不大于预设质量分值阈值的原始图像的特征点过滤掉；当预设过滤规则为排位过滤规则时，根据原始图像的特征点对应的质量分值的大小，对原始图像的特征点进行降序排列，将排序靠后的预设个数个原始图像的特征点过滤掉。
由此可知，本实施例可根据掩码值图对特征点进行排序(比如采用从大到小的逆排序，值大的表示重要程度比较高)，进一步结合过滤规则最终完成特征点过滤，比如，过滤掉某个阈值以下的所有特征点。即实现了基于掩码值对特征点的过滤。
需要说明的是，考虑到实际应用时，不是所有应用场景都需要对特征点进行过滤，本实施例在利用神经网络模型预测图像特征点的质量分值之前，根据启动规则(比如稠密点云算法中不启动特征点过滤)判断是否需要启动特征点过滤流程，如果需要则执行图4所示的步骤，如果不需要则按照实际需求对提取的图像特征点直接进行处理即可，从而拓宽了本实施例的图像特征点过滤的应用场景。
图5示出了根据本申请一个实施例的终端的框图，参见图5，终端500包括图像特征点过滤装置501，图像特征点过滤装置501包括：
模型训练模块5011，用于为图像中提取的特征点设置质量分值，根据特征点以及特征点的质量分值，训练神经网络模型，其中，在训练过程中，当前帧图像特征点的质量分值基于特征点在当前帧中的质量分值以及在各跟踪帧中的质量分值共同确定，跟踪帧包括跟踪到的当前帧之后连续预设数目帧；
特征提取模块5012，用于一次过滤启动后，获取一帧原始图像并提取原始图像的特征点；
分值确定模块5013，用于将原始图像以及原始图像的特征点输入到神经网络模型中，得到原始图像的特征点对应的质量分值并输出原始图像的特征点对应的质量分值；
过滤模块5014，用于根据原始图像的特征点对应的质量分值以及预设过滤规则，过滤原始图像的特征点。
在本申请的一个实施例中，模型训练模块5011用于，根据图像，图像的特征点以及图像的特征点对应的质量分值生成样本，并利用生成的样本对神经网络模型进行训练，更新神经网络模型的质量分值预测值，以供下一次过滤使用。
在本申请的一个实施例中，模型训练模块5011具体用于为图像中提取的特征点的质量分值设置相同的初始值或不同的初始值。
在本申请的一个实施例中，模型训练模块5011具体用于根据图像以及图像的特征点，得到掩码图像；其中掩码图像中与特征点对应的像素点的值为256，其余像素点的值为0；根据图像，图像的特征点以及图像的特征点对应的质量分值，得到掩码值图像；其中掩码值图像中与特征点对应的像素点的值为特征点对应的质量分值；根据图像，掩码图像以及掩码值图像生成样本。
在本申请的一个实施例中，模型训练模块5011具体用于当图像与图像的下一帧图像之间存在匹配成功的特征点时，对提取自图像的特征点进行跟踪；在跟踪过程中对特征点在当前帧中的质量分值以及各跟踪帧中的质量分值进行求和运算，得到和值，将掩码值图像中特征点对应的质量分值替换为和值；其中，各跟踪帧中的质量分值，根据特征点在跟踪帧上一帧中的质量分值与一折扣因子的乘积确定，折扣因子为大于0且小于1的常数。
在本申请的一个实施例中，模型训练模块5011具体用于为神经网络模型增加一个用于接收掩码图像的第一输入通道，以及一个用于接收掩码值图像的第二输入通道；将样本中的图像通过神经网络模型的输入通道输入到神经网络模型中，将掩码图像以及掩码值图像分别通过第一输入通道和第二输入通道输入到神经网络模型中，基于均方误差损失函数，计算样本中的掩码值图像中的质量分值与神经网络模型的质量分值预测值之间的误差，根据误差确定神经网络模型新的质量分值预测值，实现更新神经网络模型的质量分值预测值。
在本申请的一个实施例中，模型训练模块5011具体用于当图像与图像的下一帧图像之间不存在匹配成功的特征点时，不对提取自图像的特征点进行跟踪，直接根据图像，掩码图像以及掩码值图像生成样本。
在本申请的一个实施例中，过滤模块5014具体用于当预设过滤规则为阈值过滤规则时，将质量分值不大于预设质量分值阈值的原始图像的特征点过滤掉；当预设过滤规则为排位过滤规则时，根据原始图像的特征点对应的质量分值的大小，对原始图像的特征点进行降序排列，将排序靠后的预设个数个原始图像的特征点过滤掉。
需要说明的是，上述终端实施例中图像特征点过滤的具体实施方式可以参照前述对应图像特征点过滤方法实施例的具体实施方式进行，在此不再赘述。
本申请的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述的图像特征点过滤方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。
需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本申请的说明书中，说明了大量具体细节。然而能够理解的是，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本申请公开并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
以上所述，仅为本申请的具体实施方式，在本申请的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本申请的目的，本申请的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种图像特征点过滤方法，其特征在于，该图像特征点过滤方法包括：
为图像中提取的特征点设置质量分值，根据特征点以及特征点的质量分值，训练神经网络模型；其中，在训练过程中，当前帧图像特征点的质量分值基于所述特征点在当前帧中的质量分值以及在各跟踪帧中的质量分值共同确定，所述跟踪帧包括跟踪到的当前帧之后连续预设数目帧；
一次过滤启动后，获取一帧原始图像并提取所述原始图像的特征点；
将所述原始图像以及所述原始图像的特征点输入到神经网络模型中，得到所述原始图像的特征点对应的质量分值并输出所述原始图像的特征点对应的质量分值；
根据所述原始图像的特征点对应的质量分值以及预设过滤规则，过滤所述原始图像的特征点。
2.如权利要求1所述的方法，其特征在于，所述根据特征点以及特征点的质量分值，训练神经网络模型包括：
根据所述图像，所述图像的特征点以及所述图像的特征点对应的质量分值生成样本，并利用生成的样本对所述神经网络模型进行训练，更新所述神经网络模型的质量分值预测值，以供下一次过滤使用。
3.如权利要求2所述的方法，其特征在于，所述为图像中提取的特征点设置质量分值包括：
为图像中提取的特征点的质量分值设置相同的初始值或不同的初始值。
4.如权利要求3所述的方法，其特征在于，所述根据所述图像，所述图像的特征点以及所述图像的特征点对应的质量分值生成样本包括：
根据所述图像以及所述图像的特征点，得到掩码图像；其中所述掩码图像中与所述特征点对应的像素点的值为256，其余像素点的值为0；
根据所述图像，所述图像的特征点以及所述图像的特征点对应的质量分值，得到掩码值图像；其中所述掩码值图像中与所述特征点对应的像素点的值为所述特征点对应的质量分值；
根据所述图像，所述掩码图像以及所述掩码值图像生成样本。
5.如权利要求4所述的方法，其特征在于，所述根据所述图像，所述掩码图像以及所述掩码值图像生成样本包括：
当所述图像与所述图像的下一帧图像之间存在匹配成功的特征点时，对提取自所述图像的特征点进行跟踪；
在跟踪过程中对所述特征点在当前帧中的质量分值以及各跟踪帧中的质量分值进行求和运算，得到和值，将所述掩码值图像中所述特征点对应的质量分值替换为所述和值；
其中，所述各跟踪帧中的质量分值，根据所述特征点在跟踪帧上一帧中的质量分值与一折扣因子的乘积确定，所述折扣因子为大于0且小于1的常数。
6.如权利要求4所述的方法，其特征在于，所述利用生成的样本对所述神经网络模型进行训练包括：
为神经网络模型增加一个用于接收掩码图像的第一输入通道，以及一个用于接收掩码值图像的第二输入通道；
将样本中的所述图像通过所述神经网络模型的输入通道输入到所述神经网络模型中，将所述掩码图像以及所述掩码值图像分别通过所述第一输入通道和所述第二输入通道输入到所述神经网络模型中，基于均方误差损失函数，计算样本中的所述掩码值图像中的质量分值与所述神经网络模型的质量分值预测值之间的误差，根据误差确定所述神经网络模型新的质量分值预测值，实现更新所述神经网络模型的质量分值预测值。
7.如权利要求4所述的方法，其特征在于，所述根据所述图像，所述掩码图像以及所述掩码值图像生成样本包括：
当所述图像与所述图像的下一帧图像之间不存在匹配成功的特征点时，不对提取自所述图像的特征点进行跟踪，直接根据所述图像，所述掩码图像以及所述掩码值图像生成样本。
8.如权利要求1-7中任一项所述的方法，其特征在于，所述根据所述原始图像的特征点对应的质量分值以及预设过滤规则，过滤所述原始图像的特征点包括：
当所述预设过滤规则为阈值过滤规则时，将质量分值不大于预设质量分值阈值的所述原始图像的特征点过滤掉；
当所述预设过滤规则为排位过滤规则时，根据所述原始图像的特征点对应的质量分值的大小，对所述原始图像的特征点进行降序排列，将排序靠后的预设个数个所述原始图像的特征点过滤掉。
9.一种终端，其特征在于，包括图像特征点过滤装置，
所述图像特征点过滤装置包括：
模型训练模块，用于为图像中提取的特征点设置质量分值，根据特征点以及特征点的质量分值，训练神经网络模型，其中，在训练过程中，当前帧图像特征点的质量分值基于所述特征点在当前帧中的质量分值以及在各跟踪帧中的质量分值共同确定，所述跟踪帧包括跟踪到的当前帧之后连续预设数目帧；
特征提取模块，用于一次过滤启动后，获取一帧原始图像并提取所述原始图像的特征点；
分值确定模块，用于将所述原始图像以及所述原始图像的特征点输入到神经网络模型中，得到所述原始图像的特征点对应的质量分值并输出所述原始图像的特征点对应的质量分值；
过滤模块，用于根据所述原始图像的特征点对应的质量分值以及预设过滤规则，过滤所述原始图像的特征点。
10.如权利要求9所述的终端，其特征在于，所述模型训练模块用于，根据所述图像，所述图像的特征点以及所述图像的特征点对应的质量分值生成样本，并利用生成的样本对所述神经网络模型进行训练，更新所述神经网络模型的质量分值预测值，以供下一次过滤使用。
CN201911368851.0A 2019-12-26 2019-12-26 一种图像特征点过滤方法以及终端 Active CN111144483B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911368851.0A CN111144483B (zh) 2019-12-26 2019-12-26 一种图像特征点过滤方法以及终端
PCT/CN2020/125271 WO2021129145A1 (zh) 2019-12-26 2020-10-30 一种图像特征点过滤方法以及终端
US17/595,079 US20220254146A1 (en) 2019-12-26 2020-10-30 Method for filtering image feature points and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911368851.0A CN111144483B (zh) 2019-12-26 2019-12-26 一种图像特征点过滤方法以及终端

Publications (2)

Publication Number Publication Date
CN111144483A true CN111144483A (zh) 2020-05-12
CN111144483B CN111144483B (zh) 2023-10-17

Family

ID=70520502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911368851.0A Active CN111144483B (zh) 2019-12-26 2019-12-26 一种图像特征点过滤方法以及终端

Country Status (3)

Country Link
US (1) US20220254146A1 (zh)
CN (1) CN111144483B (zh)
WO (1) WO2021129145A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111638528A (zh) * 2020-05-26 2020-09-08 北京百度网讯科技有限公司 定位方法、装置、电子设备和存储介质
CN111899759A (zh) * 2020-07-27 2020-11-06 北京嘀嘀无限科技发展有限公司 音频数据的预训练、模型训练方法、装置、设备及介质
CN112348855A (zh) * 2020-11-19 2021-02-09 湖南国科微电子股份有限公司 视觉里程计特征点提取方法、系统、电子设备和存储介质
CN112783995A (zh) * 2020-12-31 2021-05-11 杭州海康机器人技术有限公司 一种v-slam地图校验方法、装置及设备
WO2021129145A1 (zh) * 2019-12-26 2021-07-01 歌尔股份有限公司 一种图像特征点过滤方法以及终端
CN115790618A (zh) * 2022-11-03 2023-03-14 中科天极(新疆)空天信息有限公司 基于激光雷达的slam定位方法、系统及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645505B2 (en) * 2020-01-17 2023-05-09 Servicenow Canada Inc. Method and system for generating a vector representation of an image
US11727576B2 (en) * 2020-12-18 2023-08-15 Qualcomm Incorporated Object segmentation and feature tracking
CN116223817B (zh) * 2023-05-04 2023-07-14 北京科卫临床诊断试剂有限公司 基于神经网络的肝脏型脂肪酸结合蛋白测量系统及方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778465A (zh) * 2015-05-06 2015-07-15 北京航空航天大学 一种基于特征点匹配的目标跟踪方法
CN105243154A (zh) * 2015-10-27 2016-01-13 武汉大学 基于显著点特征和稀疏自编码的遥感图像检索方法及系统
CN106372111A (zh) * 2016-08-22 2017-02-01 中国科学院计算技术研究所 局部特征点筛选方法及系统
CN107832802A (zh) * 2017-11-23 2018-03-23 北京智芯原动科技有限公司 基于人脸比对的人脸图像质量评价方法及装置
CN108470354A (zh) * 2018-03-23 2018-08-31 云南大学 视频目标跟踪方法、装置和实现装置
CN109215118A (zh) * 2018-09-18 2019-01-15 东北大学 一种基于图像序列的增量式运动结构恢复优化方法
CN109299304A (zh) * 2018-10-25 2019-02-01 科大讯飞股份有限公司 目标图像检索方法及系统
CN109492688A (zh) * 2018-11-05 2019-03-19 深圳步智造科技有限公司 焊缝跟踪方法、装置及计算机可读存储介质
CN109711268A (zh) * 2018-12-03 2019-05-03 浙江大华技术股份有限公司 一种人脸图像筛选方法及设备
CN109978911A (zh) * 2019-02-22 2019-07-05 青岛小鸟看看科技有限公司 一种图像特征点跟踪方法和相机
US20190259170A1 (en) * 2018-02-21 2019-08-22 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for feature screening in slam
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN110570453A (zh) * 2019-07-10 2019-12-13 哈尔滨工程大学 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349156B (zh) * 2017-11-30 2023-05-30 腾讯科技（深圳）有限公司 眼底图片中病变特征的识别方法和装置、存储介质
JP2022525264A (ja) * 2019-03-15 2022-05-11 レチンエイアイ メディカル アーゲー 特徴点検出
CN110287873B (zh) * 2019-06-25 2021-06-29 清华大学深圳研究生院 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
CN111144483B (zh) * 2019-12-26 2023-10-17 歌尔股份有限公司 一种图像特征点过滤方法以及终端

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778465A (zh) * 2015-05-06 2015-07-15 北京航空航天大学 一种基于特征点匹配的目标跟踪方法
CN105243154A (zh) * 2015-10-27 2016-01-13 武汉大学 基于显著点特征和稀疏自编码的遥感图像检索方法及系统
CN106372111A (zh) * 2016-08-22 2017-02-01 中国科学院计算技术研究所 局部特征点筛选方法及系统
CN107832802A (zh) * 2017-11-23 2018-03-23 北京智芯原动科技有限公司 基于人脸比对的人脸图像质量评价方法及装置
US20190259170A1 (en) * 2018-02-21 2019-08-22 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for feature screening in slam
CN108470354A (zh) * 2018-03-23 2018-08-31 云南大学 视频目标跟踪方法、装置和实现装置
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN109215118A (zh) * 2018-09-18 2019-01-15 东北大学 一种基于图像序列的增量式运动结构恢复优化方法
CN109299304A (zh) * 2018-10-25 2019-02-01 科大讯飞股份有限公司 目标图像检索方法及系统
CN109492688A (zh) * 2018-11-05 2019-03-19 深圳步智造科技有限公司 焊缝跟踪方法、装置及计算机可读存储介质
CN109711268A (zh) * 2018-12-03 2019-05-03 浙江大华技术股份有限公司 一种人脸图像筛选方法及设备
CN109978911A (zh) * 2019-02-22 2019-07-05 青岛小鸟看看科技有限公司 一种图像特征点跟踪方法和相机
CN110570453A (zh) * 2019-07-10 2019-12-13 哈尔滨工程大学 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAOYI HAN ET AL.: "A CNN based framework for stable image feature selection", pages 1402 - 1406 *
张治安等: "基于稀疏联结卷积递归神经网络的RGB-D图像识别算法", vol. 41, no. 05, pages 582 - 588 *
肖雪等: "基于最低词频CHI的特征选择算法研究", vol. 37, no. 6, pages 137 - 142 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021129145A1 (zh) * 2019-12-26 2021-07-01 歌尔股份有限公司 一种图像特征点过滤方法以及终端
CN111638528A (zh) * 2020-05-26 2020-09-08 北京百度网讯科技有限公司 定位方法、装置、电子设备和存储介质
CN111899759A (zh) * 2020-07-27 2020-11-06 北京嘀嘀无限科技发展有限公司 音频数据的预训练、模型训练方法、装置、设备及介质
CN112348855A (zh) * 2020-11-19 2021-02-09 湖南国科微电子股份有限公司 视觉里程计特征点提取方法、系统、电子设备和存储介质
CN112783995A (zh) * 2020-12-31 2021-05-11 杭州海康机器人技术有限公司 一种v-slam地图校验方法、装置及设备
CN112783995B (zh) * 2020-12-31 2022-06-03 杭州海康机器人技术有限公司 一种v-slam地图校验方法、装置及设备
CN115790618A (zh) * 2022-11-03 2023-03-14 中科天极(新疆)空天信息有限公司 基于激光雷达的slam定位方法、系统及存储介质
CN115790618B (zh) * 2022-11-03 2023-09-01 中科天极(新疆)空天信息有限公司 基于激光雷达的slam定位方法、系统及存储介质

Also Published As

Publication number Publication date
CN111144483B (zh) 2023-10-17
WO2021129145A1 (zh) 2021-07-01
US20220254146A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
CN111144483B (zh) 一种图像特征点过滤方法以及终端
CN111050219B (zh) 用于利用空间-时间记忆网络处理视频内容的方法和系统
AU2020203216B2 (en) Deep image compositing
US11176381B2 (en) Video object segmentation by reference-guided mask propagation
CN108320297B (zh) 一种视频目标实时跟踪方法及系统
CN113240691B (zh) 一种基于u型网络的医学图像分割方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN113298818A (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN112767554B (zh) 一种点云补全方法、装置、设备及存储介质
CN109215092B (zh) 仿真场景的生成方法及装置
CN110619313B (zh) 遥感图像判别性描述生成方法
CN112464912B (zh) 基于YOLO-RGGNet的机器人端人脸检测方法
KR20120066462A (ko) 얼굴 인식 방법 및 시스템, 얼굴 인식을 위한 학습용 특징 벡터 추출 장치 및 테스트용 특징 벡터 추출 장치
CN114387512B (zh) 基于多尺度特征融合与增强的遥感影像建筑物提取方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN114140469A (zh) 一种基于多层注意力的深度分层图像语义分割方法
CN111563161B (zh) 一种语句识别方法、语句识别装置及智能设备
CN113096133A (zh) 一种基于注意力机制的语义分割网络的构建方法
CN114241470A (zh) 一种基于注意力机制的自然场景文字检测方法
CN116824686A (zh) 一种动作识别方法和相关装置
CN113095328A (zh) 一种基尼指数引导的基于自训练的语义分割方法
CN113962332A (zh) 基于自优化融合反馈的显著目标识别方法
CN116821699B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN117058489B (zh) 多标签识别模型的训练方法、装置、设备及存储介质
CN116188914A (zh) 在元宇宙交互场景下的图像ai处理方法及元宇宙互动系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant