CN112154479A - 提取特征点的方法、可移动平台及存储介质 - Google Patents

提取特征点的方法、可移动平台及存储介质 Download PDF

Info

Publication number
CN112154479A
CN112154479A CN201980033830.5A CN201980033830A CN112154479A CN 112154479 A CN112154479 A CN 112154479A CN 201980033830 A CN201980033830 A CN 201980033830A CN 112154479 A CN112154479 A CN 112154479A
Authority
CN
China
Prior art keywords
frame image
current frame
feature points
feature point
movable platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980033830.5A
Other languages
English (en)
Inventor
高文良
周游
叶长春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112154479A publication Critical patent/CN112154479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种提取特征点的方法、可移动平台及存储介质，该方法包括：获取拍摄装置拍摄的当前帧图像(S101)；在当前帧图像中对上一帧图像中的第一特征点进行跟踪以获取当前图像帧中跟踪成功的第二特征点(S102)；确定第二特征点的数目(S103)；根据第二特征点的数目确定是否要在当前帧图像中提取新特征点(S104)。

Description

提取特征点的方法、可移动平台及存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种提取特征点的方法、可移动平台及存储介质。
背景技术
目前在机器视觉领域，图像中的特征点常用于目标的识别和追踪。传统的特征点提取方法，需要通过特定的特征点算子对整张图片的所有像素进行枚举，重复计算的操作较多，计算量大。同时，对于强纹理的环境，枚举三十万个像素时，可能会产生数十万个特征点，需要提供较大的内存。
发明内容
基于此，本申请提供一种提取特征点的方法、可移动平台及存储介质。
第一方面，本申请提供了一种提取特征点的方法，应用于包括拍摄装置的可移动平台，包括：
获取所述拍摄装置拍摄的当前帧图像；
在当前帧图像中对所述当前帧图像的上一帧图像中的第一特征点进行跟踪以获取所述当前图像帧中跟踪成功的第二特征点；
确定所述第二特征点的数目；
根据所述第二特征点的数目确定是否要在所述当前帧图像中提取新特征点。
第二方面，本申请提供了一种可移动平台，包括：拍摄装置、处理器和存储器；
所述拍摄装置用于拍摄图像；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取所述拍摄装置拍摄的当前帧图像；
在当前帧图像中对所述当前帧图像的上一帧图像中的第一特征点进行跟踪以获取所述当前图像帧中跟踪成功的第二特征点；
确定所述第二特征点的数目；
根据所述第二特征点的数目确定是否要在所述当前帧图像中提取新特征点。
第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的提取特征点的方法。
本申请实施例提供了一种提取特征点的方法、可移动平台及存储介质，在当前帧图像中对当前帧图像的上一帧图像中的第一特征点进行跟踪，以获取当前图像帧中跟踪成功的第二特征点；根据第二特征点的数目，确定是否要在当前帧图像中提取新特征点；由于在前帧图像中对第一特征点进行跟踪，根据跟踪成功的第二特征点的数目确定是否在当前帧图像中提取新特征点，而不是直接对当前帧图像的所有像素点进行枚举，重复计算，或者直接枚举固定数量的像素点，通过对上一帧图像中的第一特征点进行跟踪，根据跟踪结果能够避免在同一块区域内重复选取特征点，能够减少计算量和内存资源；当跟踪成功的第二特征点的数目满足预设数目阈值时，可以不提取新特征点，能够避免重复、大量的计算，且速度快；当跟踪成功的第二特征点的数目小于预设数目阈值时，可以只提取剩余数目的新特征点至预设数目阈值，能够减少提取新特征点，减少占用内存，因此不需要提供较大的内存空间，且速度快。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提取特征点的方法一实施例的流程示意图；
图2是本申请提取特征点的方法另一实施例的流程示意图；
图3是本申请提取特征点的方法又一实施例的流程示意图；
图4是本申请提取特征点的方法中第一特征点位置预测的示意图；
图5是本申请提取特征点的方法中第一特征点位置跟踪的示意图；
图6是本申请提取特征点的方法又一实施例的流程示意图；
图7是本申请提取特征点的方法又一实施例的流程示意图；
图8是本申请提取特征点的方法一应用中当前帧图像进行栅格化处理后的示意图；
图9是图8的多个栅格图像中追踪成功的第二特征点的实际位置及不需要提取新特征点的栅格图像的示意图；
图10是图8的多个栅格图像中划分为中心区域及中心区域之外的区域的示意图；
图11是图9的多个栅格图像中追踪成功的第二特征点对应的栅格图像及后续提取新特征点的示意图；
图12是本申请可移动平台一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
传统从图像中提取特征点的方法，需要对整张图片的所有像素进行枚举，重复计算的操作较多，计算量大。同时，对于强纹理的环境，也需要枚举三十万个像素时，可能会产生数十万个特征点，需要提供较大的内存。本申请实施例在当前帧图像中对当前帧图像的上一帧图像中的第一特征点进行跟踪，以获取当前图像帧中跟踪成功的第二特征点；根据第二特征点的数目，确定是否要在当前帧图像中提取新特征点；由于在前帧图像中对第一特征点进行跟踪，根据跟踪成功的第二特征点的数目确定是否在当前帧图像中提取新特征点，而不是直接对当前帧图像的所有像素点进行枚举，重复计算，或者直接枚举固定数量的像素点，通过对上一帧图像中的第一特征点进行跟踪，根据跟踪结果能够避免在同一块区域内重复选取特征点，能够减少计算量和内存资源；当跟踪成功的第二特征点的数目满足预设数目阈值时，可以不提取新特征点，能够避免重复、大量的计算，且速度快；当跟踪成功的第二特征点的数目小于预设数目阈值时，可以只提取剩余数目的新特征点至预设数目阈值，能够减少提取新特征点，减少占用内存，因此不需要提供较大的内存空间，且速度快。
本申请应用于包括拍摄装置的可移动平台，可移动平台是指可以自动移动或者在受控条件下移动的各种平台，例如：云台(例如：云台相机，等等)、无人飞行器、车辆、无人车辆、地面机器人等等。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
参见图1，图1是本申请提取特征点的方法一实施例的流程示意图，本申请实施例的方法应用于包括拍摄装置的可移动平台，该方法包括：
步骤S101：获取拍摄装置拍摄的当前帧图像。
步骤S102：在当前帧图像中对当前帧图像的上一帧图像中的第一特征点进行跟踪以获取当前图像帧中跟踪成功的第二特征点。
在本实施例中，第一特征点跟踪是指将上一帧图像中选定的第一特征点(即目标特征点)在接下来的当前帧图像(即实时帧图像)中寻找第一特征点的最佳位置，其中上一帧图像中选定的第一特征点可以采用通过目标自动检测识别的方法来获取，也可以采用人工参与的方法选定。
第一特征点跟踪采用特征点跟踪算法。基于特征点的跟踪主要包括特征点提取和特征点匹配两个方面。上一帧图像中选定的第一特征点主要包括颜色、纹理、边缘、块特征、光流特征、周长、面积、质心、角点等。第一特征点提取的目的是进行帧间第一特征点的匹配，并以最优匹配来跟踪第一特征点。常见的基于特征点匹配的跟踪算法有：基于二值化目标图像匹配的跟踪、基于边缘特征匹配或角点特征匹配的跟踪、基于目标灰度特征匹配的跟踪、基于目标颜色特征匹配的跟踪等。其中，KLT跟踪算法是一种被广泛应用的基于特征点跟踪算法，由于特征点分布在整个目标上，因此即使有一部分被遮挡，仍然可以跟踪到另外一部分特征点，这也是KLT跟踪算法的优点。
总的来说，基于特征点的跟踪算法的优点在于：对运动目标的尺度、形变和亮度等变化不敏感，即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务；另外，这种方法与Kalman滤波器联合使用，也具有很好的跟踪效果。
步骤S103：确定第二特征点的数目。
步骤S104：根据第二特征点的数目确定是否要在当前帧图像中提取新特征点。
根据第二特征点的数目确定是否要在当前帧图像中提取新特征点，而不是一定在当前帧图像中提取新特征点，能够减少计算量和内存资源。
本申请实施例在当前帧图像中对当前帧图像的上一帧图像中的第一特征点进行跟踪，以获取当前图像帧中跟踪成功的第二特征点；根据第二特征点的数目，确定是否要在当前帧图像中提取新特征点；由于在前帧图像中对第一特征点进行跟踪，根据跟踪成功的第二特征点的数目确定是否在当前帧图像中提取新特征点，而不是直接对当前帧图像的所有像素点进行枚举，重复计算，或者直接枚举固定数量的像素点，通过对上一帧图像中的第一特征点进行跟踪，根据跟踪结果能够避免在同一块区域内重复选取特征点，能够减少计算量和内存资源；当跟踪成功的第二特征点的数目满足预设数目阈值时，可以不提取新特征点，能够避免重复、大量的计算，且速度快；当跟踪成功的第二特征点的数目小于预设数目阈值时，可以只提取剩余数目的新特征点至预设数目阈值，能够减少提取新特征点，减少占用内存，因此不需要提供较大的内存空间，且速度快。
下面具体说明步骤S102跟踪第一特征点的具体细节。
在一实施例中，为了避免在整个图像中跟踪，缩小跟踪范围，首先确定跟踪区域，即步骤S102可以包括：子步骤S1021和子步骤S1022，如图2所示。
子步骤S1021：在当前帧图像中确定上一帧图像中的第一特征点在当前帧图像中的跟踪区域。
子步骤S1022：在当前帧图像中的跟踪区域内对上一帧图像中的第一特征点进行跟踪。
在本实施例中采用常规的特征点跟踪方法，在对第一特征点在当前帧图像中进行跟踪时，跟踪起点是上一帧图像的第一特征点本身，跟踪区域通常比较大。例如跟踪区域是以第一特征点为原点，以R(R的尺寸较大)为半径的圆形区域作为跟踪区域。根据拍摄装置的相对移动速度、上一帧图像的拍摄时间与当前帧图像的拍摄时间之差，可以大概估计出R的尺寸。然后在当前帧图像中的跟踪区域内对上一帧图像中的第一特征点进行跟踪，相比较在整个当前帧图像中对上一帧图像中的第一特征点进行跟踪，跟踪区域缩小很多，能够提高跟踪速度。
为了进一步缩小跟踪区域，对上一帧图像中的第一特征点在当前帧图像中预测其位置，根据预测的位置确定跟踪区域，即子步骤S1021，还可以包括：子步骤S1021a和子步骤S1021b，如图3所示。
子步骤S1021a：预测第一特征点对应的空间点在当前帧图像中的位置。
如图4所示，黑色圆点表示第一特征点在上一帧图像中的位置，灰色圆点表示第一特征点在当前帧图像中的预测位置，灰色箭头表示第一特征点的预测过程。
子步骤S1021b：根据预测的位置确定上一帧图像中的第一特征点在当前帧图像中的跟踪区域。
参见图5，黑色圆点A表示第一特征点在上一帧图像中的位置，灰色圆点B表示第一特征点在当前帧图像中的预测位置，灰黑色圆点C表示第一特征点在当前帧图像中跟踪成功的实际位置；灰色箭头1(即从A到B)表示第一特征点的预测过程，灰色箭头2(即从B到C)表示第一特征点的跟踪过程；三个大圆圈表示通过传统方法进行特征点跟踪时的跟踪区域，三个小圆圈表示根据第一特征点的预测位置确定的跟踪区域。
由于通过预测上一帧图像第一特征点在当前帧图像中的位置，在预测位置的周围跟踪，跟踪区域能够大大减小，从而能够进一步提高跟踪速度。
其中，子步骤S1021a，具体可以包括：根据拍摄装置在拍摄上一帧图像位姿信息和第一特征点对应的空间点的位置，预测第一特征点对应的空间点在当前帧图像中的位置。
本实施例采用三角化测量算法。对于上一帧已经进行计算、三维重建的特征点，第一特征点对应的空间点的位置(即三维坐标)已经通过三角化算法计算得到；对于上一帧刚提取但未进行三维重建的第一特征点(新提取的特征点)，以上一帧第一特征点的平均深度作为粗略的深度值，预测对应的空间点的位置(即三维坐标)。
拍摄装置在拍摄上一帧图像位姿信息包括拍摄装置在拍摄上一帧图像的旋转运动信息和平移运动信息，拍摄装置在拍摄上一帧图像位姿信息是已经预估出来的已知信息，根据拍摄装置在拍摄上一帧图像位姿信息、拍摄装置搭载的可移动平台的运动信息能够预估出拍摄装置在拍摄当前帧图像位姿信息，进一步根据预估的拍摄装置在拍摄当前帧图像位姿信息和第一特征点对应的空间点的位置，即可预测第一特征点对应的空间点在当前帧图像中的位置。
pi＝π(RPi+t)，其中，π代表投影函数，Pi为第一特征点i对应的空间点的三维坐标，pi是第一特征点对应的空间点在当前帧图像上的像素坐标，R、t表示拍摄装置在拍摄当前帧图像的旋转和平移运动信息。
下面具体说明步骤S104是否要在当前帧图像中提取新特征点的具体细节。
在一实施例中，为了进一步确定是否要在当前帧图像中提取新特征点，也为了避免重复、大量的计算，步骤S104还可以包括：子步骤S1041、子步骤S1042以及子步骤S1043，如图6所示。
子步骤S1041：判断第二特征点的数目是否大于或等于第一预设数目阈值。
子步骤S1042：若第二特征点的数目大于或等于第一预设数目阈值时，则确定不在当前帧图像中提取新特征点。
子步骤S1043：若第二特征点的数目小于第一预设数目阈值，则确定要在当前帧图像中提取新特征点。
第一预设数目阈值根据具体应用、具体要求来确定。如果跟踪成功的第二特征点的数目比较多，满足要求，达到第一预设数目阈值及以上，则不需要在当前帧图像中提取新特征点。如果跟踪成功的第二特征点的数目比较少，不满足要求，没有达到第一预设数目阈值，则需要在当前帧图像中提取新特征点。
在一应用中，第一预设数目阈值跟开始的第一帧提取的特征点的数目相关，第一预设数目阈值小于或等于第一帧提取的特征点的数目。
例如，默认开始的第一帧图像提取的特征点的数目是120个，设置第一预设数目阈值为100。上一帧图像的第一特征点的数目是110，如果当前帧图像追踪成功的第二特征点的数目是100，认为点数足够多，那么当前帧图像不需要提取新特征点；如果当前帧图像追踪成功的第二特征点的数目是90，那么当前帧图像需要提取新特征点。
本实施例当跟踪成功的第二特征点的数目满足甚至超过第一预设数目阈值时，可以不提取新特征点，当跟踪成功的第二特征点的数目小于第一预设数目阈值时，再提取新特征点；通过这种方式，能够避免重复、大量的计算，且速度快。
进一步，在当前帧图像中提取的新特征点的数目是根据第一预设数目阈值与第二特征点的数目之差确定的。在某些实施例中，在当前帧图像中提取的新特征点的数目是第一预设数目阈值与第二特征点的数目之差。通过这种方式，能够减少提取新特征点，减少占用内存，因此不需要提供较大的内存空间，且速度快。
例如，默认开始的第一帧图像提取的特征点的数目是120个，设置第一预设数目阈值为100。上一帧图像的第一特征点的数目是110，如果当前帧图像追踪成功的第二特征点的数目是90，那么当前帧图像需要提取新特征点，提取的新特征点的数目可以是10个，也可以是10个以上。总的来说，提取的新特征点的数目可以远远小于100，能够大大减少提取新特征点，减少占用内存，因此不需要提供较大的内存空间，且速度快。
如果当前帧图像需要提取新特征点，那么如何提取新特征点，下面对此问题进行具体说明。
在一实际应用中，为了保证特征点均匀分布，将当前帧图像划分成多个栅格图像。参见图7，该方法还可以包括：
步骤S201：根据第一预设尺寸对当前帧图像进行栅格化处理以获取多个栅格图像。例如：如图8所示，当前帧图像进行栅格化处理获取20个栅格图像。
第一预设尺寸根据具体应用和具体要求确定。例如：根据开始第一帧图像提取的特征点的数目来确定；或者根据第一预设数目阈值来确定，等等。
将当前帧图像划分成多个栅格图像，有助于缩小上一帧图像中的第一特征点在当前帧图像中的跟踪范围，有助于对跟踪成功的第二特征点进行定位。最为重要的是，为保证特征点均匀分布提供技术支持。
需要说明的是，本实施例中栅格图像的范围、形状、数目不做限定。
步骤S202：从多个栅格图像中确定目标栅格图像，其中，目标栅格图像中不包括第二特征点。根据步骤S102的跟踪结果，即可从多个栅格图像中确定不包括第二特征点的目标栅格图像。
步骤S203：当确定要在当前帧图像提取新特征点时，从目标栅格图像中提取新特征点，其中，目标栅格图像至多提取一个新特征点。根据子步骤S1043，当确定要在当前帧图像提取新特征点时，即可在目标栅格图像中提取新特征点。好的稀疏特征点集应该是均匀分布的，每个目标栅格图像至多提取一个新特征点作为代表，以此保证特征点分布基本是均匀的。
如图9所示，左图中小圆点表示已经跟踪成功的第二特征点在当前帧图像中的实际位置，右图中黑色格子表示本格不需要进行新特征点提取。
通过这种方式，一方面确定新特征点在哪里提取的问题，另一方面能够避免在同一块区域内重复选取特征点，而且保证特征点分布基本是均匀的。
进一步，为了避免提取到图像边缘质量较低的新特征点，该方法还可以包括：根据第二预设尺寸在当前帧图像中确定中心区域，其中，目标栅格图像包括位于中心区域内的第一目标栅格图像和位于中心区域外的第二目标栅格图像。此时，步骤S203在目标栅格图像中提取新特征点，具体可以包括：第一目标栅格图像中提取新特征点。
对于视觉定位系统，由于运动可能、相机畸变等原因，图像边缘的特征点质量会较低。如图10所示，左图，按照新特征点提取的优先级，根据第二预设尺寸将当前帧图像分为中心区域的A区域与中心区域外的B区域；右图，A区域内的第一目标栅格图像包括：A1至A6，B区域内的第二目标栅格图像包括：B1至B14。A区域出现可以用的质量较好的新特征点的几率更高，故优先提取A区域内A1至A6第一目标栅格图像中的新特征点。
在一实施方式中，第二预设尺寸的确定方式还可以包括：
步骤S301：获取可移动平台的状态信息，其中，可移动平台的状态信息包括可移动平台的运动状态参数。
具体地，运动状态参数包括可移动平台的速度、加速度、角速度、角加速度、拍摄装置的角速度、拍摄装置的角加速度中的一种或多种。
步骤S302：根据可移动平台的运动状态参数确定第二预设尺寸。其中，第二预设尺寸与运动状态参数负相关。
通过上述方式，能够根据具体实际情况灵活调整优先提取新特征点的中心区域的大小。
为了提取到满足要求的新特征点，步骤S203在第一目标栅格图像中提取新特征点，具体还可以包括：子步骤S2031和子步骤S2032。
子步骤S2031：按照预设的循环顺序分别对不同的第一目标栅格图像中的像素点进行检测，以确定该像素点是否为候选特征点。
子步骤S2032：将包括候选特征点的第一目标栅格图像中候选特征点的质量参数最高且高于预设特征点质量阈值的候选特征点确定为第一目标栅格图像的新特征点。
本实施例对每个第一目标栅格图像中的像素点给予提取新特征点机会，以尽量使特征点均匀分布。但是是否可以提取新特征点的第一个条件是：经过检测该像素点符合候选特征点的要求；如果第一目标栅格图像中的像素点经过检测均不符合作为候选特征点，那么该第一目标栅格图像不再提取新特征点。
对像素点进行检测的具体方式和检测要求，本申请实施例不做限定。例如：对像素点的颜色、所处位置、是否是角点、是否是交点，等等进行检测。
通常情况下，候选特征点的数目比较多，通常会远远多于需要提取的新特征点的数目，能够提取为新特征点的第二个条件是：该第一目标栅格图像中候选特征点的质量参数最高且高于预设特征点质量阈值，满足第二个条件的第一目标栅格图像中候选特征点即可作为第一目标栅格图像的新特征点。在一应用中，可以采用harris评价特征点的质量。
为了加快速度，尽量节省内存空间，在一实施例中，该方法还包括：当确定检测到第二预设数目的候选特征点时，不再对第一目标栅格图像中的像素点进行检测。即在本实施例中，不全部寻找第一目标栅格图像中的像素点，只要检测到的候选特征点的数目达到第二预设数目，不再对第一目标栅格图像中的像素点进行检测。
如果从第一目标栅格图像中提取到的新特征点数目不够数目，可以继续在第二目标栅格图像中提取特征点，即步骤S203从第一目标栅格图像中提取新特征点，还可以包括：确定从第一目标栅格图像中提取到的新特征点数目是否大于或等于第三预设数目阈值；当否时，在第二目标栅格图像中提取新特征点。
其中，第三预设数目阈值是根据第一预设数目阈值与第二特征点的数目之差确定的。在某些实施例中，第三预设数目阈值是第一预设数目阈值与第二特征点的数目之差。
例如：参见图11，A2、A5、B7中有跟踪成功的第二特征点，这几个区域不需要提取新特征点。假设一共需要7个特征点，除去A2、A5、B7已有的三个特征点，还需要从A1、A3、A4、A6区域中提取剩下的4个新特征点。那么寻找检测的顺序可以是：
A1区域的第一个像素点→A3区域的第一个像素点→A4区域的第一个像素点→A6区域的第一个像素点→A1区域的第二个像素点→A3区域的第二个像素点→.......→A6区域的第n个像素点，如果还不够7个特征点，再从B1→B2....→B14里面选。
参见图12，图12是本申请可移动平台一实施例的结构示意图，需要说明的是，本实施例的可移动平台能够执行上述的提取特征点的方法中的步骤，相关内容的详细说明，请参见上述提取特征点的方法部分，在此不再赘叙。
该可移动平台10包括：拍摄装置13、存储器11和处理器12；拍摄装置13、存储器11和处理器12通过总线14连接。
其中，处理器12可以是微控制单元、中央处理单元或数字信号处理器，等等。
其中，存储器11可以是Flash芯片、只读存储器、磁盘、光盘、U盘或者移动硬盘等等。
拍摄装置13用于拍摄图像；存储器11用于存储计算机程序；处理器12用于执行计算机程序并在执行计算机程序时，实现如下步骤：
获取拍摄装置拍摄的当前帧图像；在当前帧图像中对当前帧图像的上一帧图像中的第一特征点进行跟踪以获取当前图像帧中跟踪成功的第二特征点；确定第二特征点的数目；根据第二特征点的数目确定是否要在当前帧图像中提取新特征点。
本申请实施例在当前帧图像中对当前帧图像的上一帧图像中的第一特征点进行跟踪，以获取当前图像帧中跟踪成功的第二特征点；根据第二特征点的数目，确定是否要在当前帧图像中提取新特征点；由于在前帧图像中对第一特征点进行跟踪，根据跟踪成功的第二特征点的数目确定是否在当前帧图像中提取新特征点，而不是直接对当前帧图像的所有像素点进行枚举，重复计算，或者直接枚举固定数量的像素点，通过对上一帧图像中的第一特征点进行跟踪，根据跟踪结果能够避免在同一块区域内重复选取特征点，能够减少计算量和内存资源；当跟踪成功的第二特征点的数目满足预设数目阈值时，可以不提取新特征点，能够避免重复、大量的计算，且速度快；当跟踪成功的第二特征点的数目小于预设数目阈值时，可以只提取剩余数目的新特征点至预设数目阈值，能够减少提取新特征点，减少占用内存，因此不需要提供较大的内存空间，且速度快。
其中，处理器在执行计算机程序时，实现如下步骤：若第二特征点的数目大于或等于第一预设数目阈值时，则确定不在当前帧图像中提取新特征点；否则，则确定要在当前帧图像中提取新特征点。
其中，在当前帧图像中提取的新特征点的数目是根据第一预设数目阈值与第二特征点的数目之差确定的。
其中，处理器在执行计算机程序时，实现如下步骤：根据第一预设尺寸对当前帧图像进行栅格化处理以获取多个栅格图像；从多个栅格图像中确定目标栅格图像，其中，目标栅格图像中不包括第二特征点；当确定要在当前帧图像提取新特征点时，从目标栅格图像中提取新特征点，其中，目标栅格图像至多提取一个新特征点。
其中，处理器在执行计算机程序时，实现如下步骤：根据第二预设尺寸在当前帧图像中确定中心区域，其中，目标栅格图像包括位于中心区域内的第一目标栅格图像和位于中心区域外的第二目标栅格图像；在第一目标栅格图像中提取新特征点。
其中，处理器在执行计算机程序时，实现如下步骤：按照预设的循环顺序分别对不同的第一目标栅格图像中的像素点进行检测以确定该像素点是否为候选特征点；将包括候选特征点的第一目标栅格图像中候选特征点的质量参数最高且高于预设特征点质量阈值的候选特征点确定为目标栅格图像的新特征点。
其中，处理器在执行计算机程序时，实现如下步骤：当确定检测到第二预设数目的候选特征点时，不再对第一目标栅格图像中的像素点进行检测。
其中，处理器在执行计算机程序时，实现如下步骤：确定从第一目标栅格图像中提取到的新特征点数目是否大于或等于第三预设数目阈值；当否时，在第二目标栅格图像中提取新特征点。
其中，第三预设数目阈值是根据第一预设数目阈值与第二特征点的数目之差确定的。
其中，处理器在执行计算机程序时，实现如下步骤：获取可移动平台的状态信息，其中，可移动平台的状态信息包括可移动平台的运动状态参数；根据可移动平台的运动状态参数确定第二预设尺寸。
其中，运动状态参数包括可移动平台的速度、加速度、角速度、角加速度、拍摄装置的角速度、拍摄装置的角加速度中的一种或多种。
其中，第二预设尺寸与运动状态参数负相关。
其中，处理器在执行计算机程序时，实现如下步骤：在当前帧图像中确定上一帧图像中的第一特征点在当前帧图像中的跟踪区域；在当前帧图像中的跟踪区域内对上一帧图像中的第一特征点进行跟踪。
其中，处理器在执行计算机程序时，实现如下步骤：预测第一特征点对应的空间点在当前帧图像中的位置；根据预测的位置确定上一帧图像中的第一特征点在当前帧图像中的跟踪区域。
其中，处理器在执行计算机程序时，实现如下步骤：根据拍摄装置在拍摄上一帧图像位姿信息和第一特征点对应的空间点的位置，预测第一特征点对应的空间点在当前帧图像中的位置。
本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时使处理器实现如上任一项的提取特征点的方法。相关内容的详细说明请参见上述提取特征点的方法部分，在此不再赘叙。
其中，该计算机可读存储介质可以是上述任一可移动平台的内部存储单元，例如可移动平台的硬盘或内存。该计算机可读存储介质也可以是可移动平台的外部存储设备，例如可移动平台上配备的插接式硬盘、智能存储卡、安全数字卡、闪存卡，等等。
本申请实施例在当前帧图像中对当前帧图像的上一帧图像中的第一特征点进行跟踪，以获取当前图像帧中跟踪成功的第二特征点；根据第二特征点的数目，确定是否要在当前帧图像中提取新特征点；由于在前帧图像中对第一特征点进行跟踪，根据跟踪成功的第二特征点的数目确定是否在当前帧图像中提取新特征点，而不是直接对当前帧图像的所有像素点进行枚举，重复计算，或者直接枚举固定数量的像素点，通过对上一帧图像中的第一特征点进行跟踪，根据跟踪结果能够避免在同一块区域内重复选取特征点，能够减少计算量和内存资源；当跟踪成功的第二特征点的数目满足预设数目阈值时，可以不提取新特征点，能够避免重复、大量的计算，且速度快；当跟踪成功的第二特征点的数目小于预设数目阈值时，可以只提取剩余数目的新特征点至预设数目阈值，能够减少提取新特征点，减少占用内存，因此不需要提供较大的内存空间，且速度快。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施例，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (31)

1.一种提取特征点的方法，应用于包括拍摄装置的可移动平台，其特征在于，包括：
获取所述拍摄装置拍摄的当前帧图像；
在当前帧图像中对所述当前帧图像的上一帧图像中的第一特征点进行跟踪以获取所述当前图像帧中跟踪成功的第二特征点；
确定所述第二特征点的数目；
根据所述第二特征点的数目确定是否要在所述当前帧图像中提取新特征点。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征点的数目确定是否要在所述当前帧图像中提取新特征点，还包括：
若所述第二特征点的数目大于或等于第一预设数目阈值时，则确定不在所述当前帧图像中提取新特征点；
否则，则确定要在所述当前帧图像中提取新特征点。
3.根据权利要求2所述的方法，其特征在于，在所述当前帧图像中提取的新特征点的数目是根据所述第一预设数目阈值与所述第二特征点的数目之差确定的。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
根据第一预设尺寸对所述当前帧图像进行栅格化处理以获取多个栅格图像；
从所述多个栅格图像中确定目标栅格图像，其中，所述目标栅格图像中不包括所述第二特征点；
当确定要在所述当前帧图像提取新特征点时，从所述目标栅格图像中提取新特征点，其中，所述目标栅格图像至多提取一个新特征点。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据第二预设尺寸在所述当前帧图像中确定中心区域，其中，所述目标栅格图像包括位于所述中心区域内的第一目标栅格图像和位于所述中心区域外的第二目标栅格图像；
所述在所述目标栅格图像中提取新特征点，包括：
在所述第一目标栅格图像中提取新特征点。
6.根据权利要求5所述的方法，其特征在于，所述在所述第一目标栅格图像中提取新特征点，包括：
按照预设的循环顺序分别对不同的第一目标栅格图像中的像素点进行检测以确定该像素点是否为候选特征点；
将包括候选特征点的第一目标栅格图像中候选特征点的质量参数最高且高于预设特征点质量阈值的候选特征点确定为所述第一目标栅格图像的新特征点。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当确定检测到第二预设数目的候选特征点时，不再对第一目标栅格图像中的像素点进行检测。
8.根据权利要求5或6所述的方法，其特征在于，所述从所述第一目标栅格图像中提取新特征点，还包括：
确定从所述第一目标栅格图像中提取到的新特征点数目是否大于或等于第三预设数目阈值；
当否时，在所述第二目标栅格图像中提取新特征点。
9.根据权利要求8所述的方法，其特征在于，所述第三预设数目阈值是根据第一预设数目阈值与所述第二特征点的数目之差确定的。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
获取所述可移动平台的状态信息，其中，所述可移动平台的状态信息包括所述可移动平台的运动状态参数；
根据所述可移动平台的运动状态参数确定所述第二预设尺寸。
11.根据权利要求10所述的方法，其特征在于，所述运动状态参数包括可移动平台的速度、加速度、角速度、角加速度、所述拍摄装置的角速度、所述拍摄装置的角加速度中的一种或多种。
12.根据权利要求10或11所述的方法，其特征在于，第二预设尺寸与所述运动状态参数负相关。
13.根据权利要求1-12任一项所述的方法，其特征在于，所述在当前帧图像中对所述当前帧图像的上一帧图像中的第一特征点进行跟踪，包括：
在当前帧图像中确定上一帧图像中的第一特征点在当前帧图像中的跟踪区域；
在当前帧图像中的跟踪区域内对所述上一帧图像中的第一特征点进行跟踪。
14.根据权利要求13所述的方法，其特征在于，所述在当前帧图像中确定上一帧图像中的第一特征点在当前帧图像中的跟踪区域，包括：
预测所述第一特征点对应的空间点在所述当前帧图像中的位置；
根据预测的位置确定所述上一帧图像中的第一特征点在当前帧图像中的跟踪区域。
15.根据权利要求14所述的方法，其特征在于，所述预测所述第一特征点对应的空间点在所述当前帧图像中的位置，包括：
根据所述拍摄装置在拍摄所述上一帧图像位姿信息和所述第一特征点对应的空间点的位置，预测所述第一特征点对应的空间点在所述当前帧图像中的位置。
16.一种可移动平台，其特征在于，所述可移动平台包括：拍摄装置、处理器和存储器；
所述拍摄装置用于拍摄图像；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取所述拍摄装置拍摄的当前帧图像；
在当前帧图像中对所述当前帧图像的上一帧图像中的第一特征点进行跟踪以获取所述当前图像帧中跟踪成功的第二特征点；
确定所述第二特征点的数目；
根据所述第二特征点的数目确定是否要在所述当前帧图像中提取新特征点。
17.根据权利要求16所述的可移动平台，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
若所述第二特征点的数目大于或等于第一预设数目阈值时，则确定不在所述当前帧图像中提取新特征点；
否则，则确定要在所述当前帧图像中提取新特征点。
18.根据权利要求17所述的可移动平台，其特征在于，在所述当前帧图像中提取的新特征点的数目是根据所述第一预设数目阈值与所述第二特征点的数目之差确定的。
19.根据权利要求16-18任一项所述的可移动平台，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
根据第一预设尺寸对所述当前帧图像进行栅格化处理以获取多个栅格图像；
从所述多个栅格图像中确定目标栅格图像，其中，所述目标栅格图像中不包括所述第二特征点；
当确定要在所述当前帧图像提取新特征点时，从所述目标栅格图像中提取新特征点，其中，所述目标栅格图像至多提取一个新特征点。
20.根据权利要求19所述的可移动平台，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
根据第二预设尺寸在所述当前帧图像中确定中心区域，其中，所述目标栅格图像包括位于所述中心区域内的第一目标栅格图像和位于所述中心区域外的第二目标栅格图像；
在所述第一目标栅格图像中提取新特征点。
21.根据权利要求20所述的可移动平台，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
按照预设的循环顺序分别对不同的第一目标栅格图像中的像素点进行检测以确定该像素点是否为候选特征点；
将包括候选特征点的第一目标栅格图像中候选特征点的质量参数最高且高于预设特征点质量阈值的候选特征点确定为所述第一目标栅格图像的新特征点。
22.根据权利要求21所述的可移动平台，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
当确定检测到第二预设数目的候选特征点时，不再对第一目标栅格图像中的像素点进行检测。
23.根据权利要求20或21所述的可移动平台，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
确定从所述第一目标栅格图像中提取到的新特征点数目是否大于或等于第三预设数目阈值；
当否时，在所述第二目标栅格图像中提取新特征点。
24.根据权利要求23所述的可移动平台，其特征在于，所述第三预设数目阈值是根据第一预设数目阈值与所述第二特征点的数目之差确定的。
25.根据权利要求16-24任一项所述的可移动平台，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
获取所述可移动平台的状态信息，其中，所述可移动平台的状态信息包括所述可移动平台的运动状态参数；
根据所述可移动平台的运动状态参数确定所述第二预设尺寸。
26.根据权利要求25所述的可移动平台，其特征在于，所述运动状态参数包括可移动平台的速度、加速度、角速度、角加速度、所述拍摄装置的角速度、所述拍摄装置的角加速度中的一种或多种。
27.根据权利要求25或26所述的可移动平台，其特征在于，第二预设尺寸与所述运动状态参数负相关。
28.根据权利要求16-27任一项所述的可移动平台，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
在当前帧图像中确定上一帧图像中的第一特征点在当前帧图像中的跟踪区域；
在当前帧图像中的跟踪区域内对所述上一帧图像中的第一特征点进行跟踪。
29.根据权利要求28所述的可移动平台，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
预测所述第一特征点对应的空间点在所述当前帧图像中的位置；
根据预测的位置确定所述上一帧图像中的第一特征点在当前帧图像中的跟踪区域。
30.根据权利要求29所述的可移动平台，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
根据所述拍摄装置在拍摄所述上一帧图像位姿信息和所述第一特征点对应的空间点的位置，预测所述第一特征点对应的空间点在所述当前帧图像中的位置。
31.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-15任一项所述的提取特征点的方法。
CN201980033830.5A 2019-09-29 2019-09-29 提取特征点的方法、可移动平台及存储介质 Pending CN112154479A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/108856 WO2021056501A1 (zh) 2019-09-29 2019-09-29 提取特征点的方法、可移动平台及存储介质

Publications (1)

Publication Number Publication Date
CN112154479A true CN112154479A (zh) 2020-12-29

Family

ID=73891975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033830.5A Pending CN112154479A (zh) 2019-09-29 2019-09-29 提取特征点的方法、可移动平台及存储介质

Country Status (2)

Country Link
CN (1) CN112154479A (zh)
WO (1) WO2021056501A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884840A (zh) * 2021-03-29 2021-06-01 湖南国科微电子股份有限公司 一种视觉定位方法、装置、设备及存储介质
CN112906558A (zh) * 2021-02-08 2021-06-04 浙江商汤科技开发有限公司 图像特征的提取方法、装置、计算机设备及存储介质
CN113674320A (zh) * 2021-08-24 2021-11-19 湖南国科微电子股份有限公司 视觉导航特征点获取方法、装置和计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136063B2 (en) * 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
CN104180818B (zh) * 2014-08-12 2017-08-11 北京理工大学 一种单目视觉里程计算装置
CN109978911B (zh) * 2019-02-22 2021-05-28 青岛小鸟看看科技有限公司 一种图像特征点跟踪方法和相机

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906558A (zh) * 2021-02-08 2021-06-04 浙江商汤科技开发有限公司 图像特征的提取方法、装置、计算机设备及存储介质
CN112906558B (zh) * 2021-02-08 2024-06-11 浙江商汤科技开发有限公司 图像特征的提取方法、装置、计算机设备及存储介质
CN112884840A (zh) * 2021-03-29 2021-06-01 湖南国科微电子股份有限公司 一种视觉定位方法、装置、设备及存储介质
CN113674320A (zh) * 2021-08-24 2021-11-19 湖南国科微电子股份有限公司 视觉导航特征点获取方法、装置和计算机设备
CN113674320B (zh) * 2021-08-24 2024-03-22 湖南国科微电子股份有限公司 视觉导航特征点获取方法、装置和计算机设备

Also Published As

Publication number Publication date
WO2021056501A1 (zh) 2021-04-01

Similar Documents

Publication Publication Date Title
CN111160302B (zh) 基于自动驾驶环境的障碍物信息识别方法和装置
US9307221B1 (en) Settings of a digital camera for depth map refinement
KR101643672B1 (ko) 광류 추적 방법 및 장치
EP2538242B1 (en) Depth measurement quality enhancement.
JP5258859B2 (ja) 走路推定装置及びプログラム
EP3709266A1 (en) Human-tracking methods, apparatuses, systems, and storage media
US20140327674A1 (en) Scene reconstruction from high spatio-angular resolution light fields
CN112154479A (zh) 提取特征点的方法、可移动平台及存储介质
US9639943B1 (en) Scanning of a handheld object for 3-dimensional reconstruction
JP4480958B2 (ja) デジタル画像作成方法
JP2016505186A (ja) エッジ保存・ノイズ抑制機能を有するイメージプロセッサ
WO2021134285A1 (zh) 图像跟踪处理方法、装置、计算机设备和存储介质
CN110458855B (zh) 图像提取方法及相关产品
CN110784699B (zh) 投影处理方法、装置、投影仪及可读存储介质
CN111142514B (zh) 一种机器人及其避障方法和装置
CN113837952A (zh) 基于法向量的三维点云降噪方法、装置、计算机可读存储介质及电子设备
CN113128430B (zh) 人群聚集检测方法、装置、电子设备和存储介质
CN112581374A (zh) 散斑亚像素中心提取方法、系统、设备及介质
CN112614174A (zh) 点云补全和点云分割方法、装置、电子设备及存储介质
EP3588437B1 (en) Apparatus that generates three-dimensional shape data, method and program
EP1591960A1 (en) Method and apparatus for image processing
CN114187195A (zh) 一种2d前视声呐图像去噪方法
CN113048950B (zh) 基站天线倾角测量方法、装置、存储介质和计算机设备
EP4241250A1 (en) Method and apparatus for distinguishing different configuration states of an object based on an image representation of the object
CN113870292A (zh) 深度图像的边缘检测方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination