CN113362357B - 特征点确定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种特征点确定方法、装置、设备及存储介质，属于图像处理技术领域。所述方法包括：获取待提取图像的缩略图；在缩略图中确定第一特征点，第一特征点用于反映缩略图的特征；根据第一特征点在缩略图中的第一位置，在待提取图像中判断第二位置附近的预定阈值范围内是否存在第二特征点，第二位置为第一位置在待提取图像中对应的位置，第二特征点用于反映待提取图像的特征。在确定特征点的过程中，只需对缩略图中的像素点进行分析，能够减少计算资源开销和对CPU的占用，并且能够实现在不依赖硬件的情况下提升确定特征点的效率，缩短确定特征点的时间。

Description

特征点确定方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种特征点确定方法、装置、设备及存储介质。

背景技术

视觉里程计(Visual Odometry，VO)能够基于拍摄的多张图像之间的差异来计算位姿变化，在此过程中需要提取能够反映图像特征的特征点，例如快速(FAST)角点。FAST角点是图像中亮度值与周围的像素点差异较大的像素点。

在实际应用中，为了提升视觉里程计的性能，需要加快提取FAST角点的速度。计算机设备通常采用通用图形处理器(General-Purpose Computing On Graphics ProcessingUnit，GPGPU)基于统一计算设备架构(Compute Unified Device Architecture，CUDA)来对图像中的多个像素点进行并行处理，判断是否为FAST角点，从而提高提取FAST角点的速度。通常还可以使用多线程技术来并行处理FAST角点的提取过程，来提高提取FAST角点的速度。

对于没有GPGPU或者GPGPU性能较差的计算机设备，无法通过上述使用GPGPU的方式来加快提取FAST角点的速度，局限性较大。而且，上述使用多线程技术的方式会进行多线程的创建、调度以及切换，导致额外增加计算资源开销和中央处理器(Central ProcessingUnit，CPU)占用，当计算资源紧张时将有可能影响到整个系统中所有程序运行的效率。

发明内容

本申请提供了一种特征点确定方法、装置、设备及存储介质，可以实现在不依赖硬件的情况下提升确定特征点的效率，缩短确定特征点的时间。所述技术方案如下：

根据本申请的一方面，提供了一种特征点确定方法，所述方法包括：

获取待提取图像的缩略图；

在所述缩略图中确定第一特征点，所述第一特征点用于反映所述缩略图的特征；

根据所述第一特征点在所述缩略图中的第一位置，在所述待提取图像中判断第二位置附近的预定阈值范围内是否存在第二特征点，所述第二位置为所述第一位置在所述待提取图像中对应的位置，所述第二特征点用于反映所述待提取图像的特征。

根据本申请的另一方面，提供了一种特征点确定装置，所述装置包括：

获取模块，用于获取待提取图像的缩略图；

第一确定模块，用于在所述缩略图中确定第一特征点，所述第一特征点用于反映所述缩略图的特征；

判断模块，用于根据所述第一特征点在所述缩略图中的第一位置，在所述待提取图像中判断第二位置附近的预定阈值范围内是否存在第二特征点，所述第二位置为所述第一位置在所述待提取图像中对应的位置，所述第二特征点用于反映所述待提取图像的特征。

在一个可选的设计中，所述判断模块，用于：

将所述第一特征点在所述缩略图中的第一坐标与缩放倍数相乘，得到第二坐标，所述缩放倍数是根据所述待提取图像相较于所述缩略图的缩放比例确定的；

在所述待提取图像中判断所述第二坐标附近的所述预定阈值范围内是否存在所述第二特征点。

在一个可选的设计中，所述判断模块，用于：

以所述第二坐标为基准位置，在所述待提取图像中确定待提取区域；

在所述待提取区域中，判断是否存在第一候选特征点；

响应于所述待提取区域中存在所述第一候选特征点，根据所述第一候选特征点确定所述第二特征点。

在一个可选的设计中，所述判断模块，用于：

响应于所述待提取区域中存在至少两个所述第一候选特征点，将差异值最大的第一候选特征点确定为所述第二特征点，所述差异值用于反映所述第一候选特征点与周围的像素点的亮度差异程度。

在一个可选的设计中，所述第一确定模块，用于：

在所述缩略图中确定第二候选特征点；

对所述缩略图进行网格化划分，得到至少两个网格；

将所述网格中的全部或一部分所述第二候选特征点，选择为所述网格中的所述第一特征点。

在一个可选的设计中，所述第一确定模块，用于：

对所述网格中的所述第二候选特征点按照差异值进行排序，所述差异值用于反映所述第二候选特征点与周围的像素点的亮度差异程度；

将排序前k个所述第二候选特征点确定为所述第一特征点，其中，k为正整数。

在一个可选的设计中，所述装置还包括设置模块，所述设置模块，用于：

响应于确定出所述第二特征点，以所述第二特征点的位置为基准位置，在所述待提取图像中确定非提取区域；

将所述非提取区域中的像素点，设置为非可提取状态，所述非可提取状态用于指示所述非提取区域中的像素点不再被用于确定所述第二特征点。

在一个可选的设计中，所述装置还包括第二确定模块，所述第二确定模块，用于：

确定圆周偏移量，所述圆周偏移量用于反映所述第一候选特征点周围的像素点的坐标与所述第一候选特征点的坐标之间的映射关系；

根据所述圆周偏移量确定所述第一候选特征点周围的像素点；

根据所述第一候选特征点周围的像素点的亮度与所述第一候选特征点的亮度确定所述第一候选特征点的差异值。

在一个可选的设计中，所述第二确定模块，用于：

确定窗口偏移量，所述窗口偏移量用于反映所述待提取区域的坐标与所述第二坐标之间的映射关系；

所述判断模块，用于：

基于所述窗口偏移量，根据所述第二坐标确定所述待提取区域。

在一个可选的设计中，所述获取模块，用于：

根据已构建的所述待提取图像的图像金字塔，获取所述缩略图，所述图像金字塔包括所述待提取图像在不同分辨率下的图像。

根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的特征点确定方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的特征点确定方法。

根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的特征点确定方法。

本申请提供的技术方案带来的有益效果至少包括：

通过根据缩略图中的第一特征点的位置，确定缩略图对应的待提取图像中的第二特征点，实现在待提取图像提取特征点。在确定特征点的过程中，只需对缩略图中的像素点进行分析，缩略图中的像素点的数量少于待提取图像，且根据第一特征点在缩略图中的位置确定第二特征点时也仅需对少量像素点进行计算，因此能够减少计算资源开销和对CPU的占用，并且能够实现在不依赖硬件的情况下提升确定特征点的效率，缩短确定特征点的时间。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的FAST角点的示意图；

图2是本申请一个示例性实施例提供的特征点确定方法的流程示意图；

图3是本申请另一个示例性实施例提供的特征点确定方法的流程示意图；

图4是本申请一个示例性实施例提供的确定第一特征点的实现过程的示意图；

图5是本申请一个示例性实施例提供的第一特征点的示意图；

图6是本申请一个示例性实施例提供的确定第二特征点的实现过程的示意图；

图7是本申请一个示例性实施例提供的第二特征点的示意图；

图8是本申请一个示例性实施例提供的确定图像的特征点的实现过程的示意图；

图9是本申请一个示例性实施例提供的特征点确定装置的结构示意图；

图10是本申请另一个示例性实施例提供的特征点确定装置的结构示意图；

图11是本申请又一个示例性实施例提供的特征点确定装置的结构示意图；

图12是本申请一个示例性实施例提供的终端的结构示意图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先，对本申请实施例中的名词进行介绍：

FAST角点：FAST角点是能够反映图像的特征的特征点中的一种。FAST角点为图像中亮度与周围的像素点的亮度差异较大的像素点。示例地，图1是本申请一个示例性实施例提供的FAST角点的示意图。如图1所示，计算机设备根据图像101中任一像素点(例如像素点p)的位置，确定该像素点周围的像素点的位置。像素点p周围的像素点包括像素点1-16，该像素点1-16的位置处于以像素点p为圆心，3像素(由计算机设备确定)为半径的圆的圆周上。当像素点p的亮度比像素点1-16中任意连续n个(例如9个)像素点的亮度都小，或，像素点p的亮度比像素点1-16中任意连续n个像素点的亮度都大，且差值大于阈值时，此时像素点p为FAST角点。

本申请实施例主要以特征点为FAST角点为例进行说明，本申请实施例中的特征点还能够为其他特征点，例如为Harris角点。Harris角点是周围像素点在梯度方向和梯度幅值上都发生较大变化的像素点(变化幅度大于阈值)。计算机设备提取Harris角点的实现过程与提取FAST角点的实现过程不同。并且，本申请实施例中需要进行特征点提取的图像为灰度图，并且，还能够使用像素点的灰度来确定图像中的特征点，且根据灰度值确定特征点的实现的过程与根据亮度确定特征点的实现过程一致。如果需要进行特征点提取的图像不是灰度图，需要先将图像转换成灰度图，然后再进行特征点提取。

图像金字塔：图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图像的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

差异值：一般也称为响应值，差异值能够用于评价像素点作为图像的特征点的质量的高低，例如差异值具体是可以反映像素点与周围像素点的亮度差异程度的数值。以确定FAST角点所使用的FAST响应值(反映像素点与周围像素点的亮度差异程度的数值)作为示例，继续参照图1，像素点p和像素点1的亮度差为40，像素点p和像素点2的亮度差为60，像素点p和像素点3-16的亮度差均为50，此时计算机设备将40确定为像素点1的差异值，即将像素点与周围的各像素点亮度值的差中的最小值确定为像素点的差异值。差异值越大，则FAST角点与周围的像素点的差异越大，反映图像的特征的能力越强。本申请实施例主要以差异值为FAST响应值为例进行说明，本申请实施例中的差异值除了使用FAST响应值，还能够以其他方式计算，例如Harris响应值也可作为本申请中的差异值。Harris响应值是用于反映像素点与周围像素点在梯度方向和梯度幅值上的差异程度的数值。

综合上述对特征点以及差异值的说明可知，本申请能够确定FAST角点作为特征点，之后通过FAST响应值或Harris响应值评价特征点的质量。或者，确定Harris角点作为特征点，之后通过FAST响应值或Harris响应值评价特征点的质量。

图2是本申请一个示例性实施例提供的特征点确定方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图2所示，该方法包括：

步骤202：获取待提取图像的缩略图。

该待提取图像的来源包括计算机设备通过摄像头拍摄的，计算机设备中上传的，以及计算机设备从其他计算机设备中获取的。该待提取图像包括一张独立的图像以及视频中的一帧图像。待提取图像的缩略图，是待提取图像在低于当前分辨率下的图像。可选地，计算机设备通过对待提取图像进行下采样，能够得到待提取图像的缩略图。或者，根据待提取图像对应的图像金字塔，能够获取到待提取图像的缩略图。可选地，该待提取图像以及缩略图为灰度图，当不为灰度图时，计算机设备会将待提取图像以及缩略图转化为灰度图。

步骤204：在缩略图中确定第一特征点。

该第一特征点用于反映缩略图的特征。可选地，该第一特征点为FAST角点。计算机设备通过FAST角点提取函数，能够在缩略图中提取出第一特征点。可选地，该FAST角点提取函数是由开源计算机视觉库(Open Source Computer Vision Library，OpenCV)提供的。

步骤206：根据第一特征点在缩略图中的第一位置，在待提取图像中判断第二位置附近的预定阈值范围内是否存在第二特征点。

该第二特征点用于反映待提取图像的特征。第二特征点与第一特征点反映的特征相同或不同。缩略图与待提取图像的内容在细节上存在差异，当第一特征点与第二特征点对应的图像内容相同时，则反映的特征相同，当第一特征点与第二特征点对应的图像内容不同时，则反映的特征不同。当第一特征点为FAST角点时，该第二特征点也为FAST角点。

该第二位置为第一位置在待提取图像中对应的位置，例如计算机设备根据待提取图像与缩略图之间的缩放倍数，在待提取图像中确定第一位置对应的第二位置。可选地，计算机设备将第一特征点的第一坐标与缩放倍数相乘，能够得到第二坐标。该缩放倍数是根据待提取图像相较于缩略图的缩放比例确定的。计算机设备能够将待提取图像中以第二坐标为中心的区域内确定的特征点，确定为第二特征点。此时第二位置附近的预定阈值范围包括以第二坐标为中心的区域。该区域的大小是计算机设备确定的。

需要说明的是，本申请实施例提供的方法，能够由客户端执行，也能够由终端执行，还能够由服务器执行。当由服务器执行时，客户端会向服务器发送待提取图像，服务器确定待提取图像中的第二特征点并发送至客户端。该服务器为一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心中的虚拟服务器等。该终端包括手机、平板电脑、车载终端以及飞行器(例如无人机)的控制终端。本申请实施例提供的方法能够应用于需要提取图像的特征点的场景下，包括视觉定位、三维重建、图像配准、物体识别、目标跟踪以及图像拼接等。

综上所述，本实施例提供的方法，根据缩略图中的第一特征点的位置，确定缩略图对应的待提取图像中的第二特征点，实现在待提取图像提取特征点。在确定特征点的过程中，只需对缩略图中的像素点进行分析，缩略图中的像素点的数量少于待提取图像，且根据第一特征点在缩略图中的位置确定第二特征点时也仅需对少量像素点进行计算，因此能够减少计算资源开销和对CPU的占用，并且能够实现在不依赖硬件的情况下提升确定特征点的效率，缩短确定特征点的时间。

图3是本申请另一个示例性实施例提供的特征点确定方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图3所示，该方法包括：

步骤302：获取待提取图像的缩略图。

待提取图像的缩略图，是待提取图像在低于当前分辨率下的图像。可选地，计算机设备通过对待提取图像进行下采样，能够得到待提取图像的缩略图。计算机设备还能够根据已构建的待提取图像的图像金字塔，获取缩略图。该图像金字塔包括待提取图像在不同分辨率下的图像。由于视觉里程计通常需要使用光流(Optical Flow)法分析图像，在此过程中会建立图像的图像金字塔，计算机设备复用已建立的图像的图像金字塔，能够提升获取缩略图的效率。可选地，该待提取图像以及缩略图为灰度图，当不为灰度图时，计算机设备会将待提取图像以及缩略图转化为灰度图。

步骤304：在缩略图中确定第一特征点。

第一特征点用于反映缩略图的特征。可选地，该第一特征点为FAST角点。

可选地，如图4所示，步骤304的实现过程包括以下步骤3042至3048：

在步骤3042中，在缩略图中确定第二候选特征点。

计算机设备通过FAST角点提取函数，能够在缩略图中确定出第二候选特征点。FAST角点提取函数通过判断当前像素点的亮度是否比周围像素点中n个像素点的亮度都小，或，当前像素点的亮度是否比周围像素点中n个像素点的亮度都大，以及，亮度的差值是否大于阈值，来判断当前像素点是否为FAST角点。可选地，该FAST角点提取函数是由开源计算机视觉库(Open Source Computer Vision Library，OpenCV)提供的。

在步骤3046中，对缩略图进行网格化划分，得到至少两个网格。

计算机设备对缩略图进行网格化划分，指将缩略图划分为形状和面积相同的至少两个网格。例如按照轴线将缩略图划分为大小相同的四个网格。

在步骤3048中，将网格中的全部或一部分第二候选特征点，选择为网格中的第一特征点。

视觉里程计通过不同时刻下的图像中特征点的位置变化，来确定位姿变化。当特征点在图像中均匀分布时，能够提升确定位姿变化的准确度。计算机设备对网格中的第二候选特征点进行筛选，能够使不同网格中最终确定的特征点的数量近似，从而达到使特征点均匀分布的效果。

可选地，计算机设备对网格中的第二候选特征点按照差异值进行排序，并将排序前k个第二候选特征点确定为第一特征点。其中，k为正整数，是由计算机设备确定的。该差异值用于反映第二候选特征点与周围的像素点的亮度差异程度。该差异值可以是根据第二候选特征点与周围的像素点的亮度差异的最小值确定的，例如第二候选特征点与周围的像素点的亮度差异分别为40、51和60，则该第二候选特征点的差异值为40。

示例地，图5是本申请一个示例性实施例提供的第一特征点的示意图。如图5所示，计算机设备将缩略图划分为四个网格，分别为网格一501、网格二502、网格三503以及网格四504。网格一501中的第二候选特征点包括像素点17、像素点18以及像素点19。网格二502包括的第二候选特征点包括像素点20、像素点21以及像素点22。网格三503包括的第二候选特征点包括像素点23以及像素点24。网格四504包括的第二候选特征点包括像素点25、像素点26以及像素点27。计算机设备对每个网格中的第二候选特征点按照差异值进行排序，选取排序前k个(2个)第二候选特征点作为第一特征点。从而使得每个网格中均存在两个第一特征点。当网格中的第二候选特征点不足k个时，则将网格中全部第二候选特征点确定为第一特征点。

步骤306：根据第一特征点在缩略图中的第一位置，在待提取图像中判断第二位置附近的预定阈值范围内是否存在第二特征点。

第二特征点用于反映待提取图像的特征，第二特征点与第一特征点反映的特征相同或不同。当第一特征点为FAST角点时，该第二特征点也为FAST角点。该第二位置为第一位置在待提取图像中对应的位置。

可选地，如图6所示，步骤306的实现过程包括以下步骤3062至3064：

在步骤3062中，将第一特征点在缩略图中的第一坐标与缩放倍数相乘，得到第二坐标。

缩放倍数是根据待提取图像相较于缩略图的缩放比例确定的。例如待提取图像的长为1000像素，宽为500像素，缩略图的长为500像素，宽为250像素，则缩放比例为2倍。第一坐标为(3，6)，则确定的第二坐标为(3*2，6*2)，即(6，12)。第一坐标以及第二坐标均为像素点坐标，表示图像中第i行，第j列的像素点，坐标的原点为图像中左上角的像素点。

在步骤3064中，在待提取图像中判断第二坐标附近的预定阈值范围内是否存在第二特征点。

可选地，计算机设备以第二坐标为基准位置，在待提取图像中确定待提取区域，即第二位置附近的预定阈值范围包括该待提取区域。例如以第二坐标为中心，在待提取图像中确定待提取区域。待提取区域的面积是由计算机设备确定的。之后在待提取区域中，计算机设备会判断是否存在第一候选特征点。响应于待提取区域中存在第一候选特征点，计算机设备会根据第一候选特征点确定第二特征点。例如待提取区域中存在一个第一候选特征点时，计算机设备会将该第一候选特征点确定为第二特征点。并且，响应于待提取区域中不存在第一候选特征点，计算机设备会确定第二位置附近的预定阈值范围内不存在第二特征点。另外，响应于待提取区域中存在至少两个第一候选特征点，计算机设备会将差异值最大的第一候选特征点确定为第二特征点。并且，在确定第一候选特征点的过程中，计算机设备能够采用单指令多数据流(Single Instruction Multiple Data，SIMD)技术，来同时处理待提取区域中每一行的像素点，从而快速找到待提取区域中的第一候选特征点，进而根据差异值确定出第二特征点。该差异值用于反映第一候选特征点与周围的像素点的亮度差异程度。

示例地，图7是本申请一个示例性实施例提供的第二特征点的示意图。如图7所示，计算机设备确定两个第一特征点，之后根据第一特征点在缩略图中的位置确定两个第二坐标，分别为待提取图像中像素点28所在位置以及像素点30所在位置。之后以两个第二坐标为中心，确定出两个长5像素，宽3像素的待提取区域。并在两个待提取区域中分别确定出第一候选特征点，之后将各待提取区域中差异值最大的第一候选特征点确定为第二特征点，实现基于第一特征点在待提取图像中确定第二特征点。

需要说明的是，为了进一步提升提取图像中特征点的效率，计算机设备还会初始化一系列预处理数据，来对上述处理过程进行提速，具体包括：

1、确定圆周偏移量。

该圆周偏移量用于反映第一候选特征点周围的像素点的坐标与第一候选特征点的坐标之间的映射关系。计算机设备根据该圆周偏移量确定第一候选特征点周围的像素点，并根据第一候选特征点周围的像素点的亮度与第一候选特征点的亮度能够确定第一候选特征点的差异值。计算机设备在确定第一候选特征点的坐标后，能够根据该映射关系直接得到第一候选特征点周围的像素点的坐标，而不需要去计算第一候选特征点周围的每个像素点的坐标，从而能够快速确定第一候选特征点的差异值。

2、确定窗口偏移量。

该窗口偏移量用于反映待提取区域的坐标与第二坐标之间的映射关系。该待提取区域的坐标包括待提取区域中像素点的坐标。在计算机设备以第二坐标为基准位置，在待提取图像中确定待提取区域的过程中，能够基于窗口偏移量，根据第二坐标直接确定待提取区域中像素点的坐标，而不需要再去计算待提取区域中像素点的坐标。

示例地，窗口偏移量用于快速确定待提取区域内各个像素点的坐标，对于不同大小的待提取区域，窗口偏移量包括待提取区域内的各像素点与第二坐标之间的映射关系。例如待提取区域包括16个像素点，则窗口偏移量包括16个映射关系。例如窗口偏移量包括(-1，4)，表示待提取区域内在第二坐标的上1行和后4列的像素点。假设图像中的像素点有100列，则窗口偏移量中上述像素点的像素点偏移为-1*100+4＝-96。在OpenCV中，图像中的像素点是按照从左向右，从上到下的顺序排列并读取，像素点偏移-96表示处于第二坐标的像素点之前的第96个像素点。计算机设备会预先构建2i+1行和2j+1列的二维数组，可以表示在第二坐标的第[-i，i]行(上或下第i行)和第[-j，j]列(前或后第j列)的像素点偏移。计算机设备通过窗口偏移量中(±x，±y)这个二维数组下标就可以快速确定出待提取区域内在第二坐标的上或下x行和前或后y列的像素点的像素点偏移为x*m+y，从而得到该像素点。在此过程中无需再针对待提取区域内每个像素点的位置额外计算。其中，m为待提取图像中每行所含的像素点的个数。若第二坐标的像素点的位置为ptr(第ptr个像素点)，则待提取区域内像素点偏移量为(-1，4)的像素点的位置为ptr-96。

3、构建查询表数组。

计算机设备在判断一个像素点是否为FAST角点时，需要比较该像素点与周围处于同一个圆的圆周上的n个像素点的亮度差是否足够大，需要快速判断圆心像素点的亮度I_p和圆周像素点的亮度I_x之差的绝对值|I_x-I_p|是否大于阈值t。

可选地，计算机设备根据选取FAST角点使用的阈值，能够将像素点的亮度的取值范围[-255，255]划分为三段。例如阈值t＝30，计算机设备能够将[-255，255]分成三段：[-255，-30)，[-30，30]，(30，255]。在构建查询表(LookUp Table，LUT)数组时，以I_x-I_p作为数组的序号，由于数组的序号不能小于0，因此上述各区间需要增加255，得到[0，225)，[225，285]，(285，510]。其中，数组的序号属于第一段时取值为1，数组的序号属于第二段时取值为0，数组的序号属于第三段时取值为2。当数组的取值为1或2时，则表示圆心像素点的亮度与圆周像素点的亮度的差值大于阈值。

计算机设备根据const uchar*tab＝&threshold_tab[a]-v+255，能够确定圆心像素点与圆周像素点的亮度差是否大于阈值。其中const uchar*tab[p]用于指向tab数组序号为p的位置，a为圆心像素点对应的圆周上圆周像素点的亮度值，v为已知的圆心像素点的亮度值，const uchar*tab指向的是threshold_tab数组中序号为a-v+255的位置。示例地，圆心像素点的亮度值为40，圆周像素点的亮度值为5，则const uchar*tab指向的数组的序号为5-40+255＝220，对应的取值为1，则计算机设备判断该圆心像素点与圆周像素点的差值大于阈值。计算机设备根据该LUT数组即可快速确定圆心像素点与圆周像素点的亮度差异是否大于阈值，避免比较数值大小的过程。

步骤308：根据第二特征点的位置在待提取图像中设置不可提取像素点。

响应于确定出第二特征点，计算机设备会以第二特征点的位置为基准位置，在待提取图像中确定非提取区域。将非提取区域中的像素点，设置为非可提取状态，非可提取状态用于指示非提取区域中的像素点不再被用于确定第二特征点。并且，计算机设备确定的窗口偏移量，还能够包括第二特征点的坐标与非提取区域的坐标的映射关系。该非提取区域的坐标包括非提取区域中像素点的坐标。根据该窗口偏移量，计算机设备能够基于第二特征点快速确定出非提取区域中像素点的坐标。

在一个具体的例子中，示例地，图8是本申请一个示例性实施例提供的确定图像的特征点的实现过程的示意图。如图8所示，在步骤S1中，计算机设备初始化预处理数据，包括圆周偏移量，窗口偏移量以及查询表数组，来实现加快提取FAST角点的速度。在步骤S2中，计算机设备在待提取图像的缩略图中通过FAST角点提取函数提取第一特征点。在步骤S3中，计算机设备对缩略图进行网格化，并对网格化得到的每个网格中的第一特征点按差异值排序，选取出topk个第一特征点，实现使特征点均匀分布。在步骤S4中，计算机根据选取出的topk个第一特征点在缩略图中的坐标，以及待提取图像与缩略图的缩放比例，在待提取图像中确定出待提取区域，并将待提取区域中差异值最大的特征点确定为第二特征点，实现提取待提取图像中的特征点。

综上所述，本实施例提供的方法，根据缩略图中的第一特征点的位置，确定缩略图对应的待提取图像中的第二特征点，实现在待提取图像提取特征点。在确定特征点的过程中，只需对缩略图中的像素点进行分析，缩略图中的像素点的数量少于待提取图像，且根据第一特征点在缩略图中的位置确定第二特征点时也仅需对少量像素点进行计算，因此能够减少计算资源开销和对CPU的占用，并且能够实现在不依赖硬件的情况下提升确定特征点的效率，缩短确定特征点的时间。

另外，根据缩略图中的第一特征点在待提取图像中对应的第二坐标提取特征点，提供了一种简单便捷的提取特征点的方式。根据第一特征点在缩略图中的第一坐标，在待提取图像中确定待提取区域，进而确定第二特征点，能够提升提取特征点的准确性。对缩略图进行网格化划分并根据差异值从第二候选特征点中筛选出第一特征点，能够使特征点均匀分布，提升视觉里程计的性能。将非提取区域中的像素点，设置为非可提取状态，能够避免提取到重复的特征点。确定圆周偏移量和窗口偏移量，能够通过预处理来进一步加快提取特征点的速度。根据已构建的图像金字塔来获取缩略图，能够避免重复处理，提升效率。

需要说明的是，本申请实施例提供的方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。

图9是本申请一个示例性实施例提供的特征点确定装置的结构示意图。该装置可以用于计算机设备或计算机设备上的客户端。如图9所示，该装置90包括：

获取模块901，用于获取待提取图像的缩略图。

第一确定模块902，用于在缩略图中确定第一特征点，第一特征点用于反映缩略图的特征。

判断模块903，用于根据第一特征点在缩略图中的第一位置，在待提取图像中判断第二位置附近的预定阈值范围内是否存在第二特征点，第二位置为第一位置在待提取图像中对应的位置，第二特征点用于反映待提取图像的特征。

在一个可选的设计中，判断模块903，用于：

将第一特征点在缩略图中的第一坐标与缩放倍数相乘，得到第二坐标，缩放倍数是根据待提取图像相较于缩略图的缩放比例确定的。在待提取图像中判断第二坐标附近的预定阈值范围内是否存在第二特征点。

在一个可选的设计中，判断模块903，用于：

以第二坐标为基准位置，在待提取图像中确定待提取区域。在待提取区域中，判断是否存在第一候选特征点。响应于待提取区域中存在第一候选特征点，根据第一候选特征点确定第二特征点。

在一个可选的设计中，判断模块903，用于：

响应于待提取区域中存在至少两个第一候选特征点，将差异值最大的第一候选特征点确定为第二特征点，差异值用于反映第一候选特征点与周围的像素点的亮度差异程度。

在一个可选的设计中，第一确定模块902，用于：

在缩略图中确定第二候选特征点。对缩略图进行网格化划分，得到至少两个网格。将网格中的全部或一部分第二候选特征点，选择为网格中的第一特征点。

在一个可选的设计中，第一确定模块902，用于：

对网格中的第二候选特征点按照差异值进行排序，差异值用于反映第二候选特征点与周围的像素点的亮度差异程度。将排序前k个第二候选特征点确定为第一特征点。其中，k为正整数。

在一个可选的设计中，如图10所示，装置90还包括设置模块904，设置模块904，用于：

响应于确定出第二特征点，以第二特征点的位置为基准位置，在待提取图像中确定非提取区域。将非提取区域中的像素点，设置为非可提取状态，非可提取状态用于指示非提取区域中的像素点不再被用于确定第二特征点。

在一个可选的设计中，如图11所示，装置90还包括第二确定模块905，第二确定模块905，用于：

确定圆周偏移量，圆周偏移量用于反映第一候选特征点周围的像素点的坐标与第一候选特征点的坐标之间的映射关系。根据圆周偏移量确定第一候选特征点周围的像素点。根据第一候选特征点周围的像素点的亮度与第一候选特征点的亮度确定第一候选特征点的差异值。

在一个可选的设计中，第二确定模块905，用于：

确定窗口偏移量，窗口偏移量用于反映待提取区域的坐标与第二坐标之间的映射关系。

判断模块903，用于：

基于窗口偏移量，根据第二坐标确定待提取区域。

在一个可选的设计中，获取模块901，用于：

根据已构建的待提取图像的图像金字塔，获取缩略图，图像金字塔包括待提取图像在不同分辨率下的图像。

需要说明的是：上述实施例提供的特征点确定装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的特征点确定装置与特征点确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请的实施例还提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的特征点确定方法。

可选地，该计算机设备为终端。示例地，图12是本申请一个示例性实施例提供的终端的结构示意图。

通常，终端1200包括有：处理器1201和存储器1202。

处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行以实现本申请中方法实施例提供的特征点确定方法。

在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。

外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不加以限定。

射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1205用于显示UI(User Interface，横版关卡界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置终端1200的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在再一些实施例中，显示屏1205可以是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。

摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端1200的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。

定位组件1208用于定位终端1200的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。

加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制触摸显示屏1205以横向视图或纵向视图进行横版关卡界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1212可以检测终端1200的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1213可以设置在终端1200的侧边框和/或触摸显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时，可以检测用户对终端1200的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在触摸显示屏1205的下层时，由处理器1201根据用户对触摸显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1214用于采集用户的指纹，由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份，或者，由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1201授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置终端1200的正面、背面或侧面。当终端1200上设置有物理按键或厂商Logo时，指纹传感器1214可以与物理按键或厂商Logo集成在一起。

光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制触摸显示屏1205的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1205的显示亮度；当环境光强度较低时，调低触摸显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1215采集的环境光强度，动态调整摄像头组件1206的拍摄参数。

接近传感器1216，也称距离传感器，通常设置在终端1200的前面板。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时，由处理器1201控制触摸显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时，由处理器1201控制触摸显示屏1205从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图12中示出的结构并不构成对终端1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例中还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，当该程序代码由计算机设备的处理器加载并执行时，实现上述各方法实施例提供的特征点确定方法。

本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的特征点确定方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的可读存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同切换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种特征点确定方法，其特征在于，所述方法包括：

获取待提取图像的缩略图；

在所述缩略图中确定第二候选特征点；对所述缩略图进行网格化划分，得到至少两个网格；对所述网格中的所述第二候选特征点按照差异值进行排序，所述差异值用于反映所述第二候选特征点与周围的像素点的亮度差异程度；将排序前k个所述第二候选特征点确定为第一特征点，其中，k为正整数，所述第一特征点用于反映所述缩略图的特征；

根据所述第一特征点在所述缩略图中的第一位置，在所述待提取图像中判断第二位置附近的预定阈值范围内是否存在第二特征点，所述第二位置为所述第一位置在所述待提取图像中对应的位置，所述第二特征点用于反映所述待提取图像的特征。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征点在所述缩略图中的第一位置，在所述待提取图像中判断第二位置附近的预定阈值范围内是否存在第二特征点，包括：

将所述第一特征点在所述缩略图中的第一坐标与缩放倍数相乘，得到第二坐标，所述缩放倍数是根据所述待提取图像相较于所述缩略图的缩放比例确定的；

在所述待提取图像中判断所述第二坐标附近的所述预定阈值范围内是否存在所述第二特征点。

3.根据权利要求2所述的方法，其特征在于，所述在所述待提取图像中判断所述第二坐标附近的所述预定阈值范围内是否存在所述第二特征点，包括：

以所述第二坐标为基准位置，在所述待提取图像中确定待提取区域；

在所述待提取区域中，判断是否存在第一候选特征点；

响应于所述待提取区域中存在所述第一候选特征点，根据所述第一候选特征点确定所述第二特征点。

4.根据权利要求3所述的方法，其特征在于，所述响应于所述待提取区域中存在所述第一候选特征点，根据所述第一候选特征点确定所述第二特征点，包括：

响应于所述待提取区域中存在至少两个所述第一候选特征点，将差异值最大的第一候选特征点确定为所述第二特征点，所述差异值用于反映所述第一候选特征点与周围的像素点的亮度差异程度。

5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

响应于确定出所述第二特征点，以所述第二特征点的位置为基准位置，在所述待提取图像中确定非提取区域；

将所述非提取区域中的像素点，设置为非可提取状态，所述非可提取状态用于指示所述非提取区域中的像素点不再被用于确定所述第二特征点。

6.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：

确定圆周偏移量，所述圆周偏移量用于反映所述第一候选特征点周围的像素点的坐标与所述第一候选特征点的坐标之间的映射关系；

根据所述圆周偏移量确定所述第一候选特征点周围的像素点；

根据所述第一候选特征点周围的像素点的亮度与所述第一候选特征点的亮度确定所述第一候选特征点的差异值。

7.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：

确定窗口偏移量，所述窗口偏移量用于反映所述待提取区域的坐标与所述第二坐标之间的映射关系；

所述以所述第二坐标为基准位置，在所述待提取图像中确定待提取区域，包括：

基于所述窗口偏移量，根据所述第二坐标确定所述待提取区域。

8.根据权利要求1至4任一所述的方法，其特征在于，所述获取待提取图像的缩略图，包括：

根据已构建的所述待提取图像的图像金字塔，获取所述缩略图，所述图像金字塔包括所述待提取图像在不同分辨率下的图像。

9.一种特征点确定装置，其特征在于，所述装置包括：

获取模块，用于获取待提取图像的缩略图；

第一确定模块，用于在所述缩略图中确定第二候选特征点；对所述缩略图进行网格化划分，得到至少两个网格；对所述网格中的所述第二候选特征点按照差异值进行排序，所述差异值用于反映所述第二候选特征点与周围的像素点的亮度差异程度；将排序前k个所述第二候选特征点确定为第一特征点，其中，k为正整数，所述第一特征点用于反映所述缩略图的特征；

判断模块，用于根据所述第一特征点在所述缩略图中的第一位置，在所述待提取图像中判断第二位置附近的预定阈值范围内是否存在第二特征点，所述第二位置为所述第一位置在所述待提取图像中对应的位置，所述第二特征点用于反映所述待提取图像的特征。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的特征点确定方法。

11.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的特征点确定方法。

Images