CN109961103B - 特征提取模型的训练方法、图像特征的提取方法及装置 - Google Patents

Abstract

本发明提供了一种特征提取模型的训练方法、图像特征的提取方法及装置，该方法包括：获取训练图像集，并提取训练图像集的关键点，得到第一关键点集合；根据第一关键点集合将训练图像集划分为多个子图像集，并确定各子图像集对应的第二关键点集合；同一子图像集中的训练图像之间的关键点匹配；获取预设的二维平面内的点对集合；其中，点对集合包括至少一个点对；基于第一关键点集合和各子图像集对应的第二关键点集合，从点对集合中选取出预设数量的目标点对；将选取的目标点对确定为特征提取模型的参数，完成特征提取模型的训练。本发明可以使训练得到的特征提取模型较好地平衡计算量和准确性，在较低计算量的前提下也可保证特征提取的准确性。

Description

特征提取模型的训练方法、图像特征的提取方法及装置

技术领域

本发明涉及机器学习技术领域，尤其是涉及一种特征提取模型的训练方法、图像特征的提取方法及装置。

背景技术

SLAM(Simultaneous Localization and Mapping，同时定位与建图)是一种用于解决机器人在未知环境运动时的定位与地图构建问题的系统，SLAM系统包括VO(VisualOdometry，视觉里程计)前端，用于基于实际环境图像估算摄像设备的运动过程，进而得到摄像设备运动过程中的位置信息。

现有技术中，特征点法为VO前端估算摄像设备运动过程的常用实现方法，而特征点法通常采用经过训练的特征提取模型，诸如SIFT(Scale-Invariant FeatureTransform，尺度不变特征变换)模型、CNN(Convolutional Neural Networks，卷积神经网络)模型或者ORB(Oriented FAST and Rotated BRIEF)模型对实际环境图像中的特征点进行提取。然而，上述SIFT模型和CNN模型虽然具有较好的准确性，但是具有计算量较高的缺点，因此为了减少特征提取过程中所需的计算量，可以采用经过训练的ORB模型，但是相较于SIFT模型和CNN模型，现有的ORB模型提取特征点的准确性较差；因此，现有训练得到的特征提取模型难以较好地平衡计算量和准确性。

发明内容

有鉴于此，本发明的目的在于提供一种特征提取模型的训练方法、图像特征的提取方法及装置，可以使训练得到的特征提取模型较好地平衡计算量和准确性，在较低计算量的前提下也可保证特征提取的准确性。

第一方面，本发明实施例提供了一种特征提取模型的训练方法，包括：获取训练图像集，并提取所述训练图像集的关键点，得到第一关键点集合；根据所述第一关键点集合将所述训练图像集划分为多个子图像集，并确定各所述子图像集对应的第二关键点集合；同一子图像集中的训练图像之间的关键点匹配；获取预设的二维平面内的点对集合；其中，所述点对集合包括至少一个点对；基于所述第一关键点集合和各所述子图像集对应的第二关键点集合，从所述点对集合中选取出预设数量的目标点对；将选取的所述目标点对确定为所述特征提取模型的参数，完成所述特征提取模型的训练。

进一步，所述根据所述第一关键点集合将所述训练图像集划分为多个子图像集的步骤，包括：通过极线搜索算法确定所述第一关键点集合中各关键点之间的匹配关系；基于所述匹配关系将所述训练图像集划分为多个子图像集。

进一步，所述基于所述第一关键点集合和各所述子图像集对应的第二关键点集合，从所述点对集合中选取出预设数量的目标点对的步骤，包括：计算所述点对集合中的每个点对相对于所述第一关键点集合的第一信息量；其中，所述第一信息量与所述第一关键点集合中的关键点的坐标和所述点对集合中的点对的坐标相关；计算所述点对集合中的每个点对相对于各所述子图像集对应的第二关键点集合的子信息量，并将各所述子信息量的和值作为所述点对相对于所述子图像集的第二信息量；其中，所述子信息量与所述第二关键点集合中的关键点的坐标和所述点对集合中的点对的坐标相关；计算每个所述点对的所述第一信息量和所述第二信息量的加权值；根据每个所述点对的所述第一信息量、所述第二信息量和所述加权值，从所述点对集合中选取出预设数量的目标点对。

进一步，所述计算所述点对集合中的每个点对相对于所述第一关键点集合的第一信息量的步骤，包括：基于第一关键点集合中的关键点的坐标和所述点对集合中的点对的坐标，计算所述点对集合中的每个点对中的一个点相对于所述第一关键点集合中的各关键点的第一灰度值，以及每个所述点对中的另一个点相对于所述第一关键点集合中的各关键点的第二灰度值；比较所述点对相对于所述关键点的第一灰度值和所述第二灰度值的大小，如果所述第一灰度值大于或等于所述第二灰度值，确定所述点对相对于所述关键点的标识符为第一标识符；如果所述第一灰度值小于所述第二灰度值，确定所述点对相对于所述关键点的标识符为第二标识符；基于标识符确定结果，生成所述点对的第一描述子；其中，所述第一描述子为所述点对相对于所述第一关键点集合中的各个所述关键点的标识符组成的标识符序列；统计所述第二标识符在所述第一描述子中出现的第一频率，基于所述第一频率得到所述点对相对于所述第一关键点集合的第一信息量。

进一步，所述基于所述第一频率得到所述点对相对于所述第一关键点集合的第一信息量的步骤，包括：按照以下公式，计算所述点对相对于所述第一关键点集合的第一信息量：

d＝|v-0.5|

其中，d为所述点对相对于所述第一关键点集合的第一信息量，v为所述第二标识符在所述第一描述子中出现的第一频率。

进一步，所述计算所述点对集合中的每个点对相对于各所述子图像集对应的第二关键点集合的子信息量的步骤，包括：基于所述点对的第一描述子，生成所述点对的多个第二描述子；每个所述第二描述子为所述点对相对于一个所述子图像集对应的第二关键点集合中的各所述关键点的标识符组成的标识符序列；统计所述第一标识符在每个所述第二描述子中出现的第一次数，以及所述第二标识符在每个所述第二描述子中出现的第二次数，基于所述第一次数和所述第二次数得到所述点对相对于每个所述第二关键点集合的子信息量。

进一步，所述基于所述第一次数和所述第二次数得到所述点对相对于每个所述第二关键点集合的子信息量的步骤，包括：按照以下公式，计算所述点对相对于每个所述第二关键点集合的子信息量:

其中，n₀为所述第一次数，n₁为所述第二次数，n为所述第一次数和所述第二次数的和值，i为所述点对相对于每个所述第二关键点集合的子信息量。

进一步，所述根据每个所述点对的所述第一信息量、所述第二信息量和所述加权值，从所述点对集合中选取出预设数量的目标点对的步骤，包括：判断每个所述点对是否符合预设条件；所述预设条件包括：所述第一信息量高于或等于第一预设阈值，和/或，所述第二信息量高于或等于第二阈值；将所述点对集合中符合所述预设条件的点对确定为候选点对；对各所述候选点对的加权值进行排序，并根据所述排序结果从所述候选点对中取出预设数量的目标点对。

第二方面，本发明实施例还提供一种图像特征的提取方法，包括：获取待提取特征的目标图像；将所述目标图像输入至特征提取模型；其中，所述特征提取模型是采用第一方面提供的任一项所述的方法训练得到的；通过所述特征提取模型提取所述目标图像的特征信息。

第三方面，本发明实施例还提供一种特征提取模型的训练装置，包括：第一关键点集合确定模块，用于获取训练图像集，并提取所述训练图像集的关键点，得到第一关键点集合；第二关键点集合确定模块，用于根据所述第一关键点集合将所述训练图像集划分为多个子图像集，并确定各所述子图像集对应的第二关键点集合；同一子图像集中的训练图像之间的关键点匹配；点对集合获取模块，用于获取预设的二维平面内的点对集合；其中，所述点对集合包括至少一个点对；点对选取模块，用于基于所述第一关键点集合和各所述子图像集对应的第二关键点集合，从所述点对集合中选取出预设数量的目标点对；模型参数确定模块，用于将选取的所述目标点对确定为所述特征提取模型的参数，完成所述特征提取模型的训练。

第四方面，本发明实施例还提供一种图像特征的提取装置，包括：图像获取模块，用于获取待提取特征的目标图像；模型输入模块，用于将所述目标图像输入至特征提取模型；其中，所述特征提取模型是采用第一方面提供的任一项所述的方法训练得到的；特征提取模块，用于通过所述特征提取模型提取所述目标图像的特征信息。

第五方面，本发明实施例还提供一种电子设备，所述设备包括：图像采集装置、处理器和存储装置；所述图像采集装置，用于采集待检测图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法，或者执行如第二方面提供的所述的方法。

第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面提供的任一项所述的方法的步骤，或者执行如第二方面提供的所述的方法的步骤。

本发明实施例提供的特征提取模型的训练方法及装置，在获取到的训练图像集上进行关键点提取，得到第一关键点集合，根据第一关键点集合将训练图像集中存在关键点匹配的训练图像划分至同一子图像集中，以得到多个子图像集，并确定各个子图像集对应的第二关键点集合，然后获取预设的二维平面内包括至少一个点对的点对集合，并根据第一关键点集合和各第二关键点集合，从点对集合中选取预设数量的目标点对，将目标点对确定为特征提取模型的参数，以完成特征提取模型的训练。本发明实施例通过从点对集合中选取最优的目标点对，并将目标点对确定为特征提取模型的参数，以完成特征提取模型的训练过程。这种方式可将关键点匹配的训练图像划分至同一子图像集，在后续计算过程中有助于降低计算量，而且，根据第一关键点集合和各第二关键点集合选取目标点对的方式，有助于使选取出的目标点对较为准确，从而使得特征提取模型的参数较优，进而提升了特征提取模型的特征提取准确性。综上，本实施例可较好地平衡了计算量和准确性，在较低计算量的前提下也可保证特征提取的准确性。

本发明实施例提供的图像特征的提取方法及装置，首先获取待提取特征的目标图像，将目标图像输入至采用上述特征提取模型的训练方法及装置训练得到的特征提取模型中，通过该特征提取模型提取目标图像的特征信息。本发明实施例采用的特征提取模型能够在较低计算量的前提下也可保证特征提取的准确性，借助该模型，可以较好的保证特征提取速度和特征提取的准确性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备的结构示意图；

图2为本发明实施例提供的一种特征提取模型的训练方法的流程示意图；

图3为本发明实施例提供的一种图像特征的提取方法的流程示意图；

图4为本发明实施例提供的另一种图像特征的提取方法的流程示意图；

图5为本发明实施例提供的一种特征提取模型的训练装置的结构示意图；

图6为本发明实施例提供的一种图像特征的提取装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有的特征点提取模型在降低特征点提取所需计算量时，其特征点提取的准确性也随之降低，计算量和准确性难以达到较好的平衡。基于此，本发明实施例提供的一种特征提取模型的训练方法、图像特征的提取方法及装置，该技术可应用于任何需要提取图像特征的场景，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的特征提取模型的训练方法、图像特征的提取方法及装置的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的特征提取模型的训练方法、图像特征的提取方法及装置的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。

实施例二：

参见图2所示的一种特征提取模型的训练方法的流程示意图，该方法可以由前述实施例提供的电子设备执行，该方法可以包括如下步骤：

步骤S202，获取训练图像集，并提取训练图像集的关键点，得到第一关键点集合。

其中，训练图像集中包括多张训练图像，在一些实施方式中，可以通过摄像头进行图像采集，并将采集得到的图像作为训练图像集中的训练图像。在另一些实施方式中，可以直接从预设的存储区中获取已存储的训练图像集。关键点(Key-point)可以表征训练图像集中各点的位置信息，也可以表征各点的方向信息和大小信息。通过提取训练图像集中所有训练图像各点的位置信息、方向信息或大小信息，即可得到与训练图像集对应的KS(KeyPoint Set，关键点集合)，也即第一关键点集合。

步骤S204，根据第一关键点集合将训练图像集划分为多个子图像集，并确定各子图像集对应的第二关键点集合。其中，同一子图像集中的训练图像之间的关键点匹配。

其中，子图像集又可称为MKS(Matched Key Points Set，匹配特征点集合)，同一子图像集中的训练图像之间的关键点匹配，也即每个子图像集为特征相似的训练图像组成的集合。在一些具体的实施方式中，可以通过确定第一关键点集合中各关键点之间的匹配关系，即可将训练图像集划分为多个子图像集，进而可以确定每个子图像集对应的第二关键点集合。

步骤S206，获取预设的二维平面内的点对集合。

其中，点对集合(Ponit Pair Set，PPS)包括至少一个点对，因为二维平面内包括若干点，任意两点即可组成一个点对，将所有点对枚举出来，即可得到该二维平面内的点对集合。例如，获取预设的20*20的二维平面，则在该二维平面内包括点A，点B和点C等400个点，枚举出400个点的所有组合，即枚举出点对AB、点对AC和点对BC等

个点对，通过这种方式可得到该二维平面的点对集合。

步骤S208，基于第一关键点集合和各子图像集对应的第二关键点集合，从点对集合中选取出预设数量的目标点对。

在一种实施方式中，通过第一关键点集合和各第二关键点集合可以对点对集合中的每个点对进行评估，根据评估结果即可从点对集合中选取目标点对。

步骤S210，将选取的目标点对确定为特征提取模型的参数，完成特征提取模型的训练。

其中，特征提取模型用于提取图像中的特征点，该特征提取模型的参数为若干个点对，因此在确定目标点对后，将特征提取模型内的点对更新为目标点对，即可完成对特征提取模型的训练。

本发明实施例提供的特征提取模型的训练方法，在获取到的训练图像集上进行关键点提取，得到第一关键点集合，根据第一关键点集合将训练图像集中存在关键点匹配的训练图像划分至同一子图像集中，以得到多个子图像集，并确定各个子图像集对应的第二关键点集合，然后获取预设的二维平面内包括至少一个点对的点对集合，并根据第一关键点集合和各第二关键点集合，从点对集合中选取预设数量的目标点对，将目标点对确定为特征提取模型的参数，以完成特征提取模型的训练。本发明实施例通过从点对集合中选取最优的目标点对，并将目标点对确定为特征提取模型的参数，以完成特征提取模型的训练过程。这种方式可将关键点匹配的训练图像划分至同一子图像集，在后续计算过程中有助于降低计算量，而且，根据第一关键点集合和各第二关键点集合选取目标点对的方式，有助于使选取出的目标点对较为准确，从而使得特征提取模型的参数较优，进而提升了特征提取模型的特征提取准确性。综上，本实施例可较好地平衡了计算量和准确性，在较低计算量的前提下也可保证特征提取的准确性。

在上述步骤S204中根据第一关键点集合将训练图像集划分为多个子图像集时，可以参照以下子图像集的划分方式：

(1)通过极线搜索算法确定第一关键点集合中各关键点之间的匹配关系。

极线搜索算法也即极线约束，对于一个点P，将其投影到预设的两个不同的平面I1和I2，并且关键点P在平面I1上的投影点为P1，在平面I2上的投影点为P2，此时关键点P、投影点P1和投影点P2构成一个平面S，其中平面S与平面L1的交线L1过投影点P1，交线L1成为对应于投影点P2的极线，同理，平面S与平面L2的交线L2称为对应于投影点P1的极线。假设训练图像集包含训练图像A1、训练图像A2和训练图像A3，则第一关键点集合包含训练图像A1、训练图像A2和训练图像A3对应的关键点，对于训练图像A1和训练图像A2，若两者间的关键点存在匹配关系，则训练图像A1中一定存在关键点a1经过训练图像A2中与之存在匹配关系的关键点a2对应的极线；对于训练图像A2和训练图像A3，若两者的关键点之间不存在匹配关系，则训练图像A2中的关键点将不会经过训练图像A3中关键点对应的级线。具体实现时，首先预设一个误差范围，将该误差范围内的极线确定为极线带，在极线带内对各关键点之间的匹配关系进行搜索。

(2)基于匹配关系将训练图像集划分为多个子图像集。

若在两张训练图像中存在多个关键点均存在匹配关系，则可以将这两张图片划分至同一子图像集中。在一种实施方式中，可以预先设置一个阈值，当存在匹配关系的关键点个数大于或者等于阈值时，便确定两张图片之间存在匹配关系，进行将其划分至同一子图像集中。

在一些实施方式中，为了从点对组合中选取出较为准确的目标点对，可以分别计算点对集合中每个点对相对于第一关键点集合的第一信息量，和点对集合中每个点对相对于子图像集的第二信息量，并计算每个点对的第一信息量和第二信息量的加权值，利用每个点对的第一信息量、第二信息量和加权值在点对集合中选取预设个数的目标点对。其中，第一信息量与第一关键点集合中的关键点的坐标和点对集合中的点对的坐标相关，第二信息量与第二关键点集合中的关键点的坐标和点对集合中的点对的坐标相关。

为便于理解，本发明实施例还提供了一种基于第一关键点集合和各子图像集对应的第二关键点集合，从点对集合中选取出预设数量的目标点对的实现方式，可以参见如下步骤(1)～步骤(4)执行：

(1)计算点对集合中的每个点对相对于第一关键点集合的第一信息量。

通过函数V₁＝f(PPS；KS)计算点对集合中的每个点对相对于第一关键点集合的第一信息量，其中V₁即为一个点对相对于第一关键点集合的第一信息量，在具体实现时，可以参见如下步骤1～步骤4所示的步骤：

步骤1，基于第一关键点集合中的关键点的坐标和点对集合中的点对的坐标，计算点对集合中的每个点对中的一个点相对于第一关键点集合中的各关键点的第一灰度值，以及每个点对中的另一个点相对于第一关键点集合中的各关键点的第二灰度值。在具体实现时，点对中一个点的坐标为x，点对中另一个点的坐标为y，第一关键点集合中一个关键点的坐标为p₁，并且坐标x、坐标y和坐标p₁均为二维向量，通过函数I(p₁+x)计算每个点对中一个点相对于第一关键点集合中一个关键点的第一灰度值，以及通过函数I(p₁+y)计算每个点对中另一点相对于第一关键点集合中一个关键点的第二灰度值。

步骤2，比较点对相对于关键点的第一灰度值和第二灰度值的大小，如果第一灰度值大于或等于第二灰度值，确定点对相对于关键点的标识符为第一标识符；如果第一灰度值小于第二灰度值，确定点对相对于关键点的标识符为第二标识符。其中，标识符可以为指定数值或者指定字母等多种表达形式。当标识符采用指定数值时，标识符确定过程可参见如下所示公式：

其中，第一标识符为1，第二标识符为0。

步骤3，基于标识符确定结果，生成点对的第一描述子。其中，第一描述子为点对相对于第一关键点集合中的各个关键点的标识符组成的标识符序列。可以理解的，因为在第一关键点集合中存在多个关键点，通过上述步骤2确定每个点对相对于各关键点的标识符，即可得到每个点对相对于第一关键点集合的标识符序列。具体的，第一描述子可以采用BRIEF(Binary Robust Independent Elementary Feature，二元鲁棒独立初等特征)描述子，BRIEF描述子是一种由若干数值0和数值1组成的二进制字符串(也即，前述标识符序列)，通过简单的二进制字符串即可描述每个点对相对于第一关键点集合中各关键点的信息。

步骤4，统计第二标识符在第一描述子中出现的第一频率，基于第一频率得到点对相对于第一关键点集合的第一信息量。

以一组点对为例，可以通过上述步骤1～步骤3确定该点对相对于第一关键点集合的第一描述子，其中，该点对的第一描述子里包括若干数值1和数值0，对第二标识符在第一描述子中出现的频率进行统计，也即计算数值0在第一描述子中出现的第一频率v。然后按照以下公式，计算该点对相对于第一关键点集合的第一信息量：

d＝|v-0.5|

其中，d(也即，前述V₁)为该点对相对于第一关键点集合的第一信息量。

(2)计算点对集合中的每个点对相对于各子图像集对应的第二关键点集合的子信息量，并将各子信息量的和值作为点对相对于子图像集的第二信息量。其中，子信息量与第二关键点集合中的关键点的坐标和点对集合中的点对的坐标相关。

通过函数V₂＝f(PPS；MKS)计算点对集合中每个点对相对于子图像集的第二信息量，其中V₂即为一个点对相对于子图像集的第二信息量。因为存在多个子图像集，即存在多个第二关键点集合，因此需要计算每个点对相对于各子图像集对应的第二关键点集合的子信息量，并将所有信息量的和值作为上述第二信息量。

为了便于理解，本发明实施例还提供了一种计算点对集合中的每个点对相对于各子图像集对应的第二关键点集合的子信息量的实现方式，可以参见如下步骤a～步骤b所示的步骤：

步骤a，基于点对的第一描述子，生成点对的多个第二描述子。因为每个第二描述子为点对相对于一个子图像集对应的第二关键点集合中的各关键点的标识符组成的标识符序列，又因为第二关键点集合是在第一关键点的基础上得到的，所以基于点对相对于第一关键点集合的第一描述子可以生成点对相当于每个第二关键点集合的第二描述子。在另一种实施方式中，可以通过上述步骤2所示的公式确定点对相对于一个子图像集对应的第二关键点集合中各关键点的标识符，进而得到多个第二描述子。

步骤b，统计第一标识符在每个第二描述子中出现的第一次数，以及第二标识符在每个第二描述子中出现的第二次数，基于第一次数和第二次数得到点对相对于每个第二关键点集合的子信息量。

本发明实施例进一步给出了基于第一次数和第二次数得到点对相对于每个第二关键点集合的子信息量的公式，具体的，按照以下公式，计算点对相对于每个第二关键点集合的子信息量:

其中，n₀为第一次数，n₁为第二次数，n为第一次数和第二次数的和值，i为点对相对于每个第二关键点集合的子信息量。

例如，设n₀＝n₁＝4，则n＝8，进而得到点对相对于每个第二关键点集合的子信息量

将点对现对于每二关键点集合的子信息量相加求和，即可得到点对相对于子图像集的第二信息量V₂。

(3)计算每个点对的第一信息量和第二信息量的加权值。

在具体计算每个点对的第一信息量和第二信息量的加权值时，可以获取预设的两个超参数，并将两个超参数分别作为第一信息量的权重和第二信息量的权重。其中，超参数是一种人为设置的参数值。具体的，获取预设的超参数α和超参数β，其中超参数α为第一信息量的权重，超参数β为第二信息量的权重，设加权值V₃：V₃＝f₃(PPS；α,β,V₁,V₂)＝α*V₁+β*V₂。

(4)根据每个点对的第一信息量、第二信息量和加权值，从点对集合中选取出预设数量的目标点对。

以下为根据每个点对的第一信息量、第二信息量和加权值，从点对集合中选取出预设数量的目标点对的实施方式：

判断每个点对是否符合预设条件；预设条件包括：第一信息量高于或等于第一预设阈值，和/或，第二信息量高于或等于第二阈值。为了抛弃点对集合中质量较差的点对，需要每个点对的第一信息量和第二信息量进行判断。假设第一预设阈值为a，第二预设阈值为b，并比对每个点对的第一信息量与第一预设阈值a的大小，或者比对每个点对的第二信息量与第二预设阈值b的大小。

将点对集合中符合预设条件的点对确定为候选点对。即当V₁<a或者V₂<b时，将该点对从点对集合中删除，将满足V₁<a或者V₂<b的点对全部删除后，此时点对集合中的点对均满足V₁≥a和V₂≥b，将点对集合中剩余点对作为候选点对。

对候选点对的加权值进行排序，并根据排序结果从候选点对中取出预设数量的目标点对。在一些实施方式中，可以将候选点对的加权值按照从大到小进行降序排序，然后根据排序结果选取预设数量的目标点对。具体实施时，首先设置两个集合，其中集合M由候选点对组成，集合N为空集，首先按照上述排序结果，从集合M中取出一个点对B1，并按排序结果从集合M中取出下一个点对B2，将点对B1和点对B2放入集合N中，计算点对B1和点对B2的相似值，并判断该相似值是否大于或者等于预设阈值，若相似值大于或者等于预设阈值，则在集合N中将点对B2删除；继续按照排序结果在集合M中取出下一个点对B3，并计算点对B1和点对B3的相似值，若该相似值小于预设阈值，则在集合N中保留B3，并继续在集合M中获取下一个点对，直至集合N中保留的点对为预设个数。

在一种实施方式中，上述特征提取模型为ORAB(Oriented FAST RotatedAdaptive BRIEF)模型，是一种在ORB模型的基础上提出的特征提取模型，该特征提取模型的参数为若干个点对，因此在确定目标点对后，将特征提取模型内的点对更新为目标点对，即可完成对特征提取模型的训练。另外，ORAB模型继承了ORB模型的计算量较小的优点，再通过选取出的目标点对对ORB模型的参数进行优化，便提升了ORB模型提取特征的准确性。因ORAB模型中的参数为256各点对，因此选取的目标点对的数量也为256个。

实施例三：

对于实施例二中所提供的特征提取模型的训练方法，本发明实施例提供了一种该方法的应用示例，参照图3所示的一种图像特征的提取方法的流程示意图，具体可以参照如下步骤执行：

步骤S302，获取待提取特征的目标图像。其中，目标图像可以通过摄像头进行图像采集。在一些实施方式中，可以通过摄像头以一定频率采集外界图像，并将该外界图像作为目标图像。

步骤S304，将目标图像输入至特征提取模型。其中，特征提取模型是采用上述实施例二任一项的方法训练得到的。

步骤S306，通过特征提取模型提取目标图像的特征信息。具体实现时，通过特征提取模型中的FAST(Features from Accelerated Segment Test)算法提取待提取特征的目标图像中的关键点，再根据BRIEF特征描述算法对提取的关键点进行描述，得到待提取特征的目标图像的描述子，进而可以得到待提取特征的目标图像的特征信息。

本发明实施例提供的图像特征的提取方法，首先获取待提取特征的目标图像，将目标图像输入至采用上述特征提取模型的训练方法及装置训练得到的特征提取模型中，通过该特征提取模型提取目标图像的特征信息。本发明实施例采用的特征提取模型能够在较低计算量的前提下也可保证特征提取的准确性，借助该模型，可以较好的保证特征提取速度和特征提取的准确性。

为便于对图3所示的图像特征的提取方法进行理解，本发明实施提供了另一种图像特征的提取方法的流程示意图，参见图4所示的另一种图像特征的提取方法的流程示意图，在该方法中，以应用于SLAM系统中的ORAB模型为例，其中，SLAM系统可以用于机器人，机器人利用SLAM系统完成地图的构建，ORAB模型内嵌与SLAM系统中的VO前端。具体可以参照如下步骤执行：

步骤1，VO前端获取待提取特征的目标图像。其中，VO前端为SLAM系统中的一个功能模块，SLAM主要包括依次连接的传感器数据、VO(Visual Odometry，视觉里程计)前端、后端优化、建图和回环检测五个环节。传感器数据主要用于通过摄像设备采集实际环境图像(也即，前述待提取特征的目标图像)，VO前端则获取传感器数据采集的实际环境图像。

步骤2，通过ORAB模型对待提取特征的目标图像进行特征提取。VO前端将待提取特征的目标图像传输至ORAB模型，通过ORAB模型对待提取特征的目标图像进行图像提取，并获取ORAB模型返回的目标图像的特征信息。此时VO前端便可基于目标图像的特征信息估算摄像设备的运动过程，进而得到摄像设备运动过程中的运动轨迹，并将运动轨迹的相关数据传输至后端优化、建图和回环检测环节，进而建立地图。

步骤3，通过预设存储区内的图像训练ORAB模型。VO前端还将待提取特征的目标图像传输至预设存储区。在指定时间间隔内预设存储区将存储多张待提取特征的目标图像，将指定时间间隔内获取的多张待提取特征的目标图像作为训练图像集，并利用上述实施例二提供的训练方法对ORAB模型进行训练。

综上所述，本发明实施例采用的特征提取模型能够在较低计算量的前提下也可保证特征提取的准确性，借助该模型，可以较好的保证特征提取速度和特征提取的准确性。

实施例四：

对应于前述实施例二提供的方法实施例，本实施例提供了一种特征提取模型的训练装置，参见图5所示的一种特征提取模型的训练装置的结构示意图，该装置包括以下部分：

第一关键点集合确定模块502，用于获取训练图像集，并提取训练图像集的关键点，得到第一关键点集合。

第二关键点集合确定模块504，用于根据第一关键点集合将训练图像集划分为多个子图像集，并确定各子图像集对应的第二关键点集合；同一子图像集中的训练图像之间的关键点匹配。

点对集合获取模块506，用于获取预设的二维平面内的点对集合；其中，点对集合包括至少一个点对。

点对选取模块508，用于基于第一关键点集合和各子图像集对应的第二关键点集合，从点对集合中选取出预设数量的目标点对。

模型参数确定模块510，用于将选取的目标点对确定为特征提取模型的参数，完成特征提取模型的训练。

本发明实施例提供的特征提取模型的训练装置，可将关键点匹配的训练图像划分至同一子图像集，在后续计算过程中有助于降低计算量，而且，根据第一关键点集合和各第二关键点集合选取目标点对的方式，有助于使选取出的目标点对较为准确，从而使得特征提取模型的参数较优，进而提升了特征提取模型的特征提取准确性。综上，本实施例可较好地平衡了计算量和准确性，在较低计算量的前提下也可保证特征提取的准确性。

上述第二关键点集合确定模块504还用于：通过极线搜索算法确定第一关键点集合中各关键点之间的匹配关系；基于匹配关系将训练图像集划分为多个子图像集。

在一些实施方式中，上述点对选取模块508还用于：计算点对集合中的每个点对相对于第一关键点集合的第一信息量；其中，第一信息量与第一关键点集合中的关键点的坐标和点对集合中的点对的坐标相关；计算点对集合中的每个点对相对于各子图像集对应的第二关键点集合的子信息量，并将各子信息量的和值作为点对相对于子图像集的第二信息量；其中，子信息量与第二关键点集合中的关键点的坐标和点对集合中的点对的坐标相关；计算每个点对的第一信息量和第二信息量的加权值；根据每个点对的第一信息量、第二信息量和加权值，从点对集合中选取出预设数量的目标点对。

另外，上述点对选取模块508还用于：基于第一关键点集合中的关键点的坐标和点对集合中的点对的坐标，计算点对集合中的每个点对中的一个点相对于第一关键点集合中的各关键点的第一灰度值，以及每个点对中的另一个点相对于第一关键点集合中的各关键点的第二灰度值；比较点对相对于关键点的第一灰度值和第二灰度值的大小，如果第一灰度值大于或等于第二灰度值，确定点对相对于关键点的标识符为第一标识符；如果第一灰度值小于第二灰度值，确定点对相对于关键点的标识符为第二标识符；基于标识符确定结果，生成点对的第一描述子；其中，第一描述子为点对相对于第一关键点集合中的各个关键点的标识符组成的标识符序列；统计第二标识符在第一描述子中出现的第一频率，基于第一频率得到点对相对于第一关键点集合的第一信息量。

在一些实施方式中，上述点对选取模块508还用于：按照以下公式，计算点对相对于第一关键点集合的第一信息量：

d＝|v-0.5|

其中，d为点对相对于第一关键点集合的第一信息量，v为第二标识符在第一描述子中出现的第一频率。

上述点对选取模块508还用于：基于点对的第一描述子，生成点对的多个第二描述子；每个第二描述子为点对相对于一个子图像集对应的第二关键点集合中的各关键点的标识符组成的标识符序列；统计第一标识符在每个第二描述子中出现的第一次数，以及第二标识符在每个第二描述子中出现的第二次数，基于第一次数和第二次数得到点对相对于每个第二关键点集合的子信息量。

在一些实施方式中，上述点对选取模块508还用于：按照以下公式，计算点对相对于每个第二关键点集合的子信息量:

其中，n₀为第一次数，n₁为第二次数，n为第一次数和第二次数的和值，i为点对相对于每个第二关键点集合的子信息量。

在一些实施方式中，上述点对选取模块508还用于：判断每个点对是否符合预设条件；预设条件包括：第一信息量高于或等于第一预设阈值，和/或，第二信息量高于或等于第二阈值；将点对集合中符合预设条件的点对确定为候选点对；对各候选点对的加权值进行排序，并根据排序结果从候选点对中取出预设数量的目标点对。

对应于前述实施例三提供的方法实施例，本实施例提供了一种图像特征的提取装置，参见图6所示的一种图像特征的提取装置的结构示意图，该装置包括以下部分：

图像获取模块602，用于获取待提取特征的目标图像。

模型输入模块604，用于将目标图像输入至特征提取模型；其中，特征提取模型是采用实施例二提供的任一项的方法训练得到的。

特征提取模块606，用于通过特征提取模型提取目标图像的特征信息。

本发明实施例提供的图像特征的提取装置，采用的特征提取模型能够在较低计算量的前提下也可保证特征提取的准确性，借助该模型，可以较好的保证特征提取速度和特征提取的准确性。

实施例五：

对应于前述实施例所提供的方法和装置，本发明实施例还提供了一种电子设备，该设备包括图像采集装置、处理器和存储装置；图像采集装置，用于采集目标图像；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如实施例二提供的任一项的方法，或执行如实施例三提供的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例二提供的任一项所述的方法的步骤，或执行上述实施例三提供的方法的步骤。

本发明实施例所提供的特征提取模型的训练方法、图像特征的提取方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种特征提取模型的训练方法，其特征在于，包括：

获取训练图像集，并提取所述训练图像集的关键点，得到第一关键点集合；

根据所述第一关键点集合将所述训练图像集划分为多个子图像集，并确定各所述子图像集对应的第二关键点集合；同一子图像集中的训练图像之间的关键点匹配；

获取预设的二维平面内的点对集合；其中，所述点对集合包括至少一个点对；

基于所述第一关键点集合和各所述子图像集对应的第二关键点集合，从所述点对集合中选取出预设数量的目标点对；

将选取的所述目标点对确定为所述特征提取模型的参数，完成所述特征提取模型的训练。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一关键点集合将所述训练图像集划分为多个子图像集的步骤，包括：

通过极线搜索算法确定所述第一关键点集合中各关键点之间的匹配关系；

基于所述匹配关系将所述训练图像集划分为多个子图像集。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一关键点集合和各所述子图像集对应的第二关键点集合，从所述点对集合中选取出预设数量的目标点对的步骤，包括：

计算所述点对集合中的每个点对相对于所述第一关键点集合的第一信息量；其中，所述第一信息量与所述第一关键点集合中的关键点的坐标和所述点对集合中的点对的坐标相关；

计算所述点对集合中的每个点对相对于各所述子图像集对应的第二关键点集合的子信息量，并将各所述子信息量的和值作为所述点对相对于所述子图像集的第二信息量；其中，所述子信息量与所述第二关键点集合中的关键点的坐标和所述点对集合中的点对的坐标相关；

计算每个所述点对的所述第一信息量和所述第二信息量的加权值；

根据每个所述点对的所述第一信息量、所述第二信息量和所述加权值，从所述点对集合中选取出预设数量的目标点对。

4.根据权利要求3所述的方法，其特征在于，所述计算所述点对集合中的每个点对相对于所述第一关键点集合的第一信息量的步骤，包括：

基于第一关键点集合中的关键点的坐标和所述点对集合中的点对的坐标，计算所述点对集合中的每个点对中的一个点相对于所述第一关键点集合中的各关键点的第一灰度值，以及每个所述点对中的另一个点相对于所述第一关键点集合中的各关键点的第二灰度值；

比较所述点对相对于所述关键点的第一灰度值和所述第二灰度值的大小，如果所述第一灰度值大于或等于所述第二灰度值，确定所述点对相对于所述关键点的标识符为第一标识符；如果所述第一灰度值小于所述第二灰度值，确定所述点对相对于所述关键点的标识符为第二标识符；

基于标识符确定结果，生成所述点对的第一描述子；其中，所述第一描述子为所述点对相对于所述第一关键点集合中的各个所述关键点的标识符组成的标识符序列；

统计所述第二标识符在所述第一描述子中出现的第一频率，基于所述第一频率得到所述点对相对于所述第一关键点集合的第一信息量。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一频率得到所述点对相对于所述第一关键点集合的第一信息量的步骤，包括：

按照以下公式，计算所述点对相对于所述第一关键点集合的第一信息量：

d＝|v-0.5|

其中，d为所述点对相对于所述第一关键点集合的第一信息量，v为所述第二标识符在所述第一描述子中出现的第一频率。

6.根据权利要求4所述的方法，其特征在于，所述计算所述点对集合中的每个点对相对于各所述子图像集对应的第二关键点集合的子信息量的步骤，包括：

基于所述点对的第一描述子，生成所述点对的多个第二描述子；每个所述第二描述子为所述点对相对于一个所述子图像集对应的第二关键点集合中的各所述关键点的标识符组成的标识符序列；

统计所述第一标识符在每个所述第二描述子中出现的第一次数，以及所述第二标识符在每个所述第二描述子中出现的第二次数，基于所述第一次数和所述第二次数得到所述点对相对于每个所述第二关键点集合的子信息量。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一次数和所述第二次数得到所述点对相对于每个所述第二关键点集合的子信息量的步骤，包括：

按照以下公式，计算所述点对相对于每个所述第二关键点集合的子信息量:

其中，n₀为所述第一次数，n₁为所述第二次数，n为所述第一次数和所述第二次数的和值，i为所述点对相对于每个所述第二关键点集合的子信息量。

8.根据权利要求3所述的方法，其特征在于，所述根据每个所述点对的所述第一信息量、所述第二信息量和所述加权值，从所述点对集合中选取出预设数量的目标点对的步骤，包括：

判断每个所述点对是否符合预设条件；所述预设条件包括：所述第一信息量高于或等于第一预设阈值，和/或，所述第二信息量高于或等于第二阈值；

将所述点对集合中符合所述预设条件的点对确定为候选点对；

对各所述候选点对的加权值进行排序，并根据所述排序结果从所述候选点对中取出预设数量的目标点对。

9.一种图像特征的提取方法，其特征在于，包括：

获取待提取特征的目标图像；

将所述目标图像输入至特征提取模型；其中，所述特征提取模型是采用权利要求1至8任一项所述的方法训练得到的；

通过所述特征提取模型提取所述目标图像的特征信息。

10.一种特征提取模型的训练装置，其特征在于，包括：

第一关键点集合确定模块，用于获取训练图像集，并提取所述训练图像集的关键点，得到第一关键点集合；

第二关键点集合确定模块，用于根据所述第一关键点集合将所述训练图像集划分为多个子图像集，并确定各所述子图像集对应的第二关键点集合；同一子图像集中的训练图像之间的关键点匹配；

点对集合获取模块，用于获取预设的二维平面内的点对集合；其中，所述点对集合包括至少一个点对；

点对选取模块，用于基于所述第一关键点集合和各所述子图像集对应的第二关键点集合，从所述点对集合中选取出预设数量的目标点对；

模型参数确定模块，用于将选取的所述目标点对确定为所述特征提取模型的参数，完成所述特征提取模型的训练。

11.一种图像特征的提取装置，其特征在于，包括：

图像获取模块，用于获取待提取特征的目标图像；

模型输入模块，用于将所述目标图像输入至特征提取模型；其中，所述特征提取模型是采用权利要求1至8任一项所述的方法训练得到的；

特征提取模块，用于通过所述特征提取模型提取所述目标图像的特征信息。

12.一种电子设备，其特征在于，所述设备包括：图像采集装置、处理器和存储装置；

所述图像采集装置，用于采集待检测图像；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法，或者执行如权利要求9所述的方法。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至8任一项所述的方法的步骤，或者执行如权利要求9所述的方法的步骤。

Images