CN111639658A - 图像匹配中动态特征点检测与剔除的方法和装置 - Google Patents

Abstract

本公开提供了图像匹配中动态特征点检测与剔除的方法，获取原始图像；按照逐帧方式提取所述原始图像中的特征点；通过所提取的特征点进行匹配，以获取相邻两帧之间的变换关系；通过所述变换关系获取估计图像；通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作；最后判断是否符合终止条件，若符合，则输出最终的变换关系和特征点集，否则进行迭代更新。该方法针对现有技术的不足，提高了在动态环境下的匹配精度，减少了图像的冗余信息和动态区域的影响。本公开还提出图像匹配中动态特征点检测与剔除的装置。

Description

图像匹配中动态特征点检测与剔除的方法和装置

技术领域

本公开涉及视觉图像处理技术领域，具体而言，涉及图像匹配中动态特征点检测与剔除的方法和装置。

背景技术

近几十年来，视觉图像处理作为机器人、无人机等技术的基础技术，在许多领域得到了广泛的应用。其中，对于图像特征点的检测是视觉图像处理中常见的方法。然而，目前的视觉图像处理技术在图像处理过程中无法识别出动态区域，导致在检测提取图像特征点时会出现从图像中提取动态特征点的情况，这样图像中的冗余信息和动态区域会对视觉图像处理产生较大的影响，限制了视觉图像处理技术的应用。

发明内容

为了解决现有技术中的技术问题，本公开实施例提供了图像匹配中动态特征点检测与剔除的方法和装置，针对现有技术的不足，采用光流法对当前帧图像进行动态特征点的检测和剔除，并迭代更新变换关系和特征点，提高了在动态环境下的匹配精度，减少了图像的冗余信息和动态区域的影响。

第一方面，本公开实施例提供了图像匹配中动态特征点检测与剔除的方法，所述方法包括：获取原始图像；按照逐帧方式提取所述原始图像中的特征点；通过所提取的特征点进行匹配，以获取相邻两帧之间的变换关系；通过所述变换关系获取估计图像；通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作。

在其中一个实施例中，所述获取原始图像包括：从图像源获取所述原始图像。

在其中一个实施例中，所述相邻两帧包括：当前帧与上一帧；通过所述变换关系获取估计图像包括：将上一帧的图像通过所述变换关系转换至当前帧的图像，以获取所述估计图像。

在其中一个实施例中，所述通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作包括：利用当前帧图像和所述估计图像计算从当前帧图像提取的每个特征点的光流值；基于光流值检测当前帧图像的特征点；若所述征点光流值的二范数大于阈值τ，则所述特征点为动态特征点并将所述动态特征点从当前帧的特征点中集中剔除。

在其中一个实施例中，还包括：若所述特征点光流值的二范数小于等于阈值τ，则所述特征点为静态特征点并保留在当前帧的特征点集中。

在其中一个实施例中，还包括：判断阈值τ的减少量是否小于阈值δ；若是，则利用余下的图像特征点集对当前帧图像和上一帧图像进行匹配，以输出最终的变换关系和特征点集；若不是，则用余下的图像特征点集与上一帧图像进行匹配获取变换关系，并通过获取估计图像进行迭代更新。

在其中一个实施例中，还包括：利用特征点集光流值分布的第二个波峰去调整确定阈值τ。

在其中一个实施例中，所述特征点为所述原始图像的局部描述符。

第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。

第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。

第四方面，本公开实施例提供了图像匹配中动态特征点检测与剔除的装置，所述装置包括：第一获取模块，用于获取原始图像；提取模块，用于按照逐帧方式提取所述原始图像中的特征点；匹配模块，用于通过所提取的特征点进行匹配，以获取相邻两帧之间的变换关系；第二获取模块，用于通过所述变换关系获取估计图像；检测与剔除模块，用于通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作。

本发明提供的图像匹配中动态特征点检测与剔除的方法和装置，获取原始图像；按照逐帧方式提取所述原始图像中的特征点；通过所提取的特征点进行匹配，以获取相邻两帧之间的变换关系；通过所述变换关系获取估计图像；通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作。该方法针对现有技术的不足，提高了在动态环境下的匹配精度，减少了图像的冗余信息和动态区域的影响。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：

图1为本发明一个实施例中的图像匹配中动态特征点检测与剔除的方法的步骤流程示意图；

图2为本发明另一实施例中的图像匹配中动态特征点检测与剔除的方法的步骤流程示意图；

图3为本发明一个实施例中的图像匹配中动态特征点检测与剔除的装置的结构示意图；

图4为本发明一个实施例中的图像匹配中动态特征点检测与剔除的装置的硬件框图；

图5为本发明一个实施例中的计算机可读存储介质的示意图。

具体实施方式

下面结合附图和实施例对本申请进行进一步的详细介绍。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

为了使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本发明图像匹配中动态特征点检测与剔除的方法和装置的具体实施方式进行进一步详细说明。需要说明的是，本公开具体为基于深度学习中anchor-free方法对甲状腺超声图像进行结节区域检测。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，为一个实施例中的图像匹配中动态特征点检测与剔除的方法的流程示意图，具体包括以下步骤：

步骤11，获取原始图像。

具体的，获取原始图像包括：从图像源获取所述原始图像。

步骤12，按照逐帧方式提取所述原始图像中的特征点。

步骤13，通过所提取的特征点进行匹配，以获取相邻两帧之间的变换关系。

步骤14，通过所述变换关系获取估计图像。

需要说明的是，相邻两帧包括：当前帧与上一帧；通过所述变换关系获取估计图像包括：将上一帧的图像通过所述变换关系转换至当前帧的图像，以获取所述估计图像。

步骤15，通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作。

具体的，通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作包括：利用当前帧图像和所述估计图像计算从当前帧图像提取的每个特征点的光流值；基于光流值检测当前帧图像的特征点；若所述征点光流值的二范数大于阈值τ，则所述特征点为动态特征点并将所述动态特征点从当前帧的特征点中集中剔除。此外，本公开涉及的图像匹配中的动态特征点检测与剔除的方法还包括：若所述特征点光流值的二范数小于等于阈值τ，则所述特征点为静态特征点并保留在当前帧的特征点集中。

其中，需要说明的是，本公开涉及的图像匹配中的动态特征点检测与剔除的方法还包括：利用特征点集光流值分布的第二个波峰去调整确定阈值τ。

进一步地，本公开涉及的图像匹配中的动态特征点检测与剔除的方法还包括：判断阈值τ的减少量是否小于阈值δ；若是，则利用余下的图像特征点集对当前帧图像和上一帧图像进行匹配，以输出最终的变换关系和特征点集；若不是，则用余下的图像特征点集与上一帧图像进行匹配获取变换关系，并通过获取估计图像进行迭代更新。

为了更加清晰准确地理解本公开提出的一种图像匹配中动态特征点检测与剔除的方法，进行以下示例。需要说明的是，本公开所保护范围不限于以下示例。

如图2所示，首先，从图像源获取原始图像，逐帧提取图像特征点并进行匹配得到相邻两帧，即当前帧和上一帧之间的变换关系；接着，将上一帧图像用变换关系转换至当前帧时刻从而得到估计图像；然后，利用当前帧图像和估计图像计算从当前帧图像提取的每个特征点的光流值，并基于光流值检测当前帧图像的动态特征点；若该特征点光流值的二范数大于阈值τ，则该特征点为动态特征点并将其从当前帧的特征点集中剔除，若该特征点光流值的二范数小于等于阈值τ，则该特征点为静态特征点并保留在当前帧的特征点集中，其中，利用特征点集光流值分布的第二个波峰去调整确定阈值τ；最后，判断阈值τ的减少量是否小于阈值δ，若是，则利用剩下的图像特征点集对当前帧图像和上一帧图像进行匹配输出最终的变换关系和特征点集；若不是，则用剩下的图像特征点集与上一帧图像进行匹配得到变换关系，然后进行迭代更新。

针对现有的特征点提取方法存在易受动态区域影响导致提取特征点不合理的缺点。本发明采用光流法对当前帧图像进行动态特征点的检测和剔除，减少了动态区域对特征点提取的影响，并迭代更新变换矩阵和特征点，提高了在动态环境下的匹配精度，减少了图像的冗余信息的影响。

本公开涉及的图像匹配中动态特征点检测与剔除的方法，获取原始图像；按照逐帧方式提取所述原始图像中的特征点；通过所提取的特征点进行匹配，以获取相邻两帧之间的变换关系；通过所述变换关系获取估计图像；通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作。该方法针对现有技术的不足，提高了在动态环境下的匹配精度，减少了图像的冗余信息和动态区域的影响。

基于同一发明构思，还提供了图像匹配中动态特征点检测与剔除的装置。由于此装置解决问题的原理与前述图像匹配中动态特征点检测与剔除的方法相似，因此，该装置的实施可以按照前述方法的具体步骤实现，重复之处不再赘述。

如图3所示，为一个实施例中的图像匹配中动态特征点检测与剔除的装置的结构示意图。该图像匹配中动态特征点检测与剔除的装置10包括：第一获取模块100、提取模块200、匹配模块300、第二获取模块400和检测与剔除模块500。

其中，第一获取模块100用于获取原始图像；提取模块200用于按照逐帧方式提取所述原始图像中的特征点；匹配模块300用于通过所提取的特征点进行匹配，以获取相邻两帧之间的变换关系；第二获取模块400用于通过所述变换关系获取估计图像；检测与剔除模块500用于通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作。

本公开涉及的图像匹配中动态特征点检测与剔除的装置，首先通过第一获取模块获取原始图像；再通过提取模块按照逐帧方式提取所述原始图像中的特征点；再通过匹配模块通过所提取的特征点进行匹配，以获取相邻两帧之间的变换关系；再通过第二获取模块通过所述变换关系获取估计图像；最后通过检测与剔除模块通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作。该装置针对现有技术的不足，提高了在动态环境下的匹配精度，减少了图像的冗余信息和动态区域的影响。

图4是图示根据本公开的实施例的图像匹配中动态特征点检测与剔除的装置的硬件框图。如图4所示，根据本公开实施例的图像匹配中动态特征点检测与剔除的装置40包括存储器401和处理器402。图像匹配中动态特征点检测与剔除的装置40中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。

存储器401用于存储非暂时性计算机可读指令。具体地，存储器401可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

处理器402可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制图像匹配中动态特征点检测与剔除的装置40中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器402用于运行存储器401中存储的计算机可读指令，使得图像匹配中动态特征点检测与剔除的装置40执行上述图像匹配中动态特征点检测与剔除的方法。图像匹配中动态特征点检测与剔除的装置与上述图像匹配中动态特征点检测与剔除的方法描述的实施例相同，在此将省略其重复描述。

图5是图示根据本公开的实施例的计算机可读存储介质的示意图。如图5所示，根据本公开实施例的计算机可读存储介质500其上存储有非暂时性计算机可读指令501。当所述非暂时性计算机可读指令501由处理器运行时，执行参照上述描述的根据本公开实施例的图像匹配中动态特征点检测与剔除的方法。

以上，根据本公开实施例的图像匹配中动态特征点检测与剔除的方法和装置，以及计算机可读存储介质，能够提高了在动态环境下的匹配精度，减少了图像的冗余信息和动态区域的影响的有益效果。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.图像匹配中动态特征点检测与剔除的方法，其特征在于，所述方法包括：

获取原始图像；

按照逐帧方式提取所述原始图像中的特征点；

通过所提取的特征点进行匹配，以获取相邻两帧之间的变换关系；

通过所述变换关系获取估计图像；

通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作。

2.根据权利要求1所述的图像匹配中动态特征点检测与剔除的方法，其特征在于，所述获取原始图像包括：

从图像源获取所述原始图像。

3.根据权利要求1所述的图像匹配中动态特征点检测与剔除的方法，其特征在于，所述相邻两帧包括：当前帧与上一帧；

通过所述变换关系获取估计图像包括：将上一帧的图像通过所述变换关系转换至当前帧的图像，以获取所述估计图像。

4.根据权利要求1所述的图像匹配中动态特征点检测与剔除的方法，其特征在于，所述通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作包括：利用当前帧图像和所述估计图像计算从当前帧图像提取的每个特征点的光流值；

基于光流值检测当前帧图像的特征点；

若所述征点光流值的二范数大于阈值τ，则所述特征点为动态特征点并将所述动态特征点从当前帧的特征点中集中剔除。

5.根据权利要求4所述的图像匹配中动态特征点检测与剔除的方法，其特征在于，还包括：若所述特征点光流值的二范数小于等于阈值τ，则所述特征点为静态特征点并保留在当前帧的特征点集中。

6.根据权利要求1或4所述的图像匹配中动态特征点检测与剔除的方法，其特征在于，还包括：判断阈值τ的减少量是否小于阈值δ；

若是，则利用余下的图像特征点集对当前帧图像和上一帧图像进行匹配，以输出最终的变换关系和特征点集；

若不是，则用余下的图像特征点集与上一帧图像进行匹配获取变换关系，并通过获取估计图像进行迭代更新。

7.根据权利要求4-6任一项所述的图像匹配中动态特征点检测与剔除的方法，其特征在于，还包括：利用特征点集光流值分布的第二个波峰去调整确定阈值τ。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-7中任一项所述方法的步骤。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-7中任一项所述方法的步骤。

10.图像匹配中动态特征点检测与剔除的装置，其特征在于，所述装置包括：

第一获取模块，用于获取原始图像；

提取模块，用于按照逐帧方式提取所述原始图像中的特征点；

匹配模块，用于通过所提取的特征点进行匹配，以获取相邻两帧之间的变换关系；

第二获取模块，用于通过所述变换关系获取估计图像；

检测与剔除模块，用于通过光流法对相邻两帧中的当前帧对应的图像进行动态特征点的检测与剔除操作。

Images