CN114359915A - 图像处理方法、装置和可读存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、装置和可读存储介质。该方法包括：获取同一场景的第一图像和第二图像；分别提取该第一图像和该第二图像中的特征点，得到该第一图像的第一特征点集合和该第二图像的第二特征点集合；获取该第一图像的语义分割信息，该语义分割信息包括该第一图像中多种类型的目标对应的像素点标识信息；根据该语义分割信息从该第一特征点集合中筛选得到第三特征点集合，该第三特征点集合包括该第一图像中非运动类型的目标对应的特征点；对该第三特征点集合和该第二特征点集合进行特征点匹配，得到匹配特征点对。能够提高图像特征点匹配的准确度，减小特征点匹配的时延及功率开销。

Description

图像处理方法、装置和可读存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置和可读存储介质。

背景技术

特征匹配技术作为计算机视觉领域研究热点之一，直接对图像本身进行特征点提取与配对，是许多计算机视觉处理任务的底层输入。特征匹配技术可以应用于图像拼接、三维重建、同步定位与建图、目标检测与追踪、定位与导航等场景。

特征匹配作为一项基础而关键的技术，在许多应用场景中，对特征匹配的精度有着极高的要求。多处理步骤的视觉任务中，匹配误差会逐渐累积从而严重制约最终视觉任务的有效实施。例如，基于特征点匹配结果求解相机运动参数从而实现运动结构恢复(Structure From Motion，SFM)的任务中，错误的匹配将产生相机姿态的错误估计。在底层技术出现错误估计的情况下，SFM任务的三维重建结果将严重偏离于真实情形。因此，提升特征匹配的精度有着非常重要的实际应用价值。

发明内容

本申请提供一种图像处理方法、装置和可读存储介质，能够提高图像特征点匹配的准确度，减小特征点匹配的时延及功率开销。

第一方面，提供了一种图像处理方法，包括：

获取同一场景的第一图像和第二图像；

分别提取该第一图像和该第二图像中的特征点，得到该第一图像的第一特征点集合和该第二图像的第二特征点集合；

获取该第一图像的语义分割信息，该语义分割信息包括该第一图像中多种类型的目标对应的像素点标识信息；

根据该语义分割信息从该第一特征点集合中筛选得到第三特征点集合，该第三特征点集合包括该第一图像中非运动类型的目标对应的特征点；

对该第三特征点集合和该第二特征点集合进行特征点匹配，得到匹配特征点对。

上述方案中，处理装置通过筛选图像中的非运动类型的特征点，对筛选得到的非运动类型的特征点进行特征点匹配，得到两个图像的特征点匹配像素对，能够提高动态场景中特征点匹配的准确度，减小处理时延以及功耗开销。

可选地，该获取该第一图像的语义分割信息，包括：

将第一图像输入语义分割智能模型，得到该语义分割智能模型输出的该语义分割信息。

上述方案中，处理装置可以应用人工智能技术采用语义分割智能模型推理得到语义分割信息，以提高语义分割的准确性。

可选地，该根据该语义分割信息从该第一特征点集合中筛选得到第三特征点集合，包括：

根据该语义分割信息，将该第一图像分为多个区域，该多个区域包括运动类型目标区域和非运动类型目标区域；

从该第一特征点集合中筛选得到属于该非运动类型目标区域的第三特征点集合。

上述方案中，基于语义分割信息将第一图像分为多个区域，在第一特征点集合中筛选属于非运动类型目标区域的特征点，得到第三特征点集合。

可选地，该非运动类型目标区域包括重复纹理目标区域和静止目标区域，其中，该重复纹理目标区域为该场景中具有重复纹理的非运动类型的目标对应的像素区域，该静止目标区域为该运动类型目标区域和该重复纹理目标区域以外的像素区域；

该对该第三特征点集合和该第二特征点集合进行特征点匹配，得到匹配特征点对，包括：

对该第三特征点集合中属于重复纹理目标区域的特征点和属于该静止目标区域的特征点，采用不同的匹配方式与该第二特征点集合中的特征点进行匹配，得到该匹配像素对。

上述方案中，处理装置将属于非运动类型目标区域的特征点，细分为重复纹理目标区域和静止目标区域。能够实现处理装置针对不同特征点类型采用不同的匹配方式进行特征点匹配，提高特征点匹配的效率。

可选地，该对该第三特征点集合和该第二特征点集合进行特征点匹配，得到匹配特征点对，包括：

对该第三特征点集合属于该重复纹理目标区域的特征点，采用交叉匹配方式与该第二特征点集合中的特征点进行特征点匹配，得到匹配特征点对。

上述方案中，对于属于该重复纹理目标区域的特征点，采用交叉匹配方式进行特征点匹配，能够提高重复纹理目标区域的特征点的匹配准确度。

可选地，该对该第三特征点集合和该第二特征点集合进行特征点匹配，得到匹配特征点对，包括：

对该第三特征点集合属于该静止目标区域的特征点，采用基于相似度计算的最近邻匹配方式与该第二特征点集合中的特征点进行特征点匹配，得到匹配特征点对。

上述方案中，对于属于该静止目标区域的特征点，采用基于相似度计算的最近邻匹配方式进行特征点匹配，能够在保证特征点匹配准确度的情况下减小匹配的时间消耗。

可选地，该从该第一特征点集合中筛选得到属于该非运动类型目标区域的第三特征点集合，包括：

根据该第一特征点集合中特征点所属目标区域，设置该第一特征点集合中特征点的匹配权重，其中，属于运动类型目标区域的第一特征点集合中的特征点的匹配权重为第一匹配权重，属于重复纹理目标区域的第一特征点集合中的特征点的匹配权重为第二匹配权重，属于静止目标区域的第一特征点集合中的特征点的匹配权重为第三匹配权重；

根据该第一特征点集合中的特征点的匹配权重，确定第三特征点集合，该第三特征点集合为该第一特征点集合中匹配权重为该第二匹配权重或该第三匹配权重的特征点的集合。

上述方案中，从第一特征点集合中筛除匹配权重为第一匹配权重的属于运动类型目标区域的特征点，基于属于非运动类型目标区域的特征点进行特征点匹配，能够有效提升全局图像特征点的匹配精度。

可选地，该第一图像和该第二图像为连续拍摄该同一场景得到的两幅图像。

第二方面，一种图像处理装置，包括：

获取单元，用于获取同一场景的第一图像和第二图像；

处理单元，用于分别提取该第一图像和该第二图像中的特征点，得到该第一图像的第一特征点集合和该第二图像的第二特征点集合；

该处理单元还用于获取该第一图像的语义分割信息，该语义分割信息包括该第一图像中多种类型的目标对应的像素点标识信息；

该处理单元还用于根据该语义分割信息从该第一特征点集合中筛选得到第三特征点集合，该第三特征点集合包括该第一图像中非运动类型的目标对应的特征点；

该处理单元还用于对该第三特征点集合和该第二特征点集合进行特征点匹配，得到匹配特征点对。

可选地，该处理单元具体用于将第一图像输入语义分割智能模型，得到该语义分割智能模型输出的该语义分割信息。

可选地，该处理单元具体用于：

根据该语义分割信息，将该第一图像分为多个区域，该多个区域包括运动类型目标区域和非运动类型目标区域；

从该第一特征点集合中筛选得到属于该非运动类型目标区域的第三特征点集合。

可选地，该非运动类型目标区域包括重复纹理目标区域和静止目标区域，其中，该重复纹理目标区域为该场景中具有重复纹理的非运动类型的目标对应的像素区域，该静止目标区域为该运动类型目标区域和该重复纹理目标区域以外的像素区域；

该处理单元具体用于对该第三特征点集合中属于重复纹理目标区域的特征点和属于该静止目标区域的特征点，采用不同的匹配方式与该第二特征点集合中的特征点进行匹配，得到该匹配特征点对。

可选地，该处理单元具体用于对该第三特征点集合属于该重复纹理目标区域的特征点，采用交叉匹配方式与该第二特征点集合中的特征点进行特征点匹配，得到匹配特征点对。

可选地，该处理单元具体用于对该第三特征点集合属于该静止目标区域的特征点，采用基于相似度计算的最近邻匹配方式与该第二特征点集合中的特征点进行特征点匹配，得到匹配特征点对。

可选地，该处理单元具体用于：

根据该第一特征点集合中特征点所属目标区域，设置该第一特征点集合中特征点的匹配权重，其中，属于运动类型目标区域的第一特征点集合中的特征点的匹配权重为第一匹配权重，属于重复纹理目标区域的第一特征点集合中的特征点的匹配权重为第二匹配权重，属于静止目标区域的第一特征点集合中的特征点的匹配权重为第三匹配权重；

根据该第一特征点集合中的特征点的匹配权重，确定第三特征点集合，该第三特征点集合为该第一特征点集合中匹配权重为第二匹配权重或第三匹配权重的特征点的集合。

可选地，该第一图像和该第二图像为连续拍摄该同一场景得到的两幅图像。

第三方面，提供了一种处理装置，包括：逻辑电路和通信接口，其中，该通信接口用于获取待处理数据，和/或，输出处理后的数据，该逻辑电路用于对待处理的数据得到处理后的数据，以使该处理装置执行第一方面以及第一方面中任一种可能实现方式中的方法。

一种可行的设计中，该通信接口包括输入接口和输出接口。

可选地，该第三方面提供的该处理装置为芯片。

第四方面，提供了一种处理设备，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过收发器接收信号和发射信号，以执行第一方面以及第一方面中任一种可能实现方式中的方法。

第五方面，提供了一种计算机程序产品，该计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当该计算机程序被运行时，使得计算机执行上述第一方面以及第一方面中任一种可能实现方式中的方法。

第六方面，提供了一种计算机可读介质，该计算机可读介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述第一方面以及第一方面中任一种可能实现方式中的方法。

本申请提供的图像处理方法，通过筛选图像中的非运动类型的特征点，对筛选得到的非运动类型的特征点进行特征点匹配，得到两个图像的特征点匹配像素对，能够提高动态场景中特征点匹配的准确度，减小处理时延以及功耗开销。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是适用于本申请提供的图像处理方法的应用场景的一个示意图；

图2是本申请提供的图像处理方法的一个示意性流程图；

图3是本申请提供的第一图像的一个示意图；

图4是本申请提供的图像处理装置的结构示意图；

图5是本申请提供的处理设备的一个结构示意图；

图6是本申请提供的处理设备的另一个结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1是适用于本申请提供的图像处理方法的应用场景的一个示意图。如图1所示，如图1所示，该应用场景中可以包括至少一个图像采集装置，如图像采集装置101，例如，图像采集装置可以是照相机、录像机等。图像采集装置可以将采集到的图像传输至图像处理装置102，由图像处理装置102进行基于获取到的图像执行图像处理。需要说明的是，图1仅为一个应用场景的示例，在具体实施中图像采集装置101和图像处理装置102可以是分别配置于不同的设备，也可以配置于同一设备。本申请对此不作限定。

下面将结合附图，对本申请提供的图像处理方法进行说明。下面介绍的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

为了实现提高特征点匹配的准确性，本申请提出通过筛选图像中的非运动类型的特征点，对筛选得到的非运动类型的特征点进行特征点匹配，得到两个图像的特征点匹配像素对，能够提高动态场景中特征点匹配的准确度，减小处理时延以及功耗开销。

图2是本申请提供的图像处理方法的一个示意性流程图。该方法可以由处理装置执行，如该处理装置可以是图1所示的应用场景中的图像处理装置102。该处理装置可以为处理设备，或该处理装置配置于处理设备，如该处理装置可以是芯片等。但本申请不限于此。该方法包括但不限于以下步骤：

S201，处理装置获取同一场景的第一图像和第二图像。

处理装置可以获取来自图像采集装置采集到的同一场景的第一图像和第二图像。或者，该处理装置具有图像采集功能，处理装置采集得到同一场景的第一图像和第二图像。

可选地，该第一图像和第二图像为连续拍摄该同一场景得到的两幅图像。或者该第一图像的采集时间与第二图像的采集时间之间的时间间隔小于或等于预设时长。

处理装置通过本申请提供的图像处理方法，基于连续拍摄的两张图像或预设时长内拍摄的两张图像，得到两张图像中的匹配像素对。处理装置获取两张图形中的匹配像素对可以用于计算图像采集装置(如摄像机、录像机等)的运动参数，从而实现运动结构恢复等。或者，处理装置获取两张图形中的匹配像素对可以用于实现高动态范围成像(HighDynamic Range Imaging，HDRI)，应理解，本申请的应用场景可以包括但不限于此。

该处理装置获取第一图像和第二图像具体可以是分别得到第一图像和第二图像中像素点的灰度数据。

S202，处理装置分别提取第一图像和第二图像中的特征点，得到第一图像的第一特征点集合和第二图像的第二特征点集合。

需要说明的是，本申请对处理装置执行S202和S203的先后顺序不作限定，处理装置可以先执行S202再执行S203，或者可以先执行S203在执行S202，或者同时执行S202和S203。

处理装置可以首先进行特征点检测，分别查找第一图像和第二图像中不随图像采集装置的移动、旋转或光照变化而变化的稳定像素点即为特征点，得到特征点在图像中的位置信息。第一图像中的特征点的集合为第一特征点集合，第二图像中的特征点为第二特征点集合。处理装置可以采用但不限于尺度不变特征转换(Scale-Invariant FeatureTransform，SIFT)算法、SURF算法等算法分别提取第一图像和第二图像中的特征点。

处理装置得到第一图像和第二图像中的特征点集合后，可以获取每个特征点的特征描述子，特征描述子也可以称为特征向量，用于通过特征点及其周围像素点的位置信息描述该特征点。特征描述子可以消除视角的变化带来图像的尺度和方向的变化。

S203，处理装置获取第一图像的语义分割信息，该语义分割信息包括第一图像中多种类型的目标对应的像素点标识信息。

处理装置预存储有多种目标对应的像素点标识信息，如天空、山、河、人、牛、狗、猫等目标对应的像素点标识信息，不同目标的像素点标识信息不同。处理装置可以识别第一图像中的目标，为每个像素点分配一个目标类型，在每个目标相应的像素点位置标识该目标对应的像素点标识信息，得到语义分割信息。

例如，第一图像如图3所示包括山301、车302、树303。处理装置识别第一图像中的目标，得到的语义分割信息中包括山301对应的像素点标识信息，车302的像素点标识信息，树303的像素点标识信息。

一个示例中，如山301对应的像素点的标识信息可以是1，语义分割信息中处理装置识别到第一图像中属于山301的像素点对应的位置标记为1；车302对应的像素点的标识信息可以是2，语义分割信息中处理装置识别到第一图像中属于车302的像素点对应的位置标记为2；树303对应的像素点的标识信息可以是3，语义分割信息中处理装置识别到第一图像中属于树303的像素点对应的位置标记为3。

另一个示例中，该语义分割信息包括多种目标中每种目标对应的掩模(Mask)图，每个Mask图对应一种目标，且每个Mask图中对应目标的像素点的掩模值为1，其他像素点的掩模值为0。如图3所示示例中，语义分割信息中包括山301的Mask图，该Mask图中山301的像素点的掩模值为1，其他像素点的掩模值为0，语义分割信息还包括车301的Mask图，车301的Mask图中车302的像素点的掩模值为1，其他像素点的掩模值为0。语义分割信息还包括树303的Mask图，树303的Mask图中树303的像素点的掩模值为1，其他像素点的掩模值为0。

应理解，以上仅为语义分割信息的两个示例，本申请对语义分割信息的具体形式不作限定，该语义分割信息可以标识出图像中的不同目标对应的像素点，使得在下文介绍的步骤中可以基于语义分割信息针对不同目标对应的像素点筛选特征像素点。

可选地，处理装置将第一图像输入语义分割智能模型，得到语义分割智能模型输出的语义分割信息。

处理装置可以利用人工智能技术，采用人工智能模型即该语义分割智能模型，基于第一图像推理得到语义分割信息。

例如，为了减小推理语义分割信息的时延，该语义分割智能模型可以采用全卷积网络32倍上采样(FCN-32s)模型实现，但本申请不限于此。

S204，处理装置根据该语义分割信息，从第一特征点集合中筛选得到第三特征点集合，该第三特征点集合包括第一图像中非运动类型的目标对应的特征点。

处理装置可以根据语义分割信息，确定第一图像中的运动类型目标的像素区域和非运动类型目标的像素区域。运动类型目标为图像中存在运动状态的目标，可以称为图像前景。如运动类型目标随着时间推移在场景中的位置可能会发生改变的目标，例如，运动类型目标包括人、动物、车等运动类型目标。非运动类型目标是图像中不存在运动状态的目标。如非运动类型目标随着时间的推移在场景中的位置不会发生改变的目标。如天空、山、河、树等。

可选地，处理装置可以根据语义分割信息，具体将第一图像中的目标的像素点归类并标记为运动类型目标区域、重复纹理目标区域和静止目标区域。也就是说，处理装置可以将非运动类型目标细分为重复纹理目标区域和静止目标区域，其中，重复纹理目标区域为场景中具有重复纹理的非运动类型的目标对应的像素区域，即图像中外观纹理重复出现或包含多个相似纹理的像素区域。如重复纹理目标区域可以包括大型植被、树叶、建筑物外观、河面、纹理重复的地面(如大面积砌砖地面)等目标对应的像素区域。静止目标区域为除运动类型目标区域和重复纹理区域以外的像素区域，静止目标区域也可以称为背景像素区域。但本申请不限于此。

处理装置确定第一图像中的运动类型区域与非运动类型区域后，处理装置筛选第一特征点集合中属于非运动类型区域的特征点，得到第一特征点集合中属于非运动类型区域的特征点的集合，即第三特征点集合。

根据本申请提出的上述方案，根据图像的语义分割信息，能够得到图像中的非运动类型区域，从而筛选出得到非运动类型区域中的特征点，用于两幅图像的特征点匹配，筛除运动类型目标对应的特征点能够提高图像特征点匹配的准确度以及特征点匹配的效率。

在一种可选地实施方式中，处理装置可以配置有运动类型推理模型，将第一图像输入该运动类型推理模型后，得到该运动类型推理模型基于第一图像推理得到的第一图像中的运动类型推理信息。处理装置根据该运动类型推理信息可以确定运动类型目标区域和非运动类型目标区域。例如，该运动类型推理信息包括第一图像中的运动类型目标区域包括的像素点坐标信息，和/或非运动类型目标区域包括的像素点坐标信息。可选地，其中，非运动类型目标区域包括的像素点坐标信息可以具体区分了重复纹理目标区域包括的像素点坐标信息和静止目标区域包括的像素点坐标信息。

处理装置获取到该运动类型推理模型推理得到的第一图像中的运动类型推理信息，可以基于该推理信息，从第一特征点集合中筛选属于非运动类型目标区域的特征点，得到第三特征点集合。

在具体实施中，处理装置可以为不同目标区域中的每个像素点分配不同的匹配权重，处理装置在下一步执行特征点的匹配操作时，根据匹配权重确定是否可以确定特征点所属的目标区域，确定是否对特征点执行匹配操作。例如，属于运动类型目标区域的第一特征点集合中的特征点的匹配权重为0，属于非运动类型目标区域的第一特征点集合中的特征点的匹配权重为1。或者若非运动目标区域包含重复纹理目标区域和静止目标区域，属于运动类型目标区域的第一特征点集合中的特征点的匹配权重为0，属于重复纹理目标区域的第一特征点集合中的特征点的匹配权重为0.5，属于静止目标区域的第一特征点集合中的特征点的匹配权重为1。则第一特征点集合中匹配权重为0.5和1的特征点为第三特征点集合。处理装置在执行特征点匹配时，基于匹配权重确定不对匹配权重为0的特征点执行匹配操作，对匹配权重为0.5和1的特征点执行特征点匹配操作。

S205，处理装置对第三特征点集合和第二特征点集合进行特征点匹配，得到匹配特征点对。

处理装置可以基于两个特征点的特征描述子计算两个特征点的相似度，相似度可以通过两个特征点的特征描述子之间的距离度量体现，距离度量越小，特征点之间的差异越小，相似度越高。例如，若特征描述子中的数值为浮点类型的数值，可以计算两个特征点的特征描述子之间的欧氏距离，得到特征点之间的距离度量。或者，若特征描述子中的数值为二级制数值，可以计算两个特征点的特征描述子之间的汉明距离，得到特征点之间的距离度量。但本申请不限于此，处理装置可以通过匹配函数计算两个特征点之间的相似度，该匹配函数可以是非线性函数或人工智能模型，例如，处理装置可以利用该匹配函数得到两个特征点的相似度，或者匹配函数可以是计算两个特征点的差异度的函数，差异度越小匹配度越高。

处理装置可以采用基于相似度计算的最近邻匹配方式或者交叉匹配方式对第三特征点集合的特征点和第二特征点集合中的特征点进行匹配，得到匹配像素对，每个匹配像素对包括第三特征点集合中的一个特征点和第二特征点集合中的一个特征点。

基于相似度计算的最近邻匹配方式可以是处理装置对于第三特征点集合中的每个特征点，根据语义分割信息，在第二特征点集合对应语义区域范围内进行搜索匹配，得到相似度最高的特征点即为第三特征点集合中的特征点在第二特征点集合中的匹配特征点。

交叉匹配方式可以是处理装置首先以第三特征点集合中的特征点作为待匹配特征点，在第二特征点集合中搜索该待匹配特征点的匹配点，得到第三特征点集合中每个特征点的匹配点，即得到第一候选匹配像素对集合。再以第二特征点集合中的特征点作为待匹配特征点，在第三特征点集合中搜索该待匹配特征点的匹配点，得到第二特征点集合中每个特征点的匹配点，即得到第二候选匹配像素对集合，处理装置获取第一候选匹配像素对集合和第二候选匹配像素对集合的交集，得到第一图像和第二图像的特征点匹配像素对集合。即该特征点匹配像素对集合中的匹配像素对在以第三特征点集合中的特征点作为待匹配特征点进行匹配时匹配成对，在以第二特征点集合中的特征点作为待匹配特征点进行匹配时也匹配成对，既属于第一候选匹配像素对集合又属于第二候选匹配像素对集合的匹配像素对。交叉匹配方式能够提高特征点匹配的准确度。

可选地，非运动类型目标区域具体细分为重复纹理目标区域和静止目标区域，处理装置可以对属于静止目标区域的第三特征点集合中的特征点采用基于相似度计算的最近邻匹配方式在第二特征点集合中确定匹配点。对属于重复纹理目标区域的第三特征点集合中的特征点采用交叉匹配方式在第二特征点集合中确定匹配点。例如，处理装置可以基于第三特征点集合中的特征点的匹配权重，确定特征点匹配的方式，对于匹配权重为1的特征点，采用基于相似度计算的最近邻匹配方式确定匹配像素对。对于匹配权重为0.5的特征点，采用交叉匹配方式确定匹配像素对。但本申请不限于此。

处理装置基于特征点的类型采用不同的方式执行特征点的匹配操作，如对于重复纹理目标区域特征点之间相似，独特性表达不足的特征点，采用交叉匹配方式以提高匹配准确性，而对于独特性表达足够的静止目标区域中的特征点，采用基于相似度计算的最近邻匹配方式，能够减小匹配耗时。有针对性地选择匹配方式能够在提高特征点匹配的准确度的同时，提高特征点匹配的效率。

需要说明的是，以上以基于相似度计算的最近邻匹配方式和交叉匹配方式为例说明了特征点匹配的处理方式，但本申请不限于此，在具体实施中还可以采用其他特征点的匹配方式对基于语义分割信息得到的非运动类型的特征点进行特征点匹配。

根据本申请提供的图像处理方法，通过筛选图像中的非运动类型的特征点，对筛选得到的非运动类型的特征点进行特征点匹配，得到两个图像的特征点匹配像素对，能够提高动态场景中特征点匹配的准确度，减小处理时延以及功耗开销。

以上结合附图说明了本申请提供的图像处理方法，下面说明本申请提供的处理装置及处理设备。

图4是本申请提供的图像处理装置的结构示意图。该处理装置可以通过软件、硬件或者两者的结合实现成为处理设备本身或配置于处理设备。该处理装置包括获取单元401和处理单元402。

获取单元401，用于获取同一场景的第一图像和第二图像；

处理单元402，用于分别提取该第一图像和该第二图像中的特征点，得到该第一图像的第一特征点集合和该第二图像的第二特征点集合；

该处理单元402还用于获取该第一图像的语义分割信息，该语义分割信息包括该第一图像中多种类型的目标对应的像素点标识信息；

该处理单元402还用于根据该语义分割信息从该第一特征点集合中筛选得到第三特征点集合，该第三特征点集合包括该第一图像中非运动类型的目标对应的特征点；

该处理单元402还用于对该第三特征点集合和该第二特征点集合进行特征点匹配，得到匹配特征点对。

可选地，该处理单元402具体用于将第一图像输入语义分割智能模型，得到该语义分割智能模型输出的该语义分割信息。

可选地，该处理单元402具体用于：

根据该语义分割信息，将该第一图像分为多个区域，该多个区域包括运动类型目标区域和非运动类型目标区域；

从该第一特征点集合中筛选得到属于该非运动类型目标区域的第三特征点集合。

可选地，该非运动类型目标区域包括重复纹理目标区域和静止目标区域，其中，该重复纹理目标区域为该场景中具有重复纹理的非运动类型的目标对应的像素区域，该静止目标区域为该运动类型目标区域和该重复纹理目标区域以外的像素区域；

该处理单元402具体用于对该第三特征点集合中属于重复纹理目标区域的特征点和属于该静止目标区域的特征点，采用不同的匹配方式与该第二特征点集合中的特征点进行匹配，得到该匹配特征点对。

可选地，该处理单元402具体用于对该第三特征点集合属于该重复纹理目标区域的特征点，采用交叉匹配方式与该第二特征点集合中的特征点进行特征点匹配，得到匹配特征点对。

可选地，该处理单元402具体用于对该第三特征点集合属于该静止目标区域的特征点，采用基于相似度计算的最近邻匹配方式与该第二特征点集合中的特征点进行特征点匹配，得到匹配特征点对。

可选地，该处理单元402具体用于：

根据该第一特征点集合中特征点所属目标区域，设置该第一特征点集合中特征点的匹配权重，其中，属于运动类型目标区域的第一特征点集合中的特征点的匹配权重为第一匹配权重，属于重复纹理目标区域的第一特征点集合中的特征点的匹配权重为第二匹配权重，属于静止目标区域的第一特征点集合中的特征点的匹配权重为第三匹配权重；

根据该第一特征点集合中的特征点的匹配权重，确定第三特征点集合，该第三特征点集合为该第一特征点集合中匹配权重为第二匹配权重或第三匹配权重的特征点的集合。

可选地，该第一图像和该第二图像为连续拍摄该同一场景得到的两幅图像。

本申请还提供了一种处理装置。该处理装置包括：逻辑电路和通信接口，其中，该通信接口用于获取待处理数据，和/或，输出处理后的数据，该逻辑电路用于处理待处理的数据得到处理后的数据，以使该处理装置执行上述方法实施例中的图像处理方法。一种可行的设计中，该通信接口包括输入接口和输出接口。

可选地，本申请实施例提供的处理装置可以是芯片。

可选地，处理装置可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

图5是本申请实施例提供的处理设备500的结构示意图。该处理设备500可应用于如图1所示的应用场景中，执行上述方法实施例中处理装置的功能。如图所示，该处理设备500包括收发器501、处理器502和存储器503。其中，处理器502、收发器501和存储器503之间可以通过内部连接通路互相通信，传递图像处理数据和/或控制信号。该存储器503用于存储计算机程序，该处理器502用于执行该存储器中的该计算机程序，以控制该收发器501获取来自图像采集装置的图像数据。具体实现时，该存储器也可以集成在处理器中，或者独立于处理器。

图6是本申请实施例提供的处理设备600的结构示意图。该处理设备600，执行上述方法实施例中处理装置的功能。如图所示，该处理设备600包括图像采集器601、处理器602和存储器603。其中，处理器602、图像采集器601和存储器603之间可以通过内部连接通路互相通信，传递图像处理数据和/或控制信号。该存储器603用于存储计算机程序，该处理器602用于执行该存储器中的该计算机程序，以控制该图像采集器601获取来自图像数据，示例性地，该图像采集器601为摄像头。具体实现时，该存储器也可以集成在处理器中，或者独立于处理器。

本实施例还提供一种可读存储介质，可读存储介质中存储有执行指令，当电子设备的至少一个处理器执行该执行指令时，当计算机执行指令被处理器执行时，实现上述实施例中的图像处理方法。

本实施例还提供一种计算机程序产品，该计算机程序产品包括执行指令，该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的图像处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例该方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (20)

1.一种图像处理方法，其特征在于，包括：

获取同一场景的第一图像和第二图像；

分别提取所述第一图像和所述第二图像中的特征点，得到所述第一图像的第一特征点集合和所述第二图像的第二特征点集合；

获取所述第一图像的语义分割信息，所述语义分割信息包括所述第一图像中多种类型的目标对应的像素点标识信息；

根据所述语义分割信息从所述第一特征点集合中筛选得到第三特征点集合，所述第三特征点集合包括所述第一图像中非运动类型的目标对应的特征点；

对所述第三特征点集合和所述第二特征点集合进行特征点匹配，得到匹配特征点对。

2.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像的语义分割信息，包括：

将第一图像输入语义分割智能模型，得到所述语义分割智能模型输出的所述语义分割信息。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述语义分割信息从所述第一特征点集合中筛选得到第三特征点集合，包括：

根据所述语义分割信息，将所述第一图像分为多个区域，所述多个区域包括运动类型目标区域和非运动类型目标区域；

从所述第一特征点集合中筛选得到属于所述非运动类型目标区域的第三特征点集合。

4.根据权利要求3所述的方法，其特征在于，所述非运动类型目标区域包括重复纹理目标区域和静止目标区域，其中，所述重复纹理目标区域为所述场景中具有重复纹理的非运动类型的目标对应的像素区域，所述静止目标区域为所述运动类型目标区域和所述重复纹理目标区域以外的像素区域；

所述对所述第三特征点集合和所述第二特征点集合进行特征点匹配，得到匹配特征点对，包括：

对所述第三特征点集合中属于重复纹理目标区域的特征点和属于所述静止目标区域的特征点，采用不同的匹配方式与所述第二特征点集合中的特征点进行匹配，得到所述匹配像素对。

5.根据权利要求4所述的方法，其特征在于，所述对所述第三特征点集合和所述第二特征点集合进行特征点匹配，得到匹配特征点对，包括：

对所述第三特征点集合属于所述重复纹理目标区域的特征点，采用交叉匹配方式与所述第二特征点集合中的特征点进行特征点匹配，得到匹配特征点对。

6.根据权利要求4或5所述的方法，其特征在于，所述对所述第三特征点集合和所述第二特征点集合进行特征点匹配，得到匹配特征点对，包括：

对所述第三特征点集合属于所述静止目标区域的特征点，采用基于相似度计算的最近邻匹配方式与所述第二特征点集合中的特征点进行特征点匹配，得到匹配特征点对。

7.根据权利要求4至6中任一项所述的方法，其特征在于，所述从所述第一特征点集合中筛选得到属于所述非运动类型目标区域的第三特征点集合，包括：

根据所述第一特征点集合中特征点所属目标区域，设置所述第一特征点集合中特征点的匹配权重，其中，属于运动类型目标区域的第一特征点集合中的特征点的匹配权重为第一匹配权重，属于重复纹理目标区域的第一特征点集合中的特征点的匹配权重为第二匹配权重，属于静止目标区域的第一特征点集合中的特征点的匹配权重为第三匹配权重；

根据所述第一特征点集合中的特征点的匹配权重，确定第三特征点集合，所述第三特征点集合为所述第一特征点集合中匹配权重为所述第二匹配权重或所述第三匹配权重的特征点的集合。

8.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一图像和所述第二图像为连续拍摄所述同一场景得到的两幅图像。

9.一种图像处理装置，其特征在于，包括：

获取单元，用于获取同一场景的第一图像和第二图像；

处理单元，用于分别提取所述第一图像和所述第二图像中的特征点，得到所述第一图像的第一特征点集合和所述第二图像的第二特征点集合；

所述处理单元还用于获取所述第一图像的语义分割信息，所述语义分割信息包括所述第一图像中多种类型的目标对应的像素点标识信息；

所述处理单元还用于根据所述语义分割信息从所述第一特征点集合中筛选得到第三特征点集合，所述第三特征点集合包括所述第一图像中非运动类型的目标对应的特征点；

所述处理单元还用于对所述第三特征点集合和所述第二特征点集合进行特征点匹配，得到匹配特征点对。

10.根据权利要求9所述的装置，其特征在于，所述处理单元具体用于将第一图像输入语义分割智能模型，得到所述语义分割智能模型输出的所述语义分割信息。

11.根据权利要求9或10所述的装置，其特征在于，所述处理单元具体用于：

根据所述语义分割信息，将所述第一图像分为多个区域，所述多个区域包括运动类型目标区域和非运动类型目标区域；

从所述第一特征点集合中筛选得到属于所述非运动类型目标区域的第三特征点集合。

12.根据权利要求11所述的装置，其特征在于，所述非运动类型目标区域包括重复纹理目标区域和静止目标区域，其中，所述重复纹理目标区域为所述场景中具有重复纹理的非运动类型的目标对应的像素区域，所述静止目标区域为所述运动类型目标区域和所述重复纹理目标区域以外的像素区域；

所述处理单元具体用于对所述第三特征点集合中属于重复纹理目标区域的特征点和属于所述静止目标区域的特征点，采用不同的匹配方式与所述第二特征点集合中的特征点进行匹配，得到所述匹配特征点对。

13.根据权利要求12所述的装置，其特征在于，所述处理单元具体用于对所述第三特征点集合属于所述重复纹理目标区域的特征点，采用交叉匹配方式与所述第二特征点集合中的特征点进行特征点匹配，得到匹配特征点对。

14.根据权利要求12或13所述的装置，其特征在于，所述处理单元具体用于对所述第三特征点集合属于所述静止目标区域的特征点，采用基于相似度计算的最近邻匹配方式与所述第二特征点集合中的特征点进行特征点匹配，得到匹配特征点对。

15.根据权利要求12至14中任一项所述的装置，其特征在于，所述处理单元具体用于：

根据所述第一特征点集合中特征点所属目标区域，设置所述第一特征点集合中特征点的匹配权重，其中，属于运动类型目标区域的第一特征点集合中的特征点的匹配权重为第一匹配权重，属于重复纹理目标区域的第一特征点集合中的特征点的匹配权重为第二匹配权重，属于静止目标区域的第一特征点集合中的特征点的匹配权重为第三匹配权重；

根据所述第一特征点集合中的特征点的匹配权重，确定第三特征点集合，所述第三特征点集合为所述第一特征点集合中匹配权重为所述第二匹配权重和所述第三匹配权重的特征点的集合。

16.根据权利要求9至15中任一项所述的装置，其特征在于，所述第一图像和所述第二图像为连续拍摄所述同一场景得到的两幅图像。

17.一种处理设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述处理设备执行权利要求1至8中任一项所述的方法。

18.一种芯片，其特征在于，包括至少一个逻辑电路和输入输出接口；

所述逻辑电路用于控制所述输入输出接口并执行如权利要求1至8中任一项所述的方法。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8中任一项所述的方法。

20.一种计算机程序产品，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至8中任一项所述的方法。

Images