CN113191368A - 一种标志物的匹配方法及装置 - Google Patents

Abstract

公开了一种标志物的匹配方法及装置，包括：在当前帧图像中，确定第一标志物集合；在所述当前帧的后续帧图像中，确定第二标志物集合；利用预设的预测模型，确定所述第一标志物集合在所述后续帧图像中对应的第三标志物集合；确定所述第二标志物集合中每一个第二标志物和所述第三标志物集合中每一个第三标志物之间的第一匹配距离；确定所述第一标志物集合中每一个第一标志物和所述第二标志物集合中每一个第二标志物之间的第二匹配距离；根据所述第一匹配距离和所述第二匹配距离，确定所述第一标志物集合和所述第二标志物集合之间的匹配关系。

Description

一种标志物的匹配方法及装置

技术领域

本公开涉及图像分析技术领域，尤其涉及一种标志物的匹配方法及装置。

背景技术

不同于传统地图仅仅通过二维图像体现地貌、建筑、道路等要素，高精地图作为辅助驾驶/自动驾驶技术的重要组成部分，其更加注重“空间性”。在高精地图当中，各种标志物需要以结构化参数表示的形式体现。而对于标志物的追踪，即在各帧图像中确定出同一标志物，则是确定结构化参数表示的前提条件。

现有技术中，往往是直接通过卷积神经网络针对图像中标志物输出的包围框，来实现对于标志物的追踪。但这种方式的准确性依然较低。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种标志物的匹配方法及装置，以实现在各帧图像中确定出同一标志物。

根据本公开的第一个方面，提供了一种标志物的匹配方法，包括：

在当前帧图像中，确定第一标志物集合；

在所述当前帧的后续帧图像中，确定第二标志物集合；

利用预设的预测模型，确定所述第一标志物集合在所述后续帧图像中对应的第三标志物集合；

确定所述第二标志物集合中每一个第二标志物和所述第三标志物集合中每一个第三标志物之间的第一匹配距离；

确定所述第一标志物集合中每一个第一标志物和所述第二标志物集合中每一个第二标志物之间的第二匹配距离；

根据所述第一匹配距离和所述第二匹配距离，确定所述第一标志物集合和所述第二标志物集合之间的匹配关系。

根据本公开的第二个方面，提供了一种标志物的匹配装置，包括：

第一标志物集合确定模块，用于在当前帧图像中，确定第一标志物集合；

第二标志物集合确定模块，用于在所述当前帧的后续帧图像中，确定第二标志物集合；

第三标志物集合确定模块，用于利用预设的预测模型，确定所述第一标志物集合在所述后续帧图像中对应的第三标志物集合；

第一匹配距离确定模块，用于确定所述第二标志物集合中每一个第二标志物和所述第三标志物集合中每一个第三标志物之间的第一匹配距离；

第二匹配距离确定模块，用于确定所述第一标志物集合中每一个第一标志物和所述第二标志物集合中每一个第二标志物之间的第二匹配距离；

匹配关系确定模块，用于根据所述第一匹配距离和所述第二匹配距离，确定所述第一标志物集合和所述第二标志物集合之间的匹配关系。

根据本公开的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面中所述的标志物的匹配方法。

根据本公开的第四方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述第一方面中所述的标志物的匹配方法。

与现有技术相比，采用本公开提供的标志物的匹配方法及装置，确定的标志物参考点坐标与标志物的实际轮廓相符合，使误差明显减小；所以避免了现有技术中参考点不落在标志物的实际轮廓上，导致建立结构化参数表示的数据不准确的技术问题；并且在这一基础上结合第一匹配距离和第二匹配距离实现了对于标志物的识别和追踪，为建立结构化参数表示提供了完整的前提条件。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1A-图1B为本公开涉及的现有技术中标志物与包围框的关系示意图；

图2为本公开一示例性实施例提供的标志物的匹配系统的结构示意图；

图3为本公开一示例性实施例提供的标志物的匹配方法的流程示意图；

图4为本公开一示例性实施例提供的标志物的匹配方法的流程示意图；

图5为本公开一示例性实施例提供的标志物的匹配方法的流程示意图；

图6为本公开一示例性实施例提供的标志物的匹配方法中优选方案的流程示意图；

图7为本公开一示例性实施例提供的标志物的匹配装置的结构示意图；

图8为本公开一示例性实施例提供的标志物的匹配装置中第一标志物集合确定模块的结构示意图；

图9为本公开一示例性实施例提供的标志物的匹配装置中第一匹配距离确定模块的结构示意图；

图10为本公开一示例性实施例提供的标志物的匹配装置中第二匹配距离确定模块的结构示意图；

图11为本公开一示例性实施例提供的标志物的匹配装置匹配关系确定模块的结构示意图；

图12为本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

申请概述

在高精地图中，各种标志物需要以结构化参数表示的形式体现。而对于标志物的识别和追踪，即在各帧图像中确定出同一标志物以及标志物的准确坐标范围，则是确定结构化参数表示的前提条件。

目前的标志物识别方法，是直接通过神经网络对图像帧进行分析，从而输出标志物的包围框，由此实现对于标志物的追踪。进一步的，还将根据标志物的包围框确定标志物在各帧图像中的坐标，以根据该坐标建立标志物的结构化参数表示。

神经网络输出的标志物的包围框，通常是规则的矩形框、圆形或多边形等形状。然后选取包围框上某些参考点的坐标，可直接作为建立结构化参数表示的数据。但是在图像帧中，标志物可能并非规则形状，且与包围框不完全重合。包围框上的参考点也可能不落在标志物的实际轮廓上。这便导致得到的建立结构化参数表示的数据不够准确，进而影响结构化参数表示的精确度。

如图1A～图1B所示。图1A是一个矩形标志物的识别结果在图像帧A中的显示。在图1A中，实线矩形框为该矩形标志物在图像帧A中的实际轮廓，虚线矩形框为神经网络追踪识别该标志物输出的包围框，二者可视为重叠。在图1A中，可取包围框的4个顶点坐标作为建立结构化参数表示的数据。此时该4个顶点亦代表了标志物实际轮廓的顶点，因此建立结构化参数表示的数据是准确的。

在另一个图像帧B中，该标志物的识别结果的显示如图1B所示。在图1B中，标志物由于视角倾斜的缘故，不再呈现为矩形，而是呈现为梯形。图1B中的实线梯形框为该标志物在图像帧B中的实际轮廓，虚线矩形框为神经网络追踪识别该标志物输出的包围框。现有技术中，神经网络能够完成从图像帧A到图像帧B的对于标志物的追踪，即从两个图像帧中确定出同一标志物。但是在图像帧B中该标志物实际呈现为梯形，而神经网络追踪识别该标志物输出的包围框依然为矩形。二者不完全重叠。如果在图1B中，取包围框的4个顶点坐标作为建立结构化参数表示的数据。则此时该4个顶点不能代表标志物实际轮廓的顶点，导致建立结构化参数表示的数据出现误差。

另外，图1A～图1B仅仅示出了图像帧中存在一个标志物的情况。而在前后各图像帧中同时存在多个标志物时，如何准确的识别出各个标志物在前后各图像帧中的匹配关系，同样是标志物追踪识别技术亟待解决的问题。现有技术在这一场景下的表现同样不理想。

示例性系统

图2示出了可以应用本公开的实施例的标志物的匹配方法或标志物的匹配装置的示例性系统架构100。

如图2所示，系统架构100可以包括终端设备101、网络102、服务器103和车辆104。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

车辆104上可以设置有多个目标检测设备105(例如激光雷达)，每个激光雷达可以采集针对物体采集的点云帧。多个目标检测设备105可以与终端设备101通信连接，或通过网络102与服务器103通信连接，将采集的点云帧发送至终端设备101或服务器104。

终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种应用，例如数据处理类应用、地图类应用、图像处理类应用等。

终端设备101可以是各种电子设备，包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端。

服务器103可以是提供各种服务的服务器，例如利用终端设备101上传的点云帧进行目标检测的后台数据处理服务器。后台数据处理服务器可以对接收到的点云帧进行处理，得到处理结果(例如检测框)。

需要说明的是，本公开的实施例所提供的匹配方法可以由服务器103执行，也可以由终端设备101执行，相应地，目标检测装置可以设置于服务器103中，也可以设置于终端设备101中。

应该理解，图2中的终端设备、网络、服务器和车辆的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器和车辆。在点云帧不需要远程处理的情况下，上述系统架构可以不包括网络和服务器。

示例性方法

图3是本公开一示例性实施例提供的标志物的匹配方法的流程示意图。本实施例可应用在电子设备上，如图3所示，本实施例包括如下步骤：

步骤301、在当前帧图像中，确定第一标志物集合。

当前帧图像，即是一个图像帧序列中对应当前特定时刻的一帧图像。当前帧图像中包括第一标志物集合，第一标志物集合中包括至少一个第一标志物。该第一标志物具体可以是路标牌或交通标志牌等平面标志物，例如禁令标志牌、警告标志牌、旅游标志牌、限速标志牌、指示标志牌、反光标志牌、安全标志牌等。

本步骤中可以确定第一标志物对应的标志物信息。标志物信息可以包括身份标识(即id)以及其类型、含义、内容等各类相关信息。

通常在当前帧图像当中，第一标志物与背景有着明确的边界，即第一标志物会呈现出清晰的实际轮廓。第一标志物实际轮廓的形状可能是规则的矩形、圆形或多边形。也可能由于本身的变形或者视角倾斜，而呈现出梯形、椭圆形或其他各种不规则形状。

本步骤中，可以利用神经网络针对当前帧图像进行处理，即针对当前帧图像中的第一标志物的实际轮廓进行线段提取，从而确定第一标志物的坐标范围(即轮廓线条的坐标的数学表达)。进一步的，还能够确定实际轮廓上特定的参考点的实际坐标。例如当第一标志物的实际轮廓为三角形、四边形或任意多边形时，可以将其各个顶点作为参考点，并确定相应的顶点坐标。

可以理解的是，由于本步骤中得到的第一标志物参考点的实际坐标与标志物的实际轮廓相符合，使误差明显减小。所以避免了现有技术中参考点不落在标志物的实际轮廓上，导致建立结构化参数表示的数据不准确的技术问题。

本步骤中，将根据当前帧图像中各个第一标志物的标志物信息以及相应参考点的实际坐标，确定第一标志物集合。

步骤302、在当前帧的后续帧图像中，确定第二标志物集合。

后续帧图像，即是一个图像帧序列中，对应时刻位于当前帧图像之后的一帧图像。后续帧图像中包括至少一个第二标志物。本步骤中同理于步骤301，可根据后续帧图像中各个第二标志物的标志物信息以及相应参考点的实际坐标，确定第二标志物集合。在此不重复叙述。

步骤303、利用预设的预测模型，确定第一标志物集合在后续帧图像中对应的第三标志物集合。

该预测模型，可以是基于卡尔曼滤波器建立的计算模型；或者也可以是经过特定训练而得到的神经网络模型。利用该预测模型能够预测第一标志物在未来特定时刻的位置。卡尔曼滤波器的原理属于本领域公知技术，在此不赘述。

本实施例中，即利用预测模型来预测各个第一标志物，在后续帧图像对应时刻的位置。具体的，可将各个标志物参考点的实际坐标输入该预测模型，以使预测模型输出该参考点在后续帧图像对应的时刻的预测坐标，即将第一标志物转换成为第三标志物。

进而，可以根据各个第三标志物的标志物信息，以及其参考点在后续帧图像对应时刻的预测坐标确定第三标志物集合。

步骤304、确定第二标志物集合中每一个第二标志物和第三标志物集合中每一个第三标志物之间的第一匹配距离。

在第二标志物集合中，包括了后续帧图像中各第二标志物参考点的实际坐标。而在第三标志物集合中，包括了各个第三标志物的参考点在后续帧图像对应时刻的预测坐标。可以理解的是，如果某个第二标志物与某个第三标志物为同一标志物，那么该标志物在后续帧图像中的实际坐标，应当与其相应的预测坐标相近或者重合。

因此本步骤中，可根据实际坐标与预测坐标计算确定第一匹配距离，第一匹配距离可用来实现标志物的追踪，确定其是否为同一标志物。第一匹配距离具体可以通过计算二者间的交并比和/或特征距离等指标进行确定。本实施例中对于第一匹配距离的具体计算方式不作限定。

步骤305、确定第一标志物集合中每一个第一标志物和第二标志物集合中每一个第二标志物之间的第二匹配距离。

本实施例中，为了进一步准确的实现标志物的追踪，还将计算确定第一标志物与第二标志物之间的第二匹配距离。第二匹配距离可以是通过当前帧图像与后续帧图像之间预设的单应矩阵，计算得到的特征点外点比例。

具体的，可以预先在第一标志物与第二标志物上确定多个(通常为至少4个)匹配的特征点，然后根据该特征点建立单应矩阵。或者也可利用随机抽样一致算法(Randomsample consensus，简称RANSAC)对特征点进行计算以建立该单应矩阵。

利用该单应矩阵可以将第一标志物上的任意点投影到后续帧图像中。而理论上如果第一标志物与第二标志物匹配，则第一标志物上的点必然会同样落在第二标志物上。但实际情况下由于各种因素的影响，通常会导致一部分点落在第二标志物以外。因此可以选取第一标志物上的多个点利用单应矩阵投影到后续帧图像上。而落在第二标志物以外的点的数量，占到利用单应矩阵投影的全部点的数量的比例，即为该外点比例。显然外点比例同样能够反应出第一标志物和第二标志物的匹配关系，即反应二者是同一标志物的概率。根据该外点比例可确定本实施例中的第二匹配距离。

步骤306、根据第一匹配距离和第二匹配距离，确定第一标志物集合和第二标志物集合之间的匹配关系。

在第二标志物集合与第一标志物集合(即相当于第三标志物集合)中均包括一个标志物的情况下，可直接计算该标志物对应的第一匹配距离和第二匹配距离，并判断该第一匹配距离和第二匹配距离是否满足预设条件(如判断第一匹配距离和第二匹配距离各自的数值是否满足预设标准)，由此确定二者是否为同一标志物。

在第二标志物集合和/或第一标志物集合(即相当于第三标志物集合)中包括了多个标志物的情况下，则可通过各第二标志物和第一标志物(即相当于第三标志物)两两之间计算对应的第一匹配距离和第二匹配距离的方式，来确定当前帧图像和后续帧图像间各标志物的对应关系。例如，分别第一标志物集合中的某个第一标志物(该标志物同样也属于第三标志物集合中的第三标志物)与第二标志物集合中各个第二标志物的第一匹配距离和第二匹配距离。若某个第二标志物与该第一标志物的第一匹配距离和第二匹配距离最小，则将该第一标志物和第二标志物建立匹配关系，即认为二者为同一标志物。

当确定了两个标志物的匹配关系之后，和进一步的将该两个标志物配置同一身份标识。至此，本实施例中实现了对于当前帧图像和后续帧图像中标志物的识别和追踪。

通过以上技术方案可知，本实施例存在的有益效果是：确定的标志物参考点坐标与标志物的实际轮廓相符合，使误差明显减小；所以避免了现有技术中参考点不落在标志物的实际轮廓上，导致建立结构化参数表示的数据不准确的技术问题；并且在这一基础上结合第一匹配距离和第二匹配距离实现了对于标志物的识别和追踪，为建立结构化参数表示提供了完整的前提条件。

如图3所示仅为本公开方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到方法的其他优选实施例。

如图4所示，是本公开另一示例性实施例提供的标志物的匹配方法的流程示意图。本实施例可应用在电子设备上。本实施例将在图3示实施例的基础上，具体描述了第一匹配距离的确定过程。本实施例中仅体现了与第一匹配距离的计算有关的步骤，其余步骤不重复叙述。本实施例中，该方法具体包括如下步骤：

步骤401、确定第二标志物集合中每一个第二标志物和第三标志物集合中每一个第三标志物之间的交并比。

交并比即意味着，第二标志物所体现的实际轮廓，与第三标志物所体现的预测轮廓之间的交叠比例。交并比为本领域常用指标，其计算过程在此不赘述。交并比能够体现二者之间的重合程度。理论上，如果第二标志物与第三标志物为同一标志物，则二者交并比应当为1，即完全重合。实际上如果二者的交并比越趋近于1，则说明二者重合程度越高。

步骤402、根据交并比，确定第一匹配距离。

本实施例中，可直接根据交并比确定第一匹配距离。也可将交并比与其他指标相结合确定第一匹配距离。例如，可以确定第二标志物和第三标志物之间的灰度直方图距离；根据交并比和灰度直方图距离，确定第一匹配距离。所谓灰度直方图距离，意味着从图像识别层面上第二标志物和第三标志物之间图像语义的一致性。换言之，即是衡量二者之间的图像特征是否足够相似。灰度直方图距离为本领域中常用指标，其计算过程在此不赘述。

由于交并比只能够从位置的角度进行匹配，无法从图像语义的角度进行匹配，所以在计算匹配距离的时候，将交并比与灰度直方图距离相结合，可进一步的提高匹配的准确性。

本实施例中计算第一匹配距离具体可参考以下公式：

d1＝1-IOU+w1*||hist-hist’||

其中，d1代表第一匹配距离，IOU代表交并比，w1代表灰度直方图距离对应的权重系数，hist代表第二标志物的灰度直方图，hist’代表第三标志物的灰度直方图，||hist-hist’||代表二者之间的灰度直方图距离。

如图5所示，是本公开另一示例性实施例提供的标志物的匹配方法的流程示意图。本实施例可应用在电子设备上。本实施例将在图3～4示实施例的基础上，具体描述了第二匹配距离的确定过程。本实施例中仅体现了与第二匹配距离的计算有关的步骤，其余步骤不重复叙述。本实施例中，该方法具体包括如下步骤：

步骤501、获取第一标志物集合中的每一个第一标志物对应的第一特征点。

本实施例中，将首先确定第一标志物对应的第一特征点。该第一特征点理论上可以是第一标志物中的任意点。实际上为了便于计算，往往会选择某些几何特征比较明显的点作为第一特征点，例如几何中心、顶角、各条边的中点等。

步骤502、获取第二标志物集合中的每一个第二标志物对应的第二特征点。

同理的，还将确定第二标志物对应的第二特征点。由于第一特征点和第二特征点将用于匹配并建立单应矩阵，所以第二特征点需要是与第一特征点相对应的点。例如，假设第一特征点为第一标志物的几何中心，则第二特征点也应当是第二标志物的几何中心。这样一来，如果第一标志物和第二标志物为同一标志物，则第一特征点和第二特征点也必然是同一特征点。

还需说明的是，根据单应矩阵的构建原理，通常第一特征点和第二特征点的数量为至少4个。

步骤503、匹配第一特征点和第二特征点。

基于上述可见，由于第二特征点是与第一特征点相对应的点，所以在存在多个第一特征点和第二特征点时，可根据二者间的对应关系将其两两匹配。也就是说，相匹配的第一特征点和第二特征点，位于第一标志物和第二标志物上的相同位置。

步骤504、根据第一特征点和第二特征点的匹配结果，确定第一标志物集合和第二标志物集合之间的单应矩阵。

在确定了各个第一特征点和第二特征点的匹配关系之后，即可根据若干对相匹配的第一特征点的像素坐标和第二特征点的像素坐标，建立第一标志物集合和第二标志物集合之间的单应矩阵。也可以说，该单应矩阵即当前帧图像和后续帧图像之间的单应矩阵。将当前帧图像中的任一点像素坐标代入单应矩阵，均可得到一个该点在后续帧图像上的投影。建立单应矩阵的过程为本领域公知的算法，在此不赘述。

步骤505、根据单应矩阵，确定第一标志物的第三特征点投影到后续帧图像中的第四特征点。

第三特征点可以是第一标志物上的任意点。本步骤中，可将第一标志物上的若干第三特征点通过单应矩阵投影到后续帧图像中，投影后即得到第四特征点。

步骤506、根据第四特征点和第二标志物在后续帧图像上对应的检测框，确定第四特征点相对于检测框的外点比例。

第二标志物在后续帧图像上对应的检测框，可以是通过现有技术中神经网络计算得到的第二标志物的包围框，也可以是利用上述实施例中方法得到的第二标志物的实际轮廓。理论上，如果第一标志物与第二标志物匹配，所有第四特征点应当落在第二标志物的检测框以内。但由于各种因素影响，通常可能存在部分第四特征点落在检测框之外。而落在检测框以外的第四特征点占全部第四特征点的比例，即外点比例。

步骤507、根据外点比例确定第二匹配距离。

一般来说，外点比例越低，则意味着第一标志物与第二标志物的匹配程度越高。也就是说，外点比例能够反应出第一标志物和第二标志物的匹配关系，即反应二者是同一标志物的概率。所以本步骤中将根据外点比例确定第二匹配距离。具体可以是，直接将外点比例作为第二匹配距离；也可以将其乘以相应权重系数以作为第二匹配距离。本实施例中对此不做限定。

另外，结合图4～图5实施例中描述，则本发明中根据第一匹配距离和第二匹配距离，确定第一标志物集合和第二标志物集合之间的匹配关系具体可以是：根据第一匹配距离和第二匹配距离，利用匈牙利指派算法从第一标志物集合和第二标志物集合中确定出匹配对。匹配对包括相匹配的第一标志物和第二标志物。

在本实施例中，可结合第一匹配距离和第二匹配距离加权计算得到第三匹配距离。应该认为，第三匹配距离更加精确的反应了第三标志物(相当于第一标志物)和第二标志物的匹配情况。本实施例中，该第三匹配距离将作为匈牙利指派算法的输入。第三匹配距离的计算可参考以下公式：

d3＝d1+w2*outlier_per；

其中，d1即通过图4所示实施例中方法计算得到的第一匹配距离；outlier_per即通过图5所示实施例中方法计算得到的外点比例，本实施例中直接以该外点比例作为第二匹配距离；w2为第二匹配距离对应的权重系数。

本实施例中假设存在多个第二标志物和多个第三标志物，则在多个第二标志物和多个第三标志物之间两两计算确定第三匹配距离之后，可利用匈牙利指派算法将其进行配对。即确定哪个第二标志物与哪个第三标志物为同一标志物。利用匈牙利指派算法的具体计算过程为本领域公知，在此不赘述。而该算法进行配对的原理是，将第三匹配距离最小，且第三匹配距离小于预设阈值的第二标志物和第三标志物确定为一个匹配对。

也就是说，一个匹配对中包括一个第一标志物，和一个与该第一标志物相匹配的第二标志物。本实施例中经过匹配认为二者为同一标志物，可将二者设置为同一身份标识。由此本实施例中可实现在图像帧序列中对于同一个标志物的追踪，并且同时准确的获得该标志物在各帧中的顶点像素坐标。由此为准确的建立结构化参数表示提供了前提条件。

另外如图6所示，本发明各实施例中优选地还可以包括如下步骤：

步骤601、获取相匹配的第一标志物的第一顶点像素坐标。

具体的，可以利用目标检测模型确定匹配的第一标志物的第一包围框；利用第一包围框对当前帧图像进行第一线段提取；根据第一线段提取结果确定第一顶点像素坐标。

目标检测模型可以是基于神经网络建立的计算模型，其作用和原理类似于现有技术中实现标志物追踪和识别的神经网络。也就是说，该目标检测模型在对当前帧图像进行识别后，能够输出针对第一标志物的第一包围框。并且前述已经明确，该第一包围框通常是矩形，不代表第一标志物的实际轮廓。

第一标志物的实际轮廓位于第一包围框以内。所以要确定第一标志物的实际轮廓，还需要针对当前帧图像中第一包围框范围内的区域进行线段提取。

线段提取为本领域中常规的技术手段，即基于卷积神经网络对当前图像帧进行图像分析，从而在第一包围框以内提取出标志物的边缘与背景的边界线。由于当前帧图像中，第一标志物与背景通常有着明显的边界，所以在第一包围框以内进行线段提取，即可确定第一标志物的实际轮廓。

本实施例中可以认为，线段提取结果即轮廓线条实际坐标的数学表达。而在第一标志物为四边形的情况下，可将其4个顶点作为参考点。通过这一数学表达，可确定第一标志物的顶点在当前帧图像中的实际坐标，即是第一顶点像素坐标。

另外还需说明的是，在上述实施例中确定第一标志物集合在后续帧图像中对应的第三标志物集合时，同样可以采取类似于本步骤的方式。也就是可以将上述得到的第一顶点像素坐标作为预测模型的输入，以使得预测模型输出第一标志物的顶点在后续帧图像对应的时刻的预测坐标，即第三标志物对应的顶点像素坐标。即从数学表达的层面上，将第一标志物转换为第三标志物。根据第三标志物对应的顶点像素坐标，以及各个第三标志物的标志物信息可以确定第三标志物集合。

步骤602、获取相匹配的第二标志物的第二顶点像素坐标。

具体的，可以利用目标检测模型确定匹配的第二标志物的第二包围框；利用第二包围框对后续帧图像进行第二线段提取；根据第二线段提取结果确定第二顶点像素坐标。第二顶点像素坐标的确定过程与第一顶点像素坐标同理，在此不重复叙述。

步骤603、根据单应矩阵，确定第一顶点像素坐标在后续帧图像上对应的第三顶点像素坐标。

将第一顶点像素坐标代入单应矩阵中进行计算，即可以得到在后续帧图像上对应的第三顶点像素坐标。可以认为，该第三顶点像素坐标，即是第一顶点像素坐标根据单应矩阵向后续帧图像的投影。

步骤604、利用第二顶点像素坐标及第三顶点像素坐标更新预测模型。

在该优选方案中，将利用第二顶点像素坐标和第三顶点像素坐标更新预测模型。可以理解的是，对于图像帧序列中的标志物追踪和识别，是一个多次重复进行的过程。换言之，本次匹配流程中的后续帧图像，往往即是下一次匹配流程中的当前帧图像。所以在下一次匹配过程中需对预测模型进行相应的参数更新。而根据卡尔曼滤波器的原理，该参数更新将利用第二标志物的第二顶点像素坐标及第三顶点像素坐标来确定。

示例性装置

图7是本公开一示例性实施例提供的标志物的匹配装置的结构示意图。本实施例装置，即用于执行图3～图6方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括：

第一标志物集合确定模块701，用于在当前帧图像中，确定第一标志物集合。

第二标志物集合确定模块702，用于在当前帧的后续帧图像中，确定第二标志物集合。

第三标志物集合确定模块703，用于利用预设的预测模型，确定第一标志物集合在后续帧图像中对应的第三标志物集合。

第一匹配距离确定模块704，用于确定第二标志物集合中每一个第二标志物和第三标志物集合中每一个第三标志物之间的第一匹配距离。

第二匹配距离确定模块705，用于确定第一标志物集合中每一个第一标志物和第二标志物集合中每一个第二标志物之间的第二匹配距离。

匹配关系确定模块706，用于根据第一匹配距离和第二匹配距离，确定第一标志物集合和第二标志物集合之间的匹配关系。

图8是本公开另一示例性实施例提供的标志物的匹配装置中第一标志物集合确定模块701的结构示意图。如图8所示，在示例性实施例中，第一标志物集合确定模块701包括：

第一包围框确定单元811、用于利用目标检测模型确定第一标志物的第一包围框。

线段提取单元812、用于利用第一包围框对当前帧图像进行线段提取。

第一顶点像素坐标确定单元813、用于根据线段提取结果确定第一顶点像素坐标。

图9是本公开另一示例性实施例提供的标志物的匹配装置中第一匹配距离确定模块704的结构示意图。如图9所示，在示例性实施例中第一匹配距离确定模块704包括：

交并比确定单元911、用于确定第二标志物和第三标志物之间的交并比。

灰度直方图距离确定单元912、用于确定第二标志物和第三标志物之间的灰度直方图距离。

第一匹配距离确定单元913、用于根据交并比和灰度直方图距离，确定匹配距离。

图10是本公开另一示例性实施例提供的标志物的匹配装置中第二匹配距离确定模块705的结构示意图。如图10所示，在示例性实施例中第一匹配距离确定模块705包括：

第一特征点获取单元1011，用于获取第一标志物集合中的每一个第一标志物对应的第一特征点。

第二特征点获取单元1012，用于获取第二标志物集合中的每一个第二标志物对应的第二特征点.

特征点匹配单元1013，用于匹配第一特征点和第二特征点。

单应矩阵确定单元1014，用于根据第一特征点和第二特征点的匹配结果，确定第一标志物集合和第二标志物集合之间的单应矩阵。

第四特征点确定单元1015，用于根据单应矩阵，确定第一标志物的第三特征点投影到后续帧图像中的第四特征点。

外点比例确定单元1016，用于根据第四特征点和第二标志物在后续帧图像上对应的检测框，确定第四特征点相对于检测框的外点比例。

第二匹配距离确定单元1017，用于根据外点比例确定第二匹配距离。

图11是本公开另一示例性实施例提供的标志物的匹配装置中匹配关系确定模块706的结构示意图。如图11所示，在示例性实施例中匹配关系确定模块706包括：

匹配对确定单元1111、用于根据第一匹配距离和第二匹配距离，利用匈牙利指派算法从第一标志物集合和第二标志物集合中确定出匹配对；匹配对包括相匹配的第一标志物和第二标志物；

匹配关系确定单元1112、用于根据匹配对确定第一标志物集合和第二标志物集合之间的匹配关系。

示例性电子设备

下面，参考图12来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图12图示了根据本公开实施例的电子设备的框图。

如图12所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的标志物的匹配方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图12中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的标志物的匹配方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的标志物的匹配方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种标志物的匹配方法，包括：

在当前帧图像中，确定第一标志物集合；

在所述当前帧的后续帧图像中，确定第二标志物集合；

利用预设的预测模型，确定所述第一标志物集合在所述后续帧图像中对应的第三标志物集合；

确定所述第二标志物集合中每一个第二标志物和所述第三标志物集合中每一个第三标志物之间的第一匹配距离；

确定所述第一标志物集合中每一个第一标志物和所述第二标志物集合中每一个第二标志物之间的第二匹配距离；

根据所述第一匹配距离和所述第二匹配距离，确定所述第一标志物集合和所述第二标志物集合之间的匹配关系。

2.根据权利要求1所述方法，所述确定所述第二标志物和所述第三标志物之间的第一匹配距离包括：

确定所述第二标志物集合和所述第三标志物集合之间的交并比；

根据所述交并比，确定所述第一匹配距离。

3.根据权利要求2所述方法，还包括：

确定所述第二标志物集合和所述第三标志物集合之间的灰度直方图距离；

则所述根据所述交并比，确定所述第一匹配距离包括：

根据所述交并比和所述灰度直方图距离，确定所述第一匹配距离。

4.根据权利要求1所述方法，其中，所述确定所述第一标志物集合中每一个第一标志物和所述第二标志物集合中每一个第二标志物之间的第二匹配距离包括：

获取所述第一标志物集合中的每一个第一标志物对应的第一特征点；

获取所述第二标志物集合中的每一个第二标志物对应的第二特征点；

匹配所述第一特征点和所述第二特征点；

根据所述第一特征点和所述第二特征点的匹配结果，确定所述第一标志物集合和所述第二标志物集合之间的单应矩阵；

根据所述单应矩阵，确定第一标志物的第三特征点投影到所述后续帧图像中的第四特征点；

根据所述第四特征点和所述第二标志物在所述后续帧图像上对应的检测框，确定所述第四特征点相对于所述检测框的外点比例；

根据所述外点比例确定所述第二匹配距离。

5.根据权利要求4所述方法，其中，所述根据所述第一匹配距离和所述第二匹配距离，确定所述第一标志物集合和所述第二标志物集合的匹配关系包括：

根据所述第一匹配距离和所述第二匹配距离，利用匈牙利指派算法从所述第一标志物集合和所述第二标志物集合中确定出匹配对；所述匹配对包括相匹配的所述第一标志物和所述第二标志物。

6.根据权利要求5所述方法，还包括：

获取所述相匹配的第一标志物的第一顶点像素坐标；

获取所述相匹配的第二标志物的第二顶点像素坐标；

根据单应矩阵，确定所述第一顶点像素坐标在所述后续帧图像上对应的第三顶点像素坐标；

利用所述第二顶点像素坐标及所述第三顶点像素坐标更新所述预测模型。

7.根据权利要求6所述方法，其中，所述获取所述相匹配的第一标志物的第一顶点像素坐标包括：

利用目标检测模型确定所述匹配的第一标志物的第一包围框；

利用所述第一包围框对所述当前帧图像进行第一线段提取；

根据所述第一线段提取结果确定所述第一顶点像素坐标；

所述获取所述相匹配的第二标志物的第二顶点像素坐标包括：

利用目标检测模型确定所述匹配的第二标志物的第二包围框；

利用所述第二包围框对所述后续帧图像进行第二线段提取；

根据所述第二线段提取结果确定所述第二顶点像素坐标。

8.一种标志物的匹配装置，包括：

第一标志物集合确定模块，用于在当前帧图像中，确定第一标志物集合；

第二标志物集合确定模块，用于在所述当前帧的后续帧图像中，确定第二标志物集合；

第三标志物集合确定模块，用于利用预设的预测模型，确定所述第一标志物集合在所述后续帧图像中对应的第三标志物集合；

第一匹配距离确定模块，用于确定所述第二标志物集合中每一个第二标志物和所述第三标志物集合中每一个第三标志物之间的第一匹配距离；

第二匹配距离确定模块，用于确定所述第一标志物集合中每一个第一标志物和所述第二标志物集合中每一个第二标志物之间的第二匹配距离；

匹配关系确定模块，用于根据所述第一匹配距离和所述第二匹配距离，确定所述第一标志物集合和所述第二标志物集合之间的匹配关系。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的标志物的匹配方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的标志物的匹配方法。

Images