CN112348876A - 一种标志牌的空间坐标获取方法及装置 - Google Patents

Abstract

公开了一种标志牌的空间坐标获取方法、装置、计算机可读存储介质及电子设备，该方法包括：获取图像中标志牌的第一特征点对应的第一像素坐标及所述标志牌的边缘点对应的第二像素坐标；根据所述图像对应的相机位姿和所述第一像素坐标，获取所述第一特征点对应的第一空间坐标；根据所述第一空间坐标，获取所述标志牌对应的平面方程；根据所述第二像素坐标和所述平面方程，获取所述标志牌的边缘点对应的第二空间坐标。本申请通过对图像中标志牌的特征点对应的空间坐标和标准牌的边缘点对应的空间坐标进行分别确认，使得最终确定出的标志牌的空间坐标的准确性较高。

Description

一种标志牌的空间坐标获取方法及装置

技术领域

本公开涉及图像处理技术领域，且更具体地，涉及一种标志牌的空间坐标获取方法及装置。

背景技术

标志牌是道路场景中的重要组成部分，是高精地图中必不可少的元素，因此获取标志牌准确的空间坐标对利用高精地图实现自动驾驶是至关重要的。

目前，常常使用激光雷达对标志牌进行扫描，获取标志牌的空间坐标，但是激光雷达价格昂贵，使得价格低廉的视觉传感器引起了越来越多的关注，而利用视觉传感器获取到的标志牌的空间坐标准确性较低，因此确定一种基于视觉传感器的准确的标志牌的空间坐标获取方法是至关重要的。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种标志牌的空间坐标获取方法、装置、计算机可读存储介质及电子设备，其通过分别确定图像中标志牌的特征点对应的空间坐标以及标准牌的边缘点对应的空间坐标，使得确定出的标志牌的空间坐标的准确性较高。

根据本申请的第一方面，提供了一种标志牌的空间坐标获取方法，包括：

获取图像中标志牌的第一特征点对应的第一像素坐标及所述标志牌的边缘点对应的第二像素坐标；

根据所述图像对应的相机位姿和所述第一像素坐标，获取所述第一特征点对应的第一空间坐标；

根据所述第一空间坐标，获取所述标志牌对应的平面方程；

根据所述第二像素坐标和所述平面方程，获取所述标志牌的边缘点对应的第二空间坐标。

根据本申请的第二方面，提供了一种标志牌的空间坐标获取装置，包括：

第一坐标获取模块：用于获取图像中标志牌的第一特征点对应的第一像素坐标及所述标志牌的边缘点对应的第二像素坐标；

第二坐标获取模块：用于根据所述图像对应的相机位姿和所述第一像素坐标，获取所述第一特征点对应的第一空间坐标；

平面方程获取模块：用于根据所述第一空间坐标，获取所述标志牌对应的平面方程；

第三坐标获取模块：用于根据所述第二像素坐标和所述平面方程，获取所述标志牌的边缘点对应的第二空间坐标。

根据本申请的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的标志牌的空间坐标获取方法。

根据本申请的第四方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的标志牌的空间坐标获取方法。

与现有技术相比，本申请提供的标志牌的空间坐标获取方法、装置、计算机可读存储介质及电子设备，至少包括以下有益效果：

一方面，本实施例考虑到利用视觉传感器在获取标志牌的空间坐标时，难以获取到准确的、完整的标志牌的边缘点对应的空间坐标，因此本实施例通过分别确定图像中标志牌的特征点对应的空间坐标以及标准牌的边缘点对应的空间坐标，使得最终获取到的标志牌的空间坐标的准确性较高。

另一方面，本实施例使用视觉传感器获取标志牌的空间坐标，避免使用昂贵的激光雷达，有效节约成本。

再一方面，本实施例获取到的标志牌的空间坐标的准确性较高，使得利用标志牌的空间坐标进行标志牌的三维重建时，获取到重建后标志牌的准确性较高，有利于在自动驾驶时对标志牌的识别。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的标志牌的空间坐标获取方法的流程示意图；

图2是利用本申请一示例性实施例提供的标志牌的空间坐标获取方法获取到的标志牌的空间坐标进行三维重建的结果示意图；

图3是本申请一示例性实施例提供的标志牌的空间坐标获取方法中步骤10的流程示意图；

图4是本申请一示例性实施例提供的标志牌的空间坐标获取方法中步骤20的流程示意图；

图5是本申请一示例性实施例提供的标志牌的空间坐标获取方法中步骤20还包括的流程示意图；

图6是本申请另一示例性实施例提供的标志牌的空间坐标获取方法中步骤20还包括的流程示意图；

图7是本申请一示例性实施例提供的标志牌的空间坐标获取方法中步骤30的流程示意图；

图8是本申请一示例性实施例提供的标志牌的空间坐标获取方法中步骤40的流程示意图；

图9是本申请第一种示例性实施例提供的标志牌的空间坐标获取装置的结构示意图；

图10是本申请第二种示例性实施例提供的标志牌的空间坐标获取装置的结构示意图；

图11是本申请一示例性实施例提供的标志牌的空间坐标获取装置中第二坐标获取模块的结构示意图；

图12是本申请第三种示例性实施例提供的标志牌的空间坐标获取装置的结构示意图；

图13是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

标志牌是道路场景的重要组成部分，通常分为禁止标志、警告标志和指示标志，是高精地图中必不可少的元素。在确定高精地图中的标志牌时，通常是对标志牌进行三维重建，而对标志牌进行准确的三维重建的前提是获取准确的标志牌的空间坐标，目前为了避免使用价格昂贵的激光雷达获取标志牌的空间坐标，价格低廉的视觉传感器被应用于获取标志牌的空间坐标中，而利用视觉传感器获取到的标志牌的空间坐标准确性较低。

本实施例提供的标志牌的空间坐标获取方法，考虑到利用视觉传感器在获取标志牌的空间坐标时，难以获取到准确的、完整的标志牌的边缘点对应的空间坐标，因此本实施例先确定出标志牌的特征点对应的空间坐标，然后利用特征点对应的空间坐标确定出标志牌所在平面的平面方程，进而通过标志牌边缘点对应的像素坐标和该平面方程，获取标志牌边缘点对应的空间坐标。本实施例通过分别确定图像中标志牌的特征点对应的空间坐标以及标志牌的边缘点对应的空间坐标，使得最终获取到的标志牌的空间坐标的准确性较高。不仅如此，本实施例使用视觉传感器获取标志牌的空间坐标，避免使用昂贵的激光雷达，有效节约成本。

示例性方法

图1是本申请一示例性实施例提供的标志牌的空间坐标获取方法的流程示意图。

本实施例可应用在电子设备上，具体可以应用于服务器或一般计算机上。如图1所示，本申请一示例性实施例提供的标志牌的空间坐标获取方法，至少包括如下步骤：

步骤10：获取图像中标志牌的第一特征点对应的第一像素坐标及标志牌的边缘点对应的第二像素坐标。

利用视觉传感器对道路场景进行采集时，会获取到一系列的图像，但并非所有路段都存在标志牌，因此在获取到图像后，首先判断图像中是否存在标志牌，利用存在标志牌的图像确定标志牌的空间坐标。对存在标志牌的图像进行特征提取，获取图像中标志牌的第一特征点，第一特征点是图像中标志牌对应的具有较为丰富局部信息且具有尺度不变性的像素点，第一特征点通常位于标志牌内部的图案上。图像中每一个第一特征点对应有第一像素坐标，根据各个第一像素坐标可以确定标志牌在图像空间的图像信息。由于第一特征点对应的第一像素坐标通常会集中于标志牌内部的图案(如注意牲畜的警示标志牌中的牲畜图案)，从而忽略了标志牌的边缘信息(标志牌的边框)。然而不同意义的标志牌会对应不同的形状，如警示标志牌多为三角形，禁止标志牌多为圆形，指示标志牌多为圆形或四边形，因此标志牌的边缘信息对于标志牌的识别是至关重要的。识别标识牌的边缘信息可以通过识别边缘点来确定，边缘点是图像中位于标志牌边缘上的像素点，例如四边形标志牌的四个顶点。本实施例通过对标志牌的边缘点对应的第二像素坐标进行单独确定，保证获取到准确的、完整的标志牌的边缘信息，进而保证最终获取的标志牌的空间坐标中含有标志牌的边缘信息，使得利用标志牌的空间坐标进行三维重建时获取到的标志牌准确性更好，有利于标志牌的识别。

在一种可能的实现方式中，在获取到图像时先对图像进行语义分割，确定含有语义信息为标志牌的图像，并对图像中语义信息为标志牌的像素点进行特征提取获取第一特征点，避免对全部像素点进行特征提取，减少计算量，有效提高第一特征点的确定效率。

需要说明的是，第一特征点可以包括标志牌的边缘点，在对图像进行特征提取时，可能会选取出标志牌的边缘点作为第一特征点，然而选取出边缘点难以准确的、完整的表示标志牌的边缘信息，例如在利用像素点间的灰度梯度确定第一特征点时，因标志牌的边缘点与标志牌内部相邻的像素点间灰度梯度通常较小，因此即使选取了边缘点作为第一特征点，边缘点的数量也是较少的，不足以表示标志牌的边缘信息。因此通过分别确定第一特征点对应的第一像素坐标和边缘点对应的第二像素坐标可以获取更为丰富的标志牌信息，从而为获取到准确的标志牌的空间坐标提供条件。

步骤20：根据图像对应的相机位姿和第一像素坐标，获取第一特征点对应的第一空间坐标。

第一像素坐标确定的是标志牌在图像空间的图像信息，但是需要确定的是标志牌在真实世界中的空间信息，因此在获取了第一特征点对应的第一像素坐标后，根据相机的内部参数，图像对应的相机位姿，可以获取第一特征点对应的第一空间坐标。具体的，可以通过多帧图像三角化的方法，来确定第一特征点对应的第一空间坐标。如图2所示，左侧对应不同的相机位姿，右侧标志牌三维重建结果中内部分散的空间点即为第一特征点对应的第一空间坐标。具体的，可以利用卫星定位装置和惯性测量装置获取图像对应的相机位姿。

步骤30：根据第一空间坐标，获取标志牌对应的平面方程。

真实世界中的标志牌为一平面，获取的第一空间坐标是标志牌在真实世界中的空间信息，因此获取到的第一空间坐标应该位于标志牌所在的平面上，从而利用第一空间坐标，可以拟合出标志牌所在平面对应的平面方程，得到的平面方程可以用于表示标志牌所在平面上的每一点对应的空间坐标。

步骤40：根据第二像素坐标和平面方程，获取标志牌的边缘点对应的第二空间坐标。

第二像素坐标对应的是标志牌的边缘点在图像空间的图像信息，需要获取的是标志牌的边缘点在真实世界的空间信息，第二像素坐标对应在真实世界中的空间坐标会位于该平面方程表示的平面上，因此可以利用第二像素坐标和平面方程，获取到标志牌的边缘点对应的第二空间坐标(如图2所示右边标志牌三维重建结果的4条边框)，根据第二空间坐标可以获取到准确的、完整的标志牌的边缘信息。

本实施例提供的标志牌的空间坐标获取方法的有益效果至少在于：

一方面，本实施例考虑到利用视觉传感器在获取标志牌的空间坐标时，难以获取到完整的、准确的标志牌的边缘点对应的空间坐标，因此本实施例先利用标志牌的第一特征点确定出标志牌的第一特征点对应的第一空间坐标，然后利用第一空间坐标确定出标志牌所在平面的平面方程，进而通过标志牌边缘点对应的第二像素坐标和该平面方程，获取标志牌边缘点对应的第二空间坐标。本实施例通过分别确定图像中标志牌的第一特征点对应的第一空间坐标以及标准牌的边缘点对应的第二空间坐标，使得最终获取到的标志牌的空间坐标的准确性较高。

另一方面，本实施例使用视觉传感器获取标志牌的空间坐标，避免使用昂贵的激光雷达，有效地节约成本。

再一方面，本实施例获取到的标志牌的空间坐标的准确性较高，使得利用标志牌的空间坐标进行标志牌的三维重建时，获取到重建后标志牌的准确性较高，有利于在自动驾驶时对标志牌的识别。

图3示出了如图1所示的实施例中获取标志牌的边缘点对应的第二像素坐标的流程示意图。

如图3所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤10所示的获取标志牌的边缘点对应的第二像素坐标，具体可以包括如下步骤：

步骤101：在图像中获取标志牌对应的包围框。

利用图像检测技术对图像进行检测，检测出图像中的标志牌，并利用最小包围框对标志牌进行标记，此时最小包围框的面积近似等于标志牌的面积。

步骤102：根据包围框，确定标志牌的边缘点对应的第二像素坐标。

在图像中利用最小包围框标记出标志牌后，最小包围框的边缘挨近标志牌的边缘，且在确定最小包围框后，最小包围框在图像中对应的像素坐标简单易得，则可以利用最小包围框的边缘点对应的像素坐标来确定出标志牌的边缘点对应的第二像素坐标，得到的第二像素坐标可以完整的表示出标志牌的边缘信息。

具体的，在标志牌为三角形标志牌或四边形标志牌时，不需要确定最小包围框的全部边缘点对应的第二像素坐标，仅需要确定最小包围框顶点对应的第二像素坐标即可，通过顶点间的连线确定标志牌完整的边缘信息。例如三角形的标志牌对应三角形的最小包围框，则确定三角形三个顶点对应的像素坐标；四边形的标志牌对应四边形的最小包围框，则确定四边形四个顶点对应的像素坐标。当标志牌为圆形标志牌时，标志牌不存在顶点，此时最小包围框也为圆形，可以确定最小包围框的任一条直径在最小包围框上对应的两点像素坐标，通过两点像素点可以确定出圆形标志牌完整的边缘信息。

在本实施例中，考虑到标志牌与其最小包围框对应的边缘信息近似相同的关系，将最小包围框对应的像素坐标确定为标志牌的边缘点对应的第二像素坐标，从而可以根据第二像素坐标可以获取到标志牌完整的边缘信息，且获取效率较高。

图4示出了如图1所示的实施例中根据图像对应的相机位姿和第一像素坐标，获取第一特征点对应的第一空间坐标的流程示意图。

如图4所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤20所示的获取第一特征点对应的第一空间坐标，具体可以包括如下步骤：

步骤201：确定当前帧图像中标志牌对应的观测次数。

当前帧图像为视觉传感器在当前时刻最新采集到的图像，随着视觉传感器不断采集图像，当前帧图像不断更新，在获取到最新的当前帧图像后，上一时刻的当前帧图像会成为先前帧图像。获取到每一帧当前帧图像时，确定当前帧图像中标志牌对应的观测次数，即在连续帧图像中，同一个标志牌第几次在图像中出现。例如标志牌第一次在图像中出现时，观测次数记为1；标志牌第二次在图像中出现时，观测次数记为2，依此类推，直至在图像中检测不到该标志牌为止。

在一种可能的实现方式中，在一个标志牌第一次在图像中出现时，为该标志牌分配一个跟踪编码(track id)，不同的标志牌分配不同的跟踪编码，因此可以根据该跟踪编码准确地确定出标志牌对应的观测次数。

步骤202：对当前帧图像中第一特征点和先前帧图像中的第一特征点进行特征匹配，在第一特征点中确定出满足第一预设条件的第二特征点。

先前帧图像为视觉传感器在当前帧图像前采集到的图像，对当前帧图像和先前帧图像进行特征提取，分别得到当前帧图像中的第一特征点和先前帧图像中的第一特征点，对当前帧图像中的第一特征点和先前帧图像中的第一特征点进行特征匹配，确定特征匹配度，设置第一预设条件为特征匹配度大于第一预设阈值，利用第一预设阈值判断当前帧图像中的第一特征点和先前帧图像中的第一特征点是否匹配成功，在特征匹配度大于预设阈值时，在第一特征点中确定出匹配成功的第二特征点。需要说明的是，在当前帧图像的观测次数为1时，不存在先前帧图像，则直接进行下一帧图像的处理。

步骤203：若观测次数满足第二预设条件，则根据第二特征点对应的第一像素坐标、当前帧图像和先前帧图像分别对应的相机位姿，确定第二特征点对应的第一空间坐标。

设置第二预设条件为观测次数等于2，在当前帧图像的观测次数为2时，存在观测次数为1的先前帧图像，即存在两帧观测到标志牌的图像，并且在当前帧图像和先前帧图像中存在特征匹配成功的第二特征点，当前帧图像中的第二特征点和先前帧图像中的第二特征点对应的是真实世界中的标志牌的同一空间点，即当前帧图像和先前帧图像作为两个不同的观测视角对标志牌进行观测得到的图像，则在确定当前帧图像和先前帧图像分别对应的相机位姿，当前帧图像中第二特征点对应的第一像素坐标和先前帧图像中第二特征点对应的第一像素坐标后，即可以根据多视角几何的三角化的方法获取第二特征点对应的第一空间坐标。

本实施例中，当前帧图像的观测次数为2时，对标志牌存在两帧不同的观测视角对应的图像，因此可以利用多视角几何的三角化方法获取第二特征点对应的第一空间坐标，得到的第一空间坐标具有一定程度的准确性。

图5示出了如图4所示的实施例中还包括流程示意图。

如图5所示，在上述图4所示实施例的基础上，本申请一个示例性实施例中，具体还可以包括如下步骤：

步骤204：若观测次数满足第三预设条件，则确定第二特征点对应的第一空间坐标在当前帧图像以及先前帧图像中的投影点。

设置第三预设条件为观测次数大于2，当前帧图像的观测次数大于2时，存在先前帧图像的观测次数等于2，即此时已经确定了第二特征点对应的第一空间坐标，而该第一空间坐标仅由两帧图像确定，准确性相对较低，因此在获取到观测次数大于2的图像时，利用该图像对第一空间坐标进行优化。具体的，根据相机的内部参数、当前帧图像和先前帧图像分别对应的相机位姿，获取第一空间坐标分别在当前帧图像和先前帧图像中的投影点。

步骤205：根据投影点与当前帧图像以及先前帧图像中的第二特征点间的距离，更新第一空间坐标。

投影点是第一空间坐标在当前帧图像和先前帧图像中虚拟的像素点，第二特征点是标志牌在当前帧图像和先前帧图像中真实的像素点，根据当前帧图像和先前帧图像中投影点与第二特征点间的距离可以表示第一空间坐标的准确程度，第一空间坐标准确性越高，则在当前帧图像和先前帧图像中投影点与第二特征点间的距离之和越小，因此可以根据最小化该距离之和更新第一空间坐标，使得得到的第一空间坐标的准确性较高。

本实施例中，在当前帧图像对应的观测次数大于2时，利用当前帧图像对第一空间坐标进行优化，以更新第一空间坐标，使得得到的第一空间坐标的准确性较高。

图6示出了如图5所示的实施例中更新第一空间坐标步骤后还包括的流程示意图。

如图6所示，在上述图5所示实施例的基础上，本申请一个示例性实施例中，步骤205所示的更新第一空间坐标步骤后，具体还可以包括如下步骤：

步骤206：在当前帧图像中确定出投影点与当前帧图像以及先前帧图像中的第二特征点间的距离之和满足第四预设条件的第三特征点的个数。

设置第四预设条件为小于第二预设阈值，第二预设阈值为在当前帧图像以及先前帧图像中投影点与第二特征点间的距离之和应该满足的最小值，在该距离之和小于第二预设阈值时，确定出第三特征点的个数。

步骤207：若第三特征点的个数满足第五预设条件，则停止更新第一空间坐标。

设置第五预设条件为大于第三预设阈值，只有当第三特征点的个数大于第三预设阈值时，此时得到的第一空间坐标才能够准确的表示出标志牌的信息，当第三特征点的个数过少时，可能缺失标志牌的部分信息，导致得到的标志牌的空间坐标不能完整的、准确的表示标志牌的信息，在第三特征点的个数足够多时，此时可以停止更新第一空间坐标，且最终得到的第一空间坐标的准确性较高。

在本实施例中，确定停止更新第一空间坐标的条件，使得获取到准确性较高的第一空间坐标后，立即进入后续处理，防止不断地对第一空间坐标进行更新，有效提高第一空间坐标的更新效率。

图7示出了如图1所示的实施例中根据第一空间坐标，获取标志牌对应的平面方程的流程示意图。

如图7所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤30所示的获取标志牌对应的平面方程，具体可以包括如下步骤：

步骤301：对第一空间坐标进行聚类拟合，获取平面参数。

第一空间坐标位于标志牌所在的平面上，因此获取到各个第一特征点分别对应的第一空间坐标后，对第一空间坐标进行聚类拟合，可以获取到标志牌所在平面的平面参数。具体的，可以以第一空间坐标为输入，通过RANSAC(随机抽样一致)算法计算出标志牌的平面参数a、b、c、d。

步骤302：根据平面参数，获取标志牌对应的平面方程。

根据得到的平面参数，可以获取到标志牌对应的平面方程即aX+bY+cZ+d＝0，其中标志牌上的任意一个空间点(X，Y，Z)都满足该平面方程。

在本实施例中，通过对第一空间坐标进行聚类拟合获取平面参数，进而根据平面参数获取平面方程，因第一空间坐标可以较为准确的表示出标志牌在真实世界中的空间信息，因此利用第一空间坐标获取的平面方程的准确性较高，进而使得利用平面方程得到的标志牌边缘点的第二空间坐标的准确性较高。

图8示出了如图1所示的实施例中根据第二像素坐标和平面方程，获取标志牌的边缘点对应的第二空间坐标的流程示意图。

如图8所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤40所示的获取标志牌的边缘点对应的第二空间坐标，具体可以包括如下步骤：

步骤401：根据第二像素坐标，获取标志牌的边缘点对应的观测射线。

第二像素坐标为标志牌的边缘点在图像空间中的图像信息，根据相机的内部参数可以获取到标志牌的边缘点对应的观测射线。视觉传感器采集图像的过程是将真实世界中具有三维信息的空间点转换为图像中具有二维信息的像素点的过程，在转换的过程中存在多个空间点对应一个像素点的情况，因此在根据相机的内部参数将像素点投影到真实世界中时，一个像素点可能会对应于多个空间点，该空间点构成了该像素点的观测射线。本实施例中选取的像素点为标志牌的边缘点，因此会得到标志牌的边缘点对应的观测射线。

步骤402：根据观测射线与平面方程所在平面的交点，获取标志牌的边缘点对应的第二空间坐标。

观测射线是标志牌的边缘点对应的空间点所有的可能的情况，因为标志牌为一平面，且该边缘点位于该平面上，因此观测射线和平面方程所在平面的交点即为标志牌的边缘点对应的第二空间坐标。在获取了标志牌的第一空间坐标和第二空间坐标后，即可以根据第一空间坐标和第二空间坐标进行标志牌的三维重建。

在一种可能的实现方式中，标志牌为四边形标志牌，选取标志牌的最小包围框的四个顶点为标志牌在图像中的边缘点，则会得到4条观测射线，4条观测射线分别与平面方程所在平面的交点即为标志牌在真实世界中的4个第二空间坐标，4个第二空间坐标的连线即为标志牌在真实世界中的边缘，如图2所示，右边标志牌三维重建结果即为根据4个第二空间坐标连线获取到的标志牌的边缘信息。

在本实施例中，将图像中的第二像素坐标投影到真实世界中，从而获取到标志牌的边缘点对应的观测射线，该观测射线与平面方程的交点即为标志牌在真实世界中的第二空间坐标，该第二空间坐标的准确性较高，且可以根据第二空间坐标获取到完整的、准确的标志牌的边缘信息。

示例性装置

基于与本申请方法实施例相同的构思，本申请实施例还提供了一种标志牌的空间坐标获取装置。

图9示出了本申请一示例性实施例提供的标志牌的空间坐标获取装置的结构示意图。

如图9所示，本申请一示例性实施例提供的标志牌的空间坐标获取装置，包括：

第一坐标获取模块91：用于获取图像中标志牌的第一特征点对应的第一像素坐标及标志牌的边缘点对应的第二像素坐标；

第二坐标获取模块92：用于根据图像对应的相机位姿和第一像素坐标，获取第一特征点对应的第一空间坐标；

平面方程获取模块93：用于根据第一空间坐标，获取标志牌对应的平面方程；

第三坐标获取模块94：用于根据第二像素坐标和平面方程，获取标志牌的边缘点对应的第二空间坐标。

如图10所示，在一个示例性实施例中，第一坐标获取模块91包括：

包围框获取单元911：用于在图像中获取标志牌对应的包围框；

第一坐标获取单元912：用于根据包围框，确定标志牌的边缘点对应的第二像素坐标。

如图11所示，在一个示例性实施例中，第二坐标获取模块92包括：

观测次数确定单元921：用于确定当前帧图像中标志牌对应的观测次数；

特征匹配单元922：用于对当前帧图像中第一特征点和先前帧图像中的第一特征点进行特征匹配，在第一特征点中确定出满足第一预设条件的第二特征点；

第二坐标获取单元923：用于若观测次数满足第二预设条件，则根据第二特征点对应的第一像素坐标、当前帧图像和先前帧图像分别对应的相机位姿，确定第二特征点对应的第一空间坐标。

如图11所示，在一个示例性实施例中，第二坐标获取模块92还包括：

投影点确定单元924：用于若观测次数满足第三预设条件，则确定第二特征点对应的第一空间坐标在当前帧图像以及先前帧图像中的投影点；

空间坐标更新单元925：用于根据投影点与当前帧图像以及先前帧图像中的第二特征点间的距离，更新第一空间坐标。

如图11所示，在一个示例性实施例中，第二坐标获取模块92还包括：

距离确定单元926：用于在当前帧图像中确定出投影点与当前帧图像以及先前帧图像中的第二特征点间的距离之和满足第四预设条件的第三特征点的个数；

停止更新单元927：用于若第三特征点的个数满足第五预设条件，则停止更新第一空间坐标。

如图12所示，在一个示例性实施例中，平面方程获取模块93包括：

参数获取单元931：用于对第一空间坐标进行聚类拟合，获取平面参数；

平面方程获取单元932：用于根据平面参数，获取标志牌对应的平面方程。

如图12所示，在一个示例性实施例中，第三坐标获取模块94包括：

观测射线确定单元941：用于根据第二像素坐标，获取标志牌的边缘点对应的观测射线；

第三坐标获取单元942：用于根据观测射线与平面方程所在平面的交点，获取标志牌的边缘点对应的第二空间坐标。

示例性电子设备

图13图示了根据本申请实施例的电子设备的框图。

如图13所示，电子设备100包括一个或多个处理器101和存储器102。

处理器101可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备100中的其他组件以执行期望的功能。

存储器102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器101可以运行所述程序指令，以实现上文所述的本申请的各个实施例的标志牌的空间坐标获取方法以及/或者其他期望的功能。

在一个示例中，电子设备100还可以包括：输入装置103和输出装置104，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

当然，为了简化，图13中仅示出了该电子设备100中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备100还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的标志牌的空间坐标获取方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的标志牌的空间坐标获取方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种标志牌的空间坐标获取方法，包括：

获取图像中标志牌的第一特征点对应的第一像素坐标及所述标志牌的边缘点对应的第二像素坐标；

根据所述图像对应的相机位姿和所述第一像素坐标，获取所述第一特征点对应的第一空间坐标；

根据所述第一空间坐标，获取所述标志牌对应的平面方程；

根据所述第二像素坐标和所述平面方程，获取所述标志牌的边缘点对应的第二空间坐标。

2.根据权利要求1所述的方法，其中，所述获取所述标志牌的边缘点对应的第二像素坐标，包括：

在所述图像中获取所述标志牌对应的包围框；

根据所述包围框，确定所述标志牌的边缘点对应的第二像素坐标。

3.根据权利要求1所述的方法，其中，所述根据所述第二像素坐标和所述平面方程，获取所述标志牌的边缘点对应的第二空间坐标，包括：

根据所述第二像素坐标，获取所述标志牌的边缘点对应的观测射线；

根据所述观测射线与所述平面方程所在平面的交点，获取所述标志牌的边缘点对应的第二空间坐标。

4.根据权利要求1所述的方法，其中，所述根据所述图像对应的相机位姿和所述第一像素坐标，获取所述第一特征点对应的第一空间坐标，包括：

确定当前帧图像中所述标志牌对应的观测次数；

对所述当前帧图像中第一特征点和先前帧图像中的第一特征点进行特征匹配，在所述第一特征点中确定出满足第一预设条件的第二特征点；

若所述观测次数满足第二预设条件，则根据所述第二特征点对应的第一像素坐标、所述当前帧图像和所述先前帧图像分别对应的相机位姿，确定所述第二特征点对应的第一空间坐标。

5.根据权利要求4所述的方法，还包括：

若所述观测次数满足第三预设条件，则确定所述第二特征点对应的第一空间坐标在所述当前帧图像以及所述先前帧图像中的投影点；

根据所述投影点与所述当前帧图像以及所述先前帧图像中的所述第二特征点间的距离，更新所述第一空间坐标。

6.根据权利要求5所述的方法，其中，所述更新所述第一空间坐标步骤后，还包括：

在所述当前帧图像中确定出所述投影点与所述当前帧图像以及所述先前帧图像中的所述第二特征点间的距离之和满足第四预设条件的第三特征点的个数；

若所述第三特征点的个数满足第五预设条件，则停止更新所述第一空间坐标。

7.根据权利要求1-6任一项所述的方法，其中，所述根据所述第一空间坐标，获取所述标志牌对应的平面方程，包括：

对所述第一空间坐标进行聚类拟合，获取平面参数；

根据所述平面参数，获取所述标志牌对应的平面方程。

8.一种标志牌的空间坐标获取装置，包括：

第一坐标获取模块：用于获取图像中标志牌的第一特征点对应的第一像素坐标及所述标志牌的边缘点对应的第二像素坐标；

第二坐标获取模块：用于根据所述图像对应的相机位姿和所述第一像素坐标，获取所述第一特征点对应的第一空间坐标；

平面方程获取模块：用于根据所述第一空间坐标，获取所述标志牌对应的平面方程；

第三坐标获取模块：用于根据所述第二像素坐标和所述平面方程，获取所述标志牌的边缘点对应的第二空间坐标。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一项所述的标志牌的空间坐标获取方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一项所述的标志牌的空间坐标获取方法。

Images