CN112308905A - 一种平面标志物的坐标确定方法及装置 - Google Patents

Abstract

公开了一种平面标志物的坐标确定方法及装置，包括：在当前帧图像中确定平面标志物的参考点的第一像素坐标；根据所述第一像素坐标确定所述参考点的第一空间坐标；获取当前帧的后续帧图像对应的第一相机参数；在所述后续帧图像中确定平面标志物的参考点的第二像素坐标；根据所述第一相机参数、所述第一空间坐标和所述第二像素坐标，确定优化的第一空间坐标；本公开无需采用点云图，也无需借助价格昂贵的激光雷达，降低了高精地图绘制的成本。

Description

一种平面标志物的坐标确定方法及装置

技术领域

本公开涉及图像分析技术领域，尤其涉及一种平面标志物的坐标确定方法及装置。

背景技术

不同于传统地图仅仅通过二维图像体现地貌、建筑、道路等要素，高精地图作为辅助驾驶/自动驾驶技术的重要组成部分，其更加注重“空间性”。在高精地图当中，许多要素都需要以空间坐标、曲线函数或结构化参数表示等数学形式体现。例如道路、道路中的车道线、道路两旁的标志杆、标志牌等表示道路信息的要素，均需要进行数学形式上的表达。

现有技术中观测获取平面标志物(如路标牌、交通标志牌等)的信息，往往通过激光雷达扫描，取得对应的平面标志物的点云图。进而基于点云图完成平面标志物的定位和数学表达。一般平面标志物的数学表达，是通过坐标点或坐标集的形式。

但是因为一般路旁的平面标志物数量较多，而且激光雷达价格昂贵，所以大范围使用激光雷达扫描，将造成高精地图的绘制成本极其高昂。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种平面标志物的坐标确定方法及装置，基于当前帧图像确定平面标志物的参考点的第一空间坐标，并基于后续帧图像优化所述第一空间坐标，以确定优化的第一空间坐标。

根据本公开的第一个方面，提供了一种平面标志物的坐标确定方法，包括：

在当前帧图像中确定平面标志物的参考点的第一像素坐标；

根据所述第一像素坐标确定所述参考点的第一空间坐标；

获取当前帧的后续帧图像对应的第一相机参数；

在所述后续帧图像中确定平面标志物的参考点的第二像素坐标；

根据所述第一相机参数、所述第一空间坐标和所述第二像素坐标，确定优化的第一空间坐标。

根据本公开的第二个方面，提供了一种平面标志物的坐标确定装置，包括：

第一像素坐标确定模块，用于在当前帧图像中确定平面标志物的参考点的第一像素坐标；

第一空间坐标确定模块，用于根据所述第一像素坐标确定所述参考点的第一空间坐标；

相机参数获取模块，用于获取当前帧的后续帧图像对应的第一相机参数；

第二像素坐标确定模块，用于在所述后续帧图像中确定平面标志物的参考点的第二像素坐标；

第二空间坐标确定模块，用于根据所述第一相机参数、所述第一空间坐标和所述第二像素坐标，确定优化的第一空间坐标。

根据本公开的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面中所述的平面标志物的坐标确定方法。

根据本公开的第四方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述第一方面中所述的平面标志物的坐标确定方法。

与现有技术相比，采用根据本公开提供的平面标志物的坐标确定方法及装置，通过当前帧图像、后续帧图像及相应的相机参数，确定平面标志物的空间坐标，并进一步的迭代优化以保证空间坐标的准确性；由于当前帧图像、后续帧图像及相应的相机参数均可以在普通相机的拍摄过程中得到，成本相对低廉。无需采用点云图，也无需借助价格昂贵的激光雷达，降低了高精地图绘制的成本。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为本公开一示例性实施例提供的平面标志物的坐标确定方法的流程示意图；

图2为本公开一示例性实施例提供的平面标志物的坐标确定方法的流程示意图；

图3-1为本公开一示例性实施例提供的平面标志物的坐标确定方法中平面标志物模板的示意图；

图3-2为本公开一示例性实施例提供的平面标志物的坐标确定方法中图像中平面标志物的示意图；

图3-3为本公开一示例性实施例提供的平面标志物的坐标确定方法中图像中最小包围框的示意图；

图4为本公开一示例性实施例提供的平面标志物的坐标确定方法的流程示意图；

图5为本公开一示例性实施例提供的平面标志物的坐标确定方法的流程示意图；

图6为本公开一示例性实施例提供的平面标志物的坐标确定装置的结构示意图；

图7为本公开一示例性实施例提供的平面标志物的坐标确定装置中第一空间坐标确定模块的结构示意图；

图8为本公开一示例性实施例提供的平面标志物的坐标确定装置中参考点确定模块的结构示意图；

图9为本公开一示例性实施例提供的平面标志物的坐标确定装置中第二空间坐标确定模块的结构示意图；

图10为本公开一示例性实施例提供的平面标志物的坐标确定装置中第二空间坐标确定单元的结构示意图；

图11为本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

申请概述

前述已知，在高清地图中，例如道路、道路中的车道线、道路两旁的标志杆、标志牌等表示道路信息的要素，均需要进行数学形式上的表达。所谓的数学形式可以包括空间坐标、曲线函数或结构化参数表示等。现有技术在通过数学形式表达平面标志物(如路标牌、交通标志牌等)时，往往通过激光雷达扫描，取得对应的平面标志物的点云图。进而基于点云图完成平面标志物的定位和数学表达。一般平面标志物的数学表达，是通过坐标点或坐标集的形式。但是因为一般路旁的平面标志物数量较多，而且激光雷达价格昂贵，所以大范围使用激光雷达扫描，将造成高精地图的绘制成本极其高昂。

在本公开中，将通过多帧图像及图像相应的相机参数，确定平面标志物的空间坐标，并迭代优化以保证空间坐标的准确性。同时，采用的多帧图像仅为通过普通相机拍摄取得，成本相对低廉。无需采用点云图，也无需借助价格昂贵的激光雷达，降低了高精地图绘制的成本。

示例性方法

图1是本公开一示例性实施例提供的平面标志物的坐标确定方法的流程示意图。本实施例可应用在电子设备上，如图1所示，本实施例包括如下步骤：

步骤101、在当前帧图像中确定平面标志物的参考点的第一像素坐标。

当前帧图像，可以认为是由安装在当前可移动设备的图像采集装置采集的连续多帧的拍摄特定路面的图像中当前时刻的帧的图像，其中可移动设备包括汽车、物流小车、扫地机器人等。拍摄特定路面的图像，通常是制作高精地图过程中，用于确定各种路面信息的重要图像数据。特定路面的图像中包括了路面上的平面标志物。平面标志物具体可以是路标牌或交通标志牌等标志物，例如禁令标志牌、警告标志牌、旅游标志牌、限速标志牌、指示标志牌、反光标志牌、安全标志牌等。

本实施例在连续多帧图像中确定当前帧图像，并且从当前帧图像中确定了平面标志物，以作为后续进行坐标确定的目标。另外，在确定平面标志物后，还可以为平面标志物标记一个特定的身份标识，以便在后续步骤中从其他图像中发现平面标志物并完成相应处理。

理论上，平面标志物的参考点，可以是平面标志物在当前帧图像中呈现的像素范围内的任意点。但在应用过程中，为了使针对参考点的坐标确定和计算更加准确，往往会选择平面标志物中“具有代表性的点”作为参考点。一般的，由于平面标志物的边框通常为多边形，所以可以选择多边形的角，也就是多边形的顶点作为参考点。例如三角形平面标志物的三个角即是三个顶点，四边形则有四个顶点，八边形则有八个顶点，以此类推。

确定平面标志物的参考点，具体可以是基于平面标志物的形状，确定一个尽可能小包围框将当前帧图像中的平面标志物包围起来。进而根据包围框的顶点来确定参考点。在确定参考点后，即可根据参考点在当前帧图像上的像素位置，获得参考点的第一像素坐标。

步骤102、根据第一像素坐标确定参考点的第一空间坐标。

由于通常通过单一的一帧图像难以反映出平面标志物在三维空间上的“深度”，即缺失了空间坐标中的一个维度，所以很难仅通过一帧图像确定参考点的第一空间坐标。本实施例中将借助当前帧图像相对的先前帧图像，以及先前帧图像与当前帧图像二者的相机参数进行三角化运算，实现参考点的第一空间坐标的确定。当然，也可以将图像输入预先训练好的神经网络模型，输出像素坐标对应的深度信息，从而得到第一空间坐标。

步骤103、获取当前帧的后续帧图像对应的第一相机参数。

后续帧图像，同样是连续多帧的拍摄特定路面的图像中的某一帧图像，并且通常来说，后续帧图像在时序上处于当前帧图像之后，即当前时刻后的某个时刻对应的帧的图像。

需要说明的是，在拍摄连续多帧图像时，相机会处在保持移动的状态，并且，由于可移动设备的颠簸，相机的俯仰角由于振动也会出现轻微的变化。而后续帧图像对应的第一相机参数，指的是在拍摄后续帧图像的时刻，相机所处的位置和角度。

步骤104、在所述后续帧图像中确定平面标志物的参考点的第二像素坐标。

结合上述步骤中为平面标志物标记的特定的身份标识，本步骤中可以在后续帧图像中确定平面标志物。同理于步骤101，本步骤中将在后续帧图像中确定平面标志物的参考点，根据参考点在后续帧图像上的像素位置，来确定第二像素坐标。此处不再重复叙述。

步骤105、根据第一相机参数、第一空间坐标和第二像素坐标，确定优化的第一空间坐标。

在确定了第一空间坐标之后，即可根据第一相机参数，将参考点投影到后续帧图像上。可以理解的是，将特定点从三维空间向二维平面进行投影的计算过程属于现有技术，在此不做赘述。

理论上，如果第一空间坐标是足够精确的，那么将第一空间坐标按照特定相机参数投影后，应该与相应图像中实际拍摄到的参考点位置重合。也就是说，将第一空间坐标按照第一相机参数投影到后续帧图像上之后，应该与第二像素坐标重合。但实际上，此时第一空间坐标可能并不足够精确，所以将第一空间坐标按照第一相机参数投影到后续帧图像上之后，往往会偏离第二像素坐标。

本步骤中将针对这种情况对第一空间坐标进行优化。即调整第一空间坐标。可以理解的是，调整第一空间坐标之后，投影到后续帧图像上的位置会发生改变。所以即可通过调整，使第一空间坐标投影后能够最大程度靠近或者落在第二像素坐标。由此实现对于第一空间坐标的优化。

而调整后确定的第一空间坐标，即优化的第一空间坐标。优化的第一空间坐标，即可以认为是平面标志物在空间坐标系中的数学表达。进而根据优化的第一空间坐标，能够确定平面标志物在空间坐标系中的位置。需要说明的是，本实施例中，步骤103～步骤105可以多次循环执行。即根据多个后续帧图像反复对平面标志物的坐标进行迭代优化。直到迭代次数达到预设的次数条件，或者第一空间坐标按照第一相机参数投影到后续帧图像上之后与第二像素坐标的偏离距离小于预设的偏离条件，则停止迭代。

通过以上技术方案可知，本实施例存在的有益效果是：通过当前帧图像、后续帧图像及相应的相机参数，确定平面标志物的空间坐标，并进一步的迭代优化以保证空间坐标的准确性；由于当前帧图像、后续帧图像及相应的相机参数均可以在普通相机的拍摄过程中得到，成本相对低廉。无需采用点云图，也无需借助价格昂贵的激光雷达，降低了高精地图绘制的成本。

如图1所示仅为本公开方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到方法的其他优选实施例。

如图2所示，是本公开一示例性实施例提供的平面标志物的坐标确定方法的流程示意图。本实施例可应用在电子设备上。本实施例中，将在图2所示实施例的基础上，详细的公开了参考点像素坐标的确定过程。如图2所示，本实施例包括如下步骤：

步骤201、根据平面标志物的种类获取平面标志物在标志物数据库中的模板。

在实际情况下，平面标志物的种类、形状、内容以及含义往往是既定的。例如，禁令标志牌、警告标志牌、旅游标志牌、限速标志牌、指示标志牌、反光标志牌、安全标志牌等，基本上每一种标志牌都有标准的样式。所以可以建立标志物数据库，记录各种平面标志物对应的模板。如图3-1所示，即一个“禁令标志牌”的模板示意图，该标志牌为矩形。

如图3-2所示，是图像采集装置采集的图像中平面标志牌，该图像中的平面标志牌同样为“禁令标志牌”，其轮廓如图3-2所示。通常由于拍摄角度、拍摄分辨率、以及平面标志物在实际环境中的倾斜、变形等情况，会导致图像中实拍到的平面标志物产生畸变，而不再是形状规则且轮廓清晰的矩形。例如在图3-2中，平面标志物则实际呈现为“梯形”。所以在这种情况下，很难直接从图像上确定平面标志物的参考点，而需要借助标志物数据库中的模板。

本步骤中，将针对图像中实际拍摄到的平面标志物进行图像识别，确定其种类，然后根据种类获取平面标志物在标志物数据库中对应的模板。即通过图3-2中所示的“禁令标志牌”，获取到图3-1所示的“禁令标志牌”模板。

针对图像中实际拍摄到的平面标志物进行图像识别，属于图像识别领域中的基础技术，在此不做赘述。凡是能够达到相同或类似效果的具体技术手段均可结合在本实施例的整体方案当中。

步骤202、将平面标志物与模板的匹配，得到平面标志物的参考点。

将平面标志物与模板的匹配，也就是在获取到相应的模板后，进一步调整模板的尺寸，按照模板的形状和比例确定一个尽可能小最小包围框。利用最小包围框将图像中的平面标志物包围起来。应当理解的是，最小包围框的尺寸应当至少不小于平面标志物的边框轮廓。如图3-3所示，虚线框即表示图像中的“禁令标志牌”，实线框即表示通过“禁令标志牌”模板调整得到的最小包围框。

确定最小包围框之后，即可将最小包围框的顶点，即图3-3中的A、B、C、D共4个点确定为参考点。而在物理空间当中参考点就对应平面标志物的4个角。

步骤203、获取参考点在图像中的像素坐标。

确定参考点之后，进一步的将参考点(也就是最小包围框的顶点)在图像中的像素位置，作为参考点在图像中的像素坐标。

结合图1所示实施例需要说明的是，无论针对图1所示实施例中涉及的先前帧图像、当前帧图像或后续帧图像，都可以通过本实施例中方法确定参考点在图像中的像素坐标。图1所示实施例中第一像素坐标及第二像素坐标均可通过本实施例方法确定。另外，除确定参考点的像素坐标以外，本实施例中其他步骤可以同图1所示实施例一致，在此不重复叙述。

通过以上技术方案可知，本实施例存在的有益效果是：详细公开了参考点的像素坐标的确定过程，使参考点的像素坐标更加准确，为后续步骤提供了更好的执行基础。

如图4所示，是本公开一示例性实施例提供的平面标志物的坐标确定方法的流程示意图。本实施例可应用在电子设备上。本实施例中，将在图4所示实施例的基础上，详细的公开了第一空间坐标的确定过程。如图4所示，本实施例包括如下步骤：

步骤401、在先前帧图像中确定平面标志物的参考点的第三像素坐标。

先前帧图像，同样是连续多帧的拍摄特定路面的图像中的某一帧图像，并且通常来说，先前帧图像在时序上处于当前帧图像之前，即当前时刻前的某个时刻对应的帧的图像。先前帧图像中同样包括平面标志物。可在先前帧图像中发现平面标志物，为该平面标志物标记身份标识，并在当前帧图像上追踪该平面标志物。

在本实施例中，亦可以结合图3-3，认为物理空间当中参考点就对应矩形的平面标志物的4个角。并且以最小包围框的顶点A、B、C、D共4个点在先前帧图像中的像素位置，作为第三像素坐标。获取第三像素坐标的具体技术手段在此不重复叙述。

步骤402、在当前帧图像中确定平面标志物的参考点的第一像素坐标。

同理，以最小包围框的顶点A、B、C、D共4个点在当前帧图像中的像素位置，作为第一像素坐标。获取第一像素坐标的具体技术手段在此不重复叙述。

步骤403、获取当前帧图像对应的第二相机参数以及获取先前帧图像对应的第三相机参数。

相机参数指的是在拍摄图像的时刻，相机所处的位置和角度。相机参数可以根据GPS、IMU等传感设备获取。相机参数在数学上可以通过旋转矩阵和平移向量两部分表达。此处分别获取先前帧图像与当前帧图像的相机参数。

步骤404、根据第一像素坐标、第三像素坐标、第二相机参数及第三相机参数，确定第一空间坐标。

第一像素坐标和第三像素坐标，意味着空间中的同一个点，在不同的两帧图像(即先前帧图像和当前帧图像)上的像素坐标。并且在已知两帧图像各自的相机参数(即第二相机参数及第三相机参数)的情况下，可以进行三角化运算，确定该点的空间坐标，即第一空间坐标。

在确定了第一空间坐标之后，本实施例中后续步骤可以同图1所示实施例一致，在此不重复叙述。

通过以上技术方案可知，本实施例在图1所示实施例的基础上，进一步存在的有益效果是：详细公开了第一空间坐标的确定过程，使第一参考点空间坐标更加准确，为后续步骤提供了更好的执行基础。

如图5所示，是本公开一示例性实施例提供的平面标志物的坐标确定方法的流程示意图。本实施例可应用在电子设备上。本实施例中，将在图1所示实施例的基础上，详细的公开了对于第一空间坐标的迭代优化过程。如图3所示，本实施例包括如下步骤：

步骤501、在当前帧图像中确定平面标志物的参考点的第一像素坐标。

在本实施例中，亦可以结合图3-3，认为物理空间当中参考点就对应矩形的平面标志物的4个角。并且以最小包围框的顶点A、B、C、D共4个点在当前帧图像中的像素位置，作为第一像素坐标。获取第一像素坐标的具体技术手段在此不重复叙述。

步骤502、根据第一像素坐标确定参考点的第一空间坐标。

本实施例中，将第一空间坐标表示为P。

步骤503、获取当前帧的后续帧图像对应的第一相机参数。

本实施例中，将后续帧图像对应的相机参数表示为Twc＝[R₁,t₁]；其中R₁代表后续帧图像对应的相机的旋转矩阵，t₁代表后续帧图像对应的相机的平移向量。

步骤504、在所述后续帧图像中确定平面标志物的参考点的第二像素坐标。

在本实施例中，亦可以结合图3-3，认为物理空间当中参考点就对应矩形的平面标志物的4个角。并且以最小包围框的顶点A、B、C、D共4个点在后续帧图像中的像素位置，作为第二像素坐标。获取第二像素坐标的具体技术手段在此不重复叙述。

本实施例中，将第二像素坐标表示为p2。

步骤505、根据第一相机参数，将第一空间坐标投影到后续帧图像中，得到第四像素坐标。

本实施例中，将第四像素坐标表示为p4。计算得到第四像素坐标可参考如下公式：

p4＝K*Tcw*P。其中，p4表示第四像素坐标，K表示相机内参矩阵，是可以根据相机性能确定的已知量，Tcw为前述后续帧图像对应的相机参数Twc＝[R₁,t₁]的逆矩阵，P为第一空间坐标。

本步骤需要根据第一空间坐标将参考点投影到后续帧图像中，用来分析投影后的第四像素坐标p4与第二像素坐标p2的偏离程度，并以此第一空间坐标。

步骤506、确定第二像素坐标和第四像素坐标的距离。

计算确定第四像素坐标p4与第二像素坐标p2的距离，涉及到两点间的距离计算，是一个常规的数学计算过程，在此不做赘述。

步骤507、根据第二像素坐标和第四像素坐标的距离，确定优化的第一空间坐标。

结合图1所示实施例中的描述可知，理论上，如果第一空间坐标是足够精确的，那么第四像素坐标p4与第二像素坐标p2的距离应该为0。但实际上，此时第一空间坐标可能并不足够精确，所以第四像素坐标p4与第二像素坐标p2的距离往往并不为0。而此距离越大，说明第一空间坐标越不准确，相反距离越小，说明第一空间坐标越准确。所以本步骤中，将基于这一距离对第一空间坐标进行优化，具体可以根据最小二乘法实现优化。

具体来说，获取目标函数，目标函数为第二像素坐标与第四像素坐标的所有距离之和。需要说明的是，为了保证本实施例方法整体计算过程的准确性，所以通常参考点的数量选择为多个。例如本实施例中，即包括图3-3中所示A、B、C、D共4个参考点。那么可以理解的是，对于每个参考点均需要向后续帧图像进行投影，并计算得到相应的第二像素坐标和第四像素坐标。进而对于每个参考点，都能够确定对应的第二像素坐标与第四像素坐标的距离。也就是说在本实施例中，共计可以确定4个上述的距离。

而目标函数为所有距离之和，意味着目标函数能够综合的反映出各个参考点投影后的偏离程度。目标函数表达形式并不唯一，可以直接将所有距离求和，还可根据需要为各个参考点对应的距离配置不同的权重进而求和。本实施例中对此不做限定，凡是能够实现相同或类似功能的函数均可结合在本实施例整体技术方案中。另外针对参考点数量为1的特殊情况，也可以将1个参考点所对应的1个距离直接作为目标函数的结果。

然后调整第一空间坐标，以调整目标函数。调整第一空间坐标之后，第四像素坐标就会一起发生改变。相应的，第二像素坐标与第四像素坐标的所有距离之和，即目标函数也会相应改变。所以本实施例中可以调整第一空间坐标，以调整目标函数。

通过对于第一空间坐标不断的调整，直到目标函数满足预设条件，即第二像素坐标与第四像素坐标的所有距离之和最小时，将此时调整后的第一空间坐标确定为优化的第一空间坐标。本实施例中，将优化的第一空间坐标表示为P’。

通过以上技术方案可知，本实施例在图1所示实施例的基础上，进一步存在的有益效果是：详细公开了第一空间坐标的迭代优化计算过程，并实例性的描述了计算过程中涉及的数学表达，通过目标函数计算并调整第二像素坐标与第四像素坐标的所有距离之和，实现对于第一空间坐标的优化，使得本实施例对于第一空间坐标的优化更加准确。

示例性装置

图6是本公开一示例性实施例提供的平面标志物的坐标确定装置的结构示意图。本实施例装置，即用于执行图1～图5方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括：

第一像素坐标确定模块601，用于在当前帧图像中确定平面标志物的参考点的第一像素坐标。

第一空间坐标确定模块602，用于根据所述第一像素坐标确定所述参考点的第一空间坐标。

相机参数获取模块603，用于获取当前帧的后续帧图像对应的第一相机参数。

第二像素坐标确定模块604，用于在所述后续帧图像中确定平面标志物的参考点的第二像素坐标。

第二空间坐标确定模块605，用于根据所述第一相机参数、所述第一空间坐标和所述第二像素坐标，确定优化的第一空间坐标。

图7是本公开一示例性实施例提供的平面标志物的坐标确定装置中第一空间坐标确定模块602的结构示意图。如图7所示，在示例性实施例中，第一空间坐标确定模块602包括：

第三像素坐标确定单元711、用于在先前帧图像中确定平面标志物的参考点的第三像素坐标。

相机参数获取单元712、用于获取所述当前帧图像对应的第二相机参数以及获取所述先前帧图像对应的第三相机参数。

第一空间坐标确定单元713、用于根据所述第一像素坐标、所述第三像素坐标、第二相机参数及第三相机参数，确定所述第一空间坐标。

本公开一示例性实施例提供的平面标志物的坐标确定装置中，还可以包括参考点确定模块801。如图8所示，为参考点确定模块801的结构示意图。参考点确定模块801包括：

模板获取单元811、用于根据平面标志物的种类获取所述平面标志物在标志物数据库中的模板。

参考点获取单元812、用于将所述平面标志物与所述模板匹配，得到所述平面标志物的参考点。

图9是本公开一示例性实施例提供的平面标志物的坐标确定装置中第二空间坐标确定模块605的结构示意图。如图9所示，在示例性实施例中，第二空间坐标确定模块605包括：

第四像素坐标确定单元911、用于根据所述第一相机参数，将所述第一空间坐标投影到后续帧图像中，得到第四像素坐标。

第二空间坐标确定单元912、用于根据所述第二像素坐标和所述第四像素坐标，确定所述优化的第一空间坐标。

图10是本公开一示例性实施例提供的平面标志物的坐标确定装置中第二空间坐标确定单元912的结构示意图。如图10所示，在示例性实施例中，第二空间坐标确定单元912包括：

距离确定子单元1021、用于确定第二像素坐标和第四像素坐标的距离。

目标函数确定子单元1022、用于获取目标函数，目标函数为第二像素坐标与第四像素坐标的所有距离之和。

目标函数调整子单元1023、用于调整第一空间坐标，以调整目标函数。

空间坐标确定子单元1024、用于将所述目标函数满足预设条件时的第一空间坐标确定为优化的第一空间坐标。

示例性电子设备

下面，参考图11来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图11图示了根据本公开实施例的电子设备的框图。

如图11所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的平面标志物的坐标确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的平面标志物的坐标确定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的平面标志物的坐标确定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种平面标志物的坐标确定方法，包括：

在当前帧图像中确定平面标志物的参考点的第一像素坐标；

根据所述第一像素坐标确定所述参考点的第一空间坐标；

获取当前帧的后续帧图像对应的第一相机参数；

在所述后续帧图像中确定平面标志物的参考点的第二像素坐标；

根据所述第一相机参数、所述第一空间坐标和所述第二像素坐标，确定优化的第一空间坐标。

2.根据权利要求1所述方法，所述根据所述第一像素坐标确定所述参考点的第一空间坐标包括：

在先前帧图像中确定平面标志物的参考点的第三像素坐标；

获取所述当前帧图像对应的第二相机参数以及获取所述先前帧图像对应的第三相机参数；

根据所述第一像素坐标、所述第三像素坐标、第二相机参数及第三相机参数，确定所述第一空间坐标。

3.根据权利要求1或2所述方法，所述确定所述平面标志物的参考点包括：

根据平面标志物的种类获取所述平面标志物在标志物数据库中的模板；

将所述平面标志物与所述模板匹配，得到所述平面标志物的参考点。

4.根据权利要求2所述方法，所述根据所述第一相机参数、所述第一空间坐标和所述第二像素坐标，确定优化的第一空间坐标包括：

根据所述第一相机参数，将所述第一空间坐标投影到后续帧图像中，得到第四像素坐标；

根据所述第二像素坐标和所述第四像素坐标，确定所述优化的第一空间坐标。

5.根据权利要求4所述方法，所述根据所述第二像素坐标和所述第四像素坐标，确定所述优化的第一空间坐标包括：

确定所述第二像素坐标和所述第四像素坐标的距离；

根据所述第二像素坐标和所述第四像素坐标的距离，确定所述优化的第一空间坐标。

6.根据权利要求5所述方法，所述根据所述第二像素坐标和所述第四像素坐标的距离，确定所述优化的第一空间坐标包括：

获取目标函数，所述目标函数为所述第二像素坐标与所述第四像素坐标的所有距离之和；

调整所述第一空间坐标，以调整所述目标函数；

将所述目标函数满足预设条件时的第一空间坐标确定为优化的第一空间坐标。

7.一种平面标志物的坐标确定装置，包括：

第一像素坐标确定模块，用于在当前帧图像中确定平面标志物的参考点的第一像素坐标；

第一空间坐标确定模块，用于根据所述第一像素坐标确定所述参考点的第一空间坐标；

相机参数获取模块，用于获取当前帧的后续帧图像对应的第一相机参数；

第二像素坐标确定模块，用于在所述后续帧图像中确定平面标志物的参考点的第二像素坐标；

第二空间坐标确定模块，用于根据所述第一相机参数、所述第一空间坐标和所述第二像素坐标，确定优化的第一空间坐标。

8.根据权利要求7所述装置，所述第一空间坐标确定模块包括：

第三像素坐标确定单元，用于在先前帧图像中确定平面标志物的参考点的第三像素坐标；

相机参数获取单元，用于获取所述当前帧图像对应的第二相机参数以及获取所述先前帧图像对应的第三相机参数；

第一空间坐标确定单元，用于根据所述第一像素坐标、所述第三像素坐标、第二相机参数及第三相机参数，确定所述第一空间坐标。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的平面标志物的坐标确定方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6任一所述的平面标志物的坐标确定方法。

Images