CN113129437A - 一种标志物的空间坐标确定方法及装置 - Google Patents

Abstract

公开了一种标志物的空间坐标确定方法及装置，包括：确定标志物的参考点在当前帧图像上的第一像素坐标；根据所述第一像素坐标，确定所述标志物的参考点在第一空间坐标系中的第一空间坐标；确定所述标志物的参考点在当前帧图像对应的后续帧图像上的第二像素坐标；获得所述第一空间坐标投影到所述后续帧图像上的第三像素坐标；根据所述第一空间坐标、第二像素坐标和第三像素坐标，确定第二空间坐标，通过造价低廉的普通单目相机进行采集的当前帧图像和后续帧图像，结合特定运算方式确定了考点在第一空间坐标系中的准确坐标，解决了第一空间坐标准确性不符合要求的技术问题；同时避免使用高成本的激光雷达，降低了高精地图的绘制成本。

Description

一种标志物的空间坐标确定方法及装置

技术领域

本公开涉及图像分析技术领域，尤其涉及一种标志物的空间坐标确定方法及装置。

背景技术

不同于传统地图仅仅通过二维图像体现地貌、建筑、道路等要素，高精地图作为辅助驾驶/自动驾驶技术的重要组成部分，其更加注重“空间性”。在高精地图当中，各种标志物(例如路面上的指示箭头、车道线、和各种交通标志)都需要以结构化参数表示的形式体现。

现有技术中观测获取标志物的信息，往往通过激光雷达扫描，取得对应的标志物的点云图。进而基于点云图完成标志物的结构化参数表示的建立。但是激光雷达价格昂贵，所以大范围使用激光雷达扫描，将造成高精地图的绘制成本极其高昂。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种标志物的空间坐标确定方法及装置，以相机采集的图像为基础实现标志物的空间坐标确定。

根据本公开的第一个方面，提供了一种标志物的空间坐标确定方法，包括：

确定标志物的参考点在当前帧图像上的第一像素坐标；

根据所述第一像素坐标，确定所述标志物的参考点在第一空间坐标系中的第一空间坐标；

确定所述标志物的参考点在当前帧图像对应的后续帧图像上的第二像素坐标；

获得所述第一空间坐标投影到所述后续帧图像上的第三像素坐标；

根据所述第一空间坐标、第二像素坐标和第三像素坐标，确定第二空间坐标。

根据本公开的第二个方面，提供了一种标志物的空间坐标确定装置，包括：

第一像素坐标确定模块，用于确定标志物的参考点在当前帧图像上的第一像素坐标；

第一空间坐标确定模块，用于根据所述第一像素坐标，确定所述标志物的参考点在第一空间坐标系中的第一空间坐标；

第二像素坐标确定模块，用于确定所述标志物的参考点在当前帧图像对应的后续帧图像上的第二像素坐标；

第三像素坐标确定模块，用于获得所述第一空间坐标投影到所述后续帧图像上的第三像素坐标；

第二空间坐标确定模块，用于根据所述第一空间坐标、第二像素坐标和第三像素坐标，确定第二空间坐标。

根据本公开的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面中所述的标志物的空间坐标确定方法。

根据本公开的第四方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述第一方面中所述的标志物的空间坐标确定方法。

与现有技术相比，采用根据本公开提供的标志物的空间坐标确定方法及装置，通过造价低廉的普通单目相机进行采集的当前帧图像和后续帧图像，结合特定运算方式确定了考点在第一空间坐标系中的准确坐标，解决了第一空间坐标准确性不符合要求的技术问题；同时避免使用高成本的激光雷达，降低了高精地图的绘制成本。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为本公开一示例性实施例提供的标志物的空间坐标确定系统的结构示意图；

图2为本公开一示例性实施例提供的标志物的空间坐标确定系统中参考点坐标换算的示意图；

图3为本公开一示例性实施例提供的标志物的空间坐标确定方法的流程示意图；

图4为本公开一示例性实施例提供的标志物的空间坐标确定方法的流程示意图

图5为本公开一示例性实施例提供的标志物的空间坐标确定方法的流程示意图

图6为本公开一示例性实施例提供的标志物的空间坐标确定装置的结构示意图；

图7为本公开一示例性实施例提供的标志物的空间坐标确定装置中第一空间坐标确定模块的结构示意图；

图8为本公开一示例性实施例提供的标志物的空间坐标确定装置中第二空间坐标确定模块的结构示意图；

图9为本公开一示例性实施例提供的标志物的空间坐标确定装置中误差函数确定单元的结构示意图；

图10为本公开一示例性实施例提供的标志物的空间坐标确定装置中匹配子单元的结构示意图；

图11为本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

申请概述

前述已知，在高精地图当中，各种标志物(例如路面上的指示箭头、车道线、和各种交通标志)都需要以结构化参数表示的形式体现。现有技术在以结构化参数表示体现地面标志物时，往往通过激光雷达扫描，取得对应的标志物的点云图。进而基于点云图完成标志物的结构化参数表示的建立。但是因为通常地面上各种标志物的数量较多，而且激光雷达价格昂贵，所以大范围使用激光雷达扫描，将造成高精地图的绘制成本极其高昂。

有鉴于此，本公开提供的标志物的空间坐标确定方法及装置，将以廉价的单目相机即可采集的普通图像为基础，并结合特定的运算实现标志物的空间坐标的确定。从而为标志物的结构化参数表示的建立提供前提条件。

实例性系统

本公开涉及的标志物的空间坐标确定系统，通过相机采集的图像结合特定运算过程，实现对于标志物的空间坐标的确定。该系统的结构参照图1所示。

该系统将根据相机可以采集的当前帧图像和后续帧图像进行处理。其中，当前帧图像和后续帧图像中包括同一标志物，并且可确定该标志物上至少一个点作为参考点。

具体的，该系统将确定参考点在当前帧图像上实际呈现的第一像素坐标。同时，由于后续帧图像中同样包括该标志物及该参考点，所以还确定该参考点在后续帧图像上实际呈现的第二像素坐标。然后结合高精地图中世界坐标系与各个图像的平面坐标系的换算关系，进行相应的坐标换算，第一像素坐标换算得到参考点在世界坐标系中的第一空间坐标。但由于基于图像确定空间坐标的局限性，所以此时的第一空间坐标并不足够准确。因此该系统还需进一步进行坐标换算，通过第一空间坐标将参考点投影到后续帧图像中，得到第三像素坐标。如图2所示。

假如第一空间坐标足够准确，则显然参考点投影到后续帧图像上的位置，应当与参考点在后续帧图像上实际呈现的位置一致。也就是，第二像素坐标和第三像素坐标应当完全一致。但因为实际上此时的第一空间坐标并不足够准确，所以第二像素坐标和第三像素坐标必然会出现一定的误差。

可以理解的是，如果第一空间坐标越准确，第二像素坐标和第三像素坐标之间的误差便越小。所以该系统中可基于预设的误差函数对第一空间坐标进行反复调整，使得第二像素坐标和第三像素坐标之间的误差逐渐缩小。直到该误差满足特定条件，可认为此时调整后的第一空间坐标已经足够准确。即认为该系统完成了对于参考点的空间坐标的确定，并且确保了该空间坐标的准确性满足要求。

示例性方法

图3是本公开一示例性实施例提供的标志物的空间坐标确定方法的流程示意图。本实施例可应用在电子设备上，如图3所示，本实施例包括如下步骤：

步骤301、确定标志物的参考点在当前帧图像上的第一像素坐标。

本实施例中涉及的标志物通常是地面标志物。例如路面上绘制的斑马线、箭头标志、文字标志、车道线等。该标志物需确定空间坐标，并在后续需建立结构化参数表示的对象。理论上，标志物的参考点可以是标志物中的任意点，数量可以是一个或者多个。实际应用当中，通常选择标志物中几何特性较明确的点作为参考点，例如几何中心点、几何形状的顶点等。

当前帧图像，可以认为是由安装在当前可移动设备的图像采集装置采集的连续多帧的拍摄特定路面的图像中当前时刻的帧的图像，其中可移动设备包括汽车、物流小车、扫地机器人等。拍摄特定路面的图像，通常是制作高精地图过程中，用于确定各种路面信息的重要图像数据。本实施例中当前帧图像可通过造价低廉的普通单目相机进行采集，无需使用昂贵的激光雷达。

本实施例中，当前帧图像中包括该标志物。因此可通过图像分析技术，确定该标志物的参考点在当前帧图像所在的平面坐标系上的像素坐标，即第一像素坐标。通过图像分析技术确定第一像素坐标的过程在本实施例中不做限定。现有技术中任何能够实现相同或类似功能的图像分析技术，均可结合在本实施例中。

步骤302、根据第一像素坐标，确定标志物的参考点在第一空间坐标系中的第一空间坐标。

本实施例中涉及的第一空间坐标系，即世界坐标系，或者说是高精地图中所参考的空间坐标系。通常在采集当前帧图像的同时，会同时确定当前帧图像对应的相机位姿。而结合该相机位姿，能够建立第一空间坐标系与当前帧图像所在的平面坐标系之间的换算关系。基于该换算关系，即可将第一像素坐标进行换算，得到该参考点在第一空间坐标系中的坐标，即第一空间坐标。本实施例中对具体的坐标换算过程不做限定，任何能够实现相同或类似效果的算法，均可结合在本实施例整体方案中。

需要说明的是，当前帧图像是由普通的单目相机拍摄得到的普通图像。所以其中不包括深度信息，而且会受到拍摄视角、图像畸变等因素的影响。所以直接通过第一像素坐标进行坐标换算得到的第一空间坐标，通常准确性并不满足要求。也正是因此，现有技术中无法通过普通图像准确的确定标志物参考点的空间坐标。

步骤303、确定标志物的参考点在当前帧图像对应的后续帧图像上的第二像素坐标。

后续帧图像，同样是连续多帧的拍摄特定路面的图像中的某一帧图像，并且通常来说，后续帧图像在时序上处于当前帧图像之后，即当前时刻后的某个时刻对应的帧的图像。后续帧图像可通过普通单目相机进行采集。并且后续帧图像中同样包括了上述同一标志物及该标志物的参考点。因此，可同理确定该标志物的参考点在后续帧图像所在的平面坐标系上的像素坐标，即第二像素坐标。在此不重复叙述。

步骤304、获得第一空间坐标投影到后续帧图像上的第三像素坐标。

同样，在采集后续帧图像的同时，会同时确定后续帧图像对应的相机位姿。而结合该相机位姿，能够建立第一空间坐标系与后续帧图像所在的平面坐标系之间的换算关系。基于该换算关系，即可将第一空间坐标进行换算，即将第一空间坐标投影到后续帧图像所在的平面坐标系上，得到第三像素坐标。本实施例中对具体的坐标换算过程不做限定，任何能够实现相同或类似效果的算法，均可结合在本实施例整体方案中。

步骤305、根据第一空间坐标、第二像素坐标和第三像素坐标，确定第二空间坐标。

通过前述可知的是，第二像素坐标代表参考点在后续帧图像上实际呈现的位置。而第三像素坐标代表第一空间坐标向后续帧图像投影后所落在的位置。因为参考点本身是相同的点，那么假如第一空间坐标足够准确，则显然参考点投影到后续帧图像上的位置，应当与参考点在后续帧图像上实际呈现的位置一致。也就是，第二像素坐标和第三像素坐标应当完全一致。但实际上此时的第一空间坐标并不足够准确，所以第二像素坐标和第三像素坐标必然会出现一定的误差。

可以理解的是，如果第一空间坐标越准确，第二像素坐标和第三像素坐标之间的误差便越小。所以本步骤中可基于预设的误差函数对第一空间坐标进行反复调整，使得第二像素坐标和第三像素坐标之间的误差随着调整逐渐缩小。直到该误差满足特定条件，可认为此时调整后的第一空间坐标已经足够准确。

本实施例中将调整后的第一空间坐标确定为第二空间坐标，并认为第二空间坐标即是参考点在第一空间坐标系中的准确坐标。至此，本实施例中方法完成了对于参考点的空间坐标的确定，并且确保了该空间坐标的准确性满足要求。

通过以上技术方案可知，本实施例存在的有益效果是：通过造价低廉的普通单目相机进行采集的当前帧图像和后续帧图像，结合特定运算方式确定了考点在第一空间坐标系中的准确坐标，解决了第一空间坐标准确性不符合要求的技术问题；同时避免使用高成本的激光雷达，降低了高精地图的绘制成本。

如图3所示仅为本公开方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到方法的其他优选实施例。

如图4所示，是本公开另一示例性实施例提供的标志物的空间坐标确定方法的流程示意图。本实施例可应用在电子设备上。本实施例将在图3所示实施例的基础上，具体的描述对于相关的坐标换算过程。本实施例中，该方法具体包括如下步骤：

步骤401、确定标志物的参考点在当前帧图像上的第一像素坐标。

本实施例中，标志物为地面标志物，参考点位于地面上。则将第一像素坐标表示为p1。

步骤402、对第一像素坐标进行逆透视变换，获得标志物的参考点在第二空间坐标系中的第三空间坐标。

本步骤中涉及的第二空间坐标系，为拍摄当前帧图像的相机内置的坐标系。对平面坐标系中的第一像素坐标进行逆透视变换，即可得到参考点在第二空间坐标系中的第三空间坐标。本实施例中将第三空间坐标表示为pc。上述逆透视变换的计算过程为本领域所公知，在此不赘述。

步骤403、根据第三空间坐标，和当前帧图像的相机位姿，确定第一空间坐标。

结合当前帧图像的相机位姿，可将第二空间坐标系中的第三空间坐标转换到第一空间坐标系中，获得第一空间坐标。具体计算过程可参考以下公式：

pw＝Twc*pc；其中，pw代表第一空间坐标，Twc代表当前帧图像的相机位姿。

步骤404、确定标志物的参考点在当前帧图像对应的后续帧图像上的第二像素坐标。

本实施例中，将第二像素坐标表示为p2。

步骤405、获得第一空间坐标投影到后续帧图像上的第三像素坐标。

将第一空间坐标投影得到第三像素坐标的过程，可认为类似于通过第一像素坐标得到第一空间坐标的逆过程，只不过计算过程中涉及的当前帧图像的相机位姿应当置换成后续帧图像的相机位姿。在此不重复叙述。本实施例中，第三像素坐标表示为p3。

步骤406、获取第一空间坐标系的原点与地面之间的距离以及地面法向量。

第一空间坐标系的原点与地面之间的距离，以及地面法向量均可视为第一空间坐标系中的已知量。其中，第一空间坐标系的原点与地面之间的距离可表示为d，地面法向量可表示为n。

步骤407、根据第一空间坐标、第二像素坐标、第三像素坐标、第一空间坐标系的原点与地面之间的距离以及地面法向量，确定误差函数。

本实施例中，建立误差函数的过程具体可以是：将参考点对应的第二像素坐标和第三像素坐标匹配。可以理解的是，当标志物上存在多个参考点时，相应的将存在多个第二像素坐标和多个第三像素坐标。而该匹配的过程，即是确定哪个第二像素坐标和哪个第三像素坐标实际上表示同一参考点的过程。本实施例中，可根据各第二参考点与各第三参考点间的距离就近实现匹配。进而根据匹配成功的第二像素坐标、第三像素坐标、第一空间坐标、第一空间坐标系的原点与地面之间的距离以及地面法向量，确定误差函数。

确定误差函数具体可以根据匹配成功的第二像素坐标和第三像素坐标确定重投影误差；根据第一空间坐标、第一空间坐标系的原点与地面之间的距离以及地面法向量确定参考点到地面的约束距离；根据重投影误差和参考点到地面的约束距离确定误差函数。可参考如下公式：

E＝∑‖p2-p3‖₂+ω∑(n^Tpw+d)

其中，E代表误差函数的误差值，ω代表预设的权重系数，n^T代表地面法向量n的转置矩阵。则∑‖p2-p3‖₂代表重投影误差，ω∑(n^Tpw+d)代表参考点到地面的约束距离。

步骤408、调整第一空间坐标，以调整误差函数的误差值。

结合上述公式可以看出，误差值E代表了量化的第二像素坐标和第三像素坐标之间的偏离程度。并且可以理解的是，E的数值越小则意味着第一空间坐标pw的准确性越高。所以调整第一空间坐标pw，则误差指E也会随之被调整。

步骤409、若误差函数的误差值满足预设条件，将调整后的第一空间坐标确定为第二空间坐标。

本步骤中可对第一空间坐标进行反复调整，使得误差值E差随着调整逐渐缩小。直到误差指E满足预设条件，即小于预设的阈值时，可认为此时调整后的第一空间坐标pw已经足够准确。则将调整后的第一空间坐标pw确定为第二空间坐标pw’。并认为第二空间坐标pw’即是参考点在第一空间坐标系中的准确坐标。至此，本实施例中方法完成了对于参考点的空间坐标的确定，并且确保了该空间坐标的准确性满足要求。

如图5所示，是本公开另一示例性实施例提供的标志物的空间坐标确定方法的流程示意图。本实施例可应用在电子设备上。本实施例将在图4所示实施例的基础上，具体的描述第二像素坐标和第三像素坐标的匹配过程。

实际上，根据一个参考点的空间坐标通常不足以建立标志物的结构化参数表示。所以在应用中一般会选取多个参考点。而每个参考点会对应一个第二像素坐标和一个第三像素坐标。所以当参考点数量为多个时，第二像素坐标和第三像素坐标的数量亦为多个。而该匹配的过程，即是确定哪个第二像素坐标和哪个第三像素坐标实际上表示同一参考点的过程。实现匹配之后，才可进一步确定二者间的误差。

可以看出在图4所示的实施例中，第二像素坐标和第三像素坐标的匹配是根据各第二参考点与各第三参考点间的距离就近实现匹配。也就是，根据第二像素坐标和第三像素坐标的距离，确定第二像素坐标和第三像素坐标的第一匹配对。具体来说，可以是选择任一第二像素坐标，再找到与其距离最接近的一个第三像素坐标，并认为二者匹配。

根据匹配的第二像素坐标和第三像素坐标可建立第一匹配对。第一匹配对中包括的第二像素坐标和第三像素坐标，可作为图4所示实施例示出的公式中的p2和p3进行运算。

而上述方式中，仅通过距离对第二像素坐标和第三像素坐标进行匹配，准确性相对不足。所以本实施例在图4所示实施例的基础上优选的包括具体匹配过程如下步骤：

步骤501、根据第二像素坐标和第三像素坐标的距离，确定第二像素坐标和第三像素坐标的第二匹配对。

同样的，本实施例中首先进行就近匹配。也就是可以是选择任一第二像素坐标，再找到与其距离最接近的一个第三像素坐标，并对二者进行初步的匹配。初步匹配的结果，即是根据距离最接近的第二像素坐标和第三像素坐标建立第二匹配对。

步骤502、利用预设的单应矩阵对第二匹配对进行计算，从第二匹配对确定第一匹配对。

本实施例中还将对初步匹配得到的第二匹配对，进行进一步的精确匹配，或者说进行进一步筛选。具体的，可通过预设的单应矩阵对各个第二匹配对进行计算，从而剔除其中可能出现的错误匹配，筛选出满足特定要求的第二匹配对。并将筛选得到的第二匹配对作为第一匹配对。本步骤中的单应矩阵可以通过随机抽样一致算法(Random SampleConsensus，简称RANSAC)建立。对于单应矩阵的建立和计算过程为本领域中公知技术，在此不赘述。

由此，本实施例中实现了对于第二像素坐标和第三像素坐标更准确的匹配。

示例性装置

图6是本公开一示例性实施例提供的标志物的空间坐标确定装置的结构示意图。本实施例装置，即用于执行图3～图5方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括：

第一像素坐标确定模块601，用于确定标志物的参考点在当前帧图像上的第一像素坐标。

第一空间坐标确定模块602，用于根据第一像素坐标，确定标志物的参考点在第一空间坐标系中的第一空间坐标。

第二像素坐标确定模块603，用于确定标志物的参考点在当前帧图像对应的后续帧图像上的第二像素坐标。

第三像素坐标确定模块604，用于获得第一空间坐标投影到后续帧图像上的第三像素坐标。

第二空间坐标确定模块605，用于根据第一空间坐标、第二像素坐标和第三像素坐标，确定第二空间坐标。

图7是本公开另一示例性实施例提供的标志物的空间坐标确定装置中第一空间坐标确定模块602的结构示意图。如图7所示，在示例性实施例中，标志物的参考点位于地面上，则第一空间坐标确定模块602包括：

第三空间坐标确定单元711、用于对第一像素坐标进行逆透视变换，获得标志物的参考点在第二空间坐标系中的第三空间坐标。

第一空间坐标确定单元712，用于根据第三空间坐标，和当前帧图像的相机位姿，确定第一空间坐标。

图8是本公开另一示例性实施例提供的标志物的空间坐标确定装置中第二空间坐标确定模块605的结构示意图。如图8所示，在示例性实施例中，第二空间坐标确定模块605包括：

参数获取单元811，用于获取第一空间坐标系的原点与地面之间的距离以及地面法向量。

误差函数确定单元812，用于根据第一空间坐标、第二像素坐标、第三像素坐标、第一空间坐标系的原点与地面之间的距离以及地面法向量，确定误差函数。

调整单元813，用于调整第一空间坐标，以调整误差函数的误差值。

第二空间坐标确定单元814，用于在误差函数的误差值满足预设条件时，将调整后的第一空间坐标确定为第二空间坐标。

图9是本公开另一示例性实施例提供的标志物的空间坐标确定装置中误差函数确定单元812的结构示意图。如图9所示，在示例性实施例中，误差函数确定单元812包括：

匹配子单元921，用于将参考点对应的第二像素坐标和第三像素坐标匹配。

重投影误差确定子单元922，用于根据匹配成功的第二像素坐标和第三像素坐标确定重投影误差。

约束距离确定子单元923，用于根据第一空间坐标、第一空间坐标系的原点与地面之间的距离以及地面法向量确定参考点到地面的约束距离。

误差函数确定子单元924，用于根据重投影误差和参考点到地面的约束距离确定误差函数。

图10是本公开另一示例性实施例提供的标志物的空间坐标确定装置中匹配子单元921的结构示意图。如图10所示，在示例性实施例中匹配子单元921包括：

第二匹配对确定子单元1031，用于根据第二像素坐标和第三像素坐标的距离，确定第二像素坐标和第三像素坐标的第二匹配对。

第一匹配对确定子单元1032，用于利用预设的单应矩阵对第二匹配对进行计算，从第二匹配对确定第一匹配对。

示例性电子设备

下面，参考图11来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图11图示了根据本公开实施例的电子设备的框图。

如图11所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的标志物的空间坐标确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的标志物的空间坐标确定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的标志物的空间坐标确定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种标志物的空间坐标确定方法，包括：

确定标志物的参考点在当前帧图像上的第一像素坐标；

根据所述第一像素坐标，确定所述标志物的参考点在第一空间坐标系中的第一空间坐标；

确定所述标志物的参考点在当前帧图像对应的后续帧图像上的第二像素坐标；

获得所述第一空间坐标投影到所述后续帧图像上的第三像素坐标；

根据所述第一空间坐标、第二像素坐标和第三像素坐标，确定所述标志物的参考点的第二空间坐标。

2.根据权利要求1所述方法，其中，所述标志物的参考点位于地面上，所述根据所述第一像素坐标，确定所述标志物的参考点在第一空间坐标系中的第一空间坐标包括：

对所述第一像素坐标进行逆透视变换，获得所述标志物的参考点在第二空间坐标系中的第三空间坐标；

根据所述第三空间坐标，和所述当前帧图像的相机位姿，确定所述第一空间坐标。

3.根据权利要求1所述方法，其中，所述根据所述第一空间坐标、第二像素坐标和第三像素坐标进行计算，确定所述第二空间坐标包括：

获取所述第一空间坐标系的原点与地面之间的距离以及地面法向量；

根据所述第一空间坐标、第二像素坐标、第三像素坐标、所述第一空间坐标系的原点与地面之间的距离以及地面法向量，确定误差函数；

调整所述第一空间坐标，以调整所述误差函数的误差值；

若所述误差函数的误差值满足预设条件，将调整后的第一空间坐标确定为所述第二空间坐标。

4.根据权利要求3所述方法，其中，所述根据所述第一空间坐标、第二像素坐标、第三像素坐标、所述第一空间坐标系的原点与地面之间的距离以及地面法向量，确定误差函数包括：

将参考点对应的所述第二像素坐标和第三像素坐标匹配；

根据匹配成功的第二像素坐标、第三像素坐标、第一空间坐标、所述第一空间坐标系的原点与地面之间的距离以及地面法向量，确定误差函数。

5.根据权利要求4所述方法，其中所述根据匹配成功的第二像素坐标、第三像素坐标、第一空间坐标、所述第一空间坐标系的原点与地面之间的距离以及地面法向量，确定误差函数包括：

根据所述匹配成功的第二像素坐标和第三像素坐标确定重投影误差；

根据所述第一空间坐标、所述第一空间坐标系的原点与地面之间的距离以及地面法向量确定所述参考点到地面的约束距离；

根据所述重投影误差和所述参考点到地面的约束距离确定所述误差函数。

6.根据权利要求4所述方法，其中，所述将参考点对应的所述第二像素坐标和第三像素坐标匹配包括：

根据所述第二像素坐标和所述第三像素坐标的距离，确定所述第二像素坐标和所述第三像素坐标的第一匹配对。

7.根据权利要求5所述方法，其中，所述根据所述第二像素坐标和所述第三像素坐标的距离，确定所述第二像素坐标和所述第三像素坐标的第一匹配对包括：

根据所述第二像素坐标和所述第三像素坐标的距离，确定所述第二像素坐标和所述第三像素坐标的第二匹配对；

利用预设的单应矩阵对所述第二匹配对进行计算，从所述第二匹配对确定第一匹配对。

8.一种标志物的空间坐标确定装置，包括：

第一像素坐标确定模块，用于确定标志物的参考点在当前帧图像上的第一像素坐标；

第一空间坐标确定模块，用于根据所述第一像素坐标，确定所述标志物的参考点在第一空间坐标系中的第一空间坐标；

第二像素坐标确定模块，用于确定所述标志物的参考点在当前帧图像对应的后续帧图像上的第二像素坐标；

第三像素坐标确定模块，用于获得所述第一空间坐标投影到所述后续帧图像上的第三像素坐标；

第二空间坐标确定模块，用于根据所述第一空间坐标、第二像素坐标和第三像素坐标，确定第二空间坐标。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的标志物的空间坐标确定方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的标志物的空间坐标确定方法。

Images