CN111062233A - 标识物表示的获取方法、标识物表示的获取装置和电子设备 - Google Patents

Abstract

本申请提供一种标识物表示的获取方法，包括对获取的当前帧图像进行目标检测，获得当前帧图像中的当前帧标识物；对与所述当前帧标识物匹配的点云进行参数拟合，获得所述当前帧标识物的表示；基于历史帧标识物的表示，对所述当前帧标识物的表示进行优化，所述历史帧标识物是与当前帧标识物匹配的先前预定数目帧中的标识物。本申请还包括一种标识物表示的获取装置和电子设备及机动车。本申请利用语义分析图像序列中的当前帧图像中的标识物以及基于所获取的点云和标识物，匹配所述点云和所述当前帧标识物，获得所述点云中的点之间的约束关系，充分利用了标识物的结构信息，减少了拟合次数，优化了标识物表示，简化和加快了SLAM过程。

Description

标识物表示的获取方法、标识物表示的获取装置和电子设备

技术领域

本申请涉及视觉同步定位与地图构建(SLAM)领域，更具体地，本申请涉及一种标识物表示的获取方法、标识物表示的获取装置、电子设备及具有所述标识物表示的获取装置或电子设备的机动车。

背景技术

交通标识作为道路交通中的重要组成部分，用文字或符号为驾驶员提供引导、指示、警告及限制作用，自动识别交通标识是高级驾驶辅助系统设计中不可或缺的一部分。交通标识有其规范性，形状规则，可分为圆形、三角形、矩形和菱形等；颜色可分为蓝色、黄色、白色和红色等。

由于交通标识，例如标识牌和标识杆等属于较为规则的地标，高精度地图中往往只需标注它们的参数信息，例如标识牌的平面角点、标识杆的高度和宽度等信息，从而降低地图存储和访问的压力。

现有的SLAM算法主要通过分析图像帧中的特征点，获得大量的离散的三维点云，然后再通过点云拟合求出这些规则标识的参数信息。然而，在这种方案中，在处理点云时，各个点之间是相互独立的，没有考虑各点之间的约束关系，例如属于同一标识牌上的点应该位于空间一个平面上，属于同一标识杆上的点应该位于空间一条直线上，因而需要处理大量的点云，然后才能拟合出标识的参数信息。

因此，需要改进的标识物表示方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种标识物表示的获取方法、标识物表示的获取装置、电子设备和计算机可读的存储介质及机动车，其可以简单、快速地实现标识物的表示和标识物表示的获取。

根据本申请的一个方面，提出一种标识物表示的计算方法，所述方法包括：对获取的当前帧图像进行目标检测，获得当前帧图像中的当前帧标识物；和对与所述当前帧标识物匹配的点云进行参数拟合，获得所述当前帧标识物的表示。

在一些实施例中，对获取的当前帧图像进行目标检测包括：对图像采集设备获取的图像序列中的每帧图像进行语义分割，获得每帧图像中的标识物。

在一些实施例中，对与所述当前帧标识物匹配的点云进行参数拟合包括基于获得的点云和当前帧标识物的语义信息，匹配所述点云和所述当前帧标识物，获取所述点云中的点之间的相关关系，并据此对所述点云进行参数拟合。

在一些实施例中，所述方法还包括基于历史帧标识物的表示，对所述当前帧标识物的表示进行优化，其中所述历史帧标识物是与当前帧标识物匹配的先前预定数目帧中的标识物。

在一些实施例中，所述方法还包括：通过对双目相机的左、右目相机各自拍摄的图像进行匹配，获得左、右目相机各自拍摄的图像的匹配的点云。

在一些实施例中，所述方法还包括：通过单目相机获取图像帧序列，通过激光雷达获取每帧图像表示的同一区域的点云。

在一些实施例中，基于历史帧标识物的表示，对所述当前帧标识物的表示进行优化包括，通过迭代优化计算出优化的相机位姿和标识物的参数信息。

在一些实施例中，所述方法进一步包括：根据所述相机位姿和标识物的参数信息，获得矢量化地图。

在一些实施例中，所述标识物为规则标识。

在一些实施例中，所述规则标识为标识牌、标识杆。

在一些实施例中，所述表示为表示方程。

根据本申请的另一方面，提供一种标识物表示的获取装置，包括：目标检测模块，用于对获取的当前帧图像进行目标检测，获得当前帧图像中的当前帧标识物；参数拟合模块，用于对与所述当前帧标识物匹配的点云进行参数拟合，获得所述当前帧标识物的表示。

在一些实施例中，所述标识物表示的获取装置还包括优化模块，用于基于历史帧标识物的表示，对所述当前帧标识物的表示进行优化，所述历史帧标识物是与当前帧标识物匹配的先前预定数目帧中的标识物。

根据本申请的又一方面，提供一种电子设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行根据本申请的标识物表示的获取方法。

根据本申请的又一方面，提供一种计算机可读的存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行根据本申请的标识物表示的获取方法。

根据本申请的又一方面，提供一种机动车，包括：根据本申请的标识物表示的获取装置，或者根据本申请的电子设备。

与现有技术相比，根据本申请实施例的标识物表示的获取方法、标识物表示的获取装置、电子设备和计算机可读的存储介质以及机动车利用语义分析图像序列中的当前帧图像中的标识物以及基于所获取的点云和标识物，使所述点云中的点与当前帧图像中的标识物匹配，获得所述点云中的点之间的约束关系，从而充分利用了标识物的结构信息，减少了拟合次数，简化和加快了SLAM，而且，在地图描述和三维重建上，语义分析的规则标识也能够比特征点更清晰地重现实际的地图场景。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了根据本申请一实施例的标识物表示的获取方法的流程图。

图2示出了一交通标识牌的示意图。

图3示出了根据本申请一实施例的标识物表示的获取装置的示意图。

图4示出了根据本申请一实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，现有地图的制作过程中需要处理大量的孤立点的点云才能拟合出交通标志的参数信息，这使得计算量过大，增加了制作地图的硬件成本。

针对该技术问题，本申请的基本构思是提出一种标识物表示的获取方法、标识物表示的获取装置、电子设备和计算机可读的存储介质以及机动车，其可以通过对图像进行语义分析，获得图像中的标识物，并通过匹配标识物和点云，获得点云中的点之间的约束关系，并利用该约束关系对点云进行参数拟合，从而减少需要处理的点云数量，实现标识物的高效处理，因此本申请的技术方案减少了点云的处理量和拟合次数，从而高效地制作高清地图，降低制作成本。

需要说明的是，本申请的上述基本构思不仅可以应用于例如交通标志的规则标识，也可以应用于形状不规则的其它对象，例如通过对该对象进行切分、拼接等方式。为了便于理解本申请，下面以规则标识为例来说明本申请的各技术方案。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图1示出根据本申请一实施例的标识物表示的获取方法。如图1所示，根据本申请一实施例的标识物表示的获取方法100可始于步骤S110，对获取的当前帧图像进行目标检测，获得当前帧图像中的当前帧标识物。对获取的当前帧图像进行目标检测包括对获取的当前帧图像进行语义分割，获得当前帧图像中的当前帧标识物及其语义。

图像语义分割从字面意思上理解就是让计算机根据图像的语义来进行分割，在这里，分割的意思是从像素的角度分割出图像中的不同对象，对图像中的每个像素都进行标注。

在本申请中，利用例如SegNet的语义分割算法对图像序列的每帧图像进行语义分割处理，从而区分得到图像中的规则标识区域。

在这里，图像是通过图像采集设备，例如相机，拍摄的。相机也包括摄像机、摄像头等，可以是应用于各种行业、领域和场景的相机，例如但不限于安防监控、互动体感游戏、自动驾驶、环境3D建模等的相机，例如汽车上的环视系统或自动驾驶系统的相机、遥控飞机上的自动驾驶系统的相机、家用扫地机器人上安装的相机等。这里的相机可以是单目相机，也可以是双目相机，特别地，这里的相机还可以是更多目相机，在本申请中，为了简单起见，将更多目相机包含在双目相机的范畴中。在相机是单目相机时，需要借助于传感器，例如激光雷达等来获得相机拍摄的同一区域的点云。

接下来在步骤S120中，对与所述当前帧标识物匹配的点云进行参数拟合，获得当前帧标识物的表示。具体地，基于获得的点云和当前帧标识物，匹配点云中的点和当前帧标识物，获取与当前帧标识物相匹配的点云，并获取点云中的点之间的相关关系，或者称为约束关系，并据此对点云进行参数拟合。在这里，表示可以是表示方程、文字描述等。

在本申请中，标识物包括规则标识，例如标识牌、标识杆等，尤其是例如交通标识牌、交通标识杆等；还包括不规则标识，如本领域技术人员已知的，不规则标识可以通过切分成小的规则标识然后拼接的方式来形成。

图2示出了一交通标识牌的示意图。通过双目相机的左、右目相机分别拍摄图2所示的交通标识牌，并对双目相机的左、右目相机各自拍摄的图像进行匹配，获得图像的左、右目相机共同视野区域中的点云，或者称为局部点云。在另一实施例中，也可以通过单目相机获取图像序列，通过激光雷达获取每帧图像表示的同一区域的点云。

将所获得的点云和交通标识牌进行匹配，即将点云中的点与交通标识牌的语义信息进行匹配，获得点云中的点之间的相关关系，或者称为约束关系。以图2为例，图2所示的交通标识牌包含圆形轮廓，点云中的与所示圆形轮廓相对应的点构成二维圆形形状，即点云中的与所示圆形轮廓相对应的点具有到圆形轮廓的圆心的距离相同的约束关系：Ax²+By²+Cx+Dy+E＝0或者(x-a)²+(y-b)²＝r²，式中，圆心O(a，b)，半径r，其中，A、B、C、D和E，或者a、b和r即为计算得到的参数信息。据此，对点云进行参数拟合，获得当前帧标识物，即图2所示交通标识牌的表示方程。

在一些实施例中，根据本申请的标识物表示的获取方法还包括对步骤S120获得的标识物表示进行优化的优化步骤，具体地，基于历史帧标识物的表示，对所述当前帧标识物的表示进行优化，其中所述历史帧标识物是与当前帧标识物匹配的先前预定数目帧中的标识物。在这里，优化步骤包括通过迭代优化计算出优化的相机位姿和标识物的参数信息。

对于相机所拍摄的图像序列，I＝{I<1>,...,I<k>,...,I<N>}，其中I<k>是第k幅输入图像，图2所示的交通标识牌出现在多帧图像中，例如，I<k>、I<k+1>、I<k+2>、I<k+3>等多帧图像中。通过对图2所示的交通标识牌在这四帧图像中的表示方程进行迭代优化，计算出相机位姿：旋转矩阵R和平移向量T；和标识物的参数信息：A、B、C、D和E，或者a、b和r。在这里，优化方法可以采用但不限于梯度下降法、高斯-牛顿迭代法、共轭梯度法等，由于计算相机位姿的方法及上述优化方法是本领域的常用方法，在此不再赘述。当然，选取的符合要求的先前帧图像越多，优化效果越好，计算得到的相机位姿和标识物的参数信息越准确或越精确。

如果认为优化步骤中计算得到的相机位姿和标识物的参数信息不准确或不够精确，还可以返回到优化步骤以选取更多帧的先前图像，或者返回到步骤S120，重新进行参数拟合，并继续进行优化步骤的优化计算，直到获得满意的结果为止。

进一步地，根据所述相机位姿和标识物的参数信息，获得矢量化地图。

示例性装置

图3示出了根据本申请一实施例的标识物表示的获取装置的示意图。

如图3所示，根据本申请一实施例的标识物表示的获取装置200包括目标检测模块210、参数拟合模块220和优化模块230。

目标检测模块210可用于对获取的当前帧图像进行目标检测，获得当前帧图像中的当前帧标识物，例如从相机拍摄的当前帧图像获得当前帧图像中的当前帧标识物，例如但不限于图2所示的交通标识牌。

参数拟合模块220可用于基于获得的点云和所述当前帧标识物进行参数拟合，获得所述当前帧标识物的表示，例如基于双目相机或传感器获得的点云和图2所示的交通标识牌，获得图2所示的交通标识牌的表示，例如表示方程或者文字描述。

优化模块230可用于基于历史帧标识物的表示，对所述当前帧标识物的表示进行优化，所述历史帧标识物是与当前帧标识物匹配的先前预定数目帧中的标识物。如前所述，选取先前帧图像中包含该当前帧标识物的多帧先前的图像，利用这些先前帧图像中的标识物的表示，对当前帧标识物的表示进行优化。当然，选取的符合要求的先前帧图像越多，优化效果越好，计算得到的相机位姿和标识物的参数信息越准确或越精确。

虽然未示出，但是在一些实施例中，标识物表示的获取装置还包括地图构建模块，以根据计算得到的相机位姿和标识物的参数信息，获得矢量化地图。

由于标识物表示的获取装置200中的各个模块的具体功能和操作已经在上面参数图1和图2描述的标识物表示的获取方法中得到了详细说明，因此这里仅简要介绍，以避免重复描述。

示例性电子设备

下面，参考图4来描述根据本申请一实施例的电子设备300。如图4所示，电子设备300可包括处理器310和存储器320。

处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备300中的其他组件以执行期望的功能。

存储器320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器310可以运行所述程序指令，以实现上文所述的本申请的各个实施例的标识物表示的获取方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如相机的相关信息、传感器的相关信息以及驱动程序等各种内容。

在一个示例中，电子设备300还可以包括接口330、输入装置340和输出装置350，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

接口330可用于连接到需要进行外参标定的摄像机。例如，接口330可以是摄像头常用的USB接口，当然也可以是其他接口例如Type-C接口等。电子设备300可包括一个或多个接口330，以连接到相应的摄像机，并且从摄像机接收其所拍摄的图像以用于执行上面描述的外参标定过程。

输入装置340可用于接收外界输入，例如接收用户输入的物理点坐标值等。在一些实施例中，输入装置340可以是例如键盘、鼠标、手写板、触摸屏等。

输出装置350可以输出所计算的摄像机外参。例如，输出装置350可以包括显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。在一些实施例中，输入装置340和输出装置350可以是集成一体的触摸显示屏。

为了简化，图4中仅示出了电子设备300中与本申请有关的一些组件，而省略了一些相关外围或辅助组件。除此之外，根据具体应用情况，电子设备300还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的标识物表示的获取方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的标识物表示的获取方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (16)

1.一种标识物表示的获取方法，包括：

对获取的当前帧图像进行目标检测，获得当前帧图像中的当前帧标识物；和

对与所述当前帧标识物匹配的点云进行参数拟合，获得所述当前帧标识物的表示。

2.如权利要求1所述的方法，其中，所述对获取的当前帧图像进行目标检测包括：对获取的当前帧图像进行语义分割，获得当前帧图像中的当前帧标识物。

3.如权利要求1所述的方法，其中，所述对与所述当前帧标识物匹配的点云进行参数拟合包括基于获得的点云和当前帧标识物，匹配所述点云和所述当前帧标识物，获取所述点云中的点之间的相关关系，并据此对所述点云进行参数拟合。

4.如权利要求3所述的方法，其中，所述方法还包括：通过对双目相机的左、右目相机各自拍摄的图像进行匹配，获得左、右目相机各自拍摄的图像的匹配的点云。

5.如权利要求3所述的方法，其中，所述方法还包括：通过单目相机获取图像帧序列，通过激光雷达获取每帧图像表示的同一区域的点云。

6.如权利要求1所述的方法，还包括：

基于历史帧标识物的表示，对所述当前帧标识物的表示进行优化，其中所述历史帧标识物是与当前帧标识物匹配的先前预定数目帧中的标识物。

7.如权利要求6所述的方法，其中，所述基于历史帧标识物的表示，对所述当前帧标识物的表示进行优化包括，通过迭代优化计算出优化的相机位姿和标识物的参数信息。

8.如权利要求7所述的方法，所述方法进一步包括：

根据所述相机位姿和标识物的参数信息，获得矢量化地图。

9.如权利要求1所述的方法，其中，所述标识物为规则标识。

10.如权利要求9所述的方法，其中，所述规则标识为标识牌或标识杆。

11.如权利要求1所述的方法，其中，所述表示为表示方程。

12.一种标识物表示的获取装置，包括：

目标检测模块，用于对获取的当前帧图像进行目标检测，获得当前帧图像中的当前帧标识物；和

参数拟合模块，用于对与所述当前帧标识物匹配的点云进行参数拟合，获得所述当前帧标识物的表示。

13.如权利要求12所述表示的获取装置，还包括：

优化模块，用于基于历史帧标识物的表示，对所述当前帧标识物的表示进行优化，所述历史帧标识物是与当前帧标识物匹配的先前预定数目帧中的标识物。

14.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-11中任一项所述的标识物表示的获取方法。

15.一种计算机可读的存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-11中任一项所述的标识物表示的获取方法。

16.一种机动车，包括：

根据权利要求12或13所述的标识物表示的获取装置，或者

根据权利要求14所述的电子设备。

Images