CN111145248A - 位姿信息确定方法、确定装置和电子设备 - Google Patents

位姿信息确定方法、确定装置和电子设备 Download PDF

Info

Publication number
CN111145248A
CN111145248A CN201811313284.4A CN201811313284A CN111145248A CN 111145248 A CN111145248 A CN 111145248A CN 201811313284 A CN201811313284 A CN 201811313284A CN 111145248 A CN111145248 A CN 111145248A
Authority
CN
China
Prior art keywords
marker
pose information
map
current frame
information determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811313284.4A
Other languages
English (en)
Other versions
CN111145248B (zh
Inventor
杨帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN201811313284.4A priority Critical patent/CN111145248B/zh
Publication of CN111145248A publication Critical patent/CN111145248A/zh
Application granted granted Critical
Publication of CN111145248B publication Critical patent/CN111145248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种位姿信息确定方法、确定装置、电子设备和计算机可读的存储介质。根据一实施例,一种位姿信息确定方法包括匹配图像获取设备获取的当前帧图像中的标识物与矢量化地图中的标识物;当所述当前帧图像中的标识物与所述矢量化地图中的所述标识物匹配成功时,确定当前帧图像中的匹配成功的标识物的观测包围框;基于所述观测包围框与所述矢量化地图中的标识物的表示,确定所述图像获取设备的位姿信息。采用上述位姿信息确定方法,可以通过匹配当前帧图像中的标识物的表示与矢量化地图中的标识物的表示,从而优化图像获取设备的位姿信息。

Description

位姿信息确定方法、确定装置和电子设备
技术领域
本申请涉及计算机视觉领域,具体地,本申请涉及一种位姿信息确定方法、位姿信息确定装置和电子设备以及计算机可读的存储介质。
背景技术
在无人驾驶情形中,无人交通工具常常需要实时定位自己的位置和朝向信息(即位姿信息)。在现有技术中,基于传统的高精度数字地图配合高精度传感器(通常是比较昂贵的激光雷达和高端组合导航系统),通过高精度传感器采集实时数据并与高精度数字地图进行点匹配,从而得到高精度定位,然而,这种方式需要进行点匹配,计算量大,计算成本高实用性较低。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种。位姿信息确定方法、位姿信息确定装置和电子设备及计算机可读的存储介质,其可以高效准确地获得图像获取设备的位姿信息。
根据本申请的一个方面,提供了一种位姿信息确定方法,包括匹配图像获取设备获取的当前帧图像中的标识物与矢量化地图中的标识物;当所述当前帧图像中的标识物和所述矢量化地图中的标识物匹配时,确定当前帧图像中的匹配成功的标识物的观测包围框;以及基于所述观测包围框与所述矢量化地图中的标识物的表示,确定所述图像获取设备的位姿信息。
根据本申请的另一方面,提供了一种位姿信息确定装置,包括匹配模块,用于匹配所述图像获取设备的当前帧图像中的标识物和矢量化地图中的标识物;观测包围框确定模块,用于当所述当前帧图像中的标识物与所述矢量化地图中的标识物匹配成功时,确定当前帧图像中的匹配成功标识物的观测包围框;和位姿信息确定模块,用于所述观测包围框与矢量化地图中的标识物的表示,确定所述图像获取设备的位姿信息。
根据本申请的又一方面,提供了一种电子设备,包括处理器和存储器,在所述存储器上存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行根据本申请提出的位姿信息确定方法。
根据本申请的又一方面,提供了一种计算机可读的存储介质,其上存储有用于执行根据本申请提出的位姿信息确定方法的指令。
与现有技术相比,采用根据本申请实施例的位姿信息确定方法、位姿信息确定装置、和电子设备,可以通过分析图像获取设备获取的当前帧图像中的标识物,并且与从矢量化地图提取的当前局部地图中的标识物进行匹配,若当前帧图像中的标识物与当前局部地图中的标识物匹配,计算图像获取设备的位姿信息。因此,可以通过匹配图像中的标识物,从而获取和/或优化图像获取设备的位姿信息。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的位姿信息确定方法的应用场景示意图;
图2图示了根据本申请实施例的位姿信息确定方法的流程图。
图3图示了根据本申请实施例的标识物匹配步骤的流程图。
图4图示了根据本申请实施例的基于观测包围框与矢量化地图中的标识物的表示来确定图像获取设备的位姿信息的流程图。
图5图示了IOU的示意图。
图6图示了根据本申请实施例的位姿信息确定装置的框图。
图7图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述
如上所述,现有的高精度定位方法存在以下问题:
1)支撑设备复杂昂贵,无论是GPS定位、AGPS定位,还是基站定位、WIFI定位等方式,都需要昂贵的配套设施,即使传统的高精度地图定位法也需要高端的组合导航系统和昂贵的激光雷达等高成本设备;
2)定位精度差,由于传统定位方法中对信号的要求较高,信号容易受到干扰,因而定位精度较低,误差较大;
3)计算成本高,由于传统的位姿信息确定方法采用至少两帧图像之间点匹配的方式,计算量大。
针对现有技术中存在的技术问题,本申请的基本构思是提出一种位姿信息确定方法、位姿信息确定装置、电子设备和计算机可读的存储介质,通过根据一个粗略的当前位置,以及当前帧图像中的标识物的语义信息与语义地图中的标识物的语义信息的匹配关系来优化图像获取设备的真实位姿;如果未发现当前采集图像与语义地图成功匹配,则不进行定位,直到之后某一时刻采集的图像能跟语义地图成功匹配。换言之,在本申请中,可以在预先构建好语义地图的情形下,将当前帧图像和根据当前位置提取的局部地图针对标识物进行匹配,进而进行位姿解算,即通过结构化语义标识进行位姿计算。由于充分利用现有的交通基础设施,因此具有成本低、适用范围广的优点。
需要说明的是,本申请的上述基本构思不但可以应用于无人驾驶,也可以应用于其它领域,例如智能家居、智能穿戴等领域。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性场景
图1图示了根据本申请实施例的位姿信息确定方法的应用场景的示意图。如图1所示,车辆10可包括图像获取设备,例如车载相机12,其可以是常用的单目相机、双目相机、或者更多目相机。虽然图1示出了车载相机12安装于车辆10的顶部,但是应理解,车载相机亦可安装于车辆10的其他位置处,例如车头部分处、前挡风玻璃处,等等。
图1中所示的坐标系是车载相机局部坐标系(Xc,Yc,Zc),其中Zc轴的方向为车载相机的光轴方向,Yc轴方向为垂直于Zc轴向下的方向,Xc轴方向为垂直于Yc轴和Zc轴的方向。
这里,车辆10可包括位姿信息确定装置14,位姿信息确定装置14可与图像获取设备通信,并用来执行本申请提供的位姿信息确定方法。在一实施例中,车载相机12在车辆10的行驶过程中,连续拍摄视频图像,位姿信息确定装置14获得车载相机12拍摄的图像,并通过语义匹配拍摄的图像和已经建好的语义地图,并在二者匹配时计算车载相机12的位姿信息:旋转矩阵R和平移向量t,其中,平移向量t是三维向量,表示车载相机12的当前位置相对于原点的位置,旋转矩阵R是3*3矩阵,表示车载相机12的当前姿态,旋转矩阵R也可以表示成欧拉角(ψ,θ,
Figure BDA0001855582870000041
)的形式,其中ψ表示绕Y轴旋转的航向角(yaw),θ表示沿X轴旋转的俯仰角(pitch),
Figure BDA0001855582870000042
表示沿Z轴旋转的滚转角(roll)。
通过位姿信息确定装置14执行本申请提出的位姿信息确定方法,可以确定车载相机12的位姿关系,进而对车载相机12进行定位。
示例性方法
图2是本申请一示例性实施例提供的位姿信息确定方法的流程示意图。如图2所示,根据本申请一实施例的位姿信息确定方法100包括:
S110,匹配图像获取设备获取的当前帧图像中的标识物与矢量化地图中的标识物。
当图像获取设备在环境例如道路中移动时,图像获取设备可以同时捕捉当前环境的图像数据。其中,图像获取设备可以是任何类型的摄像头,该摄像头可以是相机,例如单目相机、两目相机、多目相机等。在图1的示例中,图像获取设备显示为车载相机12。例如,该摄像头所采集到的图像数据可以是连续图像帧序列(即,视频流)或离散图像帧序列(即,在预定采样时间点采样到的图像数据组)等。当然,本领域中已知的以及将来可能出现的任何其他类型的相机都可以应用于本申请,本申请对其捕捉图像的方式没有特别限制,只要能够获得清晰的图像即可。
在一实施例中,本申请中的标识物可遵循一定规范并具有特定的语义。例如,它可能是车道及车道线、路面标识、交通标识、红绿灯、人行横道等;它也可能具有特定的几何形状,例如圆形、正方形、三角形、长条形等。在一实施例中,标识物可通过自身的线条来体现出它的含义,例如,标识牌上可能画有表示停止标记、慢行标记、前方落石标记等的线条,用这些线条相应地体现它的含义:停止标记、慢行标记、前方落石标记等。
在一实施例中,所述矢量化地图是已经构建好的把栅格数据转换成矢量数据的地图或其局部地图,其中含有已经标注的标识物。
在一个示例中,所述当前帧图像中可包含至少一个标识物,所述匹配成功表示当前帧图像中存在的至少一个标识物中的任意一个或多个与所述矢量化地图中的标识物匹配成功。
在一个示例中,图像获取设备获取的当前帧图像中的标识物与矢量化地图中的标识物可以就各自标识物的语义进行匹配,还可以就各自标识物的点云信息进行匹配。例如,首先确定所述图像获取设备获取的当前帧图像中的标识物的点云信息,然后基于点云信息,从所述矢量化地图中确定与所述当前帧图像中的标识物相匹配的标识物,如图像获取设备获取的当前帧图像中存在一建筑物,从当前帧图像中提取关于该建筑物的点云信息并与矢量化地图中的标识物的点云信息进行匹配。关于就标识物的语义来匹配当前帧图像中的标识物与矢量化地图中的标识物,将在下面详细描述。
步骤S120,当所述当前帧图像中的标识物与所述矢量化地图中的标识物匹配成功时,确定当前帧图像中的匹配成功的标识物的观测包围框。
在当前帧图像中,标识物的观测包围框包围标识物的轮廓。例如,如果标识物是三角形的交通标识牌,标识物的观察包围框包围三角形的交通标识牌的外轮廓。关于标识物的轮廓的提取,可以采用例如基于区域、边缘、活动轮廓或者视觉特征的方法等,例如利用opencv中的findcontour和drawcontour来提取当前帧图像中标识物的轮廓。
步骤S130,基于所述观测包围框与所述矢量化地图中的标识物的表示,确定所述图像获取设备的位姿信息。
在一实施例中,标识物的表示可以是标识物的表示方程等。例如,标识物是一圆形标识牌,这个标识牌可以用表示这个圆形标识牌的方程来表示,例如,圆形轮廓的交通标识牌的表示方程:Ax2+By2+Cx+Dy+E=0或者(x-a)2+(y-b)2=r2,式中,圆心O(a,b),半径r,其中,A、B、C、D和E,或者a、b和r即为圆形方程的参数信息。标识物的表示也可以是文字描述,例如,若标识物是一圆形轮廓的交通标识牌,标识物的表示可以表述为“圆形轮廓的交通标识牌,半径r为12cm”或者“圆形轮廓交通标识牌,上面有停止标记”等。
在一个示例中,可以将所述矢量化地图中的标识物的表示转换到当前帧图像中,基于转换后的矢量化地图中的标识物的表示与观测包围框确定所述图像获取设备的位姿信息。例如,车辆行驶到一个三角形交通标识牌前时,图形获取设备得到三角形交通标识牌的图像,若当前帧图像中的三角形交通标识牌与矢量化地图中的某标识物匹配成功,将矢量化地图中的标识物的表示方程所表示的图形投影到当前图像中得到一投影图形,根据该投影图形与该观测包围框之间重合程度,确定图像获取设备的位姿信息。
在一个示例中,可以将观测包围框转换到矢量地图中,基于转换后的观测包围框与矢量化地图中的标识物的表示确定所述图像获取设备的位姿信息。例如,车辆行驶到一个三角形交通标识牌前时,图形获取设备得到三角形交通标识牌的图像,若当前帧图像中的三角形交通标识牌与矢量化地图中的某标识物匹配成功,将当前帧图像中的三角形交通标识牌的观测包围框投影到矢量化地图中得到一投影图形,根据该投影图形与矢量化地图中的标识物的表示方程所表示的图形之间的重合程度,确定图像获取设备的位姿信息。当然,在这里,也可以将当前帧图像中的标识物先投影到矢量化地图中,然后再提取经投影得到的图形的观测包围框。
在本申请的实施例中,通过当前帧图像中的标识物和矢量化地图中的标识物相匹配,计算图像获取设备的位姿信息,无需使用昂贵的高精度传感器,就可以获取图像获取设备的位姿信息及图像获取设备的位置信息,从而降低了成本,适用范围广。
在一个示例中,如图3所示,步骤S110包括:
子步骤S1101,确定所述图像获取设备获取的当前帧图像中的标识物的语义信息。
这里,标识物的语义信息可以是各个标识物的形状、尺寸、朝向等空间属性信息。此外,标识物的语义信息可以是各个标识物的类别属性信息,例如,每个标识物究竟是可行道路、路沿、车道及车道线、交通标识、路面标识、红绿灯、停止线、人行横道、路边树木或柱子等中的哪一种。此外,标识物的语义信息还可以是标识物的颜色等信息。
在一示例中,可以对所述当前帧图像进行语义分割,获取所述当前帧图像中的标识物及其语义信息。例如采用随机森林分类器来进行点云的语义分割。
子步骤S1102,基于语义信息,从所述矢量化地图中确定与所述当前帧图像中的标识物相匹配的标识物。
矢量化地图上包含了当前环境中都包括哪些道路、在各道路上都具有哪些标识物,例如可行道路、路沿、车道及车道线、交通标识、路面标识、红绿灯、人行横道、停止线、路边树木、路边柱子等,及其相应的语义信息,例如位置、尺寸、朝向、类别等。
依据当前帧图像中的标识物的形状、尺寸、朝向等信息匹配矢量地图中的标识物,根据各匹配结果的置信度和权重计算匹配分数,设置匹配阈值来确定是否匹配成功。
在一个示例中,如图4所示,步骤S130包括:
子步骤S1301,基于匹配成功的所述矢量化地图的标识物的表示,在所述当前帧图像中确定投影包围框。
在一个示例中,首先,计算当前相机坐标系下的矢量化地图中的标识物的表示方程Lcam:Lcam=f(R,t,Lw),式中,R表示所述图像获取设备的位姿信息的旋转矩阵,t表示所述图像获取设备的位姿信息的三维平移向量,Lw表示所述矢量化地图中的标识物在世界坐标系下的表示方程。
其次,计算矢量化地图中的标识物的表示方程投影在当前帧图像中的当前帧图像投影包围框BB’=K*Lcam,其中,K表示相机内参。
在一个示例中,也可以先将矢量化地图中的标识物的表示方程投影到当前帧图像中,然后再转换到当前相机坐标系下。
子步骤S1302,基于所述投影包围框与所述观测包围框的相对位置关系,确定所述图像获取设备的当前位姿信息。
在一个示例中,通过不断调整参数(R,t),使所述投影包围框BB’与所述当前帧图像中的标识物观测包围框BB最大程度重叠,计算此时所述当前帧图像的位姿信息,即(R,t)=argmaxR,t‖BB′-BB‖IOU
其中,IOU是Intersection-over-Union的首字母缩写,目标检测中使用的一个概念,表示交并比:产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率,即它们的交集与并集的比值。最理想情况是完全重叠,即比值为1。所以,距离最小对应于交并比最大,或者最大程度的重叠。图5中示出了矩形A、矩形B以及矩形A和B的交叠部分A∩B,IOU是矩形框A、B的重叠面积占A、B并集的面积比例,即IOU=area(A∩B)/area(A∪B)。
在一个示例中,还可以计算投影包围框与观测包围框重心位置之间的距离,不断调整参数(R,t),使所述投影包围框BB’与所述当前帧图像中的标识物观测包围框BB重心位置之间的距离最小,计算此时所述当前帧图像的位姿信息。
在一个示例中,根据本申请的位姿信息确定方法还包括根据所述图像获取设备的当前位置从矢量化地图中提取当前局部地图。在本示例中,通过从矢量化地图,例如全局语义地图,提取图像获取设备的当前位置的局部地图,并使之与图像获取设备所获取的图像匹配,能够最大程度地降低匹配的成本。
在一个示例中,根据本申请的位姿信息确定方法中,所述当前位置可以为基于所述图像获取设备的先前时刻的先验位置信息估计的图像获取设备的当前时刻的位置信息。当然,当前位置的获取也可以通过现有技术中已知的手段获得,例如利用GPS或AGPS等方式。在本示例中,通过获取图像获取设备当前的位置,就能够从矢量化地图提取局部地图。
在一个示例中,所述标识物可以为规则标识。在进一步的示例中,所述规则标识可以为标识牌或标识杆。在本申请中,标识物包括规则标识,例如标识牌、标识杆等,尤其是例如交通标识牌、交通标识杆等;还包括不规则标识,如本领域技术人员已知的,不规则标识可以通过切分成小的规则标识然后拼接的方式来形成。在该示例中,由于标识物为规则标识,更进一步地,规则标识为标识牌或标识杆,利用了基础交通设施,因而该示例的适用范围广,精度更准确,执行速度更快。
示例性装置
图6图示了根据本申请实施例的位姿信息确定装置的框图。如图所示,根据本申请实施例的位姿信息确定装置200包括匹配模块210、观测包围框确定模块220和位姿信息计算模块230。其中,匹配模块210用于匹配所述图像获取设备获取的当前帧图像中的标识物与当前地图中的标识物;观测包围框确定模块220用于当所述当前帧图像中的标识物与所述矢量化地图中的标识物匹配成功时,确定当前帧图像中的匹配成功的标识物的观测包围框;位姿信息计算模块230用于基于所述观测包围框与矢量化地图中的标识物的表示,确定所述图像获取设备的位姿信息。
在一个示例中,在根据本申请实施例的位姿信息确定装置200中,匹配模块210包括:
当前帧图像分析单元,用于确定所述图像获取设备获取的当前帧图像中的标识物的语义信息。
标识物匹配单元,用于基于语义信息,从所述矢量化地图中确定与所述当前帧图像中的标识物相匹配的标识物。
在一个示例中,在根据本申请实施例的位姿信息确定装置200中,位姿信息计算模块230包括:
投影包围框计算单元,用于基于匹配成功的所述矢量化地图的标识物的表示,在所述当前帧图像中确定投影包围框;
位姿信息确定单元,用于基于所述投影包围框与所述观测包围框的重叠信息,确定所述图像获取设备的当前位姿信息。
在一个示例中,根据本申请实施例的位姿信息确定装置200还包括当前地图提取模块,用于根据所述图像获取设备的当前位置从矢量化地图中提取当前局部地图。
在一个示例中,在根据本申请实施例的位姿信息确定装置200中,当前位置可以为基于所述图像获取设备的先前时刻的先验信息估计的图像获取设备的当前时刻的位置信息。
在一个示例中,在根据本申请实施例的位姿信息确定装置200中,所述标识物的表示可以为标识物的表示方程。
在一个示例中,在根据本申请实施例的位姿信息确定装置200中,所述标识物可以为规则标识。在进一步的示例中,所述规则标识可以为标识牌或标识杆。
由于位姿信息确定装置200中的各个模块的具体功能和操作已经在上面参数图1至图5描述的位姿信息确定方法中得到了详细说明,因此这里仅简要介绍,以避免重复描述。
示例性电子设备
图7图示了根据本申请实施例的电子设备300的结构框图。下面,参考图7来描述根据本申请实施例的电子设备300,该电子设备300可以实现为图1所示的车辆10中的位姿信息确定装置14,其可以与车载相机12进行通信,以接收车载相机12输出的信号。
如图7所示,电子设备300包括一个或多个处理器310和存储器320。
处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备300中的其他组件以执行期望的功能。如图7所示,电子设备300包括一个或多个处理器310和存储器320。
处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备300中的其他组件以执行期望的功能。
存储器320可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器310可以运行所述程序指令,以实现上文所述的本申请的各个实施例的位姿信息确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如相机的相关信息、传感器的相关信息以及驱动程序等各种内容。
在一个示例中,电子设备300还可以包括接口330、输入装置340和输出装置350,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
接口330可用于连接到需要进行外参标定的摄像机。例如,接口330可以是摄像头常用的USB接口,当然也可以是其他接口例如Type-C接口等。电子设备300可包括一个或多个接口330,以连接到相应的摄像机,并且从摄像机接收其所拍摄的图像以用于执行上面描述的外参标定过程。
输入装置340可用于接收外界输入,例如接收用户输入的物理点坐标值等。在一些实施例中,输入装置340可以是例如键盘、鼠标、手写板、触摸屏等。
输出装置350可以输出所计算的摄像机外参。例如,输出装置350可以包括显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。在一些实施例中,输入装置340和输出装置350可以是集成一体的触摸显示屏。
为了简化,图7中仅示出了电子设备300中与本申请有关的一些组件,而省略了一些相关外围或辅助组件。除此之外,根据具体应用情况,电子设备300还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的位姿信息确定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的位姿信息确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种位姿信息确定方法,包括:
匹配图像获取设备获取的当前帧图像中的标识物与矢量化地图中的标识物;
当所述当前帧图像中的标识物与所述矢量化地图中的所述标识物匹配成功时,确定当前帧图像中的匹配成功的标识物的观测包围框;以及
基于所述观测包围框与所述矢量化地图中的标识物的表示,确定所述图像获取设备的位姿信息。
2.根据权利要求1所述的位姿信息确定方法,其中,所述匹配图像获取设备获取的当前帧图像中的标识物与矢量化地图中的标识物,包括:
确定所述图像获取设备获取的当前帧图像中的标识物的语义信息;
基于所述语义信息,从所述矢量化地图中确定与所述当前帧图像中的标识物相匹配的标识物。
3.根据权利要求1所述的位姿信息确定方法,其中,所述基于所述观测包围框与所述矢量化地图中的标识物的表示,确定所述图像获取设备的位姿信息,包括:
基于匹配成功的所述矢量化地图的标识物的表示,在所述当前帧图像中确定投影包围框;和
基于所述投影包围框与所述观测包围框的相对位置关系,确定所述图像获取设备的当前位姿信息。
4.根据权利要求1所述的位姿信息确定方法,还包括:
根据所述图像获取设备的当前位置从矢量化地图中提取当前局部地图。
5.根据权利要求4所述的位姿信息确定方法,其中,所述当前位置为基于所述图像获取设备的先前时刻的先验位置信息估计的图像获取设备的当前时刻的位置信息。
6.根据权利要求1所述的计算方法,其中,所述标识物的表示为标识物的表示方程。
7.根据权利要求1所述的位姿信息确定方法,其中,所述标识物为规则标识。
8.根据权利要求7所述的位姿信息确定方法,其中,所述规则标识为标识牌或标识杆。
9.一种位姿信息确定装置,包括:
匹配模块,用于匹配所述图像获取设备获取的当前帧图像中的标识物与矢量化地图中的标识物;
观测包围框确定模块,用于当所述当前帧图像中的标识物与所述矢量化地图中的标识物匹配成功时,确定当前帧图像中的匹配成功的标识物的观测包围框;和
位姿信息确定模块,基于所述观测包围框与矢量化地图中的标识物的表示,确定所述图像获取设备的位姿信息。
10.根据权利要求9所述的位姿信息确定装置,还包括:
当前局部地图提取模块,用于根据所述图像获取设备的当前位置从矢量化地图中提取当前局部地图。
11.一种电子设备,包括:
处理器;
存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行根据权利要求1至8中任一项所述的方法。
12.一种计算机可读的存储介质,其上存储有用于执行权利要求1至8中任一项所述的方法的指令。
CN201811313284.4A 2018-11-06 2018-11-06 位姿信息确定方法、确定装置和电子设备 Active CN111145248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811313284.4A CN111145248B (zh) 2018-11-06 2018-11-06 位姿信息确定方法、确定装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811313284.4A CN111145248B (zh) 2018-11-06 2018-11-06 位姿信息确定方法、确定装置和电子设备

Publications (2)

Publication Number Publication Date
CN111145248A true CN111145248A (zh) 2020-05-12
CN111145248B CN111145248B (zh) 2023-06-27

Family

ID=70516107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811313284.4A Active CN111145248B (zh) 2018-11-06 2018-11-06 位姿信息确定方法、确定装置和电子设备

Country Status (1)

Country Link
CN (1) CN111145248B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112284402A (zh) * 2020-10-15 2021-01-29 广州小鹏自动驾驶科技有限公司 一种车辆定位的方法和装置
CN113780067A (zh) * 2021-07-30 2021-12-10 武汉中海庭数据技术有限公司 一种基于语义分割的车道线状标识物检测方法及系统
CN114076602A (zh) * 2020-08-20 2022-02-22 北京四维图新科技股份有限公司 定位方法及定位设备
CN114549633A (zh) * 2021-09-16 2022-05-27 北京小米移动软件有限公司 位姿检测方法、装置、电子设备和存储介质
WO2022141240A1 (en) * 2020-12-30 2022-07-07 SZ DJI Technology Co., Ltd. Determining vehicle positions for autonomous driving based on monocular vision and semantic map

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090310828A1 (en) * 2007-10-12 2009-12-17 The University Of Houston System An automated method for human face modeling and relighting with application to face recognition
US20100092079A1 (en) * 2008-10-14 2010-04-15 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN105258680A (zh) * 2015-09-30 2016-01-20 西安电子科技大学 一种目标位姿测量方法和装置
CN105474033A (zh) * 2013-12-29 2016-04-06 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN106780608A (zh) * 2016-11-23 2017-05-31 北京地平线机器人技术研发有限公司 位姿信息估计方法、装置和可移动设备
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
US20170262724A1 (en) * 2016-03-10 2017-09-14 Conduent Business Services, Llc High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database
CN107358189A (zh) * 2017-07-07 2017-11-17 北京大学深圳研究生院 一种基于多视目标提取的室内环境下物体检测方法
CN107748569A (zh) * 2017-09-04 2018-03-02 中国兵器工业计算机应用技术研究所 用于无人机的运动控制方法、装置及无人机系统
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN108648194A (zh) * 2018-04-23 2018-10-12 清华大学 基于cad模型三维目标识别分割和位姿测量方法及装置
CN108694348A (zh) * 2017-04-07 2018-10-23 中山大学 一种基于自然特征的跟踪注册方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090310828A1 (en) * 2007-10-12 2009-12-17 The University Of Houston System An automated method for human face modeling and relighting with application to face recognition
US20100092079A1 (en) * 2008-10-14 2010-04-15 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN105474033A (zh) * 2013-12-29 2016-04-06 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN105258680A (zh) * 2015-09-30 2016-01-20 西安电子科技大学 一种目标位姿测量方法和装置
US20170262724A1 (en) * 2016-03-10 2017-09-14 Conduent Business Services, Llc High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database
CN106780608A (zh) * 2016-11-23 2017-05-31 北京地平线机器人技术研发有限公司 位姿信息估计方法、装置和可移动设备
CN108694348A (zh) * 2017-04-07 2018-10-23 中山大学 一种基于自然特征的跟踪注册方法及装置
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
CN107358189A (zh) * 2017-07-07 2017-11-17 北京大学深圳研究生院 一种基于多视目标提取的室内环境下物体检测方法
CN107748569A (zh) * 2017-09-04 2018-03-02 中国兵器工业计算机应用技术研究所 用于无人机的运动控制方法、装置及无人机系统
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN108648194A (zh) * 2018-04-23 2018-10-12 清华大学 基于cad模型三维目标识别分割和位姿测量方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JAY M. WONG 等: "SegICP: Integrated Deep Semantic Segmentation and Pose Estimation", 《ARXIV:1703.01661》 *
YU XIANG 等: "PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes", 《ARXIV:1711.00199》 *
安喆 等: "基于语义目标匹配的三维跟踪注册方法", 《光学学报》 *
李佳宁: "基于RGB-D摄像机的增强现实系统关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *
殷素莎: "基于视觉跟踪注册的增强现实技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114076602A (zh) * 2020-08-20 2022-02-22 北京四维图新科技股份有限公司 定位方法及定位设备
CN112284402A (zh) * 2020-10-15 2021-01-29 广州小鹏自动驾驶科技有限公司 一种车辆定位的方法和装置
CN112284402B (zh) * 2020-10-15 2021-12-07 广州小鹏自动驾驶科技有限公司 一种车辆定位的方法和装置
WO2022141240A1 (en) * 2020-12-30 2022-07-07 SZ DJI Technology Co., Ltd. Determining vehicle positions for autonomous driving based on monocular vision and semantic map
CN113780067A (zh) * 2021-07-30 2021-12-10 武汉中海庭数据技术有限公司 一种基于语义分割的车道线状标识物检测方法及系统
CN114549633A (zh) * 2021-09-16 2022-05-27 北京小米移动软件有限公司 位姿检测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111145248B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US11320833B2 (en) Data processing method, apparatus and terminal
EP3343503B1 (en) High-precision map data processing method and apparatus, storage medium and device
US11328521B2 (en) Map construction method, electronic device and readable storage medium
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN111145248B (zh) 位姿信息确定方法、确定装置和电子设备
EP2450667B1 (en) Vision system and method of analyzing an image
US20230039293A1 (en) Method of processing image, electronic device, and storage medium
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
EP4016457A1 (en) Positioning method and apparatus
CN110210384B (zh) 一种道路全局信息实时提取与表示系统
CN111091037A (zh) 用于确定驾驶信息的方法和设备
WO2023065342A1 (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
JP2021103160A (ja) 自律走行車意味マップ確立システム及び確立方法
WO2020049089A1 (en) Methods and systems for determining the position of a vehicle
JP2004265432A (ja) 走行環境認識装置
CN111833443A (zh) 自主机器应用中的地标位置重建
US11461944B2 (en) Region clipping method and recording medium storing region clipping program
CN112639822B (zh) 一种数据处理方法及装置
CN113189610A (zh) 地图增强的自动驾驶多目标追踪方法和相关设备
JP5435294B2 (ja) 画像処理装置及び画像処理プログラム
CN111062233A (zh) 标识物表示的获取方法、标识物表示的获取装置和电子设备
KR101655204B1 (ko) 3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법
CN117351161A (zh) 基于视觉语义的建图方法、装置、存储介质及电子设备
CN115294186A (zh) 一种点云处理方法、电子设备及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant