CN113836251A - 一种认知地图构建方法、装置、设备及介质 - Google Patents

一种认知地图构建方法、装置、设备及介质 Download PDF

Info

Publication number
CN113836251A
CN113836251A CN202111094754.4A CN202111094754A CN113836251A CN 113836251 A CN113836251 A CN 113836251A CN 202111094754 A CN202111094754 A CN 202111094754A CN 113836251 A CN113836251 A CN 113836251A
Authority
CN
China
Prior art keywords
road
curve equation
cognitive map
road center
center point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111094754.4A
Other languages
English (en)
Other versions
CN113836251B (zh
Inventor
王祎男
魏源伯
关瀛洲
曹容川
刘汉旭
张天奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202111094754.4A priority Critical patent/CN113836251B/zh
Publication of CN113836251A publication Critical patent/CN113836251A/zh
Application granted granted Critical
Publication of CN113836251B publication Critical patent/CN113836251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种认知地图构建方法、装置、设备及介质。其中，认知地图构建方法，包括：对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程；获取单目摄像头发送的车道属性信息，并基于道路曲线方程和车道属性信息构建认知地图的车道层信息；基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息；基于认知地图的车道层信息和语义层信息，构建认知地图。本发明实施例的技术方案，通过对道路中心点进行实时矢量化建模，提高车辆局部定位精度，并且通过多方位的图像构建认知地图语义层信息，提高车辆全局定位精度。

Description

一种认知地图构建方法、装置、设备及介质
技术领域
本发明实施例涉及智能驾驶技术，尤其涉及一种认知地图构建方法、装置、设备及介质。
背景技术
车辆定位在智能驾驶领域占据十分重要的地位，最初采用的定位技术是通过激光雷达3D点云生成高精度地图，进而基于高精度地图进行车辆定位，但这种方式存在部署传感器成本高，并且算力需求大等缺点。
现有技术中，针对上述定位成本高的问题，提出了低成本、数据量小且定位精度适中的认知地图方案。当前认知地图主要依赖路标与车道线之间的几何关系进行车辆定位，局部定位精度有待提高，并且在路标缺失时，会影响车辆的定位，定位稳定性差。
发明内容
本发明实施例提供一种认知地图构建方法、装置、设备及介质，通过对道路中心点进行实时矢量化建模，提高车辆局部定位精度，并且通过多方位的图像构建认知地图语义层信息，提高车辆全局定位精度。
第一方面，本发明实施例提供了一种认知地图构建方法，所述方法包括：
对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程；
获取单目摄像头发送的车道属性信息，并基于所述道路曲线方程和车道属性信息构建认知地图的车道层信息；
基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息；
基于所述认知地图的车道层信息和语义层信息，构建认知地图。
第二方面，本发明实施例还提供了一种认知地图构建装置，所述装置包括：
道路曲线方程获取模块，用于对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程；
车道层信息获取模块，用于获取单目摄像头发送的车道属性信息，并基于所述道路曲线方程和车道属性信息构建认知地图的车道层信息；
语义层信息获取模块，用于基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息；
认知地图构建模块，用于基于所述认知地图的车道层信息和语义层信息，构建认知地图。
第三方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的认知地图构建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的认知地图构建方法。
本发明实施例的技术方案，对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程，然后获取单目摄像头发送的车道属性信息，并基于道路曲线方程和车道属性信息构建认知地图的车道层信息，进一步的，基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息，最终基于认知地图的车道层信息和语义层信息，构建认知地图，通过对道路中心点进行实时矢量化建模，提高车辆局部定位精度，并且通过多方位的图像构建认知地图语义层信息，提高车辆全局定位精度。
附图说明
图1是本发明实施例一中的一种认知地图构建方法的流程图；
图2a是本发明实施例二中的一种认知地图构建方法的流程图；
图2b是本发明实施例二中的获取车道层信息的示意图；
图2c是本发明实施例二中的矢量化建模的流程图；
图2d是本发明实施例二中的获取语义层信息的示意图；
图2e是本发明实施例二中的多视角方位图像确定车辆地点的示意图；
图3是本发明实施例三中的一种认知地图构建装置的结构示意图；
图4是本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的一种认知地图构建方法的流程图，本实施例的技术方案适用于通过矢量化地图建模方法建立矢量化地图，并且基于车端视角进行车辆定位的情况，该方法可以由认知地图构建装置执行，该装置可以由软件和/或硬件来实现，并可以集成在各种通用计算机设备中。本实施例中的认知地图构建方法，具体包括如下步骤：
步骤110、对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程。
其中，道路中心点是垂直于道路行驶方向且两个端点分别在道路的两条边线上的线段的中心点，由多个道路中心点构成的序列为道路中心点序列，道路中心点序列中的道路中心点按照道路延伸方向顺序排列。
鉴于现有技术中认知地图车道层是采用离散的数据点来表示道路的，无法获得道路连续的几何特征，会影响车辆的局部定位精度，本实施例中对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程，可以提高车辆的局部定位精度，具体的，首先采用GNSS(全球导航卫星系统，Global Navigation Satellite System)采集多个道路中心点的地理坐标数据，进而对地理坐标数据进行坐标系转化，得到各道路中心点的局部坐标数据，最终基于道路中心点的局部坐标数据进行曲线拟合，得到道路曲线方程。
示例性的，采用GNSS采集多个道路中心点的地理坐标数据，然后将地理坐标数据转换到高斯坐标系下得到道路中心点的高斯坐标数据，进一步的，将高斯坐标数据转换到局部坐标系下，得到道路中心点的局部坐标数据，最终，可以采用卡尔曼矢量化建模算法进行道路曲线拟合，得到道路曲线方程。
步骤120、获取单目摄像头发送的车道属性信息，并基于道路曲线方程和车道属性信息构建认知地图的车道层信息。
本实施例中，由单目摄像头采集车辆前方的道路图像，并对道路图像进行识别，确定车道属性信息，进而将车道属性信息发送至进行认知地图构建的处理器，处理器获取到车道属性信息后，基于道路曲线方程和车道属性信息构建认知地图的车道层信息。其中，车道属性信息可以包括车道数量、车道宽度以及车道边线类型等。
步骤130、基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息。
自动驾驶地图需要实时获取车辆自身的全局位置信息，否则无法实现导航功能，现有技术中往往采用单张图像的地点识别方案，例如，通过安装在车辆前方的摄像头采集车辆前方图像，进而对采集到的图像进行处理确定车辆的全局位置信息。但由于车辆前方视角对应的图像中主要部分是道路和天空，相似场景的不同地点容易识别错误，采用这样的图片进行地点识别准确率较低。
其中，方位图像是在车辆不同方位安装的传感器采集到的图像，例如，分别在车辆的前方、后方、左方和右方部署摄像头，各摄像头采集的图像即为方位图像，不同摄像头采集的方位图像对应的视角不同。
本实施例中，基于至少两张不同视角的方位图像和车辆当前的位置信息，获取各方位图像对应的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息。具体的，将多张不同视角的方位图像和车辆当前的位置信息输入至地点识别网络中，获取地点识别网络输出的各方位图像的局部特征矩阵，将各方位图像的局部特征矩阵作为认知地图的语义层信息。其中，可以根据语义层信息中的局部特征矩阵与预先存储的各地点图像对应的特征矩阵进行比对，最终相似度高于设定阈值的地点图像的位置作为车辆当前位置。基于多视角的方位图像进行地点识别，可以缓解仅采用前方摄像头采集的前方视角图像进行地点识别造成的地点误判的情况，提高地点识别准确度。
示例性的，获取安装在车辆前方、后方、左方和右方的四个摄像头获取到的4张方位图像，并将方位图像和GNSS采集的车辆位置信息输入至地点识别网络，例如，地点识别网络可以是卷积神经网络，进而获取地点识别网络输出的与各方位图像对应的局部特征矩阵，最终将各局部特征矩阵作为认知地图的语义层信息。
步骤140、基于认知地图的车道层信息和语义层信息，构建认知地图。
其中，认知地图可以分为4层：道路层、车道层、语义层以及动态信息层。其中，道路层中可以包括道路的种别(例如，国道、省道或者乡道等)以及多条道路之间的道路拓扑关系等信息；车道层可以包括道路的车道数量、车道宽度以及车道边线类型(例如，白色实线、白色虚线或者双黄线等)等信息；语义层可以包括道路中交通标示的语义信息以及道路中各视角对应方位图像的局部特征矩阵等信息；动态信息层可以包括道路拥堵情况、道路车流量以及道路是否处于正常通行状态等信息。本实施例中，基于上述获取到的认知地图的车道层信息和语义层信息构建认知地图。
本发明实施例的技术方案，对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程，然后获取单目摄像头发送的车道属性信息，并基于道路曲线方程和车道属性信息构建认知地图的车道层信息，进一步的，基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息，最终基于认知地图的车道层信息和语义层信息，构建认知地图，通过对道路中心点进行实时矢量化建模，提高车辆局部定位精度，并且通过多方位的图像构建认知地图语义层信息，提高车辆全局定位精度。
实施例二
图2a为本发明实施例二中的一种认知地图构建方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程的具体步骤，以及基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵的具体步骤。下面结合图2a对本发明实施例二提供的一种认知地图构建方法进行说明，包括以下步骤：
步骤210、将道路中心点序列中道路中心点的地理坐标数据，由地理坐标系转换到高斯坐标系下，得到道路中心点的高斯坐标数据。
本实施例中，对地理坐标数据进行矢量化建模的具体流程如图2b所示，首先获取定位模块发送的道路中线点的地理坐标数据，在获取到道路中心点序列中各道路中心点的地理坐标数据后，为了对地理坐标数据进行适量化建模，首先将道路中心点的地理坐标数据由地理坐标系转换到高斯坐标系下，得到道路中心点的高斯坐标数据。
步骤220、对高斯坐标数据进行滤波，并将滤波后的高斯坐标数据由高斯坐标系转换到局部坐标系下，得到道路中心点的局部坐标数据。
本实施例中，在得到道路中线点的高斯坐标数据之后，由于原始数据中存在噪声，因此需要对高斯坐标数据进行滤波，具体的，可以基于三次B-样条插值滤波算法对高斯坐标数据进行滤波，经过滤波后的道路中心点序列是符合隐式三次方曲线的，可以减小后续矢量化过程的误差。进一步的，对高斯坐标数据进行滤波后，进一步将滤波后的高斯坐标数据由高斯坐标系转换到局部坐标系下，得到道路中心点的局部坐标数据，为后续道路曲线拟合提供数据基础。
步骤230、采用卡尔曼矢量化建模算法，对局部坐标数据进行拟合，得到道路曲线方程。
本实施例中，采用卡尔曼矢量化建模算法，对局部坐标数据进行拟合，得到道路曲线方程，具体的，矢量化过程是步进式完成的，每次只读入一个道路中心点，根据当前读入的道路中心点的局部坐标数据和已经读入的道路中心点的局部坐标数据，拟合道路曲线，得到道路曲线方程。
可选的，采用卡尔曼矢量化建模算法，对所述局部坐标数据进行拟合，得到道路曲线方程，包括：
基于初始曲线方程和道路中心点序列中首个未拟合的道路中心点的局部坐标数据，进行道路曲线方程的预测，得到预测曲线方程；
获取道路中心点序列中首个未拟合的道路中线点作为当前道路中心点，并基于当前道路中心点的局部坐标数据，对预测曲线方程进行更新，得到更新曲线方程；
计算更新曲线方程中道路中心点的局部坐标数据，与实际道路中心点的局部坐标数据之间的误差，得到更新曲线方程误差；
当更新曲线误差小于或者等于设定误差阈值时，返回执行获取道路中心点序列中首个未拟合的道路中线点作为当前道路中心点的操作；
当更新曲线误差大于设定误差阈值时，将当前获取的更新曲线方程的上一版更新曲线方程作为道路曲线方程，并返回执行基于初始曲线方程和道路中心点序列中首个未拟合的道路中心点的局部坐标数据，进行道路曲线方程的预测的操作。
本可选的实施例中，提供一种采用卡尔曼矢量化建模算法，对所述局部坐标数据进行拟合，得到道路曲线方程的方式，具体为如图2c所示，首先基于初始曲线方程和道路中心点序列中首个未拟合道路中心点的局部坐标数据，进行道路曲线方程预测，得到预测曲线方程，然后获取道路中心点序列中首个未拟合的道路中心点作为当前道路中心点，并基于当前道路中心点的局部坐标数据，对上述预测曲线方程进行更新，得到更新曲线方程。进一步的，判断更新曲线方程的误差是否大于设定的误差阈值，若否，则返回执行获取道路中心点序列中首个未拟合的道路中线点作为当前道路中心点的操作，也就是说继续获取下一个道路中心点进行道路曲线方程的拟合，若是，则将当前获取的更新曲线方程的上一版更新曲线方程作为道路曲线方程，并返回执行基于初始曲线方程和道路中心点序列中首个未拟合的道路中心点的局部坐标数据，进行道路曲线方程的预测的操作，也就是说，继续以当前道路中心点作为起始端点，拟合下一段道路的道路曲线方程。
其中，更新曲线方程的误差可以是通过计算更新曲线方程中各道路中心点的局部坐标数据与对应的真实道路中心点的局部坐标数据的误差，最终选择更新曲线方程中误差最大的道路中心点的误差作为更新曲线方程的误差。
示例性的，道路中心点序列中包括顺序排列的道路中心点A、B、C和D，首先基于初始曲线方程和道路中心点A的局部坐标数据，进行道路曲线方程预测，得到预测曲线方程，进一步的，获取道路中心点B作为当前道路中心点，并基于道路中线点B的局部坐标数据，对预测曲线方程进行更新，得到更新曲线方程。进一步的，计算更新曲线方程的误差，若误差小于或者等于设定误差阈值时，继续获取道路中心点C作为当前道路中心点，并基于道路中心点C继续更新曲线方程，若误差大于设定误差阈值时，则保存当前更新曲线方程的上一版更新曲线方程作为道路段AB的道路曲线方程，并以道路中线点C为起点继续进行下一段道路的矢量化建模。
步骤240、获取单目摄像头发送的车道属性信息，并基于道路曲线方程和车道属性信息构建认知地图的车道层信息。
步骤250、将至少两张方位图像和车辆位置信息输入至地点识别网络中进行特征提取，获取地点识别网络输出的各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息。
基于现有技术中仅采用车辆前方视角采集的方位图像进行车辆位置识别时识别准确率低的情况，分析可得，由于车辆前方视角和后方视角采集的图像中天空和道路占图像的很大比例，反而左方视角和右方视角拍摄到的车辆周边建筑物会有较大变化，这会使得左右方视角的方位图像对地点识别贡献更大，但是由于车辆处于高速运动过程，左右方视角采集的方位图像可能仅包含建筑物的一部分，因此，可以结合车辆前方、后方、左方以及右方视角采集的方位图像进行地点识别。
本实施例中，具体的语义层信息获取方式如图2d所示，将至少两张不同视角拍摄的方位图像和车量位置信息输入至地点识别网络中进行特征提取，得到地点识别网络输出的各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息。其中，地点识别网络可以对各方位图像进行特征提取，得到与方位图像对应的特征矩阵，并将车辆位置信息加入至特征矩阵中，得到各方位图像的局部特征矩阵。
可选的，地点识别网络为NetVLAD网络。
根据提取图片局部特征的方式不同，可以将地点识别算法分为两类。第一类：使用人工描述符提取图片局部特征，如尺度不变特征变换(Scale-invariant featuretransform，SIFT)、bag-of-visual-words(BoW)模型、局部特征聚合描述符编码(vector oflocally aggregated descriptors，VLAD)以及Fisher vector等。第二类：使用卷积神经网络学习的方法(convolutional neural networks，CNNs)提取图片局部特征，如AlexNet以及NetVLAD。使用CNNs学习的方法，将需要一系列的参数来表示特征提取函数，两张图片之间的欧式距离同样也会被这些参数所影响，通过不断的学习迭代，优化参数提高特征提取准确度。由于在大规模的地点识别问题中经常会面临光线、视角、天气不同，以及会存在遮挡的情况，使用人工描述符提取图片局部特征的情况很难应对如此大的挑战，而使用CNNs提取图片局部特征的方法鲁棒性更强。因此，本可选的实施例中，地点识别网络采用NetVLAD网络。
可选的，本实施例在获取到方位图像的局部特征矩阵后，还包括：
计算方位图像的局部特征矩阵与图像库中预存图像的特征矩阵之间的欧氏距离；
获取与局部特征矩阵的欧式距离小于设定距离阈值的至少一个特征矩阵，并将特征矩阵对应的预存图像作为预选图像；
根据各方位图像对应的预选图像的特征矩阵，计算各预选图像的置信分值，并将置信分值最高的预选图像对应的位置作为车辆当前所在位置。
本可选的实施例中，在获取到各方位图像对应的局部特征矩阵之后，可以计算方位图像的局部特征矩阵与图像库中预存图像的特征矩阵之间的欧式距离，获取与局部特征矩阵的欧式距离小于设定距离阈值的至少一个特征矩阵，并将特征矩阵对应的预存图像作为预选图像，每张方位图像可以确定至少一张预选图像，最终根据各方位图像对应的预选图像的特征矩阵，计算各预选图像的置信分值，最终将置信分值最高的预选图像对应的位置作为车辆当前所在位置。
示例性的，获取到的方位图像包括车辆前方视角、后方视角、左方视角以及右方视角的方位图像，计算每个视角采集方位图像的局部特征矩阵与预存图像的特征矩阵的欧式距离，分别获取与各方位图像的局部特征矩阵的欧氏距离小于设定距离阈值的至少一个特征矩阵，并将该特征矩阵对应的预存图像作为与上述方位图像对应的预选图像，例如，针对前方视角的方位图像，获取到3张预选图像，针对后方、左方以及右方视角的方位图像，分别获取到4张预选图像。最终需要根据各预选图像的特征矩阵，计算各预选图像的置信分值，最终将置信分值最高的预选图像对应的位置作为车辆当前所在位置，以前方视角的方位图像对应的预选图像为例，具体的预选图像置信分值计算方式如下：
Figure BDA0003268822620000121
其中，rf,i表示前方视角第i个预选图像的置信分值，pf,i表示前方视角第i各预选图像的特征矩阵，pb,j表示后方视角第j个预选图像的特征矩阵，pl,k是左方视角第k个预选图像的特征矩阵，pr,m是右方视角第m个预选图像的特征矩阵。
同理，计算后方视角、左方视角以及右方视角的各预选图像的置信分值，最终选择置信分值最高或者置信分值高于设定阈值的预选图像对应的位置作为车辆当前所在位置，通过多个视角的方位图像，进行车辆位置确定，提高定位准确度。
使用多个视角的方位图像进行地点识别的结果如图2e所示，分别根据车前视角、车后视角、车左视角以及车右视角获取到多张预选图像，最终根据各视角的预选图像对应的特征矩阵确定车辆所在位置。
可选的，本实施例还包括：
将定位系统发送的交通标示的位置信息，以及单目摄像头发送的交通标示的语义信息加入至认知地图的语义层信息。
本可选的实施例中，还可以接收定位系统通过定位模块发送的交通标示的位置信息，以及单目摄像头通过感知模块发送的交通标示的语义信息，并将交通标示的位置信息和语义信息加入至语义层信息中。示例性的，交通标示的语义信息可以包括交通标示的类型，例如，限速标示、限高标示以及前方道路变窄等标示。
步骤260、基于认知地图的车道层信息和语义层信息，构建认知地图。
本发明实施例的技术方案，对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程，然后获取单目摄像头发送的车道属性信息，并基于道路曲线方程和车道属性信息构建认知地图的车道层信息，进一步的，基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息，最终基于认知地图的车道层信息和语义层信息，构建认知地图，通过对道路中心点进行实时矢量化建模，提高车辆局部定位精度，并且通过多方位的图像构建认知地图语义层信息，提高车辆全局定位精度。
实施例三
图3为本发明实施例三提供的一种认知地图构建装置的结构示意图，该认知地图构建装置，包括：道路曲线方程获取模块310、车道层信息获取模块320、语义层信息获取模块330和认知地图构建模块340。
道路曲线方程获取模块310，用于对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程；
车道层信息获取模块320，用于获取单目摄像头发送的车道属性信息，并基于所述道路曲线方程和车道属性信息构建认知地图的车道层信息；
语义层信息获取模块330，用于基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息；
认知地图构建模块340，用于基于所述认知地图的车道层信息和语义层信息，构建认知地图。
本发明实施例的技术方案，对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程，然后获取单目摄像头发送的车道属性信息，并基于道路曲线方程和车道属性信息构建认知地图的车道层信息，进一步的，基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息，最终基于认知地图的车道层信息和语义层信息，构建认知地图，通过对道路中心点进行实时矢量化建模，提高车辆局部定位精度，并且通过多方位的图像构建认知地图语义层信息，提高车辆全局定位精度。
可选的，道路曲线方程获取模块310，包括：
高斯坐标数据获取单元，用于将所述道路中心点序列中道路中心点的地理坐标数据，由地理坐标系转换到高斯坐标系下，得到道路中心点的高斯坐标数据；
局部坐标数据获取单元，用于对所述高斯坐标数据进行滤波，并将滤波后的高斯坐标数据由高斯坐标系转换到局部坐标系下，得到道路中心点的局部坐标数据；
道路曲线方程获取单元，用于采用卡尔曼矢量化建模算法，对所述局部坐标数据进行拟合，得到道路曲线方程。
可选的，道路曲线方程获取单元，具体用于：
基于初始曲线方程和道路中心点序列中首个未拟合的道路中心点的局部坐标数据，进行道路曲线方程的预测，得到预测曲线方程；
获取道路中心点序列中首个未拟合的道路中线点作为当前道路中心点，并基于所述当前道路中心点的局部坐标数据，对所述预测曲线方程进行更新，得到更新曲线方程；
计算所述更新曲线方程中道路中心点的局部坐标数据，与实际道路中心点的局部坐标数据之间的误差，得到更新曲线方程误差；
当所述更新曲线误差小于或者等于设定误差阈值时，返回执行获取道路中心点序列中首个未拟合的道路中线点作为当前道路中心点的操作；
当所述更新曲线误差大于设定误差阈值时，将当前获取的更新曲线方程的上一版更新曲线方程作为道路曲线方程，并返回执行基于初始曲线方程和道路中心点序列中首个未拟合的道路中心点的局部坐标数据，进行道路曲线方程的预测的操作。
可选的，语义层信息获取模块330，包括：
语义层信息获取单元，用于将至少两张方位图像和车辆位置信息输入至地点识别网络中进行特征提取，获取所述地点识别网络输出的各方位图像的局部特征矩阵。
可选的，认知地图构建装置，还包括：
距离计算模块，用于计算方位图像的局部特征矩阵与图像库中预存图像的特征矩阵之间的欧氏距离；
预选图像确定模块，用于获取与所述局部特征矩阵的欧式距离小于设定距离阈值的至少一个特征矩阵，并将所述特征矩阵对应的预存图像作为预选图像；
车辆定位模块，用于根据各方位图像对应的预选图像的特征矩阵，计算各预选图像的置信分值，并将置信分值最高的预选图像对应的位置作为车辆当前所在位置。
可选的，认知地图构建装置，还包括：
交通标示信息获取模块，用于将定位系统发送的交通标示的位置信息，以及单目摄像头发送的交通标示的语义信息加入至认知地图的语义层信息。
可选的，地点识别网络为NetVLAD网络。
本发明实施例所提供的认知地图构建装置可执行本发明任意实施例所提供的认知地图构建方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种电子设备的结构示意图，如图4所示，该电子设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的认知地图构建方法对应的程序指令/模块(例如，认知地图构建装置中的道路曲线方程获取模块310、车道层信息获取模块320、语义层信息获取模块330和认知地图构建模块340)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的认知地图构建方法，包括：
对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程；
获取单目摄像头发送的车道属性信息，并基于所述道路曲线方程和车道属性信息构建认知地图的车道层信息；
基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息；
基于所述认知地图的车道层信息和语义层信息，构建认知地图。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例五
本发明实施例五还提供一种其上存储有计算机程序的计算机可读存储介质，所述计算机程序在由计算机处理器执行时用于执行一种认知地图构建方法，该方法包括：
对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程；
获取单目摄像头发送的车道属性信息，并基于所述道路曲线方程和车道属性信息构建认知地图的车道层信息；
基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息；
基于所述认知地图的车道层信息和语义层信息，构建认知地图。
当然,本发明实施例所提供的包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的认知地图构建方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，应用服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述一种认知地图构建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种认知地图构建方法，其特征在于，包括：
对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程；
获取单目摄像头发送的车道属性信息，并基于所述道路曲线方程和车道属性信息构建认知地图的车道层信息；
基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息；
基于所述认知地图的车道层信息和语义层信息，构建认知地图。
2.根据权利要求1所述的方法，其特征在于，对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程，包括：
将所述道路中心点序列中道路中心点的地理坐标数据，由地理坐标系转换到高斯坐标系下，得到道路中心点的高斯坐标数据；
对所述高斯坐标数据进行滤波，并将滤波后的高斯坐标数据由高斯坐标系转换到局部坐标系下，得到道路中心点的局部坐标数据；
采用卡尔曼矢量化建模算法，对所述局部坐标数据进行拟合，得到道路曲线方程。
3.根据权利要求2所述的方法，其特征在于，采用卡尔曼矢量化建模算法，对所述局部坐标数据进行拟合，得到道路曲线方程，包括：
基于初始曲线方程和道路中心点序列中首个未拟合的道路中心点的局部坐标数据，进行道路曲线方程的预测，得到预测曲线方程；
获取道路中心点序列中首个未拟合的道路中线点作为当前道路中心点，并基于所述当前道路中心点的局部坐标数据，对所述预测曲线方程进行更新，得到更新曲线方程；
计算所述更新曲线方程中道路中心点的局部坐标数据，与实际道路中心点的局部坐标数据之间的误差，得到更新曲线方程误差；
当所述更新曲线误差小于或者等于设定误差阈值时，返回执行获取道路中心点序列中首个未拟合的道路中线点作为当前道路中心点的操作；
当所述更新曲线误差大于设定误差阈值时，将当前获取的更新曲线方程的上一版更新曲线方程作为道路曲线方程，并返回执行基于初始曲线方程和道路中心点序列中首个未拟合的道路中心点的局部坐标数据，进行道路曲线方程的预测的操作。
4.根据权利要求1所述的方法，其特征在于，基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，包括：
将至少两张方位图像和车辆位置信息输入至地点识别网络中进行特征提取，获取所述地点识别网络输出的各方位图像的局部特征矩阵。
5.根据权利要求1所述的方法，其特征在于，还包括：
计算方位图像的局部特征矩阵与图像库中预存图像的特征矩阵之间的欧氏距离；
获取与所述局部特征矩阵的欧式距离小于设定距离阈值的至少一个特征矩阵，并将所述特征矩阵对应的预存图像作为预选图像；
根据各方位图像对应的预选图像的特征矩阵，计算各预选图像的置信分值，并将置信分值最高的预选图像对应的位置作为车辆当前所在位置。
6.根据权利要求1所述的方法，其特征在于，还包括：
将定位系统发送的交通标示的位置信息，以及单目摄像头发送的交通标示的语义信息加入至认知地图的语义层信息。
7.根据权利要求4所述的方法，其特征在于，所述地点识别网络为NetVLAD网络。
8.一种认知地图构建装置，其特征在于，包括：
道路曲线方程获取模块，用于对道路中心点序列中道路中心点的地理坐标数据进行矢量化建模，得到道路曲线方程；
车道层信息获取模块，用于获取单目摄像头发送的车道属性信息，并基于所述道路曲线方程和车道属性信息构建认知地图的车道层信息；
语义层信息获取模块，用于基于至少两张方位图像和车辆位置信息，获取各方位图像的局部特征矩阵，并将各方位图像的局部特征矩阵作为认知地图的语义层信息；
认知地图构建模块，用于基于所述认知地图的车道层信息和语义层信息，构建认知地图。
9.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的认知地图构建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述认知地图构建方法。
CN202111094754.4A 2021-09-17 2021-09-17 一种认知地图构建方法、装置、设备及介质 Active CN113836251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111094754.4A CN113836251B (zh) 2021-09-17 2021-09-17 一种认知地图构建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111094754.4A CN113836251B (zh) 2021-09-17 2021-09-17 一种认知地图构建方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113836251A true CN113836251A (zh) 2021-12-24
CN113836251B CN113836251B (zh) 2024-09-17

Family

ID=78959990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111094754.4A Active CN113836251B (zh) 2021-09-17 2021-09-17 一种认知地图构建方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113836251B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510055A (zh) * 2022-02-18 2022-05-17 科大国创合肥智能汽车科技有限公司 一种构建后方车道线的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148973A (ja) * 1998-11-06 2000-05-30 Canon Inc 画像処理方法及び装置、プリンタ、画像処理システム及び記憶媒体
US20130321400A1 (en) * 2012-06-05 2013-12-05 Apple Inc. 3D Map Views for 3D Maps
CN108802785A (zh) * 2018-08-24 2018-11-13 清华大学 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN109461211A (zh) * 2018-11-12 2019-03-12 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN111723173A (zh) * 2020-06-15 2020-09-29 中国第一汽车股份有限公司 车载地图制作方法、装置、电子设备及存储介质
CN112069856A (zh) * 2019-06-10 2020-12-11 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN112945251A (zh) * 2015-02-10 2021-06-11 御眼视觉技术有限公司 用于确定车道分配的系统、方法及计算机可读存储介质
CN113008260A (zh) * 2021-03-26 2021-06-22 上海商汤临港智能科技有限公司 一种导航信息处理方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148973A (ja) * 1998-11-06 2000-05-30 Canon Inc 画像処理方法及び装置、プリンタ、画像処理システム及び記憶媒体
US20130321400A1 (en) * 2012-06-05 2013-12-05 Apple Inc. 3D Map Views for 3D Maps
CN112945251A (zh) * 2015-02-10 2021-06-11 御眼视觉技术有限公司 用于确定车道分配的系统、方法及计算机可读存储介质
CN108802785A (zh) * 2018-08-24 2018-11-13 清华大学 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN109461211A (zh) * 2018-11-12 2019-03-12 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN112069856A (zh) * 2019-06-10 2020-12-11 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN111723173A (zh) * 2020-06-15 2020-09-29 中国第一汽车股份有限公司 车载地图制作方法、装置、电子设备及存储介质
CN113008260A (zh) * 2021-03-26 2021-06-22 上海商汤临港智能科技有限公司 一种导航信息处理方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李正国;李武钢;张凯;: "基于多信息融合模型的SLAM算法研究及控制器设计", 计算技术与自动化, no. 02, 30 June 2013 (2013-06-30) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510055A (zh) * 2022-02-18 2022-05-17 科大国创合肥智能汽车科技有限公司 一种构建后方车道线的方法

Also Published As

Publication number Publication date
CN113836251B (zh) 2024-09-17

Similar Documents

Publication Publication Date Title
Chen et al. Pointlanenet: Efficient end-to-end cnns for accurate real-time lane detection
Toft et al. Semantic match consistency for long-term visual localization
CN111626217B (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
Stenborg et al. Long-term visual localization using semantically segmented images
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN111652934B (zh) 定位方法及地图构建方法、装置、设备、存储介质
Liu et al. Seqlpd: Sequence matching enhanced loop-closure detection based on large-scale point cloud description for self-driving vehicles
US20210358153A1 (en) Detection methods, detection apparatuses, electronic devices and storage media
CN109960742B (zh) 局部信息的搜索方法及装置
Costea et al. Creating roadmaps in aerial images with generative adversarial networks and smoothing-based optimization
CN115049700A (zh) 一种目标检测方法及装置
CN111105459B (zh) 描述子地图生成方法、定位方法、装置、设备和存储介质
CN114913386A (zh) 一种多目标跟踪模型的训练方法以及多目标跟踪方法
Lu et al. Pic-net: Point cloud and image collaboration network for large-scale place recognition
Wen et al. Research on 3D point cloud de-distortion algorithm and its application on Euclidean clustering
Zhu et al. A review of 6d object pose estimation
CN113325389A (zh) 一种无人车激光雷达定位方法、系统及存储介质
CN110472092B (zh) 一种街景图片的地理定位方法及系统
CN114758086A (zh) 一种城市道路信息模型的构建方法及装置
CA2787856A1 (en) Systems and methods for estimating the geographic location at which image data was captured
KR102449031B1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
CN113836251B (zh) 一种认知地图构建方法、装置、设备及介质
CN110636248A (zh) 目标跟踪方法与装置
CN117053779A (zh) 一种基于冗余关键帧去除的紧耦合激光slam方法及装置
CN115952248B (zh) 终端设备的位姿处理方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant