CN113312435A - 高精度地图更新方法和设备 - Google Patents
高精度地图更新方法和设备 Download PDFInfo
- Publication number
- CN113312435A CN113312435A CN202010123070.1A CN202010123070A CN113312435A CN 113312435 A CN113312435 A CN 113312435A CN 202010123070 A CN202010123070 A CN 202010123070A CN 113312435 A CN113312435 A CN 113312435A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- precision map
- pose data
- lane marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000007670 refining Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 46
- 238000012937 correction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供一种高精度地图更新方法和设备。该方法包括：获取待处理影像采集时刻的位姿数据；根据高精度地图数据库中与所述待处理影像匹配的矢量数据，对所述位姿数据进行精化处理，得到精化位姿数据；根据所述高精度地图数据库中的激光点云数据和所述精化位姿数据，对高精度地图中与所述待处理影像对应的车道标线进行更新。和现有技术中众包车采集道路影像，并基于该道路影像采用双目/单目测距确定车道标线地理坐标的方式相比，本发明通过引入航拍技术减小了采集到的影像的透视变形程度，而且基于高精度地图数据库中的矢量数据和激光点云数据来确定车道标线的三维坐标可提高坐标精度，进而可提高高精度地图的精度。
Description
技术领域
本发明涉及自动驾驶领域，尤其涉及一种高精度地图更新方法和设备。
背景技术
高精度地图相较于普通电子地图具有精度更高、数据维度更多等特点。精度方面，高精度地图可以精确到厘米级别；维度方面，高精度地图不仅包含道路信息，比如：车道标线、车道类型、车道宽度、车道坡度和车道曲率等；还包含与交通相关的周围静态信息，比如：交通标志、交通信号灯、车道限高、下水道口、障碍物及其他道路细节。高精地图是自动驾驶汽车安全驾驶的基础，保证高精地图的鲜度至关重要。
在更新高精地图上的车道标线方面，现有技术的做法为：在众包车上搭载采集设备，采集设备采集到道路影像后，采用图像识别技术从道路影像中提取车道标线，然后基于GNSS定位结果进行单目/双目测距得到车道标线的地理坐标，使用该地理坐标进行高精地图上车道标线的更新。
然而，众包车上搭载的采集设备采集到的道路影像通常是驾驶员视角，地面车道标线透视变形严重，依据该道路影像对高精地图进行更新准确度不高。
发明内容
本发明提供一种高精度地图更新方法和设备，用于提高高精度地图的精度。
第一方面，本发明提供一种高精度地图更新方法，包括：
获取待处理影像采集时刻的位姿数据，所述待处理影像是通过航拍采集到的；
根据高精度地图数据库中与所述待处理影像匹配的矢量数据，对所述位姿数据进行精化处理，得到精化位姿数据；
根据所述高精度地图数据库中的激光点云数据和所述精化位姿数据，对所述待处理影像进行正射校正处理，生成正射影像；
从所述正射影像中提取车道标线的三维坐标，并根据所述车道标线的三维坐标，对高精度地图中与所述待处理影像对应的车道标线进行更新，以实现对所述高精度地图的更新。
可选的，所述获取待处理影像采集时刻的位姿数据，包括：
获取航拍下，通过第一时间间隔所采集到的影像，以及通过第二时间间隔所采集到的位姿数据；
对所述通过第一时间间隔所采集到的影像和所述第二时间间隔所采集到的位姿数据，进行时间对齐处理；
根据时间对齐下的影像和位姿数据，确定所述待处理影像的位姿数据，所述待处理影像为所述时间对齐下的影像中的任一影像。
可选的，所述根据高精度地图数据库中与所述待处理影像匹配的矢量数据，对所述位姿数据进行精化处理，得到精化位姿数据之前，包括：
根据所述位姿数据和所述待处理影像的四个角点的像素坐标，确定所述待处理影像对应的地面地理坐标范围；
根据所述地面地理坐标范围，从所述高精度地图数据库中的矢量数据中查找与所述待处理影像匹配的矢量数据；
所述根据高精度地图数据库中与所述待处理影像匹配的矢量数据，对所述位姿数据进行精化处理，得到精化位姿数据，包括：
从所述与所述待处理影像匹配的矢量数据中提取车道标线矢量形点；
从所述待处理影像中提取车道标线角点，并根据所述矢量形点和所述车道标线角点，对所述位姿数据进行精化处理，以得到所述精化位姿数据。
可选的，所述根据所述矢量形点和所述车道标线角点，对所述位姿数据进行精化处理，以得到所述精化位姿数据，包括：
将所述矢量形点的坐标反投影至所述待处理影像，得到所述矢量形点的影像坐标；
将所述矢量形点的影像坐标和所述车道标线角点的坐标进行匹配，生成同名点对；
根据所述同名点对，采用空间后方交会方法得到所述精化位姿数据。
可选的，所述从所述正射影像中提取车道标线的三维坐标，包括：
采用深度学习影像语义分割方法从所述正射影像中确定标线目标；
对所述标线目标进行边缘跟踪，确定标线的边缘像素点；
将所述边缘像素点的坐标以及所述边缘像素点所包围的区域内的像素点的坐标确定为所述车道标线的三维坐标。
可选的，所述从所述待处理影像中提取角点之前，还包括：
对所述待处理影像进行畸变校正处理；
则所述从待处理影像中提取角点，包括：
从畸变校正处理后的待处理影像中提取角点。
可选的，所述根据所述车道标线的三维坐标，对高精度地图中与所述待处理影像对应的车道标线进行更新，以实现对所述高精度地图的更新，包括：
从所述高精度地图中，获取与所述待处理影像对应的车道标线中的原始三维坐标；
对所述车道标线的三维坐标和所述原始三维坐标进行比对处理，并根据比对处理结果更新所述高精度地图。
第二方面，本发明提供一种高精度地图更新装置，包括：
获取模块，用于获取待处理影像采集时刻的位姿数据，所述待处理影像是通过航拍采集到的；
精化处理模块，用于根据高精度地图数据库中与所述待处理影像匹配的矢量数据，对所述位姿数据进行精化处理，得到精化位姿数据；
正射校正模块，用于根据所述高精度地图数据库中的激光点云数据和所述精化位姿数据，对所述待处理影像进行正射校正处理，生成正射影像；
更新模块，用于从所述正射影像中提取车道标线的三维坐标，并根据所述车道标线的三维坐标，对高精度地图中与所述待处理影像对应的车道标线进行更新，以实现对所述高精度地图的更新。
可选的，所述获取模块具体用于：
获取航拍下，通过第一时间间隔所采集到的影像，以及通过第二时间间隔所采集到的位姿数据；
对所述通过第一时间间隔所采集到的影像和所述第二时间间隔所采集到的位姿数据，进行时间对齐处理；
根据时间对齐下的影像和位姿数据，确定所述待处理影像的位姿数据，所述待处理影像为所述时间对齐下的影像中的任一影像。
可选的，所述精化处理模块还用于：
根据所述位姿数据和所述待处理影像的四个角点的像素坐标，确定所述待处理影像对应的地面地理坐标范围；
根据所述地面地理坐标范围，从所述高精度地图数据库中的矢量数据中查找与所述待处理影像匹配的矢量数据；
相应的，所述精化处理模块具体用于：
从所述与所述待处理影像匹配的矢量数据中提取车道标线矢量形点；
从所述待处理影像中提取车道标线角点，并根据所述矢量形点和所述车道标线角点，对所述位姿数据进行精化处理，以得到所述精化位姿数据。
可选的，所述精化处理模块具体用于：
将所述矢量形点的坐标反投影至所述待处理影像，得到所述矢量形点的影像坐标；
将所述矢量形点的影像坐标和所述车道标线角点的坐标进行匹配，生成同名点对；
根据所述同名点对，采用空间后方交会方法，以得到所述精化位姿数据。
可选的，所述正射校正模块，具体用于：
采用深度学习影像语义分割方法从所述正射影像中确定标线目标；
对所述标线目标进行边缘跟踪，确定标线的边缘像素点；
将所述边缘像素点的坐标以及所述边缘像素点所包围的区域内的像素点的坐标确定为所述车道标线的三维坐标。
可选的，上述装置还包括：
畸变校正模块，用于对所述待处理影像进行畸变校正处理。
可选的，所述更新模块具体用于：
从所述高精度地图中，获取与所述待处理影像对应的车道标线中的原始三维坐标；
对所述车道标线的三维坐标和所述原始三维坐标进行比对处理，并根据比对处理结果更新所述高精度地图。
第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述高精度地图更新方法。
第四方面，本发明提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来实现上述高精度地图更新方法。
本实施例提供的高精度地图的更新方法和设备，首先，获取待处理影像采集时刻的位姿数据；然后，根据高精度地图数据库中与该待处理影像匹配的矢量数据，对该位姿数据进行精化处理，得到精化位姿数据；再根据高精度地图数据库中的激光点云数据和该精化位姿数据，对待处理影像进行正射校正处理，生成正射影像；最后，从正射影像中提取车道标线的三维坐标，并根据该车道标线的三维坐标，对高精度地图中与待处理影像对应的车道标线进行更新，以实现对高精度地图的更新。和现有技术中众包车采集道路影像，并基于该道路影像采用双目/单目测距确定车道标线地理坐标的方式相比，本发明通过引入低空航拍技术采集道路影像，从而减小了采集到的影像的透视变形程度，而且基于高精度地图数据库中的矢量数据和激光点云数据来确定车道标线的三维坐标，可进一步提高确定坐标的精度，进而再更新地图时，有效地提高了高精度地图的精度。
附图说明
图1为本发明提供的众包车采集的道路影像示意图；
图2为本发明提供的系统框架图；
图3为本发明提供的低空航拍采集的道路影像示意图；
图4为本发明提供的高精度地图更新方法的实施例一的流程示意图；
图5为本发明提供的待处理影像的四个角点的示意图；
图6为本发明提供的高精度地图更新方法的实施例二的流程示意图；
图7为本发明提供的车道标线角点示意图；
图8为本发明提供的高精度地图更新装置的实施例一的结构示意图；
图9为本发明提供的高精度地图更新装置的实施例二的结构示意图；
图10为本发明提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明中，需要解释的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：单独a，单独b，单独c，a和b的组合，a和c的组合，b和c的组合，或a、b以及c的组合，其中a，b，c可以是单个，也可以是多个。
高精度地图是自动驾驶的基础，保证高精度地图的鲜度对于驾驶安全至关重要。车道标线是高精度地图上最为重要的道路信息，现有技术中，通过如下方式来更新车道标线，进而实现高精度地图的更新：在众包车上搭载采集设备，采集设备采集到道路影像后，采用图像识别技术从道路影像中提取车道标线，然后基于全球导航卫星系统(GlobalNavigation Satellite System，简称GNSS)定位结果进行单目/双目测距得到车道标线的地理坐标，使用该地理坐标进行车道标线的更新。
然而，参见图1所示，现有技术的做法存在如下缺陷：1、单帧图像的视角范围有限，覆盖道路标线少，导致高精度地图更新效率低。2、众包车上采集设备采集到的道路影像通常是驾驶员视角，车道标线透视变形严重，车道标线提取效果差。3、基于GNSS定位结果进行单目/双目测距得到道路标线的地理坐标精度也相对较低。
考虑到现有技术存在的上述技术问题，本发明提供一种高精度地图更新方法，图2为该方法对应的系统架构图，图2所示系统包括：航拍设备和服务器。其中，航拍设备可以是无人机，或者其他能够实现低空航拍的设备等。航拍设备用于采集道路影像，可选的，为了减小采集到的道路影像的透视变形程度，在采集道路影像时，拍摄角度可选择俯拍，为了使采集到的道路影像中道路标线更加清楚，可选择在低空拍摄，图3示出了航拍设备低空俯拍采集到的道路图像示意图，对比图1和图3可知，低空航拍方式采集到的道路影像相较于众包车采集到的道路影像极大地减小了透视变形程度。
另外，一方面，为了采集航拍设备飞行过程中的定位数据，可在航拍设备上搭载GNSS系统或者GPS系统等定位系统，该定位系统可按照一定频率采集定位数据；另一方面，为了采集航拍设备飞行过程中的姿态数据，可在航拍设备上搭载惯性导航系统，惯性导航系统可按照一定频率采集姿态数据；惯性导航系统可以和定位系统组合输出位姿数据，组合原理以及输出位姿数据的方式可参见现有技术。再一方面，为了采集道路影像，可在航拍设备上搭载相机、摄像机等拍摄设备，拍摄设备可按照一定频率采集道路影像。为了得到更加准确的定位数据，还可在航拍设备上搭载4G模块，用于接收载波相位差分信号(Real-time kinematic，简称RTK信号)，该RTK信号可辅助定位系统得到更精确的定位数据，具体原理参见现有技术，本发明对此不进行赘述。
上述服务器可以是实体服务器，也可以是云服务器，上述服务器可用于执行本发明提供的高精度地图更新方法来更新高精度地图，服务器和无人机通过现有的无线通信技术连接和交换数据。
本发明提供的高精度地图更新方法，以众包车采集道路影像时视角范围有限而且透视变形严重为切入点，使用低空航拍加以改进，而且，针对现有的双目/单目测距得到的三维坐标精度低的问题，本发明提出一种适用于航拍场景的新的获取车道标线三维坐标的方式，可大大提高提取到的三维坐标的精度，从而可提高高精度地图的精度。
下面以具体地实施例对服务器执行本发明提供的高精度地图更新方法的过程进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图4为本发明提供的高精度地图更新方法的实施例一的流程示意图。本实施例提供的高精度地图更新方法可由图2所示服务器执行，如图4所示，本实施例提供的高精度地图更新方法，包括：
S401、获取待处理影像采集时刻的位姿数据。
其中，待处理影像是通过航拍采集到的，在本实施例中，可以通过航拍设备低空飞行作业来获取上述图3所示的待处理影像。可选的，可使用相机采集道路影像，使用惯性导航系统和定位系统的组合来采集位姿数据。
可选的，上述低空航拍中低空对应的高度可以是能够区分开两个车道标线的飞行高度以下的任意高度。
在相机采集到道路影像，惯性导航系统和定位系统采集到位姿数据后，可对这两者进行时间对齐处理，以获得每张影像采集时刻的位姿数据，时间对齐处理过程可参见现有技术，本发明不再赘述。
S402、根据高精度地图数据库中与待处理影像匹配的矢量数据，对位姿数据进行精化处理，得到精化位姿数据。
为了能够获取更为准确的位姿数据，还需要对该位姿数据进行精化处理，以便于后续实现更新高精度地图的精确性。
另外，对于矢量数据的获取，一种可能的实现方式为：
根据S401中的位姿数据和待处理影像的四个角点的像素坐标，确定待处理影像对应的地面地理坐标范围；根据所述地面地理坐标范围，从高精度地图数据库中的矢量数据中查找与待处理影像匹配的矢量数据。
其中，待处理影像的四个角点为拍摄视角范围的四个顶点，以图3所示图像为例，参见图5所示，待处理影像的四个角点为四个圆圈圈出来的点，根据位姿数据和四个角点来确定待处理影像对应的地面地理坐标范围的具体实现方式可参见现有技术，本发明在此不再赘述。
其中，高精度地图数据库中的激光点云数据是由道路上物体表面的点的三维坐标构成的。高精度地图数据库中的矢量数据是对道路上物体表面的点赋予属性后，由这些点的属性信息和三维坐标构成的，属性信息可反应点对应的道路实体。
具体的，可将高精度地图数据库中的矢量数据中三维坐标落在上述地面地理坐标范围内的点的数据确定为与待处理影像匹配的矢量数据。
S403、根据高精度地图数据库中的激光点云数据和精化位姿数据，对待处理影像进行正射校正处理，生成正射影像。
具体的，可从高精度地图数据库中的激光点云数据中，查找与待处理影像匹配的激光点云数据，并将匹配得到的激光点云数据、精化位姿数据和待处理影像作为输入，通过现有的正射校正处理方法便可得到正射影像。
S404、从正射影像中提取车道标线的三维坐标。
一种可实现的方式中，从正射影像中提取车道标线的三维坐标的方式可以为：采用深度学习影像语义分割方法从所述正射影像中确定标线目标；对所述标线目标进行边缘跟踪，确定标线的边缘像素点；将所述边缘像素点的坐标以及所述边缘像素点所包围的区域内的像素点的坐标确定为所述车道标线的三维坐标。
S405、根据车道标线的三维坐标，对高精度地图中与待处理影像对应的车道标线进行更新，以实现对高精度地图的更新。
具体的，可从高精度地图中，获取与待处理影像对应的车道标线中的原始三维坐标；对所述车道标线的三维坐标和所述原始三维坐标进行比对处理，并根据比对处理结果更新所述高精度地图。
本实施例提供的高精度地图的更新方法，首先，获取低空航拍采集到待处理影像时的位姿数据；然后，根据高精度地图数据库中与待处理影像匹配的矢量数据，对位姿数据进行精化处理，得到精化位姿数据；然后，根据高精度地图数据库中的激光点云数据和精化位姿数据，对待处理影像进行正射校正处理，生成正射影像；最后，从正射影像中提取车道标线的三维坐标，并根据车道标线的三维坐标，对高精度地图中与待处理影像对应的车道标线进行更新，以实现对高精度地图的更新。和现有技术中众包车采集道路影像，并基于该道路影像采用双目/单目测距确定车道标线地理坐标的方式相比，本发明通过引入航拍技术减小了采集到的影像的透视变形程度，而且基于高精度地图数据库中的矢量数据和激光点云数据来确定车道标线的三维坐标可提高坐标精度，进而可提高高精度地图的精度。
图6为本发明提供的高精度地图更新方法的实施例二的流程示意图。本实施例对位姿数据的精化处理的实现方式进行了详细说明，具体的，本实施例提供的高精度地图更新方法，包括：
S601、获取待处理影像采集时刻的位姿数据，所述待处理影像是通过低空航拍采集到的。
其中，S601的实现方式可参见上述实施例，本发明在此不再赘述。S602-S608为本实施例提供的精化处理过程，具体包括：
S602、根据上述位姿数据和待处理影像的四个角点的像素坐标，确定待处理影像对应的地面地理坐标范围。
S603、从高精度地图数据库中的矢量数据中，查找与待处理影像匹配的矢量数据。
S604、从与待处理影像匹配的矢量数据中提取车道标线矢量形点。
S605、从待处理影像中提取车道标线角点。
其中，参见图7所示，车道标线角点为大致能够反映车道标线轮廓特征的点，从待处理影像中提取车道标线角点的方法可参见现有技术，比如可使用Harris角点提取算法从待处理影像中提取车道标线角点。
在提取车道标线角点之前，可利用相机内标定参数对待处理影像进行畸变校正处理，然后从畸变校正处理后的待处理影像中提取车道标线角点。畸变校正处理具体原理参见现有技术。
S606、将矢量形点的坐标反投影至待处理影像，得到矢量形点的影像坐标。
上述反投影的过程可参见现有技术。
S607、将矢量形点的影像坐标和车道标线角点的坐标进行匹配，生成同名点对。
具体的，假设矢量形点的坐标为P(X,Y,Z)，将矢量形点的坐标反投影至待处理影像后得到的影像坐标为p(x,y)，从待处理影像上提取得到的车道标线角点坐标为p＇(x,y)，使用匹配算法将影像坐标和车道标线角点坐标进行匹配，从而得到影像坐标p(x,y)和角点坐标p′(x,y)之间的匹配对，进而得到矢量形点的坐标为P(X,Y,Z)和车道标线角点坐标为p′(x,y)之间的匹配对，这些匹配对称为同名点对。
S608、根据所述同名点对，采用空间后方交会方法，以得到精化位姿数据。
在得到上述同名点对后，采用空间后方交会方法便可得到精化位姿数据，空间后方交会方法的原理可参见现有技术，本发明对此不再赘述。
S609、根据高精度地图数据库中的激光点云数据和精化位姿数据，对待处理影像进行正射校正处理，生成正射影像。
S6010、从正射影像中提取车道标线的三维坐标。
S6011、根据车道标线的三维坐标，对高精度地图中与待处理影像对应的车道标线进行更新，以实现对高精度地图的更新。
其中，S609-S6011的实现方式可参见上述实施例中的S403-S405，本发明在此不再赘述。
本实施例提供的高精度地图的更新方法，介绍了位姿数据的精化处理过程，由此得到的精化位姿数据精确度更高，依据该精化位姿数据提取的车道线坐标也更加精确，基于该车道线坐标更新得到的高精度地图也更加精确。
图8为本发明提供的高精度地图更新装置的实施例的结构示意图。如图8所示，本实施例提供的高精度地图更新装置，包括：获取模块801、精化处理模块802、正射校正模块803和更新模块804。其中，获取模块801，用于获取待处理影像采集时刻的位姿数据，所述待处理影像是通过航拍采集到的；精化处理模块802，用于根据高精度地图数据库中与所述待处理影像匹配的矢量数据，对所述位姿数据进行精化处理，得到精化位姿数据；正射校正模块803，用于根据所述高精度地图数据库中的激光点云数据和所述精化位姿数据，对所述待处理影像进行正射校正处理，生成正射影像；更新模块804，用于从所述正射影像中提取车道标线的三维坐标，并根据所述车道标线的三维坐标，对高精度地图中与所述待处理影像对应的车道标线进行更新，以实现对所述高精度地图的更新。
本实施例提供的高精度地图更新装置，可用于执行上述方法实施例一中的步骤，其实现原理和技术效果类似，在此不再赘述。
图9为本发明提供的高精度地图更新装置的实施例的结构示意图。如图9所示，本实施例提供的高精度地图更新装置中获取模块901可具体用于：获取所述低空航拍下，通过第一时间间隔所采集到的影像，以及通过第二时间间隔所采集到的位姿数据；对所述通过第一时间间隔所采集到的影像和所述第二时间间隔所采集到的位姿数据，进行时间对齐处理；根据时间对齐下的影像和位姿数据，确定所述待处理影像的位姿数据，所述待处理影像为所述时间对齐下的影像中的任一影像。
其中，精化处理模块902可用于：根据所述位姿数据和所述待处理影像的四个角点的像素坐标，确定所述待处理影像对应的地面地理坐标范围；根据所述地面地理坐标范围，从所述高精度地图数据库中的矢量数据中查找与所述待处理影像匹配的矢量数据。
进一步的，精化处理模块902可具体用于：
从所述与所述待处理影像匹配的矢量数据中提取车道标线矢量形点；从所述待处理影像中提取车道标线角点，并根据所述矢量形点和所述车道标线角点，对所述位姿数据进行精化处理，以得到所述精化位姿数据。
精化处理模块902还可用于：
将所述矢量形点的坐标反投影至所述待处理影像，得到所述矢量形点的影像坐标；将所述矢量形点的影像坐标和所述车道标线角点的坐标进行匹配，生成同名点对；根据所述同名点对，采用空间后方交会方法，以得到所述精化位姿数据。
正射校正模块903，还可用于：采用深度学习影像语义分割方法从所述正射影像中确定标线目标；对所述标线目标进行边缘跟踪，确定标线的边缘像素点；将所述边缘像素点的坐标以及所述边缘像素点所包围的区域内的像素点的坐标确定为所述车道标线的三维坐标。
可选的，本实施例的装置还包括：
畸变校正模块905，用于对所述待处理影像进行畸变校正处理。
可选的，更新模块904可具体用于：
从所述高精度地图中，获取与所述待处理影像对应的车道标线中的原始三维坐标；对所述车道标线的三维坐标和所述原始三维坐标进行比对处理，并根据比对处理结果更新所述高精度地图。
本实施例提供的高精度地图更新装置，可用于执行上述方法实施例中的步骤，其实现原理和技术效果类似，在此不再赘述。
图10为本发明提供的电子设备的硬件结构示意图。如图10所示，本实施例的电子设备可以包括：存储器1001和处理器1002。
其中，存储器1001，用于存储程序指令。
处理器1002，用于在所述程序指令被执行时实现上述高精度地图更新方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。
本发明提供一种系统，包括：航拍设备和图9或图10所示高精度地图更新装置，航拍设备搭载有GPS、惯性导航系统以及相机。
本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述高精度地图更新方法。
本发明还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备实施上述高精度地图更新方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应理解，本发明所描述的处理器可以是中央处理单元(英文：Central ProcessingUnit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital SignalProcessor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种高精度地图更新方法，其特征在于，包括：
获取待处理影像采集时刻的位姿数据，所述待处理影像是通过航拍采集到的；
根据高精度地图数据库中与所述待处理影像匹配的矢量数据，对所述位姿数据进行精化处理，得到精化位姿数据；
根据所述高精度地图数据库中的激光点云数据和所述精化位姿数据，对所述待处理影像进行正射校正处理，生成正射影像；
从所述正射影像中提取车道标线的三维坐标，并根据所述车道标线的三维坐标，对高精度地图中与所述待处理影像对应的车道标线进行更新，以实现对所述高精度地图的更新。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理影像采集时刻的位姿数据，包括：
获取航拍下，通过第一时间间隔所采集到的影像，以及通过第二时间间隔所采集到的位姿数据；
对所述通过第一时间间隔所采集到的影像和所述第二时间间隔所采集到的位姿数据，进行时间对齐处理；
根据时间对齐下的影像和位姿数据，确定所述待处理影像的位姿数据，所述待处理影像为所述时间对齐下的影像中的任一影像。
3.根据权利要求1或2所述的方法，其特征在于，所述根据高精度地图数据库中与所述待处理影像匹配的矢量数据，对所述位姿数据进行精化处理，得到精化位姿数据之前，包括：
根据所述位姿数据和所述待处理影像的四个角点的像素坐标，确定所述待处理影像对应的地面地理坐标范围；
根据所述地面地理坐标范围，从所述高精度地图数据库中的矢量数据中查找与所述待处理影像匹配的矢量数据；
所述根据高精度地图数据库中与所述待处理影像匹配的矢量数据，对所述位姿数据进行精化处理，得到精化位姿数据，包括：
从所述与所述待处理影像匹配的矢量数据中提取车道标线矢量形点；
从所述待处理影像中提取车道标线角点，并根据所述矢量形点和所述车道标线角点，对所述位姿数据进行精化处理，以得到所述精化位姿数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述矢量形点和所述车道标线角点，对所述位姿数据进行精化处理，以得到所述精化位姿数据，包括：
将所述矢量形点的坐标反投影至所述待处理影像，得到所述矢量形点的影像坐标；
将所述矢量形点的影像坐标和所述车道标线角点的坐标进行匹配，生成同名点对；
根据所述同名点对，采用空间后方交会方法得到所述精化位姿数据。
5.根据权利要求3所述的方法，其特征在于，所述从所述正射影像中提取车道标线的三维坐标，包括：
采用深度学习影像语义分割方法从所述正射影像中确定标线目标；
对所述标线目标进行边缘跟踪，确定标线的边缘像素点；
将所述边缘像素点的坐标以及所述边缘像素点所包围的区域内的像素点的坐标确定为所述车道标线的三维坐标。
6.根据权利要求3所述的方法，其特征在于，所述从所述待处理影像中提取角点之前，还包括：
对所述待处理影像进行畸变校正处理；
则所述从待处理影像中提取角点，包括：
从畸变校正处理后的待处理影像中提取角点。
7.根据权利要求1、2和4-6中任一项所述的方法，其特征在于，所述根据所述车道标线的三维坐标，对高精度地图中与所述待处理影像对应的车道标线进行更新，以实现对所述高精度地图的更新，包括：
从所述高精度地图中，获取与所述待处理影像对应的车道标线中的原始三维坐标；
对所述车道标线的三维坐标和所述原始三维坐标进行比对处理，并根据比对处理结果更新所述高精度地图。
8.一种高精度地图更新装置，其特征在于，包括：
获取模块，用于获取待处理影像采集时刻的位姿数据，所述待处理影像是通过航拍采集到的；
精化处理模块，用于根据高精度地图数据库中与所述待处理影像匹配的矢量数据，对所述位姿数据进行精化处理，得到精化位姿数据；
正射校正模块，用于根据所述高精度地图数据库中的激光点云数据和所述精化位姿数据，对所述待处理影像进行正射校正处理，生成正射影像；
更新模块，用于从所述正射影像中提取车道标线的三维坐标，并根据所述车道标线的三维坐标，对高精度地图中与所述待处理影像对应的车道标线进行更新，以实现对所述高精度地图的更新。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来实现权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010123070.1A CN113312435B (zh) | 2020-02-27 | 2020-02-27 | 高精度地图更新方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010123070.1A CN113312435B (zh) | 2020-02-27 | 2020-02-27 | 高精度地图更新方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113312435A true CN113312435A (zh) | 2021-08-27 |
| CN113312435B CN113312435B (zh) | 2023-06-06 |
Family
ID=77370118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010123070.1A Active CN113312435B (zh) | 2020-02-27 | 2020-02-27 | 高精度地图更新方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113312435B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113932790A (zh) * | 2021-09-01 | 2022-01-14 | 北京迈格威科技有限公司 | 一种地图更新方法、装置、系统、电子设备及存储介质 |
| CN114719873A (zh) * | 2022-06-02 | 2022-07-08 | 四川省公路规划勘察设计研究院有限公司 | 一种低成本精细地图自动生成方法、装置及可读介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1959343A (zh) * | 2005-10-31 | 2007-05-09 | 北京师范大学 | 机载多角度成像测高技术 |
| CN107330380A (zh) * | 2017-06-14 | 2017-11-07 | 千寻位置网络有限公司 | 基于无人机航拍影像的车道线自动提取和识别方法 |
| US20190033459A1 (en) * | 2017-07-25 | 2019-01-31 | Waymo Llc | Determining Yaw Error from Map Data, Lasers, and Cameras |
| CN109658450A (zh) * | 2018-12-17 | 2019-04-19 | 武汉天乾科技有限责任公司 | 一种基于无人机的快速正射影像生成方法 |
| US20190138024A1 (en) * | 2017-11-07 | 2019-05-09 | Uber Technologies, Inc. | Map Automation - Lane Classification |
| CN110097620A (zh) * | 2019-04-15 | 2019-08-06 | 西安交通大学 | 基于图像和三维激光的高精度地图创建系统 |
| CN110186468A (zh) * | 2019-05-27 | 2019-08-30 | 北京主线科技有限公司 | 用于自动驾驶的高精度地图制作方法和制作装置 |
| CN110648398A (zh) * | 2019-08-07 | 2020-01-03 | 武汉九州位讯科技有限公司 | 基于无人机航摄数据的正射影像实时生成方法及系统 |
-
2020
- 2020-02-27 CN CN202010123070.1A patent/CN113312435B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1959343A (zh) * | 2005-10-31 | 2007-05-09 | 北京师范大学 | 机载多角度成像测高技术 |
| CN107330380A (zh) * | 2017-06-14 | 2017-11-07 | 千寻位置网络有限公司 | 基于无人机航拍影像的车道线自动提取和识别方法 |
| US20190033459A1 (en) * | 2017-07-25 | 2019-01-31 | Waymo Llc | Determining Yaw Error from Map Data, Lasers, and Cameras |
| US20190138024A1 (en) * | 2017-11-07 | 2019-05-09 | Uber Technologies, Inc. | Map Automation - Lane Classification |
| CN109658450A (zh) * | 2018-12-17 | 2019-04-19 | 武汉天乾科技有限责任公司 | 一种基于无人机的快速正射影像生成方法 |
| CN110097620A (zh) * | 2019-04-15 | 2019-08-06 | 西安交通大学 | 基于图像和三维激光的高精度地图创建系统 |
| CN110186468A (zh) * | 2019-05-27 | 2019-08-30 | 北京主线科技有限公司 | 用于自动驾驶的高精度地图制作方法和制作装置 |
| CN110648398A (zh) * | 2019-08-07 | 2020-01-03 | 武汉九州位讯科技有限公司 | 基于无人机航摄数据的正射影像实时生成方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 张恒润: "基于车载多摄像头的道路正射影像地图创建方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
| 王欣宇;范百兴;王同合;陈盼盼;谨雪朝;: "图像传感器与空间坐标测量传感器融合综述" * |
| 陈宗娟;孙二鑫;李丹丹;张聪聪;藏丹丹;程旭;: "高精地图现状分析与实现方案研究" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113932790A (zh) * | 2021-09-01 | 2022-01-14 | 北京迈格威科技有限公司 | 一种地图更新方法、装置、系统、电子设备及存储介质 |
| CN114719873A (zh) * | 2022-06-02 | 2022-07-08 | 四川省公路规划勘察设计研究院有限公司 | 一种低成本精细地图自动生成方法、装置及可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113312435B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109324337B (zh) | 无人飞行器的航线生成及定位方法、装置及无人飞行器 | |
| JP4232167B1 (ja) | 対象特定装置、対象特定方法および対象特定プログラム | |
| US8437501B1 (en) | Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases | |
| CN111261016B (zh) | 道路地图的构建方法、装置和电子设备 | |
| KR100529401B1 (ko) | 합성 개구 레이더 영상을 이용한 수치표고자료 제작 장치및 그 방법 | |
| CN111829532B (zh) | 一种飞行器重定位系统和重定位方法 | |
| JP4978615B2 (ja) | 対象特定装置 | |
| EP2210233A1 (en) | Method of and apparatus for producing lane information | |
| WO2020039937A1 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
| KR102127679B1 (ko) | 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템 | |
| KR20200110120A (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| CN114565863B (zh) | 无人机图像的正射影像实时生成方法、装置、介质及设备 | |
| KR102239562B1 (ko) | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 | |
| CN112414417A (zh) | 自动驾驶地图生成方法、装置、电子设备及可读存储介质 | |
| CN113312435B (zh) | 高精度地图更新方法和设备 | |
| CN114692720A (zh) | 基于鸟瞰图的图像分类方法、装置、设备及存储介质 | |
| CN111982132B (zh) | 数据处理方法、装置和存储介质 | |
| CN109490926B (zh) | 一种基于双目相机和gnss的路径规划方法 | |
| KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
| US11513211B2 (en) | Environment model using cross-sensor feature point referencing | |
| CN113284239A (zh) | 一种关于智慧城市的电子沙盘制作方法及装置 | |
| CN114556425A (zh) | 定位的方法、设备、无人机和存储介质 | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
| CN115950435A (zh) | 无人机巡检影像的实时定位方法 | |
| CN113838129B (zh) | 一种获得位姿信息的方法、装置以及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |