CN117671164A - 高精地图底图构建方法 - Google Patents
高精地图底图构建方法 Download PDFInfo
- Publication number
- CN117671164A CN117671164A CN202211052524.6A CN202211052524A CN117671164A CN 117671164 A CN117671164 A CN 117671164A CN 202211052524 A CN202211052524 A CN 202211052524A CN 117671164 A CN117671164 A CN 117671164A
- Authority
- CN
- China
- Prior art keywords
- frame
- point
- point cloud
- base map
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 26
- 238000004040 coloring Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 abstract description 11
- 230000015654 memory Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000000280 densification Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请公开了一种高精地图底图构建方法,属于数据处理技术领域。该方法包括:基于多帧点云数据生成目标区域对应的激光底图,该多帧点云数据由激光雷达对目标区域进行扫描得到,激光底图由多个点组成,该多个点来自于该多帧点云数据;在激光底图包括的多个点中确定待着色点云;基于多帧图像数据对待着色点云进行着色,得到目标区域对应的着色的高精地图底图,多帧图像数据由图像采集设备对目标区域进行采集得到。该方法能够充分利用多帧点云数据和多帧图像数据,使得生成激光底图所使用的点云与雷达获取的点云一致,提高了激光底图的着色效果,进而使得构建的着色的高精地图底图更准确。
Description
技术领域
本申请涉及数据处理技术领域,特别涉及一种高精地图底图构建方法。
背景技术
随着自动驾驶技术的发展,高精地图成为了实现自动驾驶必不可少的数据。高精地图也称为高分辨率地图(High Definition Map,HD Map)或者高度自动驾驶地图(HighlyAutomated Driving Map,HAD Map),是一类拥有精确的地理位置信息和丰富的道路元素语义信息的地图数据。
发明内容
本申请提供了一种高精地图底图构建方法、装置、设备及存储介质,能够获取目标区域对应的着色的高精地图底图。
第一方面,提供一种高精地图底图构建方法,所述方法包括:
基于多帧点云数据生成目标区域对应的激光底图,所述多帧点云数据由激光雷达对所述目标区域进行扫描得到,所述激光底图由多个点组成,所述多个点来自于所述多帧点云数据;
在所述激光底图包括的多个点中确定待着色点云;
基于多帧图像数据对所述待着色点云进行着色,得到所述目标区域对应的着色的高精地图底图,所述多帧图像数据由图像采集设备对所述目标区域进行采集得到。
在一种可能的实施方式中,所述基于多帧点云数据生成目标区域对应的激光底图,包括:
对所述目标区域进行外扩得到参考区域,基于所述多帧点云数据分别对应的地理坐标,确定地理坐标位于所述参考区域内的至少一帧点云数据;
将所述至少一帧点云数据包括的点投影到所述目标区域所在的平面,得到投影位置落到所述目标区域内的多个点,基于所述多个点生成所述激光底图。
在一种可能的实施方式中,所述在所述激光底图包括的多个点中确定待着色点云,包括:
将所述激光底图划分为多个网格,对于每个网格包括的点进行过滤,得到所述每个网格对应的目标数量个点;
根据所述每个网格对应的目标数量个点确定所述待着色点云。
在一种可能的实施方式中,所述对所述目标区域进行外扩得到参考区域,包括:
将所述目标区域的范围向各个方向均匀外扩参考距离,得到所述参考区域;
或者,将所述目标区域的范围向指定方向外扩所述参考距离,得到所述参考区域。
在一种可能的实施方式中,所述基于多帧图像数据对所述待着色点云进行着色,得到所述目标区域对应的着色的高精地图底图,包括:
对于所述待着色点云中的任一点,确定所述多帧图像数据中与所述任一点对应的至少一帧图像数据;
将所述任一点投影到所述至少一帧图像数据分别对应的图像坐标系上,获取所述任一点对应的至少一个像素点;
基于所述至少一个像素点的颜色对所述任一点进行着色,得到所述目标区域对应的着色的高精地图底图。
在一种可能的实施方式中,确定所述多帧图像数据中与所述任一点对应的至少一帧图像数据,包括:
基于所述多帧点云数据分别对应的地理坐标,确定至少一帧点云数据,所述至少一帧点云数据的地理坐标与所述任一点对应的地理坐标的距离小于第一阈值;
基于所述多帧图像数据分别对应的采集时间,确定与所述任一点对应的至少一帧图像数据,所述至少一帧图像数据的采集时间与所述至少一帧点云数据分别对应的扫描时间的间隔小于第二阈值,所述激光雷达的扫描与所述图像采集设备的采集同。
在一种可能的实施方式中,所述确定所述多帧图像数据中与所述任一点对应的至少一帧图像数据,包括:
基于所述多帧点云数据分别对应的地理坐标,获取所述多帧图像数据分别对应的地理坐标,所述激光雷达的扫描与所述图像采集设备的采集同步;
基于所述多帧图像数据分别对应的地理坐标,确定与所述任一点对应的至少一帧图像数据,所述至少一帧图像数据的地理坐标与所述任一点对应的地理坐标的距离小于第三阈值。
在一种可能的实施方式中,所述基于所述至少一个像素点的颜色对所述任一点进行着色,包括:
确定所述至少一个像素点分别对应的权重,将权重满足着色要求的像素点对应的颜色着色给所述任一点。
在一种可能的实施方式中,所述确定所述至少一个像素点分别对应的权重,包括:
确定所述至少一个像素点分别对应的地理坐标,任一像素点对应的地理坐标为所述图像采集设备得到所述任一像素点时的地理坐标;
根据所述至少一个像素点分别对应的地理坐标与所述任一点的地理坐标之间的距离,确定所述至少一个像素点分别对应的权重。
在一种可能的实施方式中,所述目标区域属于目标场景;所述基于多帧点云数据生成目标区域对应的激光底图之前,还包括:
根据所述激光雷达对所述目标场景进行扫描的扫描轨迹将所述目标场景划分为多个区域,所述多个区域包括所述目标区域;
所述得到所述目标区域对应的着色的高精地图底图之后,还包括:
按照所述扫描轨迹,拼接所述多个区域分别对应的着色的高精地图底图,得到所述目标场景对应的着色的高精地图底图。
第二方面,提供了一种高精地图底图构建装置,所述装置包括:
生成模块,用于基于多帧点云数据生成目标区域对应的激光底图,所述多帧点云数据由激光雷达对所述目标区域进行扫描得到,所述激光底图由多个点组成,所述多个点来自于所述多帧点云数据;
确定模块,用于在所述激光底图包括的多个点中确定待着色点云;
着色模块,用于基于多帧图像数据对所述待着色点云进行着色,得到所述目标区域对应的着色的高精地图底图,所述多帧图像数据由图像采集设备对所述目标区域进行采集得到。
在一种可能的实施方式中,生成模块,用于对所述目标区域进行外扩得到参考区域,基于所述多帧点云数据分别对应的地理坐标,确定地理坐标位于所述参考区域内的至少一帧点云数据;将所述至少一帧点云数据包括的点投影到所述目标区域所在的平面,得到投影位置落到所述目标区域内的多个点,基于所述多个点生成所述激光底图。
在一种可能的实施方式中,生成模块,用于将所述目标区域的范围向各个方向均匀外扩参考距离,得到所述参考区域;或者,将所述目标区域的范围向指定方向外扩所述参考距离,得到所述参考区域。
在一种可能的实施方式中,确定模块,用于将所述激光底图划分为多个网格,对于每个网格包括的点进行过滤,得到所述每个网格对应的目标数量个点;根据所述每个网格对应的目标数量个点确定所述待着色点云。
在一种可能的实施方式中,着色模块,用于对于所述待着色点云中的任一点,确定所述多帧图像数据中与所述任一点对应的至少一帧图像数据;将所述任一点投影到所述至少一帧图像数据分别对应的图像坐标系上,获取所述任一点对应的至少一个像素点;基于所述至少一个像素点的颜色对所述任一点进行着色,得到所述目标区域对应的着色的高精地图底图。
在一种可能的实施方式中,着色模块,用于基于所述多帧点云数据分别对应的地理坐标,确定至少一帧点云数据,所述至少一帧点云数据的地理坐标与所述任一点对应的地理坐标的距离小于第一阈值;基于所述多帧图像数据分别对应的采集时间,确定与所述任一点对应的至少一帧图像数据,所述至少一帧图像数据的采集时间与所述至少一帧点云数据分别对应的扫描时间的间隔小于第二阈值,所述激光雷达的扫描与所述图像采集设备的采集同步。
着色模块,用于基于所述多帧点云数据分别对应的地理坐标,获取所述多帧图像数据分别对应的地理坐标,所述激光雷达的扫描与所述图像采集设备的采集同步;基于所述多帧图像数据分别对应的地理坐标,确定与所述任一点对应的至少一帧图像数据,所述至少一帧图像数据的地理坐标与所述任一点对应的地理坐标的距离小于第三阈值。
在一种可能的实施方式中,着色模块,用于确定所述至少一个像素点分别对应的权重,将权重满足着色要求的像素点对应的颜色着色给所述任一点。
在一种可能的实施方式中,着色模块,用于确定所述至少一个像素点分别对应的地理坐标,任一像素点对应的地理坐标为所述图像采集设备得到所述任一像素点时的地理坐标;根据所述至少一个像素点分别对应的地理坐标与所述任一点的地理坐标之间的距离,确定所述至少一个像素点分别对应的权重。
在一种可能的实施方式中,所述目标区域属于目标场景;所述装置还包括:
划分模块,用于根据所述激光雷达对所述目标场景进行扫描的扫描轨迹将所述目标场景划分为多个区域,所述多个区域包括所述目标区域;
拼接模块,用于按照所述扫描轨迹,拼接所述多个区域分别对应的着色的高精地图底图,得到所述目标场景对应的着色的高精地图底图。
第三方面,还提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以使计算机设备实现上述任一项所述的高精地图底图构建方法。
第四方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以使计算机实现上述任一项所述的高精地图底图构建方法。
第五方面,还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述任一所述的高精地图底图构建方法。
本申请提供的技术方案至少可以带来如下有益效果:
本申请提供的技术方案,由于多帧点云数据相比于单帧点云数据包括的点的信息更全面,使得根据多帧点云数据生成的激光底图不会出现空洞。又由于生成激光底图所使用的点云与雷达获取的点云一致,无需相关技术中的稠密化处理,因此不会无中生有补充点云,进而不会在深度跳变区域出现黑边,使得对点云数据的利用率较高。又由于多帧图像数据相比于单帧图像数据包括的颜色信息更全面,则根据多帧图像数据对待着色点云进行着色的结果更准确,提高了激光底图的着色效果,进而使得构建的着色的高精地图底图更准确。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种高精地图底图构建方法的实施环境的示意图;
图2是本申请实施例提供的一种高精地图底图构建方法的流程图;
图3是本申请实施例提供的一种高精地图底图构建方法的示意图;
图4是本申请实施例提供的一种激光底图着色效果的对比示意图;
图5是本申请实施例提供的一种高精地图底图构建装置的示意图;
图6是本申请实施例提供的一种计算机设备的结构示意图;
图7是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1示出了本申请实施例提供的高精地图底图构建方法的实施环境的示意图。该实施环境包括:计算机设备101、激光雷达102与图像采集设备103。可选地,计算机设备101通过有线或无线的方式与激光雷达102和图像采集设备103进行通信连接。
在一种可能实现方式中,计算机设备101中安装并运行有用于目标应用程序,目标应用程序用于根据点云数据和对应的图像数据生成彩色激光底图,即着色的高精地图底图。其中,点云数据和图像数据分别由相应的探测设备获取得到,例如,使用激光雷达102获取激光点云,进一步获取到点云数据,通过图像采集设备103进行图像采集,进一步得到图像数据。
通常,激光底图是利用激光在不同物体上的反射率强度的不同,来对不同物体进行区分。以高精地图的应用场景为例,受到路面标识的图涂料反射或路面积水等影响,会导致激光底图上部分路段的反射率强度无法反映真实的路段信息,即无法获取车道线、斑马线、箭头等路面标志物的清晰的边界信息。因此,采用本申请实施提供的方法能够根据图像数据对激光底图进行着色,以获取着色的高精地图底图,该着色的高精地图底图所呈现的路面信息更清晰准确。
本申请实施例中的点云数据和图像数据可以是提前获取得到,例如,在保存有点云数据和图像数据的数据库中调取得到。或者,本申请实施例中的点云数据和图像数据也可以在激光雷达102和图像采集设备103进行实时采集的过程中实时获取得到。
可选地,图像采集设备103可以为摄像头、相机、扫描仪或其他带有拍照功能的设备。激光雷达102,是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标物发射探测信号(激光束),然后将接收到的从目标物反射回来的信号与发射信号进行比较,根据激光测距原理计算后,就可获得从激光雷达到目标点的距离、方位、姿态等信息。探测信号不断地扫描目标物,就可以得到目标物上全部目标点的数据,即点云数据。
在本申请实施例中,上述激光雷达102和图像采集设备103可以安装在同一移动设备上进行数据的同步采集,例如,安装在同一车辆上。可选地,激光雷达102进行360°扫描,得到的是360°的三维的点云数据,其中,每帧点云数据包括但不限于地理坐标、位姿信息、每个点在世界坐标系下的三维坐标以及深度信息等。图像采集设备103的镜头朝向车辆前后左右等至少一个方向或者围绕车辆环视的视角进行采集,得到的是镜头视野内的二维的图像数据,其中,图像数据包括但不限于每个像素点的颜色等。
由于激光雷达102和图像采集设备103的相对位置不变,且激光雷达102和图像采集设备103根据车辆轨迹进行同步扫描,因此,激光雷达102扫描得到的点云数据和图像采集设备103采集得到的图像数据具有对应关系,进而可以根据图像数据包括的颜色对点云数据中用于生成激光底图的待着色点云进行着色,以得到着色的高精地图底图,着色的高精地图底图中能够清楚的区分不同的物体。
在一种可能实现方式中,计算机设备101可以是指终端,也可以是指服务器。示例性地,终端可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如个人计算机(Personal Computer,PC)、智能手机、个人数字助手(Personal Digital Assistant,PDA)、可穿戴设备、掌上电脑PPC(Pocket PC,PPC)、平板电脑、智能车机等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本领域技术人员应能理解上述计算机设备101仅为举例,其他现有的或今后可能出现的计算机设备也可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
相关技术中,激光雷达与图像采集设备进行数据的同步采集,激光雷达用于采集三维的点云数据,图像采集设备用于采集二维的图像数据。对于每一帧点云数据,将三维点云投影到距离该帧点云数据的采集时间最近的图像上,得到一张稀疏的深度图,然后将稀疏的深度图进行稠密化处理,例如,插值处理,使得图像上的每一个像素点都对应一个深度值。之后,将图像上每一个像素点和其对应的深度值反投影到三维空间得到着色点云,将着色点云投影到水平面上获取得到着色的高精地图底图。最后将根据多帧点云数据获取的多个着色的高精地图底图进行融合,得到全场景的着色的高精地图底图。
但是,由于单帧点云数据能够投影到单帧图像上的点是稀疏的,而激光底图的生成只利用了该帧点云数据中能够投影到图像上的点,使得对于点云数据的利用率较低,并且在将稀疏的深度图进行稠密化处理的过程中,对于深度跳变的路沿等区域,不可避免会由于补充的深度值导致深度值的缓慢变化,也即路沿处会出现黑边现象,使得激光底图的着色效果较差。
本申请实施例提供一种高精地图底图构建方法,该方法可解决上述相关技术中的问题。示例性地,本申请实施例提供的方法可应用于上述图1所示的实施环境中,例如,应用于计算机设备101,计算机设备101可以为终端,也可以为服务器,本申请实施例对此不进行限定。如图2所示,本申请实施例提供的高精地图底图构建方法包括但不限于如下步骤201-步骤203。
步骤201,基于多帧点云数据生成目标区域对应的激光底图,该多帧点云数据由激光雷达进行扫描得到,激光底图由多个点组成,该多个点来自于该多帧点云数据。
在本申请实施例中,通过激光雷达对目标区域进行多次扫描,能够得到多帧点云数据,可选地,激光雷达对目标区域进行360°扫描,即激光雷达每转一圈扫描得到的点云数据即为一帧点云数据。可以理解,多帧点云数据可以为多角度对目标区域进行扫描得到,由于当激光雷达发射的一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息,由此若激光光束转一圈进行扫描,便会边扫描边记录到反射的激光点信息,则能够得到大量的激光点,因而即可形成点云数据。
也就是说,该多帧点云数据包含多角度的目标区域的物体反射的激光点信息,使得该多帧点云数据包含的目标区域的点足够丰富,能够满足目标区域的激光底图的生成需要,不会出现激光底图上的空洞现象。则基于多帧点云数据包括的点能够生成目标区域对应的激光底图,即激光底图包括的点均来自于该多帧点云数据,也即激光底图包括的点均是通过激光雷达真实扫描得到,使得生成激光底图所使用的点云与雷达获取的点云一致。
可选地,通过激光雷达扫描得到的点云数据可以为,通过Lidar(Light DetectionAnd Ranging,光探测和测距)测量技术的激光扫描获取多帧点云数据,通过RTK(Real-timekinematic,实时动态定位)技术获取每帧点云数据对应的地理坐标,其中,RTK包括GPS(Global Positioning System,全球定位系统)和惯性导航系统,由此能够快速、精确地获取点云数据。每帧点云数据对应的地理坐标和姿态信息,其中地理坐标为扫描该帧点云数据时激光雷达所位于的位置信息,位置信息可以指的是空间位置;姿态信息为扫描该帧点云数据时激光雷达所处于的姿态信息,姿态信息可以指的是朝向。可选地,该地理坐标为在世界坐标系下的坐标,世界坐标系也称为测量坐标系,为一种三维直角坐标系,可用于描述对象(例如,激光雷达等)的空间位置。
在一种可能的实施方式中,目标区域属于目标场景,例如,目标场景为目标街道,则目标区域可以为目标街道中的任一路段;目标场景为目标商场,则目标区域可以为目标商场中的任一店铺。在该情况下,通过激光雷达对目标场景进行多次扫描得到该目标场景对应的全景点云数据,其中,上述多帧点云数据可以为该全景点云数据中所有包括该目标区域的点云数据,由于每帧点云数据包括对应的地理坐标,因此,根据全景点云数据中每一帧点云数据对应的地理坐标能够确定得到激光雷达的扫描轨迹。例如,激光雷达的扫描轨迹可以为从目标街道的A位置到B位置;或者,激光雷达的扫描轨迹可以为从目标商场中的A店铺到B店铺。
可选地,在基于多帧点云数据生成目标区域对应的激光底图之前,还包括:根据该激光雷达对目标场景进行扫描的扫描轨迹,将该目标场景划分为多个区域,目标区域为该多个区域中的任一区域。示例性地,激光雷达的扫描轨迹为从目标街道的A位置到B位置,则可以将目标街道划分为第一路段、第二路段和第三路段,目标区域为第一路段、第二路段或第三路段中的任一路段。可以理解的是,第一路段、第二路段和第三路段拼接起来则为该目标街道的全景。
本申请实施例不对将该目标场景划分为多个区域的方式进行限定,可选地,将该目标场景平均的划分为多个大小相同的区域,例如,每个区域的尺寸大小均是长度为50米的正方形;或者,将该目标场景按照区域特性划分为多个区域,例如,按照不同店铺进行划分,每个店铺对应一个区域。
可选地,点云数据为三维数据,每帧点云数据包括多个点,该多个点是指在三维坐标系中的一组向量的集合,该三维坐标系可以理解为世界坐标系。每个点对应的向量通常以x、y、z三维坐标的形式表示,而且一般主要用来代表一个物体的外表面形状。示例性的,Pi={xi,yi,zi}表示空间中的第i个点,Point Cloud={P1,P2,P3,...,Pn}表示一组点云数据,i、n为正整数。
在本申请实施例中,目标区域为二维平面,该二维平面可以为世界坐标系下的任一平面,例如,该任一平面可以为地平面。那么将该多帧点云数据中的点投影到目标区域所在的平面,投影位置落到该目标区域内的点即为该目标区域对应的激光底图包括的点。在该情况下,该多帧点云数据可以为地理坐标位于该目标区域内的点云数据。示例性地,以目标区域所在的平面为x轴和y轴构成的水平面为例,将Pi={xi,yi,zi}中的zi删除得到的Pi={xi,yi},即为该第i个点投影到目标区域所在的平面的投影位置。
在一种可能的实施方式中,基于多帧点云数据生成目标区域对应的激光底图,包括:对目标区域进行外扩得到参考区域,基于多帧点云数据分别对应的地理坐标,确定地理坐标位于该参考区域内的至少一帧点云数据;将至少一帧点云数据包括的点投影到目标区域所在的平面,得到投影位置落到该目标区域内的多个点,基于多个点生成激光底图。由此,不仅利用了地理坐标位于该目标区域内的点云数据,还利用了地理坐标位于该目标区域之外但在参考区域内的点云数据,增大了对点云数据的利用率,使得生成的激光底图包括的点更全面,进一步避免激光底图的边缘出现空洞。
可选地,对目标区域进行外扩得到参考区域的方式本申请实施例不做限定,示例性地,将目标区域的范围向各个方向均匀外扩参考距离,或者,将目标区域的范围按照指定方向外扩参考距离。参考距离可以根据经验设置,或者根据应用场景灵活调整,例如,参考距离为20米。通过均匀外扩或指定方向外扩的方式,能够灵活应用于不同的外扩需求场景。
步骤202,在该激光底图包括的多个点中确定待着色点云。
在本申请实施例中,由于激光底图包括的点来自于多帧点云数据,且每帧点云数据采集的角度不同,则对于目标区域中的某一点来说,由于不同角度扫描得到的点的三维坐标可能稍有偏差,即存在目标区域中的某一点包括对应的来自多帧点云数据的多个点的情况。由此,对于激光底图中包括的多个点,无需对每个点均进行着色,可以将激光底图包括的多个点中重复的点或者存在较大偏差的点过滤掉,将过滤剩下的点作为待着色点云。
在一种可能的实施方式中,在激光底图包括的多个点中确定待着色点云,包括:将激光底图划分为多个网格,对于每个网格包括的点进行过滤,得到每个网格对应的目标数量个点;根据每个网格对应的目标数量个点确定待着色点云。可选地,目标数量可以根据经验设置,或者根据应用场景灵活调整,例如,目标数量为1。可以理解,激光底图的尺寸即为目标区域的尺寸,将激光底图划分为多个网格即为将目标区域划分为多个网格。
本申请实施例不对网格划分的方式进行限定,可选地,可以将目标区域均匀地划分为多个网格;也可以将目标区域中的关键区域划分为多个第一尺寸的网格,将除关键区域之外的区域划分为多个第二尺寸的网格,第一尺寸小于第二尺寸,第一尺寸和第二尺寸均可以根据应用场景灵活调整,例如,第一尺寸为2.5厘米*2.5厘米,第二尺寸为5厘米*5厘米。其中,关键区域可以指的是任一路段区域中包括路面标志物的区域。示例性地,以目标区域是长度为50米的正方形为例,将目标区域均匀划分为多个2.5厘米*2.5厘米多个网格,由此,目标区域包括400个网格,每个网格包括多个点。
可选地,对于每个网格包括的点进行过滤的方式本申请实施例不做限定,例如,从每个网格包括的点中随机选择目标数量个点,或者,从每个网格包括的点中选择重复次数大于次数阈值的点作为该目标数量个点。
步骤203,基于多帧图像数据对待着色点云进行着色,得到目标区域对应的着色的高精地图底图,多帧图像数据由图像采集设备对目标区域进行采集得到。
在本申请实施例中,除了通过激光雷达对目标区域进行扫描获取点云数据之外,还通过图像采集设备对目标场景进行采集获取图像数据,以根据图像数据中包括的像素信息对激光底图中的待着色点云进行着色。可选地,图像采集设备的采集与激光雷达的扫描同步,其中,图像采集设备的采集与激光雷达的扫描的位置同步,图像采集设备的采集与激光雷达的扫描的频率同步。示例性地,图像采集设备与激光雷达同步移动对目标区域进行激光扫描或图像采集,且图像采集设备与激光雷达的扫描频率或采集频率相同,即每获取一帧点云数据则获取一张对应的图像数据。
在一种可能的实施方式中,基于多帧图像数据对待着色点云进行着色,得到目标区域对应的着色的高精地图底图,包括但不限于如下步骤2031-2033。
步骤2031,对于待着色点云中的任一点,确定多帧图像数据中与任一点对应的至少一帧图像数据。
在本申请实施例中,任一点对应的至少一帧图像数据即为图像采集设备的采集视野包括该任一点时采集的图像数据,由此,即可根据该任一点对应的至少一帧图像数据中的颜色对该任一点进行着色。
在一种可能的实施方式中,确定多帧图像数据中与任一点对应的至少一帧图像数据,包括:基于多帧点云数据分别对应的地理坐标,确定至少一帧点云数据,至少一帧点云数据的地理坐标与任一点对应的地理坐标的距离小于第一阈值;基于多帧图像数据分别对应的采集时间,确定与任一点对应的至少一帧图像数据,至少一帧图像数据的采集时间与至少一帧点云数据分别对应的扫描时间的间隔小于第二阈值。可以理解,任一点对应的地理坐标即为该任一点的三维坐标,例如,上述第i个点对应的地理坐标为Pi={xi,yi,zi}。
可选地,第一阈值和第二阈值均可根据经验设置,或者根据应用场景灵活调整,例如,第一阈值为15米,第二阈值为1秒。本申请实施例不对计算的理坐标之间的距离的方式进行限定,例如,可以采用计算欧氏距离的方式。由此,确定的地理坐标与任一点对应的地理坐标的距离小于第一阈值的至少一帧点云数据,是激光雷达距离该任一点足够近的时候扫描得到的。可以理解,激光雷达距离该任一点越近,则对应的该帧点云数据获取的该任一点的坐标信息更准确。
在一种可能的实施方式中,由于至少一帧点云数据除了包括地理坐标对应的空间位置信息,还包括姿态信息对应的朝向,则基于多帧点云数据分别对应的地理坐标,确定地理坐标与任一点对应的地理坐标的距离小于第一阈值的至少一帧点云数据,包括:基于多帧点云数据分别对应的地理坐标,确定地理坐标与任一点对应的地理坐标的距离小于第一阈值,且姿态信息指示激光雷达朝向该任一点的至少一帧点云数据。由此,确定得到的至少一帧点云数据,是激光雷达距离该任一点足够近且朝向该任一点的时候扫描得到的,进一步提高了获取的至少一帧点云数据的精确度。
在本申请实施例中,由于图像采集设备与激光雷达同步移动,且图像采集设备与激光雷达的相对位置不变,则图像采集设备的扫描时间与激光雷达的采集时间越相近,那么该采集时间下的图像采集设备距离该任一点越近,同样,图像采集设备距离该任一点越近,则对应的该帧图像数据获取的该任一点的颜色更准确。
在一种可能的实施方式中,确定多帧图像数据中与任一点对应的至少一帧图像数据,包括:基于多帧点云数据分别对应的地理坐标,获取多帧图像数据分别对应的地理坐标,激光雷达的扫描与图像采集设备的采集同步;基于多帧图像数据分别对应的地理坐标,确定与任一点对应的至少一帧图像数据,至少一帧图像数据的地理坐标与任一点对应的地理坐标的距离小于第三阈值。
在确定激光雷达的扫描轨迹之后,根据图像采集设备与激光雷达的相对位置关系,即可推理得到图像采集设备的采集轨迹,根据图像采集设备的采集轨迹能够确定每帧图像数据对应的地理坐标。可选地,在确定每帧图像数据对应的地理坐标之后,可以直接基于多帧图像数据分别对应的地理坐标,确定地理坐标与任一点对应的地理坐标的距离小于第三阈值的至少一帧图像数据。可选地,第三阈值可根据经验设置,或者根据应用场景灵活调整,例如,第三阈值为15米。
步骤2032,将任一点投影到至少一帧图像数据分别对应的图像坐标系上,获取任一点对应的至少一个像素点。
在获取到该第一点对应的至少一帧图像数据之后,即可根据至少一帧图像数据包含的该任一点对应的颜色信息对该任一点进行着色。可选地,对于该至少一帧图像数据中的第一帧图像数据,将该任一点投影到该第一帧图像数据对应的图像坐标系上,当该任一点的投影位置落在图像上时,得到该任一点在该图像上对应的第一像素点。由此,能够获取该任一点对应的至少一个像素点。
在一种可能的实施方式中,以图像采集设备为相机为例,根据相机标定原理能够获取世界坐标系到图像坐标系之间转换的投影变换矩阵,进而根据该投影变换矩阵能够将世界坐标系下的任一点投影到至少一帧图像数据分别对应的图像坐标系上。可选地,可以采用任意一种相机标定的方法,能够确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系即可。
示例性地,相机标定方法可以采用自标定算法,通过在静态场景中移动相机进行图像采集以获取多张图像,然后利用该多张图像之间的对应关系获取相机的内参和外参;或者,相机标定方法可以采用基于标定块的标定算法,通过相机拍摄设定的标定物来实现相机的标定,例如,张正友相机标定法。
在本申请实施例中,图像坐标系以图像的顶点(例如,左上角顶点)为原点,包括相互垂直的两个轴,例如,U轴和V轴,U轴平行于图像坐标系的X轴,V轴和平行于图像坐标系的Y轴,图像坐标系以图像的中心为原点,X轴和Y轴分别平行于图像的两条垂直边。图像中的像素点即为在图像坐标系下的坐标点,像素点对应的值即为图像在该像素点的像素值。
步骤2033,基于至少一个像素点的颜色对任一点进行着色,得到目标区域对应的着色的高精地图底图。
在获取得到该任一点对应的至少一个像素点之后,即根据该至少一个像素点的颜色对任一点进行着色,例如,将该至少一个像素点中的任一像素点的颜色着色给该任一点。
在一种可能的实施方式中,基于至少一个像素点的颜色对任一点进行着色,包括:确定至少一个像素点分别对应的权重,将权重满足着色要求的像素点对应的颜色着色给任一点。可选地,任一像素点的权重用于指示使用该任一像素点对应的颜色着色给任一点的准确程度。可以理解,当权重与准确程度成正比时,着色要求为权重最大,当权重与准确程度成反比时,着色要求为权重最小。
可选地,确定至少一个像素点分别对应的权重,包括:确定至少一个像素点分别对应的地理坐标;根据至少一个像素点分别对应的地理坐标与任一点的地理坐标之间的距离,确定至少一个像素点分别对应的权重。示例性地,将任一像素点对应的地理坐标与该任一点对应的地理坐标之间的距离作为该任一像素点对应的权重。其中,任一像素点对应的地理坐标为图像采集设备得到任一像素点时的地理坐标,则像素点对应的地理坐标即为该像素点对应的图像数据对应的地理坐标。可选地,像素点的颜色可以为该像素点对应的RGB(Red Green Blue,红绿蓝)值。
由此,能够根据图像采集设备在距离该任一点最近时采集的该任一点对应的像素点的颜色进行着色,使得着色效果更准确。进一步地,通过同样的方式能够实现对待着色点云中每一点进行着色,进而得到目标区域对应的着色的高精地图底图。
在一种可能的实施方式中,得到目标区域对应的着色的高精地图底图之后,还包括:按照激光雷达的扫描轨迹,拼接多个区域分别对应的着色的高精地图底图,得到目标场景对应的着色的高精地图底图。由此,能够得到针对目标场景的全景的着色的高精地图底图。
可选地,着色的高精地图底图还可称为数字正射影像(Digital Orthophoto Map,DOM)图。其中,DOM是对航空(或航天)相片进行数字微分纠正和镶嵌,按一定图幅范围裁剪生成的数字正射影像集。以供后续根据该DOM生成对应的高精地图。
参见图3,图3为本申请实施例提供的一种高精地图底图构建方法的示意图。如图3所示,该方法包括三部分,首先基于多帧点云数据生成激光底图,然后基于多帧图像数据对该激光底图进行着色,得到对应的DOM图进行保存。
其中,在基于多帧点云数据生成激光底图的过程中,由于该多帧点云数据是通过激光雷达对目标场景进行扫描得到的,因此,首先通过激光雷达的扫描轨迹对目标场景进行区域(tile)的划分,即划分tile,然后对于每个tile进行一定程度的扩充,使用激光雷达的轨迹在该扩充tile内扫描得到的多帧点云数据来生成该tile对应的激光底图,可以理解,该激光底图为表达激光反射率强弱的黑白图。
在基于多帧图像数据获取着色的高精地图底图的过程中,首先将激光底图按照网格进行划分,即划分网格,然后对每个网格内的点进行过滤,例如,使得每个网格内仅保留一个点,过滤后剩下的点即为待着色的点。然后,对于待着色点云中的每一点,即每个网格内保留的一点,获取图像中包含该点的图像数据,即获取<点,图像>对的对应关系。
通常每个点对应多帧图像,那么将任一点投影到每帧图像对应的图像坐标系上,当能够投影到图像上时,获取该投影位置对应的像素点,使用该像素点的颜色对该任一点进行着色,并根据该像素点所在的图像帧的采集时刻距离该任一点所在的雷达帧的扫描时刻的关系,计算使用该像素点的颜色对该任一点进行着色的分数,例如,距离越近分数越高。在该任一点可以被多帧图像上的像素点着色时,将分数最高的着色结果作为该任一点的着色结果。
由此,对激光底图上保留的每一点完成着色后,即可获取到对应的DOM图,并对该DOM图进行保存。
参见图4,图4为本申请实施例提供的一种激光底图着色效果的对比示意图。图4中的左半部分为采用相关技术中的方法获取的着色的高精地图底图的效果图,图4中右半部分为采用本申请实施例提供的方法获取的着色的高精地图底图的效果图,可以看出,采用本申请实施例提供的方法的激光底图的着色效果更优,激光底图中出现的空洞更少、路沿处也不会出现黑边现象、物体的边界信息更清楚。
本申请实施例提供了高精地图底图构建方法,由于生成的激光底图中的点均来自于激光雷达扫描得到的多帧点云数据,多帧点云数据的全面性避免了激光底图中出现空洞,由于生成激光底图所使用的点云与雷达获取的点云一致,无需相关技术中的稠密化处理,因此不会无中生有补充点云,进而不会在深度跳变区域出现黑边,使得对点云数据的利用率较高。此外,使用距离该点最近的也即噪声较小的图像的颜色为该点着色,避免受到较远距离的也即噪声较大的图像的颜色的影响,提高了激光底图的可靠性和着色效果,进而使得构建的着色的高精地图底图更准确。
参见图5,本申请实施例提供了一种高精地图底图构建装置,该装置包括:
生成模块401,用于基于多帧点云数据生成目标区域对应的激光底图,多帧点云数据由激光雷达对目标区域进行扫描得到,激光底图由多个点组成,多个点来自于多帧点云数据;
确定模块402,用于在激光底图包括的多个点中确定待着色点云;
着色模块403,用于基于多帧图像数据对待着色点云进行着色,得到目标区域对应的着色的高精地图底图,多帧图像数据由图像采集设备对目标区域进行采集得到。
在一种可能的实施方式中,生成模块401,用于对目标区域进行外扩得到参考区域,基于多帧点云数据分别对应的地理坐标,确定地理坐标位于参考区域内的至少一帧点云数据;将至少一帧点云数据包括的点投影到目标区域所在的平面,得到投影位置落到目标区域内的多个点,基于多个点生成激光底图。
在一种可能的实施方式中,生成模块401,用于将目标区域的范围向各个方向均匀外扩参考距离,得到参考区域;或者,将目标区域的范围向指定方向外扩参考距离,得到参考区域。
在一种可能的实施方式中,确定模块402,用于将激光底图划分为多个网格,对于每个网格包括的点进行过滤,得到每个网格对应的目标数量个点;根据每个网格对应的目标数量个点确定待着色点云。
在一种可能的实施方式中,着色模块403,用于对于待着色点云中的任一点,确定多帧图像数据中与任一点对应的至少一帧图像数据;将任一点投影到至少一帧图像数据分别对应的图像坐标系上,获取任一点对应的至少一个像素点;基于至少一个像素点的颜色对任一点进行着色,得到目标区域对应的着色的高精地图底图。
在一种可能的实施方式中,着色模块403,用于基于多帧点云数据分别对应的地理坐标,确定至少一帧点云数据,至少一帧点云数据的地理坐标与任一点对应的地理坐标的距离小于第一阈值;基于多帧图像数据分别对应的采集时间,确定与任一点对应的至少一帧图像数据,至少一帧图像数据的采集时间与至少一帧点云数据分别对应的扫描时间的间隔小于第二阈值,激光雷达的扫描与图像采集设备的采集同步。
在一种可能的实施方式中,着色模块403,用于基于多帧点云数据分别对应的地理坐标,获取多帧图像数据分别对应的地理坐标,激光雷达的扫描与图像采集设备的采集同步;基于多帧图像数据分别对应的地理坐标,确定与任一点对应的至少一帧图像数据,至少一帧图像数据的地理坐标与任一点对应的地理坐标的距离小于第三阈值。
在一种可能的实施方式中,着色模块403,用于确定至少一个像素点分别对应的权重,将权重满足着色要求的像素点对应的颜色着色给任一点。
在一种可能的实施方式中,着色模块403,用于确定至少一个像素点分别对应的地理坐标,任一像素点对应的地理坐标为图像采集设备得到任一像素点时的地理坐标;根据至少一个像素点分别对应的地理坐标与任一点的地理坐标之间的距离,确定至少一个像素点分别对应的权重。
在一种可能的实施方式中,目标区域属于目标场景;该装置还包括:
划分模块,用于根据激光雷达对目标场景进行扫描的扫描轨迹将目标场景划分为多个区域,多个区域包括目标区域;
拼接模块,用于按照扫描轨迹,拼接多个区域分别对应的着色的高精地图底图,得到目标场景对应的着色的高精地图底图。
本申请实施例提供的装置,由于多帧点云数据相比与单帧点云数据包括的点的信息更全面,使得根据多帧点云数据生成的激光底图不会出现空洞。由于生成激光底图所使用的点云与雷达获取的点云一致,无需相关技术中的稠密化处理,因此不会无中生有补充点云,进而不会在深度跳变区域出现黑边,使得对点云数据的利用率较高。由于多帧图像数据相比于单帧图像数据包括的颜色信息更全面,则根据多帧图像数据对待着色点云进行着色的结果更准确,提高了激光底图的着色效果。
应理解的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图6,其示出了本申请一个实施例提供的计算机设备的结构示意图。该计算机设备可以为终端,例如可以是:智能手机、平板电脑、车载终端、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端包括有:处理器701和存储器702。
处理器701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器701可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器701还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的高精地图底图构建方法。
在一些实施例中,终端还可选包括有:外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地,外围设备包括:射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中,处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上;在一些其他实施例中,处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路704包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或无线保真(Wireless Fidelity,WiFi)网络。在一些实施例中,射频电路704还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏705用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时,显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时,显示屏705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏705可以为一个,设置在终端的前面板;在另一些实施例中,显示屏705可以为至少两个,分别设置在终端的不同表面或呈折叠设计;在再一些实施例中,显示屏705可以是柔性显示屏,设置在终端的弯曲表面上或折叠面上。甚至,显示屏705还可以设置成非矩形的不规则图形,也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地,摄像头组件706包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器701进行处理,或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路707还可以包括耳机插孔。
定位组件708用于定位电子设备700的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为终端中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于:加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号,控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端的机体方向及转动角度,陀螺仪传感器712可以与加速度传感器711协同采集用户对终端的3D动作。处理器701根据陀螺仪传感器712采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端的侧边框和/或显示屏705的下层。当压力传感器713设置在终端的侧边框时,可以检测用户对终端的握持信号,由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时,由处理器701根据用户对显示屏705的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹,由处理器701根据指纹传感器714采集到的指纹识别用户的身份,或者,由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器701授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置在电子设备700的正面、背面或侧面。当电子设备700上设置有物理按键或厂商Logo时,指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中,处理器701可以根据光学传感器715采集的环境光强度,控制显示屏705的显示亮度。具体地,当环境光强度较高时,调高显示屏705的显示亮度;当环境光强度较低时,调低显示屏705的显示亮度。在另一个实施例中,处理器701还可以根据光学传感器715采集的环境光强度,动态调整摄像头组件706的拍摄参数。
接近传感器716,也称距离传感器,通常设置在终端的前面板。接近传感器716用于采集用户与终端的正面之间的距离。在一个实施例中,当接近传感器716检测到用户与终端的正面之间的距离逐渐变小时,由处理器701控制显示屏705从亮屏状态切换为息屏状态;当接近传感器716检测到用户与终端的正面之间的距离逐渐变大时,由处理器701控制显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对计算机设备的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
请参考图7,图7是本申请实施例提供的一种服务器的结构示意图,该服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器801和一个或多个的存储器802,其中,该一个或多个存储器802中存储有至少一条程序指令,该至少一条程序指令由该一个或多个处理器801加载并执行以实现上述各个方法实施例提供的高精地图底图构建方法。当然,该服务器800还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器800还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条程序代码。该至少一条程序代码由一个或者一个以上处理器加载并执行,以使计算机设备实现上述任一种高精地图底图构建方法。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由计算机设备的处理器加载并执行,以使计算机实现上述任一种高精地图底图构建方法。
可选地,上述计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-OnlyMemory,CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一种高精地图底图构建方法。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们的任意变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
需要说明的是,本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本申请中涉及到的点云数据和图像数据都是在充分授权的情况下获取的。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种高精地图底图构建方法,其特征在于,所述方法包括:
基于多帧点云数据生成目标区域对应的激光底图,所述多帧点云数据由激光雷达对所述目标区域进行扫描得到,所述激光底图由多个点组成,所述多个点来自于所述多帧点云数据;
在所述激光底图包括的多个点中确定待着色点云;
基于多帧图像数据对所述待着色点云进行着色,得到所述目标区域对应的着色的高精地图底图,所述多帧图像数据由图像采集设备对所述目标区域进行采集得到。
2.根据权利要求1所述的方法,其特征在于,所述基于多帧点云数据生成目标区域对应的激光底图,包括:
对所述目标区域进行外扩得到参考区域,基于所述多帧点云数据分别对应的地理坐标,确定地理坐标位于所述参考区域内的至少一帧点云数据;
将所述至少一帧点云数据包括的点投影到所述目标区域所在的平面,得到投影位置落到所述目标区域内的多个点,基于所述多个点生成所述激光底图。
3.根据权利要求2所述的方法,其特征在于,所述对所述目标区域进行外扩得到参考区域,包括:
将所述目标区域的范围向各个方向均匀外扩参考距离,得到所述参考区域;
或者,将所述目标区域的范围向指定方向外扩所述参考距离,得到所述参考区域。
4.根据权利要求1所述的方法,其特征在于,所述在所述激光底图包括的多个点中确定待着色点云,包括:
将所述激光底图划分为多个网格,对于每个网格包括的点进行过滤,得到所述每个网格对应的目标数量个点;
根据所述每个网格对应的目标数量个点确定所述待着色点云。
5.根据权利要求1所述的方法,其特征在于,所述基于多帧图像数据对所述待着色点云进行着色,得到所述目标区域对应的着色的高精地图底图,包括:
对于所述待着色点云中的任一点,确定所述多帧图像数据中与所述任一点对应的至少一帧图像数据;
将所述任一点投影到所述至少一帧图像数据分别对应的图像坐标系上,获取所述任一点对应的至少一个像素点;
基于所述至少一个像素点的颜色对所述任一点进行着色,得到所述目标区域对应的着色的高精地图底图。
6.根据权利要求5所述的方法,其特征在于,所述确定所述多帧图像数据中与所述任一点对应的至少一帧图像数据,包括:
基于所述多帧点云数据分别对应的地理坐标,确定至少一帧点云数据,所述至少一帧点云数据的地理坐标与所述任一点对应的地理坐标的距离小于第一阈值;
基于所述多帧图像数据分别对应的采集时间,确定与所述任一点对应的至少一帧图像数据,所述至少一帧图像数据的采集时间与所述至少一帧点云数据分别对应的扫描时间的间隔小于第二阈值,所述激光雷达的扫描与所述图像采集设备的采集同步。
7.根据权利要求5所述的方法,其特征在于,所述确定所述多帧图像数据中与所述任一点对应的至少一帧图像数据,包括:
基于所述多帧点云数据分别对应的地理坐标,获取所述多帧图像数据分别对应的地理坐标,所述激光雷达的扫描与所述图像采集设备的采集同步;
基于所述多帧图像数据分别对应的地理坐标,确定与所述任一点对应的至少一帧图像数据,所述至少一帧图像数据的地理坐标与所述任一点对应的地理坐标的距离小于第三阈值。
8.根据权利要求5所述的方法,其特征在于,所述基于所述至少一个像素点的颜色对所述任一点进行着色,包括:
确定所述至少一个像素点分别对应的权重,将权重满足着色要求的像素点对应的颜色着色给所述任一点。
9.根据权利要求8所述的方法,其特征在于,所述确定所述至少一个像素点分别对应的权重,包括:
确定所述至少一个像素点分别对应的地理坐标,任一像素点对应的地理坐标为所述图像采集设备得到所述任一像素点时的地理坐标;
根据所述至少一个像素点分别对应的地理坐标与所述任一点的地理坐标之间的距离,确定所述至少一个像素点分别对应的权重。
10.根据权利要求1-9任一所述的方法,其特征在于,所述目标区域属于目标场景;所述基于多帧点云数据生成目标区域对应的激光底图之前,还包括:
根据所述激光雷达对所述目标场景进行扫描的扫描轨迹将所述目标场景划分为多个区域,所述多个区域包括所述目标区域;
所述得到所述目标区域对应的着色的高精地图底图之后,还包括:
按照所述扫描轨迹,拼接所述多个区域分别对应的着色的高精地图底图,得到所述目标场景对应的着色的高精地图底图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211052524.6A CN117671164A (zh) | 2022-08-31 | 2022-08-31 | 高精地图底图构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211052524.6A CN117671164A (zh) | 2022-08-31 | 2022-08-31 | 高精地图底图构建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117671164A true CN117671164A (zh) | 2024-03-08 |
Family
ID=90071958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211052524.6A Pending CN117671164A (zh) | 2022-08-31 | 2022-08-31 | 高精地图底图构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117671164A (zh) |
-
2022
- 2022-08-31 CN CN202211052524.6A patent/CN117671164A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11205282B2 (en) | Relocalization method and apparatus in camera pose tracking process and storage medium | |
KR102595150B1 (ko) | 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체 | |
CN110097576B (zh) | 图像特征点的运动信息确定方法、任务执行方法和设备 | |
CN110148178B (zh) | 相机定位方法、装置、终端及存储介质 | |
CN111126182A (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
CN112270718B (zh) | 摄像头标定方法、装置、系统及存储介质 | |
CN112150560B (zh) | 确定消失点的方法、装置及计算机存储介质 | |
CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
CN111784841B (zh) | 重建三维图像的方法、装置、电子设备及介质 | |
CN112308103B (zh) | 生成训练样本的方法和装置 | |
CN112991439B (zh) | 定位目标物体的方法、装置、电子设备及介质 | |
CN110738185B (zh) | 表单对象的识别方法、装置及存储介质 | |
CN111369684B (zh) | 目标跟踪方法、装置、设备及存储介质 | |
CN111754564B (zh) | 视频展示方法、装置、设备及存储介质 | |
CN111444749B (zh) | 路面导向标志的识别方法、装置及存储介质 | |
CN112950535B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN116258810A (zh) | 路面要素的渲染方法、装置、设备及存储介质 | |
CN117671164A (zh) | 高精地图底图构建方法 | |
CN113689484B (zh) | 深度信息的确定方法、装置、终端及存储介质 | |
CN112150554B (zh) | 画面显示方法、装置、终端和存储介质 | |
CN117635786A (zh) | 点云处理方法、装置、设备及存储介质 | |
CN117670785A (zh) | 点云地图的重影检测方法 | |
CN117173520A (zh) | 三维融合数据的确定方法和装置 | |
CN117911520A (zh) | 相机内参标定方法和自动驾驶设备 | |
CN117664097A (zh) | 获取底图的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |