CN111261016A - 道路地图的构建方法、装置和电子设备 - Google Patents

道路地图的构建方法、装置和电子设备 Download PDF

Info

Publication number
CN111261016A
CN111261016A CN201811458053.2A CN201811458053A CN111261016A CN 111261016 A CN111261016 A CN 111261016A CN 201811458053 A CN201811458053 A CN 201811458053A CN 111261016 A CN111261016 A CN 111261016A
Authority
CN
China
Prior art keywords
sampling point
vehicle
points
sampling
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811458053.2A
Other languages
English (en)
Other versions
CN111261016B (zh
Inventor
李友增
李国镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201811458053.2A priority Critical patent/CN111261016B/zh
Publication of CN111261016A publication Critical patent/CN111261016A/zh
Application granted granted Critical
Publication of CN111261016B publication Critical patent/CN111261016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/005Map projections or methods associated specifically therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本申请提供了一种道路地图的构建方法、装置和电子设备;其中,该方法包括:获取车辆行驶过程中采集的道路视频图像和定位信息;定位信息包括采集到的各个采样点的经纬度信息和时间信息;根据定位信息中的各个采样点,在基础地图上生成车辆的行驶路线;根据道路视频图像生成多张俯视角度下的交通标志图像;每张交通标志图像中携带有时间信息;基于时间信息,在基础地图的行驶路线上拼接多张交通标志图像,得到行驶路线的道路地图。本申请实施例通过车辆在行驶过程中采集的数据可以构建精确较高的道路地图,相对于激光雷达的方式成本较低,同时保证了用户对地图精确度的需求。

Description

道路地图的构建方法、装置和电子设备
技术领域
本申请涉及地图技术领域,具体而言,涉及一种道路地图的构建方法、装置和电子设备。
背景技术
目前,高精度的道路地图构建方式主要依赖于激光雷达进行地图扫描和绘制,这种方式方便快捷,但成本较高;而现有的采用车载设备采集的数据构建地图的方式,大多依赖单一的数据进行构建,误差较大,难以满足用户对地图精度的需求。
发明内容
有鉴于此,本申请实施例的目的在于提供一种道路地图的构建方法、装置和电子设备,通过车辆的多种车载设备的数据可以构建精确较高的道路地图,相对于激光雷达的方式成本较低,同时保证用户对地图精确度的需求。
根据本申请的一个方面,提供一种电子设备,可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可读指令。当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行所述机器可读指令,以执行一个或多个以下道路地图的构建方法的操作:
获取车辆行驶过程中采集的道路视频图像和定位信息;定位信息包括采集到的各个采样点的经纬度信息和时间信息;根据定位信息中的各个采样点,在基础地图上生成车辆的行驶路线;根据道路视频图像生成多张俯视角度下的交通标志图像;每张交通标志图像中携带有时间信息;基于时间信息,在基础地图的行驶路线上拼接多张交通标志图像,得到行驶路线的道路地图。
在一些实施例中,上述根据定位信息中的采样点,在基础地图上生成车辆的行驶路线的步骤包括:在基础地图上确定定位信息中的采样点;对确定出的采样点进行曲线拟合处理,得到平滑曲线;将平滑曲线作为车辆的行驶路线。
在一些实施例中,上述根据定位信息中的采样点,在基础地图上生成车辆的行驶路线的步骤包括:在基础地图上确定定位信息中的采样点;根据道路视频图像中指定帧的帧间匹配结果,在确定出的采样点中插入至少一个采样点,得到车辆的行驶路线。
在一些实施例中,上述根据道路视频图像中指定帧的帧间匹配结果,在确定出的采样点中插入至少一个采样点,得到车辆的行驶路线的步骤,包括:将确定出的采样点分成多个采样点组,对于每个采样点组:从采集的道路视频图像中获取采样点组对应的多个视频帧;根据获取的多个视频帧和预设时间间隔,在采样点组插入至少一个采样点;连接每个采样点,得到车辆的行驶路线。
在一些实施例中,上述将确定出的采样点分成多个采样点组的步骤,包括:将确定出的采样点中每两个相邻的采样点确定为一组采样点组。
在一些实施例中,上述根据获取的多个视频帧和预设时间间隔,在采样点组插入至少一个采样点的步骤包括:从获取的多个视频帧中确定与采样点组的当前采样点对应的第一视频帧,以及与第一视频帧距离预设时间间隔的第二视频帧;将第一视频帧和第二视频帧进行帧间匹配;根据当前采样点、帧间匹配的匹配结果,在当前采样点后插入一个采样点;以插入的采样点为当前采样点,继续执行从获取的多个视频帧中确定与采样点组的当前采样点对应的第一视频帧,以及与第一视频帧距离预设时间间隔的第二视频帧的步骤,直至当前采样点为采样点组的最后一个采样点。
在一些实施例中,上述根据当前采样点、帧间匹配的匹配结果,在当前采样点后插入一个采样点的步骤,包括:通过对极几何原理,结合当前采样点分析帧间匹配的匹配结果,得到拍摄第二视频帧时车辆的采样点;在确定的采样点上插入一个采样点。
在一些实施例中,上述通过对极几何原理,结合当前采样点分析帧间匹配的匹配结果,得到拍摄第二视频帧时车辆的采样点的步骤,包括:将当前采样点对应的第一视频帧和第二视频帧进行图像特征点匹配,得到多对相互匹配的特征点;根据每对相互匹配的特征点、当前采样点、拍摄第二视频帧的车辆的采样点、以及相互匹配的特征点对应的角点共面的约束关系,建立每对相互匹配的特征点对应的特征方程,得到包含有多个特征方程的方程组;求解方程组,得到旋转矩阵和平移矩阵;其中,旋转矩阵和平移矩阵分别用于表征拍摄第二视频帧的车辆的采样点相对于当前采样点的旋转角度和平移向量;根据当前采样点,以及旋转矩阵和平移矩阵,确定拍摄第二视频帧的车辆的采样点。
在一些实施例中,上述根据定位信息中的采样点,在基础地图上生成车辆的行驶路线的步骤包括:在基础地图上确定定位信息中的采样点;根据道路视频图像中指定帧的帧间匹配结果,在确定出的采样点中插入至少一个采样点,得到车辆的第一行驶路线;基于车辆行驶状态数据,在确定出的采样点中插入至少一个采样点,得到车辆的第二行驶路线;根据第一行驶路线和第二行驶路线,确定车辆最终的行驶路线。
在一些实施例中,上述基于车辆行驶状态数据,在确定出的采样点中插入至少一个采样点,得到车辆的第二行驶路线的步骤,包括:将确定出的采样点分成多个采样点组,对于每个采样点组:从采集的车辆行驶状态数据中获取采样点组对应的车辆行驶状态数据;根据获取的车辆行驶状态数据和预设时间间隔,在采样点组插入至少一个采样点;连接每个采样点,得到车辆的第二行驶路线。
在一些实施例中,上述将确定出的采样点分成多个采样点组的步骤,包括:将确定出的采样点中每两个相邻的采样点确定为一组采样点组。
在一些实施例中,上述车辆运动状态数据包括加速度和角速度;上述根据获取的车辆行驶状态数据和预设时间间隔,在采样点组插入至少一个采样点的步骤包括:根据采样点组的当前采样点对应的角速度,确定车辆在当前采样点的行驶方向;根据当前采样点对应的加速度、行驶方向以及预设时间间隔,在当前采样点后插入一个采样点;以插入的采样点为当前采样点,继续执行根据采样点组的当前采样点对应的角速度,确定车辆在当前采样点的行驶方向的步骤,直至当前采样点为采样点组的最后一个采样点。
在一些实施例中,上述根据当前采样点对应的加速度、行驶方向以及预设时间间隔,在当前采样点后插入一个采样点的步骤,包括:根据当前采样点对应的加速度和预设时间间隔,计算获得车辆从当前采样点出发的行驶距离;根据行驶距离和行驶方向,确定待插入的采样点的位置,在确定的位置上插入一个采样点。
在一些实施例中,上述根据第一行驶路线和第二行驶路线,确定车辆最终的行驶路线的步骤,包括:获取第一行驶路线中各个采样点的位置分布,以及第二行驶路线中各个采样点的位置分布;位置分布中包含有多个可能采样点以及每个可能采样点的概率;根据第一行驶路线和第二行驶路线中,同一时间点对应的采样点的位置分布,调整采样点的位置;连接各个时间点对应的采样点,得到车辆最终的行驶路线。
在一些实施例中,上述根据第一行驶路线和第二行驶路线中,同一时间点对应的采样点的位置分布,调整采样点的位置的步骤,包括:计算第一行驶路线和第二行驶路线中,同一时间点对应的采样点的位置分布的交集;将交集中,概率最大的采样点作为采样点调整后的采样点。
在一些实施例中,上述根据定位信息中的采样点,在基础地图上生成车辆的行驶路线的步骤,包括:如果获取到的道路视频图像和定位信息为同一道路的多组数据;根据每组定位信息中的采样点,在基础地图上生成每组数据对应的行驶路线;行驶路线中的各个采样点的预设距离内分布有随机噪点;根据每组数据对应的行驶路线的各个采样点对应的随机噪点,调整各个采样点的位置;连接调整后的各个采样点,得到车辆的行驶路线。
在一些实施例中,上述根据每组数据对应的行驶路线的各个采样点对应的随机噪点,调整各个采样点的位置的步骤,包括:将每组数据对应的行驶路线的各个采样点对应的随机噪点中,小于预设的噪点距离的随机噪点进行合并;根据合并后的随机噪点,调整随机噪点对应的采样点的位置。
在一些实施例中,上述根据合并后的随机噪点,调整随机噪点对应的采样点的位置的步骤,包括:针对每个采样点,计算采样点对应的合并后的随机噪点的方差;将方差作为模型参数,基于模型参数建立高斯模型;通过高斯模型计算采样点对应的合并后的随机噪点的均值点;将均值点作为调整后的采样点。
在一些实施例中,上述根据道路视频图像生成多张俯视角度下的交通标志图像的步骤,包括:根据道路视频的多帧图像,生成多帧图像对应的多张俯视图像;通过预先训练的交通标志检测模型检测每张俯视图像,得到检测结果;检测结果包括交通标志的类别、定位区域和分割区域;将检测结果携带至对应的俯视图像中,得到交通标志图像。
在一些实施例中,上述根据道路视频的多帧图像,生成多帧图像对应的多张俯视图像的步骤,包括:将道路视频划分为多个图像组,每个图像组中包含多帧图像,以及多帧图像对应的时间;获取每个图像组中,多帧图像的同一位置的图像数据;拼接多帧图像中的同一位置的图像数据,获得图像组对应的俯视图像。
在一些实施例中,上述交通标志检测模型包括MASK-RCNN模型。
在一些实施例中,上述将检测结果携带至对应的俯视图像中的步骤,包括:根据检测结果中,各个交通标志的边缘像素,确定各个交通标志的位置坐标;将各个交通标志的类别和位置坐标,携带至对应的俯视图像中。
在一些实施例中,上述基于时间信息,在基础地图的行驶路线上拼接多张交通标志图像,得到行驶路线的道路地图的步骤,包括:提取交通标志图像的中心点和时间信息;在基础地图的行驶路线上查找时间信息对应的采样点;根据交通标志图像的中心点,将交通标志图像拼接至查找到的采样点上。
在一些实施例中,上述根据交通标志图像的中心点,将交通标志图像拼接至查找到的采样点上的步骤,包括:将交通标志图设置在查找到的采样点上,以使交通标志图的中心点与查找到的采样点重合;调整交通标志图的方向,以使交通标志图的长度方向的轴线与查找到的采样点处的行驶路线的方向重合。
在一些实施例中,上述获取车辆行驶过程中采集的道路视频图像和定位信息的步骤,包括:获取车载设备在车辆行驶过程中采集的道路视频图像和定位信息;其中,车载设备包括视频图像采集装置和定位装置。
根据本申请的另一个方面,还提供一种道路地图的构建装置,包括:信息获取模块,用于获取车辆行驶过程中采集的道路视频图像和定位信息;所述定位信息包括采集到的各个采样点的经纬度信息和时间信息;路线生成模块,用于根据所述定位信息中的各个采样点,在基础地图上生成所述车辆的行驶路线;图像生成模块,用于根据所述道路视频图像生成多张俯视角度下的交通标志图像;每张所述交通标志图像中携带有时间信息;图像拼接模块,用于按照时间顺序,在所述基础地图的行驶路线上拼接多张所述交通标志图像,得到所述行驶路线的道路地图。
在一些实施例中,上述路线生成模块,用于:在基础地图上确定定位信息中的采样点;对确定出的采样点进行曲线拟合处理,得到平滑曲线;将平滑曲线作为车辆的行驶路线。
在一些实施例中,上述路线生成模块,用于:在基础地图上确定定位信息中的采样点;根据道路视频图像中指定帧的帧间匹配结果,在确定出的采样点中插入至少一个采样点,得到车辆的行驶路线。
在一些实施例中,上述路线生成模块,用于:将确定出的采样点分成多个采样点组,对于每个采样点组:从采集的道路视频图像中获取采样点组对应的多个视频帧;根据获取的多个视频帧和预设时间间隔,在采样点组插入至少一个采样点;连接每个采样点,得到车辆的行驶路线。
在一些实施例中,上述路线生成模块,用于:将确定出的采样点中每两个相邻的采样点确定为一组采样点组。
在一些实施例中,上述路线生成模块,用于:从获取的多个视频帧中确定与采样点组的当前采样点对应的第一视频帧,以及与第一视频帧距离预设时间间隔的第二视频帧;将第一视频帧和第二视频帧进行帧间匹配;根据当前采样点、帧间匹配的匹配结果,在当前采样点后插入一个采样点;以插入的采样点为当前采样点,继续执行从获取的多个视频帧中确定与采样点组的当前采样点对应的第一视频帧,以及与第一视频帧距离预设时间间隔的第二视频帧的步骤,直至当前采样点为采样点组的最后一个采样点。
在一些实施例中,上述路线生成模块,用于:通过对极几何原理,结合当前采样点分析帧间匹配的匹配结果,得到拍摄第二视频帧时车辆的采样点;在确定的采样点上插入一个采样点。
在一些实施例中,上述路线生成模块,用于:将当前采样点对应的第一视频帧和第二视频帧进行图像特征点匹配,得到多对相互匹配的特征点;根据每对相互匹配的特征点、当前采样点、拍摄第二视频帧的车辆的采样点、以及相互匹配的特征点对应的角点共面的约束关系,建立每对相互匹配的特征点对应的特征方程,得到包含有多个特征方程的方程组;求解方程组,得到旋转矩阵和平移矩阵;其中,旋转矩阵和平移矩阵分别用于表征拍摄第二视频帧的车辆的采样点相对于当前采样点的旋转角度和平移向量;根据当前采样点,以及旋转矩阵和平移矩阵,确定拍摄第二视频帧的车辆的采样点。
在一些实施例中,上述路线生成模块,用于:在基础地图上确定定位信息中的采样点;根据道路视频图像中指定帧的帧间匹配结果,在确定出的采样点中插入至少一个采样点,得到车辆的第一行驶路线;基于车辆行驶状态数据,在确定出的采样点中插入至少一个采样点,得到车辆的第二行驶路线;根据第一行驶路线和第二行驶路线,确定车辆最终的行驶路线。
在一些实施例中,上述路线生成模块,用于:将确定出的采样点分成多个采样点组,对于每个采样点组:从采集的车辆行驶状态数据中获取采样点组对应的车辆行驶状态数据;根据获取的车辆行驶状态数据和预设时间间隔,在采样点组插入至少一个采样点;连接每个采样点,得到车辆的第二行驶路线。
在一些实施例中,上述路线生成模块,用于:将确定出的采样点中每两个相邻的采样点确定为一组采样点组。
在一些实施例中,上述车辆运动状态数据包括加速度和角速度;路线生成模块,用于:根据采样点组的当前采样点对应的角速度,确定车辆在当前采样点的行驶方向;根据当前采样点对应的加速度、行驶方向以及预设时间间隔,在当前采样点后插入一个采样点;以插入的采样点为当前采样点,继续执行根据采样点组的当前采样点对应的角速度,确定车辆在当前采样点的行驶方向的步骤,直至当前采样点为采样点组的最后一个采样点。
在一些实施例中,上述路线生成模块,用于:根据当前采样点对应的加速度和预设时间间隔,计算获得车辆从当前采样点出发的行驶距离;根据行驶距离和行驶方向,确定待插入的采样点的位置,在确定的位置上插入一个采样点。
在一些实施例中,上述路线生成模块,用于:获取第一行驶路线中各个采样点的位置分布,以及第二行驶路线中各个采样点的位置分布;位置分布中包含有多个可能采样点以及每个可能采样点的概率;根据第一行驶路线和第二行驶路线中,同一时间点对应的采样点的位置分布,调整采样点的位置;连接各个时间点对应的采样点,得到车辆最终的行驶路线。
在一些实施例中,上述路线生成模块,用于:计算第一行驶路线和第二行驶路线中,同一时间点对应的采样点的位置分布的交集;将交集中,概率最大的采样点作为采样点调整后的采样点。
在一些实施例中,上述路线生成模块,用于:如果获取到的道路视频图像和定位信息为同一道路的多组数据;根据每组定位信息中的采样点,在基础地图上生成每组数据对应的行驶路线;行驶路线中的各个采样点的预设距离内分布有随机噪点;根据每组数据对应的行驶路线的各个采样点对应的随机噪点,调整各个采样点的位置;连接调整后的各个采样点,得到车辆的行驶路线。
在一些实施例中,上述路线生成模块,用于:将每组数据对应的行驶路线的各个采样点对应的随机噪点中,小于预设的噪点距离的随机噪点进行合并;根据合并后的随机噪点,调整随机噪点对应的采样点的位置。
在一些实施例中,上述路线生成模块,用于:针对每个采样点,计算采样点对应的合并后的随机噪点的方差;将方差作为模型参数,基于模型参数建立高斯模型;通过高斯模型计算采样点对应的合并后的随机噪点的均值点;将均值点作为调整后的采样点。
在一些实施例中,上述图像生成模块,用于:根据道路视频的多帧图像,生成多帧图像对应的多张俯视图像;通过预先训练的交通标志检测模型检测每张俯视图像,得到检测结果;检测结果包括交通标志的类别、定位区域和分割区域;将检测结果携带至对应的俯视图像中,得到交通标志图像。
在一些实施例中,上述图像生成模块,用于:将道路视频划分为多个图像组,每个图像组中包含多帧图像,以及多帧图像对应的时间;获取每个图像组中,多帧图像的同一位置的图像数据;拼接多帧图像中的同一位置的图像数据,获得图像组对应的俯视图像。
在一些实施例中,上述交通标志检测模型包括MASK-RCNN模型。
在一些实施例中,上述图像生成模块,用于:根据检测结果中,各个交通标志的边缘像素,确定各个交通标志的位置坐标;将各个交通标志的类别和位置坐标,携带至对应的俯视图像中。
在一些实施例中,上述图像拼接模块,用于:提取交通标志图像的中心点和时间信息;在基础地图的行驶路线上查找时间信息对应的采样点;根据交通标志图像的中心点,将交通标志图像拼接至查找到的采样点上。
在一些实施例中,上述图像拼接模块,用于:将交通标志图设置在查找到的采样点上,以使交通标志图的中心点与查找到的采样点重合;调整交通标志图的方向,以使交通标志图的长度方向的轴线与查找到的采样点处的行驶路线的方向重合。
在一些实施例中,上述信息获取模块,用于:获取车载设备在车辆行驶过程中采集的道路视频图像和定位信息;其中,车载设备包括视频图像采集装置和定位装置。
根据本申请的另一个方面,还提供一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行时执行如上述道路地图的构建方法的步骤。
根据本申请的另一个方面,还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述道路地图的构建方法的步骤。
基于上述任一方面,通过车辆行驶过程中采集的定位信息和道路视频图像,在基础地图上生成车辆的行驶路线,进而生成多张俯视角度下的交通标志图像;再基于时间信息,在行驶路线上拼接多张交通标志图像,得到行驶路线的道路地图。该方式通过车辆在行驶过程中采集的数据可以构建精确较高的道路地图,相对于激光雷达的方式成本较低,同时保证了用户对地图精确度的需求。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种道路地图的构建系统的框图;
图2示出了本申请实施例所提供的一种电子设备的示例性硬件和软件组件的示意图;
图3示出了本申请实施例所提供的一种道路地图的构建方法的流程图;
图4(a)示出了本申请实施例所提供的直接连接采样点A、K和J得到的行驶路线示意图;
图4(b)示出了本申请实施例所提供的经曲线拟合处理后得到的行驶路线的行驶路线示意图;
图5(a)示出了本申请实施例所提供的直接连接采样点A和采样点K得到的行驶路线示意图;
图5(b)示出了本申请实施例所提供的根据车辆行驶状态数据在采样点A和采样点K之间插入若干采样点后得到的行驶路线示意图;
图6示出了本申请实施例所提供的另一种道路地图的构建方法的流程图;
图7示出了本申请实施例所提供的对极几何原理的示意图;
图8示出了本申请实施例所提供的另一种道路地图的构建方法的流程图;
图9示出了本申请实施例所提供的另一种道路地图的构建方法的流程图;
图10示出了本申请实施例所提供的另一种道路地图的构建方法的流程图;
图11示出了本申请实施例所提供的一种道路地图的构建装置的框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容,结合特定应用场景“通过车载设备提供的数据构建道路地图”,给出以下实施方式。对于本领域技术人员来说,在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕道路地图的构建进行描述,但是应该理解,这仅是一个示例性实施例。本申请可以应用于任何其他交通运输类型。本申请还可以包括用于道路地图的构建的任何服务系统,例如,用于提供地图导航的系统、用于创建个性化、高精度地图的服务系统等。本申请的系统或方法的应用可以包括网页、浏览器的插件、客户端终端、定制系统、内部分析系统、或人工智能机器人等,或其任意组合。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
本申请中使用的定位技术可以基于全球定位系统(Global Positioning System,GPS)、全球导航卫星系统(Global Navigation Satellite System,GLONASS),罗盘导航系统(COMPASS)、伽利略定位系统、准天顶卫星系统(Quasi-Zenith Satellite System,QZSS)、无线保真(Wireless Fidelity,WiFi)定位技术等,或其任意组合。一个或多个上述定位系统可以在本申请中互换使用。
本申请的一个方面涉及一种道路地图的构建系统。该系统可以通过车辆行驶过程中采集的定位信息和道路视频图像,在基础地图上生成车辆的行驶路线,进而生成多张俯视角度下的交通标志图像;再基于时间信息,在行驶路线上拼接多张交通标志图像,得到行驶路线的道路地图。该方式通过车辆在行驶过程中采集的数据可以构建精确较高的道路地图,相对于激光雷达的方式成本较低,同时保证了用户对地图精确度的需求。
通过激光雷达的雷达数据获取地图信息的方式方便快捷,但成本较高;而现有的采用车辆行驶过程中采集的数据构建地图的方式,大多依赖单一的数据进行构建,导致误差较大,难以满足用户对地图精度的需求。
值得注意的是,在本申请提出申请之前,大多通过激光雷达的雷达数据创建地图,成本较高,或者通过单一的车载设备数据创建,成本低但精确度差。然而,本申请提供的路地图的构建系统可以基于多种车载设备的数据创建地图,满足用户对地图精度的需求的同时,降低了地图创建的成本。
图1是本申请一些实施例的道路地图的构建系统100的框图。道路地图的构建系统100可以包括服务器110、网络120、车载设备130、车载设备140和数据库150中的一种或多种,服务器110中可以包括执行指令操作的处理器。
在一些实施例中,服务器110可以是单个服务器,也可以是服务器组。服务器组可以是集中式的,也可以是分布式的(例如,服务器110可以是分布式系统)。在一些实施例中,服务器110相对于车载设备,可以是本地的、也可以是远程的。例如,服务器110可以经由网络120访问存储在车载设备130、车载设备140、或数据库150、或其任意组合中的信息和/或数据。作为另一示例,服务器110可以直接连接到车载设备130、车载设备140和数据库150中至少一个,以访问存储的信息和/或数据。在一些实施例中,服务器110可以在云平台上实现;仅作为示例,云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等,或者它们的任意组合。在一些实施例中,服务器110可以在具有本申请中图2所示的一个或多个组件的电子设备200上实现。
在一些实施例中,服务器110可以包括处理器220。处理器220可以处理与服务请求有关的信息和/或数据,以执行本申请中描述的一个或多个功能。例如,处理器220可以基于从车载设备130获得的服务请求来确定目标车辆。在一些实施例中,处理器220可以包括一个或多个处理核(例如,单核处理器(S)或多核处理器(S))。仅作为举例,处理器220可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、专用指令集处理器(Application Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing,RISC)、或微处理器等,或其任意组合。
网络120可以用于信息和/或数据的交换。在一些实施例中,道路地图的构建系统100中的一个或多个组件(例如,服务器110,车载设备130,车载设备140和数据库150)可以向其他组件发送信息和/或数据。例如,服务器110可以经由网络120从车载设备130获取服务请求。在一些实施例中,网络120可以是任何类型的有线或者无线网络,或者是他们的结合。仅作为示例,网络120可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network,LAN)、广域网(Wide Area Network,WAN)、无线局域网(Wireless Local Area Networks,WLAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、公共电话交换网(Public Switched TelephoneNetwork,PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication,NFC)网络等,或其任意组合。在一些实施例中,网络120可以包括一个或多个网络接入点。例如,网络120可以包括有线或无线网络接入点,例如基站和/或网络交换节点,道路地图的构建系统100的一个或多个组件可以通过该接入点连接到网络120以交换数据和/或信息。
在一些实施例中,车载设备130可以包括视频装置(如行车记录仪)、定位装置(如GPS装置,该GPS装置可以设置在移动终端(如手机、平板电脑、可穿戴设备)上)、IMU(Inertial measurement unit,惯性测量单元)等,或其任意组合。
数据库150可以存储数据和/或指令。在一些实施例中,数据库150可以存储从车载设备130和/或车载设备140获得的数据。在一些实施例中,数据库150可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中,数据库150可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory,ROM)等,或其任意组合。作为举例,大容量存储器可以包括磁盘、光盘、固态驱动器等;可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等;易失性读写存储器可以包括随机存取存储器(Random Access Memory,RAM);RAM可以包括动态RAM(Dynamic Random Access Memory,DRAM),双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM,DDR SDRAM);静态RAM(Static Random-Access Memory,SRAM),晶闸管RAM(Thyristor-Based RandomAccess Memory,T-RAM)和零电容器RAM(Zero-RAM)等。作为举例,ROM可以包括掩模ROM(Mask Read-Only Memory,MROM)、可编程ROM(Programmable Read-Only Memory,PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory,PEROM)、电可擦除可编程ROM(Electrically Erasable Programmable read only memory,EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。在一些实施例中,数据库150可以在云平台上实现。仅作为示例,云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等,或其任意组合。
在一些实施例中,数据库150可以连接到网络120以与道路地图的构建系统100(例如,服务器110,车载设备130,车载设备140等)中的一个或多个组件通信。道路地图的构建系统100中的一个或多个组件可以经由网络120访问存储在数据库150中的数据或指令。在一些实施例中,数据库150可以直接连接到道路地图的构建系统100中的一个或多个组件(例如,服务器110,车载设备130,车载设备140等);或者,在一些实施例中,数据库150也可以是服务器110的一部分。
图2示出根据本申请的一些实施例的可以实现本申请思想的服务器110、车载设备130、车载设备140的电子设备200的示例性硬件和软件组件的示意图。例如,处理器220可以用于电子设备200上,并且用于执行本申请中的功能。
电子设备200可以是通用计算机或特殊用途的计算机,两者都可以用于实现本申请的道路地图的创建方法。本申请尽管仅示出了一个计算机,但是为了方便起见,可以在多个类似平台上以分布式方式实现本申请描述的功能,以均衡处理负载。
例如,电子设备200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230、和不同形式的存储介质240,例如,磁盘、ROM、或RAM,或其任意组合。示例性地,计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备200还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output,I/O)接口250。
上述存储介质240存储有处理器220可执行的机器可读指令,当电子设备运行时,处理器220与存储介质240之间通过总线通信,处理器执行机器可读指令,以执行时执行下述道路地图的构建方法的步骤。另外,存储介质也可以称为计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行下述道路地图的构建方法的步骤。
为了便于说明,在电子设备200中仅描述了一个处理器。然而,应当注意,本申请中的电子设备200还可以包括多个处理器,因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如,若电子设备200的处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一处理器和第二处理器共同执行步骤A和B。
基于上述对道路地图的构建系统和电子设备的描述,参见图3所示的一种道路地图的构建方法的流程图;该方法包括如下步骤:
步骤S302,获取车辆行驶过程中采集的道路视频图像和定位信息;该定位信息包括采集到的各个采样点的经纬度信息和时间信息;
上述道路视频图像和定位信息可以通过随车辆移动的移动终端(如手机、平板电脑)采集,也可以通过车载设备采集;该车载设备可以理解为预先安装在车辆中的设备,如行车记录仪、GPS模块等;其中,行车记录仪可以用于采集道路视频图像;GPS模块可以用于采集定位信息。在大多情况下,GPS模块或其他定位装置通常不会连续地采集车辆的定位信息,与摄像装置采集视频帧的方式类似,大多会按照预设的时间间隔采集离散的采样点的经纬度信息。需要说明的是,GPS模块或其他定位装置在采集各个采样点的经纬度信息时,还通常会记录采集该采样点的经纬度信息时的时间信息,该时间信息可以采用全球通用的标准时间,如格林尼治时间,进而再通过各时区与格林尼治时间的转换关系,再将标准时间转换为当前时区的时间,如北京时间。
步骤S304,根据定位信息中的各个采样点,在基础地图上生成车辆的行驶路线;
定位信息中的采样点可以按照预设的时间间隔或者预设的距离间隔采集的,且时间间隔通常较大,例如0.5秒、1秒,距离间隔通常也较大,如10m;因而定位信息中的采样点相聚较远;如果直接连接定位信息中的各个采样点,生成的行驶路线为折线型,与车辆实际的行驶路线不符,而通常高精度地图通常要求地图分辨率在10cm左右,因此根据采样点描述的地图误差较大,难以满足高精度地图的分辨率需求;基于此,上述步骤中,在定位信息中的各个采样点的基础上,再估计各采样点之间车辆的轨迹,从而得到与实际更加相符的行驶路线。
具体而言,可以直接对采样点进行曲线拟合,得到各采样点之间车辆的轨迹;也可以根据道路视频中,对同一物体拍摄角度的变化估计各采样点之间车辆的轨迹;还可以根据车辆行驶状态数据估计各采样点之间车辆的轨迹;该车辆行驶状态数据可以为车辆在某些时间点的速度、加速度、角速度、方向等参数;车辆行驶状态数据可以通过车载设备中的IMU(Inertial Measurement Unit,惯性测量单元)、陀螺传感器或其他记录车辆行驶状态的装置获得。
上述基础地图上可以理解为空白地图,该空白地图的各个采样点上对应有经纬度信息,因而根据该经纬度信息,将车辆的行驶路线中包含的各个采样点标识在基础地图上,从而在该基础地图上生成车辆的行驶路线。
步骤S306,根据道路视频图像生成多张俯视角度下的交通标志图像;每张交通标志图像中携带有时间信息;
道路视频图像可以由行车记录仪,或其他具有摄像功能的装置采集得到;道路视频图像中,道路的角度相当于站在道路上看道路的角度,不同位置的道路的形状存在一定程度的畸变,如道路的宽窄会渐变;而上述交通标志图像,道路的角度相当于从天空看道路的角度,道路的形状通常不存在畸变;为了实现角度的变换,即根据道路视频图像生成交通标志图像,通常需要将道路视频图像中道路的畸变消除;考虑到道路视频图像中,连续的多张视频帧图像中同一位置的道路畸变程度相同,可以将道路视频图像中,连续的多张视频帧图像中同一位置的局部图像进行拼接,从而得到道路各个位置畸变程度相同的图像,即交通标志图像。
由于交通标志图像是由多张视频帧图像拼接而成,因而交通标志图像包含的时间信息根据拼接的多张视频帧图像对应的时间点得到,例如,交通标志图像对应的时间信息为拼接的多张视频帧图像对应的时间点的均值,也可以为拼接的多张视频帧图像中第一张视频帧图像对应的时间点,或者拼接的多张视频帧图像中最后一张视频帧图像对应的时间点等。
得到交通标志图像后,可以通过机器学习的方式从交通标志图像中识别各种交通标志的类别和位置;该交通标志的类别可以划分为车道线、前向导引线、左转指示线、右转指示线、斑马线等。在大多情况下,本实施例中的交通标志可以理解为交通地标,即标识在道路上的交通标志。
步骤S308,基于时间信息,在基础地图的行驶路线上拼接多张交通标志图像,得到行驶路线的道路地图。
由上述可知,多张交通标志图像中,每张交通标志图像对应一段道路;对于一台车辆,定位信息、车辆行驶状态数据和道路视频图像通常会同时采集;因而,基于道路视频图像生成的多张俯视角度下的交通标志图像,可以组成完整的行驶路线对应的道路地图;在实际实现时,上述定位信息、车辆行驶状态数据和道路视频图像通常都携带有时间信息,因而,基于时间信息,可以将同一时间点的交通标志图像拼接至行驶路线中该时间点对应的采样点上。
本发明实施例提供的上述道路地图的构建方法,通过车辆行驶过程中采集的定位信息和道路视频图像,在基础地图上生成车辆的行驶路线,进而生成多张俯视角度下的交通标志图像;再基于时间信息,在行驶路线上拼接多张交通标志图像,得到行驶路线的道路地图。该方式通过车辆在行驶过程中采集的数据可以构建精确较高的道路地图,相对于激光雷达的方式成本较低,同时保证了用户对地图精确度的需求。
本发明实施例还提供另一种道路地图的构建方法,该方法在上述实施例所提供方法的基础上实现;本实施例中,具体描述通过多种方式生成车辆的行驶路线的过程。
方式一:
由上述实施例可知,直接连接定位信息中的采样点通常会得到折线形状的行驶路线,与实际情况不符;因此,首先在基础地图上确定定位信息中的采样点,再对确定出的采样点进行曲线拟合处理,得到平滑曲线;将该平滑曲线作为车辆的行驶路线。具体可以采用贝赛尔(Beizer)曲线拟合算法实现上述曲线拟合处理,当然也可以采用指数函数、对数函数等实现曲线拟合。如图4(a)和图4(b)所示,图4(a)示出了直接连接采样点A、K和J得到的行驶路线;图4(b)为经曲线拟合处理后得到的行驶路线;相对而言,图4(b)中的行驶路线与车辆实际的路线更加匹配。
方式二:
该方式拟在定位信息中的采样点的基础上,进一步得到相对位置较近的采样点,以使行驶路线更加符合实际驾驶情况;基于此,可以首先在上述基础地图上确定定位信息中的采样点;再基于道路视频图像中指定帧的帧间匹配结果,在确定出的采样点中插入至少一个采样点,得到车辆的行驶路线。其中,该指定帧可以根据预设的时间间隔或时间点确定。需要说明的是,插入的采样点并不是车载设备直接采样获得的采样点,但插入的采样点是为了避免采样点稀疏而合理补入的采样点,因此,插入的采样点可以理解为虚拟的采样点。
例如,定位信息中的采样点的时间间隔为1秒,对于某一采样点A,获取该采样点A对应时间点的视频帧P,以及该视频帧之后的、与该视频帧相距0.1秒的视频帧Q;通过对这视频帧P和视频帧Q进行帧间匹配,得到多对相互匹配的匹配点,再基于相机成像原理以及各对匹配点的位置、角度变化,建立方程并计算得到相机在拍摄视频帧Q时的位置,即车辆从采样点A行驶0.1秒后的位置,该位置即可设置一个采样点,如采样点B;进而再获取该采样点B对应时间点的视频帧,以及该视频帧之后的、与该视频帧相距0.1秒的视频帧,通过同样的方式得到该车辆从采样点B出发0.1秒后的位置,该位置即可设置一个采样点,如采样点C,依次类推,在采样点A与下一个定位信息中的采样点,如采样点K之间,即可插入九个采样点,即如果采样点A对应的时间点为0秒,采样点K对应的时间点为1秒;采样点A和K之间插入的九个采样点分别对应0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.6秒、0.7秒、0.8秒和0.9秒时的车辆位置。如图5(a)和图5(b)所示,图5(a)示出了直接连接采样点A和K得到的行驶路线;而图5(b)为根据车辆行驶状态数据插入若干采样点后得到的行驶路线,相对而言,图5(b)中的行驶路线精确度更高,与车辆实际的路线更加匹配。
基于上述描述,本实施例提供的另一种道路地图的构建方法如图6所示,具体包括下述步骤:
步骤S602,获取车载设备在车辆行驶过程中采集的道路视频图像和定位信息;该定位信息包括采集到的各个采样点的经纬度信息和时间信息;
步骤S604,在基础地图上确定定位信息中的采样点;将确定出的采样点分成多个采样点组;
由上述实施例可知,基于经纬度信息可以在基础地图上确定定位信息中的采样点的具体位置;为了便于插入新的采样点,上述步骤中将确定出的采样点分成多个采样点组;具体的,由于车辆的行驶路线多为线条状,因而定位信息中的采样点也是线条状,基于此,可以预设每组采样点组中包含的采样点的数量,从定位信息中的采样点的第一采样点开始,依次划分各个采样点组;可以理解,为了避免后续在同一位置重复插入采样点,除各个采样点组中的第一个和最后一个采样点外,其他采样点不重复,即各个采样点组首尾相接。每组采样点组中包含的采样点的数量可以相同,也可以不同;每组采样点组中包含的采样点的数量具体可以为两个、三个、四个、五个等。
在其中一种方式中,可以将确定出的采样点中每两个相邻的采样点确定为一组采样点组。该划分方式中,当前采样点组中的第一个采样点是当前采样点组的前一个采样点组中的最后一个采样点;当前采样点组中的最后一个采样点是当前采样点组的后一个采样点组中的第一个采样点。且每个采样点组中除第一个和最后一个采样点外,不存在其他的定位信息中的采样点。
在另一种方式中,可以将确定出的采样点中每三个或以上相邻的采样点确定为一组采样点组。该划分方式中,当前采样点组中的第一个采样点是当前采样点组的前一个采样点组中的最后一个采样点;当前采样点组中的最后一个采样点是当前采样点组的后一个采样点组中的第一个采样点。且每个采样点组中除第一个和最后一个采样点外,还存在其他的定位信息中的采样点。因而,在该采样点组中插入新的采样点时,可能会遇到新插入的采样点与某一定位信息中的采样点对应的时间点相同,此时,可以根据新插入的采样点调整该时间点对应的定位信息中的采样点,以降低定位信息中采样点的误差,进而提高行驶路线的精确度。
步骤S606,对于每个采样点组:从采集的道路视频图像中获取采样点组对应的多个视频帧;
具体地,可以获取每个采样点组中,第一个采样点对应的第一时间点,最后一个采样点对应的第二时间点;再从道路视频图像中截取上述第一时间点与第二时间点对应时间段的视频帧片段,提取到的视频帧片段即采样点组对应的多个视频帧。
步骤S608,根据获取的多个视频帧和预设时间间隔,在采样点组插入至少一个采样点;
其中,预设时间间隔可以为0.1秒、0.5秒等;可以理解,该第一时间间隔越小,插入的采样点密度越高,最终得到的行驶路线越准确。为了知晓从当前的采样点出发,车辆行驶上述预设时间间隔的时长后车辆所处的位置,可以基于视频帧的帧间匹配实现。具体而言,上述步骤S608可以通过下述步骤02~步骤06实现:
步骤02,从获取的多个视频帧中确定与采样点组的当前采样点对应的第一视频帧,以及与第一视频帧距离预设时间间隔的第二视频帧;
通常,摄像头在拍摄视频时,以一定的采样频率保存视频帧,且每个视频帧对应一个时间点,该时间点通常包括年、月、日、时、分、秒等。同样,GPS模块或其他定位装置在采集采样点时,每个采样点也对应一个时间点;对于当前采样点,查找到该当前采样点对应的时间点后,再从多个视频帧中查找该时间点对应的视频帧,或者在时间上与该时间点最接近的视频帧,该视频帧即当前采样点对应的第一视频帧;再从多个视频帧中查找与该第一视频帧距离预设时间间隔的第二视频帧。另一种方式中,可以先获取该当前采样点对应的第一时间点,以及与该时间点距离预设时间间隔的第二时间点,再从多个视频帧中查找该第一时间点对应的第一视频帧,以及第二时间点对应的第二视频帧。
步骤04,将第一视频帧和第二视频帧进行帧间匹配;
帧间匹配的过程可以分析上述第一视频帧和第二视频帧具有重合区域的图像间的对应关系,可在两个视频帧中分别检测出特征点,通过同一特征点在两个视频帧内的坐标值可以计算出图像间的空间变换关系。具体地,帧间匹配的过程通常包含下述三个步骤:
步骤(1),特征点检测,在视频帧中检测出在局部区域内图像灰度有较大变化的特征点,一般而言,检测出的特征点应具备对光照变化、图像或目标旋转以及尺度变换的不变性。例如,可以通过SURF(Speeded-Up Robust Features,加速鲁棒特征)特征点检测算法检测视频帧中的特征点。
步骤(2),特征点描述,用特征向量描述每个特征点的邻域信息,描述特征点邻域信息的特征向量应具备对噪声、光照、视角等因素的鲁棒性。通常,该特征相邻中通常包含特征描述信息、尺度特征信息、灰度分布信息和局部能量信息。其中,对于特征描述信息,以特征点为中心,计算设定范围内,各个子区域的Haar小波响应,生成多维特征描述向量,该多维特征描述向量即为特征描述信息;尺度特征信息即检测特征点过程中使用的尺度系数;对于灰度分布信息,以特征点为中心,计算局部范围内像素的灰度直方图,根据灰度直方图得到灰度分布信息;对于局部能量信息,以特征点为中心,计算局部范围内像素的灰度值之和,该灰度值之和即局部能量信息。
步骤(3),特征向量间匹配,两幅图像之间,通过计算两幅图像特征向量之间的相似性确定两个视频帧间特征点的一一对应关系,得到多对相互匹配的特征点;通常通过计算特征向量间的距离度量特征点之间的相似性。
步骤06,根据当前采样点、帧间匹配的匹配结果,在当前采样点后插入一个采样点;
帧间匹配的匹配结果中通常包含多对相互匹配的特征点,每对特征点对应实体空间中的一个角点(如大楼的一个顶点),该角点的实际地理位置没有变化,由于相机的移动,使得该角点在两个视频帧的位置发生了变化,但是,该角点、相机拍摄两个视频帧时的采样点,以及该角点在两个视频帧的采样点,共五个点是共面的;基于该共面的约束可以建立一个方程,多对特征点可以建立多个方程,得到一组方程组;求解该方程组后,即可得到这两个视频帧的空间变换关系,进而得到两个视频帧对应的相机位置。
通常,相机成像遵循对极几何原理,因此上述步骤06在实现过程中,可以通过对极几何原理,结合当前采样点分析帧间匹配的匹配结果,得到拍摄第二视频帧时车辆的采样点;进而在确定的采样点上插入一个采样点。图7所示为对极几何原理的示意图;摄像机在相机位置O1点上拍摄的视频帧I1,在相机位置O2点上拍摄的视频帧I2;对于空间内的角点P,该角点P在视频帧I1内的位置为p1,该角点P在视频帧I2内的位置为p2;P、O1、O2、p1和p2五点共面。下面以八对相互匹配的特征点为例,说明两个视频帧的空间变换关系的求解方式:
每对相互匹配的特征点pi=(ui,vi,1)和p’i=(u’i,v’i,1)给出约束方程:p’iTFpi=0;其中,i=(1,2,…,8);将各个约束方式转化为下述形式:
Figure BDA0001888115580000261
上述方程为标量方程,每个方程约束一个自由度,因此,需要8对相互匹配的特征点(每对相互匹配的特征点可以理解为一个约束)求解基本矩阵F:
Figure BDA0001888115580000262
上述(式2)可以变换成:
Wf=0 (式3);
其中,W式N对相互匹配的特征点组成的N*9大小的矩阵,f为待求取的基础矩阵。该基础矩阵中包含了摄像机在相机位置O1点上的相机矩阵K,在摄像机在相机位置O2点上的相机矩阵K’,以及相机位置O1和相机位置O2的相对位置关系。其中,相机矩阵K或相机矩阵K’均为已知量,通常包含相机的外参矩阵、内参矩阵;其中,外参矩阵描述的是世界坐标中相机的位置,及其指向方向;内参矩阵是描述的是将3D相机坐标变换到2D齐次图像坐标的变换关系。因此,基础矩阵求出后,即可获知相机位置O1和相机位置O2的相对位置关系,如果相机位置O1已知,基于该相机位置O1以及相机位置O1和相机位置O2的相对位置关系,可得到相机位置O2。
基于上述描述,通过对极几何原理,结合当前采样点分析帧间匹配的匹配结果,得到拍摄第二视频帧时车辆的采样点的过程,还可以通过下述步骤(1)-步骤(4)实现:
步骤(1),将当前采样点对应的第一视频帧和第二视频帧进行图像特征点匹配,得到多对相互匹配的特征点;
步骤(2),根据每对相互匹配的特征点、当前采样点、拍摄第二视频帧的车辆的采样点、以及相互匹配的特征点对应的角点共面的约束关系,建立每对相互匹配的特征点对应的特征方程,得到包含有多个特征方程的方程组;
可以理解,拍摄第二视频帧的车辆的采样点即拍摄第二视频帧的相机采样点;相互匹配的特征点对应的角点即实体空间中的角点;具体可以参见上述基于8对相互匹配的特征点建立方程组,并求取基础矩阵,进而基于相机位置O1得到相机位置O2的过程;其中,相机位置O1可以理解为当前采样点,相机位置O2可以理解为拍摄第二视频帧的车辆的采样点。
步骤(3),求解方程组,得到旋转矩阵和平移矩阵;其中,该旋转矩阵和平移矩阵分别用于表征拍摄第二视频帧的车辆的采样点相对于当前采样点的旋转角度和平移向量;
参考上文,方程组求解得到的基础矩阵包含了摄像机在相机位置O1点上的相机矩阵K,在摄像机在相机位置O2点上的相机矩阵K’,以及相机位置O1和相机位置O2的相对位置关系;该相对位置关系即可通过上述旋转角度和平移向量表征。
步骤(4),根据当前采样点,以及旋转矩阵和平移矩阵,确定拍摄第二视频帧的车辆的采样点。
步骤08,以插入的采样点为当前采样点,继续执行从获取的多个视频帧中确定与采样点组的当前采样点对应的第一视频帧,以及与第一视频帧距离预设时间间隔的第二视频帧的步骤(即上述步骤02),直至当前采样点为采样点组的最后一个采样点。
上述步骤02至步骤08是一个循环过程,对于每个采样点组,如果需要插入n个新的采样点,则需要执行n次上述循环过程,直至到达该采样点组的最后一个采样点。至于如何确定当前采样点为采样点组的最后一个采样点,可以通过时间信息实现;具体而言,不论是新插入的采样点,还是定位信息中的采样点,都对应唯一的时间点,如果当前采样点对应的时间点与采样点组的最后一个采样点的时间点相同,即可确定当前采样点为采样点组的最后一个采样点。另外,如果当前采样点为新插入的采样点,该采样点的时间点与采样点组的最后一个采样点的时间点相同,但当前采样点与采样点组的最后一个采样点的位置并不重合,此时,可以根据当前采样点调整采样点组的最后一个采样点,以降低采样点的误差,从而提高行驶线路的精确性。
当当前采样点为采样点组的最后一个采样点时,该当前采样点即可作为下一组采样点组的第一个采样点,开始进行下一组采样点组的采样点插入步骤,即再次执行上述步骤02至步骤08。
步骤S610,连接每个采样点,得到车辆的行驶路线。
步骤S612,根据道路视频图像生成交通标志图像;其中,该交通标志图像为包含有时间信息和交通标志的图像集合;
步骤S614,基于时间信息,在基础地图的行驶路线上拼接交通标志图像,得到行驶路线的道路地图。
方式三:
上述方式二中,描述了根据道路视频图像中指定帧的帧间匹配结果,在确定出的采样点中插入至少一个采样点,进而得到车辆的第一行驶路线的过程;在此基础上,该方式提出另一种行驶路线的生成方式,具体而言,在基础地图上确定定位信息中的采样点之后,根据道路视频图像中指定帧的帧间匹配结果,在确定出的采样点中插入至少一个采样点,得到车辆的第一行驶路线;再基于车辆行驶状态数据,在确定出的采样点中插入至少一个采样点,得到车辆的第二行驶路线;根据上述第一行驶路线和上述第二行驶路线,确定车辆最终的行驶路线。
其中,上述第一行驶路线的生成方式可以参考方式二,下面描述上述第二行驶路线的生成方式,包括下述步骤10-步骤16:
步骤10,在基础地图上确定定位信息中的采样点;将确定出的采样点分成多个采样点组;
具体方式可参考前述步骤S604的相关描述,在此不再赘述。
步骤12,对于每个采样点组:从采集的车辆行驶状态数据中获取采样点组对应的车辆行驶状态数据;
具体地,可以获取每个采样点组中,第一个采样点对应的第一时间点,最后一个采样点对应的第二时间点;再从车辆行驶状态数据中提取上述第一时间点与第二时间点对应时间段的车辆行驶状态数据,提取到的数据即采样点组对应的车辆行驶状态数据。
步骤14,根据获取的车辆行驶状态数据和预设时间间隔,在采样点组插入至少一个采样点;
其中,预设时间间隔可以为0.1秒、0.5秒等;可以理解,该第一时间间隔越小,插入的采样点密度越高,最终得到的行驶路线越准确。为了知晓从当前的采样点出发,车辆行驶上述预设时间间隔的时长后车辆所处的位置,通常需要知晓车辆在当前的采样点的行驶方向和行驶速度;因此,上述车辆行驶状态数据中通常包括车辆的行驶方向和行驶速度,或者与行驶方向和行驶速度相关的参数;例如,与行驶方向相关的参数通常包括角速度、陀螺姿态数据等,与行驶速度相关的参数通常包括瞬时速度、加速度等。
下面以车辆运动状态数据包括加速度和角速度为例,进一步说明上述步骤14的实现方式,具体包括下述步骤(1)-步骤(3):
步骤(1),根据采样点组的当前采样点对应的角速度,确定车辆在当前采样点的行驶方向;
具体可以通过车载设备中的陀螺仪采集车辆的角速度,该角速度可以为车辆的转弯角速度,基于该转弯角速度即可确定车辆在当前采样点的行驶方向。另外,还可以通过车载设备中的罗盘传感器检测地球的磁场,进而确定车辆的行驶方向。
步骤(2),根据当前采样点对应的加速度、行驶方向以及预设时间间隔,在当前采样点后插入一个采样点;
上述步骤(1)中确定了车辆在当前采样点的行驶方向,该步骤(2)中,需要进一步确定车辆在预设时间间隔的行驶距离,才能最终确定车辆在行驶预设时间间隔后的位置,即插入采样点的位置。具体可以通过下述步骤(a)和步骤(b)实现:
步骤(a),根据当前采样点对应的加速度和预设时间间隔,计算获得车辆从当前采样点出发的行驶距离;
其中一种实现方式中,可以直接通过公式S=at2/2计算得到行驶距离;另一种方式中,可以通过公式V=at得到行驶速度;再通过公式S=Vt得到行驶距离;其中,S是行驶距离,V是行驶速度,a是加速度,t是预设时间间隔。
步骤(b),根据行驶距离和行驶方向,确定待插入的采样点的位置,在确定的位置上插入一个采样点。
步骤(3),以插入的采样点为当前采样点,继续执行根据采样点组的当前采样点对应的角速度,确定车辆在当前采样点的行驶方向的步骤(即上述步骤(1)),直至当前采样点为采样点组的最后一个采样点。
上述步骤(1)-步骤(3)是一个循环过程,对于每个采样点组,如果需要插入n个新的采样点,则需要执行n次上述循环过程。图7示出了一个采样点组中,根据当前采样点确定下一个采样点的过程;其中,采样点A为该采样点组的第一个采样点,虚线w1是车辆在采样点A的行驶方向,在该方向上的预设时间间隔内,车辆的行驶距离为s1,根据w1和s1即可确定新插入的采样点B,进而再基于该采样点B,计算车辆在采样点B的行驶方向w2,在该方向上的预设时间间隔内,车辆的行驶距离为s2,根据w2和s2即可确定新插入的采样点C,依此类推,直至到达该采样点组的最后一个采样点。
至于如何确定当前采样点为采样点组的最后一个采样点,可以通过时间信息实现;具体而言,不论是新插入的采样点,还是定位信息中的采样点,都对应唯一的时间点,如果当前采样点对应的时间点与采样点组的最后一个采样点的时间点相同,即可确定当前采样点为采样点组的最后一个采样点。另外,如果当前采样点为新插入的采样点,该采样点的时间点与采样点组的最后一个采样点的时间点相同,但当前采样点与采样点组的最后一个采样点的位置并不重合,此时,可以根据当前采样点调整采样点组的最后一个采样点,以降低采样点的误差,从而提高行驶线路的精确性。
当当前采样点为采样点组的最后一个采样点时,该当前采样点即可作为下一组采样点组的第一个采样点,开始进行下一组采样点组的采样点插入步骤,即再次执行上述步骤(1)-步骤(3)。
步骤16,连接每个采样点,得到车辆的第二行驶路线。
在获取到第一行驶路线和第二行驶路线后,即可根据该第一行驶路线和第二行驶路线,确定车辆最终的行驶路线,具体包括下述步骤20-24:
步骤20,获取第一行驶路线中各个采样点的位置分布,以及第二行驶路线中各个采样点的位置分布;该位置分布中包含有多个可能采样点以及每个可能采样点的概率;
在生成第一行驶路线和第二行驶路线的过程中,都需要基于定位信息中的采样点估计插入的采样点的位置,无论是采用帧间匹配的方式,还是车辆运行状态数据的方式,其估计结果往往不是一点,二是一个分布范围,该分布范围中包含了多个可能的采样点,以及各个采样点的概率。
步骤22,根据第一行驶路线和第二行驶路线中,同一时间点对应的采样点的位置分布,调整采样点的位置;
采用帧间匹配的方式和车辆运行状态数据的方式,估计的同一时间点的采样点的位置分布往往非常接近,甚至存在交集,基于此,为了进一步提高插入的采样点的位置,可以将通过两种方式得到的同一时间点的两个位置分布进行综合处理,具体描述如下:计算第一行驶路线和第二行驶路线中,同一时间点对应的采样点的位置分布的交集;将该交集中,概率最大的采样点作为采样点调整后的采样点。
其中,通过两种方式得到的同一时间点的两个位置分布的交集可以缩小采样点的分布范围,从而进一步提高插入的采样点的精确性。另外,除了将概率最大的采样点作为采样点调整后的采样点的方式以外,还可以建立高斯模型,基于该高斯模型求取该交集的平均值,将平均值作为采样点调整后的采样点。
步骤24,连接各个时间点对应的采样点,得到车辆最终的行驶路线。
上述方式中,描述了多种方式生成车辆的行驶路线的过程,通过在定位信息的采样点间插入新的采样点,可以提高采样点的密度,从而使行驶路线更加精确,与车辆的实际行驶路线更加贴近,有利于提高后续道路地图的精确度。
本发明实施例还提供另一种道路地图的构建方法,该方法在上述实施例所提供方法的基础上实现;本实施例中,重点描述通过多辆车在同一段道路上行驶,或者同一辆车多次在同一段道路上行驶的方式,获取多组道路视频图像和定位信息,从而进一步提高车辆的行驶路线的精确度。如图8所示,该方法包括如下步骤:
步骤S802,获取车载设备在车辆行驶过程中采集的道路视频图像和定位信息;该定位信息包括采集到的各个采样点的经纬度信息;获取到的道路视频图像和定位信息为同一道路的多组数据;
步骤S804,根据每组定位信息中的采样点,在基础地图上生成每组数据对应的行驶路线;该行驶路线中的各个采样点的预设距离内分布有随机噪点;
每组数据对应的行驶路线具体可以根据上述实施例中描述的方法生成,即在定位信息的采样点之间插入新的采样点;不论是定位信息的采样点还是插入的采样点,在采样点的预设距离内分布有随机噪点;对于定位信息的采样点而言,随机噪点是由于车辆抖动产生的,车辆在行驶状态下,受发动机及其他部件的影响,车辆一直处于抖动状态,采集定位信息的车载设备也会被动抖动,因而在某一时间点采集到的采样点通常具有多个随机噪点,进而基于多个随机噪点的分布状况,确定该采样点的最终位置。例如,将多个随机噪点的分布使用高斯模型表达,进而求得概率最大的采样点或者根据各个随机噪点求得平均的采样点,即为采样点的最终位置。对于插入的采样点而言,由于视频帧匹配的误差,以及计算旋转矩阵和平移矩阵的误差,或者车辆的角速度和加速度变化极快,在一个采样点上可能对应有多个角速度和加速度,因而基于视频帧匹配或者车辆运动状态插入的采样点的位置也具有多个随机噪点,同样按照上述方式,基于多个随机噪点的分布状况,可以确定插入的采样点的最终位置。
步骤S806,根据每组数据对应的行驶路线的各个采样点对应的随机噪点,调整各个采样点的位置;
在实际实现时,可以预设每组数据对应的行驶路线的各个采样点的预设时间间隔相同,且该行驶路线的第一个采样点的位置相同;在该前提下,同一道路的每组数据对应的行驶路线中,处于相同顺序的采样点均从同一位置采集;例如,按照时间顺序,每组数据对应的行驶路线中第一个采样点均从位置Y采集,但由于道路本身具有一定宽度、以及车辆抖动等原因,各条线路中第一个采样点及其对应的随机噪点不一定完全重合,相对于一条行驶线路对应的单组数据,多组数据的方式可以提供更丰富的数据量,对同一位置的多个采样点及其对应的随机噪点进行处理,可以得到更精确的该位置对应的采样点。
具体地,上述步骤S806可以通过下述步骤30和步骤32实现:
步骤30,将每组数据对应的行驶路线的各个采样点对应的随机噪点中,小于预设的噪点距离的随机噪点进行合并;
该噪点距离具体可以根据相邻随机噪点间的平均距离确定,例如该噪点距离为相邻的采样点间平均距离的一半。小于预设的噪点距离的随机噪点,可以认为这些随机噪点为同一采样点,即可对这些随机噪点进行合并。
步骤32,根据合并后的随机噪点,调整随机噪点对应的采样点的位置。
多条行驶线路中,同一位置的采样点的随机噪点合并后,相对于单条行驶线路中该位置的采样点的随机噪点,其分布会发生变化,进而再将当前的随机噪点的分布使用高斯模型或其他随机模型表达,而求得概率最大的采样点,即为采样点的最终位置。
以高斯模型为例,上述步骤32具体还可以通过下述方式实现:针对每个采样点,计算采样点对应的合并后的随机噪点的方差;将方差作为模型参数,基于模型参数建立高斯模型;通过高斯模型计算采样点对应的合并后的随机噪点的均值点;将均值点作为调整后的采样点。
其中,合并后的随机噪点的方差可以用于表征采样点的采集误差或者计算误差,方差越小,随机噪点分布越集中,最终确定的采样点越精确;而方差越大,随机噪点分布越分散,如果方差超过预设的方差阈值,可以针对该采样点重新采集或计算。通常,一维的高斯模型具有两个参数,即方差和均值,基于随机噪点的方差作为模型参数,再结合合并后的随机噪点的位置,可以建立高斯模型;该高斯模型建立后,即可计算随机噪点的均值点,该均值点即为调整后的采样点。
步骤S808,连接调整后的各个采样点,得到车辆的行驶路线。
步骤S810,根据道路视频图像生成交通标志图像;其中,该交通标志图像为包含有时间信息和交通标志的图像集合;
步骤S812,基于上述时间信息,在基础地图的行驶路线上拼接交通标志图像,得到行驶路线的道路地图。
上述方式中,将多条行驶路线中,同一位置的采样点进行了合并,进而将多条行驶路线合并为一条行驶路线,合并后的行驶路线相比于合并前的任何一条行驶路线都更加精确,从而提高了行驶路线的精确度,并且与车辆的实际行驶路线更加贴近,有利于提高后续道路地图的精确度。
本发明实施例还提供另一种道路地图的构建方法,该方法在上述实施例所提供方法的基础上实现;本实施例中,重点描述生成交通标志图像的实现方式;如图9所示,该方法包括如下步骤:
步骤S902,获取车载设备在车辆行驶过程中采集的道路视频图像和定位信息;该定位信息包括采集到的各个采样点的经纬度信息;
步骤S904,在基础地图上确定定位信息中的采样点;将确定出的采样点分成多个采样点组;
步骤S906,对于每个采样点组:从采集的道路视频图像中获取采样点组对应的多个视频帧;
步骤S908,根据获取的多个视频帧和预设时间间隔,在采样点组插入至少一个采样点;
步骤S910,连接每个采样点,得到车辆的行驶路线。
步骤S912,根据道路视频的多帧图像,生成多帧图像对应的多张俯视图像;
由于道路视频中,连读的多帧图像或按照预设间隔采集的多帧图像间,图像内容具有一定的连续性,如帧图像A第1-3行的局部图像,与帧图像B第4-6行的局部图像相同,并且与帧图像B第1-3行的局部图像具有连续性;同时,帧图像B第1-3行的局部图像,与帧图像C第4-6行的局部图像相同,并且与帧图像B第1-3行的局部图像具有连续性;因而,帧图像A、B、C的第1-3行的局部图像依次具有连续性,由于位置相同,因而图像尺寸、畸变程度均相同;因此,将帧图像A、B、C的第1-3行的局部图像依次拼接,即可得到帧图像A、B、C的俯视图像。
具体而言,上述步骤S912可以通过下述步骤42-步骤48实现:
步骤42,获取车载设备拍摄的道路视频;
该道路视频拍摄的时间,通常与前述生成车辆的行驶路线所使用的定位信息的采集时间相同,即车辆的行驶过程中,同时通过车载设备采集定位信息和道路视频,因此,在同一时间点,对应有定位信息中的至少一个离散时间点和道路视频中的至少一帧视频帧。
步骤44,将道路视频划分为多个图像组,每个图像组中包含多帧图像,以及多帧图像对应的时间;
例如,可以预设每个图像组的视频帧数量,再按照道路视频中各个视频帧的时间顺序,依次划分图像组;通常,相邻的图像组的首尾视频帧相邻,但不具有重合的视频帧。由于每个视频帧均对应有一个时间点,因而一个图像组对应一个时间段,该时间段通常为该图像组最后一个视频帧的时间点与第一个视频帧的时间点的差值;为了便于标识,每个图像组还可以使用时间点表达,该时间点可以为各个图像组的某个固定位置的视频帧的时间点,如图像组中第一个视频帧的时间点、最后一个视频帧的时间点。
步骤46,获取每个图像组中,多帧图像的同一位置的图像数据;
其中,该同一位置可以使用像素行或像素列表达;车辆在行驶过程中,大多情况下为向前移动的状态,除拐弯、变道外,很少出现左右摇摆的情况;因而在道路视频中,相邻的视频帧间,在像素列方向(即沿着道路的方向)的图像内容变化较大,在像素行方向(即道路宽幅的方向)的图像内容变化较小;因此,在上述步骤26中,多帧图像的同一位置具体可以为像素列方向上同一位置的图像数据;像素列方向上的同一位置可以通过像素行的位置表达,如第1行像素行、第1-3行像素行、第2-5行像素行等;同一位置的图像数据的尺寸可以预先设定,可以理解,尺寸越小,如仅一行像素行,后续拼接得到的交通标志图像越精细;尺寸越大,各像素行间会存在畸变,后续拼接得到的交通标志图像越粗糙;具体尺寸可以根据实际需求设置。
另外,在选择上述多帧图像的同一位置时,还需要考虑道路视频中的具体内容,由于目的是为了拼接得到交通标志图像,因而需要选择道路视频中,内容是道路的局部图像,剔除包含有其他车辆、行人、建筑物、或者天空的局部图像。
步骤48,拼接多帧图像中同一位置的图像数据,获得图像组对应的俯视图像。
获取到多帧图像中同一位置的图像数据后,按照时间顺序进行首尾相接,几个得到该图像组对应的俯视图像。
步骤S914,通过预先训练的交通标志检测模型检测每张俯视图像,得到检测结果;该检测结果包括交通标志的类别、定位区域和分割区域;
该交通标志检测模型可以通过支持向量机、神经网络等多种模型,经大量样本训练得到;该交通标志检测模型可以对俯视图像中的交通标志进行识别、定位和分割;其中,当检测出交通标志后,可以通过定位框标识该交通标志的定位区域,并在定位区域对应的位置标识出该交通标志的类别,如左转指示线、右转指示线、人行道等;上述分割区域可以标识出交通标志的边缘线条,可以更加准确地获取交通标志的位置。
上述交通标志检测模型可以包含多个子模型,用于分别执行交通标志的类别识别、定位和分割。上述交通标志检测模型具体可以为MASK-RCNN(Regions withConvolutional Neural Network,卷积神经网络)模型;该MASK-RCNN模型中,首先通过RPN(Region Proposal Network,区域候选网络)产生候选区域;再通过FPN(feature pyramidnetworks,特征金字塔网络)提取各个候选区域的卷积特征,进而实现对输入的俯视图像中交通标志的检测。
步骤S916,将检测结果携带至对应的俯视图像中,得到交通标志图像。
在实际实现时,上述检测结果可以直接显示在俯视图像上;为了避免影响道路地图的展示效果,该检测结果还可以不直接显示在俯视图像中,可以将检测结果转化为数据,与对应的俯视图像关联保存;具体而言,上述步骤S916可以通过下述步骤52和步骤54实现:
步骤52,根据检测结果中,各个交通标志的边缘像素,确定各个交通标志的位置坐标;
其中,各个交通标志的边缘像素可以从检测结果中,各个交通标志的分割区域的边缘线条中提取得到;各个交通标志的位置坐标具体可以为一个坐标集合,该坐标集合中包含了该交通标志的边缘像素的位置坐标;在另一种方式中,获取到各个交通标志的边缘像素后,可以对这些边缘像素的位置求取平均值,得到该交通标志的中心点位置,该中心点位置的坐标可以作为该交通标志的位置坐标;另外,还可以将各个交通标志的边缘像素中指定位置的像素点对应的位置坐标,作为交通标志的位置坐标,如最顶部的像素点、最底部的像素点等。
步骤54,将各个交通标志的类别和位置坐标,携带至对应的俯视图像中,得到交通标志图像。
例如,各个交通标志的类别和位置坐标,可以与该交通标志所属的俯视图像关联保存;如果后续通过道路地图进行导航时,当车辆行驶到或即将行驶到该俯视图像对应的位置,即可根据与之关联的交通标志的类别和位置坐标,向用户展示或播报道路前方的交通标志的类别和位置。
步骤S918,基于时间信息,在基础地图的行驶路线上拼接多张交通标志图像,得到行驶路线的道路地图。
上述方式中,获取到车辆的行驶路线后,根据道路视频得到交通标志图像,并基于预先训练的交通标志检测模型检测得到交通标志图像中的交通标志,得到交通标志的类别和位置信息,从而为道路地图的创建提供的丰富的数据支持,有利于通过该道路地图实现导航,提高了道路地图的实用性和用户体验度。
本发明实施例还提供另一种道路地图的构建方法,该方法在上述实施例所提供方法的基础上实现;本实施例中,重点描述将交通标志图像拼接至行驶路线,最终得到道路地图的实现方式;如图10所示,该方法包括如下步骤:
步骤S1002,获取车载设备在车辆行驶过程中采集的道路视频图像和定位信息;该定位信息包括采集到的各个采样点的经纬度信息;
步骤S1004,在基础地图上确定定位信息中的采样点;将确定出的采样点分成多个采样点组;
步骤S1006,对于每个采样点组:从采集的道路视频图像中获取采样点组对应的多个视频帧;
步骤S1008,根据获取的多个视频帧和预设时间间隔,在采样点组插入至少一个采样点;
步骤S1010,连接每个采样点,得到车辆的行驶路线。
步骤S1012,根据道路视频的多帧图像,生成多帧图像对应的俯视图像;
步骤S1014,通过预先训练的交通标志检测模型检测每张俯视图像,得到检测结果;该检测结果包括交通标志的类别、定位区域和分割区域;
步骤S1016,将检测结果携带至对应的俯视图像中,得到交通标志图像。
步骤S1018,提取交通标志图像的中心点和时间信息;
由于车载设备中的摄像装置通常安装在车辆宽度方向上的中心位置,因而交通标志图像的中心点与车辆采集该交通标志图像对应的道路视频时的中心点的经纬度相同,或者交通标志图像的中心点处于车辆长度方向的中心轴线上;上述交通标志图像的中心点具体可以为该交通标志图像长度方向中心轴线与宽度方向中心轴线的交点,也可以为该交通标志图像长度方向中心轴线上的其他指定采样点。
如上述实施例所述,时间信息可以为交通标志图像对应的图像组中包含的多个视频帧对应的时间段,该时间段通常为该图像组最后一个视频帧的时间点与第一个视频帧的时间点的差值;上述时间信息还可以为时间点,该时间点可以为交通标志图像对应的图像组的某个固定位置的视频帧的时间点,如图像组中第一个视频帧的时间点、最后一个视频帧的时间点。
步骤S1020,在基础地图的行驶路线上查找时间信息对应的采样点;
步骤S1022,根据交通标志图像的中心点,将交通标志图像拼接至查找到的采样点上。
在拼接的过程中,可以按照时间信息表征的时间顺序,依次拼接各个交通标志图像至对应的采样点上;交通标志图像的中心点通常与对应的采样点重合;还可以不关心时间顺序,以随机的方式或其他预设顺序,将交通标志图像拼接至查找到的采样点上,所有的交通标志图像拼接完毕后,得到该行驶路线对应的相对完整的道路地图。
上述步骤S1022,具体可以通过下述步骤62和步骤64实现:
步骤62,将交通标志图像设置在查找到的采样点上,以使交通标志图像的中心点与查找到的采样点重合;
步骤64,调整交通标志图像的方向,以使交通标志图像的长度方向的轴线与查找到的采样点处的行驶路线的方向重合。
交通标志图像的中心点与查找到的采样点重合后,交通标志图像可能会有多个摆放方向,此时,需要进一步获取该采样点处的行驶路线的方向,该方向具体可以为行驶路线在该采样点的切线方向,将交通标志图像的长度方向的轴线调整至于该切线方向重合,即可实现相邻交通标志图像首尾衔接的拼接。
另外,各个交通标志图像拼接至行驶路线后,相邻的交通标志图像之间可能存在缝隙或相互重叠的区域;对于缝隙,可以对该缝隙相邻的交通标志图像的边缘区域进行复制,将复制的局部图像拼接至缝隙上,再对局部图像与相邻的交通标志图像的边缘部分进行羽化、均匀模糊等处理,以使图像间自然衔接;对于相互重叠的区域,可以剪切部分区域,以使相邻的交通标志图像的边缘可以相互衔接。
上述方式中,获取到行驶路线和交通标志图像后,基于时间信息将交通标志图像拼接至对应的采样点上,并对交通标志图像进行进一步的调整,得到行驶路线的道路地图。该方式通过车辆的多种车载设备的数据可以构建精确较高的道路地图,相对于激光雷达的方式成本较低,同时保证了用户对地图精确度的需求。
对应于上述方法实施例,图11是示出本申请的一些实施例的道路地图的构建装置的框图,该道路地图的构建装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述服务器,或服务器的处理器,也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件,如图所示,道路地图的构建装置可以包括:
信息获取模块112,用于获取车辆行驶过程中采集的道路视频图像和定位信息;定位信息包括采集到的各个采样点的经纬度信息和时间信息;
路线生成模块114,用于根据定位信息中的各个采样点,在基础地图上生成车辆的行驶路线;
图像生成模块116,用于根据道路视频图像生成多张俯视角度下的交通标志图像;每张交通标志图像中携带有时间信息;
图像拼接模块118,用于按照时间顺序,在基础地图的行驶路线上拼接拼接多张交通标志图像,得到行驶路线的道路地图。
本发明实施例提供的上述道路地图的构建装置,通过车辆行驶过程中采集的定位信息和道路视频图像,在基础地图上生成车辆的行驶路线,进而生成多张俯视角度下的交通标志图像;再基于时间信息,在行驶路线上拼接多张交通标志图像,得到行驶路线的道路地图。该方式通过车辆在行驶过程中采集的数据可以构建精确较高的道路地图,相对于激光雷达的方式成本较低,同时保证了用户对地图精确度的需求。
上述道路地图的构建装置中的模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等,或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接,或其任意组合。两个或更多个模块可以组合为单个模块,并且任何一个模块可以分成两个或更多个单元。
在一些实施例中,上述路线生成模块,用于:在基础地图上确定定位信息中的采样点;对确定出的采样点进行曲线拟合处理,得到平滑曲线;将平滑曲线作为车辆的行驶路线。
在一些实施例中,上述路线生成模块,用于:在基础地图上确定定位信息中的采样点;根据道路视频图像中指定帧的帧间匹配结果,在确定出的采样点中插入至少一个采样点,得到车辆的行驶路线。
在一些实施例中,上述路线生成模块,用于:将确定出的采样点分成多个采样点组,对于每个采样点组:从采集的道路视频图像中获取采样点组对应的多个视频帧;根据获取的多个视频帧的帧间匹配结果,在采样点组插入至少一个采样点;连接每个采样点,得到车辆的行驶路线。
在一些实施例中,上述路线生成模块,用于:将确定出的采样点中每两个相邻的采样点确定为一组采样点组。
在一些实施例中,上述路线生成模块,用于:从获取的多个视频帧中确定与采样点组的当前采样点对应的第一视频帧,以及与第一视频帧距离预设时间间隔的第二视频帧;将第一视频帧和第二视频帧进行帧间匹配;根据当前采样点、帧间匹配的匹配结果,在当前采样点后插入一个采样点;以插入的采样点为当前采样点,继续执行从获取的多个视频帧中确定与采样点组的当前采样点对应的第一视频帧,以及与第一视频帧距离预设时间间隔的第二视频帧的步骤,直至当前采样点为采样点组的最后一个采样点。
在一些实施例中,上述路线生成模块,用于:通过对极几何原理,结合当前采样点分析帧间匹配的匹配结果,得到拍摄第二视频帧时车辆的采样点;在确定的采样点上插入一个采样点。
在一些实施例中,上述路线生成模块,用于:将当前采样点对应的第一视频帧和第二视频帧进行图像特征点匹配,得到多对相互匹配的特征点;根据每对相互匹配的特征点、当前采样点、拍摄第二视频帧的车辆的采样点、以及相互匹配的特征点对应的角点共面的约束关系,建立每对相互匹配的特征点对应的特征方程,得到包含有多个特征方程的方程组;求解方程组,得到旋转矩阵和平移矩阵;其中,旋转矩阵和平移矩阵分别用于表征拍摄第二视频帧的车辆的采样点相对于当前采样点的旋转角度和平移向量;根据当前采样点,以及旋转矩阵和平移矩阵,确定拍摄第二视频帧的车辆的采样点。
在一些实施例中,上述路线生成模块,用于:在基础地图上确定定位信息中的采样点;根据道路视频图像中指定帧的帧间匹配结果,在确定出的采样点中插入至少一个采样点,得到车辆的第一行驶路线;基于车辆行驶状态数据,在确定出的采样点中插入至少一个采样点,得到车辆的第二行驶路线;根据第一行驶路线和第二行驶路线,确定车辆最终的行驶路线。
在一些实施例中,上述路线生成模块,用于:将确定出的采样点分成多个采样点组,对于每个采样点组:从采集的车辆行驶状态数据中获取采样点组对应的车辆行驶状态数据;根据获取的车辆行驶状态数据和预设时间间隔,在采样点组插入至少一个采样点;连接每个采样点,得到车辆的第二行驶路线。
在一些实施例中,上述路线生成模块,用于:将确定出的采样点中每两个相邻的采样点确定为一组采样点组。
在一些实施例中,上述车辆运动状态数据包括加速度和角速度;上述路线生成模块,用于:根据采样点组的当前采样点对应的角速度,确定车辆在当前采样点的行驶方向;根据当前采样点对应的加速度、行驶方向以及预设时间间隔,在当前采样点后插入一个采样点;以插入的采样点为当前采样点,继续执行根据采样点组的当前采样点对应的角速度,确定车辆在当前采样点的行驶方向的步骤,直至当前采样点为采样点组的最后一个采样点。
在一些实施例中,上述路线生成模块,用于:根据当前采样点对应的加速度和预设时间间隔,计算获得车辆从当前采样点出发的行驶距离;根据行驶距离和行驶方向,确定待插入的采样点的位置,在确定的位置上插入一个采样点。
在一些实施例中,上述路线生成模块,用于:获取第一行驶路线中各个采样点的位置分布,以及第二行驶路线中各个采样点的位置分布;位置分布中包含有多个可能采样点以及每个可能采样点的概率;根据第一行驶路线和第二行驶路线中,同一时间点对应的采样点的位置分布,调整采样点的位置;连接各个时间点对应的采样点,得到车辆最终的行驶路线。
在一些实施例中,上述路线生成模块,用于:计算第一行驶路线和第二行驶路线中,同一时间点对应的采样点的位置分布的交集;将交集中,概率最大的采样点作为采样点调整后的采样点。
在一些实施例中,上述路线生成模块,用于:如果获取到的道路视频图像和定位信息为同一道路的多组数据;根据每组定位信息中的采样点,在基础地图上生成每组数据对应的行驶路线;行驶路线中的各个采样点的预设距离内分布有随机噪点;根据每组数据对应的行驶路线的各个采样点对应的随机噪点,调整各个采样点的位置;连接调整后的各个采样点,得到车辆的行驶路线。
在一些实施例中,上述路线生成模块,用于:将每组数据对应的行驶路线的各个采样点对应的随机噪点中,小于预设的噪点距离的随机噪点进行合并;根据合并后的随机噪点,调整随机噪点对应的采样点的位置。
在一些实施例中,上述路线生成模块,用于:针对每个采样点,计算采样点对应的合并后的随机噪点的方差;将方差作为模型参数,基于模型参数建立高斯模型;通过高斯模型计算采样点对应的合并后的随机噪点的均值点;将均值点作为调整后的采样点。
在一些实施例中,上述图像生成模块,用于:根据道路视频的多帧图像,生成多帧图像对应的多张俯视图像;通过预先训练的交通标志检测模型检测每张俯视图像,得到检测结果;检测结果包括交通标志的类别、定位区域和分割区域;将检测结果携带至对应的俯视图像中,得到交通标志图像。
在一些实施例中,上述图像生成模块,用于:将道路视频划分为多个图像组,每个图像组中包含多帧图像,以及多帧图像对应的时间;获取每个图像组中,多帧图像的同一位置的图像数据;拼接多帧图像中的同一位置的图像数据,获得图像组对应的俯视图像。
在一些实施例中,上述交通标志检测模型包括MASK-RCNN模型。
在一些实施例中,上述图像生成模块,用于:根据检测结果中,各个交通标志的边缘像素,确定各个交通标志的位置坐标;将各个交通标志的类别和位置坐标,携带至对应的俯视图像中。
在一些实施例中,上述图像拼接模块,用于:提取交通标志图像的中心点和时间信息;在基础地图的行驶路线上查找时间信息对应的采样点;根据交通标志图像的中心点,将交通标志图像拼接至查找到的采样点上。
在一些实施例中,上述图像拼接模块,用于:将交通标志图设置在查找到的采样点上,以使交通标志图的中心点与查找到的采样点重合;调整交通标志图的方向,以使交通标志图的长度方向的轴线与查找到的采样点处的行驶路线的方向重合。
在一些实施例中,上述信息获取模块,用于:获取车载设备在车辆行驶过程中采集的道路视频图像和定位信息;其中,车载设备包括视频图像采集装置和定位装置。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (52)

1.一种道路地图的构建方法,其特征在于,包括:
获取车辆行驶过程中采集的道路视频图像和定位信息;所述定位信息包括采集到的各个采样点的经纬度信息和时间信息;
根据所述定位信息中的各个采样点,在基础地图上生成所述车辆的行驶路线;
根据所述道路视频图像生成多张俯视角度下的交通标志图像;每张所述交通标志图像中携带有时间信息;
基于所述时间信息,在所述基础地图的行驶路线上拼接多张所述交通标志图像,得到所述行驶路线的道路地图。
2.根据权利要求1所述的方法,其特征在于,根据所述定位信息中的采样点,在基础地图上生成所述车辆的行驶路线的步骤包括:
在基础地图上确定所述定位信息中的采样点;
对确定出的所述采样点进行曲线拟合处理,得到平滑曲线;
将所述平滑曲线作为所述车辆的行驶路线。
3.根据权利要求1所述的方法,其特征在于,根据所述定位信息中的采样点,在基础地图上生成所述车辆的行驶路线的步骤包括:
在基础地图上确定所述定位信息中的采样点;
根据所述道路视频图像中指定帧的帧间匹配结果,在确定出的所述采样点中插入至少一个采样点,得到所述车辆的行驶路线。
4.根据权利要求3所述的方法,其特征在于,根据所述道路视频图像中指定帧的帧间匹配结果,在确定出的所述采样点中插入至少一个采样点,得到所述车辆的行驶路线的步骤,包括:
将确定出的采样点分成多个采样点组,对于每个采样点组:从道路视频图像中获取所述采样点组对应的多个视频帧;根据获取的所述多个视频帧和预设时间间隔,在所述采样点组插入至少一个采样点;
连接每个所述采样点,得到所述车辆的行驶路线。
5.根据权利要求4所述的方法,其特征在于,将确定出的采样点分成多个采样点组的步骤,包括:
将确定出的采样点中每两个相邻的采样点确定为一组采样点组。
6.根据权利要求4或5所述的方法,其特征在于,所述根据获取的所述多个视频帧和预设时间间隔,在所述采样点组插入至少一个采样点的步骤包括:
从获取的所述多个视频帧中确定与所述采样点组的当前采样点对应的第一视频帧,以及与所述第一视频帧距离预设时间间隔的第二视频帧;
将所述第一视频帧和所述第二视频帧进行帧间匹配;
根据所述当前采样点、所述帧间匹配的匹配结果,在所述当前采样点后插入一个采样点;
以插入的所述采样点为当前采样点,继续执行从获取的所述多个视频帧中确定与所述采样点组的当前采样点对应的第一视频帧,以及与所述第一视频帧距离预设时间间隔的第二视频帧的步骤,直至当前采样点为所述采样点组的最后一个采样点。
7.根据权利要求6所述的方法,其特征在于,所述根据所述当前采样点、所述帧间匹配的匹配结果,在所述当前采样点后插入一个采样点的步骤,包括:
通过对极几何原理,结合所述当前采样点分析所述帧间匹配的匹配结果,得到拍摄所述第二视频帧时车辆的采样点;
在确定的所述采样点上插入一个采样点。
8.根据权利要求7所述的方法,其特征在于,所述通过对极几何原理,结合所述当前采样点分析所述帧间匹配的匹配结果,得到拍摄所述第二视频帧时车辆的采样点的步骤,包括:
将所述当前采样点对应的第一视频帧和所述第二视频帧进行图像特征点匹配,得到多对相互匹配的特征点;
根据每对相互匹配的特征点、所述当前采样点、拍摄所述第二视频帧的车辆的采样点、以及相互匹配的特征点对应的角点共面的约束关系,建立每对相互匹配的特征点对应的特征方程,得到包含有多个特征方程的方程组;
求解所述方程组,得到旋转矩阵和平移矩阵;其中,所述旋转矩阵和所述平移矩阵分别用于表征拍摄所述第二视频帧的车辆的采样点相对于所述当前采样点的旋转角度和平移向量;
根据所述当前采样点,以及所述旋转矩阵和所述平移矩阵,确定拍摄所述第二视频帧的车辆的采样点。
9.根据权利要求1所述的方法,其特征在于,根据所述定位信息中的采样点,在基础地图上生成所述车辆的行驶路线的步骤包括:
在基础地图上确定所述定位信息中的采样点;
根据所述道路视频图像中指定帧的帧间匹配结果,在确定出的所述采样点中插入至少一个采样点,得到所述车辆的第一行驶路线;
基于车辆行驶状态数据,在确定出的所述采样点中插入至少一个采样点,得到所述车辆的第二行驶路线;
根据所述第一行驶路线和所述第二行驶路线,确定所述车辆最终的行驶路线。
10.根据权利要求9所述的方法,其特征在于,所述基于车辆行驶状态数据,在确定出的所述采样点中插入至少一个采样点,得到所述车辆的第二行驶路线的步骤,包括:
将确定出的采样点分成多个采样点组,对于每个采样点组:从采集的车辆行驶状态数据中获取所述采样点组对应的车辆行驶状态数据;根据获取的所述车辆行驶状态数据和预设时间间隔,在所述采样点组插入至少一个采样点;
连接每个所述采样点,得到所述车辆的第二行驶路线。
11.根据权利要求10所述的方法,其特征在于,将确定出的采样点分成多个采样点组的步骤,包括:
将确定出的采样点中每两个相邻的采样点确定为一组采样点组。
12.根据权利要求10或11所述的方法,其特征在于,所述车辆运动状态数据包括加速度和角速度;
所述根据获取的所述车辆行驶状态数据和预设时间间隔,在所述采样点组插入至少一个采样点的步骤包括:
根据所述采样点组的当前采样点对应的角速度,确定所述车辆在所述当前采样点的行驶方向;
根据所述当前采样点对应的加速度、所述行驶方向以及预设时间间隔,在所述当前采样点后插入一个采样点;
以插入的所述采样点为当前采样点,继续执行所述根据所述采样点组的当前采样点对应的角速度,确定所述车辆在所述当前采样点的行驶方向的步骤,直至当前采样点为所述采样点组的最后一个采样点。
13.根据权利要求12所述的方法,其特征在于,根据所述当前采样点对应的加速度、所述行驶方向以及预设时间间隔,在所述当前采样点后插入一个采样点的步骤,包括:
根据所述当前采样点对应的加速度和预设时间间隔,计算获得车辆从所述当前采样点出发的行驶距离;
根据所述行驶距离和所述行驶方向,确定待插入的采样点的位置,在确定的所述位置上插入一个采样点。
14.根据权利要求9所述的方法,其特征在于,根据所述第一行驶路线和所述第二行驶路线,确定所述车辆最终的行驶路线的步骤,包括:
获取所述第一行驶路线中各个采样点的位置分布,以及所述第二行驶路线中各个采样点的位置分布;所述位置分布中包含有多个可能采样点以及每个可能采样点的概率;
根据所述第一行驶路线和所述第二行驶路线中,同一时间点对应的采样点的位置分布,调整所述采样点的位置;
连接各个时间点对应的采样点,得到所述车辆最终的行驶路线。
15.根据权利要求14所述的方法,其特征在于,所述根据所述第一行驶路线和所述第二行驶路线中,同一时间点对应的采样点的位置分布,调整所述采样点的位置的步骤,包括:
计算所述第一行驶路线和所述第二行驶路线中,同一时间点对应的采样点的位置分布的交集;
将所述交集中,概率最大的采样点作为所述采样点调整后的采样点。
16.根据权利要求1所述的方法,其特征在于,根据所述定位信息中的采样点,在基础地图上生成所述车辆的行驶路线的步骤,包括:
如果获取到的所述道路视频图像和所述定位信息为同一道路的多组数据;根据每组所述定位信息中的采样点,在基础地图上生成每组所述数据对应的行驶路线;所述行驶路线中的各个采样点的预设距离内分布有随机噪点;
根据每组所述数据对应的行驶路线的各个采样点对应的随机噪点,调整各个采样点的位置;
连接调整后的各个所述采样点,得到所述车辆的行驶路线。
17.根据权利要求16所述的方法,其特征在于,所述根据每组所述数据对应的行驶路线的各个采样点对应的随机噪点,调整各个采样点的位置的步骤,包括:
将每组所述数据对应的行驶路线的各个采样点对应的随机噪点中,小于预设的噪点距离的随机噪点进行合并;
根据合并后的随机噪点,调整所述随机噪点对应的采样点的位置。
18.根据权利要求17所述的方法,其特征在于,所述根据合并后的随机噪点,调整所述随机噪点对应的采样点的位置的步骤,包括:
针对每个采样点,计算所述采样点对应的合并后的随机噪点的方差;
将所述方差作为模型参数,基于所述模型参数建立高斯模型;
通过所述高斯模型计算所述采样点对应的合并后的随机噪点的均值点;
将所述均值点作为调整后的采样点。
19.根据权利要求1所述的方法,其特征在于,所述根据所述道路视频图像生成多张俯视角度下的交通标志图像的步骤,包括:
根据所述道路视频的多帧图像,生成所述多帧图像对应的多张俯视图像;
通过预先训练的交通标志检测模型检测每张所述俯视图像,得到检测结果;所述检测结果包括交通标志的类别、定位区域和分割区域;
将所述检测结果携带至对应的俯视图像中,得到交通标志图像。
20.根据权利要求19所述的方法,其特征在于,根据所述道路视频的多帧图像,生成所述多帧图像对应的多张俯视图像的步骤,包括:
将所述道路视频划分为多个图像组,每个图像组中包含多帧图像,以及所述多帧图像对应的时间;
获取每个所述图像组中,所述多帧图像的同一位置的图像数据;
拼接所述多帧图像中的同一位置的图像数据,获得所述图像组对应的俯视图像。
21.根据权利要求19所述的方法,其特征在于,所述交通标志检测模型包括MASK-RCNN模型。
22.根据权利要求19所述的方法,其特征在于,将所述检测结果携带至对应的俯视图像中的步骤,包括:
根据所述检测结果中,各个交通标志的边缘像素,确定各个所述交通标志的位置坐标;
将各个所述交通标志的类别和所述位置坐标,携带至对应的俯视图像中。
23.根据权利要求1所述的方法,其特征在于,基于时间信息,在所述基础地图的行驶路线上拼接多张所述交通标志图像,得到所述行驶路线的道路地图的步骤,包括:
提取所述交通标志图像的中心点和时间信息;
在所述基础地图的行驶路线上查找所述时间信息对应的采样点;
根据所述交通标志图像的中心点,将所述交通标志图像拼接至查找到的所述采样点上。
24.根据权利要求23所述的方法,其特征在于,根据所述交通标志图像的中心点,将所述交通标志图像拼接至查找到的所述采样点上的步骤,包括:
将所述交通标志图设置在查找到的所述采样点上,以使所述交通标志图的中心点与查找到的所述采样点重合;
调整所述交通标志图的方向,以使所述交通标志图的长度方向的轴线与查找到的所述采样点处的所述行驶路线的方向重合。
25.根据权利要求1所述的方法,其特征在于,获取车辆行驶过程中采集的道路视频图像和定位信息的步骤,包括:
获取车载设备在车辆行驶过程中采集的道路视频图像和定位信息;其中,所述车载设备包括视频图像采集装置和定位装置。
26.一种道路地图的构建装置,其特征在于,包括:
信息获取模块,用于获取车辆行驶过程中采集的道路视频图像和定位信息;所述定位信息包括采集到的各个采样点的经纬度信息和时间信息;
路线生成模块,用于根据所述定位信息中的各个采样点,在基础地图上生成所述车辆的行驶路线;
图像生成模块,用于根据所述道路视频图像生成多张俯视角度下的交通标志图像;每张所述交通标志图像中携带有时间信息;
图像拼接模块,用于按照时间顺序,在所述基础地图的行驶路线上拼接多张所述交通标志图像,得到所述行驶路线的道路地图。
27.根据权利要求26所述的装置,其特征在于,所述路线生成模块,用于:
在基础地图上确定所述定位信息中的采样点;
对确定出的所述采样点进行曲线拟合处理,得到平滑曲线;
将所述平滑曲线作为所述车辆的行驶路线。
28.根据权利要求26所述的装置,其特征在于,所述路线生成模块,用于:
在基础地图上确定所述定位信息中的采样点;
根据所述道路视频图像中指定帧的帧间匹配结果,在确定出的所述采样点中插入至少一个采样点,得到所述车辆的行驶路线。
29.根据权利要求28所述的装置,其特征在于,所述路线生成模块,用于:
将确定出的采样点分成多个采样点组,对于每个采样点组:从采集的道路视频图像中获取所述采样点组对应的多个视频帧;根据获取的所述多个视频帧和预设时间间隔,在所述采样点组插入至少一个采样点;
连接每个所述采样点,得到所述车辆的行驶路线。
30.根据权利要求29所述的装置,其特征在于,所述路线生成模块,用于:
将确定出的采样点中每两个相邻的采样点确定为一组采样点组。
31.根据权利要求29或30所述的装置,其特征在于,所述路线生成模块,用于:
从获取的所述多个视频帧中确定与所述采样点组的当前采样点对应的第一视频帧,以及与所述第一视频帧距离预设时间间隔的第二视频帧;
将所述第一视频帧和所述第二视频帧进行帧间匹配;
根据所述当前采样点、所述帧间匹配的匹配结果,在所述当前采样点后插入一个采样点;
以插入的所述采样点为当前采样点,继续执行从获取的所述多个视频帧中确定与所述采样点组的当前采样点对应的第一视频帧,以及与所述第一视频帧距离预设时间间隔的第二视频帧的步骤,直至当前采样点为所述采样点组的最后一个采样点。
32.根据权利要求31所述的装置,其特征在于,所述路线生成模块,用于:
通过对极几何原理,结合所述当前采样点分析所述帧间匹配的匹配结果,得到拍摄所述第二视频帧时车辆的采样点;
在确定的所述采样点上插入一个采样点。
33.根据权利要求32所述的装置,其特征在于,所述路线生成模块,用于:
将所述当前采样点对应的第一视频帧和所述第二视频帧进行图像特征点匹配,得到多对相互匹配的特征点;
根据每对相互匹配的特征点、所述当前采样点、拍摄所述第二视频帧的车辆的采样点、以及相互匹配的特征点对应的角点共面的约束关系,建立每对相互匹配的特征点对应的特征方程,得到包含有多个特征方程的方程组;
求解所述方程组,得到旋转矩阵和平移矩阵;其中,所述旋转矩阵和所述平移矩阵分别用于表征拍摄所述第二视频帧的车辆的采样点相对于所述当前采样点的旋转角度和平移向量;
根据所述当前采样点,以及所述旋转矩阵和所述平移矩阵,确定拍摄所述第二视频帧的车辆的采样点。
34.根据权利要求26所述的装置,其特征在于,所述路线生成模块,用于:
在基础地图上确定所述定位信息中的采样点;
根据所述道路视频图像中指定帧的帧间匹配结果,在确定出的所述采样点中插入至少一个采样点,得到所述车辆的第一行驶路线;
基于车辆行驶状态数据,在确定出的所述采样点中插入至少一个采样点,得到所述车辆的第二行驶路线;
根据所述第一行驶路线和所述第二行驶路线,确定所述车辆最终的行驶路线。
35.根据权利要求34所述的装置,其特征在于,所述路线生成模块,用于:
将确定出的采样点分成多个采样点组,对于每个采样点组:从采集的车辆行驶状态数据中获取所述采样点组对应的车辆行驶状态数据;根据获取的所述车辆行驶状态数据和预设时间间隔,在所述采样点组插入至少一个采样点;
连接每个所述采样点,得到所述车辆的第二行驶路线。
36.根据权利要求35所述的装置,其特征在于,所述路线生成模块,用于:
将确定出的采样点中每两个相邻的采样点确定为一组采样点组。
37.根据权利要求35或36所述的装置,其特征在于,所述车辆运动状态数据包括加速度和角速度;
所述路线生成模块,用于:
根据所述采样点组的当前采样点对应的角速度,确定所述车辆在所述当前采样点的行驶方向;
根据所述当前采样点对应的加速度、所述行驶方向以及预设时间间隔,在所述当前采样点后插入一个采样点;
以插入的所述采样点为当前采样点,继续执行所述根据所述采样点组的当前采样点对应的角速度,确定所述车辆在所述当前采样点的行驶方向的步骤,直至当前采样点为所述采样点组的最后一个采样点。
38.根据权利要求37所述的装置,其特征在于,所述路线生成模块,用于:
根据所述当前采样点对应的加速度和预设时间间隔,计算获得车辆从所述当前采样点出发的行驶距离;
根据所述行驶距离和所述行驶方向,确定待插入的采样点的位置,在确定的所述位置上插入一个采样点。
39.根据权利要求34所述的装置,其特征在于,所述路线生成模块,用于:
获取所述第一行驶路线中各个采样点的位置分布,以及所述第二行驶路线中各个采样点的位置分布;所述位置分布中包含有多个可能采样点以及每个可能采样点的概率;
根据所述第一行驶路线和所述第二行驶路线中,同一时间点对应的采样点的位置分布,调整所述采样点的位置;
连接各个时间点对应的采样点,得到所述车辆最终的行驶路线。
40.根据权利要求39所述的装置,其特征在于,所述路线生成模块,用于:
计算所述第一行驶路线和所述第二行驶路线中,同一时间点对应的采样点的位置分布的交集;
将所述交集中,概率最大的采样点作为所述采样点调整后的采样点。
41.根据权利要求26所述的装置,其特征在于,所述路线生成模块,用于:
如果获取到的所述道路视频图像和所述定位信息为同一道路的多组数据;根据每组所述定位信息中的采样点,在基础地图上生成每组所述数据对应的行驶路线;所述行驶路线中的各个采样点的预设距离内分布有随机噪点;
根据每组所述数据对应的行驶路线的各个采样点对应的随机噪点,调整各个采样点的位置;
连接调整后的各个所述采样点,得到所述车辆的行驶路线。
42.根据权利要求41所述的装置,其特征在于,所述路线生成模块,用于:
将每组所述数据对应的行驶路线的各个采样点对应的随机噪点中,小于预设的噪点距离的随机噪点进行合并;
根据合并后的随机噪点,调整所述随机噪点对应的采样点的位置。
43.根据权利要求42所述的装置,其特征在于,所述路线生成模块,用于:
针对每个采样点,计算所述采样点对应的合并后的随机噪点的方差;
将所述方差作为模型参数,基于所述模型参数建立高斯模型;
通过所述高斯模型计算所述采样点对应的合并后的随机噪点的均值点;
将所述均值点作为调整后的采样点。
44.根据权利要求26所述的装置,其特征在于,所述图像生成模块,用于:
根据所述道路视频的多帧图像,生成所述多帧图像对应的多张俯视图像;
通过预先训练的交通标志检测模型检测每张所述俯视图像,得到检测结果;所述检测结果包括交通标志的类别、定位区域和分割区域;
将所述检测结果携带至对应的俯视图像中,得到交通标志图像。
45.根据权利要求44所述的装置,其特征在于,所述图像生成模块,用于:
将所述道路视频划分为多个图像组,每个图像组中包含多帧图像,以及所述多帧图像对应的时间;
获取每个所述图像组中,所述多帧图像的同一位置的图像数据;
拼接所述多帧图像中的同一位置的图像数据,获得所述图像组对应的俯视图像。
46.根据权利要求44所述的装置,其特征在于,所述交通标志检测模型包括MASK-RCNN模型。
47.根据权利要求44所述的装置,其特征在于,所述图像生成模块,用于:
根据所述检测结果中,各个交通标志的边缘像素,确定各个所述交通标志的位置坐标;
将各个所述交通标志的类别和所述位置坐标,携带至对应的俯视图像中。
48.根据权利要求26所述的装置,其特征在于,所述图像拼接模块,用于:
提取所述交通标志图像的中心点和时间信息;
在所述基础地图的行驶路线上查找所述时间信息对应的采样点;
根据所述交通标志图像的中心点,将所述交通标志图像拼接至查找到的所述采样点上。
49.根据权利要求48所述的装置,其特征在于,所述图像拼接模块,用于:
将所述交通标志图设置在查找到的所述采样点上,以使所述交通标志图的中心点与查找到的所述采样点重合;
调整所述交通标志图的方向,以使所述交通标志图的长度方向的轴线与查找到的所述采样点处的所述行驶路线的方向重合。
50.根据权利要求26所述的装置,其特征在于,所述信息获取模块,用于:
获取车载设备在车辆行驶过程中采集的道路视频图像和定位信息;其中,所述车载设备包括视频图像采集装置和定位装置。
51.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行时执行如权利要求1至25任一所述的道路地图的构建方法的步骤。
52.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至25任一所述的道路地图的构建方法的步骤。
CN201811458053.2A 2018-11-30 2018-11-30 道路地图的构建方法、装置和电子设备 Active CN111261016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811458053.2A CN111261016B (zh) 2018-11-30 2018-11-30 道路地图的构建方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811458053.2A CN111261016B (zh) 2018-11-30 2018-11-30 道路地图的构建方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111261016A true CN111261016A (zh) 2020-06-09
CN111261016B CN111261016B (zh) 2022-04-26

Family

ID=70953638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811458053.2A Active CN111261016B (zh) 2018-11-30 2018-11-30 道路地图的构建方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111261016B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612854A (zh) * 2020-06-30 2020-09-01 滴图(北京)科技有限公司 实景地图的生成方法、装置、计算机设备和存储介质
CN111982115A (zh) * 2020-08-12 2020-11-24 北京汽车研究总院有限公司 基于惯性导航系统的特征点地图构建方法、装置以及介质
CN112700647A (zh) * 2020-12-29 2021-04-23 杭州海康威视数字技术股份有限公司 监测车辆行驶信息的方法及装置
CN112789619A (zh) * 2020-12-31 2021-05-11 华为技术有限公司 一种仿真场景的构建方法、仿真方法以及设备
CN113160258A (zh) * 2021-03-31 2021-07-23 武汉汉达瑞科技有限公司 一种建筑物矢量多边形的提取方法、系统、服务器及存储介质
CN113837064A (zh) * 2021-09-22 2021-12-24 广州小鹏自动驾驶科技有限公司 道路识别方法、系统和可读存储介质
CN114972750A (zh) * 2022-04-29 2022-08-30 北京九章云极科技有限公司 目标覆盖率的获取方法、分类模型的训练方法及装置
CN116309851A (zh) * 2023-05-19 2023-06-23 安徽云森物联网科技有限公司 一种智慧园区监控摄像头的位置及朝向标定方法
CN117765127A (zh) * 2023-11-28 2024-03-26 中微物创智能科技(上海)有限公司 一种基于目标检测算法构建高精地图交通标志元素的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223817A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2013200840A (ja) * 2012-03-26 2013-10-03 Sharp Corp 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
US20130266185A1 (en) * 2012-04-06 2013-10-10 Xerox Corporation Video-based system and method for detecting exclusion zone infractions
CN104573733A (zh) * 2014-12-26 2015-04-29 上海交通大学 一种基于高清正射影像图的高精细地图生成系统及方法
US20160018238A1 (en) * 2014-07-17 2016-01-21 Microsoft Corporation Route inspection portals
CN105702152A (zh) * 2016-04-28 2016-06-22 百度在线网络技术(北京)有限公司 地图生成方法和装置
CN108139227A (zh) * 2015-08-21 2018-06-08 诺基亚技术有限公司 用于视频图示、选择和同步的基于位置的服务工具
CN108388641A (zh) * 2018-02-27 2018-08-10 广东方纬科技有限公司 一种基于深度学习的交通设施地图生成方法与系统
CN108871353A (zh) * 2018-07-02 2018-11-23 上海西井信息科技有限公司 路网地图生成方法、系统、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223817A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2013200840A (ja) * 2012-03-26 2013-10-03 Sharp Corp 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
US20130266185A1 (en) * 2012-04-06 2013-10-10 Xerox Corporation Video-based system and method for detecting exclusion zone infractions
US20160018238A1 (en) * 2014-07-17 2016-01-21 Microsoft Corporation Route inspection portals
CN104573733A (zh) * 2014-12-26 2015-04-29 上海交通大学 一种基于高清正射影像图的高精细地图生成系统及方法
CN108139227A (zh) * 2015-08-21 2018-06-08 诺基亚技术有限公司 用于视频图示、选择和同步的基于位置的服务工具
CN105702152A (zh) * 2016-04-28 2016-06-22 百度在线网络技术(北京)有限公司 地图生成方法和装置
CN108388641A (zh) * 2018-02-27 2018-08-10 广东方纬科技有限公司 一种基于深度学习的交通设施地图生成方法与系统
CN108871353A (zh) * 2018-07-02 2018-11-23 上海西井信息科技有限公司 路网地图生成方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘浩敏: ""基于单目视觉的同时定位与地图构建方法综述"", 《计算机辅助设计与图形学学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612854B (zh) * 2020-06-30 2021-02-12 滴图(北京)科技有限公司 实景地图的生成方法、装置、计算机设备和存储介质
CN111612854A (zh) * 2020-06-30 2020-09-01 滴图(北京)科技有限公司 实景地图的生成方法、装置、计算机设备和存储介质
CN111982115B (zh) * 2020-08-12 2024-07-05 北京汽车研究总院有限公司 基于惯性导航系统的特征点地图构建方法、装置以及介质
CN111982115A (zh) * 2020-08-12 2020-11-24 北京汽车研究总院有限公司 基于惯性导航系统的特征点地图构建方法、装置以及介质
CN112700647A (zh) * 2020-12-29 2021-04-23 杭州海康威视数字技术股份有限公司 监测车辆行驶信息的方法及装置
CN112789619A (zh) * 2020-12-31 2021-05-11 华为技术有限公司 一种仿真场景的构建方法、仿真方法以及设备
CN113160258A (zh) * 2021-03-31 2021-07-23 武汉汉达瑞科技有限公司 一种建筑物矢量多边形的提取方法、系统、服务器及存储介质
CN113837064A (zh) * 2021-09-22 2021-12-24 广州小鹏自动驾驶科技有限公司 道路识别方法、系统和可读存储介质
CN113837064B (zh) * 2021-09-22 2023-11-03 广州小鹏自动驾驶科技有限公司 道路识别方法、系统和可读存储介质
CN114972750B (zh) * 2022-04-29 2023-10-27 北京九章云极科技有限公司 目标覆盖率的获取方法、分类模型的训练方法及装置
CN114972750A (zh) * 2022-04-29 2022-08-30 北京九章云极科技有限公司 目标覆盖率的获取方法、分类模型的训练方法及装置
CN116309851A (zh) * 2023-05-19 2023-06-23 安徽云森物联网科技有限公司 一种智慧园区监控摄像头的位置及朝向标定方法
CN116309851B (zh) * 2023-05-19 2023-08-11 安徽云森物联网科技有限公司 一种智慧园区监控摄像头的位置及朝向标定方法
CN117765127A (zh) * 2023-11-28 2024-03-26 中微物创智能科技(上海)有限公司 一种基于目标检测算法构建高精地图交通标志元素的方法

Also Published As

Publication number Publication date
CN111261016B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN111261016B (zh) 道路地图的构建方法、装置和电子设备
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
CN111830953B (zh) 车辆自定位方法、装置及系统
KR101105795B1 (ko) 항공 화상의 자동 처리
US8259994B1 (en) Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
CN111912416B (zh) 用于设备定位的方法、装置及设备
CN109815831B (zh) 一种车辆朝向获取方法及相关装置
CN110136058B (zh) 一种基于俯视拼接图的建图方法及车载终端
CN111260549A (zh) 道路地图的构建方法、装置和电子设备
JP2012118666A (ja) 三次元地図自動生成装置
CN111815742A (zh) 一种车道线生成方法及系统
CN111932627B (zh) 一种标识物绘制方法及系统
CN115690338A (zh) 地图构建方法、装置、设备及存储介质
CN113139031B (zh) 用于自动驾驶的交通标识的生成方法及相关装置
CN113340312A (zh) 一种ar室内实景导航方法及系统
CN111982132B (zh) 数据处理方法、装置和存储介质
CN113284239B (zh) 一种关于智慧城市的电子沙盘制作方法及装置
CN112270748B (zh) 基于图像的三维重建方法及装置
CN115409910A (zh) 一种语义地图构建方法、视觉定位方法及相关设备
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
CN115053260A (zh) 数据集生成方法、神经网络生成方法和场景模型构建方法
CN111754388B (zh) 一种建图方法及车载终端
CN116433865A (zh) 一种基于场景可重建性分析的空地协同采集路径规划方法
CN113312435A (zh) 高精度地图更新方法和设备
CN115731304A (zh) 一种道路数据生成方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant