CN110660113A - 特征地图的建立方法、装置、采集设备和存储介质 - Google Patents

特征地图的建立方法、装置、采集设备和存储介质 Download PDF

Info

Publication number
CN110660113A
CN110660113A CN201810712829.2A CN201810712829A CN110660113A CN 110660113 A CN110660113 A CN 110660113A CN 201810712829 A CN201810712829 A CN 201810712829A CN 110660113 A CN110660113 A CN 110660113A
Authority
CN
China
Prior art keywords
target
features
feature
image
acquisition equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810712829.2A
Other languages
English (en)
Inventor
李杨
刘效飞
万超
白军明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201810712829.2A priority Critical patent/CN110660113A/zh
Publication of CN110660113A publication Critical patent/CN110660113A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种特征地图的建立方法、装置、设备和存储介质。其中建立方法包括:获取采集设备所采集到的图像;对图像中的特征进行识别与提取,得到图像中的目标特征;获取采集设备的地理坐标,并根据采集设备的地理坐标计算目标特征的地理坐标;以及根据目标特征和目标特征的地理坐标,生成特征地图。该方法可以使得建立的特征地图中所包含的内容更加丰富,具有更高的精度,这样,将该特征地图应用于车辆的定位功能场景时,可以降低实现定位功能的硬件成本,并有利于车辆在道路环境下的自动驾驶技术的推广。

Description

特征地图的建立方法、装置、采集设备和存储介质
技术领域
本发明涉及地图创建技术领域,尤其涉及一种特征地图的建立方法、装置、用于建立特征地图的采集设备、计算机设备和计算机可读存储介质。
背景技术
目前国内外企业竞相研发车辆的自动驾驶技术,2020年为业内公认的自动驾驶元年,车辆自动驾驶将是未来驾驶技术的必然趋势。而定位系统正是其中的关键技术,直接关系到整个自动驾驶技术的实现。
然而,由于现有地图保存的信息相对简单,为了实现定位功能,只能辅以高精度GNSS与高精度惯性导航的组合导航的方案,这个方案存在着成本高昂、在隧道或高楼遮挡等没有卫星信号的场景无法定位的问题,极大地阻碍了自动驾驶技术的推广。
因此,如何提高地图的精确度,以保证在恶劣环境(如在隧道或高楼遮挡等没有卫星信号的场景)下也能够实现定位功能的同时,也可以降低实现定位功能的成本,已经成为亟待解决的问题。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本发明的第一个目的在于提出一种特征地图的建立方法。该方法可以使得建立的特征地图中所包含的内容更加丰富,具有更高的精度,这样,将该特征地图应用于车辆的定位功能场景时,可以降低实现定位功能的硬件成本,并有利于车辆在道路环境下的自动驾驶技术的推广。
本发明的第二个目的在于提出一种特征地图的建立装置。
本发明的第三个目的在于提出一种用于建立特征地图的采集设备。
本发明的第四个目的在于提出一种计算机设备。
本发明的第五个目的在于提出一种非临时性计算机可读存储介质。
为达到上述目的,本发明第一方面实施例提出的特征地图的建立方法,包括:获取采集设备所采集到的图像;对所述图像中的特征进行识别与提取,得到所述图像中的目标特征;获取所述采集设备的地理坐标,并根据所述采集设备的地理坐标计算所述目标特征的地理坐标;以及根据所述目标特征和所述目标特征的地理坐标,生成特征地图。
根据本发明实施例的特征地图的建立方法,可获取采集设备所采集到的图像,并对图像中的特征进行识别与提取,得到图像中的目标特征,并获取采集设备的地理坐标,并根据采集设备的地理坐标计算目标特征的地理坐标,以及根据目标特征和目标特征的地理坐标,生成特征地图。即通过对采集设采集到的图像进行特征提取,并基于提取到的特征与其地理坐标建立特定道路的特征地图,由于特征能够更加体现事物的特性,使得建立的特征地图中所包含的内容更加丰富,具有更高的精度,这样,将该特征地图应用于车辆的定位功能场景时,无需再要求车辆需要有高精度定位系统,降低了硬件成本,并且对辅助卫星定位的依赖性不强,由于特征之间有连续的位置关系,即使卫星信号短暂丢失,也不会影响车辆的定位,更加有利于车辆在道路环境下的自动驾驶技术的推广。
为达到上述目的,本发明第二方面实施例提出的特征地图的建立装置,包括:图像获取模块,用于获取采集设备所采集到的图像;特征提取模块,用于对所述图像中的特征进行识别与提取,得到所述图像中的目标特征;地理坐标获取模块,用于获取所述采集设备的地理坐标;计算模块,用于根据所述采集设备的地理坐标计算所述目标特征的地理坐标;特征地图生成模块,用于根据所述目标特征和所述目标特征的地理坐标,生成特征地图。
根据本发明实施例的特征地图的建立装置,可通过图像获取模块获取采集设备所采集到的图像,特征提取模块对图像中的特征进行识别与提取,得到图像中的目标特征,地理坐标获取模块获取采集设备的地理坐标,计算模块根据采集设备的地理坐标计算目标特征的地理坐标,特征地图生成模块根据目标特征和目标特征的地理坐标,生成特征地图。即通过对采集设采集到的图像进行特征提取,并基于提取到的特征与其地理坐标建立特定道路的特征地图,由于特征能够更加体现事物的特性,使得建立的特征地图中所包含的内容更加丰富,具有更高的精度,这样,将该特征地图应用于车辆的定位功能场景时,无需再要求车辆需要有高精度定位系统,降低了硬件成本,并且对辅助卫星定位的依赖性不强,由于特征之间有连续的位置关系,即使卫星信号短暂丢失,也不会影响车辆的定位,更加有利于车辆在道路环境下的自动驾驶技术的推广。
为达到上述目的,本发明第三方面实施例提出的用于建立特征地图的采集设备,包括:摄像头、高精度定位系统、激光雷达、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,摄像头,用于在所述采集设备移动时,采集图像;高精度定位系统,用于对所述采集设备进行定位以获得所述采集设备的地理坐标;激光雷达,用于扫描所述图像中的目标特征以获得所述目标特征与所述采集设备之间的距离信息;所述处理器执行所述计算机程序时,实现本发明第一方面实施例所述的特征地图的建立方法。
为达到上述目的,本发明第四方面实施例提出的计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现本发明第一方面实施例所述的特征地图的建立方法。
为达到上述目的,本发明第五方面实施例提出的非临时性计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明第一方面实施例所述的特征地图的建立方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明一个实施例的特征地图的建立方法的流程图;
图2是根据本发明实施例的车辆中传感器的布置示意图;
图3是根据本发明一个具体实施例的特征地图的建立方法的流程图;
图4是根据本发明实施例的目标特征识别相对坐标的示意图;
图5是根据本发明实施例的目标特征的地理坐标的计算示意图;
图6是根据本发明一个实施例的特征地图的建立装置的结构示意图;
图7是根据本发明一个具体实施例的特征地图的建立装置的结构示意图;
图8是根据本发明一个实施例的用于建立特征地图的采集设备的结构示意图;
图9是根据本发明一个实施例的计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的特征地图的建立方法、装置、用于建立特征地图的采集设备、计算机设备和计算机可读存储介质。
图1是根据本发明一个实施例的特征地图的建立方法的流程图。需要说明的是,本发明实施例的特征地图的建立方法可应用于本发明实施例的特征地图的建立装置。该建立装置可以被配置于本发明实施例的计算机设备上。作为一种示例,该计算机设备可以是服务器,例如,该服务器可接收采集设备所采集到的图像,并对采集到的图像进行特征提取,并根据提取的特征建立特征地图。
还需要说明的是,本发明实施例的特征地图的建立方法可应用于采集设备上,也就是说,采集设备可对自身采集的图像进行特征提取,并根据提取的特征建立特征地图。因此,本发明实施例的特征地图的建立方法的执行主体即可以是计算机设备(如服务器),也可以是采集设备,本发明不做具体限定。
如图1所示,该特征地图的建立方法可以包括:
S110,获取采集设备所采集到的图像。
可选地,采集设备移动时,可通过自身的采集装置对外界进行图像采集,以获得采集设备所采集到的图像。作为一种示例,采集设备可每移动一定距离时,就使用自身的采集装置进行一次图像采集。
其中,在本发明的一个实施例中,所述采集设备可以是车辆或无人机等。举例而言,以所述采集设备为车辆为例,该车辆可以包括多个摄像头,比如四个摄像头,该四个摄像头在车辆上的布置方式可如图2所示,该四个摄像头(即摄像头1、摄像头2、摄像头3、摄像头4)分别设置于车辆的前侧、后侧、左侧、右侧,例如,摄像头1设置在车辆的前挡风玻璃上,摄像头2设置在后挡风玻璃上,摄像头3设置于车辆的副驾驶座侧的车门上,摄像头4设置于驾驶座侧的车门上。可选地,在本发明的实施例中,该四个摄像头的光轴水平、且水平视场角均为预设角度(如90度)。
S120,对图像中的特征进行识别与提取,得到图像中的目标特征。
具体地,可根据特定的特征提取算法对采集到的图像中的特征进行识别与提取,得到所述图像中的目标特征。其中,在本发明的一个实施例中,所述目标特征可包括但不限于点特征、线段特征和特定目标识别特征等中的一种或多种。作为一种示例,所述特定目标识别特征可包含但不限于车道线、导向箭头、停车线、人行道、红绿灯、电线杆、道路标识牌等中的一种或多种信息。
可以理解,由于获得的特征的类型不同,所以所采用的特征提取算法也会不同。可选地,分别通过多种特征提取算法对所述图像中的特征进行识别与提取,得到所述图像中的目标特征。也就是说,在得到采集的图像之后,可将采集到的图像分别经过多种特征提取算法,以分别获取所述图像中所包含的各种特征,如点特征(或又称为点坐标特征)、线段特征和特定目标识别特征等。
作为一种示例,所述分别通过多种特征提取算法对所述图像中的特征进行识别与提取,得到所述图像中的目标特征的具体实现过程可如下:
1)点特征的提取:可通过尺度不变特征变换匹配SURF算法对所述图像中的点特征进行识别与提取;由于SURF算法具有尺度不变的特性,所以可以充分利用该特性,实现当车辆与特征的距离、角度发生变化时,仍然可以进行特征匹配的效果。另外,由于SURF算法利用积分图像实现加速,通过计算图像中某矩形区域内所有像素点的和,进行快速计算,因此,通过SURF算法提取图像中的点特征,可以大大提高图像中点特征的提取效率。
2)线段特征的提取:通过边缘检测Canny算法对所述图像中的边缘特征进行识别与提取,并基于直线检测算法(如概率霍夫变换)对提取到的边缘特征进行识别,得到所述图像中的线段特征;也就是说,可通过Canny算法对所述图像进行边缘检测,由于Canny算法可对图像进行滤波和梯度运算之外的边缘细化和连接处理,所以可以使得边缘定位精度高。
为了减少噪声对图像边缘检测的影响,可选地,在对图像中的线段特征进行提取之前,可先通过高斯算子对图像平滑滤波,然后通过Canny算法计算去噪后的图像梯度幅值、方向和非极大值抑制,之后设定高低阈值去除假的边缘和连接真的边缘,得到图像中的边缘特征。
在边缘特征提取后,可使用概率霍夫变换进行拟合识别。例如,可在参数空间的离散化网格中,利用“多对一”映射将各个像素点映射到参数空间,然后通过累加“投票”得到共线的像素点在参数空间的映射,进而获得线段霍夫变换后的线段特征。作为一种示例,提取的线段特征可包括但不限于:位置、斜率、起始点、断开点、终止点、线边缘梯度分布、线条颜色分布等。
3)特定目标识别特征的提取:通过预先训练的深度学习网络对所述图像中的特定目标识别特征进行识别与提取,其中,所述深度学习网络是通过预先采集特定目标的图像数据集,并对所述图像数据集中的目标根据角度方向进行分类,再使用深度学习网络进行训练而得到的。
也就是说,可使用神经网络深度学习分类的方法进行训练识别。通过预先采集该目标的图像数据集,并对数据集的目标根据角度方向进行分类,再使用深度学习网络进行训练,以得到训练好的深度学习网络,通过该训练好的深度学习网络即可从图像中提取出所述特定目标识别特征。可以理解,该特定目标识别特征可包括特定目标以及所述特定目标的矢量信息。
需要说明的是,本发明综合使用点特征、线段特征、特定目标识别特征三种特征来建立特征地图,可以使得该地图中更好地增加道路可提取的特征数量,以便增加道路中特征的覆盖率,丰富地图所包含的内容,提高地图的精度。
S130,获取采集设备的地理坐标,并根据采集设备的地理坐标计算目标特征的地理坐标。
作为一种示例,所述采集设备上具有一套精密的高精度定位系统。例如,以所述采集设备为车辆为例,如图2所示,该高精度定位系统可包括基于RTK差分信号的GNSS卫星定位系统、高精度惯性导航设备、高精度轮速传感器。这样,可通过采集设备上的高精度定位系统对所述采集设备进行定位,以得到所述采集设备的地理坐标。
可选地,在得到所述图像中的目标特征之后,可获得这些目标特征的方位信息,再确定所述目标特征的距离信息,根据所述方位信息和距离信息即可得到所述目标特征相对于采集设备的位置坐标。此时,可根据采集设备的地理坐标和所述目标特征相对于采集设备的位置坐标,即可获得所述目标特征的地理坐标。
S140,根据目标特征和目标特征的地理坐标,生成特征地图。
可选地,在采集设备在道路上不断的行驶,采集设备可不断的采集图像,这样,可以将道路上的所有特征与其地理坐标(即经纬度坐标)记录下拉,并建立所有目标特征与其地理坐标之间的对应关系,并将所有目标特征、其地理坐标和所述对应关系进行保存,形成特征地图。
根据本发明实施例的特征地图的建立方法,可获取采集设备所采集到的图像,并对图像中的特征进行识别与提取,得到图像中的目标特征,并获取采集设备的地理坐标,并根据采集设备的地理坐标计算目标特征的地理坐标,以及根据目标特征和目标特征的地理坐标,生成特征地图。即通过对采集设采集到的图像进行特征提取,并基于提取到的特征与其地理坐标建立特定道路的特征地图,由于特征能够更加体现事物的特性,使得建立的特征地图中所包含的内容更加丰富,具有更高的精度,这样,将该特征地图应用于车辆的定位功能场景时,无需再要求车辆需要有高精度定位系统,降低了硬件成本,并且对辅助卫星定位的依赖性不强,由于特征之间有连续的位置关系,即使卫星信号短暂丢失,也不会影响车辆的定位,更加有利于车辆在道路环境下的自动驾驶技术的推广。
图3是根据本发明一个具体实施例的特征地图的建立方法的流程图。
为了保证获得的所述目标特征的地理坐标的准确性,在本发明的实施例中,可根据所述目标特征相对于采集设备的位置坐标和所述采集设备的地理坐标来计算所述目标特征的真实经纬度坐标(即所述地理坐标)。具体地,如图3所示,该特征地图的建立方法可以包括:
S310,获取采集设备所采集到的图像。
S320,对图像中的特征进行识别与提取,得到图像中的目标特征。
需要说明的是,在本发明的实施例中,所述步骤S310和步骤S320的实现方式可参见上述步骤S110和步骤S120的实现方式的描述,在此不再赘述。
S330,获取采集设备的地理坐标。
作为一种示例,所述采集设备上具有一套精密的高精度定位系统。例如,以所述采集设备为车辆为例,如图2所示,该高精度定位系统可包括基于RTK差分信号的GNSS卫星定位系统、高精度惯性导航设备、高精度轮速传感器。这样,可通过采集设备上的高精度定位系统对所述采集设备进行定位,以得到所述采集设备的地理坐标。
S340,获取目标特征相对于采集设备的位置坐标。
作为一种示例,可确定目标特征相对于采集设备的垂直角度和水平角度,并获取目标特征与采集设备之间的距离信息,并根据目标特征相对于采集设备的垂直角度和水平角度、距离信息,计算目标特征相对于采集设备的位置坐标。其中,在本示例中,所述采集设备上具有激光雷达,可通过该激光雷达扫描所述目标特征,以获得该特征与所述采集设备的距离信息。例如,以采集设备为车辆为例,如图2所示,该激光雷达可设置于车辆的车顶之上,以用于测量道路上的特征与采集设备的距离。
例如,以目标特征为点特征、采集设备为车辆为例,如图4所示,可通过车辆上的摄像头获取该点特征(即图4中所示的目标)相对于车辆的垂直角度α、水平角度β,再使用车辆上的激光雷达扫描该点特征,获得该点特征与车辆的距离信息L。根据垂直角度α、水平角度β、和距离信息L即可计算出该点特征相对于车辆的位置坐标:Z=L·sin(α);X=L·cos(α)·sin(β);Y=L·cos(α)·cos(β)。
可选地,与“点”目标特征类似,“线段”目标特征可识别两个端点分别相对于车辆的位置坐标,这样,可以将这两个端点分别相对于车辆的位置坐标作为该“线段”目标特征相对于车辆的位置坐标;针对“特定目标”特征,可以从该“特定目标”特征中提取出不共线的三个指定点,该三个指定点可表示其三维空间的矢量方向,这样,与“点”目标特征类似,可计算这三个指定点分别相对于车辆的位置坐标,并将该三个指定点分别相对于车辆的位置坐标作为该“特定目标”特征相对于车辆的位置坐标。
S350,根据目标特征相对于采集设备的位置坐标、和采集设备的地理坐标,计算目标特征的地理坐标。
也就是说,可根据采集设备的地理坐标,与目标特征相对于采集设备的位置坐标进行相应换算,可最终获得目标特征的真实经纬度坐标(即地理坐标)。例如,以目标特征为点特征为例,如图5所示,在获得“点”目标特征相对车辆的X、Y、Z坐标后,再根据车辆的经纬度地理坐标,可计算目标的经纬度。
举例而言,可使用莫卡托坐标系UTM描述大地坐标,先将车辆的经纬度地理坐标转换为大地坐标,根据目标特征与车辆的相对位置计算目标特征的大地坐标,最后将目标特征的大地坐标转换回经纬度地理坐标,完成计算。
可以理解,与“点”目标特征类似,针对“线段”目标特征,在得到该“线段”目标特征中两个端点分别相对于车辆的位置坐标之后,可计算出该两个端点的地理坐标,并将该两个端点的地理坐标作为该“线段”目标特征的地理坐标;针对“特定目标”特征,在得到该“特定目标”特征中三个指定点分别相对于车辆的位置坐标之后,可计算出该三个指定点的地理坐标,并将该三个指定点的地理坐标作为该“特定目标”特征的地理坐标。
S360,根据目标特征和目标特征的地理坐标,生成特征地图。
需要说明的是,在本发明的实施例中,所述步骤S360的实现方式可参见上述步骤S140的实现方式的描述,在此不再赘述。
根据本发明实施例的特征地图的建立方法,可根据所述目标特征相对于采集设备的位置坐标和所述采集设备的地理坐标来计算所述目标特征的真实经纬度坐标(即所述地理坐标),这样,可以保证获得的所述目标特征的地理坐标的准确性,并提高了特征地图的精确度。
需要说明的是,通过本发明实施例的特征地图的建立方法可建立特征地图,该特征地图可应用于车辆定位场景中。例如,在车辆正常进行使用自定位功能时,可先识别提取视野范围内的有效特征,以获得当前的“识别特征”。然后使用普通精度的定位模块获取当前车辆的大概位置,并读取预先建立的特征地图中该位置附近的“地图特征”,这样,可根据所述当前的“识别特征”和所述“地图特征”进行特征匹配以实现车辆的定位。
与上述几种实施例提供的特征地图的建立方法相对应,本发明的一种实施例还提供一种特征地图的建立装置,由于本发明实施例提供的特征地图的建立装置与上述几种实施例提供的特征地图的建立方法相对应,因此在前述特征地图的建立方法的实施方式也适用于本实施例提供的特征地图的建立装置,在本实施例中不再详细描述。图6是根据本发明一个实施例的特征地图的建立装置的结构示意图。
如图6所示,该特征地图的建立装置600可以包括:图像获取模块610、特征提取模块620、地理坐标获取模块630、计算模块640和特征地图生成模块650。
具体地,图像获取模块610用于获取采集设备所采集到的图像。
特征提取模块620用于对图像中的特征进行识别与提取,得到图像中的目标特征。其中,在本发明的一个实施例中,所述目标特征包括点特征、线段特征和特定目标识别特征中的一种或多种,所述特定目标识别特征包含车道线、导向箭头、停车线、人行道、红绿灯、电线杆、道路标识牌中的一种或多种信息。其中,在本发明的实施例中,特征提取模块620具体用于:分别通过多种特征提取算法对所述图像中的特征进行识别与提取,得到所述图像中的目标特征。
可以理解,由于获得的特征的类型不同,所以所采用的特征提取算法也会不同。可选地,在本发明的一个实施例中,特征提取模块620可通过尺度不变特征变换匹配SURF算法对所述图像中的点特征进行识别与提取,并通过边缘检测Canny算法对所述图像中的边缘特征进行识别与提取,并基于直线检测算法对提取到的边缘特征进行识别,得到所述图像中的线段特征,以及通过预先训练的深度学习网络对所述图像中的特定目标识别特征进行识别与提取,其中,所述深度学习网络是通过预先采集特定目标的图像数据集,并对所述图像数据集中的目标根据角度方向进行分类,再使用深度学习网络进行训练而得到的。
地理坐标获取模块630用于获取采集设备的地理坐标。
计算模块640用于根据采集设备的地理坐标计算目标特征的地理坐标。作为一种示例,如图7所示,该计算模块640可以包括:获取单元641和计算单元642。其中,获取单元641用于获取所述目标特征相对于所述采集设备的位置坐标;计算单元642用于根据所述目标特征相对于所述采集设备的位置坐标、和所述采集设备的地理坐标,计算所述目标特征的地理坐标。
在本发明的一个实施例中,获取单元641可确定所述目标特征相对于所述采集设备的垂直角度和水平角度,并获取所述目标特征与所述采集设备之间的距离信息,以及根据所述目标特征相对于所述采集设备的垂直角度和水平角度、所述距离信息,计算所述目标特征相对于所述采集设备的位置坐标。
特征地图生成模块650用于根据目标特征和目标特征的地理坐标,生成特征地图。
根据本发明实施例的特征地图的建立装置,可通过图像获取模块获取采集设备所采集到的图像,特征提取模块对图像中的特征进行识别与提取,得到图像中的目标特征,地理坐标获取模块获取采集设备的地理坐标,计算模块根据采集设备的地理坐标计算目标特征的地理坐标,特征地图生成模块根据目标特征和目标特征的地理坐标,生成特征地图。即通过对采集设采集到的图像进行特征提取,并基于提取到的特征与其地理坐标建立特定道路的特征地图,由于特征能够更加体现事物的特性,使得建立的特征地图中所包含的内容更加丰富,具有更高的精度,这样,将该特征地图应用于车辆的定位功能场景时,无需再要求车辆需要有高精度定位系统,降低了硬件成本,并且对辅助卫星定位的依赖性不强,由于特征之间有连续的位置关系,即使卫星信号短暂丢失,也不会影响车辆的定位,更加有利于车辆在道路环境下的自动驾驶技术的推广。
为了实现上述实施例,本发明还提出了一种用于建立特征地图的采集设备。
图8是根据本发明一个实施例的用于建立特征地图的采集设备的结构示意图。需要说明的是,在本发明的一个实施例中,所述采集设备可以是车辆或无人机。如图8所示,该用于建立特征地图的采集设备800可以包括:摄像头810、高精度定位系统820、激光雷达830、存储器840、处理器850、及存储在存储器840上并可在处理器850上运行的计算机程序860。
其中,摄像头810用于在采集设备800移动,比如在道路上行驶或在空中飞行时,采集当前场景的图像。可选地,在本发明的一个实施例中,摄像头810可为多个。作为一种示例,摄像头810可为四个,其中,四个摄像头810分别安装于采集设备800的前侧、后侧、左侧、右侧,所述四个摄像头810中的光轴水平、且水平视场角均为预设角度(比如90度)。
高精度定位系统820用于对采集设备800进行定位以获得采集设备800的地理坐标;
激光雷达830用于扫描所述图像中的目标特征以获得目标特征与采集设备800之间的距离信息;
处理器850执行计算机程序860时,实现本发明上述任一个实施例所述的特征地图的建立方法。
为了实现上述实施例,本发明还提出了一种计算机设备。
图9是根据本发明一个实施例的计算机设备的结构示意图。如图9所示,该计算机设备900可以包括:存储器910、处理器920及存储在存储器910上并可在处理器920上运行的计算机程序930,处理器920执行所述程序930时,实现本发明上述任一个实施例所述的特征地图的建立方法。
为了实现上述实施例,本发明还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明上述任一个实施例所述的特征地图的建立方法。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种特征地图的建立方法,其特征在于,包括以下步骤:
获取采集设备所采集到的图像;
对所述图像中的特征进行识别与提取,得到所述图像中的目标特征;
获取所述采集设备的地理坐标,并根据所述采集设备的地理坐标计算所述目标特征的地理坐标;以及
根据所述目标特征和所述目标特征的地理坐标,生成特征地图。
2.根据权利要求1所述的建立方法,其特征在于,所述目标特征包括点特征、线段特征和特定目标识别特征中的一种或多种,所述特定目标识别特征包含车道线、导向箭头、停车线、人行道、红绿灯、电线杆、道路标识牌中的一种或多种信息;其中,所述对所述图像中的特征进行识别与提取,得到所述图像中的目标特征,包括:
分别通过多种特征提取算法对所述图像中的特征进行识别与提取,得到所述图像中的目标特征。
3.根据权利要求2所述的建立方法,其特征在于,所述分别通过多种特征提取算法对所述图像中的特征进行识别与提取,得到所述图像中的目标特征,包括:
通过尺度不变特征变换匹配SURF算法对所述图像中的点特征进行识别与提取;
通过边缘检测Canny算法对所述图像中的边缘特征进行识别与提取,并基于直线检测算法对提取到的边缘特征进行识别,得到所述图像中的线段特征;
通过预先训练的深度学习网络对所述图像中的特定目标识别特征进行识别与提取,其中,所述深度学习网络是通过预先采集特定目标的图像数据集,并对所述图像数据集中的目标根据角度方向进行分类,再使用深度学习网络进行训练而得到的。
4.根据权利要求1所述的建立方法,其特征在于,所述根据所述采集设备的地理坐标计算所述目标特征的地理坐标,包括:
获取所述目标特征相对于所述采集设备的位置坐标;
根据所述目标特征相对于所述采集设备的位置坐标、和所述采集设备的地理坐标,计算所述目标特征的地理坐标。
5.根据权利要求4所述的建立方法,其特征在于,所述获取所述目标特征相对于所述采集设备的位置坐标,包括:
确定所述目标特征相对于所述采集设备的垂直角度和水平角度;
获取所述目标特征与所述采集设备之间的距离信息;
根据所述目标特征相对于所述采集设备的垂直角度和水平角度、所述距离信息,计算所述目标特征相对于所述采集设备的位置坐标。
6.一种特征地图的建立装置,其特征在于,包括:
图像获取模块,用于获取采集设备所采集到的图像;
特征提取模块,用于对所述图像中的特征进行识别与提取,得到所述图像中的目标特征;
地理坐标获取模块,用于获取所述采集设备的地理坐标;
计算模块,用于根据所述采集设备的地理坐标计算所述目标特征的地理坐标;
特征地图生成模块,用于根据所述目标特征和所述目标特征的地理坐标,生成特征地图。
7.根据权利要求6所述的建立装置,其特征在于,所述目标特征包括点特征、线段特征和特定目标识别特征中的一种或多种,所述特定目标识别特征包含车道线、导向箭头、停车线、人行道、红绿灯、电线杆、道路标识牌中的一种或多种信息;其中,所述特征提取模块具体用于:
分别通过多种特征提取算法对所述图像中的特征进行识别与提取,得到所述图像中的目标特征。
8.根据权利要求6所述的建立装置,其特征在于,所述计算模块包括:
获取单元,用于获取所述目标特征相对于所述采集设备的位置坐标;
计算单元,用于根据所述目标特征相对于所述采集设备的位置坐标、和所述采集设备的地理坐标,计算所述目标特征的地理坐标。
9.根据权利要求8所述的建立装置,其特征在于,所述获取单元具体用于:
确定所述目标特征相对于所述采集设备的垂直角度和水平角度;
获取所述目标特征与所述采集设备之间的距离信息;
根据所述目标特征相对于所述采集设备的垂直角度和水平角度、所述距离信息,计算所述目标特征相对于所述采集设备的位置坐标。
10.一种用于建立特征地图的采集设备,其特征在于,包括:摄像头、高精度定位系统、激光雷达、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,
摄像头,用于在所述采集设备移动时,采集图像;
高精度定位系统,用于对所述采集设备进行定位以获得所述采集设备的地理坐标;
激光雷达,用于扫描所述图像中的目标特征以获得所述目标特征与所述采集设备之间的距离信息;
所述处理器执行所述计算机程序时,实现如权利要求1至5中任一项所述的特征地图的建立方法。
11.根据权利要求10所述的采集设备,其特征在于,所述摄像头为多个。
12.根据权利要求11所述的采集设备,其特征在于,所述多个摄像头为四个,其中,四个摄像头分别安装于所述采集设备的前侧、后侧、左侧、右侧,所述四个摄像头中的光轴水平、且水平视场角均为预设角度。
13.根据权利要求10至12中任一项所述的采集设备,其特征在于,所述采集设备为车辆或无人机。
14.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时,实现如权利要求1至5中任一项所述的特征地图的建立方法。
15.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至5中任一项所述的特征地图的建立方法。
CN201810712829.2A 2018-06-29 2018-06-29 特征地图的建立方法、装置、采集设备和存储介质 Withdrawn CN110660113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810712829.2A CN110660113A (zh) 2018-06-29 2018-06-29 特征地图的建立方法、装置、采集设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810712829.2A CN110660113A (zh) 2018-06-29 2018-06-29 特征地图的建立方法、装置、采集设备和存储介质

Publications (1)

Publication Number Publication Date
CN110660113A true CN110660113A (zh) 2020-01-07

Family

ID=69027023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810712829.2A Withdrawn CN110660113A (zh) 2018-06-29 2018-06-29 特征地图的建立方法、装置、采集设备和存储介质

Country Status (1)

Country Link
CN (1) CN110660113A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761255A (zh) * 2021-08-19 2021-12-07 劢微机器人科技(深圳)有限公司 机器人室内定位方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590612B2 (en) * 2005-06-17 2009-09-15 Microsoft Corporation Blog map for searching and/or navigating the blogosphere
CN105051787A (zh) * 2013-03-21 2015-11-11 株式会社吉奥技术研究所 绘图数据生成装置和绘图装置
CN107451526A (zh) * 2017-06-09 2017-12-08 蔚来汽车有限公司 地图的构建及其应用

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590612B2 (en) * 2005-06-17 2009-09-15 Microsoft Corporation Blog map for searching and/or navigating the blogosphere
CN105051787A (zh) * 2013-03-21 2015-11-11 株式会社吉奥技术研究所 绘图数据生成装置和绘图装置
CN107451526A (zh) * 2017-06-09 2017-12-08 蔚来汽车有限公司 地图的构建及其应用

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761255A (zh) * 2021-08-19 2021-12-07 劢微机器人科技(深圳)有限公司 机器人室内定位方法、装置、设备及存储介质
CN113761255B (zh) * 2021-08-19 2024-02-09 劢微机器人科技(深圳)有限公司 机器人室内定位方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
EP3581890B1 (en) Method and device for positioning
Dhiman et al. Pothole detection using computer vision and learning
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
CN102867414B (zh) 一种基于ptz摄像机快速标定的车辆排队长度测量方法
CN110658539B (zh) 车辆定位方法、装置、车辆和计算机可读存储介质
EP2874097A2 (en) Automatic scene parsing
CN112308913B (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN112740225B (zh) 一种路面要素确定方法及装置
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
US20190311209A1 (en) Feature Recognition Assisted Super-resolution Method
CN110657812A (zh) 车辆定位方法、装置及车辆
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN112749584A (zh) 一种基于图像检测的车辆定位方法及车载终端
CN110660113A (zh) 特征地图的建立方法、装置、采集设备和存储介质
CN115235478B (zh) 基于视觉标签和激光slam的智能汽车定位方法及系统
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN115618602A (zh) 一种车道级场景仿真方法及系统
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
Long et al. Automatic Vehicle Speed Estimation Method for Unmanned Aerial Vehicle Images.
Huang et al. An efficient multi-threshold selection method for lane detection based on lidar
Thai et al. Application of edge detection algorithm for self-driving vehicles
CN112020722A (zh) 基于三维传感器数据识别路肩
CN116309943B (zh) 一种停车场语义地图路网构建方法、装置及电子设备
US20230266469A1 (en) System and method for detecting road intersection on point cloud height map
CN111414848B (zh) 一种全类别3d障碍物检测方法、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200107

WW01 Invention patent application withdrawn after publication