CN106407315A - 一种基于街景图像数据库的车辆自主定位方法 - Google Patents

一种基于街景图像数据库的车辆自主定位方法 Download PDF

Info

Publication number
CN106407315A
CN106407315A CN201610783688.4A CN201610783688A CN106407315A CN 106407315 A CN106407315 A CN 106407315A CN 201610783688 A CN201610783688 A CN 201610783688A CN 106407315 A CN106407315 A CN 106407315A
Authority
CN
China
Prior art keywords
image
matched
vehicle
images
data base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610783688.4A
Other languages
English (en)
Other versions
CN106407315B (zh
Inventor
赵祥模
周经美
徐志刚
程鑫
张立成
王润民
闵海根
李骁驰
王振
孙朋朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201610783688.4A priority Critical patent/CN106407315B/zh
Publication of CN106407315A publication Critical patent/CN106407315A/zh
Application granted granted Critical
Publication of CN106407315B publication Critical patent/CN106407315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

本发明公开了一种基于街景图像数据库的车辆自主定位方法，包括步骤1，使用相机采集场景图像，提取采集的图像的主颜色特征向量信息、SURF特征点和位置信息存储在数据库中；步骤2，将车辆行驶中拍摄的图像作为待匹配图像，提取待匹配图像的主颜色特征向量，通过计算待匹配图像的主颜色特征向量与原数据库中图像主颜色特征向量的相似度，得到初始匹配图像，提取初始匹配图像的位置信息，初步确定车辆的位置；步骤3，提取初始匹配图像的邻域图像，组成搜索空间，将待匹配图像与搜索空间的图像进行特征点匹配，得到最佳匹配图像，提取最佳匹配图像的拍摄位置坐标和其八邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。

Description

一种基于街景图像数据库的车辆自主定位方法
技术领域
本发明属于车辆定位技术领域，具体涉及一种GPS盲区下基于街景图像数据库的车辆自主定位方法。
背景技术
车辆高精度定位是智能交通系统(ITS)的重要组成部分，安全自主导航的关键技术。目前车辆导航系统通常使用民用GPS来估计车辆位置，然而这样的GPS由于建筑物反射和GPS信号的遮挡具有5到30米误差。另一方面，RTK-GPS可以更准确地估计车辆位置，但容易被阻塞、且成本较高。为了克服这些问题，一些研究组已提出使用声纳、激光扫描仪、相机等传感器在GPS无法正确进行车辆自主定位时的相应算法研究，主要包括以下几种：
(1)基于陆标(RFID)的方法。当GPS中断，无线射频识别装置(RFID)可用于检测陆标来实现定位。Zhang提出沿着车道路线安装RFID标签，车辆配备RFID Reader，车辆根据其周围标签反馈的信息检索当前自身位置。Huang提出一种对于城市复杂环境的高可靠性车辆定位方法，RFID定位信息融合方向盘转角和轮速计算车辆位置，EKF算法用于消除误差实现精确定位。该方法需要消耗大量的硬件设备，所以不适合长距离使用。
(2)基于INS/DR方法，特别是对GPS信号较弱的区域，为了提高定位性能，常见的选择是将GPS与惯性导航系统(INS)或者航迹推算(DR)相结合。然而，INS或者DR随着时间的推移会产生累计误差，无法长时间应用。
(3)基于视觉里程计的方法。视觉里程计仅使用图像传感器来估计车辆姿势。Zhou提出对图像按顺序处理，根据基本矩阵计算连续两幅图像间的位移偏量，进而可以推算车辆位置。但是该方法仍存在较大的误差。
发明内容
为了解决现有车辆定位技术中存在的需要消耗大量的硬件设备，所以不适合长距离使用、随着时间的推移会产生累计误差，无法长时间应用的技术问题，本发明提供以下技术方案：
一种基于街景图像数据库的车辆自主定位方法，其特征在于包括以下步骤：
步骤1，使用相机采集场景图像，提取采集的图像的主颜色特征向量信息、SURF特征点和位置信息存储在数据库中；
步骤2，将车辆行驶中拍摄的图像作为待匹配图像，提取待匹配图像的主颜色特征向量，通过计算待匹配图像的主颜色特征向量与原数据库中图像主颜色特征向量的相似度，得到初始匹配图像，提取初始匹配图像的位置信息，初步确定车辆的位置；
步骤3，提取初始匹配图像的邻域图像，组成搜索空间，将待匹配图像与搜索空间的图像进行特征点匹配，得到最佳匹配图像，提取最佳匹配图像的拍摄位置坐标和其八邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。
步骤1具体包括：
步骤1.1，按照预设位置，使用相机采集场景图像，将采集的图像和其对应的位置信息储存在数据库中；
步骤1.2，提取步骤1.1采集的图像的部分中间拍摄点图像存储在数据集2中；
步骤1.3，提取数据集2中图像的主颜色特征向量并储存于数据库中；
步骤1.4，提取所有图像的SURF特征点存储于数据库中；
步骤1.1和步骤1.2具体包括：按照预设的位置，设道路水平直的，设车行驶的方向为水平方向且车以固定的车速行驶，沿车行驶的方向每隔3米使用车上的摄像头采集其前方垂直方向的场景图像，选取多个采集点且每个采集点相隔1.5米，将所有采集点拍摄的图像和其对应的位置信息存储在数据库中，选取同一水平方向上的各个采集点中间的若干采集点拍摄的图像储存在数据集2中。
步骤1.3按如下方法进行：
将采集的场景图像划分为m×n个子块，同一种主颜色在每个子块中出现的频率构成一个主颜色特征值，若一个场景图像选择u种主颜色，则需要u×m×n个主颜色特征值表示图像的颜色内容，所有的主颜色特征值构成一个u×m×n维的主颜色特征向量，将该主颜色特征向量储存在数据库中。
步骤2具体包括：
步骤2.1，将车在实际行驶中拍摄的图像作为待匹配图像，提取待匹配图像主颜色的特征向量；
步骤2.2，计算待匹配图像与数据集2中所有图像的相似度；
步骤2.3，依次比较待匹配图像与数据集2中的所有图像的相似度，选择出数据集2中与待匹配图像相似度最高的N幅图像作为初始匹配结果，提取这N幅图像的坐标位置作为车辆的初始位置；
步骤2.2具体包括：
2.2.1，设Sa和Ib是两幅图像的主颜色特征向量，通过DP匹配技术计算两幅图像的主颜色特征向量之间的匹配距离，Sau和Ibv(Sau表示向量Sa的第u个元素，Ibv表示向量Ib的第v个元素)之间的元素距离定义如下
其中，u，v分别是序号，指示两个特征向量中的某个元素，其中,Sau表示向量Sa的第u个元素，Ibv表示向量Ib的第v个元素，S[a,u]表示Sau的值，I[b,v]表示Ibv的值。设u＝1,2,…,N1和v＝1,2,L,N2。N1、N2分别表示两幅图主颜色特征向量的长度，N1＝N2＝208。
2.2.2，计算得到Sa和Ib中所有的元素距离d(Sau,Ibv)，u＝1,2,L,N1和v＝1,2,L,N2。d(Sau,Ibv)组成的矩阵表示为d(u,v)，如下公式所示
2.2.3，计算d(u-1,v)、d(u-1,v-1)和d(u,v-1)分别到d(u,v)的三个权重分布w1、w2和w3，
通过图论的Dijkstra算法计算从d(1,1)到d(n,n)的最短路径长度为Pmin，计算出两幅图像的特征向的最短路径d(a,b)，用两幅图像特征向量的最短路径表示两幅图像间的相似度，d(a,b)的值越小，则表示两幅图像的相似度越高。计算公式为：
步骤2.3中选择出数据集2中与待匹配图像相似度最高的N幅图像具体方法包括：引入阈值T，T＝0.65，依次比较待匹配图像的特征向量与数据集2中的图像的特征向量之间的距离，若距离小于T，则认为这两个图像相似，否则，不相似。
步骤3具体包括：
3.1，提取步骤2.3中的N幅候选图像及其八邻域图像，通过检测去掉其中重复的图像，其余的图像组成搜索空间S；
3.2，再将待匹配图像与搜索空间S中每幅图像进行基于SURF特征点的图像匹配，将匹配点数最多的图像作为最佳匹配图像。
3.3，提取最佳匹配图像的拍摄位置坐标和其八个邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。
步骤3.3具体计算过程如下：
提取最佳匹配图像的拍摄位置坐标和其8个邻域位置的坐标，(xi,yi)表示提取的9个点的坐标，wj表示各个点权重，则其中，j＝1,2,L,9，Nj是待匹配图像与第j幅图像的匹配点个数；车辆精确位置坐标计算公式为：
步骤1.3中，选取m＝n＝4，u＝13，则每个图像被表示为一个208维的主颜色特征向量。
上述技术方案，与现有技术相比具有以下技术效果：
1、本发明在数据库构建时，将所有采集点的图像信息存储在数据库中，又提取各采集点的某些中间采集点的图像储存在数据集2中，在后续定位中，先将实际拍摄图像与数据集2中的图像进行相似度比较进行初步定位，找到最佳匹配图像后，再进行精确定位；减少了搜索数据库的时间，提高了运行效率；
2、本发明定位结果的精度小于1.5米，算法运行时间短，相比较视觉里程计不随时间产生累积误差，定位快速、精确；
3、本发明硬件系统主要由RSU和相机组成，成本低、可靠性高、实用性强。
4、本发明针对GPS盲区提出车辆自主定位方法，不受GPS信号的影响，为全天候、任何区域下的车辆自动定位方法提供了理论基础。
附图说明
图1是本发明的硬件组成示意图；
图2是本发明的数据库建立示意图；
图3是本发明的车辆初始定位中主颜色的特征向量提取过程示意图；
图4是本发明的车辆初始定位中连接有向图；
图5是本发明的车辆精确定位过程示意图；
图6是本发明的图像采集设备示意图；
图7是本发明的数据库图像示意图；
图8是本发明的主颜色特征直方图；
图9是本发明的算法精确性分析示意图；
图10是本发明算法的流程图。
具体实施方式
本发明公开了一种基于街景图像数据库的车辆自主定位方法，如图1，本发明提供的定位方法硬件系统主要由路测单元(RSU)和车辆上的图像采集设备组成，如图1所示，RSU包括服务器、数据处理模块和无线网络，图像采集设备包含一个摄像头和无线接入点(AP)。
本发明公开了的基于街景图像数据库的车辆自主定位方法，主要包括以下步骤：
步骤1，使用相机采集场景图像，提取采集的图像的主颜色特征向量信息、SURF特征点和位置信息存储在数据库中；其中具体包括：
步骤1.1，按照预设位置，使用相机采集场景图像，将采集的图像和其对应的位置信息储存在数据库中；
步骤1.2，提取步骤1.1采集的图像的某些中间拍摄点图像存储在数据集2中；
步骤1.3，提取数据集2中图像的主颜色特征向量并储存于数据库中；
步骤1.4，提取所有图像的SURF特征点存储于数据库中；
其中，所述的步骤1.1和步骤1.2具体包括：按照预设的位置，设道路水平直的，设车行驶的方向为水平方向且车以固定的车速行驶，沿车行驶的方向每隔三米使用车上的摄像头采集其前方垂直方向的场景图像，选取多个采集点且每个采集点相隔1.5米，将所有采集点拍摄的图像和其对应的位置信息存储在数据库中，选取同一水平方向上的各个采集点中间的两个采集点拍摄的图像储存在数据集2中。如图2，在平直的道路上，车上的图像采集设备每隔3秒，采集一组车辆前方的路面上的图像，其中各个采集点相隔1.5米，将各个采集点的图像(图2中原点表示)存储在数据库中，提取每行采集点中间的采集点(图2中黑色标记)存储在数据集2中。
在数据库构建时，将所有采集点的图像信息存储在数据库中，又提取各采集点的某些中间采集点的图像储存在数据集2中，在后续定位中，先将实际拍摄图像与数据集2中的图像进行相似度比较进行初步定位，找到最佳匹配图像后，再进行精确定位；减少了搜索数据库的时间，提高了运行效率。
在图像采集时候，每隔三秒拍摄一组正前方图像，且每隔采集点距离相隔1.5米，采集点选取距离小，有助于更加精确的采集周围的颜色特征信息，使得后续精确定位步骤，更加快速的找到最佳匹配图像，定位速度快且精度高。
其中步骤1.3具体包括；将采集的场景图像划分为m×n个子块，同一种主颜色在每个子块中出现的频率构成一个主颜色特征值，若一个场景图像选择u种主颜色，则需要u×m×n个主颜色特征值表示图像的颜色内容，所有的主颜色特征值构成一个u×m×n维的主颜色特征向量，将该主颜色特征向量储存在数据库中。
优选的，本发明选取m＝n＝4，u＝13，则每个图像被表示为一个208维的主颜色特征向量。
本发明中主颜色直方图在对图像颜色特征的表示上不仅仅考虑了颜色的色调特征，饱和度及亮度的变化对人眼的视觉特性也有较大的影响。当颜色的纯度(饱和度)比较高时，只需加入百分之二左右的白光后人眼就能分辨出颜色的变化；当图像的亮度较小时，整幅图像将变为黑色，此时不论其色调如何纯，饱和度如何变化，给人的感觉完全是一样的；当图像的亮度较高且饱和度较小时，不论图像的色调如何变化，整幅图像给人的感觉总是白色的。只有在图像的饱和度和亮度满足一定的条件，人眼才可以分辨出色调的变化。因此，本发明采用13个级别的颜色量化进行主颜色特征提取，可以满足需求，其量化方法如表1所示。
表1
步骤2，将车辆行驶中拍摄的图像作为待匹配图像，提取待匹配图像的主颜色特征向量，通过计算待匹配图像的主颜色特征向量与原数据库中图像主颜色特征向量的相似度，得到初始匹配图像，提取初始匹配图像的位置信息，初步确定车辆的位置；
其中，步骤2具体包括：
步骤2.1，将车在实际行驶中拍摄的图像作为待匹配图像，提取待匹配图像主颜色的特征向量；
步骤2.2，依次比较待匹配图像与数据集2中的所有图像的相似度，选择出数据集2中与待匹配图像相似度最高的N幅图像作为初始匹配结果，提取这N幅图像的坐标位置作为车辆的初始位置；
其中步骤2.2具体包括：2.2.1，设Sa和Ib是两幅图像的主颜色特征向量，通过DP匹配技术计算两幅图像的主颜色特征向量之间的匹配距离，Sau和Ibv(Sau表示向量Sa的第u个元素，Ibv表示向量Ib的第v个元素)之间的元素距离定义如下
其中，u，v分别是序号，指示两个特征向量中的某个元素，其中,Sau表示向量Sa的第u个元素，Ibv表示向量Ib的第v个元素，S[a,u]表示Sau的值，I[b,v]表示Ibv的值。设u＝1,2,…,N1和v＝1,2,L,N2。N1、N2分别表示两幅图主颜色特征向量的长度，N1＝N2＝208。
2.2.2，计算得到Sa和Ib中所有的元素距离d(Sau,Ibv)，u＝1,2,L,N1和v＝1,2,L,N2。d(Sau,Ibv)组成的矩阵表示为d(u,v)，如下公式所示
2.2.3，计算d(u-1,v)、d(u-1,v-1)和d(u,v-1)分别到d(u,v)的三个权重分布w1、w2和w3，
通过图论的Dijkstra算法计算从d(1,1)到d(n,n)的最短路径长度为Pmin，计算出两幅图像的特征向的最短路径d(a,b)，用两幅图像特征向量的最短路径表示两幅图像间的相似度，d(a,b)的值越小，则表示两幅图像的相似度越高。计算公式为：
2.2.4，选择出数据集2中与待匹配图像相似度最高的N幅图像，具体方法包括：引入阈值T和N，T＝0.65，N＝3～5，依次比较待匹配图像的特征向量与数据集2中的图像的特征向量之间的距离，若距离小于T，则认为这两个图像相似，否则，不相似。最后，选取相似度最高的N幅图像作为初始匹配结果，提取这N幅图像的坐标位置作为车辆的初始位置；其中T和N的取值是根据大量实验获得，既为了保证最相似图像包括在初始定位的结果中，同时为了确保初始定位的结果不会过多以至不影响后续精确匹配的运行效率。
步骤3，提取初始匹配图像的邻域图像，组成搜索空间，将待匹配图像与搜索空间的图像进行特征点匹配，得到最佳匹配图像，提取最佳匹配图像的拍摄位置坐标和其八邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。
其中，步骤3具体包括：
3.1，提取步骤2.3中的N幅候选图像及其八邻域图像，通过检测去掉其中重复的图像，其余的图像组成搜索空间S；
3.2，再将待匹配图像与搜索空间S中每幅图像进行基于SURF特征点的图像匹配，将匹配点数最多的图像作为最佳匹配图像。
3.3，提取最佳匹配图像的拍摄位置坐标和其八个邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。
其中，步骤3.3具体计算过程如下：
提取最佳匹配图像的拍摄位置坐标和其8个邻域位置的坐标，(xi,yi)表示提取的9个点的坐标，wj表示各个点权重，则其中，j＝1,2,L,9，Nj是待匹配图像与第j幅图像的匹配点个数；车辆精确位置坐标计算公式为：
在选取周边邻域位置坐标用于精确定位时，可以考虑2、4或者8个邻域，本发明为了精确定位结果，选取了最全面精确的8邻域用于计算。
实施例：
实验环境为：本次试验采用比亚迪速锐C4在平直的道路上以3km/h速度采集数据(由于遮挡，GPS信号较差)，Blaser-acA1600相机安装在车顶，如图6所示。图像序列通过一个外部触发信号同步被记录，其速度30frame/s，分辨率1600×1200pixels。操作平台Windows XP系统、2.85GHz CPU及MATLAB R2009a。
在构建一个数据库时，我们设置k＝1.5m和s＝3m。在某一个路段，625个拍摄节点被选中。在每个采集点上，车辆垂直拍摄前面的场景形成数据集，部分图像如图7所示，选取其中有286采集点拍摄的图像存储于数据集2。主颜色特征信息和SURF特征点已预先存储在数据库中。某一时刻拍摄的一幅图像，其主颜色特征如图8(a)所示，根据初始定位方法，在数据集2中可以找到一个最相似的图像如图8所示(b)，其位置坐标Xc＝125.7m，Yc＝62.5m，即图2中的G点的坐标，车辆精确定位方法，坐标位置加权计算后可以获得车辆Xc＝125.9m，Yc＝62.2m。对于初始定位后的其他候选图像。图像应用于只有一个准确的定位。我们选择汽车20个不同时刻的位置为例,定位结果和实际位置如图9(a)所示，误差分析见图9(b)。显而易见，该方法的精度小于1.5m，满足实际应用的要求。车辆一次定位所需的时间约为3.6s，也大致满足用户的需要。当它需要以更短的时间完成，我们可以用其他平台(比如OpenCV和C++)来实现，而定位的有效性不受影响。相较于视觉里程计，本发明方法不存累积误差。与基于RFID的方法相比，本研究具有低成本、高可靠性、强抗信号干扰等有点，有较强的实用价值。因此，本发明为解决GPS盲区下的车辆自主定位提供新思路。

Claims (10)

1.一种基于街景图像数据库的车辆自主定位方法，其特征在于包括以下步骤：
步骤1，使用相机采集场景图像，提取采集的图像的主颜色特征向量信息、SURF特征点和位置信息存储在数据库中；
步骤2，将车辆行驶中拍摄的图像作为待匹配图像，提取待匹配图像的主颜色特征向量，通过计算待匹配图像的主颜色特征向量与原数据库中图像主颜色特征向量的相似度，得到初始匹配图像，提取初始匹配图像的位置信息，初步确定车辆的位置；
步骤3，提取初始匹配图像的邻域图像，组成搜索空间，将待匹配图像与搜索空间的图像进行特征点匹配，得到最佳匹配图像，提取最佳匹配图像的拍摄位置坐标和其八邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。
2.如权利要求1所述的基于街景图像数据库的车辆自主定位方法，其特征在于，所述的步骤1具体包括：
步骤1.1，按照预设位置，使用相机采集场景图像，将采集的图像和其对应的位置信息储存在数据库中；
步骤1.2，提取步骤1.1采集的图像的部分中间拍摄点图像存储在数据集2中；
步骤1.3，提取数据集2中图像的主颜色特征向量并储存于数据库中；
步骤1.4，提取所有图像的SURF特征点存储于数据库中。
3.如权利要求2所述的基于街景图像数据库的车辆自主定位方法，其特征在于，所述的步骤1.1和步骤1.2具体包括：按照预设的位置，设道路水平直的，设车行驶的方向为水平方向且车以固定的车速行驶，沿车行驶的方向每隔3米使用车上的摄像头采集其前方垂直方向的场景图像，选取多个采集点且每个采集点相隔1.5米，将所有采集点拍摄的图像和其对应的位置信息存储在数据库中，选取同一水平方向上的各个采集点中间的若干采集点拍摄的图像储存在数据集2中。
4.如权利要求2所述基于街景图像数据库的车辆自主定位方法，其特征在于，所述的步骤1.3按如下方法进行：
将采集的场景图像划分为m×n个子块，同一种主颜色在每个子块中出现的频率构成一个主颜色特征值，若一个场景图像选择u种主颜色，则需要u×m×n个主颜色特征值表示图像的颜色内容，所有的主颜色特征值构成一个u×m×n维的主颜色特征向量，将该主颜色特征向量储存在数据库中。
5.如权利要求1所述的基于街景图像数据库的车辆自主定位方法，其特征在于，所述的步骤2具体包括：
步骤2.1，将车在实际行驶中拍摄的图像作为待匹配图像，提取待匹配图像主颜色的特征向量；
步骤2.2，计算待匹配图像与数据集2中所有图像的相似度；
步骤2.3，依次比较待匹配图像与数据集2中的所有图像的相似度，选择出数据集2中与待匹配图像相似度最高的N幅图像作为初始匹配结果，提取这N幅图像的坐标位置作为车辆的初始位置。
6.如权利要求5所述的基于街景图像数据库的车辆自主定位方法，其特征在于，所述的步骤2.2具体包括：
2.2.1，设Sa和Ib是两幅图像的主颜色特征向量，通过DP匹配技术计算两幅图像的主颜色特征向量之间的匹配距离，Sau和Ibv(Sau表示向量Sa的第u个元素，Ibv表示向量Ib的第v个元素)之间的元素距离定义如下
其中，u，v分别是序号，指示两个特征向量中的某个元素，其中,Sau表示向量Sa的第u个元素，Ibv表示向量Ib的第v个元素，S[a,u]表示Sau的值，I[b,v]表示Ibv的值。设u＝1,2,…,N1和v＝1,2,L,N2。N1、N2分别表示两幅图主颜色特征向量的长度，N1＝N2＝208。
2.2.2，计算得到Sa和Ib中所有的元素距离d(Sau,Ibv)，u＝1,2,L,N1和v＝1,2,L,N2。d(Sau,Ibv)组成的矩阵表示为d(u,v)，如下公式所示
2.2.3，计算d(u-1,v)、d(u-1,v-1)和d(u,v-1)分别到d(u,v)的三个权重分布w1、w2和w3，
通过图论的Dijkstra算法计算从d(1,1)到d(n,n)的最短路径长度为Pmin，计算出两幅图像的特征向的最短路径d(a,b)，用两幅图像特征向量的最短路径表示两幅图像间的相似度，d(a,b)的值越小，则表示两幅图像的相似度越高。计算公式为：
。
7.如权利要求5所述的基于街景图像数据库的车辆自主定位方法，其特征在于，所述的步骤2.3中选择出数据集2中与待匹配图像相似度最高的N幅图像具体方法包括：引入阈值T，T＝0.65，依次比较待匹配图像的特征向量与数据集2中的图像的特征向量之间的距离，若距离小于T，则认为这两个图像相似，否则，不相似。
8.如权利要求1所述的基于街景图像数据库的车辆自主定位方法，其特征在于，所述的步骤3具体包括：
3.1，提取步骤2.3中的N幅候选图像及其八邻域图像，通过检测去掉其中重复的图像，其余的图像组成搜索空间S；
3.2，再将待匹配图像与搜索空间S中每幅图像进行基于SURF特征点的图像匹配，将匹配点数最多的图像作为最佳匹配图像。
3.3，提取最佳匹配图像的拍摄位置坐标和其八个邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。
9.如权利要求8所述的基于街景图像数据库的车辆自主定位方法，其特征在于，所述的步骤3.3具体计算过程如下：
提取最佳匹配图像的拍摄位置坐标和其8个邻域位置的坐标，(xi,yi)表示提取的9个点的坐标，wj表示各个点权重，则其中，j＝1,2,L,9，Nj是待匹配图像与第j幅图像的匹配点个数；车辆精确位置坐标计算公式为：
10.如权利要求2所述基于街景图像数据库的车辆自主定位方法，其特征在于，所述的步骤1.3中，选取m＝n＝4，u＝13，则每个图像被表示为一个208维的主颜色特征向量。
CN201610783688.4A 2016-08-30 2016-08-30 一种基于街景图像数据库的车辆自主定位方法 Active CN106407315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610783688.4A CN106407315B (zh) 2016-08-30 2016-08-30 一种基于街景图像数据库的车辆自主定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610783688.4A CN106407315B (zh) 2016-08-30 2016-08-30 一种基于街景图像数据库的车辆自主定位方法

Publications (2)

Publication Number Publication Date
CN106407315A true CN106407315A (zh) 2017-02-15
CN106407315B CN106407315B (zh) 2019-08-16

Family

ID=58001419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610783688.4A Active CN106407315B (zh) 2016-08-30 2016-08-30 一种基于街景图像数据库的车辆自主定位方法

Country Status (1)

Country Link
CN (1) CN106407315B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908040A (zh) * 2017-03-06 2017-06-30 哈尔滨工程大学 一种基于surf算法的双目全景视觉机器人自主定位方法
CN107063238A (zh) * 2017-05-17 2017-08-18 上海移为通信技术股份有限公司 基于云服务器的预估导航定位方法及系统
CN107451593A (zh) * 2017-07-07 2017-12-08 西安交通大学 一种基于图像特征点的高精度gps定位方法
CN108804486A (zh) * 2017-09-01 2018-11-13 北京视联动力国际信息技术有限公司 一种图像识别方法和装置
CN109146936A (zh) * 2018-07-17 2019-01-04 湖南云顶智能科技有限公司 一种图像匹配方法、装置、定位方法及系统
CN109166140A (zh) * 2018-07-27 2019-01-08 长安大学 一种基于多线激光雷达的车辆运动轨迹估计方法及系统
WO2019015150A1 (en) * 2017-07-20 2019-01-24 Huawei Technologies Co., Ltd. METHOD AND SYSTEM FOR VEHICLE LOCATION
CN109520500A (zh) * 2018-10-19 2019-03-26 南京航空航天大学 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN109711363A (zh) * 2018-12-29 2019-05-03 百度在线网络技术（北京）有限公司 车辆定位方法、装置、设备和存储介质
CN109883433A (zh) * 2019-03-21 2019-06-14 中国科学技术大学 基于360度全景视图的结构化环境中车辆定位方法
CN109920266A (zh) * 2019-02-20 2019-06-21 武汉理工大学 一种智能车辆定位方法
CN109931945A (zh) * 2019-04-02 2019-06-25 百度在线网络技术（北京）有限公司 Ar导航方法、装置、设备和存储介质
CN110070579A (zh) * 2019-03-16 2019-07-30 平安科技（深圳）有限公司 基于图像检测的定位方法、装置、设备和存储介质
CN110307855A (zh) * 2019-05-20 2019-10-08 特斯联（北京）科技有限公司 一种野外景区自助导航系统及其站点设备
CN110472092A (zh) * 2019-07-15 2019-11-19 清华大学 一种街景图片的地理定位方法及系统
CN110660103A (zh) * 2019-09-17 2020-01-07 北京三快在线科技有限公司 一种无人车定位方法及装置
CN111352139A (zh) * 2018-12-24 2020-06-30 同方威视技术股份有限公司 扫描设备自主导向方法、装置和扫描设备
CN111722245A (zh) * 2020-06-22 2020-09-29 北京百度网讯科技有限公司 定位方法、定位装置和电子设备
CN111858979A (zh) * 2020-07-23 2020-10-30 北京京东乾石科技有限公司 数据库构建方法和装置、障碍物识别方法、装置和系统
CN111860050A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种基于图像帧的回环检测方法及装置、车载终端
WO2020253842A1 (zh) * 2019-06-20 2020-12-24 杭州海康威视数字技术股份有限公司 一种车辆位姿确定方法、装置及电子设备
CN112528972A (zh) * 2021-02-08 2021-03-19 常州微亿智造科技有限公司 用于飞拍拍摄点的定位方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103234537A (zh) * 2013-01-24 2013-08-07 上海市上海中学 一种仓库自动导航机械车定位方法
CN103473774A (zh) * 2013-09-09 2013-12-25 长安大学 一种基于路面图像特征匹配的车辆定位方法
CN103473775A (zh) * 2013-09-16 2013-12-25 中国人民解放军国防科学技术大学 Sar图像车辆目标的快速检测与定位方法
CN103499350A (zh) * 2013-09-28 2014-01-08 长安大学 Gps盲区下融合多源信息的车辆高精度定位方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103234537A (zh) * 2013-01-24 2013-08-07 上海市上海中学 一种仓库自动导航机械车定位方法
CN103473774A (zh) * 2013-09-09 2013-12-25 长安大学 一种基于路面图像特征匹配的车辆定位方法
CN103473775A (zh) * 2013-09-16 2013-12-25 中国人民解放军国防科学技术大学 Sar图像车辆目标的快速检测与定位方法
CN103499350A (zh) * 2013-09-28 2014-01-08 长安大学 Gps盲区下融合多源信息的车辆高精度定位方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UCHIYAMA H等: "Ego-locazation using streetspace image sequences from in-vehicle cameras", 《INTELLIGENT VEHICLES SYMPOSIUM》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908040B (zh) * 2017-03-06 2019-06-14 哈尔滨工程大学 一种基于surf算法的双目全景视觉机器人自主定位方法
CN106908040A (zh) * 2017-03-06 2017-06-30 哈尔滨工程大学 一种基于surf算法的双目全景视觉机器人自主定位方法
CN107063238A (zh) * 2017-05-17 2017-08-18 上海移为通信技术股份有限公司 基于云服务器的预估导航定位方法及系统
CN107451593A (zh) * 2017-07-07 2017-12-08 西安交通大学 一种基于图像特征点的高精度gps定位方法
CN107451593B (zh) * 2017-07-07 2020-05-15 西安交通大学 一种基于图像特征点的高精度gps定位方法
WO2019015150A1 (en) * 2017-07-20 2019-01-24 Huawei Technologies Co., Ltd. METHOD AND SYSTEM FOR VEHICLE LOCATION
US10579067B2 (en) 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
CN108804486A (zh) * 2017-09-01 2018-11-13 北京视联动力国际信息技术有限公司 一种图像识别方法和装置
CN109146936A (zh) * 2018-07-17 2019-01-04 湖南云顶智能科技有限公司 一种图像匹配方法、装置、定位方法及系统
CN109166140A (zh) * 2018-07-27 2019-01-08 长安大学 一种基于多线激光雷达的车辆运动轨迹估计方法及系统
CN109166140B (zh) * 2018-07-27 2021-10-01 长安大学 一种基于多线激光雷达的车辆运动轨迹估计方法及系统
CN109520500A (zh) * 2018-10-19 2019-03-26 南京航空航天大学 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN109520500B (zh) * 2018-10-19 2020-10-20 南京航空航天大学 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
WO2020134251A1 (zh) * 2018-12-24 2020-07-02 同方威视技术股份有限公司 扫描设备自主导向方法、装置和扫描设备
CN111352139A (zh) * 2018-12-24 2020-06-30 同方威视技术股份有限公司 扫描设备自主导向方法、装置和扫描设备
CN109711363A (zh) * 2018-12-29 2019-05-03 百度在线网络技术（北京）有限公司 车辆定位方法、装置、设备和存储介质
CN109920266A (zh) * 2019-02-20 2019-06-21 武汉理工大学 一种智能车辆定位方法
CN110070579A (zh) * 2019-03-16 2019-07-30 平安科技（深圳）有限公司 基于图像检测的定位方法、装置、设备和存储介质
WO2020186774A1 (zh) * 2019-03-16 2020-09-24 平安科技（深圳）有限公司 基于图像检测的定位方法、装置、设备和存储介质
CN109883433A (zh) * 2019-03-21 2019-06-14 中国科学技术大学 基于360度全景视图的结构化环境中车辆定位方法
CN109931945A (zh) * 2019-04-02 2019-06-25 百度在线网络技术（北京）有限公司 Ar导航方法、装置、设备和存储介质
CN111860050A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种基于图像帧的回环检测方法及装置、车载终端
CN110307855A (zh) * 2019-05-20 2019-10-08 特斯联（北京）科技有限公司 一种野外景区自助导航系统及其站点设备
WO2020253842A1 (zh) * 2019-06-20 2020-12-24 杭州海康威视数字技术股份有限公司 一种车辆位姿确定方法、装置及电子设备
CN110472092A (zh) * 2019-07-15 2019-11-19 清华大学 一种街景图片的地理定位方法及系统
CN110472092B (zh) * 2019-07-15 2021-11-16 清华大学 一种街景图片的地理定位方法及系统
CN110660103A (zh) * 2019-09-17 2020-01-07 北京三快在线科技有限公司 一种无人车定位方法及装置
CN111722245A (zh) * 2020-06-22 2020-09-29 北京百度网讯科技有限公司 定位方法、定位装置和电子设备
CN111722245B (zh) * 2020-06-22 2023-03-10 阿波罗智能技术(北京)有限公司 定位方法、定位装置和电子设备
US11713970B2 (en) 2020-06-22 2023-08-01 Beijing Baidu Netcom Science Technology Co., Ltd. Positioning method, electronic device and computer readable storage medium
CN111858979A (zh) * 2020-07-23 2020-10-30 北京京东乾石科技有限公司 数据库构建方法和装置、障碍物识别方法、装置和系统
CN112528972A (zh) * 2021-02-08 2021-03-19 常州微亿智造科技有限公司 用于飞拍拍摄点的定位方法和装置
CN112528972B (zh) * 2021-02-08 2021-06-04 常州微亿智造科技有限公司 用于飞拍拍摄点的定位方法和装置

Also Published As

Publication number Publication date
CN106407315B (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN106407315B (zh) 一种基于街景图像数据库的车辆自主定位方法
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
US11333506B2 (en) Computer-vision based positioning for augmented reality navigation
EP2372310B1 (en) Image processing system and position measurement system
CN103411609B (zh) 一种基于在线构图的飞行器返航路线规划方法
US8791996B2 (en) Image processing system and position measurement system
CN102565832B (zh) 用附加车载视觉传感器加强gps或gps/传感器车辆定位的方法
CN102208036B (zh) 车辆位置检测系统
RU2572952C1 (ru) Устройство обнаружения трехмерных объектов и способ обнаружения трехмерных объектов
EP2372308B1 (en) Image processing system and vehicle control system
JP5168601B2 (ja) 自車位置認識システム
US8073584B2 (en) Method for measuring dynamic parameters of an aircraft progressing over an airport zone
CN109031304A (zh) 基于视觉和毫米波雷达地图特征的隧道内车辆定位方法
US11951992B2 (en) Vehicle positioning method and apparatus, storage medium, and electronic device
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
Cao et al. Camera to map alignment for accurate low-cost lane-level scene interpretation
CN109271857A (zh) 一种伪车道线剔除方法及装置
CN110119138A (zh) 用于自动驾驶车辆的自定位方法、系统和机器可读介质
WO2022041706A1 (zh) 一种定位方法、定位系统和车辆
CN115077519A (zh) 基于模板匹配与激光惯导松耦合的定位建图方法和装置
Hara et al. Vehicle localization based on the detection of line segments from multi-camera images
US20230273029A1 (en) Vision-based location and turn marker prediction
Kim et al. Image segmentation-based bicycle riding side identification method
Aldibaja et al. A Robust Strategy of Map Quality Assessment for Autonomous Driving based on LIDAR Road-Surface Reflectance

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhao Xiangmo

Inventor after: Sun Pengpeng

Inventor after: Zhou Jingmei

Inventor after: Cheng Xin

Inventor after: Xu Zhigang

Inventor after: Zhang Licheng

Inventor after: Wang Runmin

Inventor after: Min Haigen

Inventor after: Li Xiaochi

Inventor after: Wang Zhen

Inventor before: Zhao Xiangmo

Inventor before: Sun Pengpeng

Inventor before: Zhou Jingmei

Inventor before: Xu Zhigang

Inventor before: Cheng Xin

Inventor before: Zhang Licheng

Inventor before: Wang Runmin

Inventor before: Min Haigen

Inventor before: Li Xiaochi

Inventor before: Wang Zhen

GR01 Patent grant
GR01 Patent grant