CN104729485A - 一种基于车载全景影像与街景地图匹配的视觉定位方法 - Google Patents

一种基于车载全景影像与街景地图匹配的视觉定位方法 Download PDF

Info

Publication number
CN104729485A
CN104729485A CN201510094595.6A CN201510094595A CN104729485A CN 104729485 A CN104729485 A CN 104729485A CN 201510094595 A CN201510094595 A CN 201510094595A CN 104729485 A CN104729485 A CN 104729485A
Authority
CN
China
Prior art keywords
vehicle
image
streetscape
sight line
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510094595.6A
Other languages
English (en)
Other versions
CN104729485B (zh
Inventor
尚志鸣
林招荣
文高进
姚娜
钟灿
张春晓
王洪民
张倩
曹桂丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Space Research Mechanical and Electricity
Original Assignee
Beijing Institute of Space Research Mechanical and Electricity
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Space Research Mechanical and Electricity filed Critical Beijing Institute of Space Research Mechanical and Electricity
Priority to CN201510094595.6A priority Critical patent/CN104729485B/zh
Publication of CN104729485A publication Critical patent/CN104729485A/zh
Application granted granted Critical
Publication of CN104729485B publication Critical patent/CN104729485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network

Abstract

一种基于车载全景影像与街景地图匹配的视觉定位方法，首先获取街景影像，提取街景影像中建筑物立面和立面特征线，并提取视线遮挡特征，构成视线遮挡特征库；对视线遮挡特征进行聚类，获取聚类结果；然后获取车载全景图像的视线遮挡特征，确定车载街景图像摄影点范围和该范围内的视线遮挡特征，并确定各视线遮挡特征对应的聚类类别；最后确定车载全景图像的视线遮挡特征的类别归属及最终的匹配结果，进而确定车辆位置；本发明方法克服了GPS在城市区域信号不稳定适用性差与传统视觉定位方法依赖地形三维建模计算量大不实用的困难，选用逐渐普及的车载全景相机与已有大量数据的街景地图进行定位，有良好的地形适用性与定位精度。

Description

一种基于车载全景影像与街景地图匹配的视觉定位方法
技术领域
本发明涉及一种视觉定位方法，特别是一种基于车载全景影像与街景地图匹配的视觉定位方法，利用车载全景遥感平台传感器获取的光学影像进行城市区域缺失GPS信号时定位，属于光学遥感影像处理技术领域。
背景技术
在城市区域精确地测量车辆的位置信息是一个重要而具有挑战性的问题。利用GPS系统定位是最为常见的一种定位方法。商业化运行的GPS信号提供10米精度的定位信息，而当对电离层误差等进行精确的改正后，可以将定位精度提高到厘米级。然而，GPS信号在城市区域会经常出现由于高楼遮挡GPS信号造成接收卫星数量不足，或由于GPS信号多路径效应等问题而不能给出定位信息。在GPS无法正常工作的条件下进行定位成为一个迫切需要解决的实际问题。而这一问题面临着待定位区域缺失三维模型、不同时间下光照变化大等等复杂因素，解决较为困难。为解决这一问题，目前基于激光雷达、微波雷达等多种载荷的定位方法被提出，然而，这些载荷价值高昂，在实际生活中难以运用。
目前，随着车辆的更新换代，越来越多的车辆上开始安装全景相机，其主要功能是辅助停车及观察行车周边情况。这一载荷给了我们在实际应用中进行更多信息挖掘的前提。因此研究一种基于全景相机进行视觉定位的方法具备实际的应用潜力。
目前常用的基于视觉的定位方法需要对整个场景设定标记点，并预先测量标记点的三维坐标。为了保证在较大的一个区域可以进行定位，必须对整个区域进行地理标记与三维建模，成本昂贵，并且由于交通等原因，很多地方难以到达并进行标记。而城市的街景地图技术已经完全成熟，在百度地图、谷歌地图等系统中已经积累了大量的资源，同时，街景影像同样采用全景投影，与车载全景影像具有相同的几何特点。因此，研究一种利用街景影像进行离线特征提取，构成定位的先验信息，同时利用实时成像的车载全景影像，在GPS失去作用后，进行实时定位的算法就十分必要了。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供了一种基于车载全景影像与街景地图匹配的视觉定位方法，利用先验的街景地图构建视线遮挡特征库并对特征库进行聚类，获取车载实时全景图像的视线遮挡特征，先确定分类结果，进一步确定对应的场景和位置，本方法能够在无GPS的条件下进行定位，并且具备较高的定位精度，最大程度上满足了视线遮挡条件下车辆实时定位的需求。
本发明的技术解决方案是：一种基于车载全景影像与街景地图匹配的视觉定位方法，步骤如下：
(1)获取街景影像，所述街景图像包括采取全景投影的街景影像和构成街景影像的中心投影图像；
(2)利用步骤(1)中构成街景影像的中心投影图像，提取街景影像中的建筑物立面和立面特征线，所述立面特征线与地面垂直或平行；
(3)将步骤(2)中确定的建筑物立面投影在地面上，在街景影像中提取视线遮挡特征，构成视线遮挡特征库；
(4)对步骤(3)视线遮挡特征库中的视线遮挡特征进行聚类，获取聚类结果和各聚类结果的聚类中心；
(5)利用步骤(1)～步骤(3)的方法，获取车载全景图像的视线遮挡特征；
(6)确定车载街景图像摄影点范围，具体为：
通过上一时刻的车辆定位位置，根据车速V与定位频率f计算车辆偏离上一时刻位置的距离，所述距离S由公式：
S＝V/f
给出，
所述车载街景图像摄影点范围为以上一时刻的车辆定位位置为圆心，以M*S为半径的圆，所述M为常数，取值范围为：1.5～2；
(7)搜索步骤(3)视线遮挡特征库中位于步骤(6)车载街景图像摄影点范围内的视线遮挡特征，并确定各视线遮挡特征对应的聚类类别和聚类中心；
(8)利用步骤(5)中获得的车载全景图像的视线遮挡特征与步骤(7)中确定的位于车载街景图像摄影点范围内视线遮挡特征所属类别的聚类中心进行类型匹配，确定车载全景图像的视线遮挡特征的分类结果；
(9)利用步骤(5)中获得的车载全景图像的视线遮挡特征与步骤(8)中确定的分类结果对应的位于车载街景图像摄影点范围内视线遮挡特征进行进一步匹配，获取最终的匹配结果，进而确定车辆位置。
所述步骤(1)中的街景影像通过全景网络地图获取。
所述步骤(2)中利用步骤(1)中构成街景影像的中心投影图像，提取街景影像中的建筑物立面和立面特征线，具体步骤为：
(2-1)使用边缘检测算子，对构成街景影像的中心投影图像进行边缘检测，得到二值图像；
(2-2)对步骤(2-1)处理后的图像进行霍夫变换，搜索构成街景影像的中心投影图像中的直线，提取直线的斜率和截距；
(2-3)对步骤(2-2)中和提取的直线进行k均值聚类，以聚类中心作为最终提取的直线；
(2-4)对步骤(2-3)中聚类后直线的斜率进行分类，确定直线间的相关平行关系，选取相互垂直且各自类内平行直线最多的两类作为建筑物边的初始解，并将初始解投影回全景影像。
所述步骤(3)中将步骤(2)中确定的建筑物立面投影在地面上，在街景影像中提取视线遮挡特征，构成特征库；具体步骤为：
(3-1)在每个摄影点，利用步骤(2)建筑物立面特征线中的平行线段分别两两求取灭点，
(3-2)采用RANSAC算法，得到水平灭点与垂直灭点的稳定解，同时剔除步骤(2)建筑物立面特征线中提取错误的立面特征线；
(3-3)利用步骤(3-2)确定的水平灭点与垂直灭点的稳定解，分别作水平线与垂直线，构建出相机坐标系，确定相机姿态；
(3-4)利用步骤(3-3)中确定的相机姿态，将水平灭点对应的平行线，按照对地垂直方向投影到地面上，得到二维拓扑图像；
(3-5)对步骤(3-4)得到的二维拓扑图像进行视线遮挡特征提取，构成视线遮挡特征向量；
(3-6)重复步骤(3-1)～步骤(3-5)，遍历街景影像中的所有摄影点，构建视线遮挡特征库。
所述步骤(3-5)中对步骤(3-4)得到的二维拓扑图像进行视线遮挡特征提取，构成视线遮挡特征向量，具体为：
(3-5-1)令每个摄影点的视线遮挡特征向量为D，所述D为一个B×N的矩阵，其中，B为由摄影点发射出的光线数量，N为深度方向最大的维度，所述深度为一条光线能够相交的立面数量；
(3-5-2)计算由摄影点发射出的每一条光线与可视的建筑物立面的交会角度，若某一条光线未与建筑物立面相交，则该条光线在深度方向上的交会角度均记为-1，记录所有光线在深度方向上的交会角度，构成特征向量。
所述由摄影点发射出的光线数量B的取值范围为：12～36，深度方向最大的维度N的取值为范围：2～4。
所述步骤(4)中的聚类算法为ISODATA算法，聚类中心的取值范围为：20～30。
所述步骤(8)中利用步骤(5)中获得的车载全景图像的视线遮挡特征与步骤(7)中确定的位于车载街景图像摄影点范围内视线遮挡特征的聚类中心进行类型匹配，确定车载全景图像的视线遮挡特征的分类结果；具体为：
(8-1)令Dk,l为特征矩阵D的第k行第l列，n(Dk)为第k行非负角的数量，对由街景影像提取的某个聚类中心的特征矩阵Dj与旋转r角度后车载全景图像提取的特征矩阵Di，使用欧几里得距离计算两个特征矩阵的距离；所述旋转角度r由相邻光线之间的角度决定；
(8-2)车载全景图像提取的特征矩阵Di遍历所有方向，并将各方向下两个特征矩阵的距离进行累加，记为U；所述方向由相邻光线之间的角度决定；
(8-3)街景影像提取的特征矩阵Dj遍历所有方向，重复步骤(8-1)～步骤(8-2)，求得街景影像所有方向下，U的最小值，作为两个特征矩阵的距离；
(8-4)遍历所有聚类中心，求得车载全景图像提取的特征矩阵与所有聚类中心特征矩阵之间的距离；
(8-5)选取步骤(8-4)中车载全景图像提取的特征矩阵与所有聚类中心特征矩阵之间的距离的最小值对应的聚类中心，该聚类中心对应的分类结果即为车载全景图像提取的特征矩阵对应的分类结果。
本发明与现有技术相比的有益效果是：
(1)本发明利用已经在大中城市中较为普遍的街景全景影像与愈加普及的车载全景相机来实现车辆定位，与需要双目视觉，设置多相机的常规立体视觉导航方法相比，现实性强，易于普及；
(2)本发明利用分别对车载全景相机成像与公开地图街景全景影像配准进行视觉定位，实现了在无GPS导航信号下的实时精确定位，使得具备全景相机的车辆可以在高楼林立、或大面积水域等GPS遭受强烈干扰的地点做到无缝定位；
(3)本发明依据建筑物立面垂直于地面这一先验知识，利用灭点确定地平线方向，对车载全景相机与街景全景地图中的全景影像进行了投影，构建矢量特征，与常规视觉导航对图像进行直接匹配相比，大幅度的降低了计算量，提高反应的灵敏度。
附图说明
图1为本发明流程图；
图2为本发明中基于霍夫变换与K均值聚类的建筑物立面提取方法流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行进一步的详细描述。
如图1所示为本发明的流程图，从图1可知，本发明提出的一种基于车载全景影像与街景地图匹配的视觉定位方法，具体步骤如下：
(1)获取街景影像，所述街景图像包括采取全景投影的街景影像和构成街景影像的中心投影图像；所述街景影像通过全景网络地图获取。
(2)利用步骤(1)中构成街景影像的中心投影图像，提取街景影像中的建筑物立面和立面特征线，所述立面特征线与地面垂直或平行；
首先对建筑物立面的特征和定义进行定义，假定建筑物立面为包含与地平面正交或平行的边的面，如屋檐、门、窗户等等，由日常经验可知，这个假定适用于绝大多数建筑物立面；因此我们不需要直接去探测建筑物的立面，只需要对影像中建筑物立面内的边进行检测，而这些边，就作为立面的特征线；
提取街景影像中的建筑物立面和立面特征线的流程如图2所述，具体步骤为：
(2-1)使用边缘检测算子，对构成街景影像的中心投影图像进行边缘检测，得到二值图像；
(2-2)对步骤(2-1)处理后的图像进行霍夫变换，搜索构成街景影像的中心投影图像中的直线，提取直线的斜率和截距；
(2-3)对步骤(2-2)中和提取的直线进行k均值聚类，聚类为一类的直线认定为一条直线，以该类聚类中心作为最终提取的直线；
(2-4)对步骤(2-3)中聚类后直线的斜率进行分类，确定直线间的相关平行关系，选取相互垂直且各自类内平行直线最多的两类作为建筑物边的初始解，并将初始解投影回全景影像。
(3)将步骤(2)中确定的建筑物立面投影在地面上，在街景影像中提取视线遮挡特征，构成视线遮挡特征库；具体步骤为：
(3-1)在每个摄影点，利用步骤(2)建筑物立面特征线中的平行线段分别两两求取灭点，在球形投影的全景影像中，原来平行的直线将不再平行，他们相交于一点，我们称之为灭点，
(3-2)采用RANSAC算法，得到水平灭点与垂直灭点的稳定解，同时剔除步骤(2)建筑物立面特征线中提取错误的立面特征线；
(3-3)利用步骤(3-2)确定的水平灭点与垂直灭点的稳定解，分别作水平线与垂直线，构建出相机坐标系，确定相机姿态；
(3-4)利用步骤(3-3)中确定的相机姿态，将水平灭点对应的平行线，按照垂直地面方向投影到地面上，得到二维拓扑图像；
(3-5)对步骤(3-4)得到的二维拓扑图像进行视线遮挡特征提取，构成视线遮挡特征向量；具体为：
(3-5-1)令每个摄影点的视线遮挡特征向量为D，所述D为一个B×N的矩阵，其中，B为由摄影点发射出的光线数量，N为深度方向最大的维度，所述深度为一条光线能够相交的立面数量；所述由摄影点发射出的光线数量B的取值范围为：12～36，深度方向最大的维度N的取值为范围：2～4；
为减少提出特征对建筑物立面法向量方向微小变化的敏感性，我们对每条光线设定1°的摆动范围，在范围内均匀分布5条光线，对光线进行分类，寻找出鲁棒的光线；
(3-5-2)计算由摄影点发射出的每一条光线与可视的建筑物立面的交会角度，若某一条光线未与建筑物立面相交，则该条光线在深度方向上的交会角度均记为-1，记录所有光线在深度方向上的交会角度，构成特征向量。
(3-6)重复步骤(3-1)～步骤(3-5)，遍历街景影像中的所有摄影点，构建视线遮挡特征库。
(4)对步骤(3)视线遮挡特征库中的视线遮挡特征进行聚类，获取聚类结果和各聚类结果的聚类中心；所述聚类算法为ISODATA算法，聚类中心的取值范围为：20～30。
(5)利用步骤(1)～步骤(3)的方法，获取车载全景图像的视线遮挡特征；
(6)确定车载街景图像摄影点范围，具体为：
通过上一时刻的车辆定位位置，根据车速V与定位频率f计算车辆偏离上一时刻位置的距离，所述距离S由公式：
S＝V/f
给出，
所述车载街景图像摄影点范围为以上一时刻的车辆定位位置为圆心，以M*S为半径的圆，所述M为常数，取值范围为：1.5～2；
(7)搜索步骤(3)视线遮挡特征库中位于步骤(6)车载街景图像摄影点范围内的视线遮挡特征，并确定各视线遮挡特征对应的聚类类别和聚类中心；
(8)利用步骤(5)中获得的车载全景图像的视线遮挡特征与步骤(7)中确定的位于车载街景图像摄影点范围内视线遮挡特征的聚类中心进行类型匹配，确定车载全景图像的视线遮挡特征的分类结果；具体为：
(8-1)令Dk,l为特征矩阵D的第k行第l列，n(Dk)为第k行非负角的数量，对由街景影像提取的某个聚类中心的特征矩阵Dj与旋转r角度后车载全景图像提取的特征矩阵Di，使用欧几里得距离计算两个特征矩阵的距离；所述旋转角度r由相邻光线之间的角度决定；
(8-2)车载全景图像提取的特征矩阵Di遍历所有方向，并将各方向下两个特征矩阵的距离进行累加，记为U；所述方向由相邻光线之间的角度决定；
(8-3)街景影像提取的特征矩阵Dj遍历所有方向，重复步骤(8-1)～步骤(8-2)，求得街景影像所有方向下U的最小值，作为两个特征矩阵的距离；
(8-4)遍历所有聚类中心，求得车载全景图像提取的特征矩阵与所有聚类中心特征矩阵之间的距离；
(8-5)选取步骤(8-4)中车载全景图像提取的特征矩阵与所有聚类中心特征矩阵之间的距离的最小值对应的聚类中心，该聚类中心对应的分类结果即为车载全景图像提取的特征矩阵对应的分类结果。
(9)利用步骤(5)中获得的车载全景图像的视线遮挡特征与步骤(8)中确定的分类结果对应的位于车载街景图像摄影点范围内视线遮挡特征进行进一步匹配，匹配方法同(8)，获取最终的匹配结果，进而确定车辆位置。
本领域普通技术人员可以理解，利用本发明可以进行无GPS条件下的视觉定位，且具有良好的定位精度。本发明的定位方法具有更广泛的适用范围，运算效率高，可行性好。
应当注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (8)

1.一种基于车载全景影像与街景地图匹配的视觉定位方法，其特征在于步骤如下：
(1)获取街景影像，所述街景图像包括采取全景投影的街景影像和构成街景影像的中心投影图像；
(2)利用步骤(1)中构成街景影像的中心投影图像，提取街景影像中的建筑物立面和立面特征线，所述立面特征线与地面垂直或平行；
(3)将步骤(2)中确定的建筑物立面投影在地面上，在街景影像中提取视线遮挡特征，构成视线遮挡特征库；
(4)对步骤(3)视线遮挡特征库中的视线遮挡特征进行聚类，获取聚类结果和各聚类结果的聚类中心；
(5)利用步骤(1)～步骤(3)的方法，获取车载全景图像的视线遮挡特征；
(6)确定车载街景图像摄影点范围，具体为：
通过上一时刻的车辆定位位置，根据车速V与定位频率f计算车辆偏离上一时刻位置的距离，所述距离S由公式：
S＝V/f
给出，
所述车载街景图像摄影点范围为以上一时刻的车辆定位位置为圆心，以M*S为半径的圆，所述M为常数，取值范围为：1.5～2；
(7)搜索步骤(3)视线遮挡特征库中位于步骤(6)车载街景图像摄影点范围内的视线遮挡特征，并确定各视线遮挡特征对应的聚类类别和聚类中心；
(8)利用步骤(5)中获得的车载全景图像的视线遮挡特征与步骤(7)中确定的位于车载街景图像摄影点范围内视线遮挡特征所属类别的聚类中心进行类型匹配，确定车载全景图像的视线遮挡特征的分类结果；
(9)利用步骤(5)中获得的车载全景图像的视线遮挡特征与步骤(8)中确定的分类结果对应的位于车载街景图像摄影点范围内视线遮挡特征进行进一步匹配，获取最终的匹配结果，进而确定车辆位置。
2.根据权利要求1所述的一种基于车载全景影像与街景地图匹配的视觉定位方法，其特征在于：所述步骤(1)中的街景影像通过全景网络地图获取。
3.根据权利要求1所述的一种基于车载全景影像与街景地图匹配的视觉定位方法，其特征在于：所述步骤(2)中利用步骤(1)中构成街景影像的中心投影图像，提取街景影像中的建筑物立面和立面特征线，具体步骤为：
(2-1)使用边缘检测算子，对构成街景影像的中心投影图像进行边缘检测，得到二值图像；
(2-2)对步骤(2-1)处理后的图像进行霍夫变换，搜索构成街景影像的中心投影图像中的直线，提取直线的斜率和截距；
(2-3)对步骤(2-2)中和提取的直线进行k均值聚类，以聚类中心作为最终提取的直线；
(2-4)对步骤(2-3)中聚类后直线的斜率进行分类，确定直线间的相关平行关系，选取相互垂直且各自类内平行直线最多的两类作为建筑物边的初始解，并将初始解投影回全景影像。
4.根据权利要求1所述的一种基于车载全景影像与街景地图匹配的视觉定位方法，其特征在于：所述步骤(3)中将步骤(2)中确定的建筑物立面投影在地面上，在街景影像中提取视线遮挡特征，构成特征库；具体步骤为：
(3-1)在每个摄影点，利用步骤(2)建筑物立面特征线中的平行线段分别两两求取灭点，
(3-2)采用RANSAC算法，得到水平灭点与垂直灭点的稳定解，同时剔除步骤(2)建筑物立面特征线中提取错误的立面特征线；
(3-3)利用步骤(3-2)确定的水平灭点与垂直灭点的稳定解，分别作水平线与垂直线，构建出相机坐标系，确定相机姿态；
(3-4)利用步骤(3-3)中确定的相机姿态，将水平灭点对应的平行线，按照对地垂直方向投影到地面上，得到二维拓扑图像；
(3-5)对步骤(3-4)得到的二维拓扑图像进行视线遮挡特征提取，构成视线遮挡特征向量；
(3-6)重复步骤(3-1)～步骤(3-5)，遍历街景影像中的所有摄影点，构建视线遮挡特征库。
5.根据权利要求4所述的一种基于车载全景影像与街景地图匹配的视觉定位方法，其特征在于：所述步骤(3-5)中对步骤(3-4)得到的二维拓扑图像进行视线遮挡特征提取，构成视线遮挡特征向量，具体为：
(3-5-1)令每个摄影点的视线遮挡特征向量为D，所述D为一个B×N的矩阵，其中，B为由摄影点发射出的光线数量，N为深度方向最大的维度，所述深度为一条光线能够相交的立面数量；
(3-5-2)计算由摄影点发射出的每一条光线与可视的建筑物立面的交会角度，若某一条光线未与建筑物立面相交，则该条光线在深度方向上的交会角度均记为-1，记录所有光线在深度方向上的交会角度，构成特征向量。
6.根据权利要求5所述的一种基于车载全景影像与街景地图匹配的视觉定位方法，其特征在于：所述由摄影点发射出的光线数量B的取值范围为：12～36，深度方向最大的维度N的取值为范围：2～4。
7.根据权利要求1所述的一种基于车载全景影像与街景地图匹配的视觉定位方法，其特征在于：所述步骤(4)中的聚类算法为ISODATA算法，聚类中心的取值范围为：20～30。
8.根据权利要求1所述的一种基于车载全景影像与街景地图匹配的视觉定位方法，其特征在于：所述步骤(8)中利用步骤(5)中获得的车载全景图像的视线遮挡特征与步骤(7)中确定的位于车载街景图像摄影点范围内视线遮挡特征的聚类中心进行类型匹配，确定车载全景图像的视线遮挡特征的分类结果；具体为：
(8-1)令Dk,l为特征矩阵D的第k行第l列，n(Dk)为第k行非负角的数量，对由街景影像提取的某个聚类中心的特征矩阵Dj与旋转r角度后车载全景图像提取的特征矩阵Di，使用欧几里得距离计算两个特征矩阵的距离；所述旋转角度r由相邻光线之间的角度决定；
(8-2)车载全景图像提取的特征矩阵Di遍历所有方向，并将各方向下两个特征矩阵的距离进行累加，记为U；所述方向由相邻光线之间的角度决定；
(8-3)街景影像提取的特征矩阵Dj遍历所有方向，重复步骤(8-1)～步骤(8-2)，求得街景影像所有方向下，U的最小值，作为两个特征矩阵的距离；
(8-4)遍历所有聚类中心，求得车载全景图像提取的特征矩阵与所有聚类中心特征矩阵之间的距离；
(8-5)选取步骤(8-4)中车载全景图像提取的特征矩阵与所有聚类中心特征矩阵之间的距离的最小值对应的聚类中心，该聚类中心对应的分类结果即为车载全景图像提取的特征矩阵对应的分类结果。
CN201510094595.6A 2015-03-03 2015-03-03 一种基于车载全景影像与街景地图匹配的视觉定位方法 Active CN104729485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510094595.6A CN104729485B (zh) 2015-03-03 2015-03-03 一种基于车载全景影像与街景地图匹配的视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510094595.6A CN104729485B (zh) 2015-03-03 2015-03-03 一种基于车载全景影像与街景地图匹配的视觉定位方法

Publications (2)

Publication Number Publication Date
CN104729485A true CN104729485A (zh) 2015-06-24
CN104729485B CN104729485B (zh) 2016-11-30

Family

ID=53453609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510094595.6A Active CN104729485B (zh) 2015-03-03 2015-03-03 一种基于车载全景影像与街景地图匹配的视觉定位方法

Country Status (1)

Country Link
CN (1) CN104729485B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105371847A (zh) * 2015-10-27 2016-03-02 深圳大学 一种室内实景导航方法及系统
CN106371114A (zh) * 2015-07-23 2017-02-01 现代自动车株式会社 用于车辆的定位设备和方法
CN106799993A (zh) * 2017-01-09 2017-06-06 智车优行科技（北京）有限公司 街景采集方法和系统、车辆
CN106908043A (zh) * 2017-02-23 2017-06-30 周良辰 基于街景图片的目标物地理位置及高度的三维量测算方法
CN107024216A (zh) * 2017-03-14 2017-08-08 重庆邮电大学 引入全景地图的智能车辆融合定位系统及方法
CN107063238A (zh) * 2017-05-17 2017-08-18 上海移为通信技术股份有限公司 基于云服务器的预估导航定位方法及系统
CN107084727A (zh) * 2017-04-12 2017-08-22 武汉理工大学 一种基于高精度三维地图的视觉定位系统及方法
CN108088420A (zh) * 2016-11-23 2018-05-29 北京地林远景信息技术有限公司 天地图/谷歌地图配合地面摄影测量摄站影像覆盖估算方法
CN108225346A (zh) * 2016-12-15 2018-06-29 现代自动车株式会社 车辆定位装置和方法
CN109073390A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 一种定位方法及装置、电子设备和可读存储介质
CN109478334A (zh) * 2016-07-20 2019-03-15 富士胶片株式会社 关注位置识别装置、摄像装置、显示装置、关注位置识别方法及程序
CN109520500A (zh) * 2018-10-19 2019-03-26 南京航空航天大学 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN111931702A (zh) * 2020-09-14 2020-11-13 宁波均联智行科技有限公司 一种基于眼球追踪的目标推送方法、系统、设备
CN112466142A (zh) * 2020-11-13 2021-03-09 浙江吉利控股集团有限公司 一种车辆调度方法、装置、系统及存储介质
CN113008252A (zh) * 2021-04-15 2021-06-22 西华大学 基于全景照片的高精度导航装置及导航方法
US11308637B2 (en) 2018-12-12 2022-04-19 Wistron Corporation Distance detection method, distance detection system and computer program product

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202928589U (zh) * 2012-11-26 2013-05-08 华南理工大学 一种基于双摄像头的实时实景匹配车载导航装置
CN103136720A (zh) * 2013-03-12 2013-06-05 中科院微电子研究所昆山分所 车载360度全景拼接方法
CN103632538A (zh) * 2013-12-17 2014-03-12 重庆交通大学 道路3d实景采集系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202928589U (zh) * 2012-11-26 2013-05-08 华南理工大学 一种基于双摄像头的实时实景匹配车载导航装置
CN103136720A (zh) * 2013-03-12 2013-06-05 中科院微电子研究所昆山分所 车载360度全景拼接方法
CN103632538A (zh) * 2013-12-17 2014-03-12 重庆交通大学 道路3d实景采集系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李海丰: "城市环境中移动机器人视觉定位研究", 《中国博士学位论文全文数据库 信息科技辑》 *
王玉全: "基于全景视觉的移动机器人同时定位与地图创建方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
陈放: "道路交通标线检测识别与建图方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371114A (zh) * 2015-07-23 2017-02-01 现代自动车株式会社 用于车辆的定位设备和方法
CN105371847A (zh) * 2015-10-27 2016-03-02 深圳大学 一种室内实景导航方法及系统
CN105371847B (zh) * 2015-10-27 2018-06-29 深圳大学 一种室内实景导航方法及系统
CN109478334B (zh) * 2016-07-20 2021-04-20 富士胶片株式会社 关注位置识别装置、摄像装置、显示装置、关注位置识别方法及非暂时性有形介质
CN109478334A (zh) * 2016-07-20 2019-03-15 富士胶片株式会社 关注位置识别装置、摄像装置、显示装置、关注位置识别方法及程序
CN108088420A (zh) * 2016-11-23 2018-05-29 北京地林远景信息技术有限公司 天地图/谷歌地图配合地面摄影测量摄站影像覆盖估算方法
CN108225346B (zh) * 2016-12-15 2022-09-06 现代自动车株式会社 车辆定位装置和方法
CN108225346A (zh) * 2016-12-15 2018-06-29 现代自动车株式会社 车辆定位装置和方法
CN106799993A (zh) * 2017-01-09 2017-06-06 智车优行科技（北京）有限公司 街景采集方法和系统、车辆
CN106799993B (zh) * 2017-01-09 2021-06-11 智车优行科技（北京）有限公司 街景采集方法和系统、车辆
CN106908043A (zh) * 2017-02-23 2017-06-30 周良辰 基于街景图片的目标物地理位置及高度的三维量测算方法
CN107024216A (zh) * 2017-03-14 2017-08-08 重庆邮电大学 引入全景地图的智能车辆融合定位系统及方法
CN107084727A (zh) * 2017-04-12 2017-08-22 武汉理工大学 一种基于高精度三维地图的视觉定位系统及方法
CN107063238A (zh) * 2017-05-17 2017-08-18 上海移为通信技术股份有限公司 基于云服务器的预估导航定位方法及系统
CN109073390A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 一种定位方法及装置、电子设备和可读存储介质
CN109520500B (zh) * 2018-10-19 2020-10-20 南京航空航天大学 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN109520500A (zh) * 2018-10-19 2019-03-26 南京航空航天大学 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
US11308637B2 (en) 2018-12-12 2022-04-19 Wistron Corporation Distance detection method, distance detection system and computer program product
CN111931702A (zh) * 2020-09-14 2020-11-13 宁波均联智行科技有限公司 一种基于眼球追踪的目标推送方法、系统、设备
CN112466142A (zh) * 2020-11-13 2021-03-09 浙江吉利控股集团有限公司 一种车辆调度方法、装置、系统及存储介质
CN112466142B (zh) * 2020-11-13 2022-06-21 浙江吉利控股集团有限公司 一种车辆调度方法、装置、系统及存储介质
CN113008252A (zh) * 2021-04-15 2021-06-22 西华大学 基于全景照片的高精度导航装置及导航方法
CN113008252B (zh) * 2021-04-15 2023-08-22 东莞市异领电子有限公司 基于全景照片的高精度导航装置及导航方法

Also Published As

Publication number Publication date
CN104729485B (zh) 2016-11-30

Similar Documents

Publication Publication Date Title
CN104729485B (zh) 一种基于车载全景影像与街景地图匹配的视觉定位方法
CN110084272B (zh) 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
WO2021004548A1 (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN108303721B (zh) 一种车辆定位方法及系统
CN105667518B (zh) 车道检测的方法及装置
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
CN108171131B (zh) 基于改进MeanShift的Lidar点云数据道路标识线提取方法
CN109099901A (zh) 基于多源数据融合的全自动压路机定位方法
CN109583409A (zh) 一种面向认知地图的智能车定位方法及系统
CN105512646A (zh) 一种数据处理方法、装置及终端
GB2613692A (en) Systems and methods for vehicle navigation
JP2009053059A (ja) 対象特定装置、対象特定方法および対象特定プログラム
Cao et al. Camera to map alignment for accurate low-cost lane-level scene interpretation
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN109685855A (zh) 一种道路云监控平台下的摄像机标定优化方法
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
US11846520B2 (en) Method and device for determining a vehicle position
KR20220064524A (ko) 이미지 기반 측위 방법 및 시스템
CN101620672B (zh) 一种利用立体地标定位识别地面立体建筑物的方法
CN112749584B (zh) 一种基于图像检测的车辆定位方法及车载终端
David et al. Orientation descriptors for localization in urban environments
CN109241855A (zh) 基于立体视觉的智能车辆可行驶区域探测方法
CN103759724A (zh) 一种基于灯饰特征的室内导航方法及系统
US20190293444A1 (en) Lane level accuracy using vision of roadway lights and particle filter
KR20170015754A (ko) 스카이라인을 이용한 차량의 측위 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant