CN109099929A - 基于场景指纹的智能车定位装置及方法 - Google Patents

基于场景指纹的智能车定位装置及方法 Download PDF

Info

Publication number
CN109099929A
CN109099929A CN201810770192.2A CN201810770192A CN109099929A CN 109099929 A CN109099929 A CN 109099929A CN 201810770192 A CN201810770192 A CN 201810770192A CN 109099929 A CN109099929 A CN 109099929A
Authority
CN
China
Prior art keywords
forward sight
eigenmatrix
point
determined
sight image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810770192.2A
Other languages
English (en)
Other versions
CN109099929B (zh
Inventor
胡钊政
张帆
王相龙
陶倩文
蔡浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201810770192.2A priority Critical patent/CN109099929B/zh
Publication of CN109099929A publication Critical patent/CN109099929A/zh
Application granted granted Critical
Publication of CN109099929B publication Critical patent/CN109099929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供一种基于场景指纹的智能车定位方法，采用试验车对行车线路进行数据采集，每隔固定距离设置一个节点，记录每个节点的GPS信息和在节点位置拍摄的前视图像信息；将采集的前视图像信息输入训练好的神经网络模型中，提取图像中各类目标的概率值，构造一维的特征矩阵；将节点的GPS信息和对应前视图像信息的特征矩阵融合，构成场景指纹地图；从场景指纹地图中筛选出待定位点周围的节点作为候选节点；构建待定位点前视图像的特征矩阵；将待定位点与候选节点前视图像的特征矩阵计算相似度，选取相似度最大的候选节点作为最终定位节点。本发明能够提高车辆定位的精度和效率，并降低成本。

Description

基于场景指纹的智能车定位装置及方法
技术领域
本发明属于智能车定位技术领域，具体涉及一种基于场景指纹的智能车定位装置及方法。
背景技术
目前实现车辆定位的方法有：1)基于全球定位系统(GPS)的车辆定位2)基于光检测和测距(LiDAR)的车辆定位3)基于视觉的车辆定位。其中GPS系统以其成本低、鲁棒性强被广泛用于车辆定位，但是无法满足高精度定位要求，而且经常会出现GPS信号被遮挡的情况；而基于LiDAR的定位方法传感器昂贵，适应性较差。
基于视觉的本地化包括两种主要方法：VSLAM(视觉SLAM)和基于地图的定位。其中VSLAM存在闭环检测问题等缺陷。基于地图的车辆定位采用从粗到精的策略来实现车辆定位。地点识别在车辆定位中扮演着重要的角色。传统的方法通过匹配ORB、SIFT和SURF等局部特征描述符来实现位置识别。但是地图数据包含多维局部特征，需要极大的数据存储空间，而且效率低下。
发明内容
本发明要解决的技术问题为：提供一种基于场景指纹的智能车定位装置及方法，提高车辆定位的精度、效率，并降低成本。
本发明为解决上述技术问题所采取的技术方案为：一种基于场景指纹的智能车定位方法，其特征在于：它包括以下步骤：
S1、构建场景指纹地图：
采用安设有GPS系统和摄像机的试验车对行车线路进行数据采集，每隔固定距离设置一个节点，记录每个节点的GPS信息和在节点位置拍摄的前视图像信息；
将采集的前视图像信息输入训练好的神经网络模型中，提取图像中各类目标的概率值，按照一定的规律构造一维的特征矩阵，特征矩阵公式如下：
P＝[P1 P2 ··· PN]
其中P1 P2 ··· PN分别为图像中第1至第N类目标的概率，矩阵中各元素的和等于1；
将节点的GPS信息和对应前视图像信息的特征矩阵融合，构成场景指纹地图；
S2、GPS粗定位：
安设有GPS系统和摄像机的待定位车行驶至待定位点，利用待定位车自身的GPS系统和摄像机获得待定位点的GPS坐标和待定位点前视图像；待定位车的摄像机与试验车的摄像机安设位置和视角均相同；
设置距离阈值k，从所述的场景指纹地图中筛选出待定位点周围距离k范围内的所有节点作为候选节点；
S3、构建待定位点前视图像的特征矩阵：
将待定位点前视图像输入所述的训练好的神经网络模型，提取待定位点前视图像中各类目标的概率值，按照所述的一定的规律构造一维的特征矩阵，即为待定位点前视图像的特征矩阵；
S4、确定最终定位节点：
将待定位点前视图像的特征矩阵，分别与所有候选节点前视图像的特征矩阵，进行相关度匹配，计算相似度，选取相似度最大的候选节点作为最终定位节点；
相似度计算公式如下：
公式中，ri为第i个候选节点与待定位点之间的相似度；A为待定位点前视图像的特征矩阵；Bi为第i个候选节点前视图像的特征矩阵；和σA分别为第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵中各元素的方差；COV(Bi,A)是指第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵的协方差。
按上述方法，S1中所述的固定距离小于5米。
按上述方法，S2中所述的k小于10米。
一种基于场景指纹的智能车定位装置，其特征在于：它包括设置在待定位车上的GPS系统、水平安装在待定位车前端的摄像机、以及数据处理单元；所述的GPS系统和摄像机的输出端分别与数据处理单元连接，数据处理单元用于完成所述的基于场景指纹的智能车定位方法。
按上述方案，所述的摄像机通过固定支架安装在待定位车前端。
按上述方案，所述的数据处理单元为车载工控机。
按上述方案，本装置还包括与数据处理单元连接的显示器。
本发明的有益效果为：通过GPS和摄像机的结合，并且只需要一个摄像机获取前视图像，成本低；通过预先构建的场景指纹地图配合GPS实现对待定位车的定位，再通过摄像机采集的前视图像中局部特征的视角，确定待定位点与节点之间的位姿关系，提高定位效率，并且精度高。
附图说明
图1为本发明一实施例的方法流程图。
图2为粗定位示意图。
图3为构建特征矩阵示意图。
图4为本发明一实施例的装置示意图。
图中：1-场景指纹地图，2-待定位点，3-候选节点，4-待定位车，5-摄像机，6-GPS系统，7-显示器，8-车载工控机。
具体实施方式
下面结合具体实例和附图对本发明做进一步说明。
本发明提供一种基于场景指纹的智能车定位方法，如图1所示，它包括以下步骤：
S1、构建场景指纹地图：
采用安设有GPS系统和摄像机的试验车对行车线路进行数据采集，每隔固定距离设置一个节点，记录每个节点的GPS信息和在节点位置拍摄的前视图像信息；将采集的前视图像信息输入训练好的神经网络模型中，提取图像中各类目标的概率值，按照一定的规律构造一维的特征矩阵，特征矩阵公式如下：
P＝[P1 P2 ··· PN]
其中P1 P2 ··· PN分别为图像中第1至第N类目标的概率，矩阵中各元素的和等于1。
将节点的GPS信息和对应前视图像信息的特征矩阵融合，构成场景指纹地图。
本实施例中，首先将实验车开至某一路段，将GPS系统安装于车顶，固定好摄像机，并调整好摄像机的工作角度，检查连接好线路。沿某一路线行驶1000米，每隔固定距离(小于5米)作为一个节点，记录节点的GPS信息和在节点位置拍摄的前视图像信息。
S2、GPS粗定位：
安设有GPS系统和摄像机的待定位车行驶至待定位点，利用待定位车自身的GPS系统和摄像机获得待定位点的GPS坐标和待定位点前视图像；待定位车的摄像机与试验车的摄像机安设位置和视角均相同。设置距离阈值k，从所述的场景指纹地图1中筛选出待定位点2周围距离k范围内的所有节点作为候选节点3，如图2所示。
本实施例中，将待定位车开至已经采集了节点信息的路段，任意选择某一点设置为起点，以某一适当速度行驶，在待定位车定位过程中，从S1建立的场景指纹地图中选取距离待定位点小于10米的节点作为候选节点。
S3、构建待定位点前视图像的特征矩阵：
如图3所示，将待定位点前视图像输入所述的训练好的神经网络模型，提取待定位点前视图像中各类目标的概率值，按照所述的一定的规律构造一维的特征矩阵，即为待定位点前视图像的特征矩阵。
本实施例中，选取待定位车运动到待定位点前后各10帧的图像，将图像分割成224x224像素大小，输入训练好的神经网络模型，得到图像中出现一千个不同种类目标各自的概率值，按照所述的一定的规律赋值给待定位点前视图像的特征矩阵A中的各个元素，公式如下：
A＝[P1 P2 ... P1000]
S4、确定最终定位节点：
将待定位点前视图像的特征矩阵，分别与所有候选节点前视图像的特征矩阵，进行相关度匹配，计算相似度，选取相似度最大的候选节点作为最终定位节点；
相似度计算公式如下：
公式中，ri为第i个候选节点与待定位点之间的相似度；A为待定位点前视图像的特征矩阵；Bi为第i个候选节点前视图像的特征矩阵；和σA分别为第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵中各元素的方差；COV(Bi,A)是指第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵的协方差。
一种基于场景指纹的智能车定位装置，如图4所示，它包括设置在待定位车4上的GPS系统6，通过固定支架水平安装在待定位车前端的摄像机5，以及数据处理单元。所述的GPS系统6和摄像机5的输出端分别与数据处理单元连接，数据处理单元用于完成所述的基于场景指纹的智能车定位方法。本实施例中，所述的数据处理单元为车载工控机8，还包括与数据处理单元连接的显示器7。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (7)

1.一种基于场景指纹的智能车定位方法，其特征在于：它包括以下步骤：
S1、构建场景指纹地图：
采用安设有GPS系统和摄像机的试验车对行车线路进行数据采集，每隔固定距离设置一个节点，记录每个节点的GPS信息和在节点位置拍摄的前视图像信息；
将采集的前视图像信息输入训练好的神经网络模型中，提取图像中各类目标的概率值，按照一定的规律构造一维的特征矩阵，特征矩阵公式如下：
P＝[P1 P2 ··· PN]
其中P1 P2 ··· PN分别为图像中第1至第N类目标的概率，矩阵中各元素的和等于1；
将节点的GPS信息和对应前视图像信息的特征矩阵融合，构成场景指纹地图；
S2、GPS粗定位：
安设有GPS系统和摄像机的待定位车行驶至待定位点，利用待定位车自身的GPS系统和摄像机获得待定位点的GPS坐标和待定位点前视图像；待定位车的摄像机与试验车的摄像机安设位置和视角均相同；
设置距离阈值k，从所述的场景指纹地图中筛选出待定位点周围距离k范围内的所有节点作为候选节点；
S3、构建待定位点前视图像的特征矩阵：
将待定位点前视图像输入所述的训练好的神经网络模型，提取待定位点前视图像中各类目标的概率值，按照所述的一定的规律构造一维的特征矩阵，即为待定位点前视图像的特征矩阵；
S4、确定最终定位节点：
将待定位点前视图像的特征矩阵，分别与所有候选节点前视图像的特征矩阵，进行相关度匹配，计算相似度，选取相似度最大的候选节点作为最终定位节点；
相似度计算公式如下：
公式中，ri为第i个候选节点与待定位点之间的相似度；A为待定位点前视图像的特征矩阵；Bi为第i个候选节点前视图像的特征矩阵；和σA分别为第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵中各元素的方差；COV(Bi,A)是指第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵的协方差。
2.根据权利要求1所述的基于场景指纹的智能车定位方法，其特征在于：S1中所述的固定距离小于5米。
3.根据权利要求1所述的基于场景指纹的智能车定位方法，其特征在于：S2中所述的k小于10米。
4.一种基于场景指纹的智能车定位装置，其特征在于：它包括设置在待定位车上的GPS系统、水平安装在待定位车前端的摄像机、以及数据处理单元；所述的GPS系统和摄像机的输出端分别与数据处理单元连接，数据处理单元用于完成权利要求1所述的基于场景指纹的智能车定位方法。
5.根据权利要求4所述的基于场景指纹的智能车定位装置，其特征在于：所述的摄像机通过固定支架安装在待定位车前端。
6.根据权利要求4所述的基于场景指纹的智能车定位装置，其特征在于：所述的数据处理单元为车载工控机。
7.根据权利要求4所述的基于场景指纹的智能车定位装置，其特征在于：本装置还包括与数据处理单元连接的显示器。
CN201810770192.2A 2018-07-13 2018-07-13 基于场景指纹的智能车定位装置及方法 Active CN109099929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810770192.2A CN109099929B (zh) 2018-07-13 2018-07-13 基于场景指纹的智能车定位装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810770192.2A CN109099929B (zh) 2018-07-13 2018-07-13 基于场景指纹的智能车定位装置及方法

Publications (2)

Publication Number Publication Date
CN109099929A true CN109099929A (zh) 2018-12-28
CN109099929B CN109099929B (zh) 2021-10-15

Family

ID=64846453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810770192.2A Active CN109099929B (zh) 2018-07-13 2018-07-13 基于场景指纹的智能车定位装置及方法

Country Status (1)

Country Link
CN (1) CN109099929B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110927743A (zh) * 2019-12-05 2020-03-27 武汉理工大学 一种基于多线激光点云极化表征的智能车定位方法
CN110954933A (zh) * 2019-12-09 2020-04-03 王相龙 一种基于场景dna的移动平台定位装置及方法
CN111323024A (zh) * 2020-02-10 2020-06-23 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111983582A (zh) * 2020-08-14 2020-11-24 北京埃福瑞科技有限公司 列车的定位方法及系统
WO2021057744A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN112629532A (zh) * 2019-10-08 2021-04-09 宏碁股份有限公司 提升准确率之室内定位方法及应用其之行动装置
CN113721254A (zh) * 2021-08-11 2021-11-30 武汉理工大学 一种基于道路指纹空间关联矩阵的车辆定位方法
CN114299462A (zh) * 2021-12-28 2022-04-08 湖北工业大学 一种基于锚点图像的地下停车场多尺度场景识别方法
CN114898320A (zh) * 2022-05-30 2022-08-12 西南交通大学 一种基于YOLO v5的列车定位方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960591A (zh) * 2017-03-31 2017-07-18 武汉理工大学 一种基于路面指纹的车辆高精度定位装置及方法
US20170249504A1 (en) * 2016-02-29 2017-08-31 Toyota Jidosha Kabushiki Kaisha Autonomous Human-Centric Place Recognition
CN107131883A (zh) * 2017-04-26 2017-09-05 中山大学 基于视觉的全自动移动终端室内定位系统
CN107907124A (zh) * 2017-09-30 2018-04-13 杭州迦智科技有限公司 基于场景重识的定位方法、电子设备、存储介质、系统
CN108170751A (zh) * 2017-12-21 2018-06-15 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170249504A1 (en) * 2016-02-29 2017-08-31 Toyota Jidosha Kabushiki Kaisha Autonomous Human-Centric Place Recognition
CN106960591A (zh) * 2017-03-31 2017-07-18 武汉理工大学 一种基于路面指纹的车辆高精度定位装置及方法
CN107131883A (zh) * 2017-04-26 2017-09-05 中山大学 基于视觉的全自动移动终端室内定位系统
CN107907124A (zh) * 2017-09-30 2018-04-13 杭州迦智科技有限公司 基于场景重识的定位方法、电子设备、存储介质、系统
CN108170751A (zh) * 2017-12-21 2018-06-15 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TAYYAB NASEER等: "Robust Visual Localization Across Seasons", 《IEEE TRANSACTIONS ON ROBOTICS》 *
YICHENG LI等: "Image Sequence Matching Using Both Holistic and Local Features for Loop Closure Detection", 《IEEE ACCESS》 *
李祎承等: "基于GPS 与图像融合的智能车辆高精度定位算法", 《交通运输系统工程与信息》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057744A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN112629532A (zh) * 2019-10-08 2021-04-09 宏碁股份有限公司 提升准确率之室内定位方法及应用其之行动装置
CN112629532B (zh) * 2019-10-08 2023-10-20 宏碁股份有限公司 提升准确率之室内定位方法及应用其之行动装置
CN110927743A (zh) * 2019-12-05 2020-03-27 武汉理工大学 一种基于多线激光点云极化表征的智能车定位方法
CN110954933A (zh) * 2019-12-09 2020-04-03 王相龙 一种基于场景dna的移动平台定位装置及方法
CN111323024B (zh) * 2020-02-10 2022-11-15 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111323024A (zh) * 2020-02-10 2020-06-23 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111983582A (zh) * 2020-08-14 2020-11-24 北京埃福瑞科技有限公司 列车的定位方法及系统
CN113721254B (zh) * 2021-08-11 2023-10-17 武汉理工大学 一种基于道路指纹空间关联矩阵的车辆定位方法
CN113721254A (zh) * 2021-08-11 2021-11-30 武汉理工大学 一种基于道路指纹空间关联矩阵的车辆定位方法
CN114299462A (zh) * 2021-12-28 2022-04-08 湖北工业大学 一种基于锚点图像的地下停车场多尺度场景识别方法
CN114299462B (zh) * 2021-12-28 2024-04-23 湖北工业大学 一种基于锚点图像的地下停车场多尺度场景识别方法
CN114898320A (zh) * 2022-05-30 2022-08-12 西南交通大学 一种基于YOLO v5的列车定位方法及系统
CN114898320B (zh) * 2022-05-30 2023-07-28 西南交通大学 一种基于YOLO v5的列车定位方法及系统

Also Published As

Publication number Publication date
CN109099929B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN109099929A (zh) 基于场景指纹的智能车定位装置及方法
CN111145545B (zh) 基于深度学习的道路交通行为无人机监测系统及方法
US11430199B2 (en) Feature recognition assisted super-resolution method
CN110285793A (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN103164706B (zh) 基于视频信号分析的对象计数方法与装置
US11288820B2 (en) System and method for transforming video data into directional object count
Nguyen et al. Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system
CN107798691B (zh) 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
Hinz et al. Car detection in aerial thermal images by local and global evidence accumulation
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN112507845B (zh) 基于CenterNet与深度关联矩阵的行人多目标跟踪方法
CN106504274A (zh) 一种基于红外摄像头下的视觉跟踪方法及系统
Liu et al. Deep-learning and depth-map based approach for detection and 3-D localization of small traffic signs
Yang et al. Detecting small objects in urban settings using SlimNet model
CN115205382A (zh) 目标物定位方法以及装置
CN115273005A (zh) 一种基于改进yolo算法的视觉导航车环境感知方法
CN103530612B (zh) 基于少量样本的快速目标检测方法
Buyval et al. Road sign detection and localization based on camera and lidar data
CN116758311A (zh) 一种适合弱光环境的视觉slam构建方法
Lee et al. Vehicle counting based on a stereo vision depth maps for parking management
CN115482257A (zh) 一种融合深度学习特征光流与双目视觉的运动估计方法
CN116917936A (zh) 双目相机外参标定的方法及装置
CN114332174A (zh) 轨迹图像对齐方法、装置、计算机设备以及存储介质
CN106874837A (zh) 一种基于视频图像处理的车辆检测方法
Lashkov et al. Edge-Computing-Empowered Vehicle Tracking and Speed Estimation Against Strong Image Vibrations Using Surveillance Monocular Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant