CN109099929B - 基于场景指纹的智能车定位装置及方法 - Google Patents

基于场景指纹的智能车定位装置及方法 Download PDF

Info

Publication number
CN109099929B
CN109099929B CN201810770192.2A CN201810770192A CN109099929B CN 109099929 B CN109099929 B CN 109099929B CN 201810770192 A CN201810770192 A CN 201810770192A CN 109099929 B CN109099929 B CN 109099929B
Authority
CN
China
Prior art keywords
image
point
node
characteristic matrix
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810770192.2A
Other languages
English (en)
Other versions
CN109099929A (zh
Inventor
胡钊政
张帆
王相龙
陶倩文
蔡浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201810770192.2A priority Critical patent/CN109099929B/zh
Publication of CN109099929A publication Critical patent/CN109099929A/zh
Application granted granted Critical
Publication of CN109099929B publication Critical patent/CN109099929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system

Abstract

本发明提供一种基于场景指纹的智能车定位方法，采用试验车对行车线路进行数据采集，每隔固定距离设置一个节点，记录每个节点的GPS信息和在节点位置拍摄的前视图像信息；将采集的前视图像信息输入训练好的神经网络模型中，提取图像中各类目标的概率值，构造一维的特征矩阵；将节点的GPS信息和对应前视图像信息的特征矩阵融合，构成场景指纹地图；从场景指纹地图中筛选出待定位点周围的节点作为候选节点；构建待定位点前视图像的特征矩阵；将待定位点与候选节点前视图像的特征矩阵计算相似度，选取相似度最大的候选节点作为最终定位节点。本发明能够提高车辆定位的精度和效率，并降低成本。

Description

基于场景指纹的智能车定位装置及方法
技术领域
本发明属于智能车定位技术领域，具体涉及一种基于场景指纹的智能车定位装置及方法。
背景技术
目前实现车辆定位的方法有：1)基于全球定位系统(GPS)的车辆定位2)基于光检测和测距(LiDAR)的车辆定位3)基于视觉的车辆定位。其中GPS系统以其成本低、鲁棒性强被广泛用于车辆定位，但是无法满足高精度定位要求，而且经常会出现GPS信号被遮挡的情况；而基于LiDAR的定位方法传感器昂贵，适应性较差。
基于视觉的本地化包括两种主要方法：VSLAM(视觉SLAM)和基于地图的定位。其中VSLAM存在闭环检测问题等缺陷。基于地图的车辆定位采用从粗到精的策略来实现车辆定位。地点识别在车辆定位中扮演着重要的角色。传统的方法通过匹配ORB、SIFT和SURF等局部特征描述符来实现位置识别。但是地图数据包含多维局部特征，需要极大的数据存储空间，而且效率低下。
发明内容
本发明要解决的技术问题为：提供一种基于场景指纹的智能车定位装置及方法，提高车辆定位的精度、效率，并降低成本。
本发明为解决上述技术问题所采取的技术方案为：一种基于场景指纹的智能车定位方法，其特征在于：它包括以下步骤：
S1、构建场景指纹地图：
采用安设有GPS系统和摄像机的试验车对行车线路进行数据采集，每隔固定距离设置一个节点，记录每个节点的GPS信息和在节点位置拍摄的前视图像信息；
将采集的前视图像信息输入训练好的神经网络模型中，提取图像中各类目标的概率值，按照一定的规律构造一维的特征矩阵，特征矩阵公式如下：
P＝[P1 P2 ··· PN]
其中P1 P2 ··· PN分别为图像中第1至第N类目标的概率，矩阵中各元素的和等于1；
将节点的GPS信息和对应前视图像信息的特征矩阵融合，构成场景指纹地图；
S2、GPS粗定位：
安设有GPS系统和摄像机的待定位车行驶至待定位点，利用待定位车自身的GPS系统和摄像机获得待定位点的GPS坐标和待定位点前视图像；待定位车的摄像机与试验车的摄像机安设位置和视角均相同；
设置距离阈值k，从所述的场景指纹地图中筛选出待定位点周围距离k范围内的所有节点作为候选节点；
S3、构建待定位点前视图像的特征矩阵：
将待定位点前视图像输入所述的训练好的神经网络模型，提取待定位点前视图像中各类目标的概率值，按照所述的一定的规律构造一维的特征矩阵，即为待定位点前视图像的特征矩阵；
S4、确定最终定位节点：
将待定位点前视图像的特征矩阵，分别与所有候选节点前视图像的特征矩阵，进行相关度匹配，计算相似度，选取相似度最大的候选节点作为最终定位节点；
相似度计算公式如下：
Figure BDA0001730058760000021
公式中，ri为第i个候选节点与待定位点之间的相似度；A为待定位点前视图像的特征矩阵；Bi为第i个候选节点前视图像的特征矩阵；
Figure BDA0001730058760000022
和σA分别为第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵中各元素的方差；COV(Bi,A)是指第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵的协方差。
按上述方法，S1中所述的固定距离小于5米。
按上述方法，S2中所述的k小于10米。
一种基于场景指纹的智能车定位装置，其特征在于：它包括设置在待定位车上的GPS系统、水平安装在待定位车前端的摄像机、以及数据处理单元；所述的GPS系统和摄像机的输出端分别与数据处理单元连接，数据处理单元用于完成所述的基于场景指纹的智能车定位方法。
按上述方案，所述的摄像机通过固定支架安装在待定位车前端。
按上述方案，所述的数据处理单元为车载工控机。
按上述方案，本装置还包括与数据处理单元连接的显示器。
本发明的有益效果为：通过GPS和摄像机的结合，并且只需要一个摄像机获取前视图像，成本低；通过预先构建的场景指纹地图配合GPS实现对待定位车的定位，再通过摄像机采集的前视图像中局部特征的视角，确定待定位点与节点之间的位姿关系，提高定位效率，并且精度高。
附图说明
图1为本发明一实施例的方法流程图。
图2为粗定位示意图。
图3为构建特征矩阵示意图。
图4为本发明一实施例的装置示意图。
图中：1-场景指纹地图，2-待定位点，3-候选节点，4-待定位车，5-摄像机，6-GPS系统，7-显示器，8-车载工控机。
具体实施方式
下面结合具体实例和附图对本发明做进一步说明。
本发明提供一种基于场景指纹的智能车定位方法，如图1所示，它包括以下步骤：
S1、构建场景指纹地图：
采用安设有GPS系统和摄像机的试验车对行车线路进行数据采集，每隔固定距离设置一个节点，记录每个节点的GPS信息和在节点位置拍摄的前视图像信息；将采集的前视图像信息输入训练好的神经网络模型中，提取图像中各类目标的概率值，按照一定的规律构造一维的特征矩阵，特征矩阵公式如下：
P＝[P1 P2 ··· PN]
其中P1 P2 ··· PN分别为图像中第1至第N类目标的概率，矩阵中各元素的和等于1。
将节点的GPS信息和对应前视图像信息的特征矩阵融合，构成场景指纹地图。
本实施例中，首先将实验车开至某一路段，将GPS系统安装于车顶，固定好摄像机，并调整好摄像机的工作角度，检查连接好线路。沿某一路线行驶1000米，每隔固定距离(小于5米)作为一个节点，记录节点的GPS信息和在节点位置拍摄的前视图像信息。
S2、GPS粗定位：
安设有GPS系统和摄像机的待定位车行驶至待定位点，利用待定位车自身的GPS系统和摄像机获得待定位点的GPS坐标和待定位点前视图像；待定位车的摄像机与试验车的摄像机安设位置和视角均相同。设置距离阈值k，从所述的场景指纹地图1中筛选出待定位点2周围距离k范围内的所有节点作为候选节点3，如图2所示。
本实施例中，将待定位车开至已经采集了节点信息的路段，任意选择某一点设置为起点，以某一适当速度行驶，在待定位车定位过程中，从S1建立的场景指纹地图中选取距离待定位点小于10米的节点作为候选节点。
S3、构建待定位点前视图像的特征矩阵：
如图3所示，将待定位点前视图像输入所述的训练好的神经网络模型，提取待定位点前视图像中各类目标的概率值，按照所述的一定的规律构造一维的特征矩阵，即为待定位点前视图像的特征矩阵。
本实施例中，选取待定位车运动到待定位点前后各10帧的图像，将图像分割成224x224像素大小，输入训练好的神经网络模型，得到图像中出现一千个不同种类目标各自的概率值，按照所述的一定的规律赋值给待定位点前视图像的特征矩阵A中的各个元素，公式如下：
A＝[P1 P2 ... P1000]
S4、确定最终定位节点：
将待定位点前视图像的特征矩阵，分别与所有候选节点前视图像的特征矩阵，进行相关度匹配，计算相似度，选取相似度最大的候选节点作为最终定位节点；
相似度计算公式如下：
Figure BDA0001730058760000041
公式中，ri为第i个候选节点与待定位点之间的相似度；A为待定位点前视图像的特征矩阵；Bi为第i个候选节点前视图像的特征矩阵；
Figure BDA0001730058760000042
和σA分别为第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵中各元素的方差；COV(Bi,A)是指第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵的协方差。
一种基于场景指纹的智能车定位装置，如图4所示，它包括设置在待定位车4上的GPS系统6，通过固定支架水平安装在待定位车前端的摄像机5，以及数据处理单元。所述的GPS系统6和摄像机5的输出端分别与数据处理单元连接，数据处理单元用于完成所述的基于场景指纹的智能车定位方法。本实施例中，所述的数据处理单元为车载工控机8，还包括与数据处理单元连接的显示器7。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (7)

1.一种基于场景指纹的智能车定位方法，其特征在于：它包括以下步骤：
S1、构建场景指纹地图：
采用安设有GPS系统和摄像机的试验车对行车线路进行数据采集，每隔固定距离设置一个节点，记录每个节点的GPS信息和在节点位置拍摄的前视图像信息；
将采集的前视图像信息输入训练好的神经网络模型中，提取图像中各类目标的概率值，按照一定的规律构造一维的特征矩阵，特征矩阵公式如下：
P＝[P1 P2 ··· PN]
其中P1 P2 ··· PN分别为图像中第1至第N类目标的概率，矩阵中各元素的和等于1；
将节点的GPS信息和对应前视图像信息的特征矩阵融合，构成场景指纹地图；
S2、GPS粗定位：
安设有GPS系统和摄像机的待定位车行驶至待定位点，利用待定位车自身的GPS系统和摄像机获得待定位点的GPS坐标和待定位点前视图像；待定位车的摄像机与试验车的摄像机安设位置和视角均相同；
设置距离阈值k，从所述的场景指纹地图中筛选出待定位点周围距离k范围内的所有节点作为候选节点；
S3、构建待定位点前视图像的特征矩阵：
将待定位点前视图像输入所述的训练好的神经网络模型，提取待定位点前视图像中各类目标的概率值，按照所述的一定的规律构造一维的特征矩阵，即为待定位点前视图像的特征矩阵；
S4、确定最终定位节点：
将待定位点前视图像的特征矩阵，分别与所有候选节点前视图像的特征矩阵，进行相关度匹配，计算相似度，选取相似度最大的候选节点作为最终定位节点；
相似度计算公式如下：
Figure FDA0001730058750000011
公式中，ri为第i个候选节点与待定位点之间的相似度；A为待定位点前视图像的特征矩阵；Bi为第i个候选节点前视图像的特征矩阵；
Figure FDA0001730058750000012
和σA分别为第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵中各元素的方差；COV(Bi,A)是指第i个候选节点前视图像的特征矩阵和待定位点前视图像的特征矩阵的协方差。
2.根据权利要求1所述的基于场景指纹的智能车定位方法，其特征在于：S1中所述的固定距离小于5米。
3.根据权利要求1所述的基于场景指纹的智能车定位方法，其特征在于：S2中所述的k小于10米。
4.一种基于场景指纹的智能车定位装置，其特征在于：它包括设置在待定位车上的GPS系统、水平安装在待定位车前端的摄像机、以及数据处理单元；所述的GPS系统和摄像机的输出端分别与数据处理单元连接，数据处理单元用于完成权利要求1所述的基于场景指纹的智能车定位方法。
5.根据权利要求4所述的基于场景指纹的智能车定位装置，其特征在于：所述的摄像机通过固定支架安装在待定位车前端。
6.根据权利要求4所述的基于场景指纹的智能车定位装置，其特征在于：所述的数据处理单元为车载工控机。
7.根据权利要求4所述的基于场景指纹的智能车定位装置，其特征在于：本装置还包括与数据处理单元连接的显示器。
CN201810770192.2A 2018-07-13 2018-07-13 基于场景指纹的智能车定位装置及方法 Active CN109099929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810770192.2A CN109099929B (zh) 2018-07-13 2018-07-13 基于场景指纹的智能车定位装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810770192.2A CN109099929B (zh) 2018-07-13 2018-07-13 基于场景指纹的智能车定位装置及方法

Publications (2)

Publication Number Publication Date
CN109099929A CN109099929A (zh) 2018-12-28
CN109099929B true CN109099929B (zh) 2021-10-15

Family

ID=64846453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810770192.2A Active CN109099929B (zh) 2018-07-13 2018-07-13 基于场景指纹的智能车定位装置及方法

Country Status (1)

Country Link
CN (1) CN109099929B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738143B (zh) * 2019-09-27 2023-06-02 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN112629532B (zh) * 2019-10-08 2023-10-20 宏碁股份有限公司 提升准确率之室内定位方法及应用其之行动装置
CN110927743A (zh) * 2019-12-05 2020-03-27 武汉理工大学 一种基于多线激光点云极化表征的智能车定位方法
CN110954933B (zh) * 2019-12-09 2023-05-23 王相龙 一种基于场景dna的移动平台定位装置及方法
CN111323024B (zh) * 2020-02-10 2022-11-15 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111983582A (zh) * 2020-08-14 2020-11-24 北京埃福瑞科技有限公司 列车的定位方法及系统
CN113721254B (zh) * 2021-08-11 2023-10-17 武汉理工大学 一种基于道路指纹空间关联矩阵的车辆定位方法
CN114898320B (zh) * 2022-05-30 2023-07-28 西南交通大学 一种基于YOLO v5的列车定位方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960591A (zh) * 2017-03-31 2017-07-18 武汉理工大学 一种基于路面指纹的车辆高精度定位装置及方法
CN107131883A (zh) * 2017-04-26 2017-09-05 中山大学 基于视觉的全自动移动终端室内定位系统
CN107907124A (zh) * 2017-09-30 2018-04-13 杭州迦智科技有限公司 基于场景重识的定位方法、电子设备、存储介质、系统
CN108170751A (zh) * 2017-12-21 2018-06-15 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049267B2 (en) * 2016-02-29 2018-08-14 Toyota Jidosha Kabushiki Kaisha Autonomous human-centric place recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960591A (zh) * 2017-03-31 2017-07-18 武汉理工大学 一种基于路面指纹的车辆高精度定位装置及方法
CN107131883A (zh) * 2017-04-26 2017-09-05 中山大学 基于视觉的全自动移动终端室内定位系统
CN107907124A (zh) * 2017-09-30 2018-04-13 杭州迦智科技有限公司 基于场景重识的定位方法、电子设备、存储介质、系统
CN108170751A (zh) * 2017-12-21 2018-06-15 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image Sequence Matching Using Both Holistic and Local Features for Loop Closure Detection;YICHENG LI等;《IEEE Access》;20170713;第5卷;第13835-13846页 *
Robust Visual Localization Across Seasons;Tayyab Naseer等;《IEEE Transactions on Robotics》;20180125;第34卷(第2期);第289-302页 *
基于GPS 与图像融合的智能车辆高精度定位算法;李祎承等;《交通运输系统工程与信息》;20170630;第17卷(第3期);第112-119页 *

Also Published As

Publication number Publication date
CN109099929A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
US7519197B2 (en) Object identification between non-overlapping cameras without direct feature matching
US20180189577A1 (en) Systems and methods for lane-marker detection
JP4874607B2 (ja) 物体測位装置
CN112419374B (zh) 一种基于图像配准的无人机定位方法
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
CN109977776A (zh) 一种车道线检测方法、装置及车载设备
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
US20190311209A1 (en) Feature Recognition Assisted Super-resolution Method
Jang et al. Road lane semantic segmentation for high definition map
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
Nath et al. On road vehicle/object detection and tracking using template
CN113971697A (zh) 一种空地协同车辆定位定向方法
WO2021239156A1 (zh) 交通目标识别模型训练方法、交通目标定位方法、装置
US11748449B2 (en) Data processing method, data processing apparatus, electronic device and storage medium
CN110864670B (zh) 目标障碍物位置的获取方法和系统
Wong et al. Vision-based vehicle localization using a visual street map with embedded SURF scale
CN116358547B (zh) 一种基于光流估计获取agv位置的方法
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN112818837B (zh) 一种基于姿态校正和困难样本感知的航拍车辆重识别方法
CN114332174A (zh) 轨迹图像对齐方法、装置、计算机设备以及存储介质
Zhang et al. Vehicle detection and tracking in remote sensing satellite vidio based on dynamic association
CN113642430A (zh) 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant