CN109446973A - 一种基于深度神经网络图像识别的车辆定位方法 - Google Patents

一种基于深度神经网络图像识别的车辆定位方法 Download PDF

Info

Publication number
CN109446973A
CN109446973A CN201811245274.1A CN201811245274A CN109446973A CN 109446973 A CN109446973 A CN 109446973A CN 201811245274 A CN201811245274 A CN 201811245274A CN 109446973 A CN109446973 A CN 109446973A
Authority
CN
China
Prior art keywords
road markings
neural network
deep neural
filming apparatus
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811245274.1A
Other languages
English (en)
Other versions
CN109446973B (zh
Inventor
冯江华
胡云卿
袁浩
林军
刘悦
游俊
熊群芳
丁驰
岳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRRC Zhuzhou Institute Co Ltd
Original Assignee
CRRC Zhuzhou Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRRC Zhuzhou Institute Co Ltd filed Critical CRRC Zhuzhou Institute Co Ltd
Priority to CN201811245274.1A priority Critical patent/CN109446973B/zh
Publication of CN109446973A publication Critical patent/CN109446973A/zh
Priority to SG11202103814PA priority patent/SG11202103814PA/en
Priority to PCT/CN2019/111840 priority patent/WO2020083103A1/zh
Application granted granted Critical
Publication of CN109446973B publication Critical patent/CN109446973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度神经网络图像识别的车辆定位方法，以及该深度神经网络的训练方法。所述训练方法包括道路标识图形设置、拍摄装置设置、图像样本采集、训练样本制作、深度神经网络搭建以及深度神经网络训练。其中图像样本采集过程在不同光照及天气条件下的多个时段内进行，能够提高深度神经网络的环境适应性。此外，在车辆前进方向和与前进方向垂直的方向上每隔一定角度拍摄一张采样图像，获得的训练样本数据量大，能够提高深度神经网络的训练精度，从而提高车辆定位的精度。

Description

一种基于深度神经网络图像识别的车辆定位方法
技术领域
本发明涉及图像识别及定位技术领域，具体为一种基于深度神经网络图像识别的车辆定位方法，以及该深度神经网络的训练方法。
背景技术
目前，公共交通车辆在进入站点前，司机仅靠目视来判断车辆与站点之间的距离，无法实现精确的进站路线规划和速度控制。为了能让车辆在进站前实现精确的进站路线规划和速度控制，需要精确定位车辆与站点之间的距离。目前，车辆定位技术主要采用GPS技术和高精地图匹配定位。
GPS技术在使用时存在以下几个问题：使用普通GPS模式定位时，定位误差达到米级，不能满足车辆靠站精度要求；若使用GPS的RTK模式，需要同时获取卫星信息和地面的参考定位信息，需要在道路沿线布设参考定位通信设备，设备成本以及使用成本较高；当车辆进入卫星信号较差路段例如密林，隧道内时，GPS信号容易丢失，从而失去定位信息。
高精地图匹配定位一般采用点云数据匹配或立体视觉匹配，需要预先建立地图数据并存储于车辆上，车辆运行时，通过外部激光雷达或摄像装置来获取车辆当前环境的点云数据或图像数据，并与预先存储的地图数据进行匹配。该定位方法地图制作成本以及匹配计算的软硬件成本较高。
因此，需要一种低成本、高精度的车辆定位方法，为车辆定位、进站路线规划以及速度控制提供可靠的数据支持。
发明内容
本发明提供了一种基于深度神经网络图像识别的车辆定位方法，以及该深度神经网络的训练方法。本发明通过增大训练样本量、优化神经网络参数，能够提高深度神经网络的训练精度，从而提高车辆的定位精度，且所需的设备成本和使用成本较低。
本发明第一方面提供了一种用于道路标识识别的深度神经网络训练方法，包括以下步骤：
(1)道路标识图形设置步骤：在站点进站方向的路面设置道路标识图形，所述道路标识图形的标识点距离所述站点进站方向边缘的距离为L；
(2)拍摄装置设置步骤：在车辆上安装拍摄装置，所述拍摄装置的光轴线与所述车辆车身的纵向对称中心线重合，所述拍摄装置的镜头光心到地面的距离为H；
(3)图像样本采集步骤：在不同光照或天气条件下，使用所述拍摄装置对所述道路标识图形进行拍摄，分别在所述车辆的前进方向以及与所述车辆前进方向垂直的方向上，改变所述拍摄装置的光轴与路面的夹角角度，使得所述拍摄装置在其光轴与路面夹角呈一定范围内每隔一定角度拍摄一张所述道路标识图形的图像样本；
(4)训练样本制作步骤：计算每张所述图像样本中所述道路标识图形的标识点在图像坐标系中的位置坐标，制作成标签集，并将每张所述图像样本与相应的标签集配对，形成训练样本；
(5)深度神经网络搭建步骤：在目标识别分类深度神经网络的基础上，将所述网络最后的分类输出层修改为2个节点构成的输出层，以输出所述道路标识图形的标识点位置坐标；
(6)深度神经网络训练步骤：将所述训练样本输入到所述深度神经网络进行训练。
优选地，所述图像样本采集步骤中，拍摄时间选择在晴天正午和晴天夜晚。
优选地，所述图像样本采集步骤中，拍摄时间选择在雨天正午和雨天夜晚。
优选地，所述图像样本采集步骤中，拍摄时间选择在雾天正午和雾天夜晚。
优选地，所述图像样本采集步骤中，所述拍摄装置在其光轴与路面夹角呈5°到180°的范围内每隔5°拍摄一张所述道路标识图形的图像样本。
优选地，所述拍摄装置的镜头参数选择为，当所述道路标识图形全部出现在镜头画面中时，所述道路标识图形能够占据所述镜头画面20％以上的面积。
优选地，所述拍摄装置安装于所述车辆前部车顶位置，并指向所述车辆前进方向。
优选地，所述道路标识图形采用三角形，或矩形，或圆弧，或其他易于识别的几何元素组合。
优选地，所述道路标识图形采用条形码或二维码。
优选地，所述道路标识图形的标识点为其几何中心。
优选地，所述深度神经网络采用ResNet50网络，将所述网络最后的分类输出层替换为两层具有1024个节点的全连接层，所述全连接层后连接具有2个节点输出的输出层。
优选地，所述深度神经网络采用ResNet50网络，将所述网络最后的分类输出层替换为两层具有2048个节点的全连接层，所述全连接层后连接具有2个节点输出的输出层。
优选地，所述2个节点输出的浮点数据属于[0,1]的闭区间，将所述输出浮点数据与相应的图像宽度和高度相乘即可获得像素坐标。
本发明第二方面提供了一种使用上述深度神经网络训练方法的车辆定位方法，包括以下步骤：
(1)道路标识图形识别步骤：利用训练完成后的所述深度神经网络，对所述车辆实际进站过程中拍摄到的所述道路标识图形进行识别并获取其标识点P在图像坐标系中的位置坐标(u,v)；
(2)道路标识图形定位步骤：通过图像坐标系与世界坐标系的变换关系，计算出所述道路标识图形标识点P在世界坐标系中的坐标(Xw,Yw,Zw)，从而获得所述道路标识图形标识点P与所述拍摄装置的距离；
(3)车辆定位步骤：根据所获得的道路标识图形标识点P与所述拍摄装置的距离，确定所述拍摄装置与站点进站方向边缘的距离，再结合所述拍摄装置在所述车辆上的安装位置，确定所述车辆与站点进站方向边缘的距离。
优选地，所述道路标识图形的标识点P在所述拍摄装置镜头光心轴线上；
所述拍摄装置坐标系原点设定在所述拍摄装置成像小孔位置，所述拍摄装置镜头光心与所述道路标识图形标识点P的水平距离为ZC；
所述拍摄装置坐标系的Z轴正向选取为所述车辆前进方向，所述拍摄装置坐标系的Y轴正向选取为所述车辆向下方向，所述拍摄装置坐标系的X轴正向选取为所述车辆向右方向；
所述世界坐标系与所述拍摄装置坐标系重合；
所述图像坐标系的原点在所述拍摄装置坐标系Z轴上，所述图像坐标系的X轴和Y轴分别与所述拍摄装置坐标系的X轴和Y轴平行；
根据公式：
得到所述拍摄装置与所述道路标识图形标识点Pi的水平距离ZC；
再根据公式：
Lcz＝Zc+L(6)
得到所述拍摄装置与站点进站方向边缘的水平距离LCZ。
本发明的优点在于：
(1)图像样本的采集过程在不同光照及天气条件下的多个时段内进行，减小了环境因素对训练结果的影响，提高了深度神经网络的环境适应性。
(2)在车辆前进方向和与前进方向垂直的方向上每隔一定角度拍摄一张采样图像，获得的训练样本数据量大，提高了深度神经网络的训练精度，从而提高了后续车辆定位的精度。
(3)利用训练好的深度神经网络来识别设置于站点前方的道路标识图形，并通过图像坐标系与世界坐标系的转换，推算出车载拍摄装置的空间位置进而定位车辆位置。上述方法能够提供车辆与站点之间的距离数据，为车辆定位、进站路线规划以及速度控制提供数据支持，具有操作简单、成本较低、可靠性高的优势。
附图说明
本发明的以上内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记代表相同或类似的元素。
图1为用于道路标识识别的深度神经网络训练方法的流程图；
图2为图像样本采集步骤中的拍摄示意图；
图3为一种基于训练完成后的深度神经网络的车辆定位方法的流程图；
图4为车辆进站过程中的车辆侧视图；
图5为车辆进站过程中的车辆俯视图；
图6为车辆与站点进站方向边缘距离计算示意图。
具体实施方式
以下结合附图和实施例对本发明作进一步的详细说明。
图1为本发明提供的一种用于道路标识识别的深度神经网络训练方法的流程图，包括道路标识图形设置步骤101、拍摄装置设置步骤102、图像样本采集步骤103、训练样本制作步骤104、深度神经网络搭建步骤105、深度神经网络训练步骤106。
道路标识图形设置步骤101：在站点进站方向的路面设置道路标识图形，该道路标识图形的标识点距离站点进站方向边缘的距离为L。该道路标识图形可采用但不限于三角形、矩形、圆弧，或其他易于识别的几何元素组合，或文字图形，或融入了车站相关信息的条形码或二维码。该道路标识图形的标识点可以是该道路标识图形的几何中心点、顶点或其他几何特征点。
拍摄装置设置步骤102：在车辆上安装拍摄装置，该拍摄装置的镜头指向车辆前进方向，安装在车辆前部车顶位置或其他能够拍摄到道路标识图形的位置，并使拍摄装置的光轴线与车辆车身的纵向对称中心线重合，记录该拍摄装置的镜头光心到地面的距离H。该拍摄装置的镜头参数选择为，当前述道路标识图形全部出现在镜头画面中时，道路标识图形能够占据镜头画面20％以上的面积，占据的面积越大，道路标识图形的标识点在画面中的定位就越精确。
图像样本采集步骤103：在不同光照或天气条件下，例如晴天正午和晴天夜晚，雨天正午和雨天夜晚，雾天正午和雾天夜晚，使用上述拍摄装置对道路标识图形进行拍摄。拍摄角度如图2所示，其中字母A表示道路标识图形，分别在车辆的前进方向以及与车辆前进方向垂直的方向上，改变拍摄装置的光轴与路面的夹角角度，使得拍摄装置在其光轴与路面夹角呈5°到180°的范围内每隔5°拍摄一张道路标识图形的图像样本。
训练样本制作步骤104：计算每张图像样本中道路标识图形的标识点在图像坐标系中的位置坐标，制作成标签集，并将每张图像样本与相应的标签集配对，形成训练样本，以便后续输入深度神经网络进行训练。
深度神经网络搭建步骤105：使用一目标识别分类深度神经网络，但将网络最后的分类输出层修改成两个节点构成的输出层，这两个节点输出的数值即为道路标识图形的标识点在图像画面中的坐标。更具体地，可采用ResNet50网络，并将最后的分类输出层去除，根据所需的识别效果，使用两层具有1024个节点或2048个节点的全连接层代替，全连接层后连接具有2个节点输出的输出层，这两个节点输出的浮点数据属于[0,1]的闭区间，将输出的浮点数据乘以各自对应的图像宽度和高度即可获得像素坐标。
深度神经网络训练步骤106：将前述训练样本输入到优化后的深度神经网络进行训练，训练完成后，即可使用该深度神经网络对道路标识图形进行识别并获取其几何中心位置坐标。
图3为本发明提供的一种使用上述深度神经网络训练方法的车辆定位方法的流程图，包括道路标识图形识别步骤201、道路标识图形定位步骤202、车辆定位步骤203。
道路标识图形识别步骤201：利用训练完成后的深度神经网络，对车辆实际进站过程中拍摄到的道路标识图形进行识别并获取其标识点P在图像坐标系中的位置坐标(u,v)。
道路标识图形定位步骤202：通过图像坐标系与世界坐标系的变换关系，计算出道路标识图形标识点P在世界坐标系中的坐标(Xw,Yw,Zw)，从而获得道路标识图形标识点P与拍摄装置的距离。上述图像坐标系与世界坐标系的变换可采用小孔成像模型来描述。世界坐标系中的一点Pw，其在世界坐标系中的坐标为(Xw,Yw,Zw)，通过镜头成像到二维图像坐标系中的Pi点，其坐标为(u,v)，则Pw与Pi点的坐标可以使用公式(1)进行换算：
(1)式中，ZC表示道路标识图形标识点P与拍摄装置镜头光心的水平距离；dx,dy,u0,v0,f是与拍摄装置镜头有关的镜头内部参数，具体为：
dx,dy分别表示图像坐标系X方向和Y方向单位像素的物理长度；u0,v0分别表示图像坐标系中，图像坐标系原点与拍摄装置坐标系原点在X方向和Y方向的偏移；f表示镜头成像焦距。
(1)式中，R表示世界坐标系与拍摄装置坐标系的旋转关系，采用(2)式计算：
其中α、β、γ分别表示世界坐标系与拍摄装置坐标系重合时，需要围绕X轴、Y轴、Z轴转动的角度。
(1)式中，T表示世界坐标系与拍摄装置坐标系的平移关系，采用(3)式计算：
T＝[tx ty tz]T (3)
其中tx、ty、tz分别表示世界坐标系与拍摄装置坐标系在X轴、Y轴、Z轴的平移量。
具体实施时，以上参数dx,dy,u0,v0,f,α,β,γ,tx,ty,tz可以采用但不限于以下所描述的情况进行标定。
如图4、图5所示，拍摄装置安装于车辆前部车顶位置，并指向前进方向。拍摄装置的镜头光心轴线与车辆纵轴几何对称中心线重合，车辆前方路面的道路标识图形的标识点P在拍摄装置镜头光心轴线上，其与拍摄装置镜头光心的水平距离为ZC。将拍摄装置坐标系原点设定在拍摄装置成像小孔位置。为简化计算，假设世界坐标系与拍摄装置坐标系重合，且选取车辆前进方向为Z轴正向，车辆向下为Y轴正方向，车辆向右为X轴正向。图像坐标系的原点在拍摄装置坐标系的Z轴上，图像坐标系的X轴和Y轴分别与拍摄装置坐标系的X轴和Y轴平行。
根据以上条件，可知P点在世界坐标系中的坐标为(Xw,Yw,Zw)，在拍摄装置坐标系中的坐标为(Xc,Yc,Zc)，并且Xw＝Xc＝0，Yw＝H，Zw＝Zc。P点经过拍摄装置小孔成像后，在图像坐标系中的坐标为(u,v)，且u＝0，u0＝0，v0＝0。拍摄装置坐标系与世界坐标系的平移参数tx＝ty＝tz＝0。从而式(1)可以化简为：
即
车辆定位步骤203：如图6所示，获得道路标识图形的标识点P距离拍摄装置镜头光心的水平距离ZC后，再结合道路标识图形的标识点P距离站点进站方向边缘的距离L，可以计算得到拍摄装置镜头光心与站点进站方向边缘的水平距离LCZ：
Lcz＝Zc+L (6)
再结合该拍摄装置在车辆上的安装位置，确定车辆与站点进站方向边缘的距离，从而实现车辆定位。
这里基于的术语和表述方式只是用于描述，本发明并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。
同样，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (15)

1.一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述方法包括：
道路标识图形设置步骤：在站点进站方向的路面设置道路标识图形，所述道路标识图形的标识点距离所述站点进站方向边缘的距离为L；
拍摄装置设置步骤：在车辆上安装拍摄装置，所述拍摄装置的光轴线与所述车辆车身的纵向对称中心线重合，所述拍摄装置的镜头光心到地面的距离为H；
图像样本采集步骤：在不同光照或天气条件下，使用所述拍摄装置对所述道路标识图形进行拍摄，分别在所述车辆的前进方向以及与所述车辆前进方向垂直的方向上，改变所述拍摄装置的光轴与路面的夹角角度，使得所述拍摄装置在其光轴与路面夹角呈一定范围内每隔一定角度拍摄一张所述道路标识图形的图像样本；
训练样本制作步骤：计算每张所述图像样本中所述道路标识图形的标识点在图像坐标系中的位置坐标，制作成标签集，并将每张所述图像样本与相应的标签集配对，形成训练样本；
深度神经网络搭建步骤：在目标识别分类深度神经网络的基础上，将所述网络最后的分类输出层修改为2个节点构成的输出层，以输出所述道路标识图形的标识点位置坐标；
深度神经网络训练步骤：将所述训练样本输入到所述深度神经网络进行训练。
2.根据权利要求1所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述图像样本采集步骤中，拍摄时间选择在晴天正午和晴天夜晚。
3.根据权利要求1所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述图像样本采集步骤中，拍摄时间选择在雨天正午和雨天夜晚。
4.根据权利要求1所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述图像样本采集步骤中，拍摄时间选择在雾天正午和雾天夜晚。
5.根据权利要求1～4所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述图像样本采集步骤中，所述拍摄装置在其光轴与路面夹角呈5°到180°的范围内每隔5°拍摄一张所述道路标识图形的图像样本。
6.根据权利要求1所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述拍摄装置的镜头参数选择为，当所述道路标识图形全部出现在镜头画面中时，所述道路标识图形能够占据所述镜头画面20％以上的面积。
7.根据权利要求6所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述拍摄装置安装于所述车辆前部车顶位置，并指向所述车辆前进方向。
8.根据权利要求1所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述道路标识图形采用三角形，或矩形，或圆弧，或其他易于识别的几何元素组合。
9.根据权利要求1所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述道路标识图形采用条形码或二维码。
10.根据权利要求1所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述道路标识图形的标识点为其几何中心。
11.根据权利要求1所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述深度神经网络采用ResNet50网络，将所述网络最后的分类输出层替换为两层具有1024个节点的全连接层，所述全连接层后连接具有2个节点输出的输出层。
12.根据权利要求1所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述深度神经网络采用ResNet50网络，将所述网络最后的分类输出层替换为两层具有2048个节点的全连接层，所述全连接层后连接具有2个节点输出的输出层。
13.根据权利要求11～12所述的一种用于道路标识识别的深度神经网络训练方法，其特征在于，所述2个节点输出的浮点数据属于[0,1]的闭区间，将所述输出浮点数据与相应的图像宽度和高度相乘即可获得像素坐标。
14.一种使用权利要求1所述的深度神经网络训练方法的车辆定位方法，其特征在于，所述方法包括：
道路标识图形识别步骤：利用训练完成后的所述深度神经网络，对所述车辆实际进站过程中拍摄到的所述道路标识图形进行识别并获取其标识点P在图像坐标系中的位置坐标(u,v)；
道路标识图形定位步骤：通过图像坐标系与世界坐标系的变换关系，计算出所述道路标识图形标识点P在世界坐标系中的坐标(Xw,Yw,Zw)，从而获得所述道路标识图形标识点P与所述拍摄装置的距离；
车辆定位步骤：根据所获得的道路标识图形标识点P与所述拍摄装置的距离，确定所述拍摄装置与站点进站方向边缘的距离，再结合所述拍摄装置在所述车辆上的安装位置，确定所述车辆与站点进站方向边缘的距离。
15.根据权利要求14所述的一种车辆定位方法，其特征在于，所述道路标识图形的标识点P在所述拍摄装置镜头光心轴线上；
所述拍摄装置坐标系原点设定在所述拍摄装置成像小孔位置，所述拍摄装置镜头光心与所述道路标识图形标识点P的水平距离为ZC；
所述拍摄装置坐标系的Z轴正向选取为所述车辆前进方向，所述拍摄装置坐标系的Y轴正向选取为所述车辆向下方向，所述拍摄装置坐标系的X轴正向选取为所述车辆向右方向；
所述世界坐标系与所述拍摄装置坐标系重合；
所述图像坐标系的原点在所述拍摄装置坐标系Z轴上，所述图像坐标系的X轴和Y轴分别与所述拍摄装置坐标系的X轴和Y轴平行；
根据公式：
得到所述拍摄装置与所述道路标识图形标识点P的水平距离ZC；
再根据公式：
Lcz＝Zc+L(6)
得到所述拍摄装置与站点进站方向边缘的水平距离LCZ。
CN201811245274.1A 2018-10-24 2018-10-24 一种基于深度神经网络图像识别的车辆定位方法 Active CN109446973B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811245274.1A CN109446973B (zh) 2018-10-24 2018-10-24 一种基于深度神经网络图像识别的车辆定位方法
SG11202103814PA SG11202103814PA (en) 2018-10-24 2019-10-18 Vehicle positioning method based on deep neural network image recognition
PCT/CN2019/111840 WO2020083103A1 (zh) 2018-10-24 2019-10-18 一种基于深度神经网络图像识别的车辆定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811245274.1A CN109446973B (zh) 2018-10-24 2018-10-24 一种基于深度神经网络图像识别的车辆定位方法

Publications (2)

Publication Number Publication Date
CN109446973A true CN109446973A (zh) 2019-03-08
CN109446973B CN109446973B (zh) 2021-01-22

Family

ID=65547888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811245274.1A Active CN109446973B (zh) 2018-10-24 2018-10-24 一种基于深度神经网络图像识别的车辆定位方法

Country Status (3)

Country Link
CN (1) CN109446973B (zh)
SG (1) SG11202103814PA (zh)
WO (1) WO2020083103A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110726414A (zh) * 2019-10-25 2020-01-24 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
WO2020083103A1 (zh) * 2018-10-24 2020-04-30 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法
CN111161227A (zh) * 2019-12-20 2020-05-15 成都数之联科技有限公司 一种基于深度神经网络的靶心定位方法及系统
CN112699823A (zh) * 2021-01-05 2021-04-23 浙江得图网络有限公司 一种用于共享电动车的定点还车方法
CN112950922A (zh) * 2021-01-26 2021-06-11 浙江得图网络有限公司 一种共享电动车的定点还车方法
CN113496594A (zh) * 2020-04-03 2021-10-12 郑州宇通客车股份有限公司 一种公交车进站控制方法、装置及系统
WO2023019509A1 (zh) * 2021-08-19 2023-02-23 浙江吉利控股集团有限公司 基于环境匹配的车辆定位方法、装置、车辆及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914691B (zh) * 2020-07-15 2024-03-19 北京埃福瑞科技有限公司 一种轨道交通车辆定位方法及系统
CN113378735B (zh) * 2021-06-18 2023-04-07 北京东土科技股份有限公司 一种道路标识线识别方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144196A (zh) * 2013-02-22 2015-12-09 微软技术许可有限责任公司 用于计算相机或对象姿态的方法和设备
CN105718860A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 基于驾驶安全地图及双目交通标志识别的定位方法及系统
CN106326858A (zh) * 2016-08-23 2017-01-11 北京航空航天大学 一种基于深度学习的公路交通标志自动识别与管理系统
CN106403926A (zh) * 2016-08-30 2017-02-15 上海擎朗智能科技有限公司 一种定位方法和系统
CN106845547A (zh) * 2017-01-23 2017-06-13 重庆邮电大学 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
US20170213112A1 (en) * 2016-01-25 2017-07-27 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
CN107563419A (zh) * 2017-08-22 2018-01-09 交控科技股份有限公司 图像匹配和二维码相结合的列车定位方法
CN107703936A (zh) * 2017-09-22 2018-02-16 南京轻力舟智能科技有限公司 基于卷积神经网络的自动导航小车系统及小车定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202350794U (zh) * 2011-11-29 2012-07-25 高德软件有限公司 一种导航数据采集装置
CN103925927B (zh) * 2014-04-18 2016-09-07 中国科学院软件研究所 一种基于车载视频的交通标识定位方法
US20180211120A1 (en) * 2017-01-25 2018-07-26 Ford Global Technologies, Llc Training An Automatic Traffic Light Detection Model Using Simulated Images
CN108009518A (zh) * 2017-12-19 2018-05-08 大连理工大学 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN109446973B (zh) * 2018-10-24 2021-01-22 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144196A (zh) * 2013-02-22 2015-12-09 微软技术许可有限责任公司 用于计算相机或对象姿态的方法和设备
CN105718860A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 基于驾驶安全地图及双目交通标志识别的定位方法及系统
US20170213112A1 (en) * 2016-01-25 2017-07-27 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
CN106326858A (zh) * 2016-08-23 2017-01-11 北京航空航天大学 一种基于深度学习的公路交通标志自动识别与管理系统
CN106403926A (zh) * 2016-08-30 2017-02-15 上海擎朗智能科技有限公司 一种定位方法和系统
CN106845547A (zh) * 2017-01-23 2017-06-13 重庆邮电大学 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
CN107563419A (zh) * 2017-08-22 2018-01-09 交控科技股份有限公司 图像匹配和二维码相结合的列车定位方法
CN107703936A (zh) * 2017-09-22 2018-02-16 南京轻力舟智能科技有限公司 基于卷积神经网络的自动导航小车系统及小车定位方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020083103A1 (zh) * 2018-10-24 2020-04-30 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法
CN110726414A (zh) * 2019-10-25 2020-01-24 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN110726414B (zh) * 2019-10-25 2021-07-27 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN111161227A (zh) * 2019-12-20 2020-05-15 成都数之联科技有限公司 一种基于深度神经网络的靶心定位方法及系统
CN113496594A (zh) * 2020-04-03 2021-10-12 郑州宇通客车股份有限公司 一种公交车进站控制方法、装置及系统
CN112699823A (zh) * 2021-01-05 2021-04-23 浙江得图网络有限公司 一种用于共享电动车的定点还车方法
CN112950922A (zh) * 2021-01-26 2021-06-11 浙江得图网络有限公司 一种共享电动车的定点还车方法
WO2023019509A1 (zh) * 2021-08-19 2023-02-23 浙江吉利控股集团有限公司 基于环境匹配的车辆定位方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN109446973B (zh) 2021-01-22
WO2020083103A1 (zh) 2020-04-30
SG11202103814PA (en) 2021-05-28

Similar Documents

Publication Publication Date Title
CN109446973A (zh) 一种基于深度神经网络图像识别的车辆定位方法
JP7045628B2 (ja) 車両の動作を制御するための車両の装置、車両、およびコンピュータプログラム
CN106441319B (zh) 一种无人驾驶车辆车道级导航地图的生成系统及方法
JP7127941B2 (ja) 方法、システム及びプログラム
CN106651953B (zh) 一种基于交通指示牌的车辆位姿估计方法
CN104865578B (zh) 一种室内停车场高精细地图生成装置及方法
US10127461B2 (en) Visual odometry for low illumination conditions using fixed light sources
CN110322702A (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN110057373A (zh) 用于生成高精细语义地图的方法、装置和计算机存储介质
CN110285793A (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
US10291898B2 (en) Method and apparatus for updating navigation map
CN104280036B (zh) 一种交通信息的检测与定位方法、装置及电子设备
JP4717760B2 (ja) 物体認識装置および映像物体測位装置
CN108885106A (zh) 使用地图的车辆部件控制
CN104200086A (zh) 宽基线可见光相机位姿估计方法
CN105930819A (zh) 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN105676253A (zh) 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法
CN109583409A (zh) 一种面向认知地图的智能车定位方法及系统
WO2006035755A1 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
CN109146958B (zh) 一种基于二维图像的交通标志空间位置测量方法
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
CN109685855A (zh) 一种道路云监控平台下的摄像机标定优化方法
CN109515439A (zh) 自动驾驶控制方法、装置、系统及存储介质
CN112446915B (zh) 一种基于图像组的建图方法及装置
CN113673386A (zh) 一种交通信号灯在先验地图中的标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant