CN114913491A - 一种车辆定位方法及系统、计算机可读存储介质 - Google Patents

一种车辆定位方法及系统、计算机可读存储介质 Download PDF

Info

Publication number
CN114913491A
CN114913491A CN202110171044.0A CN202110171044A CN114913491A CN 114913491 A CN114913491 A CN 114913491A CN 202110171044 A CN202110171044 A CN 202110171044A CN 114913491 A CN114913491 A CN 114913491A
Authority
CN
China
Prior art keywords
vehicle
feature point
feature
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110171044.0A
Other languages
English (en)
Inventor
王建明
陈泽武
苏威霖
关倩仪
翁茂楠
张力锴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202110171044.0A priority Critical patent/CN114913491A/zh
Publication of CN114913491A publication Critical patent/CN114913491A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆定位方法及系统、计算机可读存储介质，包括：周期性地获取车载摄像头所采集的当前时刻的车辆周围环境图像P1并进行标识目标检测获得多个包含预设标识内容的目标框图像及其语义信息；分别对该多个目标框图像进行特征点检测获得当前时刻的特征点集合J1；获取上一时刻的特征点集合J0，并根据特征点的语义信息和特征值将所述集合J1与所述集合J0中的特征点进行匹配得到匹配特征点；根据所述匹配特征点和三角测量原理计算获得所述匹配特征点与车辆的空间位置关系；并获取所述匹配特征点在地图中的位置信息，进一步确定当前时刻车辆在所述地图中的位置信息。本发明能够实现提高特征点检测和匹配效率。

Description

一种车辆定位方法及系统、计算机可读存储介质
技术领域
本发明涉及车辆定位技术领域，具体涉及一种车辆定位方法及系统、计算机可读存储介质。
背景技术
车辆所处停车环境的建图与定位是车辆自动代客泊车AVP应用的关键技术，由于通常的高精度建图定位需要使用激光雷达，其高昂的成本与车规的要求限制其应用；而基于视觉传感器由于相对低的成本，以及长时间车端使用的历史，都具有极大的优势。
传统视觉传感器的同步定位与建图(SLAM，Simultaneous Localization andMapping)的方法一般在前端先通过寻找视觉传感器获取图像中的特征点并对特征点进行匹配后利用三角化估计特征点深度，获得特征点的三维坐标，再进行后端优化，构图与闭环优化等过程。
其中，传统视觉传感器的同步定位与建图的特征点计算需要在性能和实时性上折中考虑，对于特征点的搜索，传统搜索方式随着视觉传感器分辨率的提高与数目的增加，搜索时间会显著增加并对整个系统实时性造成了影响；并且特征点容易受光照、视角变化等条件的影响，所生成的环境地图很难保证长期稳定性；此外，搜索的特征点与现实世界的对应不可控，生成的特征点没有明确语义信息，没法利用实际场景中丰富的语义信息，人们很难把所建立的地图与现实场景联系起来，从而影响与人交互的相关应用。
综上，传统视觉传感器的同步定位与建图方法还有待进一步改进。
发明内容
本发明的目的在于提出一种车辆定位方法及系统、计算机可读存储介质，以语义信息作为特征点描述信息之一，至少能够实现提高特征点检测和匹配效率，更好地满足车辆定位实时性要求。
为实现上述目的，本发明第一方面提出一种车辆定位方法，包括：
周期性地获取车载摄像头所采集的当前时刻的车辆周围环境图像P1；
将所述图像P1输入预先训练好的神经网络模型进行标识目标检测，输出多个包含预设标识内容的目标框图像、目标框图像的语义信息以及目标框图像在所述图像P1中的位置信息；
分别对该多个目标框图像进行特征点检测获得所述图像P1的特征点描述信息，并根据所述图像P1的特征点描述信息获得当前时刻的特征点集合J1；其中，所述图像P1的特征点描述信息包括特征点的特征值、语义信息以及特征点在所述图像P1中的位置信息；任一特征点的语义信息与该特征点对应的目标框图像的语义信息相同；
获取上一时刻的特征点集合J0，并根据特征点的语义信息和特征值将所述集合J1与所述集合J0中的特征点进行匹配得到匹配特征点；
根据所述匹配特征点和三角测量原理计算获得所述匹配特征点与车辆的空间位置关系；并获取所述匹配特征点在地图中的位置信息；以及，根据所述匹配特征点与车辆的位置关系以及所述匹配特征点在地图中的位置信息确定当前时刻车辆在所述地图中的位置信息。
可选地，所述根据特征点的语义信息和特征值将所述集合J1与所述集合J0中的特征点进行匹配得到匹配特征点，包括：
对于所述集合J1中的任一个特征点，将该特征点与所述集合J0中与该特征点具有相同语义信息的特征点进行特征值比较；其中，若任意两个特征点的特征值的比较结果满足预设条件，则确定该两个特征点为一对匹配的特征点。
可选地，所述根据所述匹配特征点和三角测量原理计算获得所述匹配特征点与车辆的空间位置关系，包括：
获取第一特征点在上一时刻的车辆周围环境图像P0中的第一位置信息；其中所述第一特征点为所述集合J0中的特征点；
获取第二特征点在所述图像P1中的第二位置信息；其中所述第二特征点为所述集合J1中与所述第一特征点匹配的特征点；
获取上一时刻与当前时刻之间时间段的车辆运动状态信息；
根据所述第一位置信息、第二位置信息以及所述车辆运动状态信息和三角测量原理计算获得所述第二特征点与车辆的空间位置关系。
可选地，所述方法还包括：
根据所述集合J1中的匹配特征点在地图中的位置信息确定当前时刻车载摄像头的姿态信息，并根据所述车载摄像头的姿态信息确定当前时刻的车辆姿态信息。
可选地，该方法应用于停车场中车辆定位；所述预设标识内容包括停车场中的标号、图案、标语、车道线、车位线中的一种或多种；其中，所述标号包括由字母与数字组成的停车场区域标号与车位标号；所述图案包括停车场中的交通标识、箭头指引。
可选地，所述神经网络模型包括YOLO模型和文本识别模型；所述YOLO模型用于识别所述图案、所述车道线、所述车位线；所述文本识别模型用于识别所述标号、所述标语。
可选地，所述地图根据以下步骤生成：
获取车载摄像头所采集的第一时刻的车辆周围环境图像P2，并对所述图像P2进行特征点检测获得所述图像P2的特征点描述信息；
获取车载摄像头所采集的第二时刻的车辆周围环境图像P3，并对所述图像P3进行特征点检测获得所述图像P3的特征点描述信息；
根据特征点的语义信息和特征值将所述集合J2与所述集合J3中的特征点进行匹配得到匹配特征点；
根据所述集合J2与所述集合J3的匹配特征点和三角测量原理计算获得所述集合J3的匹配特征点与车辆的空间位置关系；
根据所述集合J3中匹配特征点与车辆的位置关系获得所述集合J3中匹配特征点在车辆坐标系中的三维坐标；其中，所述车辆坐标系的原点为第二时刻时的车辆中心；
获取车辆自定位传感器所检测的车辆地理位置信息，根据所述集合J3中匹配特征点在车辆坐标系中的三维坐标、所述车辆地理位置信息以及所述集合J3中匹配特征点的语义信息，生成所述地图。
可选地，其中，所述图像P2和图像P3的特征点描述信息的获得过程如下：
将所述图像P2或P3输入预先训练好的神经网络模型进行标识目标检测，输出对应的多个包含预设标识内容的目标框图像、目标框图像的语义信息以及目标框图像在所述图像P2或P3中的位置信息；
分别对该多个目标框图像进行特征点检测获得所述图像P2或P3的特征点描述信息，并根据所述图像P2或P3的特征点描述信息获得对应的特征点集合；其中，所述图像P2或P3的特征点描述信息包括特征点的特征值、语义信息以及特征点在所述图像P2或P3中的位置信息。
本发明第二方面提出一种车辆定位系统，可以用于实现第一方面所述的车辆定位方法，所述系统包括：
图像获取单元，用于周期性地获取车载摄像头所采集的当前时刻的车辆周围环境图像P1；
目标检测单元，用于将所述图像P1输入预先训练好的神经网络模型进行标识目标检测，输出多个包含预设标识内容的目标框图像、目标框图像的语义信息以及目标框图像在所述图像P1中的位置信息；
特征点检测单元，用于分别对该多个目标框图像进行特征点检测获得所述图像P1的特征点描述信息，并根据所述图像P1的特征点描述信息获得当前时刻的特征点集合J1；其中，所述图像P1的特征点描述信息包括特征点的特征值、语义信息以及特征点在所述图像P1中的位置信息；任一特征点的语义信息与该特征点对应的目标框图像的语义信息相同；
特征点匹配单元，用于获取上一时刻的特征点集合J0，并根据特征点的语义信息和特征值将所述集合J1与所述集合J0中的特征点进行匹配得到匹配特征点；以及
车辆定位单元，用于根据所述匹配特征点和三角测量原理计算获得所述匹配特征点与车辆的空间位置关系；并获取所述匹配特征点在地图中的位置信息；以及，根据所述匹配特征点与车辆的位置关系以及所述匹配特征点在地图中的位置信息确定当前时刻车辆在所述地图中的位置信息。
可选地，所述特征点匹配单元，具体用于：
对于所述集合J1中的任一个特征点，将该特征点与所述集合J0中与该特征点具有相同语义信息的特征点进行特征值比较；其中，若任意两个特征点的特征值的比较结果满足预设条件，则确定该两个特征点为一对匹配的特征点；
所述车辆定位单元，还用于：
根据所述集合J1中的匹配特征点在地图中的位置信息确定当前时刻车载摄像头的姿态信息，并根据所述车载摄像头的姿态信息确定当前时刻的车辆姿态信息。
本发明第三方面提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现初始方面所述车辆定位方法的步骤。
综上，本发明的各个方面分别提出了车辆定位方法及系统、计算机可读存储介质，在应用时，本发明的各个方面不需要使用昂贵的激光雷达，也不需要定制标签与改造车辆所处环境；例如，应用于具有相对丰富的人为标识的停车场中的车辆定位时，一般正规停车场内，均具有明确区域划分标识、车位标识、行车指引等向人类传达明确信息的标识，这些标识包含明确的语义信息，与实际场景一一对应，本发明的各个方面将这些语义信息融合入特征点的检测和匹配中，提高特征点的描述精确度，而且可以提高特征点的搜寻速度与匹配速度，提高整个车辆定位的实时性与鲁棒性。
本发明的其它特征和优点将在随后的说明书中阐述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中一种车辆定位方法流程图。
图2为本发明一实施例中特征点检测及匹配的原理图。
图3为本发明另一实施例中一种车辆定位系统结构示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
参阅图1～2，本发明一实施例提出一种车辆定位方法，本实施例方法可以应用于具有相对丰富的人为标识的各种室内外环境中的车辆定位，例如是户外地面停车场或地下停车库中的车辆定位；本实施例方法包括如下步骤S1～S5：
步骤S1、周期性地获取车载摄像头所采集的当前时刻的车辆周围环境图像P1；
示例性地，所述车载摄像头可以包括多个摄像头，优选为4个车载摄像头，分别拍摄车辆前、后、左、右四个方向的环境图像；更具体地，多个摄像头的图像采集时刻与车辆自定位传感器的定位信息采集时刻可能有所不同，因此，本实施例在实施过程中，优选对多个摄像头所拍摄的多个图像与车辆自定位传感器的定位信息进行时间同步，时间同步的处理方式有很多，本实施例中不作具体限定，应当理解的是步骤S1仅是获取周围环境图像P1，而不包括对摄像头图像与车辆自定位传感器的定位信息的时间同步处理；
需说明的是，本实施例中的摄像头可以是任意类型的摄像头；
步骤S2、将所述图像P1输入预先训练好的神经网络模型进行标识目标检测，输出多个包含预设标识内容的目标框图像、目标框图像的语义信息以及目标框图像在所述图像P1中的位置信息；
具体而言，所述神经网络模型利用预设尺寸的目标检测框对所述图像P1进行扫描，识别所述图像P1中标识，并当识别所述图像P1中存在预设标识时，将包含预设标识内容的目标检测框的图像(即以目标框图像的形式)输出，输出的目标框图像包含标识在图像P1中的位置信息和大小范围；同时，为目标框图像添加对应的语义信息，以便于进一步扩展后续所检测的特征点的特征属性；其中所述语义信息表示的是标识的类别；
以停车场为例，停车场中一般具有相对丰富的人为标识，例如各种行车指示标识，位置指示标识等；设计这些标识的目的是为了给人提供信息的，因此一般规格相对统一，语义明确，安装后位置固定不轻易变动，安装位置明显，可视条件优良；基于此，可以预先确定停车场中的各种标识作为神经网络模型的检测目标，预先进行模型训练，来获得本实施例中的神经网络模型；
优选地，当本实施例方法应用于停车场中车辆定位；所述预设标识内容可以被设置为包括停车场中的标号、图案、标语、车道线、车位线中的一种或多种；其中，所述标号包括由字母与数字组成的停车场区域标号与车位标号；所述图案包括停车场中的交通标识、箭头指引；
需说明的是，传统包含语义信息的停车场地图的语义信息指的是地面的结构化信息，主要表征地面的线面等几何结构，而本实施例中是包含为标号、图案、文本等典型标识赋予语义信息，能够更好地将特征点检测、匹配以及根据特征点搭建的地图，与现实场景联系起来；
可选地，所述神经网络模型包括YOLO模型和文本识别模型；所述YOLO模型用于识别所述图案、所述车道线、所述车位线；所述文本识别模型用于识别所述标号、所述标语；所述YOLO模型优选但不限于为yolov5s模型；
示例性地，本实施例中所述神经网络模型可以通过以下步骤(1)～(3)来获得：
(1)人工驾驶车辆在标识相对充足的停车场行驶，通过车体4个方向的视觉传感器采集车周信息，依据时间戳对4个摄像头的图像进行同步；通过车体自定位传感器采集本车车姿与运动信息，依据时间戳，视觉传感器与车体自定位传感器的数据时间同步；
(2)数据标注，停车场标识一般主要分文本与图案为主；举例而言，区域指示标识，车位编号等以数字和字母的组合为主，某些指示上有中文文本；图案标识一般包含有指示箭头，行车标识等；在标注的时候把目标整体框住，并加以编号；例如分4种，标号类：包含区域标号与车位标号等，仅包含字母与数字；图案类：包含交通标识和箭头指引等；文本类：包含标语，一般为中英文词语句子等；其它类：特定停车场内的特殊标识；以上4类按照0-3进行类别标注；其中在类别0的标号类别为主要广泛存在的重要对象，可以反映停车场的空间与车位结构位置信息，其构成的地图信息天然适合人类理解；
(3)进行用于标识目标识别的神经网络模型训练，例如使用标注数据对yolov5s模型进行训练；对于类别0的标号类增加一个用于识别字母与数字的深度学习网络，以对类别0的标识进行识别取得其字母和数字的组合作为语义信息；这样在yolov5s的目标识别里，就可以不用考虑给字母数字做标注，目标检测网络和文本识别网络可以分开训练与优化，使整个识别网络更加灵活。
需说明的是，以上神经网络模型的介绍仅为一种举例，在具体实施过程中，本实施例方法并不局限于上述训练方法获得的神经网络模型；
步骤S3、分别对该多个目标框图像进行特征点检测获得所述图像P1的特征点描述信息，并根据所述图像P1的特征点描述信息获得当前时刻的特征点集合J1；其中，所述图像P1的特征点描述信息包括特征点的特征值、语义信息以及特征点在所述图像P1中的位置信息；任一特征点的语义信息与该特征点对应的目标框图像的语义信息相同；
具体而言，传统特征点基于光学特征与人为设计，例如SIFT、SURF、ORB等特征点，特征点的描述细致程度与计算速度是对立关系，在实际定位中需要快速的计算速度满足系统实时性的要求；本实施例中基于上述步骤S2的处理，从原始的图像P1中提取需要进行特征点检测的多个目标框图像，可以理解的是，目标框图像的尺寸相对于原始图像P1而言，尺寸大大减小，并且，图像P1中与标识无关的其他图像信息则不进行特征点检测，因此，本实施例的优点有：减少了特征点检测的范围，并且，分别对多个目标框图像进行特征点检测，即多个目标框图像的特征点检测可以同步进行，而且目标框图像的尺寸相对原始图像P1较小，在检测时可以节省很多时间，更好地满足系统实时性的要求；
本实施例相对于现有技术的特征点检测方式而言，计算速度优化率为：
Figure BDA0002938932570000101
其中，w*h为目标框图像的尺寸，即宽和高的像素；W*H为车辆周围环境图像的尺寸，即宽和高的像素；r为计算速度优化率；需说明的是，步骤S3中对检测框内的内容进行视觉特征点的搜寻，包括但不限于SIFT、SURF、ORB等特征点提取算法获得目标特征点及其特征值；上述特征点的提取算法为本领域技术人员所熟知，因此，说明书中不进行赘述；进一步地，步骤S2中已经获得了目标框图像在图像P1中的位置信息，因此，结合特征点在目标框图像中的位置信息，在步骤S3中可以进一步地确定特征点在图像P1中的位置信息，特征点的语义信息与该特征点对应的目标框图像的语义信息相同，根据特征点的特征值、语义信息以及在图像P1中的位置信息可以得到所述图像P1的特征点描述信息，最后根据检测得到的所有特征点的描述信息生成当前时刻的特征点集合J1，以用于后续步骤处理；
步骤S4、获取上一时刻的特征点集合J0，并根据特征点的语义信息和特征值将所述集合J1与所述集合J0中的特征点进行匹配得到匹配特征点；
具体而言，本实施例中周期性地获取车辆周围环境图像并进行步骤S1～S5的处理，所述上一时刻的特征点集合J0的获得过程与当前时刻的特征点集合J1的获得过程一致；
可以理解的是，特征点代表了图像中特征的光学性质，如同身份ID般可以在不同的图像中进行一一匹配，任一特征点的特征值和语义信息是表征特征点区别与其他特征点的重要信息，因此，可以根据语义信息进行初步筛选获得语义信息相同的特征点，然后再对具有相同语义信息的多个特征点进行特征值对比匹配来获得匹配特征点；
需说明的是，特征点需要一定的描述细致程度以满足特征点匹配时的准确度，而特征点的匹配的准确性最终影响的是对应点的三维估计与车辆自身位姿估计的误差，而且传统特征点缺少语义特征，特征点构成的地图也往往无法和场景具体对应匹配；对此，本实施例中为特征点增加了语义信息，提高了特征点的描述细致程度，相对于传统特征点匹配方式，本实施例特征点匹配不需要遍历全局图像进行搜索，只需要在对具有相同语义信息的特征点进行搜索匹配，极大提高特征点的匹配效率，达到更快搜索与更正确匹配特征的目的，能更好地满足特征点匹配时的准确度，从而有助于提高匹配点的三维估计与车辆自身位姿估计的精度；
作为一个例子，本实施例中特征点的匹配可以设置为满足以下公式：
min L(X1，X2|locInfoi，locInfoj，decInfoi，decInfoj)
其中，X1、locInfoi、decInfoi分别为对应特征点i的特征属性：特征点i的特征值、停车场地理位置信息、语义信息，X2、locInfoj、decInfoj分别为对应特征点i的特征属性：特征点j的特征值、停车场地理位置信息、语义信息，L为计算特征点i和j之间“距离”的函数，通过计算最近“距离”的点来进行匹配，此处距离指的是广义的距离，理解为数学上差别的表达式；
在本例子中，增加了停车场地理位置信息，停车场地理位置信息可以是通过车辆自定位传感器来确定，其目的在于确定匹配的特征点在同一个停车场环境中，进一步确定根据语义信息进行特征点筛选，最后，根据筛选出来的特征点的特征值计算距离，距离最小的两个点可能是匹配点，则需要判断距离是否足够近，即与预设距离阈值的比较结果是否满足条件，最终确定匹配特征点；
步骤S5、根据所述匹配特征点和三角测量原理计算获得所述匹配特征点与车辆的空间位置关系；并获取所述匹配特征点在地图中的位置信息；以及，根据所述匹配特征点与车辆的位置关系以及所述匹配特征点在地图中的位置信息确定当前时刻车辆在所述地图中的位置信息；
具体而言，所述三角测量原理为视觉SLAM中，利用相机运动估算特征点空间位置的原理，可以理解的是，根据三角测量原理计算得到的是匹配特征点相对于车载摄像头的空间位置，由于车载摄像头是固定安装于车辆上的，因此，结合车载摄像头安装位置与车辆中心的位置关系，可以进一步计算确定匹配特征点与车辆的空间位置关系；
可以理解的是，所述匹配特征点在地图中的位置信息是已知的，因此，可以根据所述匹配特征点与车辆的位置关系以及所述匹配特征点在地图中的位置信息确定当前时刻车辆在所述地图中的位置信息。
在一更具体的实施例中，所述步骤S4，具体包括：
对于所述集合J1中的任一个特征点，将该特征点与所述集合J0中与该特征点具有相同语义信息的特征点进行特征值比较；其中，若任意两个特征点的特征值的比较结果满足预设条件，则确定该两个特征点为一对匹配的特征点。
具体而言，所述预设条件可以设置为计算两个特征点的特征值的相似度，例如计算欧式距离的方式，当相似度大于设定值，则确定该两个特征点为一对匹配的特征点。
在一更具体的实施例中，所述步骤S5中根据所述匹配特征点和三角测量原理计算获得所述匹配特征点与车辆的空间位置关系，具体包括：
步骤S51、获取第一特征点在上一时刻的车辆周围环境图像P0中的第一位置信息；其中所述第一特征点为所述集合J0中的特征点；
步骤S52、获取第二特征点在所述图像P1中的第二位置信息；其中所述第二特征点为所述集合J1中与所述第一特征点匹配的特征点；
步骤S53、获取上一时刻与当前时刻之间时间段的车辆运动状态信息；
步骤S54、根据所述第一位置信息、第二位置信息以及所述车辆运动状态信息和三角测量原理计算获得所述第二特征点与车辆的空间位置关系；
具体而言，所述三角测量计算指的是，通过在两处观测同一个特征点的夹角，从而确定该特征点相对于摄像头的空间位置关系；在本实施例中，所述第一位置信息为在图像P0中观测到的第一特征点的位置，所述第二位置信息为在图像P1中观测到的第二特征点的位置，而第一特征点与第二特征点实际上为同一个特征点，两者是在不同时间/不同图像中观测到的，进一步地，可以理解的是，由于车辆运动导致了观测到的特征点在图像中的位置发生变化，因此，车辆运动状态与先后观测到两个匹配特征点之间的图像位置变化存在对应的关系，观测点与车辆的距离越远，则匹配特征点之间的图像位置变化受到车辆运动状态的影响越大，因此，基于三角测量计算原理以及车辆与摄像头的位置关系，可以计算获得所述第二特征点与车辆的空间位置关系。
在一更具体的实施例中，所述步骤S5还包括：
根据所述集合J1中的匹配特征点在地图中的位置信息确定当前时刻车载摄像头的姿态信息，并根据所述车载摄像头的姿态信息确定当前时刻的车辆姿态信息。
具体而言，摄像头所拍摄的角度与摄像头的姿态是一一对应的，因此，根据摄像头所拍摄到的特征点在地图中的位置信息，可以确定车载摄像头的姿态信息；其中，当前时刻对应的匹配特征点为所述集合J1中的特征点，因此可以根据所述集合J1中的匹配特征点在地图中的位置信息确定当前时刻车载摄像头的姿态信息；可以理解的是，摄像头是固定安装在车辆上的，摄像头的姿态与车辆的姿态是一一对应的，因此，可以根据所述车载摄像头的姿态信息确定当前时刻的车辆姿态信息。
在一更具体的实施例中，所述地图根据以下步骤S61～S66生成：
步骤S61、获取车载摄像头所采集的第一时刻的车辆周围环境图像P2，并对所述图像P2进行特征点检测获得所述图像P2的特征点描述信息；
步骤S62、获取车载摄像头所采集的第二时刻的车辆周围环境图像P3，并对所述图像P3进行特征点检测获得所述图像P3的特征点描述信息；
步骤S63、根据特征点的语义信息和特征值将所述集合J2与所述集合J3中的特征点进行匹配得到匹配特征点；
步骤S64、根据所述集合J2与所述集合J3的匹配特征点和三角测量原理计算获得所述集合J3的匹配特征点与车辆的空间位置关系；
步骤S65、根据所述集合J3中匹配特征点与车辆的位置关系获得所述集合J3中匹配特征点在车辆坐标系中的三维坐标；其中，所述车辆坐标系的原点为第二时刻时的车辆中心；
步骤S66、获取车辆自定位传感器所检测的车辆地理位置信息，根据所述集合J3中匹配特征点在车辆坐标系中的三维坐标、所述车辆地理位置信息以及所述集合J3中匹配特征点的语义信息，生成所述地图。
具体而言，所述车辆自定位传感器例如是GPS定位系统，用于实时检测车辆的GPS定位信息，根据该GPS定位信息可以确定地图的整体定位信息，结合所述集合J3中特征点在车辆坐标系中的三维坐标、所述集合J3中特征点的语义信息，则可以生成包含由特征点构成的点云地图。
在一更具体的实施例中，所述步骤S61具体包括：
步骤S611、将所述图像P2输入预先训练好的神经网络模型进行标识目标检测，输出多个包含预设标识内容的目标框图像、目标框图像的语义信息以及目标框图像在所述图像P2中的位置信息；
步骤S612、分别对该多个目标框图像进行特征点检测获得所述图像P2的特征点描述信息，并根据所述图像P2的特征点描述信息获得当前时刻的特征点集合J2；其中，所述图像P2的特征点描述信息包括特征点的特征值、语义信息以及特征点在所述图像P2中的位置信息。
需说明的是，本实施例中的地图是一种稀疏结构的，可以理解为是由特征点构成的集合，可以用于定位的特征地图。本实施例的地图中的基本结构为特征点，本实施例中特征点反映其视觉数学特性与标识语义属性，不包含图案形状等信息，其突出的是相对于传统特征点的新颖特征点个体结构，与由检测得到的所有新颖特征点集合而成的特征地图；本实施例中的地图可以表示为：
map＝{newFeature3Ds，newFeatures}
其中，newFeatures为特征点集合，newFeature3Ds为特征点的3D坐标；map可以理解为是特征点的3D点云集合，即可作为具有明确语义信息的定位地图；优选地，可以加上车道线识别结果能构成更为直观的地图。
进一步地，多帧间匹配好的特征点可以计算出车载摄像头的位姿变化，车载摄像头位姿与车辆位姿变化由于物理器件安装上的硬连接而具有对应关系，对特征点3D坐标与车载摄像头位姿与车辆位姿进行捆绑优化，可以表示为以下表达式：
[(R,T),newFeature3Ds]*
＝arg max P(newFeatures，Uimu|(R,T),newFeature3Ds)
其中，Uimu为自定位传感器IMU的运动约束方程，(R,T)为车辆姿态。
在一更具体的实施例中，所述步骤S62具体包括：
步骤S621、将所述图像P3输入预先训练好的神经网络模型进行标识目标检测，输出多个包含预设标识内容的目标框图像、目标框图像的语义信息以及目标框图像在所述图像P3中的位置信息；
步骤S622、分别对该多个目标框图像进行特征点检测获得所述图像P3的特征点描述信息，并根据所述图像P3的特征点描述信息获得当前时刻的特征点集合J2；其中，所述图像P3的特征点描述信息包括特征点的特征值、语义信息以及特征点在所述图像P3中的位置信息。
通过以上实施例描述可知，本发明实施例方法在进行建图与定位仅使用车身4个方向视觉传感器与自定位传感器，不需要改造场地环境，充分利用场地环境内丰富的标识为传统视觉特征点附加语义信息。新的特征点基于标识识别结果的目标框图像范围内进行搜索，因此特征点数量会进一步缩小。通过目标框图像进行特征点搜索的方式，可以极大缩小搜索范围从而减少搜索时间，提高系统实时性。同时前端标识识别起到过滤动态目标的作用。例如在停车场中停有大量的车辆，同一位置上的车辆随时间不同而发生变化，比如某个时刻变成空车位，某个时刻变为其它车辆。但是场地标识一般为静态目标，通过标识识别可以过滤掉动态目标，从而减少动态目标特征点对定位的影响。另外，特征点匹配，不同于传统方法的全局搜索匹配，只需要对应相同标识属的特征点间进行匹配，蕴含语义信息的新特征点更鲁棒，不易受光照等外部环境影响。最后，通过标识识别结果的语义信息可以快速定位特征点在现实中的对象，使特征点和现实世界的对应关系更加直观，在多图层融合中具有显著优势，更利于与人交互。
参阅图3，本发明另一实施例提出一种车辆定位系统，可以用于实现上述实施例所述的车辆定位方法，本实施例系统包括：
图像获取单元1，用于周期性地获取车载摄像头所采集的当前时刻的车辆周围环境图像P1；
目标检测单元2，用于将所述图像P1输入预先训练好的神经网络模型进行标识目标检测，输出多个包含预设标识内容的目标框图像、目标框图像的语义信息以及目标框图像在所述图像P1中的位置信息；
特征点检测单元3，用于分别对该多个目标框图像进行特征点检测获得所述图像P1的特征点描述信息，并根据所述图像P1的特征点描述信息获得当前时刻的特征点集合J1；其中，所述图像P1的特征点描述信息包括特征点的特征值、语义信息以及特征点在所述图像P1中的位置信息；任一特征点的语义信息与该特征点对应的目标框图像的语义信息相同；
特征点匹配单元4，用于获取上一时刻的特征点集合J0，并根据特征点的语义信息和特征值将所述集合J1与所述集合J0中的特征点进行匹配得到匹配特征点；以及
车辆定位单元5，用于根据所述匹配特征点和三角测量原理计算获得所述匹配特征点与车辆的空间位置关系；并获取所述匹配特征点在地图中的位置信息；以及，根据所述匹配特征点与车辆的位置关系以及所述匹配特征点在地图中的位置信息确定当前时刻车辆在所述地图中的位置信息。
在一更具体的实施例中，所述特征点匹配单元4，具体用于：
对于所述集合J1中的任一个特征点，将该特征点与所述集合J0中与该特征点具有相同语义信息的特征点进行特征值比较；其中，若任意两个特征点的特征值的比较结果满足预设条件，则确定该两个特征点为一对匹配的特征点。
在一更具体的实施例中，所述车辆定位单元5，还用于：
根据所述集合J1中的匹配特征点在地图中的位置信息确定当前时刻车载摄像头的姿态信息，并根据所述车载摄像头的姿态信息确定当前时刻的车辆姿态信息。
在一更具体的实施例中，所述预设标识内容包括停车场中的标号、图案、文本、车道线、车位线中的一种或多种；其中，所述标号包括由字母与数字组成的停车场区域标号与车位标号；所述图案包括停车场中的交通标识、箭头指引；所述文本包括停车场中的标语。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
需说明的是，上述实施例所述系统与上述实施例所述方法对应，因此，上述实施例所述系统未详述部分可以参阅上述实施例所述方法的内容得到，即上述实施例方法记载的具体步骤内容可以理解为本实施例系统的所能够实现的功能，此处不再赘述。
并且，上述实施例所述车辆定位系统若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
本发明另一实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述车辆定位方法的步骤。
具体而言，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种车辆定位方法，其特征在于，包括：
周期性地获取车载摄像头所采集的当前时刻的车辆周围环境图像P1；
将所述图像P1输入预先训练好的神经网络模型进行标识目标检测，输出多个包含预设标识内容的目标框图像、目标框图像的语义信息以及目标框图像在所述图像P1中的位置信息；
分别对该多个目标框图像进行特征点检测获得所述图像P1的特征点描述信息，并根据所述图像P1的特征点描述信息获得当前时刻的特征点集合J1；其中，所述图像P1的特征点描述信息包括特征点的特征值、语义信息以及特征点在所述图像P1中的位置信息；任一特征点的语义信息与该特征点对应的目标框图像的语义信息相同；
获取上一时刻的特征点集合J0，并根据特征点的语义信息和特征值将所述集合J1与所述集合J0中的特征点进行匹配得到匹配特征点；
根据所述匹配特征点和三角测量原理计算获得所述匹配特征点与车辆的空间位置关系；并获取所述匹配特征点在地图中的位置信息；以及，根据所述匹配特征点与车辆的位置关系以及所述匹配特征点在地图中的位置信息确定当前时刻车辆在所述地图中的位置信息。
2.根据权利要求1所述的车辆定位方法，其特征在于，所述根据特征点的语义信息和特征值将所述集合J1与所述集合J0中的特征点进行匹配得到匹配特征点，包括：
对于所述集合J1中的任一个特征点，将该特征点与所述集合J0中与该特征点具有相同语义信息的特征点进行特征值比较；其中，若任意两个特征点的特征值的比较结果满足预设条件，则确定该两个特征点为一对匹配的特征点。
3.根据权利要求1所述的车辆定位方法，其特征在于，所述根据所述匹配特征点和三角测量原理计算获得所述匹配特征点与车辆的空间位置关系，包括：
获取第一特征点在上一时刻的车辆周围环境图像P0中的第一位置信息；其中所述第一特征点为所述集合J0中的特征点；
获取第二特征点在所述图像P1中的第二位置信息；其中所述第二特征点为所述集合J1中与所述第一特征点匹配的特征点；
获取上一时刻与当前时刻之间时间段的车辆运动状态信息；
根据所述第一位置信息、第二位置信息以及所述车辆运动状态信息和三角测量原理计算获得所述第二特征点与车辆的空间位置关系。
4.根据权利要求3所述的车辆定位方法，其特征在于，所述方法还包括：
根据所述集合J1中的匹配特征点在地图中的位置信息确定当前时刻车载摄像头的姿态信息，并根据所述车载摄像头的姿态信息确定当前时刻的车辆姿态信息。
5.根据权利要求1所述的车辆定位方法，其特征在于，该方法应用于停车场中车辆定位；所述预设标识内容包括停车场中的标号、图案、标语、车道线、车位线中的一种或多种；其中，所述标号包括由字母与数字组成的停车场区域标号与车位标号；所述图案包括停车场中的交通标识、箭头指引。
6.根据权利要求5所述的车辆定位方法，其特征在于，所述神经网络模型包括YOLO模型和文本识别模型；所述YOLO模型用于识别所述图案、所述车道线、所述车位线；所述文本识别模型用于识别所述标号、所述标语。
7.根据权利要求1所述的车辆定位方法，其特征在于，所述地图根据以下步骤生成：
获取车载摄像头所采集的第一时刻的车辆周围环境图像P2，并对所述图像P2进行特征点检测获得所述图像P2的特征点描述信息；
获取车载摄像头所采集的第二时刻的车辆周围环境图像P3，并对所述图像P3进行特征点检测获得所述图像P3的特征点描述信息；
根据特征点的语义信息和特征值将所述集合J2与所述集合J3中的特征点进行匹配得到匹配特征点；
根据所述集合J2与所述集合J3的匹配特征点和三角测量原理计算获得所述集合J3的匹配特征点与车辆的空间位置关系；
根据所述集合J3中匹配特征点与车辆的位置关系获得所述集合J3中匹配特征点在车辆坐标系中的三维坐标；其中，所述车辆坐标系的原点为第二时刻时的车辆中心；
获取车辆自定位传感器所检测的车辆地理位置信息，根据所述集合J3中匹配特征点在车辆坐标系中的三维坐标、所述车辆地理位置信息以及所述集合J3中匹配特征点的语义信息，生成所述地图。
8.根据权利要求7所述的车辆定位方法，其特征在于，其中，所述图像P2和图像P3的特征点描述信息的获得过程如下：
将所述图像P2或P3输入预先训练好的神经网络模型进行标识目标检测，输出对应的多个包含预设标识内容的目标框图像、目标框图像的语义信息以及目标框图像在所述图像P2或P3中的位置信息；
分别对该多个目标框图像进行特征点检测获得所述图像P2或P3的特征点描述信息，并根据所述图像P2或P3的特征点描述信息获得对应的特征点集合；其中，所述图像P2或P3的特征点描述信息包括特征点的特征值、语义信息以及特征点在所述图像P2或P3中的位置信息。
9.一种车辆定位系统，其特征在于，所述系统包括：
图像获取单元，用于周期性地获取车载摄像头所采集的当前时刻的车辆周围环境图像P1；
目标检测单元，用于将所述图像P1输入预先训练好的神经网络模型进行标识目标检测，输出多个包含预设标识内容的目标框图像、目标框图像的语义信息以及目标框图像在所述图像P1中的位置信息；
特征点检测单元，用于分别对该多个目标框图像进行特征点检测获得所述图像P1的特征点描述信息，并根据所述图像P1的特征点描述信息获得当前时刻的特征点集合J1；其中，所述图像P1的特征点描述信息包括特征点的特征值、语义信息以及特征点在所述图像P1中的位置信息；任一特征点的语义信息与该特征点对应的目标框图像的语义信息相同；
特征点匹配单元，用于获取上一时刻的特征点集合J0，并根据特征点的语义信息和特征值将所述集合J1与所述集合J0中的特征点进行匹配得到匹配特征点；以及
车辆定位单元，用于根据所述匹配特征点和三角测量原理计算获得所述匹配特征点与车辆的空间位置关系；并获取所述匹配特征点在地图中的位置信息；以及，根据所述匹配特征点与车辆的位置关系以及所述匹配特征点在地图中的位置信息确定当前时刻车辆在所述地图中的位置信息。
10.根据权利要求9所述的车辆定位系统，其特征在于，所述特征点匹配单元，具体用于：
对于所述集合J1中的任一个特征点，将该特征点与所述集合J0中与该特征点具有相同语义信息的特征点进行特征值比较；其中，若任意两个特征点的特征值的比较结果满足预设条件，则确定该两个特征点为一对匹配的特征点；
所述车辆定位单元，还用于：
根据所述集合J1中的匹配特征点在地图中的位置信息确定当前时刻车载摄像头的姿态信息，并根据所述车载摄像头的姿态信息确定当前时刻的车辆姿态信息。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述车辆定位方法的步骤。
CN202110171044.0A 2021-02-08 2021-02-08 一种车辆定位方法及系统、计算机可读存储介质 Pending CN114913491A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110171044.0A CN114913491A (zh) 2021-02-08 2021-02-08 一种车辆定位方法及系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110171044.0A CN114913491A (zh) 2021-02-08 2021-02-08 一种车辆定位方法及系统、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114913491A true CN114913491A (zh) 2022-08-16

Family

ID=82762071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110171044.0A Pending CN114913491A (zh) 2021-02-08 2021-02-08 一种车辆定位方法及系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114913491A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948523A (zh) * 2019-03-18 2019-06-28 中国汽车工程研究院股份有限公司 一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用
CN111169468A (zh) * 2018-11-12 2020-05-19 北京初速度科技有限公司 一种自动泊车的系统及方法
CN111220154A (zh) * 2020-01-22 2020-06-02 北京百度网讯科技有限公司 车辆定位方法、装置、设备和介质
CN111351493A (zh) * 2018-12-24 2020-06-30 上海欧菲智能车联科技有限公司 一种定位方法和系统
CN111797684A (zh) * 2020-05-25 2020-10-20 维森视觉丹阳有限公司 一种运动车辆双目视觉测距方法
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
CN112102646A (zh) * 2019-06-17 2020-12-18 北京初速度科技有限公司 一种泊车定位中的停车场入口定位方法、装置及车载终端
WO2020253842A1 (zh) * 2019-06-20 2020-12-24 杭州海康威视数字技术股份有限公司 一种车辆位姿确定方法、装置及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111169468A (zh) * 2018-11-12 2020-05-19 北京初速度科技有限公司 一种自动泊车的系统及方法
CN111351493A (zh) * 2018-12-24 2020-06-30 上海欧菲智能车联科技有限公司 一种定位方法和系统
CN109948523A (zh) * 2019-03-18 2019-06-28 中国汽车工程研究院股份有限公司 一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用
CN112102646A (zh) * 2019-06-17 2020-12-18 北京初速度科技有限公司 一种泊车定位中的停车场入口定位方法、装置及车载终端
WO2020253010A1 (zh) * 2019-06-17 2020-12-24 魔门塔(苏州)科技有限公司 一种泊车定位中的停车场入口定位方法、装置及车载终端
WO2020253842A1 (zh) * 2019-06-20 2020-12-24 杭州海康威视数字技术股份有限公司 一种车辆位姿确定方法、装置及电子设备
CN111220154A (zh) * 2020-01-22 2020-06-02 北京百度网讯科技有限公司 车辆定位方法、装置、设备和介质
CN111797684A (zh) * 2020-05-25 2020-10-20 维森视觉丹阳有限公司 一种运动车辆双目视觉测距方法
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法

Similar Documents

Publication Publication Date Title
CN110622213B (zh) 利用3d语义地图进行深度定位和分段的系统和方法
CN107967473B (zh) 基于图文识别和语义的机器人自主定位和导航
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US11567496B2 (en) Method and apparatus for optimizing scan data and method and apparatus for correcting trajectory
CN111830953B (zh) 车辆自定位方法、装置及系统
Chen et al. City-scale landmark identification on mobile devices
CN109631855A (zh) 基于orb-slam的高精度车辆定位方法
CN115035338A (zh) 由摄像机图像车辆定位的方法和系统
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
GB2520338A (en) Automatic scene parsing
US11430199B2 (en) Feature recognition assisted super-resolution method
CN105069809A (zh) 一种基于平面混合标识物的相机定位方法及系统
CN108428254A (zh) 三维地图的构建方法及装置
CN109141444A (zh) 定位方法、装置、存储介质及移动设备
JP2008059319A (ja) 物体認識装置および映像物体測位装置
CN111060924A (zh) 一种slam与目标跟踪方法
CN114295139A (zh) 一种协同感知定位方法及系统
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN111754388B (zh) 一种建图方法及车载终端
CN111795703B (zh) 地图构建方法、装置、存储介质及移动设备
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN116843867A (zh) 增强现实虚实融合方法、电子设备和存储介质
CN114627365B (zh) 场景重识别方法、装置、电子设备及存储介质
Abdi et al. In-vehicle augmented reality TSR to improve driving safety and enhance the driver’s experience
CN114913491A (zh) 一种车辆定位方法及系统、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination