CN111860084A - 图像特征的匹配、定位方法及装置、定位系统 - Google Patents

图像特征的匹配、定位方法及装置、定位系统 Download PDF

Info

Publication number
CN111860084A
CN111860084A CN201910365705.6A CN201910365705A CN111860084A CN 111860084 A CN111860084 A CN 111860084A CN 201910365705 A CN201910365705 A CN 201910365705A CN 111860084 A CN111860084 A CN 111860084A
Authority
CN
China
Prior art keywords
semantic
matching
image
result
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910365705.6A
Other languages
English (en)
Other versions
CN111860084B (zh
Inventor
武永峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chihiro Location Network Co Ltd
Original Assignee
Chihiro Location Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chihiro Location Network Co Ltd filed Critical Chihiro Location Network Co Ltd
Priority to CN201910365705.6A priority Critical patent/CN111860084B/zh
Publication of CN111860084A publication Critical patent/CN111860084A/zh
Application granted granted Critical
Publication of CN111860084B publication Critical patent/CN111860084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于定位技术领域，提供了一种图像特征的匹配、定位方法及装置、定位系统，所述匹配方法包括：采集图像；对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。本发明中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提高特征匹配精度。

Description

图像特征的匹配、定位方法及装置、定位系统
技术领域
本发明属于定位技术领域，尤其涉及一种图像特征的匹配、定位方法及装 置、定位系统。
背景技术
随着智能驾驶和智慧城市的快速发展，车辆的高精度位置信息的作用日益 凸显。基于车载相机的视觉定位技术因为其成本相对较低，而受到了广泛的关 注。在视觉定位技术中，图像特征的提取和匹配有着至关重要的作用。道路两 旁通常会分布有语义标志牌(道路交通标志牌、广告牌等形状规则的物体)， 其外部轮廓显著性相对较高，外部轮廓的几何特征点由于可适应光照条件变化， 而且不会受到季节因素的影响而在视觉定位中得到应用。
视觉定位技术主要分为两个阶段：定位地图构建阶段和定位阶段。在定位地 图构建阶段，车载相机采集水平视角影像，高精度RTK和惯导等设备实时测量 位姿信息。将带有位姿信息的影像通过SFM(StructureforMotion)/SLAM等技 术构建视觉定位地图。在定位阶段，定位车辆只需装备相机，通过相机采集水 平视角影像，提取图像特征，使用RANSAC算法与定位地图中的图像特征进行匹 配，使用PnP算法估计车辆的精确位置。
现有技术中，图像特征提取的方式主要包括SIFT/SURF/ORB等，图像特征 由关键点和描述子两部分构成。对于汽车定位而言，由于道路两旁的绿化植被 的外观会发生季节性变化，光照条件在同一天中也会发生巨大变化，无法以绿 化植被作为图像特征。道路两旁通常会分布有语义标志牌，其外部轮廓显著性 相对较高，因此视觉语义特征(语义标志牌外部轮廓的几何特征)可以较大程 度的适应光照条件变化，而且不会受到季节因素的影响。
视觉语义特征的提取可以分为实例分割和几何特征点提取。实例分割通过 深度学习对图像的物体进行检测，分割出语义标志牌并确定其语义信息；在几 何特征点提取阶段，对多边形的语义标志牌的外部轮廓直线拟合，外部轮廓的 角点和几何中心点作为几何特征点。由于几何特征点的匹配过程需要依赖语义 标志牌的分割结果，当发生误分割，或者一幅影像中包含多个语义相同的语义 标志牌时，几何特征点可能会匹配错误，因此匹配精度不高。
发明内容
本发明实施例提供了一种图像特征的匹配、定位方法及装置、定位系统， 旨在解决现有技术中由于依赖语义标志牌的分割结果导致特征匹配精度不高的 问题。
一种图像特征的匹配方法，包括：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语 义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结 果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。 优选地，对所采集的图像进行分割，得到分割结果包括：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分 割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
对形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数 据，所述多边形数据包括对应的几何特征。
优选地，采集图像之前还包括：
构建视觉语义图。
优选地，构建视觉语义图包括：
采集基准图像；
获取所述基准图像中的每一语义标志牌的状态信息，所述状态信息包括对 应语义标志牌的语义信息及几何特征；
基于所述语义标志牌的语义信息及几何特征生成对应的语义特征；
基于所生成的语义特征构建视觉语义图。
优选地，所述状态信息还包括目标车辆的位姿信息；基于所生成的语义特 征构建视觉语义图包括：
基于所述位姿信息确定所述语义特征所在的位置；
基于所确定的语义特征所在位置定义两个以上节点；
基于所定义的两个以上节点构建视觉语义图。
优选地，基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序 列匹配结果具体为：
采用以下模型基于所述分割结果及视觉语义图进行语义序列匹配，得到语 义序列匹配结果，所述模型为：<π，A，B>，所述π为初始概率分布；A为状态转移概； B为发散概率。
优选地，基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征 匹配结果包括：
基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；
基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特 征；
基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到图像 特征匹配结果。
优选地，
基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到图像 特征匹配结果包括：
基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特 征相似度；
若相似度大于阈值时，确定匹配，将所构建的语义特征作为所采集图像的 图像特征。
本发明还提供一种图像特征的匹配装置，包括：
采集单元，用于采集图像；
分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果 包括一个以上语义标志牌的语义信息；
序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配， 得到语义序列匹配结果；
特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得 到图像特征匹配结果。
本发明还提供一种基于视觉语义的定位方法，包括：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语 义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结 果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
基于所所述图像特征匹配结果进行定位，得到定位结果。
本发明还提供一种基于视觉语义的定装置，包括：
采集单元，用于采集图像；
分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果 包括一个以上语义标志牌；
序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配， 得到分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得 到图像特征匹配结果；
定位单元，用于基于特征匹配单元，用于基于所述语义序列匹配结果进行 图像特征的匹配，得到图像特征匹配结果进行定位，得到定位结果。
本发明还提供一种定位系统，包括定位装置，所述定位装置包括：
采集单元，用于采集图像；
分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果 包括一个以上语义标志牌；
序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配， 得到分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得 到图像特征匹配结果；
定位单元，用于基于特征匹配单元，用于基于所述语义序列匹配结果进行 图像特征的匹配，得到图像特征匹配结果进行定位，得到定位结果。
本发明还提供一种存储器，所述存储器存储有计算机程序，所述计算机程 序被处理器执行如下步骤：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语 义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结 果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
本发明还提供一种定位终端，包括存储器、处理器及存储在所述存储器中 并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实 现以下步骤：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语 义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结 果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
本发明实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹 配结果来匹配图像特征，可提高特征匹配精度。
附图说明
图1为本发明第一实施例提供的一种图像特征的匹配方法的流程图；
图2为本发明第一实施例提供的一种图像特征的匹配方法的步骤S5的具体 流程图；
图3为本发明第一实施例提供的一种图像特征的匹配方法的步骤S4的具体 流程图；
图4a为本发明第一实施例提供的一种图像特征的匹配方法的视觉语义图；
图4b为本发明第一实施例提供的一种图像特征的匹配方法的语义标志牌的 示意图；
图5为本发明第二实施例提供的一种图像特征的匹配装置的结构图；
图6为本发明第三实施例提供的一种定位方法的流程图；
图7为本发明第四实施例提供的一种定位装置的结构图；
图8为本发明第三实施例提供的一种定位终端的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。
本发明实施例中，一种图像特征的匹配方法，包括：采集图像；对所采集 的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；基 于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；基 于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1示出了本发明第一实施例提供的一种图像特征的匹配方法的流程图， 该匹配方法包括：
步骤S1，采集图像；
具体地，采用双目相机采集图像，优选地，本实施例中，通过双目相机来 采集车在行驶过程中所在道路的图像，以便于后续对车辆进行定位处理。该车 辆所行驶的道路两旁设置有若干语义标志牌，所述语义标志牌即为道路交通标 志牌、广告牌等形状规则物体等。
步骤S2，对所采集的图像进行分割，得到分割结果；
具体地，在Detecron框架下使用mask-RCNN模型对水平视角图像进行实例分 割(利用深度学习自动从图像中用目标检测方法框出不同实例，再用语义分割 法在不同实例区域内进行逐像素标记)，得到分割结果，该分割结果包括一个 以上语义标志牌的语义信息、包围盒(例如该语义标志牌的外围框架结构、坐 标等信息)。
进一步地，具体分割过程如下：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分 割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
当形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数 据，所述多边形数据包括对应的几何特征。
步骤S3，基于分割结果及视觉语义图进行语义序列匹配，得到语义序列匹 配结果；
具体地，基于前述分割结果及预先构建的视觉语义图进行语义序列匹配， 得到语义序列匹配结果，进一步地，该语义序列匹配结果包括：分割结果中语 义标志牌与视觉语义图中语义标志牌的对应关系；
步骤S4，基于语义序列匹配结果进行图像特征的匹配，得到图像特征匹配 结果；
具体地，基于前述语义匹配结果及视觉语义图进行图像特征的匹配，将分 割结果的语义特征与对应视觉语义图中的语义标志牌的语义特征根据语义信息 和几何信息进行匹配，得到匹配结果，其中，该图像特征优选为视觉语义特征。
在本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配 结果来匹配图像特征，可提高特征匹配精度。
在本实施例的一个优选方案中，该步骤S1之前还包括：
步骤S5，构建视觉语义图；
具体地，预先根据语义标志牌的语义信息、几何特征的空间位置及道路信 息构建视觉语义图。
在本实施例的一个优选方案中，如图2所示，为本发明第一实施例提供的一 种图像特征的匹配方法的步骤S5的具体流程图，所示步骤S5具体包括：
步骤S51，采集基准图像；
具体地，首先采集车辆行驶道路的基准图像，优选地，采用双目相机采集 图像，该基准图像包括道路两旁的语义标志牌。
步骤S52，获取基准图像中的每一语义标志牌的状态信息；
具体地，从基准图像中获取每一语义标志牌的状态信息，该状态信息可包 括语义标志牌的语义信息及几何特征，例如，在Detecron框架下使用mask-RCNN 模型对采集的处于水平视角的基准图像进行分割，提取每一标志牌的语义信息 及包围盒，对语义标志牌的状态信息进行人工校验，消除误检的问题，采用canny 边缘检算法提取每一语义标志牌的边缘数据，通过模板算法确定每一语义标志 牌的类型，优选地，语义标志牌的类型可为三角形、四边形、圆、五边形、六 边形等，然后对语义标志牌的边界进行直线拟合，确定语义标志牌的边界交点 及几何特征(例如几何中心点)。
步骤S53，基于语义标志牌的语义信息及几何特征生成对应的语义特征； 具体地，基于语义标志牌的语义信息及几何特征生成对应的语义特征，具体过 程为：Feature＝<semantic，type，ori1，ori2>；
其中，semantic为语义特征的语义信息，type为几何特征点的类别，包括边角 点和几何中心点。对于几何特征类别为边角点的语义特征，ori1，ori2分别表示以 当前角点为起点，以相邻语义特征为终点的向量的方向。对于几何特征类别为 几何中心点的语义特征，由于不存在相邻的语义特征，ori1，ori2可设置为0。
步骤S54，基于所生成的语义特征构建视觉语义图；
具体地，根据所生成的语义特征构建视觉语义图，具体过程为：
基于位姿信息确定所述语义特征所在的位置；
具体地，采集车辆的位姿信息，通过对极几何确定语义特征的位置；
基于所确定的语义特征所在位置定义两个以上节点；
基于所定义的两个以上节点构建视觉语义图；
优选地，根据车辆对应的位姿信息，通过对极几何确定语义特征的位置， 通过语义特征的位置判断当前采集的图像中标志牌是否共面，将共面的标志牌 按照以左上角为起点按照蛇形排序，作为视觉语义图中的一个节点，将未与其 他标志牌共面的标志牌独立作为一个节点(即将与当前采集的图像中的标志牌 均不共面的标志牌独立作为一个节点，例如，当前采集图像中包括标志牌A、B、 C、D，标志牌D与标志牌A、B、C均不共面，而标志牌A、B、C彼此共面，此时将 标志牌D作为一个节点，将标志牌A、B、C作为一个节点)，构建视觉语义图， 根据道路拓扑信息和车道行车方向确定节点间的联通关系，构建视觉语义图模 型，该模型为无向图，定义如下：
G＝<nodes，edges>；
其中，G表示视觉语义图模型，nodes为语义图中的节点集合，edges为语义图 中的边集合，节点node的定义为：node＝<Nid，S>
其中，Nid为语义图节点的序号，S为该节点所在平面中的语义标志牌集合， 视觉语义图模型的边的定义如下：
edge＝<Eid，Ni，Nj>
其中，Eid为视觉语义图的边的序号，Ni，Nj表示处于该边连接的两个节点的 序号分别为Ni和Nj。
在本实施例的一个优选方案中，该步骤S3具体为：
采用以下模型基于所述分割结果及视觉语义图进行语义序列匹配，得到语 义序列匹配结果，所述模型为：<π，A，B>，π为初始概率分布，表示定位过程中车 辆在初始位置观测到视觉语义图中所有节点的概率；A为状态转移概率，表示定 位过程中，得到一个观测量时隐藏状态之间转移关系，主要由视觉语义图中的 边确定；B为发散概率，表示视觉语义图中的节点与观测量之间的相似度。
具体地，采用隐式马尔可夫模型对语义序列匹配进行建模，其中为视觉语 义图中的节点作为隐藏状态，采集的图像中每一组共面的语义标志牌序列作为 观测变量，由于一幅图像中可能包括多个或零个共面的语义标志牌序列，因此 一幅图像可能包含多个或零个观测量。对于一幅图像存在多个观测量的情况， 使用对极几何求出观测变量与定位车辆的距离关系，按照距离由近及远的顺序 排列观测量。
进一步优选地，假设定位车辆配置有GNSS定位设备，可获取低精度的定位 结果。根据精度较低的定位结果以及相应的定位精度信息，确定定位车辆可能 处于的位置。根据定位车辆的可能位置与车载相机的有效视距信息，确定首次 可能被采集到的隐藏状态，并赋予相同的初始概率，而不可能被观测到的隐藏 状态的概率赋值为零。在后续过程中，每一次的到观测变量时，将根据视觉语 义图中边集合确定隐藏状态之间转移的概率，使用转移概率更新隐藏状态的概 率。其次，根据观测量与隐藏状态之间的相似度计算发散概率，相似度越高则 发散概率的值越大，使用发散概率更新隐藏状态的概率。详细地，计算发散概 率的过程中，要求输入信息为语义标志牌识别的结果，即语义标志牌类别的概 率。将观测量中包含的语义标志牌序列与隐藏状态中的语义标志牌序列使用DTW (Dynamic TimeWarping，动态时间归整)算法求出相似度，通过相似度计算 发散概率。最终，对所有隐藏状态的概率进行排序，选择概率最大的隐藏状态 作为观测量的估计结果。
在本实施例的一个优选方案中，如图3所示，为本发明第一实施例提供的一 种图像特征的匹配方法的步骤S4的具体流程图，该步骤S4具体包括：
步骤S41，基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信 息；
具体地，首先基于前述语义序列匹配结果得到每一语义标志牌的语义信息， 进一步地，得到分割结果与视觉语义图中语义标志牌的对应关系；
优选地，进行语义序列匹配的目的是为了确定分割结果与视觉语义图中语 义标志牌的对应关系。进一步地，使用隐式马尔可夫模型进行匹配，确定观察 量(采集的图像，包含一组分割结果)与隐藏状态(视觉语义图中的节点，包 含一组语义标志牌)之间的对应关系。使用DTW方法计算发散概率，对于每一 个隐藏状态，DTW会根据采集影像的分割结果集合和隐藏状态的语义标志牌集合 进行匹配，得到匹配的概率作为发散概率。当得到一次观测量后，使用转移概 率和发散概率更新所有隐藏状态的概率，概率最大的隐藏状态就是观测量的对 应值。随后，根据对应的DTW的匹配结果即可确定每一个分割结果与语义图节点中的语义标志牌的对应关系。
步骤S42，基于每一语义标志牌的语义信息及几何特征构建对应的语义特征；
具体地，基于每一语义标志牌的语义信息及对应的几何特征构建对应的语 义特征；
进一步地，采用公式Feature＝<semantic，type，ori1，ori2>来构建，其中，semantic为 语义特征的语义信息，type为几何特征点的类别，包括边角点和几何中心点。对 于几何特征类别为边角点的语义特征，ori1，ori2分别表示以当前角点为起点，以 相邻语义特征为终点的向量的方向。对于几何特征类别为几何中心点的语义特 征，由于不存在相邻的语义特征，ori1，ori2设置为0。
步骤S43，基于所构建的语义特征及所述视觉语义图进行图像特征的匹配， 得到图像特征匹配结果；
具体地，基于所构建的语义特征及所述视觉语义图进行图像特征的匹配， 得到匹配结果；该匹配结果包括
优选地，基于所构建的语义特征计算所采集的图像与所述视觉语义图之间 的语义特征相似度；若相似度大于阈值时，匹配所构建的语义特征为所采集图 像的图像特征；
进一步地，该图像特征优选为语义特征(是语义几何特征的简写，表示带 有语义信息的几何特征)，在现实中表示影像中路牌的角点和几何中心点。如 图4a所示，该采集的图像中包括四个语义标志牌m，以其中一个语义标志牌为 例，如图4b所示，该标志牌包括五个语义特征(见图4b的圆点，包括四个角 点n及一个几何中心点c)
具体地，在获取语义序列匹配结果后，得到观测变量中包含的语义标志牌 序列与隐藏状态中包含的语义标志牌序列的匹配关系，即可以确定检测到的语 义标志牌的语义信息；根据检测到的语义标志牌的语义信息和几何特征，构建 语义特征。对于一组匹配的语义标志牌，按照如下方式计算语义特征的相似性：
D＝λ(Featurei，Featurej)·d(Featurei，Featurej)
其中，Featurei，Featurej为待匹配的语义特征，λ(·)用于计算语义特征的类别相似性，d(.)用于计算语义特征的几何相似性。
λ(.)的定义如下：
Figure BDA0002047981220000121
其中，Featurei.type表示语义特征对应的几何特征的类别。
d(·)的定义如下：
Figure BDA0002047981220000122
其中，σ为语义特征的几何信息中方向估计的标准差，orii，1和orii，2分别为语 义特征Featurei的几何信息中的方向信息。当语义特征的相似程度大于经验阈值 时，判定匹配成功，即确定该语义特征点与视觉语义图中特征点的对应关系。
在本实施例中，首先进行语义序列匹配，确定分割结果与视觉语义图节点 中的语义标志牌的对应关系，然后基于前述分割结果及确定的对应关系基础上， 对已经建立对应关系的分割结果和语义标志牌确定其上的语义特征的对应关系， 即图4b中的红色点与视觉语义图中的语义特征点之间的关系。
在本实施例中，基于图像分割结果进行语义序列匹配，确定分割结果与视 觉语义图中语义标志牌的对应关系，基于语义序列匹配结果来匹配图像特征， 可提高特征匹配精度。
实施例二：
基于上述实施例一，如图5所示，为本发明第二实施例提供的一种图像特 征的匹配装置的结构图，该匹配装置包括：采集单元1、与采集单元1连接的分 割单元2、与分割单元2连接的序列匹配单元3、与序列匹配单元3连接的特征 匹配单元4，其中：
采集单元1，用于采集图像；
具体地，该采集单元1优选为双目相机，利用双目相机来采集图像，优选地， 本实施例中，对行驶中的车辆进行图像采集，以便于后续对车辆进行定位处理。 该车辆所行驶的道路两旁设置有若干语义标志牌，所述语义标志牌即为道路交 通标志牌、广告牌等形状规则物体等。
分割单元2，用于对所采集的图像进行分割，得到分割结果；
具体地，在Detecron框架下使用mask-RCNN模型对水平视角图像进行实例分 割(利用深度学习自动从图像中用目标检测方法框出不同实例，再用语义分割 法在不同实例区域内进行逐像素标记)，得到分割结果，该分割结果包括一个 以上语义标志牌的语义信息、包围盒(例如该语义标志牌的外围框架结构、坐 标等信息)。
进一步地，具体分割过程如下：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分 割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
当形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数 据，所述多边形数据包括对应的几何特征。
序列匹配单元3，用于基于分割结果及视觉语义图进行语义序列匹配，得到 语义序列匹配结果；
具体地，基于前述分割结果及预先构建的视觉语义图进行语义系列匹配， 得到对应的语义序列匹配结果，进一步地，该语义序列匹配结果包括：分割结 果中语义标志牌与视觉语义图中语义标志牌的对应关系；
特征匹配单元4，用于基于语义序列匹配结果进行图像特征的匹配，得到图 像特征匹配结果；
具体地，基于前述语义匹配结果及视觉语义图进行图像特征的匹配，将分 割结果的语义特征与对应视觉语义图中的语义标志牌的语义特征根据语义信息 和几何信息进行匹配，得到匹配结果，其中，该图像特征优选为视觉语义特征。
在本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配 结果来匹配图像特征，可提供特征匹配精度。
在本实施例的一个优选方案中，该匹配装置还包括：与采集单元1连接的 构建单元5，其中：
构建单元5，用于构建视觉语义图；
具体地，预先根据语义标志牌的语义信息、几何特征的空间位置及道路信 息构建视觉语义图。
在本实施例的一个优选方案中，该构建单元5用于构建视觉语义图的过程 如下：
采集基准图像；
具体地，首先采集车辆行驶道路的基准图像，优选地，采用双目相机采集 图像，该基准图像包括道路两旁的语义标志牌。
获取基准图像中的每一语义标志牌的状态信息；
具体地，从基准图像中获取每一语义标志牌的状态信息，该状态信息可包 括语义标志牌的语义信息及几何特征，例如，在Detecron框架下使用mask-RCNN 模型对采集的处于水平视角的基准图像进行分割，提取每一标志牌的语义信息 及包围盒，对语义标志牌的状态信息进行人工校验，消除误检的问题，采用canny 边缘检算法提取每一语义标志牌的边缘数据，通过模板算法确定每一语义标志 牌的类型，优选地，语义标志牌的类型可为三角形、四边形、圆、五边形、六 边形等，然后对语义标志牌的边界进行直线拟合，确定语义标志牌的边界交点 及几何特征(例如几何中心点)。
基于语义标志牌的语义信息及几何特征生成对应的语义特征；
具体地，基于语义标志牌的语义信息及几何特征生成对应的语义特征，具 体过程为：Feature＝<semantic，type，ori1，ori2>；
其中，semantic为语义特征的语义信息，type为几何特征点的类别，包括边角 点和几何中心点。对于几何特征类别为边角点的语义特征，ori1，ori2分别表示以 当前角点为起点，以相邻语义特征为终点的向量的方向。对于几何特征类别为 几何中心点的语义特征，由于不存在相邻的语义特征，ori1，ori2设置为0。
基于所生成的语义特征构建视觉语义图；
具体地，根据所生成的语义特征构建视觉语义图，具体过程为：
基于位姿信息确定所述语义特征所在的位置；
具体地，采集车辆的位姿信息，通过对极几何确定语义特征的位置；
基于所确定的语义特征所在位置定义两个以上节点；
基于所定义的两个以上节点构建视觉语义图；
优选地，根据车辆对应的位姿信息，通过对极几何确定语义特征的位置， 通过语义特征的位置判断当前采集的图像中标志牌是否共面，将共面的标志牌 按照以左上角为起点按照蛇形排序，作为视觉语义图中的一个节点，将未与其 他标志牌共面的标志牌独立作为一个节点(即将与当前采集的图像中的标志牌 均不共面的标志牌独立作为一个节点，例如，当前采集图像中包括标志牌A、B、 C、D，标志牌D与标志牌A、B、C均不共面，而标志牌A、B、C彼此共面，此时将 标志牌D作为一个节点，将标志牌A、B、C作为一个节点)，构建视觉语义图， 根据道路拓扑信息和车道行车方向确定节点间的联通关系，构建视觉语义图模 型，该模型为无向图，定义如下：
G＝<nodes，edges)
其中，G表示视觉语义图模型，nodes为语义图中的节点集合，edges为语义图 中的边集合，节点node的定义为：node＝<Nid，5>
其中，Nid为语义图节点的序号，S为该节点所在平面中的语义标志牌集合， 视觉语义图模型的边的定义如下：
edge＝<Eid，Ni，Nj>
其中，Eid为视觉语义图的边的序号，Ni，Nj表示处于该边连接的两个节点的 序号分别为Ni和Nj。
在本实施例的一个优选方案中，该匹配单元3具体用于：
采用以下模型基于所述分割结果及视觉语义图进行语义序列匹配，得到语 义序列匹配结果，所述模型为：<π，A，B>，π为初始概率分布，表示定位过程中车 辆在初始位置观测到视觉语义图中所有节点的概率；A为状态转移概率，表示定 位过程中，得到一个观测量时隐藏状态之间转移关系，主要由视觉语义图中的 边确定；B为发散概率，表示视觉语义图中的节点与观测量之间的相似度。
具体地，采用隐式马尔可夫模型对语义序列匹配进行建模，其中为视觉语 义图中的节点作为隐藏状态，采集的图像中每一组共面的语义标志牌序列作为 观测变量，由于一幅图像中可能包括多个或零个共面的语义标志牌序列，因此 一幅图像可能包含多个或零个观测量。对于一幅图像存在多个观测量的情况， 使用对极几何求出观测变量与定位车辆的距离关系，按照距离由近及远的顺序 排列观测量。
进一步优选地，假设定位车辆配置有GNSS定位设备，可获取低精度的定位 结果。根据精度较低的定位结果以及相应的定位精度信息，确定定位车辆可能 处于的位置。根据定位车辆的可能位置与车载相机的有效视距信息，确定首次 可能被采集到的隐藏状态，并赋予相同的初始概率，而不可能被观测到的隐藏 状态的概率赋值为零。在后续过程中，每一次的到观测变量时，将根据视觉语 义图中边集合确定隐藏状态之间转移的概率，使用转移概率更新隐藏状态的概 率。其次，根据观测量与隐藏状态之间的相似度计算发散概率，相似度越高则 发散概率的值越大，使用发散概率更新隐藏状态的概率。详细地，计算发散概 率的过程中，要求输入信息为语义标志牌识别的结果，即语义标志牌类别的概 率。将观测量中包含的语义标志牌序列与隐藏状态中的语义标志牌序列使用DTW 算法求出相似度，通过相似度计算发散概率。最终，对所有隐藏状态的概率进 行排序，选择概率最大的隐藏状态作为观测量的估计结果。
在本实施例的一个优选方案中，该特征匹配单元4具体用于：
首先，基于语义序列匹配结果得到每一语义标志牌的语义信息；
具体地，首先基于前述语义序列匹配结果得到每一语义标志牌的语义信息， 进一步地，得到分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；
优选地，语义序列匹配的目的是为了确定分割结果与视觉语义图中语义标 志牌的对应关系。进一步地，使用隐式马尔可夫模型进行匹配，确定观察量(采 集的图像，包含一组分割结果)与隐藏状态(视觉语义图中的节点，包含一组 语义标志牌)之间的对应关系。使用DTW方法计算发散概率，对于每一个隐藏 状态，DTW会根据采集影像的分割结果集合和隐藏状态的语义标志牌集合进行匹 配，得到匹配的概率作为发散概率。当得到一次观测量后，使用转移概率和发 散概率更新所有隐藏状态的概率，概率最大的隐藏状态就是观测量的对应值。 随后，根据对应的DTW的匹配结果即可确定每一个分割结果的语义标志牌的节 点与语义视觉图的语义标志牌的节点的对应关系。
其次，基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的 语义特征；
具体地，基于分割结果中的每一语义标志牌的语义信息及对应的几何特征 构建对应的语义特征；
进一步地，采用公式Feature＝<semantic，type，ori1，ori2>来构建，其中，semantic为 语义特征的语义信息，type为几何特征点的类别，包括边角点和几何中心点。对 于几何特征类别为边角点的语义特征，ori1，ori2分别表示以当前角点为起点，以 相邻语义特征为终点的向量的方向。对于几何特征类别为几何中心点的语义特 征，由于不存在相邻的语义特征，ori1，ori2设置为0。
再者，基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得 到匹配结果；具体地，基于所构建的语义特征及所述视觉语义图进行图像特征 的匹配，得到匹配结果，该匹配结果包括图像特征及分割结果中语义标志牌与 视觉语义图中语义标志牌的对应关系；
优选地，进行语义序列匹配的目的是为了确定分割结果与视觉语义图中语 义标志牌的对应关系。进一步地，使用隐式马尔可夫模型进行匹配，确定观察 量(采集的图像，包含一组分割结果)与隐藏状态(视觉语义图中的节点，包 含一组语义标志牌)之间的对应关系。使用DTW方法计算发散概率，对于每一 个隐藏状态，DTW会根据采集影像的分割结果集合和隐藏状态的语义标志牌集合 进行匹配，得到匹配的概率作为发散概率。当得到一次观测量后，使用转移概 率和发散概率更新所有隐藏状态的概率，概率最大的隐藏状态就是观测量的对 应值。随后，根据对应的DTW的匹配结果即可确定每一个分割结果与语义图节点中的语义标志牌的对应关系。
基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到匹配 结果的具体过程为：
基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特 征相似度；若相似度大于阈值时，将所构建的语义特征作为所采集图像的图像 特征；
具体地，在获取语义序列匹配结果后，得到观测变量中包含的语义标志牌 序列与隐藏状态中包含的语义标志牌序列的匹配关系，即可以确定检测到的语 义标志牌的语义信息；根据检测到的语义标志牌的语义信息和几何特征，构建 语义特征。对于一组匹配的语义标志牌，按照如下方式计算语义特征的相似性：
D＝λ(Featurei，Featurej)·d(Featurei，Featurej)
其中，Featurei，Featurej为待匹配的语义特征，λ(·)用于计算语义特征的类别相似性，d(.)用于计算语义特征的几何相似性。
λ(.)的定义如下：
Figure BDA0002047981220000191
其中，Featurei.type表示语义特征所包含的几何特征的类别。
d(·)的定义如下：
Figure BDA0002047981220000192
其中，σ为语义特征几何信息中方向估计的标准差，orii，1和orii，2为语义特征Featurei的几何信息中的方向信息。当语义特征的相似程度大于经验阈值时，判 定匹配成功，基于该匹配成功的图像的语义特征作为图像特征。
在本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配 结果来匹配图像特征，可提供特征匹配精度。
实施例三：
基于上述实施例一，如图6示出了本发明第三实施例提供的一种定位方法 的流程图，该定位方法包括：
步骤A1，采集图像；
具体地，采用双目相机采集图像，优选地，本实施例中，对行驶中的车辆 进行图像采集，以便于后续对车辆进行定位处理。该车辆所行驶的道路两旁设 置有若干语义标志牌，所述语义标志牌即为道路交通标志牌、广告牌等形状规 则物体等。
步骤A2，对所采集的图像进行分割，得到分割结果；
具体地，在Detecron框架下使用mask-RCNN模型对水平视角图像进行实例分 割，得到分割结果，该分割结果包括一个以上语义标志牌的语义信息、包围盒 (例如该语义标志牌的外围框架结构、坐标等信息)。
进一步地，具体分割过程如下：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分 割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
当形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数 据，所述多边形数据包括对应的几何特征。
步骤A3，基于分割结果及视觉语义图进行语义序列匹配，得到语义序列匹 配结果；
具体地，基于前述分割结果及预先构建的视觉语义图进行语义系列匹配， 得到对应的语义序列匹配结果；
步骤A4，基于语义序列匹配结果进行图像特征的匹配，得到图像特征匹配 结果；
具体地，基于前述语义匹配结果及视觉语义图进行图像特征的匹配，得到 图像特征匹配结果。
步骤A5，基于所述图像特征匹配结果进行定位，得到定位结果。
在本实施例的一个优选方案中，该步骤A1之前还包括：
步骤A6，构建视觉语义图；
具体地，预先根据语义标志牌的语义信息、几何特征的空间位置及道路信 息构建视觉语义图。
在本实施例中，步骤A1～A4、A6分别与上述实施例一的步骤S1～S4、步骤 S5的具体实现过程一致，具体可参看上述实施例一，此处不再赘述。
在本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配 结果来匹配图像特征，可提供特征匹配精度。
实施例四：
基于上述实施例三，如图7示出了本发明第四实施例提供的一种定位装置 的结构图，该定位装置包括：采集单元71、与采集单元71连接的分割单元72、 与分割单元72连接的匹配单元73、与匹配单元73连接的匹配单元74、与匹配 单元74连接的定位单元75，其中：
采集单元71，用于采集图像；
具体地，该采集单元1优选为双目相机，利用双目相机来采集图，本实施例 中，对行驶中的车辆进行图像采集，以便于后续对车辆进行定位处理。该车辆 所行驶的道路两旁设置有若干语义标志牌，所述语义标志牌即为道路交通标志 牌、广告牌等形状规则物体等。
分割单元72，用于对所采集的图像进行分割，得到分割结果；
具体地，在Detecron框架下使用mask-RCNN模型对水平视角图像进行实例分 割，得到分割结果，该分割结果包括一个以上语义标志牌的语义信息、包围盒 (例如该语义标志牌的外围框架结构、坐标等信息)。
进一步地，具体分割过程如下：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分 割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
当形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数 据，所述多边形数据包括对应的几何特征。
序列匹配单元73，用于基于分割结果及视觉语义图进行语义序列匹配，得 到语义序列匹配结果；
具体地，基于前述分割结果及预先构建的视觉语义图进行语义系列匹配， 得到对应的语义序列匹配结果；
特征匹配单元74，用于基于语义序列匹配结果进行图像特征的匹配，得到 图像特征匹配结果；
具体地，基于前述语义匹配结果及视觉语义图进行图像特征的匹配，得到 图像特征匹配结果。
定位单元75，用于基于所述图像特征匹配结果进行定位，得到定位结果。
在本实施例的一个优选方案中，该定位装置还包括：与采集单元71连接的 构建单元76，其中：
构建单元76，用于构建视觉语义图；
具体地，预先根据语义标志牌的语义信息、几何特征的空间位置及道路信 息构建视觉语义图。
在本实施例中，该采集单元71、分割单元72、匹配单元73及匹配单元74 分别与上述实施例二所述的采集单元1、分割单元2、匹配单元3及匹配单元4 的具体结构、工作原理一致，具体可参看上述实施例二的描述，此处不再赘述。
在本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配 结果来匹配图像特征，可提供特征匹配精度。
在本发明中，还提供一种定位系统，该定位系统包括如上述实施例四描述 的定位装置，该定位装置的具体结构、工作原理及所带来的技术效果与上述实 施例四的描述基本一致，此处不再赘述。
优选地，该定位系统可以为车载导航系统。
实施例五：
图8示出了本发明第五实施例提供一种定位终端的结构图，该定位终端包 括：存储器(memory)81、处理器(processor)82、通信接口(Communications Interface)83和总线84，该处理器82、存储器81、通信接口83通过总线84完成 相互之间的交互通信。
存储器81，用于存储各种数据；
具体地，存储器81用于存储各种数据，例如通信过程中的数据、接收的 数据等，此处对此不作限制，该存储器还包括有多个计算机程序。
通信接口83，用于该定位终端的通信设备之间的信息传输；
处理器82，用于调用存储器81中的各种计算机程序，以执行上述实施例 一所提供的一种图像特征的匹配方法，例如：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语 义标志牌的语义信息；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结 果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
本实施例中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结 果来匹配图像特征，可提供特征匹配精度。
本发明还提供一种存储器，该存储器存储有多个计算机程序，该多个计算 机程序被处理器调用执行上述实施例一所述的一种图像特征的匹配方法。
本发明中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果 来匹配图像特征，可提高特征匹配精度。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来 实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用 和设计约束条件。
专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能， 但是这种实现不应认为超出本发明的范围。以上所述，仅为本发明的具体实施 方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在 本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护 范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种图像特征的匹配方法，其特征在于，包括：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
2.根据权利要求1所述的匹配方法，其特征在于，对所采集的图像进行分割，得到分割结果包括：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
对形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数据，所述多边形数据包括对应的几何特征。
3.根据权利要求1所述的匹配方法，其特征在于，采集图像之前还包括：
构建视觉语义图。
4.根据权利要求3所述的匹配方法，其特征在于，构建视觉语义图包括：
采集基准图像；
获取所述基准图像中的每一语义标志牌的状态信息，所述状态信息包括对应语义标志牌的语义信息及几何特征；
基于所述语义标志牌的语义信息及几何特征生成对应的语义特征；
基于所生成的语义特征构建视觉语义图。
5.根据权利要求4所述的匹配方法，其特征在于，所述状态信息还包括目标车辆的位姿信息；基于所生成的语义特征构建视觉语义图包括：
基于所述位姿信息确定所述语义特征所在的位置；
基于所确定的语义特征所在位置定义两个以上节点；
基于所定义的两个以上节点构建视觉语义图。
6.根据权利要求2所述的匹配方法，其特征在于，基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果具体为：
采用以下模型基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述模型为：<π，A，B>，所述π为初始概率分布；A为状态转移概；B为发散概率。
7.根据权利要求5所述的匹配方法，其特征在于，基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果包括：
基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；
基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特征；
基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到图像特征匹配结果。
8.根据权利要求7所述的匹配方法，其特征在于，基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到图像特征匹配结果包括：
基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特征相似度；
若相似度大于阈值时，确定匹配，将所构建的语义特征作为所采集图像的图像特征。
9.一种图像特征的匹配装置，其特征在于，包括：
采集单元，用于采集图像；
分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌的语义信息；
序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
10.一种基于视觉语义的定位方法，其特征在于，包括：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
基于所所述图像特征匹配结果进行定位，得到定位结果。
11.一种基于视觉语义的定位装置，其特征在于，包括：
采集单元，用于采集图像；
分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；
定位单元，用于基于所述图像特征匹配结果进行定位，得到定位结果。
12.一种定位系统，其特征在于，包括如权利要求11所述的定位装置。
13.一种存储器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被处理器执行如下步骤：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。
14.一种定位终端，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任意一项所述的图像特征的匹配方法的步骤。
CN201910365705.6A 2019-04-30 2019-04-30 图像特征的匹配、定位方法及装置、定位系统 Active CN111860084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910365705.6A CN111860084B (zh) 2019-04-30 2019-04-30 图像特征的匹配、定位方法及装置、定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910365705.6A CN111860084B (zh) 2019-04-30 2019-04-30 图像特征的匹配、定位方法及装置、定位系统

Publications (2)

Publication Number Publication Date
CN111860084A true CN111860084A (zh) 2020-10-30
CN111860084B CN111860084B (zh) 2024-04-16

Family

ID=72965952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910365705.6A Active CN111860084B (zh) 2019-04-30 2019-04-30 图像特征的匹配、定位方法及装置、定位系统

Country Status (1)

Country Link
CN (1) CN111860084B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656582A (zh) * 2021-08-17 2021-11-16 北京百度网讯科技有限公司 神经网络模型的训练方法、图像检索方法、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098071A (ko) * 2016-02-19 2017-08-29 국방과학연구소 자율주행차량에 대한 위치추정장치 및 그 제어방법
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
US20180150693A1 (en) * 2016-11-25 2018-05-31 Deke Guo Indoor semantic map updating method and system based on semantic information extraction
CN108416808A (zh) * 2018-02-24 2018-08-17 斑马网络技术有限公司 车辆重定位的方法及装置
CN108846333A (zh) * 2018-05-30 2018-11-20 厦门大学 标志牌地标数据集生成及车辆定位方法
CN109284678A (zh) * 2018-08-17 2019-01-29 宽凳（北京）科技有限公司 路牌语义识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098071A (ko) * 2016-02-19 2017-08-29 국방과학연구소 자율주행차량에 대한 위치추정장치 및 그 제어방법
US20180150693A1 (en) * 2016-11-25 2018-05-31 Deke Guo Indoor semantic map updating method and system based on semantic information extraction
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN108416808A (zh) * 2018-02-24 2018-08-17 斑马网络技术有限公司 车辆重定位的方法及装置
CN108846333A (zh) * 2018-05-30 2018-11-20 厦门大学 标志牌地标数据集生成及车辆定位方法
CN109284678A (zh) * 2018-08-17 2019-01-29 宽凳（北京）科技有限公司 路牌语义识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白云汉;: "基于SLAM算法和深度神经网络的语义地图构建研究", 计算机应用与软件, no. 01 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656582A (zh) * 2021-08-17 2021-11-16 北京百度网讯科技有限公司 神经网络模型的训练方法、图像检索方法、设备和介质

Also Published As

Publication number Publication date
CN111860084B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US11320833B2 (en) Data processing method, apparatus and terminal
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及系统
Yenikaya et al. Keeping the vehicle on the road: A survey on on-road lane detection systems
JP6739517B2 (ja) 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器
US20190102897A1 (en) Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
CN111767853B (zh) 车道线检测方法和装置
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN115049700A (zh) 一种目标检测方法及装置
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN112949366A (zh) 障碍物识别方法和装置
Li et al. A lane marking detection and tracking algorithm based on sub-regions
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
CN114037966A (zh) 高精地图特征提取方法、装置、介质及电子设备
CN111950345A (zh) 摄像头的识别方法、装置、电子设备和存储介质
CN111191557A (zh) 一种标志识别定位方法、标志识别定位装置及智能设备
FAN et al. Robust lane detection and tracking based on machine vision
CN111664845A (zh) 交通标志定位、视觉地图制作方法及装置、定位系统
CN113971697A (zh) 一种空地协同车辆定位定向方法
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
Fangfang et al. Real-time lane detection for intelligent vehicles based on monocular vision
Irshad et al. Real-time lane departure warning system on a lower resource platform
CN114419564B (zh) 车辆位姿检测方法、装置、设备、介质及自动驾驶车辆
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant