CN111932612B - 基于二阶隐马尔科夫模型的智能车视觉定位方法及装置 - Google Patents

基于二阶隐马尔科夫模型的智能车视觉定位方法及装置 Download PDF

Info

Publication number
CN111932612B
CN111932612B CN202010597988.XA CN202010597988A CN111932612B CN 111932612 B CN111932612 B CN 111932612B CN 202010597988 A CN202010597988 A CN 202010597988A CN 111932612 B CN111932612 B CN 111932612B
Authority
CN
China
Prior art keywords
node
image
positioning
information
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010597988.XA
Other languages
English (en)
Other versions
CN111932612A (zh
Inventor
胡钊政
周哲
陶倩文
王志强
彭超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202010597988.XA priority Critical patent/CN111932612B/zh
Publication of CN111932612A publication Critical patent/CN111932612A/zh
Application granted granted Critical
Publication of CN111932612B publication Critical patent/CN111932612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及室内定位技术领域，公开了一种基于二阶隐马尔科夫模型的智能车视觉定位方法，包括以下步骤：将待定位场景离散为连续的节点，获取车辆在每一节点位置处采集的节点图像，结合每一节点图像的视觉信息、3D信息以及轨迹信息建立视觉地图数据库；基于视觉地图数据库，以节点位置作为状态值，以图像信息作为观测值，建立基于二阶隐马尔可夫的视觉定位模型；基于视觉定位模型获取车辆的节点级定位结果，利用当前获取的实时观测图像与节点级定位结果对应的节点图像之间的单应关系，并结合所述3D信息获取车辆的全局定位信息。本发明具有定位精度高、成本低的技术效果。

Description

基于二阶隐马尔科夫模型的智能车视觉定位方法及装置
技术领域
本发明涉及室内定位技术领域，具体涉及一种基于二阶隐马尔科夫模型的智能车视觉定位方法、装置以及计算机存储介质。
背景技术
随着汽车产业的发展，人们对汽车智能化程度要求越来越高，而汽车的智能化水平很大程度上依赖于车辆的位置信息。当前，车辆的定位技术主要依赖于高精度GPS信息，但在受遮挡的环境下，如高架桥下，隧道等，特别是在室内环境，GPS定位误差较大。
目前，为了解决车辆在GPS误差较大的环境下，研究者开发多种室内定位技术，如基于无线传感技术、惯性导航系统、计算机视觉，深度学习等技术。但是受使用场景、定位精度、设备费用、使用维护费用等条件的限制，这些室内定位方案尚不能有效的解决室内定位问题。
因此，本领域的技术人员亟需解决的技术问题是：如何能够提出一种全场景、低成本、免维护的高精度室内定位系统和方法，以满足车辆室内场景下的定位需求。
发明内容
本发明的目的在于克服上述技术不足，提供一种基于二阶隐马尔科夫模型的智能车视觉定位方法、装置以及计算机存储介质，解决现有技术中室内定位精度低、成本高的技术问题。
为达到上述技术目的，本发明的技术方案提供一种基于二阶隐马尔科夫模型的智能车视觉定位方法，包括以下步骤：
将待定位场景离散为连续的节点，获取车辆在每一节点位置处采集的节点图像，计算每一节点图像的全局描述符、局部描述符以及局部特征点作为图像信息，计算每一节点图像的图像坐标系与全局坐标系之间的转换矩阵作为3D信息，计算相邻节点图像之间的位姿关系作为轨迹信息，结合所述视觉信息、3D信息以及轨迹信息建立视觉地图数据库；
基于所述视觉地图数据库，以节点位置作为状态值，以图像信息作为观测值，建立基于二阶隐马尔可夫的视觉定位模型；
基于视觉定位模型获取车辆的节点级定位结果，利用当前获取的实时观测图像与节点级定位结果对应的节点图像之间的单应关系，并结合所述3D信息获取车辆的全局定位信息。
本发明还提供一种车辆的多尺度室内定位置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述基于二阶隐马尔科夫模型的智能车视觉定位方法。
本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现所述基于二阶隐马尔科夫模型的智能车视觉定位方法。
与现有技术相比，本发明的有益效果包括：本发明在构建视觉地图数据库的基础上，通过构建基于二阶隐马尔科夫的视觉定位模型，利用前向算法和图像的单应性计算，在仅利用视觉信息的条件下，即可完成车辆在室内条件下的高精度定位，与传统方法相比，该方法具有成本低廉、免使用维护、使用场景容忍度高和可扩展性强的技术效果。
附图说明
图1是本发明提供的车辆的多尺度室内定位一实施方式的流程图；
图2是本发明提供的视觉地图数据库一实施方式的数据结构示意图；
图3是本发明提供的视觉定位模型一实施方式的建模示意图；
图4是本发明提供的多尺度定位一实施方式的定位流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本发明的实施例1提供了基于二阶隐马尔科夫模型的智能车视觉定位方法，包括以下步骤：
S1、将待定位场景离散为连续的节点，获取车辆在每一节点位置处采集的节点图像，计算每一节点图像的全局描述符、局部描述符以及局部特征点作为图像信息，计算每一节点图像的图像坐标系与全局坐标系之间的转换矩阵作为3D信息，计算相邻节点图像之间的位姿关系作为轨迹信息，结合所述视觉信息、3D信息以及轨迹信息建立视觉地图数据库；
S2、基于所述视觉地图数据库，以节点位置作为状态值，以图像信息作为观测值，建立基于二阶隐马尔可夫的视觉定位模型；
S3、基于视觉定位模型获取车辆的节点级定位结果，利用当前获取的实时观测图像与节点级定位结果对应的节点图像之间的单应关系，并结合所述3D信息获取车辆的全局定位信息。
本实施例首先将待定位场景离散多个连续节点，本实施例中每间隔2米设置一个节点，并采集与节点对应的节点图像的视觉信息、3D信息和轨迹信息，遍历待定位场景，并将图像信息、3D信息和轨迹信息存入视觉地图数据库，构成“三要素”视觉地图，具体如图2所示。然后基于视觉地图数据库建立视觉定位模型，利用历史状态预测当前状态，并利用全局描述符视觉信息计算观测矩阵，完成基于二阶隐马尔科夫的视觉定位模型构建。根据所构建的视觉定位模型，利用前向算法获取与车辆的实时观测图像匹配度最高的预测节点位置，实现车辆的节点级定位；然后将实时观测图像的局部特征点与预测节点位置对应的节点图像的局部特征点进行匹配，计算实时观测图像与节点图像之间的单应矩阵，利用单应矩阵确定实时观测图像与节点图像之间的相对位置关系，实现图度量级定位，得到调整后的局部定位信息最后结合3D信息，完成车辆在全局坐标系中的位置，实现全局定位，完成多尺度定位。
优选的，计算节点图像的全局描述符，具体为：计算节点图像的全局描述符，具体为：计算节点图像中心像素点对应的ORB描述符作为所述全局描述符；
计算节点图像的局部特征点，具体为：采用FAST交点检测算法计算所述节点图像的关键点作为所述局部特征点；
计算节点图像的局部描述符，具体为：计算所述局部特征点的ORB描述符作为所述局部描述符；
计算节点图像的图像坐标系与全局坐标系之间的转换矩阵，具体为：计算所述节点图像的图像坐标系与全局坐标系之间的单应矩阵作为所述转换矩阵；
计算相邻节点图像之间的位姿关系，具体为：根据所述局部描述符，对相邻节点图像的相应局部特征点进行匹配，根据匹配的局部特征点对计算相邻节点图像之间的单应矩阵；根据相邻节点图像之间的单应矩阵计算相邻节点图像之间的旋转矩阵以及平移向量，以所述旋转矩阵以及平移向量作为所述位姿关系。
将图像中心像素点的ORB特征描述符作为整副图像的描述。
具体的，计算节点图像中心像素点对应的ORB描述符作为所述全局描述符，具体为：
以所述中心像素点作为中心选取设定大小的区域作为重置图像，在所述重置图像中选取多对像素点，分别比较每一对像素点的灰度值，计算比较结果值：
其中，τ(I；x,y)为比较结果值，I表示重置图像，x,y表示选取的一对像素点，I(x)表示像素点x处的灰度值，I(y)表示像素点y处的灰度值，δ为设定阈值；
结合多对像素点的比较结果值，计算所述全局描述符：
其中，fn(I；x,y)为全局描述符，全局描述符为n位的二进制字符串，i表示二进制字符串的第i位，i＝1,2,…,n，n为选取的像素点对的数量。
本实施例中，将节点图像重置为63*63pixel，然后通过ORB算法提取特征点的描述符作为全局描述符，选择256-Bit大小的特征向量，作为整副图像的全局描述符。
局部特征点为标准的ORB特征点，具体为利用FAST角点检测算法，获取图像中的关键点，并保存关键的图像坐标。图像的局部描述符为局部特征点的ORB特征描述符，为256-Bit大小的特征向量。
3D信息为图像坐标系和全局坐标系之间的单应关系。
具体的，计算所述节点图像的图像坐标系与全局坐标系之间的单应矩阵，具体为：
λ[u v 1]T＝K[R T][Xw Yw Zw 1]T
其中，λ为比例因子，(u,v)为图像坐标系中像素点的坐标，[u v 1]T为(u,v)的齐次坐标形式，K为获取图像的相机的内参矩阵，R为3×3的正交矩阵，T为三维平移向量，(Xw,Yw,Zw)为全局坐标系中像素点的坐标，[Xw Yw Zw 1]T为(Xw,Yw,Zw)的齐次坐标形式；
图像坐标系与全局坐标系均为二维平面，对于空间中的二维平面，Zw＝0，得到：
λ[u v 1]T＝K[R T][Xw Yw 01]T
其中，R＝[R1 R2 R3]，由于Zw＝0，R3相应置零且省去，因此则上式可表示为：
λ[u v 1]T＝K[R1 R2 T][Xw Yw 1]T。
单应矩阵表示为：H＝K[R1 R2 T]
单应矩阵H为3×3矩阵，共有9个元素，展开为：
于是，对于平面上的点满足一下公式：
可展开为：
λ＝h3Xw+h6Yw+h9
λu＝h1Xw+h4Yw+h7
λv＝h2Xw+h5Yw+h8
再次变形为：
对于上面的方程组，采用四对非共线点进行求解即可；具体的，将单应矩阵进行归一化处理，即令h9＝1，然后有四对点构成的8组方程求解单应矩阵中其他八个未知量h1,h2,…,h8，即可确定图像坐标系与全局坐标系之间的3D信息。
轨迹信息为相邻节点图像之间的旋转和平移关系。获取相邻节点图像之间的旋转和平移关系，具体为：通过ORB特征匹配相邻节点图像的局部特征点，找到对应的局部特征匹配点，根据匹配点计算两个相邻节点图像之间的单应矩阵。根据相邻节点图像之间的单应矩阵确定相邻节点图像之间的旋转和平移关系，构成轨迹信息。
相邻节点图像之间的单应矩阵计算参考图像坐标系与全局坐标系之间的单应矩阵计算过程进行计算即可，在此不再过多赘述。
优选的，基于所述视觉地图数据库，以节点位置作为状态值，以图像信息作为观测值，建立基于二阶隐马尔可夫的视觉定位模型，具体为：
计算车辆在不同初始位置、不同运动模型下，前两个状态转移至各节点处的转移概率，得到状态转移矩阵；
采集车辆在不同位置处获取的观测图像，分别计算观测图像与各节点位置之间的观测概率，得到观测矩阵；
结合所述状态转移矩阵以及观测矩阵得到所述视觉定位模型。
首先根据车辆初始位置，并根据初始两个时刻的位置信息计算初始状态转移矩阵，然后利用前两个时刻的状态向量，预测当前时刻可能出现的待选状态，计算各待选状态的转移概率，得到状态转移矩阵。此外，利用观测图像与视觉地图数据中存储的节点图像的全局描述符之间的相似度，确定当前的观测图像与待选状态之间的观测概率，得到观测矩阵，完成视觉定位模型构建。
图3为基于二阶隐马尔科夫的视觉定位模型建立过程，主要包括初始化、状态转移矩阵计算和观测矩阵计算；其中六边形为初始状态，圆为某一时刻的状态值，状态之间的箭头表示状态转移关系，方块表示观测值，与视觉地图中存储的图像信息之间的距离构成观测矩阵，图3中下方的长箭头T表示时间轴，箭头方向表示时间方向。
优选的，计算观测图像与节点位置之间的观测概率，具体为：
计算所述观测图像的全局描述符与节点位置对应的节点图像的全局描述符之间的汉明距离，建立基于汉明距离的概率分布，生成所述观测概率。
其中，fORB(X,Xj)为观测图像的全局描述符X与第j幅节点图像的全局描述符Xj之间的汉明距离，表示对Xi和/>进行异或运算，Xi为全局描述符X的第i位，/>为全局描述符Xj的第i位，n为全局描述符的位数。
计算观测图像的全局特征描述符与待选状态对应的节点图像全局描述符之间的汉明距离，构建观测值与状态值之间的联系，即观测矩阵。本实施例中n＝256。
优选的，基于视觉定位模型获取车辆的节点级定位结果，具体为：
获取车辆初始位置作为视觉定位的初始状态，获取车辆由初始状态到下一状态的转移矩阵作为视觉定位的初始转移矩阵；
获取车辆的历史位置信息以及实时观测图像，将车辆的历史位置信息输入所述视觉定位模型，得到多个预测的状态及其转移概率，并获取各状态对应的节点图像与所述实时观测图像之间的观测概率；
结合所述转移概率以及观测概率，利用前向算法计算各状态的前向概率，筛选前向概率的最大值作为节点定位结果。
具体如图4所示，将实时观测图像输入视觉定位模型，根据前两个时刻的状态信息，确定当前时刻可能的待选状态位置，并利用观测图像的全局描述符建立各待选状态与观测信息之间的观测关系；利用前向算法计算各待选状态的前向概率，实现节点级定位。然后对预测节点位置对应的节点图像与实时观测图像进行局部特征点匹配，得到相应的单应矩阵，实现最终的定位。
优选的，将车辆的历史位置信息输入所述视觉定位模型，得到多个预测状态的转移概率，并获取各状态对应的节点图像与所述实时观测图像之间的观测概率，具体为：
根据车辆的初始位置信息，确定所述视觉定位模型的初始状态向量以及初始状态转移矩阵；
将车辆前两个时刻的历史位置信息输入所述视觉定位模型，得到当前时刻各预测的状态的的转移概率；
利用当前时刻所获取的实时观测图像，基于所述视觉定位模型的观测矩阵，获取当前时刻的实时观测图像与各状态之间的观测概率。
视觉定位模型建立好后，即可根据视觉定位模型对车辆进行实时的室内定位。首先确定车辆的初始位置，基于初始位置在构建的视觉定位模型寻找相应的待选状态作为初始状态、寻找相应的状态转移矩阵作为预测状态转移矩阵、寻找相应的观测矩阵作为预测观测矩阵。
优选的，结合所述转移概率以及观测概率，利用前向算法计算各状态的前向概率，筛选前向概率的最大值作为节点定位结果，具体为：
计算各状态的前向概率：
其中，at(k)表示预测状态k对应的前向概率，aijk表示t-2时刻的状态为i、t-1时刻的状态为j时，t时刻的状态为k的转移概率，t时刻为当前时刻，bk表示当前时刻的状态为k时的观测概率，at-1(i)表示t-1时刻状态为i的概率,i＝1,2,…,n,j＝1,2,…,n，k＝1,2,…,n，n为状态数量，即节点数量；
获取前向概率最大值作为节点定位结果：
其中，st表示前向概率最大值，即节点定位结果，max(at(k))表示取at(k)的最大值，argk表示取at(k)最大时对应的k值。
优选的，利用当前获取的实时观测图像与节点级定位结果对应的节点图像之间的单应关系，并结合所述3D信息获取车辆的全局定位信息，具体为：
计算所述节点级定位结果对应的节点图像与所述实时观测图像之间的单应矩阵，确定实时观测图像与所述节点级定位结果中对应节点图像的位置关系；
根据所述3D信息将所述节点级定位结果转换为全局坐标系下的定位信息。
实施例2
本发明的实施例2提供了基于二阶隐马尔科夫模型的智能车视觉定位装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的基于二阶隐马尔科夫模型的智能车视觉定位方法。
本发明实施例提供的基于二阶隐马尔科夫模型的智能车定位装置，用于实现基于二阶隐马尔科夫模型的智能车视觉定位方法，因此，基于二阶隐马尔科夫模型的智能车视觉定位方法所具备的技术效果，基于二阶隐马尔科夫模型的智能车视觉定位装置同样具备，在此不再赘述。
实施例3
本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的基于二阶隐马尔科夫模型的智能车视觉定位方法。
本发明实施例提供的计算机存储介质，用于实现基于二阶隐马尔科夫模型的智能车视觉定位方法，因此，基于二阶隐马尔科夫模型的智能车视觉定位方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (8)

1.一种基于二阶隐马尔科夫模型的智能车视觉定位方法，其特征在于，包括以下步骤：
将待定位场景离散为连续的节点，获取车辆在每一节点位置处采集的节点图像，计算每一节点图像的全局描述符、局部描述符以及局部特征点作为图像信息，计算每一节点图像的图像坐标系与全局坐标系之间的转换矩阵作为3D信息，计算相邻节点图像之间的位姿关系作为轨迹信息，结合所述图像信息、3D信息以及轨迹信息建立视觉地图数据库；
基于所述视觉地图数据库，以节点位置作为状态值，以图像信息作为观测值，建立基于二阶隐马尔可夫的视觉定位模型；
基于视觉定位模型获取车辆的节点级定位结果，利用当前获取的实时观测图像与节点级定位结果对应的节点图像之间的单应关系，并结合所述3D信息获取车辆的全局定位信息;
基于所述视觉地图数据库，以节点位置作为状态值，以图像信息作为观测值，建立基于二阶隐马尔可夫的视觉定位模型，具体为：
根据车辆初始位置以及初始两个时刻的位置信息计算初始状态转移矩阵，利用前两个时刻的状态向量，预测当前时刻可能出现的待选状态，计算各待选状态的转移概率，得到状态转移矩阵；
采集车辆在不同位置处获取的观测图像，分别计算观测图像与各节点位置之间的观测概率，得到观测矩阵；
结合所述状态转移矩阵以及观测矩阵得到所述视觉定位模型;
计算观测图像与节点位置之间的观测概率，具体为：
计算所述观测图像的全局描述符与节点位置对应的节点图像的全局描述符之间的汉明距离，建立基于汉明距离的概率分布，生成所述观测概率。
2.根据权利要求1所述的基于二阶隐马尔科夫模型的智能车视觉定位方法，其特征在于，计算节点图像的全局描述符，具体为：计算节点图像中心像素点对应的ORB描述符作为所述全局描述符；
计算节点图像的局部特征点，具体为：采用FAST交点检测算法计算所述节点图像的关键点作为所述局部特征点；
计算节点图像的局部描述符，具体为：计算所述局部特征点的ORB描述符作为所述局部描述符；
计算节点图像的图像坐标系与全局坐标系之间的转换矩阵，具体为：计算所述节点图像的图像坐标系与全局坐标系之间的单应矩阵作为所述转换矩阵；
计算相邻节点图像之间的位姿关系，具体为：根据所述局部描述符，对相邻节点图像的相应局部特征点进行匹配，根据匹配的局部特征点对计算相邻节点图像之间的单应矩阵；根据相邻节点图像之间的单应矩阵计算相邻节点图像之间的旋转矩阵以及平移向量，以所述旋转矩阵以及平移向量作为所述位姿关系。
3.根据权利要求1所述的基于二阶隐马尔科夫模型的智能车视觉定位方法，其特征在于，基于视觉定位模型获取车辆的节点级定位结果，具体为：
获取车辆初始位置作为视觉定位的初始状态，获取车辆由初始状态到下一状态的转移矩阵作为视觉定位的初始转移矩阵；
获取车辆的历史位置信息以及实时观测图像，将车辆的历史位置信息输入所述视觉定位模型，得到多个预测的状态及其转移概率，并获取各状态对应的节点图像与所述实时观测图像之间的观测概率；
结合所述转移概率以及观测概率，利用前向算法计算各状态的前向概率，筛选前向概率的最大值作为节点定位结果。
4.根据权利要求3所述的基于二阶隐马尔科夫模型的智能车视觉定位方法，其特征在于，将车辆的历史位置信息输入所述视觉定位模型，得到多个预测状态的转移概率，并获取各状态对应的节点图像与所述实时观测图像之间的观测概率，具体为：
根据车辆的初始位置信息，确定所述视觉定位模型的初始状态向量以及初始状态转移矩阵；
将车辆前两个时刻的历史位置信息输入所述视觉定位模型，得到当前时刻各预测状态的转移概率；
利用当前时刻所获取的实时观测图像，基于所述视觉定位模型的观测矩阵，获取当前时刻的实时观测图像与各状态之间的观测概率。
5.根据权利要求4所述的基于二阶隐马尔科夫模型的智能车视觉定位方法，其特征在于，结合所述转移概率以及观测概率，利用前向算法计算各状态的前向概率，筛选前向概率的最大值作为节点定位结果，具体为：
计算各状态的前向概率：
其中，表示预测状态/>对应的前向概率，/>表示/>时刻的状态为/>、/>时刻的状态为/>时，/>时刻的状态为/>的转移概率，/>时刻为当前时刻，/>表示当前时刻的状态为/>时的观测概率，/>表示/>时刻状态为/>的概率, />, />，/>，/>为状态数量，即节点数量；
获取前向概率最大值作为节点定位结果：
其中，表示前向概率最大值，即节点定位结果，/>表示取/>的最大值，表示取/>最大时对应的/>值。
6.根据权利要求1所述的基于二阶隐马尔科夫模型的智能车视觉定位方法，其特征在于，利用当前获取的实时观测图像与节点级定位结果对应的节点图像之间的单应关系，并结合所述3D信息获取车辆的全局定位信息，具体为：
计算所述节点级定位结果对应的节点图像与所述实时观测图像之间的单应矩阵，确定实时观测图像与所述节点级定位结果中对应节点图像的位置关系；
根据所述3D信息将所述节点级定位结果转换为全局坐标系下的定位信息。
7.一种车辆的多尺度室内定位装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-6任一所述的基于二阶隐马尔科夫模型的智能车视觉定位方法。
8.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现如权利要求1-6任一所述的基于二阶隐马尔科夫模型的智能车视觉定位方法。
CN202010597988.XA 2020-06-28 2020-06-28 基于二阶隐马尔科夫模型的智能车视觉定位方法及装置 Active CN111932612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010597988.XA CN111932612B (zh) 2020-06-28 2020-06-28 基于二阶隐马尔科夫模型的智能车视觉定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010597988.XA CN111932612B (zh) 2020-06-28 2020-06-28 基于二阶隐马尔科夫模型的智能车视觉定位方法及装置

Publications (2)

Publication Number Publication Date
CN111932612A CN111932612A (zh) 2020-11-13
CN111932612B true CN111932612B (zh) 2024-03-22

Family

ID=73316686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010597988.XA Active CN111932612B (zh) 2020-06-28 2020-06-28 基于二阶隐马尔科夫模型的智能车视觉定位方法及装置

Country Status (1)

Country Link
CN (1) CN111932612B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114538027A (zh) * 2020-11-26 2022-05-27 合肥欣奕华智能机器股份有限公司 一种全自动视觉定位转移设备及其控制方法
CN113865581B (zh) * 2021-09-16 2024-06-07 江苏大学 基于多层级地图的封闭场景定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537209A (zh) * 2014-12-09 2015-04-22 上海交通大学 基于隐马尔科夫模型的车辆行驶道路类型的判断方法
CN110176153A (zh) * 2019-05-20 2019-08-27 重庆大学 一种基于边缘计算的盲区车辆碰撞预警方法
CN111174784A (zh) * 2020-01-03 2020-05-19 重庆邮电大学 一种室内停车场可见光与惯导融合定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537209A (zh) * 2014-12-09 2015-04-22 上海交通大学 基于隐马尔科夫模型的车辆行驶道路类型的判断方法
CN110176153A (zh) * 2019-05-20 2019-08-27 重庆大学 一种基于边缘计算的盲区车辆碰撞预警方法
CN111174784A (zh) * 2020-01-03 2020-05-19 重庆邮电大学 一种室内停车场可见光与惯导融合定位方法

Also Published As

Publication number Publication date
CN111932612A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111429574B (zh) 基于三维点云和视觉融合的移动机器人定位方法和系统
CN112070770B (zh) 一种高精度三维地图与二维栅格地图同步构建方法
CN109522832B (zh) 基于点云片段匹配约束和轨迹漂移优化的回环检测方法
CN112347550B (zh) 耦合式室内三维语义建图及建模方法
CN111932612B (zh) 基于二阶隐马尔科夫模型的智能车视觉定位方法及装置
CN110389995B (zh) 车道信息检测方法、装置、设备和介质
Jo et al. New Monte Carlo localization using deep initialization: A three-dimensional LiDAR and a camera fusion approach
Li et al. Localization for intelligent vehicles in underground car parks based on semantic information
CN111812978A (zh) 一种多无人机协作slam方法与系统
Jiao et al. Deterministic optimality for robust vehicle localization using visual measurements
Flores et al. Efficient probability-oriented feature matching using wide field-of-view imaging
Lu et al. A lightweight real-time 3D LiDAR SLAM for autonomous vehicles in large-scale urban environment
US20220164595A1 (en) Method, electronic device and storage medium for vehicle localization
Yu et al. STCLoc: Deep LiDAR localization with spatio-temporal constraints
Jo et al. Mixture density-PoseNet and its application to monocular camera-based global localization
Ali et al. A life-long SLAM approach using adaptable local maps based on rasterized LIDAR images
Chen et al. An efficient transformer for simultaneous learning of BEV and lane representations in 3D lane detection
Qing et al. Using feature interaction among GPS Data for road intersection detection
CN113379915B (zh) 一种基于点云融合的行车场景构建方法
Zhu et al. Robust online calibration of LiDAR and camera based on cross-modal graph neural network
CN114398455A (zh) 异构多机器人协同slam地图融合方法
Dai et al. An intensity-enhanced LiDAR SLAM for unstructured environments
CN112396593B (zh) 一种基于关键帧选择和局部特征的闭环检测方法
Li et al. Research on efficient detection network method for remote sensing images based on self attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant