CN112818866A - 车辆定位的方法、装置及电子设备 - Google Patents

车辆定位的方法、装置及电子设备 Download PDF

Info

Publication number
CN112818866A
CN112818866A CN202110145968.3A CN202110145968A CN112818866A CN 112818866 A CN112818866 A CN 112818866A CN 202110145968 A CN202110145968 A CN 202110145968A CN 112818866 A CN112818866 A CN 112818866A
Authority
CN
China
Prior art keywords
position information
vehicle
information
particle swarm
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110145968.3A
Other languages
English (en)
Other versions
CN112818866B (zh
Inventor
鲍佳立
韩志华
管守奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhitu Technology Co Ltd
Original Assignee
Suzhou Zhitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhitu Technology Co Ltd filed Critical Suzhou Zhitu Technology Co Ltd
Priority to CN202110145968.3A priority Critical patent/CN112818866B/zh
Publication of CN112818866A publication Critical patent/CN112818866A/zh
Application granted granted Critical
Publication of CN112818866B publication Critical patent/CN112818866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供一种车辆定位的方法、装置及电子设备，其中，获取图像采集装置采集到的车辆行驶道路的视频序列；对视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息，根据同一对象的轨迹信息确定同一对象相对于车辆的实时相对位置信息；基于实时相对位置信息计算初始粒子群中每个粒子的权重值；根据权重值对初始粒子群进行重新采样，得到采样粒子群；获取采样粒子群的中心点在语义地图上的中心位置信息，将中心位置信息确定为车辆的位置信息。本申请实施例能够将语义地图与图像采集装置采集到的视频序列的信息融合得到车辆的定位信息，可有效避免纯视觉定位方案中车辆的定位准确性低，影响用户使用的问题。

Description

车辆定位的方法、装置及电子设备
技术领域
本发明涉及车辆定位技术领域，尤其是涉及一种车辆定位的方法、装置及电子设备。
背景技术
近年来，随着自动驾驶技术的发展，自动驾驶车辆的运行场景逐步从试验场、空旷场地等简单环境过渡到更加复杂的城市环境。城市环境中的自动驾驶对高精度定位提出了更高的挑战。由于城市场景中存在的各种楼宇对卫星信号的遮挡、折射等问题，对主流的GNSS(Global Navigation Satellite System，全球导航卫星系统)定位精度产生了较大的影响，另一方面，城市道路中车辆行驶会面对各种复杂的转弯等场景，因此在定位过程中，需要准确地获知车辆相对于各种道路表示的位置信息。
现有的自动驾驶定位技术，主要通过视觉特征的投影匹配方法，推测车辆的姿态，进而得到车辆的位置信息。纯视觉的定位方案中，采用特征点匹配的方法来计算车辆的平动与转动，但特征点的采集受到光照、气候等影响，在复杂场景中有较强的不稳定性，因此，影响了车辆的定位准确性，降低了用户的使用体验。
发明内容
有鉴于此，本发明的目的在于提供一种车辆定位的方法、装置及电子设备，以缓解上述技术问题。
第一方面，本发明实施例提供了一种车辆定位的方法，其中，上述方法应用于车载控制器，车载控制器与图像采集装置连接，车载控制器预先存储有语义地图；该方法包括：获取图像采集装置采集到的车辆行驶道路的视频序列；对视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，对象为道路场景物体，轨迹信息为包括相同检测框标识的视频帧子序列；根据同一对象的轨迹信息确定同一对象相对于车辆的实时相对位置信息；基于实时相对位置信息计算初始粒子群中每个粒子的权重值；其中，初始粒子群为根据车辆在语义地图上的初始位置散布的粒子群；根据权重值对初始粒子群进行重新采样，得到采样粒子群；获取采样粒子群的中心点在语义地图上的中心位置信息，将中心位置信息确定为车辆的位置信息。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，对视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息的步骤，包括：通过预先训练好的检测模型对视频序列进行对象检测，得到标注有对象检测框的视频帧；基于IOU匹配跟踪算法对每个视频帧进行IOU跟踪，得到同一对象的轨迹信息。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据同一对象的轨迹信息确定同一对象相对于车辆的实时相对位置信息的步骤，包括：获取同一对象的轨迹信息对应的视频帧子序列；将视频帧子序列中每个子视频帧作为目标视频帧，对于每个目标视频帧均执行以下操作：对目标视频帧中标注有对象检测框的对象进行直线检测，得到直线线段；基于直线线段确定消失点；根据消失点确定同一对象的三维立体信息；其中，三维立体信息包括同一对象相对于图像采集装置的相对平移向量；基于同一对象对应的相对平移向量确定实时相对位置信息。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，基于同一对象对应的相对平移向量确定实时相对位置信息的步骤，包括：获取图像采集装置相对于地面的高度信息；基于高度信息和相对平移向量计算同一对象距离车辆的实际距离信息；将实际距离信息确定为实时相对位置信息。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，语义地图为正态分布语义地图；基于实时相对位置信息计算初始粒子群中每个粒子的权重值的步骤，包括：将实时相对位置信息通过初始粒子群的位置姿态转换到地图坐标系下，得到绝对位置信息；将绝对位置信息与语义地图匹配，计算各个粒子的权重值；其中，通过下式得到绝对位置信息；
Figure BDA0002930113860000031
其中，xi表示目标视频帧中第i个对象在语义地图上的绝对位置信息，xd表示表示目标视频帧中第i个对象的实时相对位置信息，Rj表示初始粒子群中第j个粒子在语义地图上的旋转矩阵，tj表示初始粒子群中第j个粒子在语义地图上的位置信息；
Figure BDA0002930113860000032
其中，Qj表示初始粒子群中第j个粒子的权重值，Z表示目标视频帧中所有的对象，Pj表示初始粒子群中第j个粒子，M表示语义地图上的语义地图信息，qk表示语义地图的第k个地图块的均值，ωk表示语义地图的第k个地图块的协方差；该第k个地图块为目标视频帧中第i个对象所在地图位置；其中，
Figure BDA0002930113860000033
n表示目标视频帧中所有对象的特征点之和；
Figure BDA0002930113860000034
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据权重值对初始粒子群进行重新采样，得到采样粒子群的步骤，包括：比较各个粒子的权重值与预设权重值的大小；对权重值大于预设权重值的粒子进行采样，得到采样粒子群。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，获取采样粒子群的中心点在语义地图上的中心位置信息的步骤，包括：获取采样粒子群中每个采样粒子在语义地图上的地图位置信息；将多个采样粒子的地图位置信息进行求和平均计算，得到计算位置信息；将计算位置信息确定为中心位置信息。
第二方面，本发明实施例还提供一种车辆定位的装置，其中，上述装置应用于车载控制器，车载控制器与图像采集装置连接，车载控制器预先存储有语义地图；该装置包括：第一获取模块，用于获取图像采集装置采集到的车辆行驶道路的视频序列；检测跟踪模块，用于对视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，对象为道路场景物体，轨迹信息为包括相同检测框标识的视频帧子序列；确定模块，用于根据同一对象的轨迹信息确定同一对象相对于车辆的实时相对位置信息；计算模块，用于基于实时相对位置信息计算初始粒子群中每个粒子的权重值；其中，初始粒子群为根据车辆在语义地图上的初始位置散布的粒子群；采样模块，用于根据权重值对初始粒子群进行重新采样，得到采样粒子群；第二获取模块，用于获取采样粒子群的中心点在语义地图上的中心位置信息，将中心位置信息确定为车辆的位置信息。
第三方面，本发明实施例还提供一种电子设备，其中，该电子设备包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取视频序列；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行上述的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的方法。
本发明实施例带来了以下有益效果：
本发明实施例提供一种车辆定位的方法、装置及电子设备，其中，获取图像采集装置采集到的车辆行驶道路的视频序列；对视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息，根据同一对象的轨迹信息确定同一对象相对于车辆的实时相对位置信息；基于实时相对位置信息计算初始粒子群中每个粒子的权重值；根据权重值对初始粒子群进行重新采样，得到采样粒子群；获取采样粒子群的中心点在语义地图上的中心位置信息，将中心位置信息确定为车辆的位置信息。本申请实施例能够将语义地图与图像采集装置采集到的视频序列的信息融合得到车辆的定位信息，可有效避免纯视觉定位方案中车辆的定位准确性低，影响用户使用的问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子设备的结构示意图；
图2为本发明实施例提供的一种语义地图的结构示意图；
图3为本发明实施例提供的一种车辆定位的方法的流程图；
图4为本发明实施例提供的一种基于消失点包围对象的三维矩形立体的结构示意图；
图5为本发明实施例提供的一种车辆定位的装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高车辆定位的准确性，本发明实施例提供的一种车辆定位的方法、装置及电子设备，可以缓解上述技术问题。下面通过实施例进行描述。
如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备也可以具有其他组件和结构。
处理设备102可以为服务器、智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子设备100中的其它组件的数据进行处理，还可以控制电子设备100中的其它组件以执行车辆定位的方法的功能。
存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
图像采集设备110可以获取视频序列，并且将采集到的视频序列存储在存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的车辆定位的方法、装置和电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子设备中的各器件集成设置时，该电子设备可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
本实施例提供了一种车辆定位的方法，其中，上述方法应用于车载控制器，车载控制器与图像采集装置连接，车载控制器预先存储有语义地图；
其中，车载控制器可以是中央处理器(Central Processing Unit，CPU)，可以配置相应的操作系统，以及控制接口等，具体地，可以是MCU(Microcontroller Unit，微控制单元)控制器等能够用于自动化控制的数字逻辑控制器，可以将控制指令随时加载到内存进行储存与执行，同时，可以内置CPU指令及资料内存、输入输出单元、电源模组、数字模拟单元等，具体可以根据实际使用情况进行设置，本发明实施例对此不进行限制。
上述图像采集装置为安装在车辆挡风玻璃后面的单目摄像机，用于采集视频序列，并可将采集到的视频序列发送至车载控制器进行处理。预先存储在车载控制器中的语义地图为正态分布语义地图，在该语义地图上不仅包括交通场景中各个标志物体的位置、分类信息，对于3D物体(如灯柱、交通标志灯等)还包含了高度信息，并且，在该语义地图中还包括了各个标志物体存在的概率信息。
为了便于理解，表1中示出了一种语义地图的信息展示表:
表1
Figure BDA0002930113860000081
如表1所示，该语义地图中包括二维标志(车道线)和三维标志(墙面、路灯、车道线、标志牌)等多种标志物体，并给出了每个标志物体地在语义地图中的表示格式。
在城市环境中，最显著、最具有稳定性的是建筑物信息，对于地图中的建筑物墙面信息，考虑到测绘建图时的不确定性和在滤波器内实现地图的匹配，在本实施例中，对语义地图中的信息进行预处理，将地图转化为ND地图(Normal Distribution正态分布地图)形式。为了便于理解，图2示出了一种语义地图的结构示意图，如图2所示，在语义地图中，可将地图分割成多个正方形的地图块，并计算出每个地图块对应的均值和协方差，以表示该地图块中标志物体的均值和协方差等概率信息，图2中的线条仅示出了建筑的墙面，对于其他标志物体不进行一一展示。
参见图3所示的一种车辆定位的方法的流程图，该方法具体包括如下步骤：
步骤S302，获取图像采集装置采集到的车辆行驶道路的视频序列；
上述视频序列是在图像采集装置视角中拍摄到的一序列帧图像组成的视频序列。
步骤S304，对视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，对象为道路场景物体，轨迹信息为包括相同检测框标识的视频帧子序列；
上述对象不限于路灯、楼房、车辆、人体等道路场景物体，其中，上述轨迹信息中不仅包括同一对象的视频帧子序列，还可以包括对象检测框所在视频帧的帧标识以及对象检测框的坐标信息；该坐标信息可以包括与在视频帧中预先设定的原点坐标的相对位置。
在对视频序列进行对象检测和跟踪时，能够在包括有上述对象的视频帧上标注出每个对象的检测框，并且，能够获取每个对象对应的轨迹信息。可以理解的是，不同视频帧中通过对对象的跟踪而确认为同一对象的对象检测框具有相同的检测框标识。
步骤S306，根据同一对象的轨迹信息确定同一对象相对于车辆的实时相对位置信息；
在本实施例中，同一对象的轨迹信息可以用视频帧的帧标识和对象检测框的坐标信息表示。比如，在上述视频序列中包含对象1的检测框的视频帧共有5帧，分别对应的视频帧的帧标识为1、2、3、4、5，为了准确查找上述每个对象检测框的坐标信息，在本实施例中可选取对象检测框的左上角位置点和右下角位置点的坐标信息；具体地，对象1在这5帧中的对象检测框的坐标信息分别为[a1(xa1,ya1),b1(xb1,yb1)]，[a2(xa2,ya2),b2(xb2,yb2)]，[a3(xa3,ya3),b3(xb3,yb3)]，[a4(xa4,ya4),b4(xb4,yb4)]，[a5(xa5,ya5),b5(xb5,yb5)](a1-a5代表对象检测框左上角位置点，b1-b5代表右下角位置点，xa1-xa5表示每个对象检测框左上角位置点的横坐标，ya1-ya5表示每个对象检测框左上角位置点的纵坐标，xb1-xb5表示每个对象检测框右下角位置点的横坐标，yb1-yb5表示每个对象检测框右下角位置点的纵坐标)，则对象1的轨迹信息可以表示为帧1、帧2、帧3、帧4和帧5组成的视频帧子序列或对象1在帧1、帧2、帧3、帧4和帧5中对象检测框位置的抠图组成的视频帧子序列。
因此，可通过对象1在视频帧中的坐标信息可计算出该对象1距离车辆的相对位置信息，比如，对象1在帧1时距离车辆为5米、帧2时距离车辆为4.7米、帧3时距离车辆为4.4米、帧4时距离车辆为3.8米、帧5时距离车辆为3.5米，因此，通过对象在视频帧中的坐标信息实时确定出对象距离车辆的相对位置信息。
除了上述通过对象在视频帧中的坐标信息确定实时相对位置信息的方法之外，还可以基于消失点的方式估计出对象距离车辆的实时相对位置信息，对于该方式在后续进行介绍，在此不进行详细阐述。
步骤S308，基于实时相对位置信息计算初始粒子群中每个粒子的权重值；其中，初始粒子群为根据车辆在语义地图上的初始位置散布的粒子群；
在本实施例中，可将车辆每次移动后的上一时刻在语义地图中的位置确定为初始位置，而将每次车辆在语义地图上的初始位置散布的粒子群称为初始粒子群，基于实时相对位置信息对初始粒子群的粒子状态进行更新(即所有粒子都根据实时相对位置信息，以及对象与车辆的相对方向进行转动和平动)，对于位置更新后的粒子群进行粒子的权重计算，以得到每个粒子的权重值。
具体计算初始粒子群中每个粒子的权重值的过程为：将实时相对位置信息通过初始粒子群的位置姿态转换到地图坐标系下，得到绝对位置信息；将绝对位置信息与语义地图匹配，计算各个粒子的权重值；
其中，通过下式得到绝对位置信息；
Figure BDA0002930113860000111
其中，xi表示目标视频帧中第i个对象在语义地图上的绝对位置信息，xd表示表示目标视频帧中第i个对象的实时相对位置信息，Rj表示初始粒子群中第j个粒子在语义地图上的旋转矩阵，Tj表示初始粒子群中第j个粒子在语义地图上的位置信息；
通过下式计算各个粒子的权重值：
Figure BDA0002930113860000112
其中，Qj表示初始粒子群中第j个粒子的权重值，Z表示目标视频帧中所有的对象，Pj表示初始粒子群中第j个粒子，M表示语义地图上的语义地图信息，qk表示语义地图的第k个地图块的均值，ωk表示语义地图的第k个地图块的协方差；该第k个地图块为目标视频帧中第i个对象所在地图位置；
其中，均值
Figure BDA0002930113860000113
n表示目标视频帧中所有对象的特征点之和；协方差
Figure BDA0002930113860000114
步骤S310，根据权重值对初始粒子群进行重新采样，得到采样粒子群；
对粒子群进行重采样，将权重值低于预设权重值的粒子去除，保留权重值不低于预设权重值的粒子，在保留的粒子周围再重新散布粒子，以得到采样粒子群。
步骤S312，获取采样粒子群的中心点在语义地图上的中心位置信息，将中心位置信息确定为车辆的位置信息。
将重采样后的采样粒子群的中心确定为车辆在语义地图上的准确位置信息。
具体中心位置信息的确定过程为：获取采样粒子群中每个采样粒子在语义地图上的地图位置信息；将多个采样粒子的地图位置信息进行求和平均计算，得到计算位置信息；将计算位置信息确定为中心位置信息。
上述地图位置信息即为采样粒子在语义地图上的位置坐标，将所有的采样粒子的位置坐标进行求和平均得到计算位置信息，将计算出的位置坐标确定为采样粒子群的中心点在语义地图上的位置坐标信息。
本发明实施例提供一种车辆定位的方法，其中，获取图像采集装置采集到的车辆行驶道路的视频序列；对视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息，根据同一对象的轨迹信息确定同一对象相对于车辆的实时相对位置信息；基于实时相对位置信息计算初始粒子群中每个粒子的权重值；根据权重值对初始粒子群进行重新采样，得到采样粒子群；获取采样粒子群的中心点在语义地图上的中心位置信息，将中心位置信息确定为车辆的位置信息。本申请实施例能够将语义地图与图像采集装置采集到的视频序列的信息融合得到车辆的定位信息，可有效避免纯视觉定位方案中车辆的定位准确性低，影响用户使用的问题。
作为其中的一个实施例，上述步骤S304对视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息的过程，可由步骤A1至步骤A2实现：
步骤A1，通过预先训练好的检测模型对视频序列进行对象检测，得到标注有对象检测框的视频帧；
上述检测模型可以是由带有标签的对象训练样本对SSD(Single Shot MultiBoxDetector)算法、retinaNet算法或fasterRCNN算法等深度神经网络进行训练得到的检测模型，利用上述训练好的检测模型能够准确检测出每个视频帧中包含的对象，并能够在上述视频帧中用方框的形式将对象标注出来，以便于用户识别对象。
步骤A2，基于IOU匹配跟踪算法对每个视频帧进行IOU跟踪，得到同一对象的轨迹信息。
在本实施例中，可基于IOU(Intersection over Union，交并比)匹配跟踪算法对每个视频帧进行IOU跟踪，得到同一对象的轨迹信息；上述IOU匹配跟踪算法是一种测量在特定数据集中检测相应物体准确度的一个标准，这个标准用于测量真实和预测之间的相关度，相关度越高，该标准值越高；在本实施例中，上述标准值可以由预先训练好的检测模型实现，通过该模型可以对在包含有对象的视频帧中计算出检测框之间的交叠率，即它们的交集与并集的比值；如果计算出的相邻两视频帧(例如帧标识为5和帧标识为6的视频帧)中检测框之间的交叠率高于预先设定的交叠率阈值或者为最大交叠率，则确定两个检测框对应的对象为同一个目标对象；通过上述IOU匹配跟踪算法能够获得在上述视频帧序列中同一对象的对象检测框所在的视频帧的帧标识以及对象检测框的坐标信息，并将同一对象的检测框赋予相同的检测框标识。
除了可以利用上述IOU匹配跟踪算法进行对象的跟踪之外，还可以基于对象检测框的坐标信息利用马氏距离或协方差距离计算两视频帧中对象检测框的线性相关度进行对象的跟踪，该线性相关度越高，说明是同一对象以获取每个对象的轨迹信息。
作为其中的一个实施例，上述步骤S306根据同一对象的轨迹信息确定同一对象相对于车辆的实时相对位置信息的过程，可由步骤B1至步骤B6实现：
步骤B1，获取同一对象的轨迹信息对应的视频帧子序列；
由于同一对象的对象检测框具有相同的检测框标识，因此，可在视频序列中将包括相同检测框标识的视频帧确定为同一对象对应的视频帧子序列。
步骤B2，将视频帧子序列中每个子视频帧作为目标视频帧，对于每个目标视频帧均执行以下操作：
步骤B3，对目标视频帧中标注有对象检测框的对象进行直线检测，得到直线线段；
步骤B4，基于直线线段确定消失点；
上述直线检测是检测对象(比如，建筑物、道路上的车辆)上的直线线段，因为场景中的物体上的直线符合消失点原则，因此，可基于消失点原则恢复对象的三维立体信息，由于在图像采集装置视角中，车辆、楼宇等物体上平行的直线会汇集到一个光学消失点上，因此依靠直线检测的结果，可以提出多个视角假设，通过对对象上检测到的直线线段，做出几种消失点的假设，以便于进行对象的三维立体信息的估计。
步骤B5，根据消失点确定同一对象的三维立体信息；其中，三维立体信息包括同一对象相对于图像采集装置的相对平移向量；
为了便于理解根据消失点确定三维立体信息的过程，图4示出了一种基于消失点包围对象的三维矩形立体的结构示意图，如图4所示，通过直线线段可得到的三个消失点，分别为VP1、VP2和VP3，之后，结合检测到的对象的某一个交点(例如图4中的点1)得到包围对象的三维的矩形立体，该对象的三维的矩形立体的顶点有8个，在每个顶点出用数字进行标识。
假设矩形立体的中心点在矩形立体自身的坐标系下的坐标为[0,0,0]，矩形立体三边长度为dx,dy,dz那么矩形体的八个顶点坐标为[±dx,±dy,±dz]/2，对于任何一个点，基于图像采集装置投影关系，可以得到各个顶点(以点1为例)和顶点在视频帧上投影的像素点p1(u,v)的关系：
Figure BDA0002930113860000151
其中，π表示图像采集装置内参，Rcube表示矩形立体相对于图像采集装置的旋转矩阵，tcube表示矩形立体相对于图像采集装置的相对平移向量。利用多个顶点建立的上述方程，可以用牛顿高斯法求得旋转矩阵与相对平移向量。
步骤B6，基于同一对象对应的相对平移向量确定实时相对位置信息。
上述得到相对平移向量是一个相对比值，为了得到实际距离信息值，在本实施例中，可获取图像采集装置相对于地面的高度信息；基于高度信息和相对平移向量计算同一对象距离车辆的实际距离信息；将实际距离信息确定为实时相对位置信息。
由于图像采集装置是固定在车辆上的，可以提前知道图像采集装置离开地面的高度H，由于道路上的车辆，建筑等均在地面上，因此，可以通过图像采集装置的高度H和地面上的点，计算出对象离开图像采集装置的位置，进而得到对象距离车辆的实际距离信息。例如，得到的相对平移向量中dx/dz＝1/3，图像采集装置离开地面的高度H为1.5m，因此，x＝3*1.5＝4.5m，所以，对象距离车辆的实时相对位置信息实际是4.5m。
对应于上述方法实施例，本发明实施例提供了一种车辆定位的装置，其中，上述装置应用于车载控制器，车载控制器与图像采集装置连接，车载控制器预先存储有语义地图；图5示出了一种车辆定位的装置的结构示意图，如图5所示，该装置包括：
第一获取模块502，用于获取图像采集装置采集到的车辆行驶道路的视频序列；
检测跟踪模块504，用于对视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，对象为道路场景物体，轨迹信息为包括相同检测框标识的视频帧子序列；
确定模块506，用于根据同一对象的轨迹信息确定同一对象相对于车辆的实时相对位置信息；
计算模块508，用于基于实时相对位置信息计算初始粒子群中每个粒子的权重值；其中，初始粒子群为根据车辆在语义地图上的初始位置散布的粒子群；
采样模块510，用于根据权重值对初始粒子群进行重新采样，得到采样粒子群；
第二获取模块512，用于获取采样粒子群的中心点在语义地图上的中心位置信息，将中心位置信息确定为车辆的位置信息。
本发明实施例提供一种车辆定位的装置，其中，获取图像采集装置采集到的车辆行驶道路的视频序列；对视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息，根据同一对象的轨迹信息确定同一对象相对于车辆的实时相对位置信息；基于实时相对位置信息计算初始粒子群中每个粒子的权重值；根据权重值对初始粒子群进行重新采样，得到采样粒子群；获取采样粒子群的中心点在语义地图上的中心位置信息，将中心位置信息确定为车辆的位置信息。本申请实施例能够将语义地图与图像采集装置采集到的视频序列的信息融合得到车辆的定位信息，可有效避免纯视觉定位方案中车辆的定位准确性低，影响用户使用的问题。
本发明实施例提供的车辆定位的装置，与上述实施例提供的车辆定位的方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述车辆定位的方法的步骤。
本发明实施例所提供的车辆定位的方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车辆定位的方法，其特征在于，所述方法应用于车载控制器，车载控制器与图像采集装置连接，所述车载控制器预先存储有语义地图；所述方法包括：
获取图像采集装置采集到的车辆行驶道路的视频序列；
对所述视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，所述对象为道路场景物体，所述轨迹信息为包括相同检测框标识的视频帧子序列；
根据所述同一对象的轨迹信息确定同一对象相对于所述车辆的实时相对位置信息；
基于所述实时相对位置信息计算初始粒子群中每个粒子的权重值；其中，所述初始粒子群为根据所述车辆在语义地图上的初始位置散布的粒子群；
根据所述权重值对所述初始粒子群进行重新采样，得到采样粒子群；
获取所述采样粒子群的中心点在所述语义地图上的中心位置信息，将所述中心位置信息确定为所述车辆的位置信息。
2.根据权利要求1所述的方法，其特征在于，对所述视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息的步骤，包括：
通过预先训练好的检测模型对所述视频序列进行所述对象检测，得到标注有对象检测框的视频帧；
基于IOU匹配跟踪算法对每个所述视频帧进行IOU跟踪，得到同一对象的轨迹信息。
3.根据权利要求1所述的方法，其特征在于，根据所述同一对象的轨迹信息确定同一对象相对于所述车辆的实时相对位置信息的步骤，包括：
获取同一对象的轨迹信息对应的视频帧子序列；
将所述视频帧子序列中每个子视频帧作为目标视频帧，对于每个所述目标视频帧均执行以下操作：
对所述目标视频帧中标注有对象检测框的对象进行直线检测，得到直线线段；
基于所述直线线段确定消失点；
根据所述消失点确定所述同一对象的三维立体信息；其中，所述三维立体信息包括所述同一对象相对于图像采集装置的相对平移向量；
基于所述同一对象对应的所述相对平移向量确定实时相对位置信息。
4.根据权利要求3所述的方法，其特征在于，基于所述同一对象对应的所述相对平移向量确定实时相对位置信息的步骤，包括：
获取所述图像采集装置相对于地面的高度信息；
基于所述高度信息和所述相对平移向量计算所述同一对象距离所述车辆的实际距离信息；
将所述实际距离信息确定为实时相对位置信息。
5.根据权利要求3所述的方法，其特征在于，所述语义地图为正态分布语义地图；
基于所述实时相对位置信息计算初始粒子群中每个粒子的权重值的步骤，包括：
将所述实时相对位置信息通过所述初始粒子群的位置姿态转换到地图坐标系下，得到绝对位置信息；
将所述绝对位置信息与所述语义地图匹配，计算各个粒子的权重值；
其中，通过下式得到绝对位置信息；
Figure FDA0002930113850000021
其中，xi表示所述目标视频帧中第i个对象在语义地图上的绝对位置信息，xd表示表示所述目标视频帧中第i个对象的实时相对位置信息，Rj表示初始粒子群中第j个粒子在语义地图上的旋转矩阵，tj表示初始粒子群中第j个粒子在语义地图上的位置信息；
通过下式计算各个粒子的权重值：
Figure FDA0002930113850000031
其中，Qj表示所述初始粒子群中第j个粒子的权重值，Z表示所述目标视频帧中所有的对象，Pj表示所述初始粒子群中第j个粒子，M表示所述语义地图上的语义地图信息，qk表示所述语义地图的第k个地图块的均值，ωk表示所述语义地图的第k个地图块的协方差；该第k个地图块为所述目标视频帧中第i个对象所在地图位置；
其中，
Figure FDA0002930113850000032
n表示所述目标视频帧中所有对象的特征点之和；
Figure FDA0002930113850000033
6.根据权利要求1所述的方法，其特征在于，根据所述权重值对所述初始粒子群进行重新采样，得到采样粒子群的步骤，包括：
比较各个粒子的权重值与预设权重值的大小；
对权重值大于所述预设权重值的粒子进行采样，得到采样粒子群。
7.根据权利要求1所述的方法，其特征在于，获取所述采样粒子群的中心点在所述语义地图上的中心位置信息的步骤，包括：
获取所述采样粒子群中每个采样粒子在语义地图上的地图位置信息；
将多个所述采样粒子的地图位置信息进行求和平均计算，得到计算位置信息；
将所述计算位置信息确定为中心位置信息。
8.一种车辆定位的装置，其特征在于，所述装置应用于车载控制器，车载控制器与图像采集装置连接，所述车载控制器预先存储有语义地图；所述装置包括：
第一获取模块，用于获取图像采集装置采集到的车辆行驶道路的视频序列；
检测跟踪模块，用于对所述视频序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，所述对象为道路场景物体，所述轨迹信息为包括相同检测框标识的视频帧子序列；
确定模块，用于根据所述同一对象的轨迹信息确定同一对象相对于所述车辆的实时相对位置信息；
计算模块，用于基于所述实时相对位置信息计算初始粒子群中每个粒子的权重值；其中，所述初始粒子群为根据所述车辆在语义地图上的初始位置散布的粒子群；
采样模块，用于根据所述权重值对所述初始粒子群进行重新采样，得到采样粒子群；
第二获取模块，用于获取所述采样粒子群的中心点在所述语义地图上的中心位置信息，将所述中心位置信息确定为所述车辆的位置信息。
9.一种电子设备，其特征在于，所述电子设备包括：图像采集设备、处理设备和存储装置；
所述图像采集设备，用于获取视频序列；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
CN202110145968.3A 2021-02-02 2021-02-02 车辆定位的方法、装置及电子设备 Active CN112818866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145968.3A CN112818866B (zh) 2021-02-02 2021-02-02 车辆定位的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145968.3A CN112818866B (zh) 2021-02-02 2021-02-02 车辆定位的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112818866A true CN112818866A (zh) 2021-05-18
CN112818866B CN112818866B (zh) 2023-11-07

Family

ID=75861754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145968.3A Active CN112818866B (zh) 2021-02-02 2021-02-02 车辆定位的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112818866B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115248040A (zh) * 2022-09-22 2022-10-28 毫末智行科技有限公司 初始化定位方法、装置、终端及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020000251A1 (zh) * 2018-06-27 2020-01-02 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
US20200098135A1 (en) * 2016-12-09 2020-03-26 Tomtom Global Content B.V. Method and System for Video-Based Positioning and Mapping
CN111914635A (zh) * 2020-06-23 2020-11-10 北京迈格威科技有限公司 人体测温方法、装置、系统和电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200098135A1 (en) * 2016-12-09 2020-03-26 Tomtom Global Content B.V. Method and System for Video-Based Positioning and Mapping
WO2020000251A1 (zh) * 2018-06-27 2020-01-02 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
CN111914635A (zh) * 2020-06-23 2020-11-10 北京迈格威科技有限公司 人体测温方法、装置、系统和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋焕生;李莹;杨瑾;云旭;张韫;解熠;: "基于高速公路场景的车辆目标跟踪", 计算机系统应用, no. 06 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115248040A (zh) * 2022-09-22 2022-10-28 毫末智行科技有限公司 初始化定位方法、装置、终端及存储介质
CN115248040B (zh) * 2022-09-22 2022-12-23 毫末智行科技有限公司 初始化定位方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN112818866B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
EP3581890B1 (en) Method and device for positioning
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN109584302B (zh) 相机位姿优化方法、装置、电子设备和计算机可读介质
CN106871906B (zh) 一种盲人导航方法、装置及终端设备
KR102218881B1 (ko) 차량 위치 결정 방법 및 시스템
CN111830953A (zh) 车辆自定位方法、装置及系统
CN115388902B (zh) 室内定位方法和系统、ar室内定位导航方法和系统
KR20210081983A (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN112750203A (zh) 模型重建方法、装置、设备及存储介质
CN110969592A (zh) 图像融合方法、自动驾驶控制方法、装置和设备
CN113223064A (zh) 一种视觉惯性里程计尺度的估计方法和装置
CN110636248B (zh) 目标跟踪方法与装置
CN113838129A (zh) 一种获得位姿信息的方法、装置以及系统
CN112818866B (zh) 车辆定位的方法、装置及电子设备
CN113673288B (zh) 空闲车位检测方法、装置、计算机设备及存储介质
CN111862146B (zh) 一种目标对象的定位方法及装置
CN111754388B (zh) 一种建图方法及车载终端
CN116337068A (zh) 基于仿人思路的机器人同步语义定位与建图方法及系统
KR20200142315A (ko) 도로 네트워크를 갱신하는 방법 및 장치
CN116259001A (zh) 一种多视角融合的三维行人姿态估计与追踪方法
JP2012099010A (ja) 画像処理装置及び画像処理プログラム
Gao et al. 3D reconstruction for road scene with obstacle detection feedback

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant