CN111256693A - 一种计算位姿变化方法及车载终端 - Google Patents
一种计算位姿变化方法及车载终端 Download PDFInfo
- Publication number
- CN111256693A CN111256693A CN201811468093.5A CN201811468093A CN111256693A CN 111256693 A CN111256693 A CN 111256693A CN 201811468093 A CN201811468093 A CN 201811468093A CN 111256693 A CN111256693 A CN 111256693A
- Authority
- CN
- China
- Prior art keywords
- image
- pose
- top view
- subunit
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 24
- 238000004364 calculation method Methods 0.000 title claims description 18
- 230000008447 perception Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 41
- 241000791900 Selene vomer Species 0.000 claims abstract description 5
- 241000283070 Equus zebra Species 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
一种计算位姿变化方法及车载终端,所述方法包括步骤:获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图;识别所述俯视拼接图中的图像语义特征,以得到俯视感知图;基于所述俯视感知图进行定位;所述基于所述俯视感知图进行定位包括:获取初始位姿;基于所述俯视感知图计算位姿变化。该方案在保证算法鲁棒性的同时能够有效提升定位精度。
Description
技术领域
本发明涉及模式识别与智能系统与交通工具技术领域,特别地,涉及一种基于俯视感知图的计算位姿变化方法及车载终端。
背景技术
随着人民生活水平的提高,小轿车等交通工具成为人们主要的代步工具,而交通工具的智能化,也越来越使出行更加的简单。在一些情况下,车辆可以自动执行驾驶任务,例如,开启了自动驾驶功能的普通的家用轿车、公交车、卡车等车辆,或者还可以为无人驾驶的家用轿车、公交车、卡车等车辆。自动驾驶技术已有数十年的发展历史,21世纪初呈现出接近实用化的趋势。
定位技术是自动驾驶系统的关键技术之一。自动驾驶系统通过定位技术准确感知自身在全局环境中的相对位置,将自身视作一个质点并与环境有机结合起来。目前广泛应用的定位技术包括卫星导航系统定位(GPS等)、里程计定位、陀螺仪定位、视觉导航定位等。
在各种导航定位方法中,视觉导航定位方案的优势在于应用范围广泛,即使在卫星信号不能到达的室内环境,比如地下车库,也能实现定位。同时,视觉导航定位能够消除里程计定位方案不可避免的累计误差。而实现视觉定位的导航关键在于计算位姿的变化。
发明内容
本发明提供了一种计算位姿变化方法及车载终端。传统技术中对于定位、车辆位姿因为卫星导航系统定位(GPS等)、里程计定位、陀螺仪这些传感器自身缺陷,相比视觉传感器定位精度存在差距。但如何使用视觉传感器形成感知图则是本领域的难点,本发明使用俯视感知图解决了视觉图像拼接难题。
此外,本发明提出该方案通过非线性优化方法解决,将位姿求解转换为状态估计问题,并将位姿最优估计问题转化为最小化误差的问题,从而在保证算法鲁棒性的同时能够有效提升定位精度。
本发明的第一个方面是提供一种计算位姿变化方法,所述方法包括步骤:
1)获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图;
2)识别所述俯视拼接图中的图像语义特征,以得到俯视感知图;
3)基于所述俯视感知图进行定位;
所述步骤3)包括:
31)获取初始位姿;
32)基于所述俯视感知图计算位姿变化。
优选的,在所述步骤2)中,所述图像语义特征可以为车道线、停车库位线、库位点、斑马线、车道箭头等的一种或多种。
优选的,所述步骤32)中,k时刻的位姿为:ξk=(x,y,θ),上式中(x,y)表示载体在一个二维平面的中心,而θ表示载体的航向角。
优选的,所述步骤32)中,将位姿最优估计问题转化为最小化误差e,具体为:
e=ξk-h(xk,yj)。
本发明的第二方面是提供一种基于俯视感知图的计算位姿变化方法,其特征在于:所述方法包括步骤:
1)获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图;
2)识别所述俯视拼接图中的图像语义特征,以得到俯视感知图;
3)基于所述俯视感知图进行定位;
所述步骤3)基于所述俯视感知图进行定位包括步骤:
31)获取初始位姿;其中所述获取初始位姿包括将所述图像语义特征进行分类:其中,车道线,车位线,箭头,人行道等一般标志物分为一类;多条车位线的交叉点,定义为车位点,分为另一类;
32)基于所述俯视感知图计算位姿变化。
本发明的第三个方面是提供一种车载终端,包括:
拼接子单元,用于获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图;
识别子单元,用于识别所述俯视拼接图中的图像语义特征,以得到俯视感知图;
定位子单元,用于基于所述俯视感知图进行定位;
所述定位子单元包括:
初始子单元,用于获取初始位姿;
计算子单元,用于基于所述俯视感知图计算位姿变化。
优选的,所述识别子单元中的所述图像语义特征可以为车道线、停车库位线、库位点、斑马线、车道箭头等的一种或多种。
优选的,所述计算子单元中,k时刻的位姿为:ξk=(x,y,θ),上式中(x,y)表示载体在一个二维平面的中心,而θ表示载体的航向角。
优选的,所述计算子单元中,将位姿最优估计问题转化为最小化误差e,具体为:
e=ξk-h(xk,yj)。
本发明的第四方面,是提供一种基于俯视拼接图的车载终端,包括:
拼接子单元,用于获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图;
识别子单元,用于识别所述俯视拼接图中的图像语义特征,以得到俯视感知图;
定位子单元,用于基于所述俯视感知图进行定位;
所述定位子单元包括初始子单元和计算子单元:
所述初始子单元,用于获取初始位姿;其中所述初始子单元对所述图像语义特征分类:其中,车道线,车位线,箭头,人行道等一般标志物分为一类;多条车位线的交叉点,定义为车位点,分为另一类。
所述计算子单元,用于基于所述俯视感知图计算位姿变化。
本发明的发明点在于以下几点,但不限于以下几点:
1)本发明提供一种基于俯视感知图的计算位姿变化方法及车载终端,该方案将位姿求解转换为状态估计问题,并将位姿最优估计问题转化为最小化误差的问题,从而在保证算法鲁棒性的同时能够有效提升定位精度,这是本发明的发明点之一。
2)本发明获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图。现有技术中没有发现有识别图像语义特征的,更没有将图像语义特征进行识别后拼接得到拼接图的技术方案。本发明通过识别俯视拼接图中的图像语义特征,以得到俯视感知图,特别是选取车道线、库位线、库位点作为语义特征是本发明的发明点之一。
本发明俯视拼接图技术与位姿最优化估计融合在一起;该位姿最优化估计是基于俯视拼接图的基础上得出的,不是两者的简单拼凑。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1是本发明实施例公开的一种由车载终端构建的停车场局部地图示例图;
图2是本发明实施例公开的图像语义标注示意图;
图3是本发明实施例公开的一种神经元模型示意图;
图4是本发明实施例公开的神经网络模型示意图;
具体实施例
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于俯视感知图的计算位姿变化方法及车载终端。以下分别进行详细说明。
实施例一
即时定位与地图构建(Simultaneous localization and mapping,SLAM)技术,利用摄像头拍摄到的目标图像构建局部地图,该局部地图用于描述车辆的周围环境。基于SLAM技术,车载终端可以识别出目标图像中的特征点,并且使用这些特征点构建地图。也就是说,当建图时,车载终端可以在车辆不断行进的过程中,利用摄像头拍摄到的图像逐步描绘出车辆途径环境的局部地图。
步骤1、获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图。
在本发明实施例中,图像采集装置可以为摄像头,为了方便描述,如无特殊说明,下文中的摄像头指图像采集装置。上述的多个摄像头为分别安装在车辆前、后、左、右四个方向的摄像头,每个摄像头的取景范围至少包括该摄像头的下方地面。可选的,上述的摄像头可以为鱼眼摄像头,鱼眼摄像头的视场(Field OF View,FOV)较大,从而可以使得单个鱼眼摄像头拍摄到的目标图像中尽可能多地包括车辆的周边环境,提高观测的完整性进而提高局部地图的完整性,增加局部地图中包含的信息量。安装在上述四个方向的摄像头组成了摄像头的环视方案,使得车载终端可以一次性获取到车辆周边各个方向的环境信息,从而可以使得利用单次采集得到的目标图像构建出的局部地图包含更多的信息。此外,四路摄像头采集的图像数据存在一定的冗余,如果某一路摄像头失效,其余摄像头采集的图像数据可以作为补充,对车载终端构建局部地图和定位的影响较低。
本发明实施例中,车载终端将安装在车辆前、后、左、右四个方向的摄像头在同一时刻拍摄到的目标图像进行拼接,得到的俯视拼接图包含了以车辆为中心360度的环境信息。
步骤2、识别所述俯视拼接图中的图像语义特征,以得到俯视感知图。
本发明实施例中,图像语义特征为可以为经过经验筛选,具有特殊含义并有助于车辆定位的语义特征。在一种可能的应用场景中,车辆位于停车场,该停车场可以为地上停车场也可以为地下车库,本发明实施例不做限定。在停车场的应用场景中,图像语义特征可以为车道线、停车库位线、库位点(库位线之间的交点)、斑马线、车道箭头等,本发明实施例不做限定。请一并参阅图1,图1为本发明实施例公开的一种由车载终端构建的停车场局部地图示例图,由图1可以看出,该局部地图由车载终端在该停车场行驶时,途经的车道线、库位线、库位点等语义特征组成,其中,带箭头虚线所示为车辆的行驶轨迹。
此外,作为一种可选的实施方式,本发明实施例中,车载终端可以通过深度学习或图像分割等图像识别算法从俯视拼接图中识别出图像语义特征。优选的,可以使用适用于深度学习的神经网络模型识别图像语义特征,并且预先采用大量标注有图像语义特征的俯视拼接样本图像对神经网络模型进行训练。所述神经网络模型如下:
该网络结构采用Encoder-Decoder模型,主要包括两个部分:编码(Encoder)部分和解码(Decoder)部分。一种简单的神经元模型如图2所示,包含若干个输出x1,x2,…,xn,唯一输出y。通过定义神经元的输入、输出以及连接方式,便可以构造一个神经网络(如图3所示)。
本发明实施例中将拼接好的图像输入至网络中,其中编码部分网络主要通过卷积和池化层提取图像的特征。网络通过有标记大规模样本的训练,调整网络参数使得编码网络准确的语义特征和非语义特征。编码网络通过两次卷积提取特征之后,通过池化进行下采样。通过级联四个两层卷积加一层池化的结构使得编码网络顶层的神经元的感受野能够覆盖本发明示例中的不同尺度的语义元素。
解码网络是与编码网络对称的结构,其中编码网络的池化层改为上采样层。在解码部分中经过四次上采样,将编码抽取的特征放大到原图尺寸,从而实现像素语义分类。上采样是通过反卷积实现的,这种操作能够得到输入数据的大部分信息,但仍会部分信息的丢失,因此我们引入了底层的特征来补充解码过程中丢失的细节。这些底层特征主要来编码网络中不同尺度的卷积层,在同一个尺度上编码网络卷积层提取的特征正好可以与反卷积合并生成更准确度的特征图。网络训练主要采用交叉熵来来衡量网络的预测值与实际值的差异,交叉熵公式如下:
其中y为图像元素的标记值,即图像的一个像素是语义元素还是非语义元素,一般用1表示语义元素,0表示非语义元素;n为图像的像素总数,x为输入,a为神经元的输出a=σ(z),z=∑jwjxj+b,它可以克服网络权值更新过慢的问题。网络模型训练完成之后,在本发明示例实际使用时,网络针对输入图像的每一个像素都进行预测,输出每个像素对应的属性值为0或是1,标记为1的图像元素的连通块即为有意义的语义图像结构,至此实现了图像的语义分割。将车载终端拼接得到的俯视拼接图输入至上述训练好的神经网络模型,基于神经网络模型的识别结果,即可识别出俯视拼接图中的图像语义特征。相较于传统的图像分割技术,通过深度学习的方法从俯视拼接图中提取图像语义特征,可以提高图像语义特征的识别准确率。采用Encoder-Decoder模型用于俯视拼接图中提取图像语义特征,以及随后的处理是本发明的创新点之一。
将车载终端拼接得到的俯视拼接图输入至上述训练好的神经网络模型,基于神经网络模型的识别结果,即可识别出俯视拼接图中的图像语义特征。相较于传统的图像分割技术,通过深度学习的方法从俯视拼接图中提取图像语义特征,可以提高图像语义特征的识别准确率。
步骤3、基于所述俯视感知图进行定位。
本发明实施例中,所述基于所述俯视感知图进行定位,包括:
步骤31、获取初始位姿。
本发明实施例中,所述获取初始位姿的方法,包括使用惯性导航测量单元、轮速计等外部测量装置获得的位姿初始值。
步骤32、基于所述俯视感知图计算位姿变化,即k时刻位姿。
本发明实施例中,所述计算时刻位姿的方法,通过非线性优化方法解决,将位姿求解转换为状态估计问题。
在定位的过程中,需要估计的状态变量是k时刻的位姿,即ξk=(x,y,θ),上式中(x,y)表示载体在一个二维平面的中心,而θ表示载体的航向角。状态估计,就是在观测的基础上估计状态变量的概率分布P(ξ|z),其中z宽泛的表示观测,即要解决一个在给定观测的情况下,计算位姿状态变量的最优解。
根据贝叶斯法则,具体阐述如下:
上式(1)中,等号左侧为后验概率,等号右侧的P(z|x)为似然。通过贝叶斯法则,将最大化P(ξ|z)转换成了最大化P(z|ξ),也就是将求解最优后验概率的问题转化成了求解最优似然概率的问题。这是本发明的创新之一。
在高斯分布的假设下,最大似然能有比较简单的形式,也是在状态估计中比较常用的方式。假设对于某一次观测的定义如下:
zk,j=h(yj,ξk)+vk,j (2)
上述式(2)当中zk,j表示在位姿ξk时候对目标物yj的观测,vk,j表示此次观测的观测噪声,h(yj,ξk)表示在位姿ξk时候对目标物yj的观测方程。
假设噪声项vk,j~N(0,Qk,j),其中N(0,Qk,j)表示均值为0,方差为Qk,j的高斯分布,那么观测数据的条件概率为:
P(zj,k|xk,yj)=N(h(yj,xk),Qk,j) (3)
在一些实施例中,给出高斯分布。为了计算使它最大化的xk,yj,在一些实施例中使用最小化负对数的方式来对一个高斯分布求一个最大似然。
考虑任意高斯分布x~N(μ,Σ),则它的概率密度函数为:
对其取负对数,则为:
对于P(x)取最大化等于对-ln(P(x))取最小化,而让-ln(P(x))最小则是让x最小,也就是状态估计中的x-μ最小,相当于求:
定义误差e如下:
e=ξk-h(xk,yj) (7)
于是将位姿最优估计问题转化为最小化误差e的问题。
要解决前述最优化问题,需要利用步骤1中所述的地图构建方法获取的环境地图,即最小化当前观测值与其在环境地图上观测值两者之间的差异(如图4所示)。直观上讲,就是让两者观测重合。根据对观测值的定义不同,可以对误差e进行不同的定义。
本发明实施方式中的所述步骤2所述语义标注,可以分为两类。其中,车道线,车位线,箭头,人行道等一般标志物,分为一类;多条车位线的交叉点,定义为车位点,分为另一类。
首先,定义拼接图像的语义灰度图像为对所述步骤3中所述的俯视感知图像进行高斯滤波后获得的灰度图像。经过高斯滤波后,原先体现在俯视感知图像中的阶梯分布将转化为平滑的梯度。
对于前文所述第一类标志物,采用语义灰度图像作为当前观测,计算这一类标志物的观测误差。采用语义灰度作为观测,其优势在于:
i.语义灰度的来自于对于拼接图的分割,对于图像层面的变化(光度,模糊等)的鲁棒性更高。
ii.语义灰度的误差来自于语义分割,不同的分割类别可以被识别出,从而加速优化收敛的速度。而通常采用的图像灰度误差即使针对两个毫无意义的物体像素也会计算出一个看似合理的误差。
iii.语义灰度是在基于对感知图做高斯模糊的基础上计算的,无论在做高斯模糊时高斯核大小如何,一个二值的突变波形都会变成渐变的平滑波形,每个值有对应的位置,也就是说高斯模糊后的语义灰度包含其在车道线(举例,在车位线,箭头等其他分割时一致的)某个位置的相对信息。
采用语义灰度后,对第一类标志物的误差计算式为:
在上式(8)中IMap(pw)表示在地图中取世界坐标pw的观测,Ik(p)表示取k时刻p点的观测。
对于第二类标志物,即车位点,直接求取欧式距离作为误差:
通过上述计算以及对误差的修正,能够保证算法鲁棒性的同时能够有效提升定位精度,提供精准的位姿状态。
实施例二
本发明实施例公开的一种车载终端的结构示意图。车载终端包括:
拼接子单元,用于获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图。
定位子单元,用于基于所述俯视感知图进行定位。
本发明实施例中,所述定位子单元包括:
初始子单元,用于获取初始位姿。
本发明实施例中,所述初始子单元,包括使用惯性导航测量单元、轮速计等外部测量装置获得的位姿初始值。
计算子单元,用于基于所述俯视感知图计算位姿变化,即k时刻位姿。
本发明实施例中,所述计算子单元,通过非线性优化方法解决,将位姿求解转换为状态估计问题。
在本发明实施例中,如没有特别申明,其采用的部件与实施例一中采用的部件及其功能相同。
在定位的过程中,需要估计的状态变量是k时刻的位姿,即ξk=(x,y,θ),上式中(x,y)表示载体在一个二维平面的中心,而θ表示载体的航向角。状态估计,就是在观测的基础上估计状态变量的概率分布P(ξ|z),其中z宽泛的表示观测,即要解决一个在给定观测的情况下,计算位姿状态变量的最优解。具体的位姿状态变量的最优解计算过程与实施例一中的相同。
本发明实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一的基于俯视感知图的计算位姿变化方法。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于俯视感知图的计算位姿变化方法及车载终端进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种计算位姿变化方法,其特征在于:所述方法包括步骤:
1)获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图;
2)识别所述俯视拼接图中的图像语义特征,以得到俯视感知图;
3)基于所述俯视感知图进行定位;
所述步骤3)基于所述俯视感知图进行定位包括步骤:
31)获取初始位姿;
32)基于所述俯视感知图计算位姿变化。
2.根据权利要求1所述的计算位姿变化方法,其特征在于:在所述步骤2)中,所述图像语义特征可以为车道线、停车库位线、库位点、斑马线、车道箭头等的一种或多种。
3.根据权利要求1或2所述的基于俯视感知图的计算位姿变化方法,其特征在于:所述步骤32)中,k时刻的位姿为:ξk=(x,y,θ),该式中(x,y)表示载体在一个二维平面的中心,而θ表示所述载体的航向角。
4.根据权利要求3所述的计算位姿变化方法,其特征在于:所述步骤32)中,将计算所述位姿变化中最优估计问题转化为最小化误差e,具体为:
e=ξk-h(xk,yj);
ξk为k时刻的位姿,h(xk,yj)表示在k时刻对目标物yj的观测方程。
5.一种基于俯视感知图的计算位姿变化方法,其特征在于:所述方法包括步骤:
1)获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图;
2)识别所述俯视拼接图中的图像语义特征,以得到俯视感知图;
3)基于所述俯视感知图进行定位;
所述步骤3)基于所述俯视感知图进行定位包括步骤:
31)获取初始位姿;其中所述获取初始位姿包括将所述图像语义特征进行分类:其中,车道线,车位线,箭头,人行道等一般标志物分为一类;多条车位线的交叉点,定义为车位点,分为另一类;
32)基于所述俯视感知图计算位姿变化。
6.一种车载终端,包括:
拼接子单元,用于获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图;
识别子单元,用于识别所述俯视拼接图中的图像语义特征,以得到俯视感知图;
定位子单元,用于基于所述俯视感知图进行定位;
所述定位子单元包括:
初始子单元,用于获取初始位姿;
计算子单元,用于基于所述俯视感知图计算位姿变化。
7.根据权利要求5所述的车载终端,其特征在于:
所述识别子单元中的所述图像语义特征可以为车道线、停车库位线、库位点、斑马线、车道箭头等的一种或多种。
8.根据权利要求5或6所述的车载终端,其特征在于:
所述计算子单元中,k时刻的位姿为:ξk=(x,y,θ),上式中(x,y)表示载体在一个二维平面的中心,而θ表示载体的航向角。
9.根据权利要求7所述的车载终端,其特征在于:所述计算子单元中,将位姿最优估计问题转化为最小化误差e,具体为:
e=ξk-h(xk,yj);
ξk为k时刻的位姿,h(xk,yj)表示在k时刻对目标物yj的观测方程。
10.一种基于俯视拼接图的车载终端,包括:
拼接子单元,用于获取多个图像采集装置在同一时刻拍摄到的多张目标图像,对多张所述目标图像进行拼接,以得到俯视拼接图;
识别子单元,用于识别所述俯视拼接图中的图像语义特征,以得到俯视感知图;
定位子单元,用于基于所述俯视感知图进行定位;
所述定位子单元包括初始子单元和计算子单元:
所述初始子单元,用于获取初始位姿;其中所述初始子单元对所述图像语义特征分类:其中,车道线,车位线,箭头,人行道等一般标志物分为一类;多条车位线的交叉点,定义为车位点,分为另一类;
所述计算子单元,用于基于所述俯视感知图计算位姿变化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811468093.5A CN111256693B (zh) | 2018-12-03 | 2018-12-03 | 一种计算位姿变化方法及车载终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811468093.5A CN111256693B (zh) | 2018-12-03 | 2018-12-03 | 一种计算位姿变化方法及车载终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111256693A true CN111256693A (zh) | 2020-06-09 |
CN111256693B CN111256693B (zh) | 2022-05-13 |
Family
ID=70950652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811468093.5A Active CN111256693B (zh) | 2018-12-03 | 2018-12-03 | 一种计算位姿变化方法及车载终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111256693B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112381726A (zh) * | 2020-10-29 | 2021-02-19 | 浙江吉利控股集团有限公司 | 一种地下车库全局图的构建方法及装置 |
US20210319584A1 (en) * | 2020-04-09 | 2021-10-14 | Tusimple, Inc. | Camera pose estimation techniques |
US11740093B2 (en) | 2018-02-14 | 2023-08-29 | Tusimple, Inc. | Lane marking localization and fusion |
US11852498B2 (en) | 2018-02-14 | 2023-12-26 | Tusimple, Inc. | Lane marking localization |
US11874130B2 (en) | 2017-08-22 | 2024-01-16 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101750017A (zh) * | 2010-01-18 | 2010-06-23 | 战强 | 大视场中多移动目标位姿的视觉检测方法 |
CN103600707A (zh) * | 2013-11-06 | 2014-02-26 | 同济大学 | 一种智能泊车系统的泊车位检测装置及方法 |
CN103940434A (zh) * | 2014-04-01 | 2014-07-23 | 西安交通大学 | 基于单目视觉和惯性导航单元的实时车道线检测系统 |
CN105844624A (zh) * | 2016-03-18 | 2016-08-10 | 上海欧菲智能车联科技有限公司 | 动态标定系统、动态标定系统中的联合优化方法及装置 |
DE102016215601A1 (de) * | 2015-11-17 | 2017-05-18 | Mitsubishi Electric Corporation | Fahrzeuglenksteuervorrichtung |
CN107833236A (zh) * | 2017-10-31 | 2018-03-23 | 中国科学院电子学研究所 | 一种动态环境下结合语义的视觉定位系统和方法 |
CN107967473A (zh) * | 2016-10-20 | 2018-04-27 | 南京万云信息技术有限公司 | 基于图文识别和语义的机器人自主定位和导航 |
US20180127027A1 (en) * | 2015-04-15 | 2018-05-10 | Sean Nicholas BRENNAN | Vehicle guidance system |
WO2018104563A2 (en) * | 2016-12-09 | 2018-06-14 | Tomtom Global Content B.V. | Method and system for video-based positioning and mapping |
CN108345875A (zh) * | 2018-04-08 | 2018-07-31 | 北京初速度科技有限公司 | 可行驶区域检测模型训练方法、检测方法和装置 |
CN108528441A (zh) * | 2018-03-27 | 2018-09-14 | 广州汽车集团股份有限公司 | 泊车方法及装置 |
CN108765496A (zh) * | 2018-05-24 | 2018-11-06 | 河海大学常州校区 | 一种多视点汽车环视辅助驾驶系统及方法 |
CN108749813A (zh) * | 2018-07-25 | 2018-11-06 | 上海为森车载传感技术有限公司 | 一种自动泊车系统及泊车方法 |
CN108802785A (zh) * | 2018-08-24 | 2018-11-13 | 清华大学 | 基于高精度矢量地图和单目视觉传感器的车辆自定位方法 |
-
2018
- 2018-12-03 CN CN201811468093.5A patent/CN111256693B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101750017A (zh) * | 2010-01-18 | 2010-06-23 | 战强 | 大视场中多移动目标位姿的视觉检测方法 |
CN103600707A (zh) * | 2013-11-06 | 2014-02-26 | 同济大学 | 一种智能泊车系统的泊车位检测装置及方法 |
CN103940434A (zh) * | 2014-04-01 | 2014-07-23 | 西安交通大学 | 基于单目视觉和惯性导航单元的实时车道线检测系统 |
US20180127027A1 (en) * | 2015-04-15 | 2018-05-10 | Sean Nicholas BRENNAN | Vehicle guidance system |
DE102016215601A1 (de) * | 2015-11-17 | 2017-05-18 | Mitsubishi Electric Corporation | Fahrzeuglenksteuervorrichtung |
CN105844624A (zh) * | 2016-03-18 | 2016-08-10 | 上海欧菲智能车联科技有限公司 | 动态标定系统、动态标定系统中的联合优化方法及装置 |
CN107967473A (zh) * | 2016-10-20 | 2018-04-27 | 南京万云信息技术有限公司 | 基于图文识别和语义的机器人自主定位和导航 |
WO2018104563A2 (en) * | 2016-12-09 | 2018-06-14 | Tomtom Global Content B.V. | Method and system for video-based positioning and mapping |
CN107833236A (zh) * | 2017-10-31 | 2018-03-23 | 中国科学院电子学研究所 | 一种动态环境下结合语义的视觉定位系统和方法 |
CN108528441A (zh) * | 2018-03-27 | 2018-09-14 | 广州汽车集团股份有限公司 | 泊车方法及装置 |
CN108345875A (zh) * | 2018-04-08 | 2018-07-31 | 北京初速度科技有限公司 | 可行驶区域检测模型训练方法、检测方法和装置 |
CN108765496A (zh) * | 2018-05-24 | 2018-11-06 | 河海大学常州校区 | 一种多视点汽车环视辅助驾驶系统及方法 |
CN108749813A (zh) * | 2018-07-25 | 2018-11-06 | 上海为森车载传感技术有限公司 | 一种自动泊车系统及泊车方法 |
CN108802785A (zh) * | 2018-08-24 | 2018-11-13 | 清华大学 | 基于高精度矢量地图和单目视觉传感器的车辆自定位方法 |
Non-Patent Citations (3)
Title |
---|
L LI等: "Automatic Parking Slot Detection Based on Around View Monitor (AVM) Systems", 《2017 9TH INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS AND SIGNAL PROCESSING (WCSP)》 * |
李承等: "基于GPS与图像融合的智能车辆高精度定位算法", 《交通运输系统工程与信息》 * |
白永等: "全景环视辅助泊车系统的研究", 《汽车零部件》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11874130B2 (en) | 2017-08-22 | 2024-01-16 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
US11740093B2 (en) | 2018-02-14 | 2023-08-29 | Tusimple, Inc. | Lane marking localization and fusion |
US11852498B2 (en) | 2018-02-14 | 2023-12-26 | Tusimple, Inc. | Lane marking localization |
US20210319584A1 (en) * | 2020-04-09 | 2021-10-14 | Tusimple, Inc. | Camera pose estimation techniques |
US11810322B2 (en) * | 2020-04-09 | 2023-11-07 | Tusimple, Inc. | Camera pose estimation techniques |
CN112381726A (zh) * | 2020-10-29 | 2021-02-19 | 浙江吉利控股集团有限公司 | 一种地下车库全局图的构建方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111256693B (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111256693B (zh) | 一种计算位姿变化方法及车载终端 | |
CN110136199B (zh) | 一种基于摄像头的车辆定位、建图的方法和装置 | |
EP4152204A1 (en) | Lane line detection method, and related apparatus | |
Kim et al. | Robust lane detection based on convolutional neural network and random sample consensus | |
US9286524B1 (en) | Multi-task deep convolutional neural networks for efficient and robust traffic lane detection | |
CN111169468B (zh) | 一种自动泊车的系统及方法 | |
US20180164812A1 (en) | Apparatus and method for generating training data to train neural network determining information associated with road included in image | |
CN110136058B (zh) | 一种基于俯视拼接图的建图方法及车载终端 | |
CN112740225B (zh) | 一种路面要素确定方法及装置 | |
CN108428248B (zh) | 车窗定位方法、系统、设备及存储介质 | |
CN113095152A (zh) | 一种基于回归的车道线检测方法及系统 | |
CN112654998B (zh) | 一种车道线检测方法和装置 | |
CN111062405A (zh) | 训练图像识别模型的方法和装置以及图像识别方法和装置 | |
CN111931683A (zh) | 图像识别方法、装置及计算机可读存储介质 | |
de Paula Veronese et al. | Evaluating the limits of a LiDAR for an autonomous driving localization | |
CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
CN114802261A (zh) | 泊车控制方法、障碍物识别模型训练方法、装置 | |
CN110136049B (zh) | 一种基于环视图像与轮速计融合的定位方法及车载终端 | |
CN111089598A (zh) | 一种基于icciu的车道级车载实时地图匹配方法 | |
CN114048536A (zh) | 一种基于多任务神经网络的道路结构预测与目标检测方法 | |
CN111210411B (zh) | 图像中灭点的检测方法、检测模型训练方法和电子设备 | |
CN109657556B (zh) | 道路及其周边地物的分类方法及系统 | |
CN113591543B (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
CN112381726B (zh) | 一种地下车库全局图的构建方法及装置 | |
CN115131762B (zh) | 一种车辆泊车方法、系统及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220303 Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd. Address before: Room 28, 4 / F, block a, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing 100089 Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |