CN111435537A - 模型训练方法、装置及基于拼接图的位姿优化方法、装置 - Google Patents

模型训练方法、装置及基于拼接图的位姿优化方法、装置 Download PDF

Info

Publication number
CN111435537A
CN111435537A CN201910029456.3A CN201910029456A CN111435537A CN 111435537 A CN111435537 A CN 111435537A CN 201910029456 A CN201910029456 A CN 201910029456A CN 111435537 A CN111435537 A CN 111435537A
Authority
CN
China
Prior art keywords
map
observation
pose
feature
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910029456.3A
Other languages
English (en)
Other versions
CN111435537B (zh
Inventor
姜秀宝
谢国富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Momenta Technology Co Ltd
Original Assignee
Beijing Chusudu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chusudu Technology Co ltd filed Critical Beijing Chusudu Technology Co ltd
Priority to CN201910029456.3A priority Critical patent/CN111435537B/zh
Publication of CN111435537A publication Critical patent/CN111435537A/zh
Application granted granted Critical
Publication of CN111435537B publication Critical patent/CN111435537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种模型训练方法、装置及基于拼接图的位姿优化方法、装置,其中位姿优化方法包括:根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。

Description

模型训练方法、装置及基于拼接图的位姿优化方法、装置
技术领域
本发明涉及智能驾驶领域,具体而言,涉及一种模型训练方法、装置及基于拼接图的位姿优化方法、装置。
背景技术
在地下地库的定位方案中,基于拼接图和高精语义地图匹配的定位能够提供全局而精确的位置信息,是定位算法的核心模块。
目前为了计算拼接图和高精语义地图的匹配程度定义了一种计算语义误差的方式:
Figure BDA0001943727290000011
其中Imap,Istitch分别为语义地图和拼接语义图对应的灰度图像,p为在拼接语义图中均匀采样的像素坐标,Twp为p在语义地图中的像素坐标,记当前帧分割图上采样得到的灰度值构成的向量为观测Z。
在实现本说明书实施例的过程中,发明人发现,由于地图中的车道线的分布是非常稀疏的,观测Z中包含了大量在位姿发生变化时灰度值不会发生变化的分量,导致运算量较大并且结果的精确度较低。图1a为拼接图及均匀采样的像素位置(采样密度仅为示意)灰度图;图1b为图1a对应的语义地图上对应的像素点位置灰度图。定位算法通过最小化语义误差来优化当前的位姿xpose=[x,y,θ],但如图1a中正方形框采样点所示,即语义误差所定义的残差中相应的分量对于小范围内的位姿变化的梯度接近0,而长方形框(包括水平方向的和竖直方向的)内的采样点的灰度则对位姿发生的变化更为敏感。
发明内容
本发明提供一种模型训练方法、装置及基于拼接图的位姿优化方法、装置,用以克服现有技术中存在的至少一个问题。
根据本说明书实施例的第一方面,提供了一种基于拼接图的位姿优化方法,包括以下步骤:
根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;
基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。
可选的,所述基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化包括:
设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
Figure BDA0001943727290000021
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图,
Figure BDA0001943727290000022
为从语义地图中提取Fi的函数,
Figure BDA0001943727290000023
为从拼接语义图中提取Fi的函数;
根据所述语义误差e对当前位姿进行优化。
可选的,所述位姿变化特征提取模型通过以下方式获取:
根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure BDA0001943727290000031
为第i个子图观测特征的第j维分量;
通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure BDA0001943727290000032
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure BDA0001943727290000033
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;
根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
可选的,所述观测特征F通过以下方式获得:
将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
根据本说明书实施例的第二方面,提供了一种位姿变化特征提取模型的训练方法,包括以下步骤:
根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure BDA0001943727290000041
为第i个子图观测特征的第j维分量;
通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure BDA0001943727290000042
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure BDA0001943727290000043
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node-samples;
根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
根据本说明书实施例的第三方面,提供了一种基于拼接图的位姿优化装置,包括:
观测特征提取模块,被配置为根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;
位姿优化模块,被配置为基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。
可选的,所述位姿优化模块包括:
误差计算单元,被配置为设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
Figure BDA0001943727290000051
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图,
Figure BDA0001943727290000052
为从语义地图中提取Fi的函数,
Figure BDA0001943727290000053
为从拼接语义图中提取Fi的函数;
优化单元,被配置为根据所述语义误差e对当前位姿进行优化。
可选的,上述位姿优化装置还包括:
第一子地图提取模块,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第一样本集获取模块,被配置为从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure BDA0001943727290000061
为第i个子图观测特征的第j维分量;
第一分类树模块,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure BDA0001943727290000062
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure BDA0001943727290000063
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第一特征选取模块,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples:
第一模型获取模块,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
可选的,所述观测特征提取模块包括:
观测特征合并单元,被配置为将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
根据本说明书实施例的第四方面,还提供一种位姿变化特征提取模型的训练装置,包括:
第二子地图提取模块,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第二样本集获取模块,被配置为从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure BDA0001943727290000071
为第i个子图观测特征的第j维分量;
第二分类树模块,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure BDA0001943727290000072
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure BDA0001943727290000081
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第二特征选取模块,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;
第二模型获取模块,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
本说明书实施例根据位置所在的地图区域选取观测中与位姿变化强相关的观测特征,进而在根据与位姿变化强相关的观测特征计算语义误差时,能够排除掉观测中的冗余信息,降低观测/语义误差的维度,大幅减少非线性优化中与雅可比矩阵相关的运算量,提高运算的效率。同时,所选取的观测特征对位姿的微小变化更为敏感,增加了非线性优化在局部区域的收敛性能,提高位姿优化的精确度。
与现有技术相比,本说明书实施例的发明点至少包括:
1、根据当前位置所在的地图区域自适应地选取观测中与位姿变化强相关的观测特征,进而在根据与位姿变化强相关的观测特征计算语义误差时,能够排除掉观测中的冗余信息,降低观测/语义误差的维度,大幅减少非线性优化中与雅可比矩阵相关的运算量,提高运算的效率,是本发明实施例的发明点之一。
2、利用分类树对选取观测中与位姿变化强相关的观测特征的模型进行训练,使得在线定位时根据当前位置的观测提取观测特征,获取在地图不同区域自适应的语义误差,是本发明实施例的发明点之一。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为拼接图及均匀采样的像素位置(采样密度仅为示意)灰度图;
图1b为图1a对应的语义地图上对应的像素点位置灰度图;
图2为本发明一个实施例的位姿变化特征提取模型训练方法流程图;
图3为本发明一个实施例的位姿优化方法流程图;
图4为本发明另一实施例的位姿优化方法流程图;
图5为本发明一个实施例的位姿变化特征提取模型训练装置模块图;
图6为本发明一个实施例的位姿优化装置模块图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本说明书实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本说明书实施例公开了一种模型训练方法、装置及基于拼接图的位姿优化方法、装置。以下分别进行详细说明。
图2为本发明一个实施例的位姿变化特征提取模型训练方法流程图;如图2所示,该模型训练方法包括以下步骤:
S210,根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
S220,从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure BDA0001943727290000101
为第i个子图观测特征的第j维分量;
S230,通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure BDA0001943727290000102
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大(这是本发明实施例的发明点之一):
Figure BDA0001943727290000111
其中L、R为分类树的左、右子节点,信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
S240,对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min-node-samples;
S250,根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
上述实施例的模型训练方法根据位置所在的地图区域选取观测中与位姿变化强相关的观测特征,进而在根据与位姿变化强相关的观测特征计算语义误差时,能够排除掉观测中的冗余信息,降低观测/语义误差的维度,大幅减少非线性优化中与雅可比矩阵相关的运算量,提高运算的效率。同时,所选取的观测特征对位姿的微小变化更为敏感,增加了非线性优化在局部区域的收敛性能,提高位姿优化的精确度。
图3为本说明书一实施例的基于拼接图的位姿优化方法流程图;如图3所示,该位姿优化方法包括以下步骤:
S310,根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量。
一种实现方式中,所述位姿变化特征提取模型通过以下方式获取:
根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure BDA0001943727290000121
为第i个子图观测特征的第j维分量;
通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure BDA0001943727290000122
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure BDA0001943727290000123
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node-samples;
根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
一种实现方式中,所述观测特征F通过以下方式获得:
将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
S320,基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。
一种实现方式中,所述基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化包括:
设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
Figure BDA0001943727290000131
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图,
Figure BDA0001943727290000132
为从语义地图中提取Fi的函数,
Figure BDA0001943727290000133
为从拼接语义图中提取Fi的函数;
根据所述语义误差e对当前位姿进行优化。
上述实施例的位姿优化方法根据位置所在的地图区域选取观测中与位姿变化强相关的观测特征,进而在根据与位姿变化强相关的观测特征计算语义误差时,能够排除掉观测中的冗余信息,降低观测/语义误差的维度,大幅减少非线性优化中与雅可比矩阵相关的运算量,提高运算的效率。同时,所选取的观测特征对位姿的微小变化更为敏感,增加了非线性优化在局部区域的收敛性能,提高位姿优化的精确度。
图4示出了根据本说明书另一实施例的位姿优化方法流程图;如图所示,该位姿优化方法包括:
S410,提取自适应的观测特征
在语义地图的一个局部区域{xcenter,yceter,r},经测试r的取值范围在30~60像素范围训练算法的收敛效果较好,随机采样大量与拼接图分辨率相同的子地图,对每个子地图提取观测构成训练数据:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中x1,y1为子图中心相对于xcenter,ycenter的坐标,记
Figure BDA0001943727290000141
为第i个观测的第j维分量。
使用分类树提取特征,定义分类树上的二分割函数(binary split function):
Figure BDA0001943727290000142
其中m,n为选取的观测维度,a∈(0,1)用来控制
Figure BDA0001943727290000143
的相对大小。从分类树的根节点开始,随机选取δ=(m,n,a,b)作为候选特征,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益(information gain)最大:
Figure BDA0001943727290000144
SL,SR为以当前分割函数对S进行分割得到的左右子节点中的样本集。
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息xi,yi的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|
对当前节点选取信息增益最大的候选特征δ,将数据S相应地分入左右节点,再对左右子节点以同样的方式选取特征,终止条件为|Sd|>min_node_samples(最小节点样本数,可以根据经验设置),这是本发明实施例的发明点之一。
将构造好的分类树中的所有节点上的二分割函数去二值化后构造成观测特征:
Figure BDA0001943727290000151
合并起来构成F={δ1,δ2....,δW},W即为最终选取的观测特征的维度,W远小于输入的观测维度。
S420,定位时根据当前位置选取观测特征
在计算定位时,根据当前的初始位姿xpose检索到当前所在的语义地图的局部区域,读取该局部区域对应的观测特征F,定义当前的语义误差为:
Figure BDA0001943727290000152
根据语义误差优化当前位姿。
由于F对z进行的是线性变换,因此
Figure BDA0001943727290000159
对xpose的偏导数可以用图像梯度的线性变换计算,记第i个观测特征对应两个选取的观测
Figure BDA0001943727290000153
的地图图像的水平和垂直方向的灰度梯度为
Figure BDA0001943727290000154
Figure BDA0001943727290000155
相对于拼接图图像中心的像素坐标偏移
Figure BDA0001943727290000156
设当前位姿为xpose=[x0,y0,θ],则语义误差对应雅可比矩阵为:
Figure BDA0001943727290000157
Figure BDA0001943727290000158
Figure BDA0001943727290000161
Figure BDA0001943727290000162
其中
Figure BDA0001943727290000163
Figure BDA0001943727290000164
j=1,2
从而使用常用的非线性优化算法即可优化当前的位姿。
与上述方法实施例相适应,图5示出了根据本说明书一实施例的基于拼接图的位姿优化装置模块图;如图5所示,该位姿优化装置500包括:
观测特征提取模块510,被配置为根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;
位姿优化模块520,被配置为基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。
可选的,所述位姿优化模块包括:
误差计算单元,被配置为设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
Figure BDA0001943727290000165
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图;
优化单元,被配置为根据所述语义误差e对当前位姿进行优化。
可选的,上述位姿优化装置还包括:
第一子地图提取模块,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第一样本集获取模块,被配置为从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure BDA0001943727290000171
为第i个子图观测特征的第j维分量;
第一分类树模块,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure BDA0001943727290000172
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure BDA0001943727290000173
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第一特征选取模块,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples:
第一模型获取模块,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
可选的,所述观测特征提取模块包括:
观测特征合并单元,被配置为将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
与上述方法实施例相适应,图6示出了根据本说明书一实施例的位姿变化特征提取模型训练装置模块图;如图6所示,该模型训练装置600包括:
第二子地图提取模块610,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第二样本集获取模块620,被配置为从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure BDA0001943727290000181
为第i个子图观测特征的第j维分量;
第二分类树模块630,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure BDA0001943727290000182
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure BDA0001943727290000191
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第二特征选取模块640,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min-node-samples;
第二模型获取模块650,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
本说明书实施例根据位置所在的地图区域选取观测中与位姿变化强相关的观测特征,进而在根据与位姿变化强相关的观测特征计算语义误差时,能够排除掉观测中的冗余信息,降低观测/语义误差的维度,大幅减少非线性优化中与雅可比矩阵相关的运算量,提高运算的效率。同时,所选取的观测特征对位姿的微小变化更为敏感,增加了非线性优化在局部区域的收敛性能,提高位姿优化的精确度。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于拼接图的位姿优化方法,其特征在于,包括以下步骤:
根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;
基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。
2.根据权利要求1所述的位姿优化方法,其特征在于,所述基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化包括:
设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
Figure FDA0001943727280000011
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图,
Figure FDA0001943727280000012
为从语义地图中提取Fi的函数,
Figure FDA0001943727280000013
为从拼接语义图中提取Fi的函数;
根据所述语义误差e对当前位姿进行优化。
3.根据权利要求1-2中任一项述的位姿优化方法,其特征在于,所述位姿变化特征提取模型通过以下方式获取:
根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure FDA0001943727280000023
为第i个子图观测特征的第j维分量;
通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure FDA0001943727280000021
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure FDA0001943727280000022
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;
根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
4.根据权利要求1-3中任一项述的位姿优化方法,其特征在于,所述观测特征F通过以下方式获得:
将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
5.一种位姿变化特征提取模型训练方法,其特征在于,包括以下步骤:
根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure FDA0001943727280000033
为第i个子图观测特征的第j维分量;
通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure FDA0001943727280000031
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure FDA0001943727280000032
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;
根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
6.一种基于拼接图的位姿优化装置,其特征在于,包括:
观测特征提取模块,被配置为根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;
位姿优化模块,被配置为基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。
7.根据权利要求6所述的位姿优化装置,其特征在于,所述位姿优化模块包括:
误差计算单元,被配置为设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
Figure FDA0001943727280000041
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图;
优化单元,被配置为根据所述语义误差e对当前位姿进行优化。
8.根据权利要求6-7中任一项述的位姿优化装置,其特征在于,还包括:
第一子地图提取模块,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第一样本集获取模块,被配置为从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure FDA0001943727280000053
为第i个子图观测特征的第j维分量;
第一分类树模块,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure FDA0001943727280000051
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure FDA0001943727280000052
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第一特征选取模块,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;
第一模型获取模块,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
9.根据权利要求6-8中任一项述的位姿优化装置,其特征在于,所述观测特征提取模块包括:
观测特征合并单元,被配置为将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
10.一种位姿变化特征提取模型训练装置,其特征在于,包括:
第二子地图提取模块,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第二样本集获取模块,被配置为从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记
Figure FDA0001943727280000063
为第i个子图观测特征的第j维分量;
第二分类树模块,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
Figure FDA0001943727280000061
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
Figure FDA0001943727280000062
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第二特征选取模块,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;
第二模型获取模块,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
CN201910029456.3A 2019-01-13 2019-01-13 模型训练方法、装置及基于拼接图的位姿优化方法、装置 Active CN111435537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910029456.3A CN111435537B (zh) 2019-01-13 2019-01-13 模型训练方法、装置及基于拼接图的位姿优化方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910029456.3A CN111435537B (zh) 2019-01-13 2019-01-13 模型训练方法、装置及基于拼接图的位姿优化方法、装置

Publications (2)

Publication Number Publication Date
CN111435537A true CN111435537A (zh) 2020-07-21
CN111435537B CN111435537B (zh) 2024-01-23

Family

ID=71580917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910029456.3A Active CN111435537B (zh) 2019-01-13 2019-01-13 模型训练方法、装置及基于拼接图的位姿优化方法、装置

Country Status (1)

Country Link
CN (1) CN111435537B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114440860A (zh) * 2022-01-26 2022-05-06 亿咖通(湖北)技术有限公司 定位方法、装置、计算机存储介质及处理器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19509277C1 (de) * 1995-02-03 1996-06-20 Carmesin Hans Otto Dr Verfahren zur Auswertung von Sensordaten, um präzise Ausgabesignale, insbesondere Steuersignale zur Bewegungsbestimmung von Automaten, zu erzeugen
CN102880873A (zh) * 2012-08-31 2013-01-16 公安部第三研究所 基于图像分割和语义提取实现人员行为识别的系统及方法
CN104596533A (zh) * 2015-01-07 2015-05-06 上海交通大学 基于地图匹配的自动导引车及其导引方法
US20160021494A1 (en) * 2014-07-18 2016-01-21 Lei Yang Systems and methods for adaptive multi-feature semantic location sensing
US20180188026A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
CN108345875A (zh) * 2018-04-08 2018-07-31 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置
US20180330504A1 (en) * 2017-05-14 2018-11-15 International Business Machines Corporation Systems and methods for determining a camera pose of an image
CN111435086A (zh) * 2019-01-13 2020-07-21 北京初速度科技有限公司 基于拼接图的导航方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19509277C1 (de) * 1995-02-03 1996-06-20 Carmesin Hans Otto Dr Verfahren zur Auswertung von Sensordaten, um präzise Ausgabesignale, insbesondere Steuersignale zur Bewegungsbestimmung von Automaten, zu erzeugen
CN102880873A (zh) * 2012-08-31 2013-01-16 公安部第三研究所 基于图像分割和语义提取实现人员行为识别的系统及方法
US20160021494A1 (en) * 2014-07-18 2016-01-21 Lei Yang Systems and methods for adaptive multi-feature semantic location sensing
CN104596533A (zh) * 2015-01-07 2015-05-06 上海交通大学 基于地图匹配的自动导引车及其导引方法
US20180188026A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
US20180330504A1 (en) * 2017-05-14 2018-11-15 International Business Machines Corporation Systems and methods for determining a camera pose of an image
CN108345875A (zh) * 2018-04-08 2018-07-31 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置
CN111435086A (zh) * 2019-01-13 2020-07-21 北京初速度科技有限公司 基于拼接图的导航方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
余杰: "基于ORB关键帧闭环检测算法的SLAM方法研究", pages 138 - 890 *
李建昆;骆云飞;邵杰;: "一种基于SIFT匹配的影像位姿信息优化方法", vol. 34, no. 05, pages 77 - 81 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114440860A (zh) * 2022-01-26 2022-05-06 亿咖通(湖北)技术有限公司 定位方法、装置、计算机存储介质及处理器

Also Published As

Publication number Publication date
CN111435537B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN110610166B (zh) 文本区域检测模型训练方法、装置、电子设备和存储介质
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN109960742B (zh) 局部信息的搜索方法及装置
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN113378686A (zh) 一种基于目标中心点估计的两阶段遥感目标检测方法
CN113223068A (zh) 一种基于深度全局特征的多模态图像配准方法及系统
CN112347970A (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN114820668A (zh) 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法
CN111914596A (zh) 车道线检测方法、装置、系统及存储介质
CN114067339A (zh) 图像识别方法及其装置、电子设备、计算机可读存储介质
CN111435086B (zh) 基于拼接图的导航方法和装置
CN116091706B (zh) 多模态遥感影像深度学习匹配的三维重建方法
CN111435537A (zh) 模型训练方法、装置及基于拼接图的位姿优化方法、装置
CN116071721A (zh) 一种基于Transformer的高精地图实时预测方法和系统
CN114511862B (zh) 表格识别方法、装置及电子设备
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN114943766A (zh) 重定位方法、装置、电子设备及计算机可读存储介质
CN110705695B (zh) 搜索模型结构的方法、装置、设备和存储介质
CN115063770B (zh) 车道线检测方法、模型训练方法、装置、设备及存储介质
CN117058226A (zh) 动态物体的识别方法、电子设备及移动机器人
CN115661577A (zh) 用于对象检测的方法、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220317

Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing

Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd.

Address before: Room 28, 4 / F, block a, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing 100089

Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant