CN111435537B - 模型训练方法、装置及基于拼接图的位姿优化方法、装置 - Google Patents

模型训练方法、装置及基于拼接图的位姿优化方法、装置 Download PDF

Info

Publication number
CN111435537B
CN111435537B CN201910029456.3A CN201910029456A CN111435537B CN 111435537 B CN111435537 B CN 111435537B CN 201910029456 A CN201910029456 A CN 201910029456A CN 111435537 B CN111435537 B CN 111435537B
Authority
CN
China
Prior art keywords
observation
sub
map
pose
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910029456.3A
Other languages
English (en)
Other versions
CN111435537A (zh
Inventor
姜秀宝
谢国富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Momenta Technology Co Ltd
Original Assignee
Beijing Momenta Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Momenta Technology Co Ltd filed Critical Beijing Momenta Technology Co Ltd
Priority to CN201910029456.3A priority Critical patent/CN111435537B/zh
Publication of CN111435537A publication Critical patent/CN111435537A/zh
Application granted granted Critical
Publication of CN111435537B publication Critical patent/CN111435537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Abstract

本发明公开一种模型训练方法、装置及基于拼接图的位姿优化方法、装置,其中位姿优化方法包括:根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。

Description

模型训练方法、装置及基于拼接图的位姿优化方法、装置
技术领域
本发明涉及智能驾驶领域,具体而言,涉及一种模型训练方法、装置及基于拼接图的位姿优化方法、装置。
背景技术
在地下地库的定位方案中,基于拼接图和高精语义地图匹配的定位能够提供全局而精确的位置信息,是定位算法的核心模块。
目前为了计算拼接图和高精语义地图的匹配程度定义了一种计算语义误差的方式:
其中Imap,Istitch分别为语义地图和拼接语义图对应的灰度图像,p为在拼接语义图中均匀采样的像素坐标,Twp为p在语义地图中的像素坐标,记当前帧分割图上采样得到的灰度值构成的向量为观测Z。
在实现本说明书实施例的过程中,发明人发现,由于地图中的车道线的分布是非常稀疏的,观测Z中包含了大量在位姿发生变化时灰度值不会发生变化的分量,导致运算量较大并且结果的精确度较低。图1a为拼接图及均匀采样的像素位置(采样密度仅为示意)灰度图;图1b为图1a对应的语义地图上对应的像素点位置灰度图。定位算法通过最小化语义误差来优化当前的位姿xpose=[x,y,θ],但如图1a中正方形框采样点所示,即语义误差所定义的残差中相应的分量对于小范围内的位姿变化的梯度接近0,而长方形框(包括水平方向的和竖直方向的)内的采样点的灰度则对位姿发生的变化更为敏感。
发明内容
本发明提供一种模型训练方法、装置及基于拼接图的位姿优化方法、装置,用以克服现有技术中存在的至少一个问题。
根据本说明书实施例的第一方面,提供了一种基于拼接图的位姿优化方法,包括以下步骤:
根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;
基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。
可选的,所述基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化包括:
设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图,为从语义地图中提取Fi的函数,/>为从拼接语义图中提取Fi的函数;
根据所述语义误差e对当前位姿进行优化。
可选的,所述位姿变化特征提取模型通过以下方式获取:
根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子图观测特征的第j维分量;
通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;
根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
可选的,所述观测特征F通过以下方式获得:
将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
根据本说明书实施例的第二方面,提供了一种位姿变化特征提取模型的训练方法,包括以下步骤:
根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子图观测特征的第j维分量;
通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node-samples;
根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
根据本说明书实施例的第三方面,提供了一种基于拼接图的位姿优化装置,包括:
观测特征提取模块,被配置为根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;
位姿优化模块,被配置为基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。
可选的,所述位姿优化模块包括:
误差计算单元,被配置为设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图,为从语义地图中提取Fi的函数,/>为从拼接语义图中提取Fi的函数;
优化单元,被配置为根据所述语义误差e对当前位姿进行优化。
可选的,上述位姿优化装置还包括:
第一子地图提取模块,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第一样本集获取模块,被配置为从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子图观测特征的第j维分量;
第一分类树模块,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第一特征选取模块,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples:
第一模型获取模块,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
可选的,所述观测特征提取模块包括:
观测特征合并单元,被配置为将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
根据本说明书实施例的第四方面,还提供一种位姿变化特征提取模型的训练装置,包括:
第二子地图提取模块,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第二样本集获取模块,被配置为从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子图观测特征的第j维分量;
第二分类树模块,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第二特征选取模块,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;
第二模型获取模块,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
本说明书实施例根据位置所在的地图区域选取观测中与位姿变化强相关的观测特征,进而在根据与位姿变化强相关的观测特征计算语义误差时,能够排除掉观测中的冗余信息,降低观测/语义误差的维度,大幅减少非线性优化中与雅可比矩阵相关的运算量,提高运算的效率。同时,所选取的观测特征对位姿的微小变化更为敏感,增加了非线性优化在局部区域的收敛性能,提高位姿优化的精确度。
与现有技术相比,本说明书实施例的发明点至少包括:
1、根据当前位置所在的地图区域自适应地选取观测中与位姿变化强相关的观测特征,进而在根据与位姿变化强相关的观测特征计算语义误差时,能够排除掉观测中的冗余信息,降低观测/语义误差的维度,大幅减少非线性优化中与雅可比矩阵相关的运算量,提高运算的效率,是本发明实施例的发明点之一。
2、利用分类树对选取观测中与位姿变化强相关的观测特征的模型进行训练,使得在线定位时根据当前位置的观测提取观测特征,获取在地图不同区域自适应的语义误差,是本发明实施例的发明点之一。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为拼接图及均匀采样的像素位置(采样密度仅为示意)灰度图;
图1b为图1a对应的语义地图上对应的像素点位置灰度图;
图2为本发明一个实施例的位姿变化特征提取模型训练方法流程图;
图3为本发明一个实施例的位姿优化方法流程图;
图4为本发明另一实施例的位姿优化方法流程图;
图5为本发明一个实施例的位姿变化特征提取模型训练装置模块图;
图6为本发明一个实施例的位姿优化装置模块图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本说明书实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本说明书实施例公开了一种模型训练方法、装置及基于拼接图的位姿优化方法、装置。以下分别进行详细说明。
图2为本发明一个实施例的位姿变化特征提取模型训练方法流程图;如图2所示,该模型训练方法包括以下步骤:
S210,根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
S220,从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子图观测特征的第j维分量;
S230,通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大(这是本发明实施例的发明点之一):
其中L、R为分类树的左、右子节点,信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
S240,对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min-node-samples;
S250,根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
上述实施例的模型训练方法根据位置所在的地图区域选取观测中与位姿变化强相关的观测特征,进而在根据与位姿变化强相关的观测特征计算语义误差时,能够排除掉观测中的冗余信息,降低观测/语义误差的维度,大幅减少非线性优化中与雅可比矩阵相关的运算量,提高运算的效率。同时,所选取的观测特征对位姿的微小变化更为敏感,增加了非线性优化在局部区域的收敛性能,提高位姿优化的精确度。
图3为本说明书一实施例的基于拼接图的位姿优化方法流程图;如图3所示,该位姿优化方法包括以下步骤:
S310,根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量。
一种实现方式中,所述位姿变化特征提取模型通过以下方式获取:
根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子图观测特征的第j维分量;
通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node-samples;
根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
一种实现方式中,所述观测特征F通过以下方式获得:
将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
S320,基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。
一种实现方式中,所述基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化包括:
设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图,为从语义地图中提取Fi的函数,/>为从拼接语义图中提取Fi的函数;
根据所述语义误差e对当前位姿进行优化。
上述实施例的位姿优化方法根据位置所在的地图区域选取观测中与位姿变化强相关的观测特征,进而在根据与位姿变化强相关的观测特征计算语义误差时,能够排除掉观测中的冗余信息,降低观测/语义误差的维度,大幅减少非线性优化中与雅可比矩阵相关的运算量,提高运算的效率。同时,所选取的观测特征对位姿的微小变化更为敏感,增加了非线性优化在局部区域的收敛性能,提高位姿优化的精确度。
图4示出了根据本说明书另一实施例的位姿优化方法流程图;如图所示,该位姿优化方法包括:
S410,提取自适应的观测特征
在语义地图的一个局部区域{xcenter,yceter,r},经测试r的取值范围在30~60像素范围训练算法的收敛效果较好,随机采样大量与拼接图分辨率相同的子地图,对每个子地图提取观测构成训练数据:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中x1,y1为子图中心相对于xcenter,ycenter的坐标,记为第i个观测的第j维分量。
使用分类树提取特征,定义分类树上的二分割函数(binary split function):
其中m,n为选取的观测维度,a∈(0,1)用来控制的相对大小。从分类树的根节点开始,随机选取δ=(m,n,a,b)作为候选特征,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益(information gain)最大:
SL,SR为以当前分割函数对S进行分割得到的左右子节点中的样本集。
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息xi,yi的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|
对当前节点选取信息增益最大的候选特征δ,将数据S相应地分入左右节点,再对左右子节点以同样的方式选取特征,终止条件为|Sd|>min_node_samples(最小节点样本数,可以根据经验设置),这是本发明实施例的发明点之一。
将构造好的分类树中的所有节点上的二分割函数去二值化后构造成观测特征:
合并起来构成F={δ1,δ2....,δW},W即为最终选取的观测特征的维度,W远小于输入的观测维度。
S420,定位时根据当前位置选取观测特征
在计算定位时,根据当前的初始位姿xpose检索到当前所在的语义地图的局部区域,读取该局部区域对应的观测特征F,定义当前的语义误差为:
根据语义误差优化当前位姿。
由于F对z进行的是线性变换,因此对xpose的偏导数可以用图像梯度的线性变换计算,记第i个观测特征对应两个选取的观测/>的地图图像的水平和垂直方向的灰度梯度为/> 相对于拼接图图像中心的像素坐标偏移/>设当前位姿为xpose=[x0,y0,θ],则语义误差对应雅可比矩阵为:
其中
j=1,2
从而使用常用的非线性优化算法即可优化当前的位姿。
与上述方法实施例相适应,图5示出了根据本说明书一实施例的基于拼接图的位姿优化装置模块图;如图5所示,该位姿优化装置500包括:
观测特征提取模块510,被配置为根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;
位姿优化模块520,被配置为基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化。
可选的,所述位姿优化模块包括:
误差计算单元,被配置为设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图;
优化单元,被配置为根据所述语义误差e对当前位姿进行优化。
可选的,上述位姿优化装置还包括:
第一子地图提取模块,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第一样本集获取模块,被配置为从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子图观测特征的第j维分量;
第一分类树模块,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第一特征选取模块,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples:
第一模型获取模块,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
可选的,所述观测特征提取模块包括:
观测特征合并单元,被配置为将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
与上述方法实施例相适应,图6示出了根据本说明书一实施例的位姿变化特征提取模型训练装置模块图;如图6所示,该模型训练装置600包括:
第二子地图提取模块610,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第二样本集获取模块620,被配置为从每个所述子地图中提取观测特征,并由每个所述子图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子图的数量,(xi,yi)为第i个子图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子图观测特征的第j维分量;
第二分类树模块630,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
/>
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第二特征选取模块640,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min-node-samples;
第二模型获取模块650,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
本说明书实施例根据位置所在的地图区域选取观测中与位姿变化强相关的观测特征,进而在根据与位姿变化强相关的观测特征计算语义误差时,能够排除掉观测中的冗余信息,降低观测/语义误差的维度,大幅减少非线性优化中与雅可比矩阵相关的运算量,提高运算的效率。同时,所选取的观测特征对位姿的微小变化更为敏感,增加了非线性优化在局部区域的收敛性能,提高位姿优化的精确度。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (8)

1.一种基于拼接图的位姿优化方法,其特征在于,包括以下步骤:
根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;
基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化;
所述位姿变化特征提取模型通过以下方式获取:
根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
从每个所述子地图中提取观测特征,并由每个所述子地图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子地图的数量,(xi,yi)为第i个子地图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子地图观测特征的第j维分量;
通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:L、R为分类树的左、右子节点,
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;min_node_samples为最小节点样本数;
根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
2.根据权利要求1所述的位姿优化方法,其特征在于,所述基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化包括:
设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图,为从语义地图中提取Fi的函数,/>为从拼接语义图中提取Fi的函数;
根据所述语义误差e对当前位姿进行优化。
3.根据权利要求1项所述的位姿优化方法,其特征在于,所述观测特征F通过以下方式获得:
将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
4.一种位姿变化特征提取模型训练方法,其特征在于,包括以下步骤:
根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
从每个所述子地图中提取观测特征,并由每个所述子地图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子地图的数量,(xi,yi)为第i个子地图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子地图观测特征的第j维分量;
通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:L、R为分类树的左、右子节点,
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;min_node_samples为最小节点样本数;
根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
5.一种基于拼接图的位姿优化装置,其特征在于,包括:
观测特征提取模块,被配置为根据当前位置,通过位姿变化特征提取模型从所述当前位置对应的语义地图局部区域观测中提取与位姿变化强相关的观测特征,所述局部区域观测为所述语义地图局部区域上采样得到的灰度值构成的向量;
位姿优化模块,被配置为基于所述与位姿变化强相关的观测特征对根据拼接图确定的当前位姿进行优化;
第一子地图提取模块,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第一样本集获取模块,被配置为从每个所述子地图中提取观测特征,并由每个所述子地图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子地图的数量,(xi,yi)为第i个子地图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子地图观测特征的第j维分量;
第一分类树模块,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:L、R为分类树的左、右子节点,
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第一特征选取模块,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;min_node_samples为最小节点样本数;
第一模型获取模块,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
6.根据权利要求5所述的位姿优化装置,其特征在于,所述位姿优化模块包括:
误差计算单元,被配置为设所述与位姿变化强相关的观测特征为F,当前的语义误差e为:
其中,W为观测特征F的维数,Fi为观测特征F的第i个特征分量,zmap为语义地图,zstitch为拼接语义图;
优化单元,被配置为根据所述语义误差e对当前位姿进行优化。
7.根据权利要求5所述的位姿优化装置,其特征在于,所述观测特征提取模块包括:观测特征合并单元,被配置为将所述位姿变化特征提取模型的所有二分割函数对应的观测特征合并,得到观测特征F={δ1,δ2....δW},W为最终选取的观测特征的维度。
8.一种位姿变化特征提取模型训练装置,其特征在于,包括:
第二子地图提取模块,被配置为根据历史位置对应的历史拼接图及历史语义地图,在所述历史位置对应的语义地图局部区域随机采样多个与所述历史拼接图分辨率相同的子地图;
第二样本集获取模块,被配置为从每个所述子地图中提取观测特征,并由每个所述子地图的观测特征形成训练样本集S:
S={[x1,y1,z1],[x2,y2,z2],....,[xN,yN,zN]}
其中N为所述子地图的数量,(xi,yi)为第i个子地图中心相对于语义地图局部区域中心(xc,yc)的坐标,i=1,…,N,记为第i个子地图观测特征的第j维分量;
第二分类树模块,被配置为通过分类树从所述训练样本集中提取特征,所述分类树的二分割函数为:
其中m,n为选取的观测维度,a∈(0,1)的常数,从所述分类树的根节点开始,随机选取δ=(m,n,a,b)作为特征参数,对每个δ固定其中的m,n,a二分查找最优的b使得信息增益I(δ)最大:
其中信息熵H(Sd)定义为Sd中假设服从2维高斯分布的位置信息(xi,yi)的信息熵:L、R为分类树的左、右子节点,
H(Sd)=0.5*log(2πe)2|Cov(Sd)|;
第二特征选取模块,被配置为对当前节点选取信息增益最大的特征参数I(δ),将所述训练样本集S中的样本数据相应地分入左右节点,再对左右子节点以同样的方式选取特征,直至达到终止条件,所述终止条件为|Sd|>min_node_samples;min_node_samples为最小节点样本数;
第二模型获取模块,被配置为根据所构造的分类树中的所有二分割函数得到位姿变化特征提取模型。
CN201910029456.3A 2019-01-13 2019-01-13 模型训练方法、装置及基于拼接图的位姿优化方法、装置 Active CN111435537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910029456.3A CN111435537B (zh) 2019-01-13 2019-01-13 模型训练方法、装置及基于拼接图的位姿优化方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910029456.3A CN111435537B (zh) 2019-01-13 2019-01-13 模型训练方法、装置及基于拼接图的位姿优化方法、装置

Publications (2)

Publication Number Publication Date
CN111435537A CN111435537A (zh) 2020-07-21
CN111435537B true CN111435537B (zh) 2024-01-23

Family

ID=71580917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910029456.3A Active CN111435537B (zh) 2019-01-13 2019-01-13 模型训练方法、装置及基于拼接图的位姿优化方法、装置

Country Status (1)

Country Link
CN (1) CN111435537B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114440860A (zh) * 2022-01-26 2022-05-06 亿咖通(湖北)技术有限公司 定位方法、装置、计算机存储介质及处理器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19509277C1 (de) * 1995-02-03 1996-06-20 Carmesin Hans Otto Dr Verfahren zur Auswertung von Sensordaten, um präzise Ausgabesignale, insbesondere Steuersignale zur Bewegungsbestimmung von Automaten, zu erzeugen
CN102880873A (zh) * 2012-08-31 2013-01-16 公安部第三研究所 基于图像分割和语义提取实现人员行为识别的系统及方法
CN104596533A (zh) * 2015-01-07 2015-05-06 上海交通大学 基于地图匹配的自动导引车及其导引方法
CN108345875A (zh) * 2018-04-08 2018-07-31 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置
CN111435086A (zh) * 2019-01-13 2020-07-21 北京初速度科技有限公司 基于拼接图的导航方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807549B2 (en) * 2014-07-18 2017-10-31 Intel Corporation Systems and methods for adaptive multi-feature semantic location sensing
WO2018125939A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
US10467756B2 (en) * 2017-05-14 2019-11-05 International Business Machines Corporation Systems and methods for determining a camera pose of an image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19509277C1 (de) * 1995-02-03 1996-06-20 Carmesin Hans Otto Dr Verfahren zur Auswertung von Sensordaten, um präzise Ausgabesignale, insbesondere Steuersignale zur Bewegungsbestimmung von Automaten, zu erzeugen
CN102880873A (zh) * 2012-08-31 2013-01-16 公安部第三研究所 基于图像分割和语义提取实现人员行为识别的系统及方法
CN104596533A (zh) * 2015-01-07 2015-05-06 上海交通大学 基于地图匹配的自动导引车及其导引方法
CN108345875A (zh) * 2018-04-08 2018-07-31 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置
CN111435086A (zh) * 2019-01-13 2020-07-21 北京初速度科技有限公司 基于拼接图的导航方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
余杰.基于ORB关键帧闭环检测算法的SLAM方法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2017,(第undefined期),第I138-890页. *
李建昆 ; 骆云飞 ; 邵杰 ; .一种基于SIFT匹配的影像位姿信息优化方法.首都师范大学学报(自然科学版).2013,34(第05期),第77-81页. *

Also Published As

Publication number Publication date
CN111435537A (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
CN110610166B (zh) 文本区域检测模型训练方法、装置、电子设备和存储介质
CN113628291B (zh) 基于边界提取与合并的多形状目标栅格数据矢量化方法
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN113223068A (zh) 一种基于深度全局特征的多模态图像配准方法及系统
CN112347970A (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
Sofla et al. Road extraction from satellite and aerial image using SE-Unet
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN114283343B (zh) 基于遥感卫星图像的地图更新方法、训练方法和设备
CN114820668A (zh) 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法
CN112381730B (zh) 一种遥感影像数据扩增方法
CN111435537B (zh) 模型训练方法、装置及基于拼接图的位姿优化方法、装置
CN114067339A (zh) 图像识别方法及其装置、电子设备、计算机可读存储介质
CN116091706B (zh) 多模态遥感影像深度学习匹配的三维重建方法
CN106897683B (zh) 一种遥感图像的地物检测方法及系统
CN111435086B (zh) 基于拼接图的导航方法和装置
CN117315090A (zh) 基于跨模态风格学习的图像生成方法及装置
Mostafa A new shape descriptor for road network separation from parking lots and intersection detection on VHR remote sensing images
CN111476226A (zh) 一种文本定位方法、装置及模型训练方法
CN114413882B (zh) 一种基于多假设跟踪的全局初定位方法和装置
CN116071721A (zh) 一种基于Transformer的高精地图实时预测方法和系统
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN115909079A (zh) 结合深度特征和自注意力模型的裂缝检测方法及相关设备
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220317

Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing

Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd.

Address before: Room 28, 4 / F, block a, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing 100089

Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant