CN112884831B - 一种基于概率掩膜提取室内停车场长期静态特征的方法 - Google Patents

Abstract

本发明公开了一种基于概率掩膜提取室内停车场长期静态特征的方法，首先构建室内停车场场景下，不同时段不同路段的场景数据集；然后对全部数据集进行特征匹配，建立静态强度矩阵；进而对图像网格分类，从中确定长期静态网格，从长期静态网格中可以更大概率地提取到长期静态特征点，长期静态点是指该点所属的对象本身不可运动，且长期处于静止状态，对长期静态网格利用先验模板嵌套得到掩膜区域，并求解对应的特征提取概率，生成概率掩膜；最后可将概率掩膜应用于视觉SLAM的特征提取阶段。本方法能够在不增加计算成本的前提下，有效提取地下停车场内的长期静态特征，建立长期地图，降低特定场景下的地图匹配定位失效率。

Description

一种基于概率掩膜提取室内停车场长期静态特征的方法

技术领域

本发明涉及自动驾驶车辆的视觉同步定位与建图(Simultaneous LocalizationAnd Mapping,SLAM)技术领域，具体涉及一种基于概率掩膜提取室内停车场长期静态特征的方法。

背景技术

同步定位与建图(Simultaneous Localization And Mapping,SLAM)技术作为自动驾驶核心技术之一，可有效解决GNSS(Global Navigation Satellite System，全球导航卫星系统)失效场景下的定位问题，是车辆自主导航的基础。其中，以摄像头作为传感器的视觉SLAM技术，在静态、光照变化不明显、没有人为干扰的场景下，传统基于特征点的方法解决GNSS失效场景下的定位问题已经较为成熟。然而，针对室内停车场这一特定场景，虽然光照变化小，但在不同的时段，停车场内停放的车辆变化非常大，即环境变化异常明显，进而导致视觉SLAM建立的地图生命周期短；使得在使用预先建立的地图中进行匹配定位时，极易出现定位失效。虽然基于数据驱动的方法正逐步应用在视觉SLAM前端的图像处理阶段，通过对每帧图像语义分割，然后针对性剔除车辆等目标，但此类方法的计算需求过高，难以实时应用。因此，针对基于视觉的地图匹配定位，在满足计算需求的前提下，发掘室内停车场中的静态特征的分布规律，充分利用长期静态的特征建立高品质的长期地图，降低特定场景下的地图匹配定位失效率，是有待解决的关键问题。

发明内容

为了克服现有技术的不足，本发明着力于提出一种基于概率掩膜提取室内停车场长期静态特征的方法，其目的在于解决或者有效减轻现有技术的上述缺陷。本方法基于先验的概率掩膜，建立反映停车场内长期静态特征的长期地图，无需实时目标检测，降低了计算需求。

本发明解决上述技术问题所采取的技术方案如下：

本发明提出的一种基于概率掩膜提取室内停车场长期静态特征的方法，其特征在于，包括以下步骤：

1)针对某一室内停车场场景，按照规划的行车路线和不同时段进行图像序列采集，以此构建场景数据集；

2)对场景数据集中采集的不同时段的图像序列分别进行特征匹配，并保存每帧图像中正确匹配的特征点像素坐标和数量，将正确匹配的特征点定义为静态特征点；构建一具有若干网格的网格模板，将场景数据集中每帧图像的静态特征点的像素坐标投影至该网格模板上，分别统计各网格内的静态特征点总数，以此生成用于表征静态特征点分布情况的静态强度矩阵；

3)根据网格模板各网格中的静态特征点总数设定s-1个阈值，并满足Th_s-1＞…＞Th_q＞…＞Th₂＞Th₁＞0，q∈[1，s-1]，s≥2，

以此形成s个阈值区间，当q＝1时，第1个阈值区间内各网格中的静态特征点总数均位于位于0～Th₁之间；当q∈[2，s-2]时，第q个阈值区间内各网格中的静态特征点总数均位于Th_q-1～Th_q之间；当q＝s-1时，第s-1个阈值区间内各网格中的静态特征点总数位于Th_s-1～+∞之间；将各网格按照形成的阈值区间进行分类，并将网格模板中静态特征点总数大于阈值Th_s-1的网格定义为长期静态网格，长期静态特征点是指该点所属的对象本身不可运动，且长期处于静止状态；利用多边形模板对各类网格进行匹配，形成掩膜区域A₁…A_s，匹配时需同时满足：①尽可能使用一种模板覆盖一个阈值区间内的所有网格，②使用尽可能小的模板尺寸覆盖一个阈值区间内尽可能多的网格；统计每个掩膜区域下所有网格中的静态特征点总数R₁…R_s以及每个掩膜区域中的网格数量G₁…G_s，确定各掩膜区域的特征提取概率P₁…P_s，将各掩膜区域与对应的特征提取概率共同作为概率掩膜；

4)在视觉同步定位与建图过程的特征提取阶段，针对车载相机实时采集的每帧图像，依据各掩膜区域的特征提取概率，从对应的掩膜区域中随机选取网格，最后从所选网格中提取特征点。

本发明的特点及有益效果为：

本发明提出的一种基于概率掩膜提取室内停车场长期静态特征的方法，相比现有方法，本方法针对室内停车场场景，依据该场景下静态特征的分布规律，利用概率掩膜有效确定出长期静态特征的提取区域与提取概率，能够在不增加计算成本的前提下，更充分地利用室内停车场内的长期静态特征，构建出长期地图，降低该场景下的地图匹配定位失效率。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制。

图1是本发明实施例方法的整体流程图。

图2是本发明实施例方法的室内停车场场景示意图。

图3是本发明实施例方法的网格模板示意图。

图4是本发明实施例方法的人工设计的多边形模板示意图。

图5是本发明实施例方法的概率掩膜示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了更好地理解本发明，以下详细阐述本发明提出的一种基于概率掩膜提取室内停车场长期静态特征的方法的应用实例。

本发明方法是一种基于先验生成的概率掩膜，选取室内停车场长期静态特征，构建稀疏特征点地图的方法，其整体流程如图1所示。在本实施例中，采用ORB特征点作为图像特征，并基于ORBSLAM2系统开展，该方法实施步骤具体如下：

1)构建具有权重的场景数据集

针对某一室内停车场场景，如图2所示，图中A0～A12代表不同的道路节点，节点之间的有向线段代表这一路段的可通行方向。首先，规划数据采集车辆的行车路线，使车辆能够连续完整地行驶过室内停车场中的可通行区域，如行车路线“A0-A4-A5-A10-A1-A4-A11-A10-A1-A2”，并在结束阶段覆盖初始采集区域形成场景闭环，如路线末段“A1-A2”。然后，将行车路线划分为b个路段，本实施例中该行车路线下b＝20。最后，在a个不同的时段按所设计行车路线利用双目相机采集图像序列。

完成图像序列采集后，将a个不同时段与b个不同路段的连续图像序列作为元素构建维度为a·b的场景数据集D，其表达式如下：

其中，d_i，j为场景数据集D中第i行、第j列的元素，代表在第i个时段、第j个路段采集的图像序列，元素d_i，j中含有多帧图像，各图像的像素尺寸均为u_p·v_p，u_p和v_p分别为图像像素尺寸的宽和高，

为正整数集。

考虑到行驶路线中同一路段的重复采集，以及实际采集中出现的异常情况，如其他车辆遮挡和行人穿行等，会影响后续静态强度矩阵M的计算，因此对每个d_i，j指定权重，构成场景数据集D的权重W，公式如下：

其中，w_i，j为场景数据集D中元素d_i，j对应的权重值；RCT_i，j为元素d_i，j被重复采集的次数；e为异常情况的修正偏差。

2)生成用于表征静态特征点分布情况的静态强度矩阵

21)对场景数据集D中采集的不同时段的图像序列分别进行特征匹配，其中，使用场景数据集D中采集的第一时段的图像序列，即元素d_1，1～d_1，b进行建图。经过视觉SLAM的基本步骤(如：视觉里程计、后端优化、回环检测、建图)，建立室内停车场特征点地图并保存；最后对场景数据集D中采集的其他时段的图像序列提取特征点，并分别以地图匹配定位的方式与所建地图进行匹配，得到其他时段各帧图像中提取的特征点与建立的室内停车场特征点地图之间的正确匹配对，保存每帧图像中正确匹配的特征点像素坐标，不保存失效帧。因不同时段下的场景存在变化，因此正确匹配的特征点描述的是不同时段下场景未发生变化的静态特征。

本实施例中匹配不同时段观测的特征点时，首先使用场景数据集D中的完整连续数据d_1，1～d_1，b，即第一行元素，运行ORBSLAM2，建立室内停车场特征点地图并保存。然后加载该地图，运行ORBSLAM2的地图匹配定位模式，对场景数据集D中的全部剩余元素读入并运行，保存每一帧图像与所建地图的匹配结果，即该帧图像中正确匹配的关键点信息，本实施例使用的是ORB特征点，对应保存的是FAST关键点像素坐标。

22)参见图3，构建一像素尺寸为u_p·v_p的网格模板，定义网格尺寸u_g·v_g，u_g和v_g分别为网格尺寸的宽和高，可将该网格模版共划分为m·n个网格，网格的具体划分方法不做限制，对于缩放倍率为α的n_L层图像金字塔，其中α∈(0，1)，需保证网格尺寸u_g不大于u_p×n_L ^α，v_g不大于v_p×n_L ^α。对步骤21)得到的场景数据集D中其他时段各帧图像内正确匹配的特征点，根据特征点的像素坐标，投影至划分有m·n个网格的网格模板上。然后分别统计各网格内投影的特征点数量，即该网格区域下静态特征点总数，以此生成用于表征静态特征点分布情况的静态强度矩阵M，该矩阵中的元素与网格模板中的各网格一一对应，表达式如下：

式中，N_n，m为网格模板上第n行、m列网格区域下，正确匹配的静态特征点总数，它由该网格下的所有图像序列匹配结果加权累加得到，计算公式如下：

式中，F_{r，j，k，n，m}为场景数据集D的元素d_r，j中第k帧图像在网格模板下的第n行、第m列网格中的静态特征点数量。c_r，j为场景数据集D中的元素d_r，j所包含的图像序列总帧数。

3)生成概率掩膜

31)以静态强度矩阵M为参考，根据网格模板各网格中的静态特征点总数设定s-1个阈值，并满足Th_s-1＞…＞Th_q＞…＞Th₂＞Th₁＞0，q∈[1，s-1]，s≥2，

以此形成s个阈值区间，满足：当q＝1时，第1个阈值区间内各网格中的静态特征点总数均位于位于0～Th₁之间；当q∈[2，s-2]时，第q个阈值区间内各网格中的静态特征点总数均位于Th_q-1～Th_q之间；当q＝s-1时，第s-1个阈值区间内各网格中的静态特征点总数位于Th_s-1～+∞之间。其中最大阈值Th_s-1可以取静态强度矩阵M中数值最大的元素(即具有最大的静态特征点总数的网格)的80％。将各网格按照形成的阈值区间进行分类，并将网格模板中正确匹配的静态特征点总数大于阈值Th_s-1的网格定义为长期静态网格，从长期静态网格中可以更大概率地提取到长期静态特征点，长期静态特征点是指该点所属的对象本身不可运动，且长期处于静止状态，如室内的建筑结构、天花板等，而停放的车辆、打开的门等对象则不包含长期静态特征。

32)为了避免单类网格因分布不齐，使掩膜产生不规则区域，影响实际应用中的特征提取。故使用多边形模板匹配各类网格，设模板各边的边长分别为l₁，…，l_t，t为模板含有的侧边数量，如图4中的(a)和(b)所示，分别为先验T形和矩形模板，但不限于此。在模板匹配时，需遵循以下原则：(1)尽可能使用一种模板覆盖一个阈值区间内的所有网格；(2)使用尽可能小的模板尺寸覆盖一个阈值区间内尽可能多的网格。通过该方法即可对不同类别的网格实现基于先验模板的匹配，形成掩膜区域A₁…A_s，A_s为静态强度矩阵M中大于Th_s-1的网格在经过模板匹配后的区域，设定为长期静态区域。实际应用中，当A_s的区域小于设定面积(如50％网格模板面积)时，可将与掩膜区域A_s相邻的一个或多个掩模区域进行合并，使得合并后的掩模区域面积大于或者等于设定面积。在进行掩膜区域合并时需保证是连续相邻类别(阈值区间)的掩膜区域，即A₁、A₂或者A₁、A₂、A₃可融合，但A₁、A₃不可融合。

33)根据静态强度矩阵M，累计获得每个掩膜区域下所有网格中的正确匹配次数R₁…R_s。统计每个掩膜区域中的网格数量，分别记为G₁…G_s，根据每个掩膜区域内的正确匹配次数，求解各掩膜区域的特征提取概率：

式中，P_x为区域A_x中的特征提取概率。R_x为掩膜区域A_x下所有网格中的静态特征点总和，R_ii为掩膜区域A_ii所有网格中的静态特征点总和。掩膜区域A₁…A_s与对应的特征提取概率P₁…P_s，共同作为概率掩膜，如图5所示。

4)在视觉同步定位与建图过程的特征提取阶段，针对车载相机实时采集的每帧图像，依据各掩膜区域的特征提取概率，从对应的掩膜区域中随机选取

个网格，1≤x≤s，

表示向下取整符号，然后再从所选网格中提取特征点，需要说明的是，概率掩膜的应用方式不限于此。在完成特征提取后，经过跟踪线程、局部建图线程、回环检测线程后，构建出室内停车场稀疏特征点地图。

Claims (6)

1.一种基于概率掩膜提取室内停车场长期静态特征的方法，其特征在于，包括以下步骤：

1)针对某一室内停车场场景，按照规划的行车路线和不同时段进行图像序列采集，以此构建场景数据集；

2)对场景数据集中采集的不同时段的图像序列分别进行特征匹配，并保存每帧图像中正确匹配的特征点像素坐标和数量，将正确匹配的特征点定义为静态特征点；构建一具有若干网格的网格模板，将场景数据集中每帧图像的静态特征点的像素坐标投影至该网格模板上，分别统计各网格内的静态特征点总数，以此生成用于表征静态特征点分布情况的静态强度矩阵；

3)根据网格模板各网格中的静态特征点总数设定s-1个阈值，并满足Th_s-1＞…＞Th_q＞…＞Th₂＞Th₁＞0，q∈[1，s-1]，s≥2，

以此形成s个阈值区间，当q＝1时，第1个阈值区间内各网格中的静态特征点总数均位于0～Th₁之间；当q∈[2，s-2]时，第q个阈值区间内各网格中的静态特征点总数均位于Th_q-1～Th_q之间；当q＝s-1时，第s-1个阈值区间内各网格中的静态特征点总数位于Th_s-1～+∞之间；将各网格按照形成的阈值区间进行分类，并将网格模板中静态特征点总数大于阈值Th_s-1的网格定义为长期静态网格，长期静态特征点是指该点所属的对象本身不可运动，且长期处于静止状态；利用多边形模板对各类网格进行匹配，形成掩膜区域A₁…A_s，匹配时需同时满足：①使用一种模板覆盖一个阈值区间内的所有网格，②使用尽可能小的模板尺寸覆盖一个阈值区间内尽可能多的网格；统计每个掩膜区域下所有网格中的静态特征点总数R₁…R_s以及每个掩膜区域中的网格数量G₁…G_s，确定各掩膜区域的特征提取概率P₁…P_s，将各掩膜区域与对应的特征提取概率共同作为概率掩膜；

4)在视觉同步定位与建图过程的特征提取阶段，针对车载相机实时采集的每帧图像，依据各掩膜区域的特征提取概率，从对应的掩膜区域中随机选取网格，最后从所选网格中提取特征点。

2.根据权利要求1所述的方法，其特征在于，步骤2)具体包括以下步骤：

21)对场景数据集中采集的不同时段的图像序列分别进行特征匹配，其中第一时段的图像序列用于建图，其它时段的图像序列分别以地图匹配定位的方式与所建地图进行匹配，并保存每帧图像中正确匹配的特征点像素坐标，将正确匹配的特征点定义为静态特征点；其中，设场景数据集为D，

d_i，j为场景数据集D中第i行、第j列的元素，代表在第i个时段、第j个路段采集的图像序列，

为正整数集；设每张图像的像素尺寸为u_p·v_p，为场景数据集D中各元素分别指定权重w_i，j；

22)构建一像素尺寸为u_p·v_p的网格模板，将场景数据集D中每帧图像的静态特征点的像素坐标投影至划分有m·n个网格的网格模板上，分别统计各网格内的静态特征点总数，以此生成用于表征静态特征点分布情况的静态强度矩阵M，该矩阵中的元素与网格模板中的各网格一一对应，表达式如下：

式中，N_n，m为网格模板上第n行、m列网格区域中的静态特征点总数，由该网格下所有图像的匹配结果加权累加得到，计算公式如下：

式中，F_{r，j，k，n，m}为场景数据集D的元素d_r，j中第k帧图像在网格模板的第n行、第m列网格中的静态特征点数量，c_r，j为场景数据集D中的元素d_r，j所包含的图像序列的总帧数。

3.根据权利要求2所述的方法，其特征在于，步骤22)中，利用缩放倍率为α的n_L层图像金字塔对网格模版进行网格划分，其中α∈(0，1)，网格像素尺寸的宽u_g和高v_g分别满足：u_g≤u_p×n_L ^α，v_g≤v_p×n_L ^α。

4.根据权利要求1所述的方法，其特征在于，步骤3)中各掩膜区域的特征提取概率P₁…P_s按照下式计算：

式中，P_x为掩膜区域A_x中的特征提取概率，R_x为掩膜区域A_x下所有网格中的静态特征点总和，R_ii为掩膜区域A_ii所有网格中的静态特征点总和。

5.根据权利要求1～4中任一项所述的方法，其特征在于，当存在某一掩膜区域的面积小于设定面积时，将与该掩膜区域相邻的一个或多个其他掩膜区域进行合并，使得合并后的掩膜区域面积大于或者等于设定面积。

6.根据权利要求1所述的方法，其特征在于，步骤1)具体包括以下步骤：

针对某一室内停车场场景，规划数据采集车辆的行车路线，使车辆能够连续完整地行驶过室内停车场内的可通行区域，并在结束阶段覆盖初始采集区域形成场景闭环；将行车路线划分为b个路段，在a个不同的时段按照所规划的行车路线进行图像序列采集，设每张图像的像素尺寸为u_p·v_p；根据采集的图像序列构建场景数据集D，其表达式如下：

其中，d_i，j为场景数据集D中第i行、第j列的元素，代表在第i个时段、第j个路段采集的图像序列，

为正整数集；

对场景数据集D中的各元素d_i，j指定权重，构成场景数据集D的权重W，表达式如下：

其中，w_i，j为数据集D中元素d_i，j对应的权重值；RCT_i，j为元素d_i，j被重复采集的次数；e为异常情况的修正偏差。

Images