CN113673524A - 一种仓库半结构化环境动态特征点祛除方法及装置 - Google Patents

Abstract

本发明实施例提供了一种仓库半结构化环境动态特征点祛除方法及装置，所述方法包括以下步骤：获取影像序列；对所述影像序列进行特征检测与提取，得到影像序列的特征点；对所述影像序列进行图像语义分割，获得动态目标所在区域；祛除位于所述动态目标所在区域的特征点。本发明在仓库半结构化环境中精度高于现有技术；采用金字塔场景解析网络应对仓库半结构化环境，处理方法简单、准确；采用相机作为传感器，成本较低，使得专利易于实施。

Description

一种仓库半结构化环境动态特征点祛除方法及装置

技术领域

本发明涉及同时定位与建图技术领域，尤其涉及一种仓库半结构化环境动态特征点祛除方法及装置。

背景技术

同时定位与建图技术已经成为目前机器人研究领域的热点，指一个搭载传感器的机器人在没有先验环境信息的情况下，在运动过程中建立环境的模型，并估计自身的运动，如果主要传感器为相机则称为视觉同时定位与建图，基于特征点法的视觉同时定位与建图利用相机所采集序列影像进行地图构建与自身位姿估计，都依赖于从序列影像中获取的图像特征点。

仓库货架的摆放通常有规律可循，称之为结构化环境，但在其中作业的人、车、机器人等动态目标则打破了这种结构化态势，因此称仓库为半结构化环境。在仓库中作业的动态目标会干扰同时定位与建图的正常工作：搭载相机的机器人在移动过程中，目标也在产生运动，与静态环境产生相对位移，因此从动态目标上采集的特征点若用于后续特征匹配、帧间估计等环节，会导致同时定位与建图系统位姿漂移、跟踪失败、误差累积等问题，常规的误匹配筛选算法都无法很好的筛除这些对系统有严重影响的特征点，这成为了同时定位与建图在仓库半结构化环境中作业的主要瓶颈。

申请人发现现有技术中至少存在如下问题：在仓库半结构化环境中，无法准确的筛除对系统有严重影响的特征点。

发明内容

本发明实施例所解决的技术问题是在仓库半结构化环境中，无法准确的筛除对系统有严重影响的特征点的问题。

为达上述目的，一方面，本发明实施例提供了一种仓库半结构化环境动态特征点祛除方法，包括以下步骤：

获取影像序列；

对所述影像序列进行特征检测与提取，得到影像序列的特征点；

对所述影像序列进行图像语义分割，获得动态目标所在区域；

祛除位于所述动态目标所在区域的特征点。

另一方面，本发明实施例提供了一种仓库半结构化环境动态特征点祛除装置，包括：

获取单元，用于获取影像序列；

提取单元，用于对所述影像序列进行特征检测与提取，得到影像序列的特征点；

分割单元，用于对所述影像序列进行图像语义分割，获得动态目标所在区域；

祛除单元，用于祛除位于所述动态目标所在区域的特征点。

上述技术方案具有如下有益效果：本发明通过引入语义分割模型中的金字塔场景解析网络对仓库半结构化环境动态特征点进行祛除，在传统基于特征点法的视觉同时定位与建图基础上引入由语义分割所得图像语义信息，祛除对视觉同时定位与建图系统精度与鲁棒性造成影响的动态特征点，提高视觉同时定位与建图系统的精度和鲁棒性。本发明在仓库半结构化环境中精度高于现有技术；采用金字塔场景解析网络应对仓库半结构化环境，处理方法简单、准确；采用相机作为传感器，成本较低，使得专利易于实施。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种仓库半结构化环境动态特征点祛除方法的流程图；

图2是本发明实施例提供的一种仓库半结构化环境动态特征点祛除装置的结构示意图；

图3是本发明实施例提供的一种仓库半结构化环境动态特征点祛除方法的第一种实施方式流程图；

图4是本发明实施例提供的一种仓库半结构化环境动态特征点祛除方法的第二种实施方式详细流程图；

图5是本发明实施例提供的一种仓库半结构化环境动态特征点祛除方法的关键点提取示意图；

图6是本发明实施例提供的一种仓库半结构化环境动态特征点祛除方法的金字塔场景解析网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种仓库半结构化环境动态特征点祛除方法，如图1所示，包括以下步骤：

S101：获取影像序列；

S102：对所述影像序列进行特征检测与提取，得到影像序列的特征点；

S103：对所述影像序列进行图像语义分割，获得动态目标所在区域；

S104：祛除位于所述动态目标所在区域的特征点。

所述对所述影像序列进行特征检测与提取，得到影像序列的特征点，具体包括：

在所述影像序列中选取像素点p,设所述像素点p的亮度为I_p,设置一个图像亮度阈值为I_T,I_T＝0.25I_p；

以所述像素点p为中心，选取半径为3像素的圆上的16个像素点，若所述半径为3像素的圆上有3/4以上位置点亮度大于I_p+I_T或小于I_p-I_T，那么p被认为是特征点。

所述对所述影像序列进行图像语义分割，具体包括：

根据所述影像序列的特征点得到特征图；

将所述特征图输入到金字塔场景解析网络中，对所述特征图进行池化，得到四种尺度的特征图；

分别对所述四种尺度的特征图进行卷积操作，再分别进行上采样直到与所述特征图尺寸相同，再经由卷积层后逐像素进行分类生成语义分割结果。

将序列图像输入金字塔场景解析网络中，输入图像经过特征提取网络得到特征图后，对特征图分别进行池化，得到四种尺度的特征图分别进行卷积操作再分别进行上采样到与特征提取网络所得特征图一样尺寸的特征图后融合，再经由卷积层后逐像素进行分类生成语义分割结果。

上采样的目的是让经过后面环节所得的特征图和之前经过主干网络提取的特征图尺寸一致做堆叠。

所述祛除位于所述动态目标所在区域的特征点，具体包括：

计算所述动态目标所在区域的质心；

以所述质心为半径，以所述动态目标所在区域距离所述质心最大的点为半径做圆；画圆是用来保证特征点旋转不变性。

在所述圆中祛除位于所述动态目标所在区域的特征点。

所述计算所述动态目标所在区域的质心，具体包括：

在所述动态目标所在区域中，定义动态目标所在区域的矩；

通过所述动态目标所在区域的矩计算动态目标所在区域的质心。

对所有特征点计算特征点附近的图像灰度质心，步骤如下：

在一个小的图像块B中，定义图像块的矩：

通过图像块的矩找到图像块的质心：

连接图像块的集合重心O与质心C，得到方向向量OC，定义特征点方向为：

θ＝arctan(m₀₁/m₁₀)

提取Oriented FAST关键点(角点)后，对每个关键点(角点)计算其BRIEF描述子，该描述子为128维二进制向量，利用由0和1组成的二进制向量描述关键点周围信息。其中0和1编码了关键点附近两个随机像素(比如p和q)的大小关系，如果p比q大取1，反之取0。

本发明还提供了一种仓库半结构化环境动态特征点祛除装置，如图2所示，包括：

获取单元21，用于获取影像序列；

提取单元22，用于对所述影像序列进行特征检测与提取，得到影像序列的特征点；

分割单元23，用于对所述影像序列进行图像语义分割，获得动态目标所在区域；

祛除单元24，用于祛除位于所述动态目标所在区域的特征点。

所述提取单元22，具体包括：

设置模块，用于在所述影像序列中选取像素点p,设所述像素点p的亮度为I_p,设置一个图像亮度阈值为I_T,I_T＝0.25I_p；

选择模块，用于以所述像素点p为中心，选取半径为3像素的圆上的16个像素点，若所述半径为3像素的圆上有3/4以上位置点亮度大于I_p+I_T或小于I_p-I_T，那么p被认为是特征点。

所述对所述影像序列进行图像语义分割，具体包括：

第一分割模块，用于根据所述影像序列的特征点得到特征图；

第二分割模块，用于将所述特征图输入到金字塔场景解析网络中，对所述特征图进行池化，得到四种尺度的特征图；

第三分割模块，用于分别对所述四种尺度的特征图进行卷积操作，再分别进行上采样直到与所述特征图尺寸相同，再经由卷积层后逐像素进行分类生成语义分割结果。

将序列图像输入金字塔场景解析网络中，输入图像经过特征提取网络得到特征图后，对特征图分别进行池化，得到四种尺度的特征图分别进行卷积操作再分别进行上采样到与特征提取网络所得特征图一样尺寸的特征图后融合，再经由卷积层后逐像素进行分类生成语义分割结果。

上采样的目的是让经过后面环节所得的特征图和之前经过主干网络提取的特征图尺寸一致做堆叠。

所述祛除单元24，具体包括：

计算模块，用于计算所述动态目标所在区域的质心；

固定模块，用于以所述质心为半径，以所述动态目标所在区域距离所述质心最大的点为半径做圆；画圆是用来保证特征点旋转不变性。

删选模块，用于在所述圆中祛除位于所述动态目标所在区域的特征点。

所述计算模块，具体包括：

在所述动态目标所在区域中，定义动态目标所在区域的矩；

通过所述动态目标所在区域的矩计算动态目标所在区域的质心。

对所有特征点计算特征点附近的图像灰度质心，步骤如下：

在一个小的图像块B中，定义图像块的矩：

通过图像块的矩找到图像块的质心：

连接图像块的集合重心O与质心C，得到方向向量OC，定义特征点方向为：

θ＝arctan(m₀₁/m₁₀)

提取Oriented FAST关键点(角点)后，对每个关键点(角点)计算其BRIEF描述子，该描述子为128维二进制向量，利用由0和1组成的二进制向量描述关键点周围信息。其中0和1编码了关键点附近两个随机像素(比如p和q)的大小关系，如果p比q大取1，反之取0。

本发明通过引入语义分割模型中的金字塔场景解析网络对仓库半结构化环境动态特征点进行祛除，在传统基于特征点法的视觉同时定位与建图基础上引入由语义分割所得图像语义信息，祛除对视觉同时定位与建图系统精度与鲁棒性造成影响的动态特征点，提高视觉同时定位与建图系统的精度和鲁棒性。本发明在仓库半结构化环境中精度高于现有技术；采用金字塔场景解析网络应对仓库半结构化环境，处理方法简单、准确；采用相机作为传感器，成本较低，使得专利易于实施。

下面结合具体的应用实例对本发明实施例上述技术方案进行详细说明，实施过程中没有介绍到的技术细节，可以参考前文的相关描述。

实施例1：

本申请提出了一种基于金字塔场景解析网络的仓库半结构化环境动态特征点祛除方法(一种仓库半结构化环境动态特征点祛除方法)，可以结合金字塔场景解析网络对特征检测与提取过程进行优化，祛除特征检测与提取过程中的动态特征点，在仓库半结构化环境中具有较好的精度和鲁棒性，其实施的过程中主要步骤如图3，具体的详细流程图如图4，Oriented FAST关键点提取示意图如图5，金字塔场景解析网络结构图如图6。通过对相机所采集的序列影像，分别进行图像语义分割和特征检测与提取，利用图像语义分割所得动态目标所在区域，将特征检测与提取过程所获取的特征点中的动态特征点祛除。本专利提出的方法具体实施方式描述如下：

相机获取序列影像。相机在移动过程中实时获取图像数据，并传输至后续图像特征检测与提取和语义分割环节。

图像特征检测与提取。本专利使用ORB特征提取方法提取特征点，首先提取Oriented FAST角点。

关键点提取过程如下：

在像素中选取像素p，假设其亮度为I_p；

设置一个阈值T(设为I_p的25％)；

以像素p为中心，选取半径为3的圆上的16个像素点，如图3所示；

若该圆上1、5、9、13位置点中3/4以上位置点亮度大于I_p+T或I_p-T，那么像素p可以被认为是特征点；

循环以上四个步骤，对图像每一个像素执行相同的操作，直至遍历所有像素；

使用非极大值抑制在一定区域内仅保留响应极大值的角点，避免角点集中的问题。

对所有特征点计算特征点附近的图像灰度质心，步骤如下：

在一个小的图像块B中，定义图像块的矩：

通过图像块的矩找到图像块的质心：

连接图像块的集合重心O与质心C，得到方向向量OC，定义特征点方向为：

θ＝arctan(m₀₁/m₁₀)

提取Oriented FAST关键点后，对每个关键点计算其BRIEF描述子，该描述子为128维二进制向量，利用由0和1组成的二进制向量描述关键点周围信息。其中0和1编码了关键点附近两个随机像素(比如p和q)的大小关系，如果p比q大取1，反之取0。

图像语义分割。如图4所示，语义分割步骤过程如下：

将序列图像输入金字塔场景解析网络中，输入图像经过特征提取网络得到特征图后，对特征图分别进行池化，得到四种尺度的特征图分别进行卷积操作再分别进行上采样到与特征提取网络所得特征图一样尺寸的特征图后融合，再经由卷积层后逐像素进行分类生成语义分割结果。

删去动态目标区域所在特征点。根据语义分割所得的动态目标所在像素位置信息，对图像特征检测与提取步骤所获取的特征点做删选，将位于动态目标所在区域的特征点祛除，仅保留位置动态目标区域外的特征点，即仓库半结构化环境中的静态特征点。

本发明通过引入语义分割模型中的金字塔场景解析网络对仓库半结构化环境动态特征点进行祛除，在传统基于特征点法的视觉同时定位与建图基础上引入由语义分割所得图像语义信息，祛除对视觉同时定位与建图系统精度与鲁棒性造成影响的动态特征点，提高视觉同时定位与建图系统的精度和鲁棒性。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种仓库半结构化环境动态特征点祛除方法，其特征在于，包括以下步骤：

获取影像序列；

对所述影像序列进行特征检测与提取，得到影像序列的特征点；

对所述影像序列进行图像语义分割，获得动态目标所在区域；

祛除位于所述动态目标所在区域的特征点。

2.根据权利要求1所述的一种仓库半结构化环境动态特征点祛除方法，其特征在于，所述对所述影像序列进行特征检测与提取，得到影像序列的特征点，具体包括：

在所述影像序列中选取像素点p,设所述像素点p的亮度为I_p,设置一个图像亮度阈值为I_T,I_T＝0.25I_p；

以所述像素点p为中心，选取半径为3像素的圆上的16个像素点，若所述半径为3像素的圆上有3/4以上位置点亮度大于I_p+I_T或小于I_p-I_T，那么p被认为是特征点。

3.根据权利要求1所述的一种仓库半结构化环境动态特征点祛除方法，其特征在于，所述对所述影像序列进行图像语义分割，具体包括：

根据所述影像序列的特征点得到特征图；

将所述特征图输入到金字塔场景解析网络中，对所述特征图进行池化，得到四种尺度的特征图；

分别对所述四种尺度的特征图进行卷积操作，再分别进行上采样直到与所述特征图尺寸相同，再经由卷积层后逐像素进行分类生成语义分割结果。

4.根据权利要求1所述的一种仓库半结构化环境动态特征点祛除方法，其特征在于，所述祛除位于所述动态目标所在区域的特征点，具体包括：

计算所述动态目标所在区域的质心；

以所述质心为半径，以所述动态目标所在区域距离所述质心最大的点为半径做圆；

在所述圆中祛除位于所述动态目标所在区域的特征点。

5.根据权利要求4所述的一种仓库半结构化环境动态特征点祛除方法，其特征在于，所述计算所述动态目标所在区域的质心，具体包括：

在所述动态目标所在区域中，定义动态目标所在区域的矩；

通过所述动态目标所在区域的矩计算动态目标所在区域的质心。

6.一种仓库半结构化环境动态特征点祛除装置，其特征在于，包括：

获取单元，用于获取影像序列；

提取单元，用于对所述影像序列进行特征检测与提取，得到影像序列的特征点；

分割单元，用于对所述影像序列进行图像语义分割，获得动态目标所在区域；

祛除单元，用于祛除位于所述动态目标所在区域的特征点。

7.根据权利要求6所述的一种仓库半结构化环境动态特征点祛除装置，其特征在于，所述提取单元，具体包括：

设置模块，用于在所述影像序列中选取像素点p,设所述像素点p的亮度为I_p,设置一个图像亮度阈值为I_T,I_T＝0.25I_p；

选择模块，用于以所述像素点p为中心，选取半径为3像素的圆上的16个像素点，若所述半径为3像素的圆上有3/4以上位置点亮度大于I_p+I_T或小于I_p-I_T，那么p被认为是特征点。

8.根据权利要求6所述的一种仓库半结构化环境动态特征点祛除装置，其特征在于，所述对所述影像序列进行图像语义分割，具体包括：

第一分割模块，用于根据所述影像序列的特征点得到特征图；

第二分割模块，用于将所述特征图输入到金字塔场景解析网络中，对所述特征图进行池化，得到四种尺度的特征图；

第三分割模块，用于分别对所述四种尺度的特征图进行卷积操作，再分别进行上采样直到与所述特征图尺寸相同，再经由卷积层后逐像素进行分类生成语义分割结果。

9.根据权利要求6所述的一种仓库半结构化环境动态特征点祛除装置，其特征在于，所述祛除单元，具体包括：

计算模块，用于计算所述动态目标所在区域的质心；

固定模块，用于以所述质心为半径，以所述动态目标所在区域距离所述质心最大的点为半径做圆；

删选模块，用于在所述圆中祛除位于所述动态目标所在区域的特征点。

10.根据权利要求9所述的一种仓库半结构化环境动态特征点祛除装置，其特征在于，所述计算模块，具体包括：

在所述动态目标所在区域中，定义动态目标所在区域的矩；

通过所述动态目标所在区域的矩计算动态目标所在区域的质心。

Images