CN110532868B - 一种预测自由空间语义边界的方法 - Google Patents

Abstract

本发明公开了一种预测自由空间语义边界的方法，涉及一个多级卷积神经网络结构，可以产生高分辨率的2D置信图并预测出不同类别的自由空间语义边界。多级卷积神经网络可以隐式地学习出图像的空间上下文特征与自由空间边界结构。对于该网络输出的置信图，利用动态规划算法推理出具有局部平滑性与语义连续性的自由空间边界。本发明基于交通场景图像中包含的上下文特征，提出了一种多级卷积神经网络以产生包含边界预测结果且具有高分辨率的置信图，并利用引导性策略以提升深度网络的性能。其次，对于产生的置信图，分别在边界规划与语义规划两个方面进行建模，并利用动态规划算法最终得到自由行驶空间下的语义边界检测结果。

Description

一种预测自由空间语义边界的方法

【技术领域】

本发明属于计算机视觉技术领域，涉及一种预测自由空间语义边界的方法。

【背景技术】

自由空间检测是辅助驾驶系统中的重要任务。自由空间检测要求在复杂的交通场景图像中能够准确地提取出代表道路的图像部分。检测出的自由空间需要为辅助驾驶系统提供交通场景信息，提升系统对于交通环境的感知能力。

目前自由空间检测的方法主要有两种，一种是The Stixel-World算法，另一种是全卷积神经网络。The Stixel-World算法通过显式建模的方式计算出图像中代表道路的部分，虽然具有运行效率高、实时性好的特点，但由于算法本身存在着一些假设，导致其对于交通场景的依赖性高，在不理想的交通场景下无法得到良好的检测结果；全卷积神经网络利用端到端、像素到像素训练的深度网络结构实现像素级别下的自由空间检测，并且不受输入图像尺寸的限制，易于训练，也可以与无监督学习或在线学习方法相结合。

上述的方法存在一些缺陷：首先，它们虽然可以较好地检测出可行驶的自由空间，但是缺失对于自由空间的边界的信息，而这种信息的丢失难以为辅助驾驶系统提供有效的周围驾驶环境；此外，它们是对于交通场景图像进行像素级的分类，这种分类方法缺少对于自由空间边界的规划，因此同样无法将周围的行驶环境清晰准确地描述出来。

在卷积网络的基础上，引入动态规划，可以有效地解决自由空间边界处语义信息缺失的问题。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种预测自由空间语义边界的方法

为达到上述目的，本发明采用以下技术方案予以实现：

一种预测自由空间语义边界的方法，包括以下步骤：

步骤1：基于迭代结构，构建多尺度卷积神经网络，多尺度卷积神经网络结构包括用于特征提取的卷积神经网络模块F、基于卷积的低分辨率预测器LR-MODULE和2个高分辨率预测器HR-MODULE；将低分辨率预测器LR-MODULE输出的特征图用双线性插值的方法进行上采样，并将采样得到的特征图与特征提取器中尺度相匹配的特征F₁与F₂相联结并送入高分辨率预测器HR-MODULE；多级卷积神经网络最终会生成一幅4通道，1/4输入图像大小并包含边界预测结果的置信图M；置信图M中的每个通道分别代表背景(M_B)，平坦区域边界(M_F)，路面与障碍物的交界(M_V)与路沿边界(M_S)；

步骤2：采用边界动态规划与语义动态规划以推断出具体的自由空间语义边界；边界动态规划推理出具有空间平滑性的自由空间边界；语义动态规划为自由空间边界赋予语义信息。

本发明进一步的改进在于：

步骤1中，卷积神经网络模块F进行特征提取的方法如下：

输入一张图片到特征提取模块，将输入图像通过卷积层完成特征提取后，利用窗宽与步长均为2的池化层进行下采样，最终特征提取模块生成具有32个通道和输入图像大小1/8倍大小的空间特征。

步骤1中，低分辨率预测器LR-MODULE由5个基于卷积结构的预测器迭代而成；低分辨率预测器LR-MODULE中每一级预测器都会输出一张置信图，网络将前级的置信图与特征提取器输出的特征图联结起来送入下一级预测器中；最终，低分辨率预测器LR-MODULE输出一幅4通道，输入图像1/8大小的特征图。

步骤1中，2个高分辨率预测器HR-MODULE的网络结构相同，均由3个卷积预测器级联而成。

步骤2中，边界动态规划的具体方法如下：

对置信图M进行预处理，将置信图M中代表平坦边界(M_F)，路面与障碍物的交界(M_V)与路沿(M_S)的3个通道通过通道相加的方式将其合并为置信图C；

对于置信图C，首先将置信图C中的像素值按列存储为形如{C₁,C₂,...,C_N}的集合；其中N表示置信图的宽度；在集合{C₁,C₂,...,C_N}里的每个列向量中都选取一个像素，这些像素最终将组成推理边界；通过建模，该最优化问题被表述为公式(1)与(2)：

S₁(p_n，p_n-1)＝α(p_n-p_n-1)² (2)

公式(1)中，p_n代表第n列中某一个像素的行坐标，C_n(p_n)代表置信图C中像素(p_n,n)的置信度，H代表置信图的高度；α是一个参数，用来控制约束的程度；公式(2)是一个平滑性约束，用来防止推理边界中两个相邻像素的不连续性；对于该最优化问题，得到如公式(3)所示的递归方程：

利用动态规划中的回溯算法，得到最优序列

对于该序列中每一个行坐标

都能够得到自由空间边界P中一点的坐标位置

步骤2中，语义动态规划的具体方法如下：

对于边界动态规划中得到的自由空间边界结果，利用语义动态规划对边界中每个点赋予语义信息；对于P中的每一点

依次取其在M_F,M_V,M_S中的置信度并存为通道向量，记作L_n；

对于向量L_n，构成集合{L₁,L₂...L_N}；在语义连续性的基础上从集合{L₁,L₂...L_N}中的每一个通道向量中都选取一个最优通道坐标，这些通道坐标将最终构成自由空间边界的语义标签；通过建模，得到如公式(4)与(5)的优化问题：

公式(4)中，q_n代表集合中第n列边界像素的通道坐标，由于自由空间语义边界有3种属性划分，q_n的取值为M_F,M_V,M_S；L_n(q_n)代表最优边界像素

在q_n通道下的置信度；公式(5)为相应的语义连续性约束，其目的是防止由于置信图的预测误差而造成的同一属性边界下两个相邻像素语义信息的不同；对于该最优化问题，得到相应的递归方程(6)：

与现有技术相比，本发明具有以下有益效果：

本发明基于交通场景图像中包含的上下文特征，提出了一种多级卷积神经网络以产生包含边界预测结果且具有高分辨率的置信图，并利用引导性策略以提升深度网络的性能。其次，对于产生的置信图，分别在边界规划与语义规划两个方面进行建模，并利用动态规划算法最终得到自由行驶空间下的语义边界检测结果。本发明有效地解决了自由空间边界处语义信息缺失的问题，在各种场景下均可得到较为理想的检测结果。本发明计算量较小，在实际算法实现中的边界动态规划部分，为了减少计算量，设置了每个点都只在其附近有限个点处进行搜索。算法在C语言环境下进行了实验，实验结果表明我们的算法可以实时地检测出交通场景中的语义自由空间边界。不同场景下的语义边界检测结果见图5。

【附图说明】

图1为本发明多级卷积神经网络的整体结构图；

图2为本发明深度网络的具体配置图；其中(a)为用于特征提取的卷积神经网络模块，由卷积层和池化层组成；(b)为第一级基于卷积的预测器，其通过产生更多的特征图，提升网络的训练效果；(c)为第二级及之后基于卷积的预测器；

图3为本发明边界动态规划示意图；

图4为本发明语义动态规划示意图；

图5为本发明不同场景下的语义边界检测结果。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

本发明预测自由空间语义边界的方法，包括以下步骤：

1)多级卷积神经网络结构

基于迭代结构的多尺度卷积神经网络。整体网络结构由图1所示的三部分组成：用于特征提取的卷积神经网络模块F，基于卷积的低分辨率预测器LR-MODULE和高分辨率预测器HR-MODULE(I&II)。各部分的具体网络结构如图2所示。

i.卷积神经网络模块F：首先输入一张图片到特征提取模块，为了使多级卷积神经网络具有更大的感受视野，将输入图像通过卷积层完成特征提取后，利用窗宽与步长均为2的池化层进行下采样，最终特征提取模块可以生成具有32个通道和输入图像大小1/8倍大小的空间特征。具体网络结构如图2(a)所示。

ii.低分辨率预测器LR-MODULE：由5个基于卷积结构的预测器迭代而成。其中第一级预测器(CNN0)与后4个(CNN1)结构略有不同，具体见图2(b)和图2(c)。低分辨率预测器LR-MODULE中每一级预测器都会输出一张置信图，网络将前级的置信图与特征提取器输出的特征图(见图1F₀)联结起来送入下一级预测器中。最终，低分辨率预测器LR-MODULE输出一幅4通道，输入图像1/8大小的特征图。

iii.高分辨率预测器HR-MODULE(I&II)：为提升深度网络检测结果的空间分辨率，引入了两个高分辨率预测器HR-MODULE。两个高分辨率预测器HR-MODULE的网络结构相同，均由3个卷积预测器(CNN1，见图2(c))级联而成，可以更好地完成对于图像中细节特征的捕捉，并提高网络输出最终结果的空间分辨率。

将低分辨率预测器LR-MODULE输出的特征图用双线性插值的方法进行上采样，并将采样得到的特征图与特征提取器中尺度相匹配的特征F₁与F₂相联结并送入高分辨率预测器HR-MODULE(I&II)。多级卷积神经网络最终会生成一幅4通道，1/4输入图像大小并包含边界预测结果的置信图M。M中的每个通道分别代表背景(M_B)，平坦区域边界(M_F)，路面与障碍物的交界(M_V)与路沿边界(M_S)。

2)动态规划

分别采用边界动态规划与语义动态规划以推断出具体的自由空间语义边界。其中边界动态规划推理出具有空间平滑性的自由空间边界；而语义动态规划则为自由空间边界赋予语义信息并保证其准确性与平滑性。

a.边界动态规划：

为了简化边界动态规划中的变量个数，提升算法效率，对深度网络输出的置信图进行预处理：

将置信图M中代表平坦边界(M_F)，路面与障碍物的交界(M_V)与路沿(M_S)的3个通道，并通过通道相加的方式将其合并为置信图C。

对于置信图C，首先将C中的像素值按列存储为形如{C₁,C₂,...,C_N}的集合；其中N表示置信图的宽度。对于边界动态规划推理出的自由空间边界P，其需要在空间平滑性的基础上使得边界中所有点的置信度之和最大。更具体的地说，需要在集合{C₁,C₂,...,C_N}里的每个列向量中都选取一个像素，这些像素最终将组成推理边界。通过建模，该最优化问题可以被表述为(1)与(2)式：

S₁(p_n,p_n-1)＝α(p_n-p_n-1)² (2)

公式(1)中，p_n代表第n列中某一个像素的行坐标，C_n(p_n)代表C中像素(p_n,n)的置信度，H代表置信图的高度。α是一个参数，用来控制约束的程度。公式(2)是一个平滑性约束，用来防止推理边界中两个相邻像素的不连续性。对于该最优化问题，可以得到如公式(3)所示的递归方程：

利用动态规划中的回溯算法，可以得到最优序列

对于该序列中每一个行坐标

都可以得到自由空间边界P(不包含语义信息)中一点的坐标位置

图3为边界动态规划问题的示意图。图3中，

表示了置信图中坐标为(n₁,n₂)的像素，整幅图像由集合{C₁...C_N}组成，集合中共有N个元素，代表多阶段决策问题中的N个阶段。对于列向量中的每一个点，都需要根据置信度预测值与位置关系去选取最优匹配像素。最终，利用动态规划回溯算法得到最优边界的推理结果。

b.语义动态规划：

对于边界动态规划中得到的自由空间边界结果，利用语义动态规划对边界中每个点赋予语义信息。对于P中的每一点

依次取其在M_F,M_V,M_S中的置信度并存为通道向量，记作L_n。

对于向量L_n，可以构成集合{L₁,L₂...L_N}。语义动态规划需要在语义连续性的基础上从集合{L₁,L₂...L_N}中的每一个通道向量中都选取一个最优通道坐标，这些通道坐标将最终构成自由空间边界的语义标签。通过建模，可以得到如(4)与(5)的优化问题。

公式(4)中，q_n代表集合中第n列边界像素的通道坐标，由于自由空间语义边界有3种属性划分，q_n的取值可能为M_F,M_V,M_S。L_n(q_n)代表最优边界像素

在q_n通道下的置信度。公式(5)为相应的语义连续性约束，其目的是防止由于置信图的预测误差而造成的同一属性边界下两个相邻像素语义信息的不同。对于该最优化问题，可以得到相应的递归方程(6)。

图4为边界动态规划问题的示意图。每一阶段q_n下均有三个状态q_n,1,q_n,2,q_n,3分别代表边界像素(q_n,n)三个通道下的置信度，通过使用动态规划的思想，最终可以得到该问题最优的语义序列。对于最优语义序列，将序列

中的每一点所表示的语义标签代入P中相对应的边界点，最终可以得到自由空间语义边界的推理结果。

如图5所示，本发明提出的方法可以较准确地检测出各种自由空间语义边界，其不仅较好地解决了边界遮挡与大尺度提取的问题，最终得到的自由空间语义边界也具有高度的空间与语义平滑性。除此之外，这种方法在各种条件下也表现出一定的鲁棒性，例如轻微的阴影等。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种预测自由空间语义边界的方法，其特征在于，包括以下步骤：

步骤1：基于迭代结构，构建多尺度卷积神经网络，多尺度卷积神经网络结构包括用于特征提取的卷积神经网络模块F、基于卷积的低分辨率预测器LR-MODULE和2个高分辨率预测器HR-MODULE；将低分辨率预测器LR-MODULE输出的特征图用双线性插值的方法进行上采样，并将采样得到的特征图与特征提取器中尺度相匹配的特征F₁与F₂相联结并送入高分辨率预测器HR-MODULE；多级卷积神经网络最终会生成一幅4通道，1/4输入图像大小并包含边界预测结果的置信图M；置信图M中的每个通道分别代表背景M_B，平坦区域边界M_F，路面与障碍物的交界M_V与路沿边界M_s；

步骤2：采用边界动态规划与语义动态规划以推断出具体的自由空间语义边界；边界动态规划推理出具有空间平滑性的自由空间边界；语义动态规划为自由空间边界赋予语义信息；

边界动态规划的具体方法如下：

对置信图M进行预处理，将置信图M中代表平坦边界M_F，路面与障碍物的交界M_V与路沿M_s的3个通道通过通道相加的方式将其合并为置信图C；

对于置信图C，首先将置信图C中的像素值按列存储为形如{C₁，C₂，...，C_N}的集合；其中N表示置信图的宽度；在集合{C₁，C₂，...，C_N}里的每个列向量中都选取一个像素，这些像素最终将组成推理边界；通过建模，得到如公式(1)与(2)的优化问题：

S₁(p_n，p_n-1)＝α(p_n-p_n-1)² (2)

公式(1)中，p_n代表第n列中某一个像素的行坐标，C_n(p_n)代表置信图C中像素(p_n,n)的置信度，H代表置信图的高度；α是一个参数，用来控制平滑性约束的程度；公式(2)是一个平滑性约束，用来防止推理边界中两个相邻像素的不连续性；对于公式(1)与(2)最优化问题，得到如公式(3)所示的递归方程：

利用动态规划中的回溯算法，得到最优序列

对于该序列中每一个行坐标

都能够得到自由空间边界P中一点的坐标位置

2.根据权利要求1所述的预测自由空间语义边界的方法，其特征在于，步骤1中，卷积神经网络模块F进行特征提取的方法如下：

输入一张图片到特征提取模块，将输入图像通过卷积层完成特征提取后，利用窗宽与步长均为2的池化层进行下采样，最终特征提取模块生成具有32个通道和输入图像大小1/8倍大小的空间特征。

3.根据权利要求1所述的预测自由空间语义边界的方法，其特征在于，步骤1中，低分辨率预测器LR-MODULE由5个基于卷积结构的预测器迭代而成；低分辨率预测器LR-MODULE中每一级预测器都会输出一张置信图，网络将前级的置信图与特征提取器输出的特征图联结起来送入下一级预测器中；最终，低分辨率预测器LR-MODULE输出一幅4通道，输入图像1/8大小的特征图。

4.根据权利要求1所述的预测自由空间语义边界的方法，其特征在于，步骤1中，2个高分辨率预测器HR-MODULE的网络结构相同，均由3个卷积预测器级联而成。

5.根据权利要求1所述的预测自由空间语义边界的方法，其特征在于，步骤2中，语义动态规划的具体方法如下：

对于边界动态规划中得到的自由空间边界结果，利用语义动态规划对边界中每个点赋予语义信息；对于P中的每一点

依次取其在M_F，M_V，M_S中的置信度并存为通道向量，记作L_n；

对于向量L_n，构成集合{L₁，L₂…L_N}；在语义连续性的基础上从集合{L₁，L₂…L_N}中的每一个通道向量中都选取一个最优通道坐标，这些通道坐标将最终构成自由空间边界的语义标签；通过建模，得到如公式(4)与(5)的优化问题：

公式(4)中，q_n代表集合中第n列边界像素的通道坐标，由于自由空间语义边界有3种属性划分，q_n的取值为M_F，M_V，M_S；L_n(q_n)代表最优边界像素

在q_n通道下的置信度；公式(5)为相应的语义连续性约束，其目的是防止由于置信图的预测误差而造成的同一属性边界下两个相邻像素语义信息的不同；对于公式(4)与(5)所述的最优化问题，得到相应的递归方程(6)：

Images